WO2024085284A1 - 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치 - Google Patents

신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치 Download PDF

Info

Publication number
WO2024085284A1
WO2024085284A1 PCT/KR2022/016130 KR2022016130W WO2024085284A1 WO 2024085284 A1 WO2024085284 A1 WO 2024085284A1 KR 2022016130 W KR2022016130 W KR 2022016130W WO 2024085284 A1 WO2024085284 A1 WO 2024085284A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
image
guest
machine
virtualization machine
Prior art date
Application number
PCT/KR2022/016130
Other languages
English (en)
French (fr)
Inventor
유강희
신경준
오수환
정상경
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to PCT/KR2022/016130 priority Critical patent/WO2024085284A1/ko
Publication of WO2024085284A1 publication Critical patent/WO2024085284A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines

Definitions

  • the present disclosure relates to a signal processing device and a vehicle display device including the same, and more specifically, to a signal processing device capable of reducing delay when displaying an image between a plurality of displays, and a vehicle display device including the same. It's about.
  • a vehicle is a device that moves the user in the desired direction.
  • a representative example is a car.
  • a vehicle display device is installed inside the vehicle.
  • a display is arranged in a cluster etc. to display various types of information.
  • various displays such as AVN (Audio Video Navigation) displays, to be installed in vehicles, separately from the cluster.
  • AVN Audio Video Navigation
  • the purpose of the present disclosure is to provide a signal processing device capable of reducing delay when displaying images between a plurality of displays, and a vehicle display device including the same.
  • another object of the present disclosure is to provide a signal processing device capable of reducing delay when moving and displaying images between a plurality of displays, and a vehicle display device including the same.
  • another object of the present disclosure is to provide a signal processing device capable of reducing delay when copying and displaying images between a plurality of displays, and a vehicle display device including the same.
  • another object of the present disclosure is to provide a signal processing device capable of reducing delay when displaying images between a plurality of displays even if the operating systems of the plurality of virtual machines are different, and a vehicle display device including the same. there is.
  • another object of the present disclosure is to provide a signal processing device capable of displaying images corresponding to resolutions of a plurality of displays with reduced delay, and a vehicle display device including the same.
  • a signal processing device for achieving the above object includes a processor that performs signal processing for a plurality of displays mounted on a vehicle, and the processor is a server virtualization machine on a hypervisor within the processor. and a plurality of guest virtualization machines. Among the plurality of guest virtualization machines, a first guest virtualization machine and a second guest virtualization machine operate for the first display and the second display, respectively, and the server virtualization machine operates on the processed video.
  • the first guest virtualization machine receives and decodes the encoded video data stored in the shared memory, and controls the decoded video data to be stored in the shared memory
  • the second guest virtualization machine The machine receives decoded image data stored in the shared memory and controls to display at least a portion of the decoded image data on the second display.
  • the first guest virtualization machine may receive and decode encoded image data stored in the shared memory and control the display to display at least a portion of the decoded image data on the first display.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time point and a second time point after the first time point
  • the second guest virtualization machine controls the first image to be displayed on the first display at the second time point.
  • the second image corresponding to can be controlled to be displayed on the second display.
  • the second guest virtualization machine may control the scaled second image to be output on the second display based on the size, output resolution, or operating system of the second display.
  • a third guest virtualization machine among the plurality of guest virtualization machines operates for the third display, and the third guest virtualization machine receives decoded image data stored in the shared memory and stores at least a portion of the decoded image data. It can be controlled to display on a third display.
  • the second guest virtualization machine and the third guest virtualization machine may share a portion of the shared memory where decoded image data is stored.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display
  • the third guest virtualization machine can be controlled to display the third image corresponding to the first image on the third display at a third time point after the second time point.
  • the first guest virtualization machine controls the first image to be displayed on the first display at a first time point, a second time point after the first time point, and a third time point after the second time point
  • the second guest virtualization machine controls, at a second time point and a third time point, to display a second image corresponding to the first image on the second display
  • the third guest virtualization machine controls to display a second image corresponding to the first image at a third time point.
  • the third image can be controlled to be displayed on the third display.
  • a signal processing device for achieving the above object includes a processor that performs signal processing for a plurality of displays mounted on a vehicle, and the processor is a server virtualization machine on a hypervisor within the processor. and a plurality of guest virtualization machines.
  • a first guest virtualization machine and a second guest virtualization machine operate for the first display and the second display, respectively, and the server virtualization machine operates on the processed video.
  • Data is encoded and controlled to be stored in the shared memory, and the first guest virtualization machine receives the encoded image data stored in the shared memory and transmits a decoding request to the server virtualization machine, and the server virtualization machine performs decoding based on the decoding request.
  • the encoded video data is decoded and the decoded video data is stored in a shared memory, and the first guest virtualization machine receives the decoded video data stored in the shared memory and stores at least a portion of the decoded video data. 1 Control what appears on the display.
  • the second guest virtual machine may receive decoded image data stored in the shared memory and control the display to display at least a portion of the decoded image data on the second display.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time point and a second time point after the first time point
  • the second guest virtualization machine controls the first image to be displayed on the first display at the second time point.
  • the second image corresponding to can be controlled to be displayed on the second display.
  • the second guest virtualization machine may control the scaled second image to be output on the second display based on the size, output resolution, or operating system of the second display.
  • a third guest virtualization machine among the plurality of guest virtualization machines operates for the third display, and the third guest virtualization machine receives decoded image data stored in the shared memory and stores at least a portion of the decoded image data. It can be controlled to display on a third display.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display
  • the third guest virtualization machine can be controlled to display the third image corresponding to the first image on the third display at a third time point after the second time point.
  • the first guest virtualization machine controls the first image to be displayed on the first display at a first time point, a second time point after the first time point, and a third time point after the second time point
  • the second guest virtualization machine controls, at a second time point and a third time point, to display a second image corresponding to the first image on the second display
  • the third guest virtualization machine controls to display a second image corresponding to the first image at a third time point.
  • the third image can be controlled to be displayed on the third display.
  • a vehicle display device includes a signal processing device including a plurality of displays and a processor that performs signal processing for the plurality of displays, and the signal processing device includes a plurality of displays mounted on the vehicle.
  • a processor that performs signal processing for display wherein the processor runs a server virtualization machine and a plurality of guest virtualization machines on a hypervisor within the processor, and a first guest virtualization machine and a second guest among the plurality of guest virtualization machines.
  • the virtualization machine operates for the first display and the second display, respectively, the server virtualization machine encodes the processed image data and controls it to be stored in the shared memory, and the first guest virtualization machine controls the encoded image data stored in the shared memory.
  • the second guest virtualization machine receives the decoded video data stored in the shared memory and stores at least a portion of the decoded video data in the second guest virtualization machine. Control what appears on the display.
  • a signal processing device includes a processor that performs signal processing for a plurality of displays mounted on a vehicle, and the processor includes a server virtualization machine and a plurality of guest virtualization machines on a hypervisor within the processor. Executes, among the plurality of guest virtualization machines, the first guest virtualization machine and the second guest virtualization machine operate for the first display and the second display, respectively, and the server virtualization machine encodes the processed image data to store the shared memory.
  • the first guest virtualization machine receives and decodes the encoded image data stored in the shared memory, controls the decoded image data to be stored in the shared memory, and controls the second guest virtualization machine to receive and decode the encoded image data stored in the shared memory.
  • the stored decoded image data is received and controlled to display at least part of the decoded image data on the second display. Accordingly, it is possible to reduce the delay when displaying images between a plurality of displays.
  • the first guest virtualization machine may receive and decode encoded image data stored in the shared memory and control the display to display at least a portion of the decoded image data on the first display. Accordingly, it is possible to reduce the delay when displaying images between a plurality of displays. Additionally, images corresponding to the resolution of each display can be displayed with reduced delay.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display. Accordingly, it is possible to reduce the delay when moving and displaying images between a plurality of displays.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time point and a second time point after the first time point
  • the second guest virtualization machine controls the first image to be displayed on the first display at the second time point.
  • the second image corresponding to can be controlled to be displayed on the second display. Accordingly, it is possible to reduce the delay when copying and displaying images between a plurality of displays.
  • the second guest virtualization machine may control the scaled second image to be output on the second display based on the size, output resolution, or operating system of the second display. Accordingly, it is possible to display images corresponding to the resolution of each display with reduced delay.
  • a third guest virtualization machine among the plurality of guest virtualization machines operates for the third display, and the third guest virtualization machine receives decoded image data stored in the shared memory and stores at least a portion of the decoded image data. It can be controlled to display on a third display.
  • the second guest virtualization machine and the third guest virtualization machine may share a portion of the shared memory where decoded image data is stored. Accordingly, it is possible to reduce the delay when displaying images between a plurality of displays.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display
  • the third guest virtualization machine can be controlled to display the third image corresponding to the first image on the third display at a third time point after the second time point. Accordingly, it is possible to reduce the delay when moving and displaying images between a plurality of displays.
  • the first guest virtualization machine controls the first image to be displayed on the first display at a first time point, a second time point after the first time point, and a third time point after the second time point
  • the second guest virtualization machine controls, at a second time point and a third time point, to display a second image corresponding to the first image on the second display
  • the third guest virtualization machine controls to display a second image corresponding to the first image at a third time point.
  • the third image can be controlled to be displayed on the third display. Accordingly, it is possible to reduce the delay when copying and displaying images between a plurality of displays.
  • a signal processing device includes a processor that performs signal processing for a plurality of displays mounted on a vehicle, and the processor includes a server virtualization machine and a plurality of guest virtualization machines on a hypervisor within the processor. Executes, among the plurality of guest virtualization machines, the first guest virtualization machine and the second guest virtualization machine operate for the first display and the second display, respectively, and the server virtualization machine encodes the processed image data to store the shared memory The first guest virtualization machine receives the encoded video data stored in the shared memory and sends a decoding request to the server virtualization machine, and the server virtualization machine sends the encoded video data based on the decoding request.
  • the second guest virtual machine may receive decoded image data stored in the shared memory and control the display to display at least a portion of the decoded image data on the second display. Accordingly, it is possible to reduce the delay when displaying images between a plurality of displays. Additionally, images corresponding to the resolution of each display can be displayed with reduced delay.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display. Accordingly, it is possible to reduce the delay when moving and displaying images between a plurality of displays.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time point and a second time point after the first time point
  • the second guest virtualization machine controls the first image to be displayed on the first display at the second time point.
  • the second image corresponding to can be controlled to be displayed on the second display. Accordingly, it is possible to reduce the delay when copying and displaying images between a plurality of displays.
  • the second guest virtualization machine may control the scaled second image to be output on the second display based on the size, output resolution, or operating system of the second display. Accordingly, it is possible to display images corresponding to the resolution of each display with reduced delay.
  • a third guest virtualization machine among the plurality of guest virtualization machines operates for the third display, and the third guest virtualization machine receives decoded image data stored in the shared memory and stores at least a portion of the decoded image data. It can be controlled to display on a third display. Accordingly, it is possible to reduce the delay when displaying images between a plurality of displays.
  • the first guest virtualization machine controls the first image to be displayed on the first display at the first time
  • the second guest virtualization machine controls the second image corresponding to the first image at a second time after the first time.
  • the image can be controlled to be displayed on the second display
  • the third guest virtualization machine can be controlled to display the third image corresponding to the first image on the third display at a third time point after the second time point. Accordingly, it is possible to reduce the delay when moving and displaying images between a plurality of displays.
  • the first guest virtualization machine controls the first image to be displayed on the first display at a first time point, a second time point after the first time point, and a third time point after the second time point
  • the second guest virtualization machine controls, at a second time point and a third time point, to display a second image corresponding to the first image on the second display
  • the third guest virtualization machine controls to display a second image corresponding to the first image at a third time point.
  • the third image can be controlled to be displayed on the third display. Accordingly, it is possible to reduce the delay when copying and displaying images between a plurality of displays.
  • a vehicle display device includes a signal processing device including a plurality of displays and a processor that performs signal processing for the plurality of displays, and the signal processing device includes a plurality of displays mounted on the vehicle.
  • a processor that performs signal processing for display wherein the processor runs a server virtualization machine and a plurality of guest virtualization machines on a hypervisor within the processor, and a first guest virtualization machine and a second guest among the plurality of guest virtualization machines.
  • the virtualization machine operates for the first display and the second display, respectively, the server virtualization machine encodes the processed image data and controls it to be stored in the shared memory, and the first guest virtualization machine controls the encoded image data stored in the shared memory.
  • the second guest virtualization machine receives the decoded video data stored in the shared memory and stores at least a portion of the decoded video data in the second guest virtualization machine. Control what appears on the display. Accordingly, it is possible to reduce the delay when displaying images between a plurality of displays.
  • 1A is a diagram showing an example of the exterior and interior of a vehicle.
  • FIG. 1B is a diagram illustrating another example of the interior of a vehicle.
  • FIG. 2 is a diagram illustrating the appearance of a vehicle display device according to an embodiment of the present disclosure.
  • FIG. 3 illustrates an example of an internal block diagram of the vehicle display device of FIG. 2.
  • FIG. 4 is a diagram illustrating a system driven by a signal processing device related to the present disclosure.
  • FIG. 5 is a diagram illustrating an example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram illustrating another example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • FIG. 7 is a diagram illustrating another example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • FIGS 8 to 9b are drawings referenced in the description of Figure 5.
  • FIG. 10 is a diagram illustrating the appearance of a vehicle display device according to another embodiment of the present disclosure.
  • FIG. 11 is a diagram illustrating another example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • 12A to 12C are examples of internal block diagrams of a vehicle display device related to the present invention.
  • FIG. 13A is an example of an internal block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • FIG. 13B is an example of an internal block diagram of a vehicle display device according to another embodiment of the present disclosure.
  • FIGS. 14A to 16 are diagrams referenced in the description of the operation of FIG. 13A.
  • FIG. 17A is an example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • Figure 17b is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • Figure 18 is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • Figures 19A to 19E are diagrams referenced in the description of the operation of Figures 17A to 18.
  • Figure 20 is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • FIGS. 21A to 21F are diagrams referenced in the description of the operation of FIG. 20.
  • Figure 22 is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • FIGS. 23A to 23B are diagrams referenced in the description of the operation of FIG. 22.
  • module and “part” for components used in the following description are simply given in consideration of the ease of writing this specification, and do not in themselves give any particularly important meaning or role. Accordingly, the terms “module” and “unit” may be used interchangeably.
  • 1A is a diagram showing an example of the exterior and interior of a vehicle.
  • the vehicle 200 is operated by a plurality of wheels 103FR, 103FL, 103RL, etc. rotated by a power source and a steering wheel 150 to control the moving direction of the vehicle 200. .
  • the vehicle 200 may be further equipped with a camera 195 for acquiring images in front of the vehicle.
  • the vehicle 200 may be equipped with a plurality of displays 180a and 180b inside for displaying images, information, etc.
  • a cluster display 180a and an Audio Video Navigation (AVN) display 180b are illustrated as a plurality of displays 180a and 180b.
  • AVB Audio Video Navigation
  • HUD Head Up Display
  • the AVN (Audio Video Navigation) display 180b may also be called a center information display.
  • the vehicle 200 described in this specification may be a concept that includes all vehicles including an engine as a power source, a hybrid vehicle having an engine and an electric motor as a power source, and an electric vehicle having an electric motor as a power source. there is.
  • FIG. 1B is a diagram illustrating another example of the interior of a vehicle.
  • cluster display 180a
  • AVN Audio Video Navigation
  • Rear Seat Entertainment display 180c, 180d
  • room mirror display not shown
  • An embodiment of the present disclosure proposes a method for reducing delay when displaying images between a plurality of displays in a vehicle display device 100 including a plurality of displays 180a to 180d. This will be described with reference to FIG. 5 and below.
  • FIG. 2 is a diagram illustrating the appearance of a vehicle display device according to an embodiment of the present disclosure.
  • the vehicle display device 100 includes a plurality of displays 180a to 180b, and a signal processing device that performs signal processing to display images, information, etc. on the plurality of displays 180a to 180b. (170) can be provided.
  • the first display (180a) is a cluster display (180a) for displaying driving status, operation information, etc.
  • the second display (180b) is a cluster display (180a) for displaying vehicle operation information, navigation maps, and various other displays. It may be an AVN (Audio Video Navigation) display 180b for displaying entertainment information or images.
  • AVN Audio Video Navigation
  • the signal processing device 170 has a processor 175 therein, and can execute first to third virtual machines 520 to 540 on the hypervisor 505 within the processor 175.
  • the second virtualization machine 530 may operate for the first display 180a, and the third virtualization machine 540 may operate for the second display 180b.
  • the first virtualization machine 520 in the processor 175, the shared memory 508 based on the hypervisor 505, to transmit the same data to the second virtualization machine 530 and the third virtualization machine 540. ) can be controlled to be set. Accordingly, the same information or the same image can be displayed in synchronization on the first display 180a and the second display 180b within the vehicle.
  • the first virtual machine 520 in the processor 175 shares at least part of the data with the second virtual machine 530 and the third virtual machine 540 for data sharing processing. Accordingly, data can be shared and processed by multiple virtual machines for multiple displays within the vehicle.
  • the first virtual machine 520 in the processor 175 receives and processes wheel speed sensor data of the vehicle, and processes the data into at least one of the second virtual machine 530 and the third virtual machine 540. Wheel speed sensor data can be transmitted. Accordingly, it is possible to share the vehicle's wheel speed sensor data with at least one virtual machine, etc.
  • the vehicle display device 100 further includes a rear seat entertainment display 180c for displaying driving status information, simple navigation information, and various entertainment information or images. It can be provided.
  • the signal processing device 170 executes a fourth virtualization machine (not shown) in addition to the first to third virtualization machines 520 to 540 on the hypervisor 505 in the processor 175, and performs RSE
  • the display 180c can be controlled.
  • some of the plurality of displays 180a to 180c may operate based on Linux OS, and others may operate based on web OS.
  • the signal processing device 170 has a touch input (Touch) on any one of a plurality of displays (180a to 180b or 180a to 180c) operating under various operating systems (OS).
  • touch input processing can be controlled to be performed quickly and accurately.
  • the vehicle speed indicator 212a and the vehicle internal temperature indicator 213a are displayed on the first display 180a, and a plurality of applications and the vehicle speed indicator 212b are displayed on the second display 180b.
  • a home screen 222 including a vehicle interior temperature indicator 213b is displayed, and a second home screen 222b including a plurality of applications and a vehicle interior temperature indicator 213c is displayed on the third display 180c. Example of what is displayed.
  • Figure 3 illustrates an example of an internal block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device 100 includes an input unit 110, a communication unit 120, an interface 130, a memory 140, a signal processing device 170, and a plurality of displays. (180a to 180c), an audio output unit 185, and a power supply unit 190 may be provided.
  • the input unit 110 may be equipped with physical buttons, pads, etc. for button input, touch input, etc.
  • the input unit 110 may be provided with a touch sensor (not shown) for sensing touch input from the displays 180a, 180b, and 180c.
  • the input unit 110 may be equipped with a microphone (not shown) for user voice input.
  • the communication unit 120 can exchange data with the mobile terminal 800 or the server 900 in a wireless manner.
  • the communication unit 120 can exchange data wirelessly with the vehicle driver's mobile terminal.
  • various data communication methods such as Bluetooth, WiFi, WiFi Direct, and APiX are possible.
  • the communication unit 120 may receive weather information, road traffic situation information, for example, Transport Protocol Expert Group (TPEG) information, from the mobile terminal 800 or the server 900.
  • TPEG Transport Protocol Expert Group
  • the communication unit 120 may be equipped with a mobile communication module (not shown).
  • the interface 130 may receive sensor information, etc. from the ECU 770 or the sensor device 760, and transmit the received information to the signal processing device 170.
  • sensor information includes vehicle direction information, vehicle location information (GPS information), vehicle angle information, vehicle speed information, vehicle acceleration information, vehicle tilt information, vehicle forward/backward information, battery information, fuel information, tire information, and vehicle It may include at least one of lamp information, vehicle interior temperature information, and vehicle interior humidity information.
  • This sensor information includes heading sensor, yaw sensor, gyro sensor, position module, vehicle forward/reverse sensor, wheel sensor, vehicle speed sensor, It can be obtained from a vehicle body tilt sensor, battery sensor, fuel sensor, tire sensor, steering sensor by steering wheel rotation, vehicle interior temperature sensor, vehicle interior humidity sensor, etc.
  • the position module may include a GPS module for receiving GPS information.
  • the interface 130 receives vehicle front image data, vehicle side image data, vehicle rear image data, obstacle distance information around the vehicle, etc. from the camera 195 or lidar (not shown), and sends the received information as a signal. It can be transmitted to the processing device 170.
  • the memory 140 may store various data for the overall operation of the vehicle display device 100, such as a program for processing or controlling the signal processing device 170.
  • the memory 140 may store data related to a hypervisor and first to third virtualization machines for execution in the processor 175.
  • the audio output unit 185 converts the electrical signal from the signal processing device 170 into an audio signal and outputs it. For this purpose, speakers, etc. may be provided.
  • the power supply unit 190 can supply power required for the operation of each component under the control of the signal processing device 170.
  • the power supply unit 190 may receive power from a battery inside the vehicle.
  • the signal processing device 170 controls the overall operation of each unit within the vehicle display device 100.
  • it may include a processor 175 that performs signal processing for vehicle displays 180a and 180b.
  • the processor 175 may execute first to third virtual machines 520 to 540 on a hypervisor (505 in FIG. 5) within the processor 175.
  • the processor 175 may further execute a legacy virtualization machine that receives and processes Ethernet data.
  • the legacy virtualization machine may be executed in the first virtualization machine 520 in the processor 175, as shown in FIG. 5.
  • the first virtual machine 520 may be called a server virtual machine (Server Virtual maschine), and the second to third virtual machines (530 ⁇ 540) can be named Guest Virtual maschine.
  • Server Virtual maschine the server virtual machine
  • Guest Virtual maschine the second to third virtual machines
  • the second virtualization machine 530 may operate for the first display 180a, and the third virtualization machine 540 may operate for the second display 180b.
  • the first virtual machine 520 in the processor 175 may receive vehicle sensor data, location information data, camera image data, audio data, or touch input data, process or process them, and output them.
  • vehicle sensor data location information data
  • camera image data e.g., portrait
  • audio data e.g., touch
  • process or process them e.g., touch input data
  • the first virtual machine 520 directly receives and processes CAN communication data, audio data, radio data, USB data, and wireless communication data for the second to third virtual machines 530 to 540. can do.
  • the first virtualization machine 520 may transmit the processed data to the second to third virtualization machines 530 to 540.
  • the first virtual machine 520 receives communication data and external input data and performs signal processing, thereby processing signals in other virtual machines.
  • the burden is reduced, 1:N data communication becomes possible, and synchronization when sharing data becomes possible.
  • the first virtual machine 520 records part of the data in the first shared memory (not shown) to be transmitted to the second virtual machine 530, and another part of the data is transmitted to the third virtual machine 530.
  • the second virtualization machine 530 and the third virtualization machine 540 each process the received data, and the processed data is recorded in the second shared memory (not shown). Control as much as possible. Accordingly, it is possible to reduce the delay when displaying images between a plurality of displays.
  • the data at this time may be any one of video data, audio data, navigation data, or voice recognition data.
  • the first virtual machine 520 may process another part of the data and control the processed data to be recorded in the second shared memory (not shown). That is, in addition to the second virtualization machine 530 and the third virtualization machine, the first virtualization machine 520 may perform data processing.
  • the fourth virtualization machine 550 operating for the third display 180c is executed in the processor 175, the first virtualization machine 520 stores another part of the data in the first shared memory (not shown). The fourth virtualization machine 550 processes each received data and controls the processed data to be recorded in a second shared memory (not shown).
  • the first virtual machine 520 may generate each command queue for distributed processing of data in the second to third virtual machines 530 and 540. Accordingly, data can be shared and processed across multiple virtual machines.
  • the first virtual machine 520 in the processor 175 may generate one identical command queue when the second to third virtual machines 530 and 540 share the same data. Accordingly, the same data can be synchronized and shared.
  • the first virtual machine 520 may generate a command queue corresponding to the number of virtual machines for distributed processing of data.
  • the first virtual machine 520 may control at least part of the data to be transmitted to at least one of the second virtual machine 530 and the third virtual machine 540 for data distribution processing.
  • the first virtual machine 520 allocates a first shared memory (not shown) to transmit at least a portion of the data to at least one of the second virtual machine 530 and the third virtual machine 540.
  • image data processed in the second virtualization machine 530 or the third virtualization machine 540 may be recorded in a second shared memory (not shown).
  • the first virtualization machine 520 may record data in the shared memory 508 and control the second virtualization machine 530 and the third virtualization machine 540 to share the same data.
  • the first virtual machine 520 records radio data or wireless communication data in the shared memory 508 to share the same data with the second virtual machine 530 and the third virtual machine 540. You can control it. Accordingly, sharing of data in a 1:N manner becomes possible.
  • the first virtualization machine 520 in the processor 175, the shared memory 508 based on the hypervisor 505, to transmit the same data to the second virtualization machine 530 and the third virtualization machine 540. ) can be controlled to be set.
  • the first virtualization machine 520 in the processor 175 uses the shared memory 508 based on the hypervisor 505 to connect the second virtualization machine 530 and the third virtualization machine 540 to the same Data can be synchronized and transmitted. Accordingly, the same image can be displayed in synchronization on a plurality of displays 180a to 180b within the vehicle.
  • the signal processing device 170 can process various signals, such as audio signals, video signals, and data signals.
  • the signal processing device 170 may be implemented in the form of a system on chip (SOC).
  • FIG. 4 is a diagram illustrating a system driven by a signal processing device related to the present disclosure.
  • FIG. 4 is a diagram illustrating a virtualization machine being used for the cluster display 180a and the AVN display 180b, respectively.
  • the system 400 running on the signal processing device of FIG. 4 illustrates that the cluster virtualization machine 430 and the AVN virtualization machine 440 are executed on the hypervisor 405 within the processor 175.
  • system 400 running on the signal processing device of FIG. 4 illustrates that a legacy virtualization machine 410 is also executed on the hypervisor 405 within the processor 175.
  • the legacy virtualization machine 410 includes an interface 412 for data communication with the memory 140 and an interface 413 for Ethernet communication.
  • the cluster virtualization machine 430 includes an interface 431 for CAN communication, an interface 432 for communication with the interface 412 of the legacy virtualization machine 410, and a legacy virtualization machine 410. ) may be provided with an interface 433 for communication with the interface 413.
  • the AVN virtualization machine 440 includes an interface 441 for input and output of audio data, radio data, USB data, and wireless communication data, and an interface for communication with the interface 412 of the legacy virtualization machine 410. (442), an interface 443 for communication with the interface 413 of the legacy virtualization machine 410 may be provided.
  • CAN communication data is input and output only from the cluster virtualization machine 430, so the AVN virtualization machine 440 has the disadvantage of not being able to utilize CAN communication data.
  • audio data, radio data, USB data, and wireless communication data are input and output only from the AVN virtualization machine 440, so the cluster virtualization machine 430 cannot utilize such data. There is.
  • the disadvantage is that the cluster virtualization machine 430 and the cluster virtualization machine 430 must each be equipped with separate interfaces (431, 432, 441, and 442) for memory data and Ethernet communication data input and output from the legacy virtualization machine 410. there is.
  • FIG. 4 a method for improving the system of FIG. 4 is presented. That is, unlike FIG. 4, the virtualization machine is divided into a server virtualization machine and a guest virtualization machine, and various memory data, communication data, etc. are input and output from the server virtualization machine, not from the guest virtualization machine. This will be described with reference to Figure 5 and below.
  • FIG. 5 is a diagram illustrating an example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • the system 500 of FIG. 5 includes a first virtualization machine 520, which is a server virtualization machine, and a second virtualization machine, on the hypervisor 505 within the processor 175 within the signal processing device 170.
  • the second virtualization machine 530 and the guest virtualization machine illustrate that the third virtualization machine 540 is running.
  • the second virtualization machine 530 may be a virtualization machine for the cluster display 180a
  • the third virtualization machine 540 may be a virtualization machine for the AVN display 180b.
  • the second virtualization machine 530 and the third virtualization machine 540 may operate for image rendering of the cluster display 180a and the AVN display 180b, respectively.
  • system 500 running on the signal processing device 170 of FIG. 5 illustrates that a legacy virtualization machine 510 is also executed on the hypervisor 505 within the processor 175.
  • the legacy virtualization machine 510 is provided with an interface 511 for data communication with the memory 140 and Ethernet communication.
  • the interface 511 is illustrated as a physical device driver, but various modifications are possible.
  • the legacy virtual machine 510 may further include an interface (virtio-backend interface) 512 for data communication with the second to third virtual machines 530 and 540.
  • an interface virtual-backend interface
  • the first virtual machine 520 may be provided with an interface 521 for input/output of audio data, radio data, USB data, and wireless communication data, and an input/output server interface 522 for data communication with the guest virtual machine. .
  • the first virtualization machine 520 which is a server virtualization machine, processes I/Os that are difficult to virtualize by standard virtualization technology (VirtIO) with a plurality of guest virtualization machines, for example, second to third virtualization machines 530 and 540. It can be provided, etc.
  • VirtualIO virtualization technology
  • the first virtual machine 520 which is a server virtualization machine, controls radio data, audio data, etc. at the supervisor level, and a plurality of guest virtual machines, for example, second to third virtual machines ( 530,540), etc.
  • the first virtual machine 520 which is a server virtualization machine, processes vehicle data, sensor data, vehicle surrounding information, etc., and transfers the processed data or information to a plurality of guest virtualization machines, for example, second to second virtual machines. 3 It can be provided to virtual machines (530,540), etc.
  • the first virtual machine 520 may provide services (Supervisory Services), such as processing vehicle data and managing audio routing.
  • Supervisory Services such as processing vehicle data and managing audio routing.
  • the second virtual machine 530 may be provided with an input/output client interface 532 for data communication with the first virtual machine 520 and APIs 533 for controlling the input/output client interface 532. .
  • the second virtual machine 530 may be provided with an interface (virtio-backend interface) for data communication with the legacy virtual machine 510.
  • the second virtual machine 530 receives memory data through communication with the memory 140 from the interface 512 of the legacy virtual machine 510 through an interface virtio-backend interface.
  • Ethernet data, etc. can be received through Ethernet communication.
  • the third virtual machine 540 may be provided with an input/output client interface 542 for data communication with the first virtual machine 520 and APIs 543 for controlling the input/output client interface 542.
  • the third virtual machine 540 may be provided with an interface (virtio-backend interface) for data communication with the legacy virtual machine 510.
  • the third virtual machine 540 receives memory data through communication with the memory 140 from the interface 512 of the legacy virtual machine 510 through an interface virtio-backend interface.
  • Ethernet data, etc. can be received through Ethernet communication.
  • the legacy virtualization machine 510 can also be provided in the first virtualization machine 520.
  • CAN communication data is input and output only from the first virtual machine 520, but through data processing in the first virtual machine 520, it can be transmitted to a plurality of guest virtual machines, for example, a second virtual machine. It may be provided to third virtual machines 530 and 540, etc. Accordingly, 1:N data communication through processing of the first virtual machine 520 is possible.
  • audio data, radio data, USB data, and wireless communication data are input and output only from the first virtual machine 520, but are input and output through data processing in the first virtual machine 520.
  • the touch input to the first display 180a or the second display 180b is input only to the first virtual machine 520, and to the second to third It is not input to the virtualization machines 530 and 540.
  • Information about the touch input is transmitted to the second virtualization machine 530 or the third virtualization machine 540.
  • touch input processing can be performed quickly and accurately.
  • the second to third virtualization machines 530 and 540 may operate based on different OSs.
  • the second virtual machine 540 may operate based on Linux OS, and the third virtual machine 540 may operate based on web OS.
  • the shared memory 508 based on the hypervisor 505 can be set to share data. Accordingly, even if the second to third virtual machines 530 and 540 operate under different operating systems (OS), they can synchronize and share the same data or the same image. Ultimately, the same data or the same image can be displayed in synchronization on the plurality of displays 180a and 180b.
  • OS operating systems
  • the first virtual machine 520 transmits information about touch input to the second virtual machine 530 or the third virtual machine 530 or the third virtual machine 530 even though the second to third virtual machines 530 and 540 operate under different OS. Transmit to machine 540. Accordingly, even if the second to third virtual machines 530 and 540 operate under different operating systems (OS), they can quickly and accurately process touch input.
  • OS operating systems
  • the first virtual machine 520 has a display manager 527 for controlling the overlay displayed on the first display 180a and the second display 180b through the second to third virtual machines 530 and 540.
  • a display layer server 529 and an overlay generator 523 that generates an overlay (virtual overlay) may be provided.
  • the display layer server 529 may receive a first overlay provided by the second virtualization machine 530 and a second overlay provided by the third virtualization machine 540.
  • the display layer server 529 may transmit the overlay (virtual overlay) generated by the overlay generator 523 to at least one of the second virtual machine 530 and the third virtual machine 540.
  • the display manager 527 in the first virtual machine 520 uses the first overlay provided by the second virtual machine 530 and the second overlay provided by the third virtual machine 540 as a display layer server. You can receive it through (529).
  • the display manager 527 in the first virtual machine 520 provides an overlay (virtual overlay) separate from the first overlay or the second overlay through the display layer server 529, to the second virtual machine 530.
  • it can be controlled to transmit to at least one of the third virtual machines 540.
  • the second virtual machine 530 may synthesize the first overlay and the overlay (virtual overlay) and control it to be displayed on the first display 180a.
  • the third virtual machine 540 may synthesize the second overlay and the overlay (virtual overlay) and control it to be displayed on the second display 180b.
  • the first virtual machine 520 may be provided with an input manager 524 that receives input signals from the outside.
  • the input signal at this time may be an input signal from a certain button (start button, etc.) in the vehicle, a touch input signal, or a voice input signal.
  • the input manager 524 in the first virtual machine 520 may receive a touch input from the first display 180a or the second display 180b.
  • the first virtualization machine 520 transmits information about the touch input (Touch) related to the touch input from the first display 180a or the second display 180b to the second virtualization machine 530 or the third virtualization machine. It may be provided with a touch server 528 that transmits data to the machine 540.
  • the touch server 528 in the first virtual machine 520 sends information about the touch input (Touch) to the second virtual machine 530. ) can be transmitted.
  • the touch server 528 in the first virtual machine 520 may receive a touch input from the first display 180a or the second display 180b.
  • FIG. 6 is a diagram illustrating another example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • the processor 175 in the signal processing device 170 is a hypervisor ( 505), the first to third virtual machines 520 to 540 are executed, and the first virtual machine 520 in the processor 175 includes the second virtual machine 530 and the third virtual machine 540. ), the shared memory 508 based on the hypervisor 505 is controlled to be set for data transmission.
  • data may include information about touch input (Touch). Accordingly, information about the touch input (Touch) is transmitted to the second virtual machine 530 or the third virtual machine 540, and ultimately, the touch input to the first display 180a or the second display 180b (Touch) processing can be performed quickly and accurately. Additionally, even if the number of running virtual machines increases, touch input processing can be performed quickly and accurately.
  • touch input can be performed quickly and accurately.
  • image data may be exemplified as data. Accordingly, an image can be displayed on the first display 180a or the second display 180b.
  • the same image data when shared in the shared memory 508, the same image can be displayed in synchronization on a plurality of displays 180a to 180b in the vehicle.
  • data may include CAN communication data, audio data, radio data, USB data, wireless communication data, location information data, etc. Accordingly, information about the corresponding data can be displayed on the first display 180a or the second display 180b.
  • the legacy virtualization machine 510 uses memory data from the memory 140, or Ethernet data through Ethernet communication, and the shared memory 508 based on the hypervisor 505. , can be transmitted to the second virtualization machine 530 and the third virtualization machine 540. Accordingly, information corresponding to memory data or Ethernet data can be displayed on the first display 180a or the second display 180b.
  • the first virtualization machine 520 in the system 500b of FIG. 6, similar to the first virtualization machine in the system 500 of FIG. 5, includes a display manager 527, a display layer server 529, and an overlay A generator 523, an input manager 524, and a touch server 528 may be provided.
  • the input/output server interface 522 in the first virtual machine 520 in the system 500b of FIG. 6 may include a display layer server 529 and a touch server 528, unlike FIG. 5 .
  • the first virtual machine 520 in FIG. 6 has a system manager for overall system control, a vehicle information manager for vehicle information management, and an audio manager for audio control. , a radio manager for radio control, etc. may be further provided.
  • the input/output server interface 522 in the first virtual machine 520 in the system 500b of FIG. 6 includes a GNSS server for input/output of GPS information, a Bluetooth server for Bluetooth input/output, a Wi-Fi server for Wi-Fi input/output, and a camera. It may further include a camera server for data input and output.
  • FIG. 7 is a diagram illustrating another example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • system 500c running on the processor 175 in the signal processing device 170 of FIG. 7 is substantially similar to the system 500b of FIG. 6.
  • the processor 175 of FIG. 7 executes the first to third virtualization machines 520 to 540 on the hypervisor 505 within the processor 175.
  • the display layer server 529 and the touch server 528 may be provided and executed within the first virtual machine 520 outside of the input/output server interface 522.
  • a GNSS server for input/output of GPS information a Bluetooth server for Bluetooth input/output, a Wi-Fi server for Wi-Fi input/output, a camera server for input/output of camera data, etc. are located outside the input/output server interface 522. It may be provided and executed within the first virtual machine 520.
  • a display manager 527 a display layer server 529, an overlay generator 523, an input manager 524, and a touch server 528 may be provided and executed.
  • FIGS 8 to 9b are drawings referenced in the description of Figure 5.
  • Figure 8 shows that the first to third virtual machines 520 to 540 are executed on the hypervisor 505 in the processor 175 in the system 500 according to an embodiment of the present disclosure, and the processor ( 175)
  • the shared memory 508 based on the hypervisor 505 is set so that the first virtual machine 520 in the second virtual machine 530 and the third virtual machine 540 transmit the same data. Illustrates control.
  • the same image can be displayed in synchronization on a plurality of displays 180a to 180b within the vehicle.
  • high-speed data communication between a plurality of virtual machines can be performed. Furthermore, high-speed data communication can be performed even if multiple virtual machines are driven by different operating systems.
  • the first virtual machine 520 in the processor 175 does not allocate a number of memory corresponding to the number of virtual machines.
  • one shared memory 508 can be used. Accordingly, instead of 1:1 data communication between virtual machines, 1:N data communication is possible using the shared memory 508.
  • the first virtual machine 520 in the processor 175 may include an input/output server interface 522 and a security manager 526.
  • the second virtual machine 530 and the third virtual machine 540 may include input/output client interfaces 532 and 542, respectively. Accordingly, high-speed data communication between a plurality of virtual machines can be performed using the input/output server interface 522 and the input/output client interfaces 532 and 542.
  • the input/output server interface 522 in the first virtual machine 520 receives the same data transmission request from each of the input/output client interfaces 532 and 542 in the second virtual machine 530 and the third virtual machine 540, Based on this, shared data can be transmitted to the shared memory 508 through the security manager 526.
  • Figure 9A illustrates a more detailed diagram of shared data transfer.
  • the input/output server interface 522 in the first virtual machine 520 transmits an allocation request for the shared memory 508 to the security manager 526 (S1).
  • the security manager 526 can allocate the shared memory 508 using the hypervisor 505 (S2) and record shared data in the shared memory 508.
  • the input/output client interfaces 532 and 542 may transmit a connection request to the input/output server interface 522 after allocating the shared memory 508 (S3).
  • the input/output server interface 522 transmits information about the shared memory 508 including key data to the input/output client interfaces 532 and 542 (S4).
  • the key data at this time may be private key data.
  • the first virtual machine 520 in the processor 175 sends information about the shared memory 508 to the second virtual machine 530 and the third virtual machine ( 540).
  • the input/output server interface 522 in the first virtual machine 520 is controlled to create a command queue for command or event processing, separate from data, for distributed processing control between virtual machines. (S5).
  • the figure illustrates that a command queue is created in the command queue buffer 504 in the hypervisor 505 under control of the input/output server interface 522.
  • a command queue is created in the command queue buffer 504 in the hypervisor 505 under control of the input/output server interface 522.
  • it is not limited to this, and can also be created within the first virtual machine 520 rather than within the hypervisor 505 by controlling the input/output server interface 522.
  • each input/output client interface 532 and 542 accesses the command queue buffer 504 to receive the generated command queue or information about the command queue (S6).
  • the generated command queues may be the same.
  • each input/output client interface 532, 542 accesses the shared memory 508 based on the received key data (S5), and stores the shared data in the shared memory 508. It can be copied or read from (S7).
  • the input/output client interface 532, 542 accesses the shared memory 508 based on the same command queue and the same key data (S5) ), shared data can be copied or read from the shared memory 508.
  • the second virtual machine 530 and the third virtual machine 540 can access the shared memory 508 and ultimately share shared data.
  • the shared data is image data
  • the image data is shared in the second virtualization machine 530 and the third virtualization machine 540, and ultimately, the same sharing is performed on the plurality of displays 180a to 180b in the vehicle. Videos can be displayed in synchronization.
  • FIG. 9B shows that, by the system 500 of FIG. 9A, the second virtualization machine 530 displays image data received through the shared memory 508 on the first display 180a, and the third virtualization machine 540 ) illustrates displaying image data received through the shared memory 508 on the second display 180b.
  • the image 905a displayed on the first display 180a and the image 905b displayed on the second display 180b are synchronized, so that the same images 905a and 905b are displayed at time T1, respectively. exemplifies what is happening.
  • the image data processed in the first virtualization machine 520 in the processor 175 is transmitted to the second virtualization machine 530 and the third virtualization machine 540 through the shared memory 508, and the image data Based on this, the first image 905a displayed on the first display 180a and the second image 905b displayed on the second display 180b may be the same. Accordingly, the same image can be displayed in synchronization on a plurality of displays 180a to 180b within the vehicle.
  • FIG. 10 is a diagram illustrating the appearance of a vehicle display device according to another embodiment of the present disclosure.
  • a vehicle display device 100 includes a plurality of displays (180a, 180b, 180m) extending from the driver's seat to the passenger seat, and a plurality of displays (180a, 180b, 180m).
  • a signal processing device 170 that performs signal processing to display images, information, etc. may be provided.
  • a plurality of displays 180a, 180b, and 180m may be arranged within a single frame.
  • the plurality of displays 180a, 180b, and 180m may be one display 170t implemented seamlessly.
  • the first display 180a may be a cluster display
  • the second display 180b may be an AVN display
  • the third display 180m may be a passenger seat display. there is.
  • the signal processing device 170 has a processor 175 therein, and, on the hypervisor 505 within the processor 175, a server virtualization machine 520, a first guest virtualization machine 530 to a third guest virtualization machine.
  • Machine 550 may be executed.
  • the first guest virtualization machine 530 operates for the first display 180a
  • the second guest virtualization machine 540 operates for the second display 180b
  • the third guest virtualization machine 550 can operate for the third display (180m).
  • FIG. 11 is a diagram illustrating another example of a system driven by a signal processing device according to an embodiment of the present disclosure.
  • the processor 175 in the signal processing device 170 drives the hypervisor 505, and operates on the hypervisor 505.
  • the server virtualization machine 520, the first guest virtualization machine 530, the second guest virtualization machine 540, and the third guest virtualization machine 550 are executed.
  • the server virtualization machine 520 changes the layer order of the overlay or changes the display area, and the changed overlay is displayed on the first display 180a, the second display 180b, or the third display.
  • the changed overlay or information about the changed overlay may be transmitted to the first guest virtualization machine 530, the second guest virtual machine 540, or the third guest virtualization machine 550. all.
  • the first guest virtualization machine 530, the second guest virtualization machine 540, or the third guest virtualization machine 550 synthesizes a variable overlay for each physical overlay and applies the synthesized overlay to the first display 180a. ) or can be controlled to display on the second display 180b or the third display 180m.
  • the server virtualization machine 520 is a display manager that includes an overlay controller 527a that controls the overlay, a layer controller 527b that controls the layers, and a composition controller 527c that controls the configuration or order of the layers. (527) may be provided.
  • the input/output server interface 522 in the server virtualization machine 520 transmits a command for configuring an overlay to the first guest virtualization machine 530 to the second guest virtualization machine 540, or transmits a command for configuring the first guest virtualization machine 530 to the second guest virtualization machine 540. It may be provided with a front interface (VEa) that receives commands for configuring an overlay from the machine 530 to the second guest virtualization machine 540.
  • VEa front interface
  • the input/output client interface 532 in the first guest virtualization machine 530 receives a command for configuring an overlay from the server virtualization machine 520 or sends a command for configuring an overlay to the server virtualization machine 520.
  • a front interface (VEb) for transmission may be provided.
  • the first guest virtualization machine 530 combines a window manager 537 for controlling the window of an image to generate or display an overlay, and overlays or windows created in the first guest virtualization machine 530.
  • a compositor 538 may be provided.
  • the input/output client interface 542 in the second guest virtualization machine 540 receives a command for configuring an overlay from the server virtualization machine 520 or sends a command for configuring an overlay to the server virtualization machine 520. It may be provided with a front interface (VEc) for transmission.
  • VEc front interface
  • the second guest virtualization machine 540 combines a window manager 547 for controlling the window of an image to generate or display an overlay, and overlays or windows created in the second guest virtualization machine 540.
  • a compositor 548 may be provided.
  • the input/output client interface 552 in the third guest virtualization machine 550 receives a command for configuring an overlay from the server virtualization machine 520 or sends a command for configuring an overlay to the server virtualization machine 520. It may be provided with a front interface (VEd) for transmission.
  • VEd front interface
  • the third guest virtual machine 550 combines the window manager 557 for controlling the window of the image to be displayed or creating an overlay, and the overlays or windows created in the third guest virtual machine 550.
  • a compositor 558 may be provided.
  • the server virtualization machine 520, the first guest virtualization machine 530 to the third guest virtualization machine 550 may transmit or receive each overlay or image data using the shared memory 508. .
  • the server virtualization machine 520 may change the configuration of the layer displayed on the first display 180a, second display 180b, or third display 180c during runtime. Accordingly, it is possible to change the configuration of the displayed layer during runtime.
  • the server virtualization machine 520 may control the generated overlay or image to be moved and displayed on the first display 180a, second display 180b, or third display 180c. Accordingly, it is possible to easily move the generated overlay or image.
  • 12A to 12C are diagrams for explaining the operation of a vehicle display device related to the present invention.
  • Figure 12a is an example of an internal block diagram of a vehicle display device related to the present invention.
  • a vehicle display device 100x related to the present invention includes a first display 180a, a second display 180b, and a third display 180m, and a signal processing device for driving each display ( 170xa, 170xb, 170xc) are available.
  • the image data encoded in the first signal processing device 170xa is used. It must be transmitted to the second signal processing device (170xb) and the third signal processing device (170xc) through a cable, and the second signal processing device (170xb) and the third signal processing device (170xc) each transmit encoded video data. After decoding, video display based on the decoded video data must be performed.
  • FIGS. 12B to 12C are diagrams referenced in the description of FIG. 12A.
  • FIG. 12B illustrates dividing the image IMGx into three areas (IMGxa, IMGxbIMGxc) in the first signal processing device 170xa.
  • the first signal processing device 170xa selects one of the three areas (IMGxa, IMGxbIMGxc).
  • Two areas (MGxbIMGxc) can be encoded and transmitted to the second signal processing device (170xb) and the third signal processing device (170xc) through a cable.
  • the second signal processing device 170xb and the third signal processing device 170xc may each receive encoded image data in a corresponding region among the two regions MGxbIMGxc and perform decoding, respectively. In this way, when displaying an image movement or copying an image using each signal processing device (170xa, 170xb, and 170xc), the image processing amount and delay are significantly increased.
  • FIG. 12C is a diagram illustrating camera data being processed in the vehicle display device 100x of FIG. 12A.
  • the first signal processing device 170xa includes an encoder 1210 that receives and encodes camera data, a transmitter 1212 that transmits encoded camera data, and a decoder 1216 that decodes the encoded camera data. is provided.
  • the decoder 1216 performs decoding three times for the first display 180a, the second signal processing unit 170xb, and the third signal processing unit 170xc, and outputs three decoded camera data (Dtx, Dty). ,Dtz) are output respectively.
  • the first decoded camera data (Dtx) and the second decoded camera data (Dty) are output to the second signal processing device (170xb) and the third signal processing device (170xc), respectively, and the third decoding The camera data Dtz is displayed on the first display 180a.
  • the second signal processing device 170xa includes a receiver 1232 that receives camera data and a decoder 1224 that decodes the camera data.
  • the decoder 1224 receives the first decoded camera data Dtx from the first signal processing device 170xa, processes it, and displays it on the second display 180b.
  • the third signal processing device 170xc includes a receiver 1232 that receives camera data and a decoder 1234 that decodes the camera data.
  • the decoder 1234 receives the third decoded camera data Dty from the first signal processing device 170xa, processes it, and displays it on the third display 180c.
  • the present disclosure proposes a method for reducing delay when displaying images between a plurality of displays. This will be described with reference to FIG. 13A and below.
  • FIG. 13A is an example of an internal block diagram of a vehicle display device according to an embodiment of the present disclosure.
  • a vehicle display device (100m) according to an embodiment of the present disclosure includes at least one camera 195 and a signal processing device 170 that processes signals such as image data from the camera. do.
  • the signal processing device 170 includes a processor 175 that performs signal processing for a plurality of displays 180a and 180b mounted on a vehicle.
  • the processor 175 executes a server virtualization machine 520 and a plurality of guest virtualization machines 530 to 540 on the hypervisor 505 within the processor 175.
  • the first guest virtualization machine 530 and the second guest virtualization machine 540 operate for the first display 180a and the second display 180b, respectively.
  • the server virtualization machine 520 encodes the processed image data and controls it to be stored in the shared memory 508.
  • the first guest virtualization machine 530 receives and decodes the encoded image data stored in the shared memory 508 and controls the decoded image data to be stored in the shared memory 508 .
  • the second guest virtualization machine 540 receives decoded image data stored in the shared memory 508 and controls to display at least a portion of the decoded image data on the second display 180b. Accordingly, it is possible to reduce the delay when displaying images between the plurality of displays 180a and 180b.
  • the first guest virtual machine 530 may receive and decode encoded image data stored in the shared memory 508 and display at least a portion of the decoded image data on the first display 180a. . Accordingly, it is possible to reduce the delay when displaying images between the plurality of displays 180a and 180b. In addition, images corresponding to the resolution of each of the plurality of displays 180a and 180b can be displayed with reduced delay.
  • video data may be camera data, radar data, lidar data, streaming data, etc.
  • the server virtualization machine 520 may include a reception unit 1305 that receives camera data from the camera 195 and execute a playback application 1318 and a control channel 1311.
  • the server virtualization machine 520 may store encoded camera data in the shared memory 508 and transmit a control message to the shared memory 508 through the control channel 1311.
  • control channel 1311 may transmit control messages related to Bitrate, Latency negotiation, Buffer Sharing, or Time Stamp (e.g., forced frame drop) to the shared memory 508.
  • control messages related to Bitrate, Latency negotiation, Buffer Sharing, or Time Stamp e.g., forced frame drop
  • the first guest virtualization machine 530 may execute a playback application 1328 and a control channel 1321.
  • the control channel 1321 may operate similarly to the control channel 1311.
  • the first guest virtualization machine 530 may receive encoded camera data via the control channel 1321 and decode the encoded camera data via the decoder 1324 in the playback application 1328. You can.
  • the first guest virtual machine 530 may store the decoded camera data in the shared memory 508 and transmit a control message to the shared memory 508 through the control channel 1321.
  • the second guest virtualization machine 540 can execute the playback application 1338 and the control channel 1331.
  • the control channel 1331 may operate similarly to the control channel 1311.
  • the second guest virtual machine 540 receives decoded camera data through the control channel 1331, receives decoded camera data through the playback application 1338, and receives decoded camera data through the playback application 1338. is controlled to be displayed on the second display 180b. Accordingly, it is possible to reduce the delay when displaying images between the plurality of displays 180a and 180b.
  • FIG. 13B is an example of an internal block diagram of a vehicle display device according to another embodiment of the present disclosure.
  • the signal processing device 170 of FIG. 13B is similar to the signal processing device of FIG. 13A, but the difference is that the hypervisor 505 and the shared memory 508 are provided in the server virtualization machine 520. , and other operations can be performed in the same way.
  • FIGS. 14A to 16 are diagrams referenced in the description of the operation of FIG. 13A.
  • FIG. 14A shows that an image 180t based on camera data is displayed on the first display 180a among the plurality of displays 180a, 180b, and 180m in the vehicle 200.
  • the image 180t based on camera data only displays the lower part of the vehicle, especially the tire portion, which is part of the plurality of displays 180a, 180b, and 180m, it may be difficult to recognize external situations based on camera data.
  • FIG. 14B shows that an image 180t based on camera data is displayed on all of the plurality of displays 180a, 180b, and 180m in the vehicle 200.
  • the signal processing device 170 is preferably operated as shown in FIG. 13A or FIG. 13B.
  • the signal processing device 170 receives the decoded image data stored in the shared memory 508 and stores the decoded image data. At least part of the display can be controlled to be displayed on the third display (180m).
  • the second guest virtualization machine 540 and the third guest virtualization machine 550 may share a portion of the shared memory 508 where decoded image data is stored. Accordingly, it is possible to reduce the delay when displaying images between the plurality of displays 180a and 180b.
  • FIG. 14C is a diagram illustrating the first guest virtualization machine 530 decoding camera data divided into three regions.
  • the server virtualization machine 520 in the signal processing device 170 may be controlled to receive camera data, encode it through the encoder 1310, and store the encoded camera data in the shared memory 508. there is.
  • the first guest virtualization machine 530 may receive encoded camera data from the shared memory 508, decode it, and store the decoded camera data in the shared memory 508.
  • the first guest virtual machine 530 may control the camera data (IMGa) of the first area among the decoded camera data to be displayed on the first display 180a.
  • the second guest virtualization machine 540 receives the decoded camera data from the shared memory 508 and displays the camera data (IMGb) of the second area among the decoded camera data on the second display 180b. and control the camera data (IMGc) of the third area to be displayed on the third display (180m).
  • a third guest virtualization machine 550 may be further executed within the signal processing device 170.
  • the second guest virtual machine 540 receives the decoded camera data from the shared memory 508 and displays the camera data (IMGb) of the second area among the decoded camera data on the second display 180b.
  • the third guest virtual machine 550 may control the camera data (IMGc) of the third area to be displayed on the third display 180m.
  • FIG. 14D illustrates various images displayed on the first to third displays 180a, 180b, and 180.
  • FIG. 14D illustrates that a camera image 1402, a surround view image 1404, and an application screen image 1406 are displayed on the first to third displays 180a, 180b, and 180, respectively. do.
  • the first to third guest virtual machines 530 to 550 may perform signal processing to display each image 1402, 1404, and 1406.
  • FIG. 14D illustrates that camera images 1412, 1414, and 1416 are displayed on the first to third displays 180a, 180b, and 180, respectively.
  • the first to third guest virtual machines 530 to 550 may perform signal processing to display camera images 1412, 1414, and 1416, respectively.
  • FIG. 14D illustrates that a camera image 1422, a camera image 1424, and an application screen image 1426 are displayed on the first to third displays 180a, 180b, and 180, respectively. .
  • the first to third guest virtual machines 530 to 550 may perform signal processing to display each image 1422, 1424, and 1426.
  • the first guest virtualization machine 530 when copying and displaying an image between a plurality of displays 180a and 180b, receives encoded camera data stored in the shared memory 508.
  • the second guest virtualization machine 540 receives the decoded camera data stored in the shared memory 508 and stores the decoded camera data in the shared memory 508. Controls display on the second display 180b.
  • the first guest virtualization machine 530 controls the camera image 1422 to be displayed on the first display 180a at the first time point and a second time point after the first time point
  • the second guest virtualization machine 540 can control the camera image 1424 corresponding to the camera image 1422 to be displayed on the second display 180b at the second viewpoint. Accordingly, it is possible to reduce the delay when copying and displaying images between the plurality of displays 180a and 180b.
  • the second guest virtual machine 540 may control the scaled second image to be output on the second display 180b based on the size, output resolution, or operating system of the second display 180b.
  • the second guest virtual machine 540 can control the scaled camera image 1424 to be output on the second display 180b based on the size, output resolution, or operating system of the second display 180b. . Accordingly, it is possible to display images corresponding to the resolution of each of the plurality of displays 180a and 180b with reduced delay.
  • the first guest virtualization machine 530 copies the encoded camera data stored in the shared memory 508.
  • the second guest virtualization machine 540 receives the decoded camera data stored in the shared memory 508 and stores the decoded camera data in the shared memory 508.
  • Controls data to be displayed on the second display 180b, and the third guest virtualization machine 550 receives decoded camera data stored in the shared memory 508 and displays the decoded camera data on the third display 180m. You can control it to be displayed.
  • the first guest virtual machine 530 displays the camera image 1412 on the first display 180a at a first time point, a second time point after the first time point, and a third time point after the second time point.
  • the second guest virtual machine 540 controls the camera image 1414 corresponding to the camera image 1412 to be displayed on the second display 180b at the second and third viewpoints
  • the third guest virtualization machine 550 may control the camera image 1416 corresponding to the camera image 1412 to be displayed on the third display 180c at a third viewpoint. Accordingly, it is possible to reduce the delay when copying and displaying images between the plurality of displays 180a, 180b, and 180m.
  • the second guest virtual machine 540 may control the scaled second image to be output on the second display 180b based on the size, output resolution, or operating system of the second display 180b.
  • the second guest virtual machine 540 can control the scaled camera image 1414 to be output on the second display 180b based on the size, output resolution, or operating system of the second display 180b. . Accordingly, it is possible to display images corresponding to the resolution of each of the plurality of displays 180a and 180b with reduced delay.
  • the third guest virtualization machine 550 may control the scaled third image to be output on the third display 180m based on the size, output resolution, or operating system of the third display 180m.
  • the third guest virtualization machine 550 can control the scaled camera image 1416 to be output on the third display 180m based on the size, output resolution, or operating system of the third display 180m. . Accordingly, it is possible to display images corresponding to the resolution of each of the plurality of displays (180a, 180b, and 180m) with reduced delay.
  • FIG. 15A is a diagram illustrating that three signal processing devices (170xa, 170xb, and 170xc) are used for three displays (180a, 180b, and 180m), as shown in FIG. 12A.
  • camera data is received from the camera 195, three signal processing devices (170xa, 170xb, and 170xc) perform decoding, etc., and display camera images (1510, 1512, and 1514), respectively.
  • signal processing devices (170xa, 170xb, and 170xc) perform decoding, etc.
  • display camera images (1510, 1512, and 1514), respectively.
  • video throughput and delay increase significantly.
  • FIG. 15B is a diagram illustrating that three guest virtualization machines 530, 540, and 550 in one signal processing device 170 are used for three displays 180a, 180b, and 180m, as shown in (b) of FIG. 14D.
  • the server virtualization machine 520 may receive camera data from the camera 195 and store the encoded camera data in the shared memory 508.
  • the first guest virtualization machine 530 may receive and decode encoded camera data from the shared memory 508 and store the decoded camera data in the shared memory 508. .
  • the first guest virtual machine 530 may receive decoded camera data and control the camera image 1412 to be displayed.
  • the remaining two guest virtual machines 540 and 550 can receive decoded camera data from the shared memory 508 and control them to display camera images 1414 and 1416, respectively. Accordingly, it is possible to significantly reduce the amount of image processing and delay when copying and displaying images between the plurality of displays 180a, 180b, and 180m.
  • FIG. 15C is a diagram referenced to explain image movement between a plurality of displays 180a, 180b, and 180m.
  • the first guest virtualization machine 530 in the signal processing device 170 displays the camera image 1520 on three displays 180a, as shown in (a) of FIG. 15C. , 180b, 180m) can be controlled to be displayed on the first display 180a.
  • the first guest virtualization machine 530 and the second guest virtualization machine 540 in the signal processing device 170 can be controlled to display part of the camera image 1521.
  • the second guest virtualization machine 540 in the signal processing device 170 displays the camera image 1522 on the second display 180b, as shown in (c) of FIG. 15C. You can control it to do so.
  • the first guest virtualization machine 530 may receive encoded camera data controlled by the server virtualization machine 520 from the shared memory 508 and decode the camera data.
  • the first guest virtual machine 530 stores the decoded camera data in the shared memory 508, and the second guest virtual machine 540 receives the decoded camera data stored in the shared memory 508.
  • the camera image 1522 can be controlled to be displayed.
  • the first guest virtualization machine 530 controls the camera image 1520 to be displayed on the first display 180a at the first time point
  • the second guest virtualization machine 540 controls the camera image 1520 to be displayed on the first display 180a after the first time point.
  • the camera image 1522 corresponding to the camera image 1520 can be controlled to be displayed on the second display 180b at two points in time. Accordingly, there is a delay when displaying the image movement between the plurality of displays 180a and 180b. By reducing , seamless display becomes possible.
  • the first guest virtualization machine 530 controls the first image to be displayed on the first display 180a at a first time
  • the third guest virtualization machine 550 controls the first image after the first time.
  • the second image corresponding to the first image can be controlled to be displayed on the third display (180m) at two viewpoints. Accordingly, it is possible to reduce the delay when moving and displaying images between the plurality of displays 180a and 180b.
  • the first guest virtualization machine 530 controls the first image to be displayed on the first display 180a at a first time
  • the second guest virtualization machine 540 controls the first image after the first time.
  • the second image corresponding to the first image is controlled to be displayed on the second display 180b at two viewpoints
  • the third guest virtualization machine 550 displays the second image corresponding to the first image at a third viewpoint after the second viewpoint.
  • the third image can be controlled to be displayed on the third display (180m). Accordingly, it is possible to reduce the delay when moving and displaying images between the plurality of displays 180a and 180b.
  • the first guest virtualization machine 530 decodes the encoded video data, but differently, it is also possible for the server virtualization machine 520 to decode the encoded video data. do.
  • the server virtualization machine 520 in the signal processing device 170 controls the encoded image data to be stored in the shared memory 508, and the first guest virtualization machine 530 , receives the encoded image data stored in the shared memory 508, sends a decoding request to the server virtualization machine 520, and the server virtualization machine 520 decodes the encoded image data based on the decoding request,
  • the decoded image data is controlled to be stored in the shared memory 508, and the first guest virtualization machine 530 receives the decoded image data stored in the shared memory 508 and stores at least a portion of the decoded image data.
  • 1 Control to display on the display 180a. Accordingly, it is possible to reduce the delay when displaying images between the plurality of displays 180a and 180b.
  • the second guest virtual machine 540 may receive decoded image data stored in the shared memory 508 and control the display to display at least a portion of the decoded image data on the second display 180b. Accordingly, it is possible to reduce the delay when displaying images between the plurality of displays 180a and 180b. In addition, images corresponding to the resolution of each of the plurality of displays 180a and 180b can be displayed with reduced delay.
  • the signal processing device 170 differs only in that the server virtualization machine 520 decodes encoded image data, and other image copying, image movement, etc. are performed in FIGS. 13A to 13A. It can be performed as described in FIG. 15C.
  • FIG. 16 is a diagram referenced for displaying the image in (b) of FIG. 14D.
  • a vehicle display device 100m includes at least one camera 195 and a signal processing device that processes signals such as camera data from the camera ( 170).
  • the signal processing device 170 includes a processor 175 and a shared memory 508 that perform signal processing for a plurality of displays 180a and 180b mounted on a vehicle.
  • the processor 175 executes a server virtualization machine 520 and a plurality of guest virtualization machines 530 to 540 on the hypervisor 505 within the processor 175.
  • the encoder 1310 in the server virtualization machine 520 receives camera data and encodes the received camera data, and the transmitter 1312 in the server virtualization machine 520 stores the encoded camera data in the shared memory 508. send to
  • the decoder 1310 in the server virtualization machine 520 decodes the encoded camera data, and the transmission unit 1312 in the server virtualization machine 520 transmits the decoded camera data to the shared memory 508.
  • the camera data decoded within the server virtualization machine 520 may be transmitted to the player application 1318 and the camera image 1520 may be displayed on the first display 180a as shown in FIG. 15B.
  • the receiving unit 1325 in the first guest virtual machine 530 may receive encoded camera data stored in the shared memory 508, and the decoder 1324 may decode the encoded camera data.
  • the decoder 1324 in the first guest virtualization machine 530 receives decoded camera data stored in the shared memory 508, and the decoded camera data is delivered to the player application 1328 to display the second display ( A camera image 1522 may be displayed in 180b) as shown in FIG. 15b.
  • the receiving unit 1335 in the second guest virtual machine 540 may receive encoded camera data stored in the shared memory 508, and the decoder 1334 may decode the encoded camera data.
  • the decoder 1334 in the second guest virtualization machine 540 receives decoded camera data stored in the shared memory 508, and the decoded camera data is transmitted to the player application 1338 and displayed on the third display.
  • a camera image 1524 may be displayed at (180m) as shown in FIG. 15B.
  • the player application 1318 is executed in the first guest virtualization machine 530 rather than the server virtualization machine 520, and the camera image 1520 is displayed on the first display 180a as shown in FIG. 15B. can be displayed.
  • the player application 1328 is executed in the second guest virtualization machine 540 rather than the first guest virtualization machine 530, and the camera image 1522 is displayed on the second display 180b as shown in FIG. 15B. You can.
  • the player application 1338 may be executed in the third guest virtualization machine 550 rather than the second guest virtualization machine 540, and the camera image 1524 may be displayed on the third display 180m as shown in FIG. 15B. there is.
  • FIG. 17A is an example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • the server virtualization machine 520 in the signal processing device 170 receives camera data from the camera 195 (S1710).
  • the encoder 1310 in the server virtualization machine 520 encodes the camera data (S1712), and the transmission unit 1312 in the server virtualization machine 520 transmits the encoded camera data to the shared memory 508. Do it (S1715).
  • the receiving unit 1325 in the first guest virtual machine 530 receives encoded camera data from the shared memory 508 (S1716).
  • the first guest virtualization machine 530 transmits a decoding request for the encoded camera data (S1718).
  • the server virtualization machine 520 receives a decoding request.
  • the decoder 1316 in the server virtualization machine 520 extracts a display timing parameter (S1719).
  • the decoder 1316 in the server virtualization machine 520 determines whether the encoded camera data has already been decoded (S1720), and if it has already been decoded, selects the decoded camera data from the decoding data cache (S1722) ).
  • step S1720 if the encoded camera data is not decoded, the decoder 1316 in the server virtualization machine 520 creates a decoding instance (S1723) and based on the decoding instance, and perform decoding (S1725).
  • the decoded camera data is transmitted to the first guest virtualization machine 530 (S1730), and the first guest virtualization machine 530 decodes in response to this. camera data can be received (S1729).
  • the camera data decoded in the server virtualization machine 520 is played and displayed through the player application 1318, or is transmitted to the first guest virtual machine 530 and played through the player application 1328. can be displayed.
  • Figure 17b is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • the receiving unit 1325 in the first guest virtual machine 530 receives encoded camera data from the shared memory 508 (S1756).
  • the first guest virtual machine 530 transmits a decoding request for the encoded camera data (S1758).
  • the server virtualization machine 520 receives a decoding request.
  • the decoder 1316 in the server virtualization machine 520 performs decoding (S1763) and stores the decoded camera data as a decoding data cache (S1765).
  • the decoder 1316 in the server virtualization machine 520 transmits the decoded camera data stored in the decoding data cache to the shared memory 508 (S1768).
  • the first guest virtualization machine 530 receives the decoded camera data through the shared memory 508 (S1769).
  • the server virtualization machine 520 determines whether there is an additional guest virtualization machine to be transmitted (S1770), and if applicable, the encoder 1310 in the server virtualization machine 520 decodes the camera stored in the data cache. Encode data (S1771).
  • the transmission unit 1312 in the server virtual machine 520 transmits the encoded camera data to the shared memory 508 (S1773).
  • the reception unit 1335 of the second guest virtual machine 540 receives the encoded camera data through the shared memory 508 (S1775).
  • the second guest virtualization machine 540 transmits a decoding request to the server virtualization machine 520 (S1777).
  • the server virtualization machine 520 may receive the decoding request and extract a display timing parameter. Do it (S1779).
  • the decoder 1316 in the server virtualization machine 520 selects the decoded camera data from the decoding data cache and transmits it to the shared memory 508 (S1781).
  • the second guest virtualization machine 540 receives the decoded camera data from the shared memory 508 (S1783).
  • the camera data decoded in the server virtualization machine 520 is transmitted to the first guest virtualization machine 530 and the second guest virtualization machine 540, so that the first display 180a and the second display ( The same camera image can be displayed in 180b).
  • Figure 18 is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • the encoder 1310 in the server virtualization machine 520 sets the encoding bit rate (S1805).
  • the encoder 1310 in the server virtualization machine 520 receives camera data and encodes the received camera data based on the set encoding bitrate (S1810).
  • the transmission unit 1312 in the server virtualization machine 520 transmits the encoded camera data to the shared memory 508 (S1815).
  • the receiving unit 1325 in the first guest virtual machine 530 receives encoded camera data from the shared memory 508 (S1816).
  • the first guest virtualization machine 530 transmits a decoding request for the encoded camera data (S1818).
  • the server virtualization machine 520 receives a decoding request.
  • the decoder 1316 in the server virtualization machine 520 performs decoding (S1823) and transmits the decoded camera data to the shared memory 508 (S1842).
  • the first guest virtualization machine 530 receives the decoded camera data through the shared memory 508 (S1843) and outputs a camera image based on the camera data to the first display 180a (S1845) ).
  • the first guest virtualization machine 530 receives an image copy input through a touch input, etc. (S1847) and transmits the copy input (S1849).
  • the server virtualization machine 520 receives the copy input (S1850) and transmits a player application execution request to the second guest virtualization machine 540 (S1852).
  • the second guest virtualization machine 540 receives the player application execution request and executes the player application (S1853).
  • the second guest virtualization machine 540 sets the size of the second display 180b, the output resolution, or the window size corresponding to the operating system (S1855).
  • the second guest virtual machine 540 receives the decoded camera data through the shared memory 508 (S1857) and displays a camera image based on the camera data on the second display 180b in response to the set window size. Print (S1859).
  • the second guest virtualization machine 540 may control the scaled camera image to be output on the second display 180b based on the size, output resolution, or operating system of the second display 180b. Accordingly, it is possible to display images corresponding to the resolution of each display with reduced delay.
  • the server virtualization machine 520 calculates an appropriate bit rate according to the camera data resource (S1856).
  • the encoder 1310 in the server virtualization machine 520 may re-set the encoding bit rate (S1805).
  • Figures 19A to 19E are diagrams referenced in the description of the operation of Figures 17A to 18.
  • FIG. 19A is a diagram illustrating an example of image copying in the vehicle display device 100x related to the present invention.
  • the signal processing device 170x related to the present invention displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 19A, and when there is an image copy input, the signal processing device 170x displays the first image 1910 in (b) of FIG. 19A. ), the first image 1910 can be displayed on the first display 180a and the copied image 1912 can be displayed on the third display 180m.
  • the signal processing device 100 performs scaling according to the resolution of the output resolution of the third display 180m when copying an image. This will be described with reference to FIG. 19B.
  • FIG. 19B is a diagram illustrating an example of image copying in a vehicle display device (100m) according to an embodiment of the present disclosure.
  • the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 19B, and when there is an image copy input, the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 19B. As shown in (b), control can be made to display the first image 1910 on the first display 180a and the copied image 1922 on the third display 180m.
  • the signal processing device 170 adjusts the output of the third display 180m, as shown in (b) of FIG. 19A. Scaling corresponding to the resolution is performed to control blank spaces in a portion of the third display (180m). Accordingly, image copying is performed corresponding to the output resolution of the third display (180m).
  • FIG. 19C is a diagram illustrating another example of image copy in the vehicle display device 100y related to the present invention.
  • the signal processing device 170y related to the present invention displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 19C, and when there is an image copy input, the signal processing device 170y displays the first image 1910 in (b) of FIG. 19C. ), it can be controlled to display the first image 1910 on the first display 180a and the copied image 1914 on the third display 180m.
  • the signal processing device 100 performs scaling according to the resolution of the output resolution of the third display 180m when copying an image. This will be described with reference to FIG. 19d.
  • FIG. 19D is a diagram illustrating another example of image copy in a vehicle display device (100m) according to an embodiment of the present disclosure.
  • the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 19D, and when there is an image copy input, the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 19D. As shown in (b), control can be made to display the first image 1910 on the first display 180a and the copied image 1922 on the third display 180m.
  • the signal processing device 170 adjusts the output of the third display 180m.
  • control is performed so that all areas of the first image 1910 are displayed without being cut off on the third display 180m. Accordingly, image copying is performed corresponding to the output resolution of the third display (180m).
  • FIG. 19E is a diagram illustrating that image copying is sequentially performed in the vehicle display device 100m according to an embodiment of the present disclosure.
  • the signal processing device 170 displays the first image 1910 on the first display 180a at a first viewpoint, as shown in (a) of FIG. 19E, and an image copy input is performed. If present, as shown in (b) of FIG. 19e, at a second time point after the first time point, the first image 1910 is displayed on the first display 180a, and the image copied to the third display 180m ( 1922) can be displayed.
  • the signal processing device 170 displays the first image 1910 on the first display 180a and displays the first image 1910 on the third display at the second viewpoint, as shown in (b) of FIG. 19E.
  • the copied image 1922 at (180m)
  • the first image is displayed on the first display 180a at the third time point after the second time point, as shown in (c) of FIG. 19e. 1910 may be displayed
  • the copied image 1922 may be displayed on the third display 180m
  • the copied image 1924 may be displayed on the RSE display 180c. Accordingly, image copying can be performed sequentially.
  • Figure 20 is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • the encoder 1310 in the server virtualization machine 520 sets the encoding bit rate (S2005).
  • the encoder 1310 in the server virtualization machine 520 receives camera data and encodes the received camera data based on the set encoding bitrate (S2010).
  • the transmission unit 1312 in the server virtualization machine 520 transmits the encoded camera data to the shared memory 508 (S2025).
  • the receiving unit 1325 in the first guest virtual machine 530 receives encoded camera data from the shared memory 508 (S2026).
  • the first guest virtual machine 530 transmits a decoding request for the encoded camera data (S2028).
  • the server virtualization machine 520 receives a decoding request.
  • the decoder 1316 in the server virtualization machine 520 performs decoding (S2040) and transmits the decoded camera data to the shared memory 508 (S2042).
  • the first guest virtualization machine 530 receives the decoded camera data through the shared memory 508 (S2043) and outputs a camera image based on the camera data to the first display 180a (S2045) ).
  • the first guest virtual machine 530 receives an image movement input through a touch input, etc. (S2047) and transmits the movement input (S2049).
  • the server virtualization machine 520 receives the movement input (S2050) and transmits a player application execution request to the second guest virtualization machine 540 (S2052).
  • the second guest virtualization machine 540 receives the player application execution request and executes the player application (S2053).
  • the second guest virtualization machine 540 sets the size of the second display 180b, the output resolution, or the window size corresponding to the operating system (S2055).
  • the second guest virtual machine 540 receives the decoded camera data through the shared memory 508 (S2057) and displays a camera image based on the camera data on the second display 180b in response to the set window size. Output (S2059).
  • the second guest virtualization machine 540 may control the scaled camera image to be output on the second display 180b based on the size, output resolution, or operating system of the second display 180b. Accordingly, it is possible to move the image corresponding to the resolution of each display and display it with reduced delay.
  • the server virtualization machine 520 calculates an appropriate bit rate according to the camera data resource (S2056).
  • the encoder 1310 in the server virtualization machine 520 may re-set the encoding bit rate (S2005).
  • FIGS. 21A to 21E are diagrams referenced in the description of the operation of FIG. 20.
  • FIG. 21A is a diagram illustrating an example of image movement in the vehicle display device 100x related to the present invention.
  • the signal processing device 170x related to the present invention displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 21A, and when there is an image movement input, the signal processing device 170x displays the first image 1910 on the third display 180m. ) can be controlled to display the moved image 1912.
  • the signal processing device 100 performs scaling according to the resolution of the output resolution of the third display 180m when moving the image. This will be described with reference to FIG. 21B.
  • FIGS. 21A to 21F are diagrams referenced in the description of the operation of FIG. 20.
  • FIG. 21B is a diagram illustrating an example of image movement in a vehicle display device (100m) according to an embodiment of the present disclosure.
  • the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 21B, and when there is an image movement input, the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 21B. As shown in (b), control can be made to display the moved image 1922 on the third display 180m.
  • the signal processing device 170 adjusts the output of the third display 180m, as shown in (b) of FIG. 21A. Scaling corresponding to the resolution is performed to control blank spaces in a portion of the third display (180m). Accordingly, image movement is performed corresponding to the output resolution of the third display (180m).
  • FIG. 21C is a diagram illustrating another example of image movement in the vehicle display device 100y related to the present invention.
  • the signal processing device 170y related to the present invention displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 21C, and when there is an image movement input, the signal processing device 170y displays the first image 1910 in (b) of FIG. 21C. ), it can be controlled to display the moved image 1914 on the third display 180m.
  • the signal processing device 100 performs scaling according to the resolution of the output resolution of the third display 180m when moving the image. This will be described with reference to FIG. 21D.
  • FIG. 21D is a diagram illustrating another example of image movement in a vehicle display device (100m) according to an embodiment of the present disclosure.
  • the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 21D, and when there is an image movement input, the signal processing device 170 displays the first image 1910 on the first display 180a, as shown in (a) of FIG. 21D. As shown in (b), control can be made to display the moved image 1922 on the third display 180m.
  • the signal processing device 170 adjusts the output of the third display 180m, as shown in (b) of FIG. 21C.
  • control is performed so that all areas of the first image 1910 are displayed without being cut off on the third display 180m. Accordingly, image movement is performed corresponding to the output resolution of the third display (180m).
  • FIG. 21E is a diagram illustrating a case where the resolution between the image and the display does not match in the vehicle display device 100x related to the present invention.
  • the second image 1942 is displayed on the first display 180a, as shown in (b) of FIG. 21E, and the second image 1942 is displayed on the first display 180a.
  • the first image 1952 can be displayed on the display 180b, but the second image 1942 does not match the output resolution of the first display 180a, so a blank space may appear.
  • FIG. 21F is a diagram illustrating that the resolution between the image and the display in the vehicle display device (100m) according to an embodiment of the present disclosure matches.
  • the vehicle display device 100m displays the image by replacing it to resolve the resolution discrepancy in (a) of FIG. 21F, but considering the output resolution of the display, the first Part of the second image 1950 can be displayed on the display 180a, and the remaining part (Arm) can be controlled to be displayed on the second display 180b.
  • the second guest virtualization machine 540 may receive decoded image data stored in the shared memory 508 and control to display at least a portion of the decoded image data on the second display 180b.
  • the first image 1955 can also be displayed on the second display 180b. Accordingly, both the first image and the second image can be displayed on a plurality of displays.
  • Figure 22 is another example of a method of operating a signal processing device according to an embodiment of the present disclosure.
  • the encoder 1310 in the server virtualization machine 520 sets the encoding bit rate (S2205).
  • the encoder 1310 in the server virtualization machine 520 receives camera data and encodes the received camera data based on the set encoding bitrate (S2210).
  • the transmission unit 1312 in the server virtualization machine 520 transmits the encoded camera data to the shared memory 508 (S2215).
  • the receiving unit 1325 in the first guest virtual machine 530 receives encoded camera data from the shared memory 508 (S2216).
  • the first guest virtual machine 530 transmits a decoding request for the encoded camera data (S2218).
  • the server virtualization machine 520 receives a decoding request.
  • the decoder 1316 in the server virtualization machine 520 performs decoding (S2220).
  • the first guest virtualization machine 530 sets the window size corresponding to the output resolution of the first display 180a (S2222), and sends a screen expansion request to the server virtualization machine 520 in response to the window size. ) (S2224).
  • the server virtualization machine 520 receives a screen expansion request (S2225).
  • the server virtualization machine 520 expands the decoded camera data and transmits the expanded decoded camera data to the shared memory 508 (S2242).
  • the first guest virtual machine 530 may receive expanded decoded camera data from the shared memory 508 and control the image to be displayed on the first display 180a (S2245).
  • the second guest virtualization machine 540 sets the window size corresponding to the output resolution of the second display 180b (S2226), and sends a screen request to the server virtualization machine 520 in response to the window size. It can be sent to .
  • the second guest virtualization machine 540 may receive decoded camera data from the shared memory 508 (S2244) and control the image to be displayed on the second display 180b (S2247). Accordingly, images 1950 and 1955 such as (b) in FIG. 21E can be displayed on the first display 180a and the second display 180b, respectively.
  • FIGS. 23A to 23B are diagrams referenced in the description of the operation of FIG. 22.
  • FIG. 23A is a diagram illustrating an example of image display in a vehicle display device 100x related to the present invention.
  • the signal processing device 170x related to the present invention displays the first image 2310 as shown in (a) of FIG. 23A, an image 2312 with a portion cut off on the first display 180a, or displays a second display ( It can be controlled to display an image 2314 with a changed screen ratio, as shown in 180b).
  • the signal processing device 100 performs image enlargement, scaling, etc. in consideration of the resolution of the image and the output resolution of each display.
  • FIG. 23B is a diagram illustrating an example of image display on a vehicle display device (100m) according to an embodiment of the present disclosure.
  • the signal processing device 170 displays the first image 2310, as shown in (a) of FIG. 23B, on part of the first display 180a and the second display 180b. control, and control such that the second image 2324 is displayed in the remaining area of the second display 180b. Accordingly, since the image is displayed across a plurality of displays 180a and 180b, it is possible to control portions of the image from being deleted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 개시는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치에 관한 것이다. 본 개시의 일 실시예에 따른 신호 처리 장치는, 신호 처리를 수행하는 프로세서를 포함하고, 프로세서는, 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며, 복수의 게스트 가상화 머신 중 제1 내지 제2 게스트 가상화 머신은, 각각 제1 내지 제2 디스플레이를 위해 동작하며, 서버 가상화 머신은, 처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터를 공유 메모리에 저장하도록 제어하고, 제2 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이에 표시하도록 제어한다. 이에 의해, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.

Description

신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
본 개시는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치에 관한 것이며, 더욱 상세하게는 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치에 관한 것이다.
차량은 탑승하는 사용자가 원하는 방향으로 이동시키는 장치이다. 대표적으로 자동차를 예를 들 수 있다.
한편, 차량을 이용하는 사용자의 편의를 위해, 차량 내부에 차량용 디스플레이 장치가 탑재되고 있다.
예를 들어, 클러스터 등에 디스플레이가 배치되어, 각 종 정보를 표시한다. 한편, 차량 주행 정보 등의 표시를 위해, 클러스터와 별도로, AVN(Audio Video Navigation) 디스플레이 등 다양한 디스플레이가 차량에 장착되는 추세이다.
이와 같이, 차량용 디스플레이 장치 내에 디스플레이의 개수가 증가할수록, 디스플레이를 위한 신호 처리가 복잡해지는 문제가 있다.
특히, 복수의 디스플레이 별로 각각의 신호 처리 장치를 이용하여, 영상 이동 표시 또는 영상 복사 표시시, 영상 처리량 및 딜레이가 상당히 증가하는 문제가 있다.
본 개시의 목적은, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치를 제공함에 있다.
한편, 본 개시의 다른 목적은, 복수의 디스플레이 사이에서의 영상 이동 표시시의 딜레이를 저감할 수 있는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치를 제공함에 있다.
한편, 본 개시의 또 다른 목적은, 복수의 디스플레이 사이에서의 영상 복사 표시시의 딜레이를 저감할 수 있는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치를 제공함에 있다.
한편, 본 개시의 또 다른 목적은, 복수의 가상화 머신의 운영체제가 다르더라도, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치를 제공함에 있다.
한편, 본 개시의 또 다른 목적은, 복수의 디스플레이 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있는 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른 신호 처리 장치는, 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하고, 프로세서는, 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며, 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며, 서버 가상화 머신은, 처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터를 공유 메모리에 저장하도록 제어하고, 제2 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이에 표시하도록 제어한다.
한편, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터의 적어도 일부를 제1 디스플레이에 표시하도록 제어할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점 및 제1 시점 이후의 제2 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다.
한편, 제2 게스트 가상화 머신은, 제2 디스플레이의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 제2 영상이 제2 디스플레이에 출력되도록 제어할 수 있다.
한편, 복수의 게스트 가상화 머신 중 제3 게스트 가상화 머신은, 제3 디스플레이를 위해 동작하며, 제3 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제3 디스플레이에 표시하도록 제어할 수 있다.
한편, 제2 게스트 가상화 머신과 제3 게스트 가상화 머신은, 디코딩된 영상 데이터가 저장된 공유 메모리의 일부 영역을 공유할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제2 시점 이후의 제3 시점에 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점, 제1 시점 이후의 제2 시점, 및 제2 시점 이후의 제3 시점에, 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점, 및 제3 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제3 시점에, 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다.
상기 목적을 달성하기 위한 본 개시의 다른 실시예에 따른 신호 처리 장치는, 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하고, 프로세서는, 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며, 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며, 서버 가상화 머신은, 처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여, 서버 가상화 머신으로 디코딩 요청을 전송하고, 서버 가상화 머신은, 디코딩 요청에 기초하여 인코딩된 영상 데이터를 디코딩하여, 디코딩된 영상 데이터를 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제1 디스플레이에 표시하도록 제어한다.
한편, 제2 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이에 표시하도록 제어할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점 및 제1 시점 이후의 제2 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다.
한편, 제2 게스트 가상화 머신은, 제2 디스플레이의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 제2 영상이 제2 디스플레이에 출력되도록 제어할 수 있다.
한편, 복수의 게스트 가상화 머신 중 제3 게스트 가상화 머신은, 제3 디스플레이를 위해 동작하며, 제3 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제3 디스플레이에 표시하도록 제어할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제2 시점 이후의 제3 시점에 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다.
한편, 제1 게스트 가상화 머신은, 제1 시점, 제1 시점 이후의 제2 시점, 및 제2 시점 이후의 제3 시점에, 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점, 및 제3 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제3 시점에, 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다.
본 개시의 일 실시예에 따른 차량용 디스플레이 장치는, 복수의 디스플레이와, 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치를 구비하고, 신호 처리 장치는, 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하고, 프로세서는, 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며, 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며, 서버 가상화 머신은, 처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터를 공유 메모리에 저장하도록 제어하고, 제2 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이에 표시하도록 제어한다.
본 개시의 일 실시예에 따른 신호 처리 장치는, 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하고, 프로세서는, 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며, 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며, 서버 가상화 머신은, 처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터를 공유 메모리에 저장하도록 제어하고, 제2 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이에 표시하도록 제어한다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터의 적어도 일부를 제1 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다. 또한, 복수의 디스플레이 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 이동 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점 및 제1 시점 이후의 제2 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 복사 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제2 게스트 가상화 머신은, 제2 디스플레이의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 제2 영상이 제2 디스플레이에 출력되도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 복수의 게스트 가상화 머신 중 제3 게스트 가상화 머신은, 제3 디스플레이를 위해 동작하며, 제3 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제3 디스플레이에 표시하도록 제어할 수 있다.
한편, 제2 게스트 가상화 머신과 제3 게스트 가상화 머신은, 디코딩된 영상 데이터가 저장된 공유 메모리의 일부 영역을 공유할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제2 시점 이후의 제3 시점에 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 이동 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점, 제1 시점 이후의 제2 시점, 및 제2 시점 이후의 제3 시점에, 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점, 및 제3 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제3 시점에, 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 복사 표시시의 딜레이를 저감할 수 있게 된다.
본 개시의 다른 실시예에 따른 신호 처리 장치는, 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하고, 프로세서는, 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며, 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며, 서버 가상화 머신은, 처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여, 서버 가상화 머신으로 디코딩 요청을 전송하고, 서버 가상화 머신은, 디코딩 요청에 기초하여 인코딩된 영상 데이터를 디코딩하여, 디코딩된 영상 데이터를 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제1 디스플레이에 표시하도록 제어한다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제2 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다. 또한, 복수의 디스플레이 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 이동 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점 및 제1 시점 이후의 제2 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 복사 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제2 게스트 가상화 머신은, 제2 디스플레이의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 제2 영상이 제2 디스플레이에 출력되도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 복수의 게스트 가상화 머신 중 제3 게스트 가상화 머신은, 제3 디스플레이를 위해 동작하며, 제3 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제3 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점에 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제2 시점 이후의 제3 시점에 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 이동 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신은, 제1 시점, 제1 시점 이후의 제2 시점, 및 제2 시점 이후의 제3 시점에, 제1 영상이 제1 디스플레이에 표시하도록 제어하고, 제2 게스트 가상화 머신은, 제2 시점, 및 제3 시점에, 제1 영상에 대응하는 제2 영상이 제2 디스플레이에 표시하도록 제어하고, 제3 게스트 가상화 머신은, 제3 시점에, 제1 영상에 대응하는 제3 영상이 제3 디스플레이에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이 사이에서의 영상 복사 표시시의 딜레이를 저감할 수 있게 된다.
본 개시의 일 실시예에 따른 차량용 디스플레이 장치는, 복수의 디스플레이와, 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치를 구비하고, 신호 처리 장치는, 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하고, 프로세서는, 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며, 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며, 서버 가상화 머신은, 처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고, 제1 게스트 가상화 머신은, 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터를 공유 메모리에 저장하도록 제어하고, 제2 게스트 가상화 머신은, 공유 메모리에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이에 표시하도록 제어한다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
도 1a는 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도 1b는 차량 내부의 다른 예를 도시한 도면이다.
도 2는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 외관을 도시한 도면이다.
도 3은 도 2의 차량용 디스플레이 장치의 내부 블록도의 일예를 예시한다.
도 4는 본 개시와 관련한 신호 처리 장치에서 구동되는 시스템을 도시한 도면이다.
도 5는 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 일예를 도시한 도면이다.
도 6은 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 다른 예를 도시한 도면이다.
도 7은 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 또 다른 예를 도시한 도면이다.
도 8 내지 도 9b는 도 5의 설명에 참조되는 도면이다.
도 10은 본 개시의 다른 실시예에 따른 차량용 디스플레이 장치의 외관을 도시한 도면이다.
도 11은 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 또 다른 예를 설명하는 도면이다.
도 12a 내지 도 12c는 본 발명과 관련한 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도 13a는 본 개시의 일실시예에 따른 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도 13b는 본 개시의 다른 실시예에 따른 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도 14a 내지 도 16은 도 13a의 동작 설명에 참조되는 도면이다.
도 17a는 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 일예이다.
도 17b는 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 다른 예이다.
도 18은 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 또 다른 예이다.
도 19a 내지 도 19e는 도 17a 내지 도 18의 동작 설명에 참조되는 도면이다.
도 20은 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 또 다른 예이다.
도 21a 내지 도 21f는 도 20의 동작 설명에 참조되는 도면이다.
도 22는 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 또 다른 예이다.
도 23a 내지 도 23b는 도 22의 동작 설명에 참조되는 도면이다.
이하에서는 도면을 참조하여 본 개시를 보다 상세하게 설명한다.
이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 단순히 본 명세서 작성의 용이함만이 고려되어 부여되는 것으로서, 그 자체로 특별히 중요한 의미 또는 역할을 부여하는 것은 아니다. 따라서, 상기 "모듈" 및 "부"는 서로 혼용되어 사용될 수도 있다.
도 1a는 차량 외부 및 차량 내부의 일예를 도시한 도면이다.
도면을 참조하면, 차량(200)은, 동력원에 의해 회전하는 복수의 바퀴(103FR,103FL,103RL,..), 차량(200)의 진행 방향을 조절하기 위한 스티어링휠(150)에 의해 동작한다.
한편, 차량(200)은, 차량 전방의 영상 획득을 위한 카메라(195) 등을 더 구비할 수 있다.
한편, 차량(200)은, 내부에 영상, 정보 등의 표시를 위한 복수의 디스플레이(180a,180b)를 구비할 수 있다.
도 1a에서는, 복수의 디스플레이(180a,180b)로, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b)를 예시한다. 그 외, HUD(Head Up Display) 등도 가능하다.
한편, AVN(Audio Video Navigation) 디스플레이(180b)는, 센터 정보 디스플레이(Center Information Dislpay)라 명명할 수도 있다.
한편, 본 명세서에서 기술되는 차량(200)은, 동력원으로서 엔진을 구비하는 차량, 동력원으로서 엔진과 전기 모터를 구비하는 하이브리드 차량, 동력원으로서 전기 모터를 구비하는 전기 차량 등을 모두 포함하는 개념일 수 있다.
도 1b는 차량 내부의 다른 예를 도시한 도면이다.
도면을 참조하면, 차량 내부에는, 클러스터 디스플레이(180a), AVN(Audio Video Navigation) 디스플레이(180b), 뒷 좌석 엔터네인먼트(Rear Seat Entertainment) 디스플레이(180c,180d), 룸미러 디스플레이(미도시) 등이 장착될 수 있다.
본 개시의 실시예는, 복수의 디스플레이(180a~180d)를 구비하는 차량용 디스플레이 장치(100)에서, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있는 방안을 제시한다. 이에 대해서는, 도 5 이하를 참조하여 기술한다.
도 2는 본 개시의 실시예에 따른 차량용 디스플레이 장치의 외관을 도시한 도면이다.
본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 복수의 디스플레이(180a~180b), 및 복수의 디스플레이(180a~180b)에 영상, 정보 등을 표시하기 위한 신호 처리를 수행하는 신호 처리 장치(170)를 구비할 수 있다.
복수의 디스플레이(180a~180b) 중 제1 디스플레이(180a)는, 주행 상태, 동작 정보 등의 표시를 위한 클러스터 디스플레이(180a)이고, 제2 디스플레이(180b)는, 챠량 운행 정보, 네비게이션 지도, 다양한 엔테테인먼트 정보 또는 영상의 표시를 위한 AVN(Audio Video Navigation) 디스플레이(180b)일 수 있다.
신호 처리 장치(170)는, 내부에 프로세서(175)를 구비하며, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(520~540)을 실행할 수 있다.
제2 가상화 머신(530)은 제1 디스플레이(180a)를 위해 동작하며, 제3 가상화 머신(540)은, 제2 디스플레이(180b)를 위해 동작할 수 있다.
한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다. 이에 따라, 차량 내의 제1 디스플레이(180a)와 제2 디스플레이(180b)에 동일한 정보 또는 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 데이터 분담 처리를 위해, 제2 가상화 머신(530)과 제3 가상화 머신(540)에 데이터의 적어도 일부를 공유한다. 이에 따라, 차량 내의 복수의 디스플레이를 위한 복수의 가상화 머신에서 데이터를 분담하여 처리할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 차량의 휠 속도 센서 데이터를 수신하고, 처리하여, 제2 가상화 머신(530) 또는 제3 가상화 머신(540) 중 적어도 하나로, 처리된 휠 속도 센서 데이터를 전송할 수 있다. 이에 따라, 차량의 휠 속도 센서 데이터를, 적어도 하나의 가상화 머신 등에 공유할 수 있게 된다.
한편, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 주행 상태 정보, 간이 네비게이션 정보, 다양한 엔테테인먼트 정보 또는 영상의 표시를 위한 뒷 좌석 엔터네인먼트(Rear Seat Entertainment) 디스플레이(180c)를 더 구비할 수 있다.
신호 처리 장치(170)는, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(520~540) 외에 추가로 제4 가상화 머신(미도시)를 실행하여, RSE 디스플레이(180c)를 제어할 수 있다.
이에 따라, 하나의 신호 처리 장치(170)를 이용하여, 다양한 디스플레이(180a~180c)를 제어할 수 있게 된다.
한편, 복수의 디스플레이(180a~180c) 중 일부는, 리눅스 OS 기반 하에 동작하며, 다른 일부는 웹 OS 기반 하에 동작할 수 있다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 다양한 운영 체제(Operating system;OS) 하에 동작하는 복수의 디스플레이(180a~180b 또는 180a~180c) 중 어느 하나에서 터치 입력(Touch)이 있는 경우, 터치 입력에 대한 처리를 신속하고 정확하게 수행하도록 제어할 수 있다.
한편, 도 2에서는, 제1 디스플레이(180a)에, 차량 속도 인디케이터(212a), 차량 내부 온도 인디케이터(213a)가 표시되고, 제2 디스플레이(180b)에, 복수의 어플리케이션과 차량 속도 인디케이터(212b)와 차량 내부 온도 인디케이터(213b)를 포함하는 홈 화면(222)이 표시되고, 제3 디스플레이(180c)에, 복수의 어플리케이션과 차량 내부 온도 인디케이터(213c)를 포함하는 제2 홈 화면(222b)이 표시되는 것을 예시한다.
도 3은 본 개시의 실시예에 따른 차량용 디스플레이 장치의 내부 블록도의 일예를 예시한다.
도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100)는, 입력부(110), 통신부(120), 인터페이스(130), 메모리(140), 신호 처리 장치(170), 복수의 디스플레이(180a~180c), 오디오 출력부(185), 전원 공급부(190)를 구비할 수 있다.
입력부(110)는, 버튼 입력, 터치 입력 등을 위한 물리적인 버튼, 패드 등을 구비할 수 있다.
한편, 입력부(110)는, 디스플레이(180a,180b,180c)의 터치 입력을 센싱하기 위한 터치 센서(미도시)를 구비할 수 있다.
한편, 입력부(110)는, 사용자 음성 입력을 위한 마이크(미도시)를 구비할 수 있다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)와 무선(wireless) 방식으로, 데이터를 교환할 수 있다.
특히, 통신부(120)는, 차량 운전자의 이동 단말기와, 무선으로 데이터를 교환할 수 있다. 무선 데이터 통신 방식으로는, 블루투스(Bluetooth), WiFi, WiFi Direct, APiX 등 다양한 데이터 통신 방식이 가능하다.
통신부(120)는, 이동 단말기(800) 또는 서버(900)로부터, 날씨 정보, 도로의 교통 상황 정보, 예를 들어, TPEG(Transport Protocol Expert Group) 정보를 수신할 수 있다. 이를 위해, 통신부(120)는, 이동 통신 모듈(미도시)를 구비할 수 있다.
인터페이스(130)는, ECU(770) 또는 센서 장치(760)로부터, 센서 정보 등을 수신하고, 수신한 정보를 신호 처리 장치(170)로 전송할 수 있다.
여기서, 센서 정보는, 차량 방향 정보, 차량 위치 정보(GPS 정보), 차량 각도 정보, 차량 속도 정보, 차량 가속도 정보, 차량 기울기 정보, 차량 전진/후진 정보, 배터리 정보, 연료 정보, 타이어 정보, 차량 램프 정보, 차량 내부 온도 정보, 차량 내부 습도 정보 중 적어도 하나를 포함할 수 있다.
이러한 센서 정보는, 헤딩 센서(heading sensor), 요 센서(yaw sensor), 자이로 센서(gyro sensor), 포지션 모듈(position module), 차량 전진/후진 센서, 휠 센서(wheel sensor), 차량 속도 센서, 차체 경사 감지센서, 배터리 센서, 연료 센서, 타이어 센서, 핸들 회전에 의한 스티어링 센서, 차량 내부 온도 센서, 차량 내부 습도 센서 등으로부터 획득될 수 있다. 한편, 포지션 모듈은, GPS 정보 수신을 위한 GPS 모듈을 포함할 수 있다.
한편, 인터페이스(130)는, 카메라(195) 또는 라이더(미도시) 등으로부터 차량 전방 영상 데이터, 차량 측방 영상 데이터, 차량 후방 영상 데이터, 차량 주변 장애물 거리 정보 등을 수신하고, 수신한 정보를 신호 처리 장치(170)로 전송할 수 있다.
메모리(140)는, 신호 처리 장치(170)의 처리 또는 제어를 위한 프로그램 등, 차량용 디스플레이 장치(100) 전반의 동작을 위한 다양한 데이터를 저장할 수 있다.
예를 들어, 메모리(140)는, 프로세서(175) 내에서 실행하기 위한, 하이퍼바이저, 제1 가상화 머신 내지 제3 가상화 머신에 관한 데이터를 저장할 수 있다.
오디오 출력부(185)는, 신호 처리 장치(170)로부터의 전기 신호를 오디오 신호로 변환하여 출력한다. 이를 위해, 스피커 등을 구비할 수 있다.
전원 공급부(190)는, 신호 처리 장치(170)의 제어에 의해, 각 구성요소들의 동작에 필요한 전원을 공급할 수 있다. 특히, 전원 공급부(190)는, 차량 내부의 배터리 등으로부터 전원을 공급받을 수 있다.
신호 처리 장치(170)는, 차량용 디스플레이 장치(100) 내의 각 유닛의 전반적인 동작을 제어한다.
예를 들어, 차량용 디스플레이(180a,180b)를 위한 신호 처리를 수행하는 프로세서(175)를 포함할 수 있다.
프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(도 5의 505) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(520~540)을 실행할 수 있다.
한편, 프로세서(175)는, 이더넷 데이터를 수신하고 처리하는 레가시 가상화 머신을 더 실행할 수 있다. 예를 들어, 레가시 가상화 머신은, 도 5와 같이, 프로세서(175) 내의 제1 가상화 머신(520)에서 실행도리 수 있다.
제1 가상화 머신 내지 제3 가상화 머신(도 5의 520~540) 중 제1 가상화 머신(520)은, 서버 가상화 머신(Server Virtual Maschine)이라 명명할 수 있으며, 제2 가상화 머신 내지 제3 가상화 머신(530~540)은 게스트 가상화 머신(Guest Virtual Maschine)이라 명명할 수 있다.
이때, 제2 가상화 머신(530)은 제1 디스플레이(180a)를 위해 동작하며, 제3 가상화 머신(540)은, 제2 디스플레이(180b)를 위해 동작할 수 있다.
예를 들어, 프로세서(175) 내의 제1 가상화 머신(520)은, 차량 센서 데이터, 위치 정보 데이터, 카메라 영상 데이터, 오디오 데이터 또는 터치 입력 데이터를 수신하고, 처리 또는 가공하여 출력할 수 있다. 레가시 가상화 머신에서만 처리하는 데이터와, 제1 가상화 머신(520)에서 처리되는 데이터를 구분함으로써, 데이터 처리를 효율적으로 수행할 수 있게 된다. 특히, 제1 가상화 머신(520)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
다른 예로, 제1 가상화 머신(520)은, 제2 가상화 머신 내지 제3 가상화 머신(530~540)을 위해, CAN 통신 데이터, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터를 직접 수신하고 처리할 수 있다.
그리고, 제1 가상화 머신(520)은, 처리된 데이터를 제2 가상화 머신 내지 제3 가상화 머신(530~540)으로 전송할 수 있다.
이에 따라, 제1 가상화 머신 내지 제3 가상화 머신(520~540) 중 제1 가상화 머신(520)만, 통신 데이터, 외부 입력 데이터를 수신하여, 신호 처리를 수행함으로써, 다른 가상화 머신에서의 신호 처리 부담이 경감되며, 1:N 데이터 통신이 가능하게 되어, 데이터 공유시의 동기화가 가능하게 된다.
한편, 제1 가상화 머신(520)은, 데이터의 일부를 제2 가상화 머신(530)으로 전달되도록 제1 공유 메모리(미도시)에 기록하고, 데이터의 다른 일부를 제3 가상화 머신으로 전달되도록 제1 공유 메모리(미도시)에 기록하며, 제2 가상화 머신(530)과 제3 가상화 머신(540)은, 각각 전달받은 데이터를 처리하여, 처리된 데이터가 제2 공유 메모리(미도시)에 기록되도록 제어한다. 이에 따라, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
이때의 데이터는, 영상 데이터, 오디오 데이터, 네비게이션 데이터, 또는 음성 인식 데이터 중 어느 하나일 수 있다.
한편, 제1 가상화 머신(520)은, 데이터의 또 다른 일부를 처리하여, 제2 공유 메모리(미도시)에 처리된 데이터가 기록되도록 제어할 수 있다. 즉, 제2 가상화 머신(530)과 제3 가상화 머신 외에 추가로 제1 가상화 머신(520)이 데이터 처리를 수행할 수 있다.
한편, 프로세서(175) 내에 제3 디스플레이(180c)를 위해 동작하는 제4 가상화 머신(550)이 실행되는 경우, 제1 가상화 머신(520)은, 데이터의 또 다른 일부를 제1 공유 메모리(미도시)에 기록하며, 제4 가상화 머신(550)은, 각각 전달받은 데이터를 처리하여, 처리된 데이터가 제2 공유 메모리(미도시)에 기록되도록 제어할 수 있다.
한편, 제1 가상화 머신(520)은, 제2 가상화 머신 내지 제3 가상화 머신(530,540)에서의 데이터의 분산 처리를 위한 각각의 커맨드 큐를 생성할 수 있다. 이에 따라, 복수의 가상화 머신에서 데이터를 분담하여 처리할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 제2 가상화 머신 내지 제3 가상화 머신(530,540)에서 동일한 데이터를 공유하는 경우, 1개의 동일한 커맨드 큐를 생성할 수 있다. 이에 따라, 동일한 데이터를 동기화하여 공유할 수 있게 된다.
한편, 제1 가상화 머신(520)은, 데이터의 분산 처리를 위한 가상화 머신의 개수에 대응하는 커맨드 큐를 생성할 수 있다.
한편, 제1 가상화 머신(520)은, 데이터 분산 처리를 위해, 데이터의 적어도 일부를, 제2 가상화 머신(530) 또는 제3 가상화 머신(540) 중 적어도 하나로 전송되도록 제어할 수 있다.
예를 들어, 제1 가상화 머신(520)은, 데이터의 적어도 일부를, 제2 가상화 머신(530) 또는 제3 가상화 머신(540) 중 적어도 하나로 전송하기 위한 제1 공유 메모리(미도시)를 할당하고, 제2 가상화 머신(530) 또는 제3 가상화 머신(540)에서 처리된 영상 데이터는 제2 공유 메모리(미도시)에 기록될 수 있다.
한편, 제1 가상화 머신(520)은, 데이터를 공유 메모리(508)에 기록하여, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로 동일한 데이터를 공유하도록 제어할 수 있다.
예를 들어, 제1 가상화 머신(520)은, 라디오 데이터 또는 무선 통신 데이터를 공유 메모리(508)에 기록하여, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로 동일한 데이터를 공유하도록 제어할 수 있다. 이에 따라, 1:N 방식의 데이터의 공유가 가능하게 된다.
결국, 제1 가상화 머신(520)에서 대부분의 데이터 처리를 수행함으로써, 1:N 방식의 데이터의 공유가 가능하게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어할 수 있다.
즉, 프로세서(175) 내의 제1 가상화 머신(520)은, 하이퍼바이저(505) 기반의 공유 메모리(508)를 이용하여, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로, 동일한 데이터를 동기화하여 전송할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 신호 처리 장치(170)는, 오디오 신호, 영상 신호, 데이터 신호 등 다양한 신호를 처리할 수 있다. 이를 위해, 신호 처리 장치(170)는, 시스템 온 칩(System On Chip,SOC)의 형태로 구현될 수 있다.
도 4는 본 개시와 관련한 신호 처리 장치에서 구동되는 시스템을 도시한 도면이다.
도면을 참조하면, 도 4는 클러스터 디스플레이(180a)와 AVN 디스플레이(180b)를 위해, 가상화 머신이 각각 사용되는 것을 예시하는 도면이다.
도 4의 신호 처리 장치에서 구동되는 시스템(400)은, 프로세서(175) 내의 하이퍼바이저(405) 상에서, 클러스터 가상화 머신(430), AVN 가상화 머신(440)이 실행되는 것을 예시한다.
한편, 도 4의 신호 처리 장치에서 구동되는 시스템(400)은, 프로세서(175) 내의 하이퍼바이저(405) 상에서, 레가시(legacy) 가상화 머신(410)도 실행되는 것을 예시한다.
레가시(legacy) 가상화 머신(410)은, 메모리(140)와의 데이터 통신을 위한 인터페이스(412), 이더넷 통신을 위한 인터페이스(413)을 구비한다.
한편, 클러스터 가상화 머신(430)은, CAN 통신을 위한 인터페이스(431), 레가시(legacy) 가상화 머신(410)의 인터페이스(412)와의 통신을 위한 인터페이스(432), 레가시(legacy) 가상화 머신(410)의 인터페이스(413)와의 통신을 위한 인터페이스(433)를 구비할 수 있다.
한편, AVN 가상화 머신(440)은, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터의 입출력을 위한 인터페이스(441), 레가시(legacy) 가상화 머신(410)의 인터페이스(412)와의 통신을 위한 인터페이스(442), 레가시(legacy) 가상화 머신(410)의 인터페이스(413)와의 통신을 위한 인터페이스(443)를 구비할 수 있다.
이러한 시스템(400)에 의하면, CAN 통신 데이터는, 클러스터 가상화 머신(430)에서만 입출력되므로, AVN 가상화 머신(440)에서는 CAN 통신 데이터를 활용하지 못하는 단점이 있다.
또한, 도 4의 시스템(400)에 의하면, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터는, AVN 가상화 머신(440)에서만 입출력되므로, 클러스터 가상화 머신(430)에서는 이러한 데이터를 활용하지 못하는 단점이 있다.
한편, 레가시(legacy) 가상화 머신(410)에서 입출력되는 메모리 데이터, 이더넷 통신 데이터를 위해, 클러스터 가상화 머신(430)과 클러스터 가상화 머신(430)가 각각 별도의 인터페이스(431,432,441,442)를 구비해야 하는 단점이 있다.
이에 본 개시에서는, 도 4의 시스템을 개선하기 위한 방안을 제시한다. 즉, 도 4와 달리, 가상화 머신을 서버 가상화 머신과 게스트 가상화 머신으로 구분하고, 각종 메모리 데이터, 통신 데이터 등을 게스트 가상화 머신에서 입출력되지 않고, 서버 가상화 머신에서 입출력되도록 한다. 이에 대해서는 도 5 이하를 참조하여 기술한다.
도 5는 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 일예를 도시한 도면이다.
도면을 참조하면, 도 5의 시스템(500)은, 신호 처리 장치(170) 내의 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신인 제1 가상화 머신(520), 게스트 가상화 머신인 제2 가상화 머신(530), 게스트 가상화 머신은 제3 가상화 머신(540)이 실행되는 것을 예시한다.
제2 가상화 머신(530)은, 클러스터 디스플레이(180a)를 위한 가상화 머신이고, 제3 가상화 머신(540)은 AVN 디스플레이(180b)를 위한 가상화 머신일 수 있다.
즉, 제2 가상화 머신(530)과, 제3 가상화 머신(540)은, 각각 클러스터 디스플레이(180a)과 AVN 디스플레이(180b)의 영상 렌더링을 위해 동작할 수 있다.
한편, 도 5의 신호 처리 장치(170)에서 구동되는 시스템(500)은, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 레가시(legacy) 가상화 머신(510)도 실행되는 것을 예시한다.
레가시(legacy) 가상화 머신(510)은, 메모리(140)와의 데이터 통신, 및 이더넷 통신을 위한 인터페이스(511)을 구비한다.
도면에서는, 인터페이스(511)가, 피지컬 디바이스 드라이버(physical device driver)인 것을 예시하나, 다양한 변형이 가능하다.
한편, 레가시(legacy) 가상화 머신(510)은, 제2 내지 제3 가상화 머신(530,540)과의 데이터 통신을 위한 인터페이스(virtio-backend interface)(512)를 더 구비할 수 있다.
제1 가상화 머신(520)은, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터의 입출력을 위한 인터페이스(521), 게스트 가상화 머신과의 데이터 통신을 위한 입출력 서버 인터페이스(522)를 구비할 수 있다.
즉, 서버 가상화 머신인 제1 가상화 머신(520)은, 표준가상화기술(VirtIO)에 의해 가상화되기 힘든 I/O 들을 다수의 게스트 가상화 머신, 예를 들어, 제2 내지 제3 가상화 머신(530,540) 등에 제공할 수 있다.
한편, 서버 가상화 머신인 제1 가상화 머신(520)은, 라디오 데이터, 오디오 데이터 등을 슈퍼바이저(Supervisor) 수준에서 제어하고, 다수의 게스트 가상화 머신, 예를 들어, 제2 내지 제3 가상화 머신(530,540) 등에 제공할 수 있다.
한편, 서버 가상화 머신인 제1 가상화 머신(520)은, 차량 데이터, 센서 데이터, 차량 주변 정보 등을 처리하고, 처리된 데이터 또는 정보 등을 다수의 게스트 가상화 머신, 예를 들어, 제2 내지 제3 가상화 머신(530,540) 등에 제공할 수 있다.
한편, 제1 가상화 머신(520)은, 차량 데이터(vehicle data)의 처리, 오디오 라우팅(Audio routing) 관리 등과 같은, 서비스(Supervisory Services)를 제공할 수 있다.
다음, 제2 가상화 머신(530)은, 제1 가상화 머신(520)과의 데이터 통신을 위한 입출력 클라이언트 인터페이스(532)와, 입출력 클라이언트 인터페이스(532)를 제어하는 APIs(533)를 구비할 수 있다.
또한, 제2 가상화 머신(530)은, 레가시 가상화 머신(510)과의 데이터 통신을 위한 인터페이스(virtio-backend interface)를 구비할 수 있다.
제2 가상화 머신(530)은, 인터페이스(virtio-backend interface)를 통해, 레가시(legacy) 가상화 머신(510)의 인터페이스(virtio-backend interface)(512)로부터 메모리(140)와의 통신에 의한 메모리 데이터 또는 이더넷 통신에 의한 이더넷 데이터 등을 수신할 수 있다.
다음, 제3 가상화 머신(540)은, 제1 가상화 머신(520)과의 데이터 통신을 위한 입출력 클라이언트 인터페이스(542)와 입출력 클라이언트 인터페이스(542)를 제어하는 APIs(543)를 구비할 수 있다.
또한, 제3 가상화 머신(540)은, 레가시 가상화 머신(510)과의 데이터 통신을 위한 인터페이스(virtio-backend interface)를 구비할 수 있다.
제3 가상화 머신(540)은, 인터페이스(virtio-backend interface)를 통해, 레가시(legacy) 가상화 머신(510)의 인터페이스(virtio-backend interface)(512)로부터 메모리(140)와의 통신에 의한 메모리 데이터 또는 이더넷 통신에 의한 이더넷 데이터 등을 수신할 수 있다.
한편, 레가시(legacy) 가상화 머신(510)은, 도 5와 달리, 제1 가상화 머신(520) 내에 구비되는 것도 가능하다.
이러한 시스템(500)에 의하면, CAN 통신 데이터는, 제1 가상화 머신(520)에서만 입출력되나, 제1 가상화 머신(520)에서의 데이터 처리를 통해, 다수의 게스트 가상화 머신, 예를 들어, 제2 내지 제3 가상화 머신(530,540) 등에 제공될 수 있다. 따라서, 제1 가상화 머신(520)의 처리에 의한 1:N 데이터 통신이 가능하게 된다.
또한, 도 5의 시스템(500)에 의하면, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터는, 제1 가상화 머신(520)에서만 입출력되나, 제1 가상화 머신(520)에서의 데이터 처리를 통해, 다수의 게스트 가상화 머신, 예를 들어, 제2 내지 제3 가상화 머신(530,540) 등에 제공될 수 있다. 따라서, 제1 가상화 머신(520)의 처리에 의한 1:N 데이터 통신이 가능하게 된다.
또한, 도 5의 시스템(500)에 의하면, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)에 대한 터치 입력(Touch)은, 제1 가상화 머신(520)에만 입력되고, 제2 내지 제3 가상화 머신(530,540)에는 입력되지 않는다. 터치 입력(Touch)에 대한 정보를 제2 가상화 머신(530) 또는 제3 가상화 머신(540)으로 전송한다.
이에 따라, 터치 입력(Touch)에 대한 처리를 신속하고 정확하게 수행할 수 있게 된다. 또한, 구동되는 가상화 머신의 개수가 증가되더라도, 터치 입력(Touch)에 대한 처리를 신속하고 정확하게 수행할 수 있게 된다.
한편, 도 5의 시스템(500)에서 제2 내지 제3 가상화 머신(530,540)은 서로 다른 OS 기반으로 동작할 수 있다.
예를 들어, 제2 가상화 머신(540)은 리눅스 OS 기반 하에 동작하며, 제3 가상화 머신(540)은 웹 OS 기반 하에 동작할 수 있다.
제1 가상화 머신(520)은, 제2 내지 제3 가상화 머신(530,540)은 서로 다른 OS 기반 하에 동작하더라도, 데이터 공유를 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정할 수 있다. 이에 따라, 제2 내지 제3 가상화 머신(530,540)이, 서로 다른 운영 체제(Operating system;OS) 하에 동작하더라도, 동일한 데이터 또는 동일한 영상을 동기화하여 공유할 수 있게 된다. 결국, 복수의 디스플레이(180a,180b)에 동일한 데이터 또는 동일한 영상을 동기화하여 표시할 수 있게된다.
한편, 제1 가상화 머신(520)은, 제2 내지 제3 가상화 머신(530,540)은 서로 다른 OS 기반 하에 동작하더라도, 터치 입력(Touch)에 대한 정보를 제2 가상화 머신(530) 또는 제3 가상화 머신(540)으로 전송한다. 이에 따라, 제2 내지 제3 가상화 머신(530,540)이, 서로 다른 운영 체제(Operating system;OS) 하에 동작하더라도, 터치 입력(Touch)에 대한 처리를 신속하고 정확하게 수행할 수 있게 된다.
한편, 제1 가상화 머신(520)은, 제2 내지 제3 가상화 머신(530,540)을 통해, 제1 디스플레이(180a)와 제2 디스플레이(180b)에 표시되는 오버레이의 제어를 위한 디스플레이 매니저(527)와, 디스플레이 레이어 서버(529)와, 오버레이(virtual overlay)를 생성하는 오버레이 생성기(523)를 구비할 수 있다.
디스플레이 레이어 서버(529)는, 제2 가상화 머신(530)이 제공하는 제1 오버레이와, 제3 가상화 머신(540)이 제공하는 제2 오버레이를 수신할 수 있다.
한편, 디스플레이 레이어 서버(529)는, 오버레이 생성기(523)에서 생성된 오버레이(virtual overlay)를, 제2 가상화 머신(530) 또는 제3 가상화 머신(540) 중 적어도 하나에 전송할 수 있다.
한편, 제1 가상화 머신(520) 내의 디스플레이 매니저(527)는, 제2 가상화 머신(530)이 제공하는 제1 오버레이와, 제3 가상화 머신(540)이 제공하는 제2 오버레이를, 디스플레이 레이어 서버(529)를 통해 수신할 수 있다.
그리고, 제1 가상화 머신(520) 내의 디스플레이 매니저(527)는, 제1 오버레이 또는 제2 오버레이와 별도의 오버레이(virtual overlay)를, 디스플레이 레이어 서버(529)를 통해, 제2 가상화 머신(530) 또는 제3 가상화 머신(540) 중 적어도 하나에 전송하도록 제어할 수 있다.
이에 대응하여, 제2 가상화 머신(530)은, 제1 오버레이와 오버레이(virtual overlay)를 합성하여, 제1 디스플레이(180a)에 표시되도록 제어할 수 있다.
또한, 제3 가상화 머신(540)은, 제2 오버레이와 오버레이(virtual overlay)를 합성하여, 제2 디스플레이(180b)에 표시되도록 제어할 수 있다.
한편, 제1 가상화 머신(520)은, 외부로부터의 입력 신호를 수신하는 입력 매니저(524)를 구비할 수 있다. 이때의 입력 신호는, 차량 내의 소정 버튼(시동 버튼 등)의 입력 신호, 터치 입력 신호, 또는 음성 입력 신호 등일 수 있다.
예를 들어, 제1 가상화 머신(520) 내의 입력 매니저(524)는, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)로부터의 터치 입력을 수신할 수 있다.
한편, 제1 가상화 머신(520)은, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)로부터의 터치 입력과 관련한 터치 입력(Touch)에 대한 정보를 제2 가상화 머신(530) 또는 제3 가상화 머신(540)으로 전송하는 터치 서버(528)를 구비할 수 있다.
예를 들어, 제1 가상화 머신(520) 내의 터치 서버(528)는, 제1 디스플레이(180a)에 대응하는 터치 입력이 있는 경우, 터치 입력(Touch)에 대한 정보를, 제2 가상화 머신(530)으로 전송할 수 있다.
한편, 제1 가상화 머신(520) 내의 터치 서버(528)는, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)로부터의 터치 입력을 수신할 수도 있다.
도 6은 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 다른 예를 도시한 도면이다.
도면을 참조하면, 도 6의 신호 처리 장치(170) 내의 프로세서(175)에서 구동되는 시스템(500b)에 의하면, 신호 처리 장치(170) 내의 프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(520~540)을 실행하며, 프로세서(175) 내의 제1 가상화 머신(520)은, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로, 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어한다.
예를 들어, 데이터로, 터치 입력(Touch)에 대한 정보가 예시될 수 있다. 이에 따라, 터치 입력(Touch)에 대한 정보를 제2 가상화 머신(530) 또는 제3 가상화 머신(540)으로 전송되며, 결국, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)에 대한 터치 입력(Touch)에 대한 처리를 신속하고 정확하게 수행할 수 있게 된다. 또한, 구동되는 가상화 머신의 개수가 증가되더라도, 터치 입력(Touch)에 대한 처리를 신속하고 정확하게 수행할 수 있게 된다.
다른 예로, 데이터로, 영상 데이터가 예시될 수 있다. 이에 따라, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)에 영상을 표시할 수 있게 된다.
한편, 공유 메모리(508)에 동일한 영상 데이터가 공유되는 경우, 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 영상을 동기화하여 표시할 수도 있게 된다.
또 다른 예로, 데이터로, CAN 통신 데이터, 오디오 데이터, 라디오 데이터, USB 데이터, 무선 통신 데이터, 위치 정보 데이터 등이 예시될 수 있다. 이에 따라, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)에, 해당하는 데이터에 대한 정보를 표시할 수 있게 된다.
한편, 도 6에는 표시되지 않았지만, 레가시 가상화 머신(510)은, 메모리(140)로부터의 메모리 데이터, 또는 이더넷 통신에 의해 이더넷 데이터를, 하이퍼바이저(505) 기반의 공유 메모리(508)를 이용하여, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로, 전송할 수 있다. 이에 따라, 메모리 데이터 또는 이더넷 데이터에 대응하는 정보가, 제1 디스플레이(180a) 또는 제2 디스플레이(180b)에 표시될 수 있게 된다.
한편, 도 6의 시스템(500b) 내의 제1 가상화 머신(520)은, 도 5의 시스템(500) 내의 제1 가상화 머신과 유사하게, 디스플레이 매니저(527)와, 디스플레이 레이어 서버(529), 오버레이 생성기(523), 입력 매니저(524), 터치 서버(528)를 구비할 수 있다.
한편, 도 6의 시스템(500b) 내의 제1 가상화 머신(520) 내의 입출력 서버 인터페이스(522)는, 도 5와 달리, 디스플레이 레이어 서버(529)와, 터치 서버(528)를 구비할 수 있다.
디스플레이 매니저(527)와, 디스플레이 레이어 서버(529), 입력 매니저(524), 오버레이 생성기(523), 터치 서버(528)의 동작은, 도 5와 동일하므로 그 설명을 생략한다.
한편, 도 6의 제1 가상화 머신(520)은, 전체 시스템 제어를 위한 시스템 매니저(system manager), 차량 정보 관리를 위한 차량 정보 매니저(vehicle information manager), 오디오 제어를 위한 오디오 매니저(audio manager), 라디오 제어를 위한 라디오 매니저(radio manager) 등을 더 구비할 수 있다.
한편, 도 6의 시스템(500b) 내의 제1 가상화 머신(520) 내의 입출력 서버 인터페이스(522)는, GPS 정보의 입출력을 위한 GNSS 서버, 블루투스 입출력을 위한 블루투스 서버, 와이파이 입출력을 위한 와이파이 서버, 카메라 데이터 입출력을 위한 카메라 서버 등을 더 포함할 수 있다.
도 7은 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 또 다른 예를 도시한 도면이다.
도면을 참조하면, 도 7의 신호 처리 장치(170) 내의 프로세서(175)에서 구동되는 시스템(500c)은, 도 6의 시스템(500b)과 거의 유사하다.
즉, 도 6과 같이, 도 7의 프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(520~540)을 실행한다.
다만, 도 7에서는 도 6과 달리, 디스플레이 레이어 서버(529)와, 터치 서버(528)가, 입출력 서버 인터페이스(522)의 외부에, 제1 가상화 머신(520) 내에서 구비되어 실행될 수 있다.
또한, 도 6과 달리, GPS 정보의 입출력을 위한 GNSS 서버, 블루투스 입출력을 위한 블루투스 서버, 와이파이 입출력을 위한 와이파이 서버, 카메라 데이터 입출력을 위한 카메라 서버 등이, 입출력 서버 인터페이스(522)의 외부에, 제1 가상화 머신(520) 내에서 구비되어 실행될 수 있다.
즉, 제1 가상화 머신(520) 내에, 디스플레이 매니저(527)와, 디스플레이 레이어 서버(529), 오버레이 생성기(523), 입력 매니저(524), 터치 서버(528)가 구비되어 실행될 수 있다.
디스플레이 매니저(527)와, 디스플레이 레이어 서버(529), 오버레이 생성기(523), 입력 매니저(524), 터치 서버(528)의 동작은, 도 5와 동일하므로 그 설명을 생략한다.
도 8 내지 도 9b는 도 5의 설명에 참조되는 도면이다.
먼저, 도 8은, 본 개시의 실시예에 따른 시스템(500) 내의 프로세서(175) 내의 하이퍼바이저(505) 상에서, 제1 가상화 머신 내지 제3 가상화 머신(520~540)을 실행하며, 프로세서(175) 내의 제1 가상화 머신(520)이, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로, 동일한 데이터 전송을 위해, 하이퍼바이저(505) 기반의 공유 메모리(508)가 설정되도록 제어하는 것을 예시한다.
이에 따라, 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 영상을 동기화하여 표시할 수 있게 된다.
한편, 복수의 가상화 머신 사이의 고속의 데이터 통신을 수행할 수 있게 된다. 나아가, 복수의 가상화 머신이 서로 다른 운영체제에 의해 구동되더라도 고속의 데이터 통신을 수행할 수 있게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 제1 가상화 머신(520)에서 처리된 데이터를, 다른 가상화 머신으로 전송하는 경우, 가상화 머신의 개수에 대응하는 개수의 메모리 할당이 아닌, 하나의 공유 메모리(508)를 이용할 수 있다. 이에 따라, 가상화 머신들 사이에서의 1:1 방식의 데이터 통신이 아니라, 공유 메모리(508)를 이용하여, 1:N 방식의 데이터 통신이 가능하게 된다.
한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 입출력 서버 인터페이스(522)와 보안 매니저(526)를 포함할 수 있다.
한편, 제2 가상화 머신(530) 및 제3 가상화 머신(540)은, 각각 입출력 클라이언트 인터페이스(532, 542)를 포함할 수 있다. 이에 따라, 입출력 서버 인터페이스(522)와, 입출력 클라이언트 인터페이스(532, 542)를 이용하여, 복수의 가상화 머신 사이의 고속의 데이터 통신을 수행할 수 있게 된다.
제1 가상화 머신(520) 내의 입출력 서버 인터페이스(522)는, 제2 가상화 머신(530) 및 제3 가상화 머신(540) 내의 각 입출력 클라이언트 인터페이스(532, 542)로부터 동일 데이터 전송 요청을 수신하고, 이에 기초하여, 공유 데이터를 보안 매니저(526)를 통해, 공유 메모리(508)로 전송할 수 있다.
도 9a는 공유 데이터 전송에 대한 보다 상세한 도면을 예시한다.
도면을 참조하면, 공유 데이터 전송을 위해, 제1 가상화 머신(520) 내의 입출력 서버 인터페이스(522)는, 보안 매니저(526)로 공유 메모리(508)의 할당 요청을 전송한다(S1).
다음, 보안 매니저(526)는, 하이퍼바이저(505)를 이용하여 공유 메모리(508)를 할당하고(S2), 공유 메모리(508)에 공유 데이터를 기록할 수 있다.
한편, 입출력 클라이언트 인터페이스(532, 542)는, 공유 메모리(508) 할당 이후, 입출력 서버 인터페이스(522)로 연결 요청을 전송할 수 있다(S3).
한편, 입출력 서버 인터페이스(522)는, 공유 메모리(508) 할당 이후, 입출력 클라이언트 인터페이스(532, 542)로, 키 데이터를 포함하는 공유 메모리(508)에 대한 정보를 전송한다(S4). 이때의 키 데이터는, private key 데이터일 수 있다.
즉, 한편, 프로세서(175) 내의 제1 가상화 머신(520)은, 공유 메모리(508)의 설정 이후, 공유 메모리(508)에 대한 정보를, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로 전송할 수 있다.
다음, 제1 가상화 머신(520) 내의 입출력 서버 인터페이스(522)는, 가상화 머신 사이의 분산 처리 제어를 위해, 데이터와 별도의, 커맨드 또는 이벤트 처리를 위한 커맨드 큐(command queue)를 생성하도록 제어한다(S5).
도면에서는, 입출력 서버 인터페이스(522)의 제어에 의해, 하이퍼바이저(505) 내의 커맨드 큐 버퍼(504)에서, 커맨드 큐가 생성되는 것을 예시한다. 그러나, 이에 한정되지 않으며, 입출력 서버 인터페이스(522)의 제어에 의해, 하이퍼바이저(505) 내가 아닌, 제1 가상화 머신(520) 내에서 생성되는 것도 가능하다.
다음, 각 입출력 클라이언트 인터페이스(532, 542)는, 커맨드 큐 버퍼(504)에 억세스 하여, 생성된 커맨드 큐 또는 커맨드 큐에 대한 정보를 수신한다(S6).
예를 들어, 각 입출력 클라이언트 인터페이스(532, 542)로의 커맨드가 동일한 경우, 생성된 커맨드 큐는 동일할 수 있다.
다른 예로, 각 입출력 클라이언트 인터페이스(532, 542)로의 커맨드가 서로 다른 경우, 서로 다른 커맨드 큐가, 각 입출력 클라이언트 인터페이스(532, 542)로 전달될 수 있다.
다음, 각 입출력 클라이언트 인터페이스(532, 542)는, 입출력 클라이언트 인터페이스(532, 542)는, 수신한 키 데이터에 기초하여 공유 메모리(508)에 접근하고(S5), 공유 데이터를 공유 메모리(508)로부터 카피(copy) 또는 독출할 수 있다(S7).
특히, 각 입출력 클라이언트 인터페이스(532, 542)가 동일한 공유 데이터를 전달받는 경우, 입출력 클라이언트 인터페이스(532, 542)는, 동일한 커맨드 큐 및 동일한 키 데이터에 기초하여 공유 메모리(508)에 접근하고(S5), 공유 데이터를 공유 메모리(508)로부터 카피(copy) 또는 독출할 수 있다.
이에 따라, 제2 가상화 머신(530) 및 제3 가상화 머신(540)에서 공유 메모리(508)에 억세스 가능하게 되며, 결국, 공유 데이터를 공유할 수 있게 된다.
예를 들어, 공유 데이터가, 영상 데이터인 경우, 제2 가상화 머신(530) 및 제3 가상화 머신(540)에서 영상 데이터를 공유하게 되며, 결국 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 공유 영상을 동기화하여 표시할 수 있게 된다.
도 9b는, 도 9a의 시스템(500)에 의해, 제2 가상화 머신(530)이 공유 메모리(508)를 통해 수신된 영상 데이터를 제1 디스플레이(180a)에 표시하고, 제3 가상화 머신(540)이 공유 메모리(508)를 통해 수신된 영상 데이터를 제2 디스플레이(180b)에 표시하는 것을 예시한다.
도 9b에서는, 제1 디스플레이(180a)에 표시되는 영상(905a)과 제2 디스플레이(180b)에 표시되는 영상(905b)의 동기화 수행되어, T1 시점에, 동일한 영상(905a,905b)이 각각 표시되는 것을 예시한다.
즉, 프로세서(175) 내의 제1 가상화 머신(520)에서 처리된 영상 데이터는, 공유 메모리(508)를 통해, 제2 가상화 머신(530) 및 제3 가상화 머신(540)으로 전송되며, 영상 데이터에 기초하여, 제1 디스플레이(180a)에 표시되는 제1 영상(905a)과, 제2 디스플레이(180b)에 표시되는 제2 영상(905b)은 서로 동일할 수 있다. 이에 따라, 차량 내의 복수의 디스플레이(180a~180b)에서 동일한 영상을 동기화하여 표시할 수 있게 된다.
도 10은 본 개시의 다른 실시예에 따른 차량용 디스플레이 장치의 외관을 도시한 도면이다.
도면을 참조하면, 본 발명의 다른 실시예에 따른 차량용 디스플레이 장치(100)는, 운전석에서 조수석까지 연장되는 복수의 디스플레이(180a,180b,180m), 및 복수의 디스플레이(180a,180b,180m)에 영상, 정보 등을 표시하기 위한 신호 처리를 수행하는 신호 처리 장치(170)를 구비할 수 있다.
이때, 복수의 디스플레이(180a,180b,180m)는 단일의 프레임 내에 배치될 수 있다.
예를 들어, 복수의 디스플레이(180a,180b,180m)는, 심리스로 구현된 하나의 디스플레이(170t)일 수 있다.
복수의 디스플레이(180a,180b,180m) 중 제1 디스플레이(180a)는, 클러스터 디스플레이일 수 있으며, 제2 디스플레이(180b)는 AVN 디스플레이일 수 있으며, 제3 디스플레이(180m)는, 조수석 디스플레이일 수 있다.
신호 처리 장치(170)는, 내부에 프로세서(175)를 구비하며, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신(520), 제1 게스트 가상화 머신(530) 내지 제3 게스트 가상화 머신(550)을 실행할 수 있다.
제1 게스트 가상화 머신(530)은 제1 디스플레이(180a)를 위해 동작하며, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)를 위해 동작하며, 제3 게스트 가상화 머신(550)은, 제3 디스플레이(180m)를 위해 동작할 수 있다.
도 11은 본 개시의 실시예에 따른 신호 처리 장치에서 구동되는 시스템의 또 다른 예를 설명하는 도면이다.
도면을 참조하면, 도 11의 시스템(500d)에 따라, 본 발명의 실시예에 따른 신호 처리 장치(170) 내의 프로세서(175)는, 하이퍼바이저(505)를 구동하며, 하이퍼바이저(505) 상에서 서버 가상화 머신(520), 제1 게스트 가상화 머신(530), 제2 게스트 가상화 머신(540), 제3 게스트 가상화 머신(550)을 실행한다.
한편, 본 발명의 실시예에 따른 서버 가상화 머신(520)은, 오버레이의 레이어 순서 가변 또는 표시 영역 가변을 수행하고, 가변된 오버레이가 제1 디스플레이(180a) 또는 제2 디스플레이(180b) 또는 제3 디스플레이(180m)에 표시되도록, 가변된 오버레이 또는 가변된 오버레이에 대한 정보를, 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540) 또는 제3 게스트 가상화 머신(550)으로 전송할 수 있다다.
한편, 제1 게스트 가상화 머신(530) 또는 제2 게스트 가상화 머신(540) 또는 제3 게스트 가상화 머신(550)은, 각 피지컬 오버레이에 가변된 오버레이를 합성하고, 합성된 오버레이를 제1 디스플레이(180a) 또는 제2 디스플레이(180b) 또는 제3 디스플레이(180m)에, 표시하도록 제어할 수 있다.
한편, 서버 가상화 머신(520)은, 오버레이를 제어하는 오버레이 컨트롤러(527a)와, 레이어를 제어하는 레이어 컨트롤러(527b)와, 레이어의 구성 또는 순서를 제어하는 컴포지션 컨트롤러(527c)를 포함하는 디스플레이 매니저(527)를 구비할 수 있다.
한편, 서버 가상화 머신(520) 내의 입출력 서버 인터페이스(522)는, 제1 게스트 가상화 머신(530) 내지 제2 게스트 가상화 머신(540)으로, 오버레이를 구성하기 위한 명령을 전송하거나, 제1 게스트 가상화 머신(530) 내지 제2 게스트 가상화 머신(540)으로부터의 오버레이 구성하기 위한 명령을 수신하는 프론트 인터페이스(VEa)를 구비할 수 있다.
한편, 제1 게스트 가상화 머신(530) 내의 입출력 클라이언트 인터페이스(532)는, 서버 가상화 머신(520)으로부터의 오버레이 구성하기 위한 명령을 수신하거나, 서버 가상화 머신(520)으로 오버레이를 구성하기 위한 명령을 전송하는 프론트 인터페이스(VEb)를 구비할 수 있다.
한편, 제1 게스트 가상화 머신(530)은, 오버레이를 생성 또는 표시할 영상의 윈도우 제어를 위한 윈도우 매니저(537)와, 제1 게스트 가상화 머신(530)에서 생성된 오버레이들 또는 생성된 윈도우들을 합성하는 합성기(compositor)(538)를 구비할 수 있다.
한편, 제2 게스트 가상화 머신(540) 내의 입출력 클라이언트 인터페이스(542)는, 서버 가상화 머신(520)으로부터의 오버레이 구성하기 위한 명령을 수신하거나, 서버 가상화 머신(520)으로 오버레이를 구성하기 위한 명령을 전송하는 프론트 인터페이스(VEc)를 구비할 수 있다.
한편, 제2 게스트 가상화 머신(540)은, 오버레이를 생성 또는 표시할 영상의 윈도우 제어를 위한 윈도우 매니저(547)와, 제2 게스트 가상화 머신(540)에서 생성된 오버레이들 또는 생성된 윈도우들을 합성하는 합성기(compositor)(548)를 구비할 수 있다.
한편, 제3 게스트 가상화 머신(550) 내의 입출력 클라이언트 인터페이스(552)는, 서버 가상화 머신(520)으로부터의 오버레이 구성하기 위한 명령을 수신하거나, 서버 가상화 머신(520)으로 오버레이를 구성하기 위한 명령을 전송하는 프론트 인터페이스(VEd)를 구비할 수 있다.
한편, 제3 게스트 가상화 머신(550)은, 오버레이를 생성 또는 표시할 영상의 윈도우 제어를 위한 윈도우 매니저(557)와, 제3 게스트 가상화 머신(550)에서 생성된 오버레이들 또는 생성된 윈도우들을 합성하는 합성기(compositor)(558)를 구비할 수 있다.
한편, 서버 가상화 머신(520), 제1 게스트 가상화 머신(530) 내지 제3 게스트 가상화 머신(550)은, 각 오버레이 또는 영상 데이터를, 공유 메모리(508)를 이용하여, 전송하거나 수신할 수 있다.
한편, 서버 가상화 머신(520)은, 제1 디스플레이(180a) 또는 제2 디스플레이(180b) 또는 제3 디스플레이(180c)에서 표시되는 레이어의 구성을 런타임 중 변경할 수 있다. 이에 따라, 런타임 중에 표시되는 레이어의 구성을 변경할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 생성된 오버레이 또는 영상이, 제1 디스플레이(180a) 또는 제2 디스플레이(180b) 또는 제3 디스플레이(180c)에서 이동되어 표시되도록 제어할 수 있다. 이에 따라, 생성된 오버레이 또는 영상의 이동을 간편하게 수행할 수 있게 된다.
도 12a 내지 도 12c는 본 발명과 관련한 차량용 디스플레이 장치의 동작 설명을 위한 도면이다.
먼저, 도 12a는 본 발명과 관련한 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 발명과 관련한 차량용 디스플레이 장치(100x)는, 제1 디스플레이(180a), 제2 디스플레이(180b), 제3 디스플레이(180m)를 구비하고, 각 디스플레이 구동을 위한 신호 처리 장치(170xa,170xb,170xc)를 구비할 수 있다.
예를 들어, 제1 디스플레이(180a)에 표시되는 영상을, 제2 디스플레이(180b)와 제3 디스플레이(180m)로 이동시켜 표시하기 위해서는, 제1 신호 처리 장치(170xa)에서 인코딩된 영상 데이터를 케이블을 통해, 제2 신호 처리 장치(170xb)와 제3 신호 처리 장치(170xc)로 전송하여야 하며, 제2 신호 처리 장치(170xb)와 제3 신호 처리 장치(170xc)는 각각 인코딩된 영상 데이터를 디코딩하여, 디코딩된 영상 데이터 기반의 영상 표시를 수행하여야 한다.
이에 따라, 복수의 디스플레이(180a,180b,180m) 별로 각각의 신호 처리 장치(170xa,170xb,170xc)를 이용하여, 영상 이동 표시 또는 영상 복사 표시시, 영상 처리량 및 딜레이가 상당히 증가하는 문제가 있다.
도 12b 내지 도 12c는 도 12a의 설명에 참조되는 도면이다.
도 12b는, 제1 신호 처리 장치(170xa)에서, 영상(IMGx)을 3개의 영역(IMGxa,IMGxbIMGxc)로 구분하는 것을 예시한다.
예를 들어, 도 12a에서 3개의 영역(IMGxa,IMGxbIMGxc)을, 복수의 디스플레이(180a,180b,180m) 별로 표시하기 위해, 제1 신호 처리 장치(170xa)가 3개의 영역(IMGxa,IMGxbIMGxc) 중 2개의 영역(MGxbIMGxc)을 인코딩하여 케이블을 통해, 제2 신호 처리 장치(170xb)와 제3 신호 처리 장치(170xc)로 전송할 수 있다.
그리고, 제2 신호 처리 장치(170xb)와 제3 신호 처리 장치(170xc)은, 각각 2개의 영역(MGxbIMGxc) 중 해당하는 영역의 인코딩 영상 데이터를 수신하여, 각각 디코딩을 수행할 수 있다. 이와 같이, 각각의 신호 처리 장치(170xa,170xb,170xc)를 이용하여, 영상 이동 표시 또는 영상 복사 표시시, 영상 처리량 및 딜레이가 상당히 증가하게 된다.
도 12c는 카메라 데이터가, 도 12a의 차량용 디스플레이 장치(100x)에서 처리되는 것을 예시하는 도면이다.
도면을 참조하면, 제1 신호 처리 장치(170xa)는 카메라 데이터를 수신하여 인코딩하는 인코더(1210), 인코딩된 카메라 데이터를 전송하는 트랜스미터(1212)와, 인코딩된 카메라 데이터를 디코딩하는 디코더(1216)를 구비한다.
디코더(1216)는, 제1 디스플레이(180a), 제2 신호 처리 장치(170xb)와 제3 신호 처리 장치(170xc)를 위해, 디코딩을 3회 실시하고, 3개의 디코딩된 카메라 데이터(Dtx,Dty,Dtz)를 각각 출력한다.
예를 들어, 제1 디코딩된 카메라 데이터(Dtx)와 제2 디코딩된 카메라 데이터(Dty)는, 각각 제2 신호 처리 장치(170xb)와 제3 신호 처리 장치(170xc)로 출력되며, 제3 디코딩된 카메라 데이터(Dtz)가 제1 디스플레이(180a)에 표시된다.
제2 신호 처리 장치(170xa)는, 카메라 데이터를 수신하여 수신부(1232), 카메라 데이터를 디코딩하는 디코더(1224)를 포함한다.
한편, 디코더(1224)는, 제1 신호 처리 장치(170xa)로부터 제1 디코딩된 카메라 데이터(Dtx)를 수신하고, 이를 처리하여 제2 디스플레이(180b)에 표시되도록 된다.
제3 신호 처리 장치(170xc)는, 카메라 데이터를 수신하여 수신부(1232), 카메라 데이터를 디코딩하는 디코더(1234)를 포함한다.
한편, 디코더(1234)는, 제1 신호 처리 장치(170xa)로부터 제3 디코딩된 카메라 데이터(Dty)를 수신하고, 이를 처리하여 제3 디스플레이(180c)에 표시되도록 된다.
도 12c에 따르면, 동일한 카메라 데이터를 3회의 디코딩을 실시하여, 3개의 디코딩된 카메라 데이터(Dtx,Dty,Dtz)를 각각 출력하므로, 영상 처리량 및 딜레이가 상당히 증가하는 문제가 있다. 이와 관련하여, 본 개시에서는, 복수의 디스플레이 사이에서의 영상 표시시의 딜레이를 저감할 수 있는 방안을 제시한다. 이에 대해서는 도 13a 이하를 참조하여 기술한다.
도 13a는 본 개시의 일실시예에 따른 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도면을 참조하면, 본 개시의 일실시예에 따른 차량용 디스플레이 장치(100m)는, 적어도 하나의 카메라(195)와, 카메라로부터의 영상 데이터 등의 신호 처리를 수행하는 신호 처리 장치(170)를 구비한다.
본 개시의 일 실시예에 따른 신호 처리 장치(170)는, 차량에 장착되는 복수의 디스플레이(180a,180b)를 위한 신호 처리를 수행하는 프로세서(175)를 포함한다.
본 개시의 일 실시예에 따른 프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신(520)과 복수의 게스트 가상화 머신(530~540)을 실행한다.
복수의 게스트 가상화 머신(530~550) 중 제1 게스트 가상화 머신(530)과 제2 게스트 가상화 머신(540)은, 각각 제1 디스플레이(180a)와 제2 디스플레이(180b)를 위해 동작한다.
서버 가상화 머신(520)은, 처리된 영상 데이터를 인코딩하여 공유 메모리(508)에 저장하도록 제어한다.
제1 게스트 가상화 머신(530)은, 공유 메모리(508)에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터를 공유 메모리(508)에 저장하도록 제어한다.
제2 게스트 가상화 머신(540)은, 공유 메모리(508)에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이(180b)에 표시하도록 제어한다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 디코딩된 영상 데이터의 적어도 일부를 제1 디스플레이(180a)에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다. 또한, 복수의 디스플레이(180a,180b) 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 영상 데이터는, 카메라 데이터, 레이더 데이터, 라이더 데이터, 스트리밍 데이터 등일 수 있다.
예를 들어, 서버 가상화 머신(520)은, 카메라(195)로부터 카메라 데이터를 수신하는 수신부(1305)를 구비하고, 재생 어플리케이션(1318)과 컨트롤 채널(1311)을 실행할 수 있다.
서버 가상화 머신(520)은, 컨트롤 채널(1311)을 통해, 인코딩된 카메라 데이터를 공유 메모리(508)에 저장하고, 컨트롤 메시지를 공유 메모리(508)로 전송할 수 있다.
예를 들어, 컨트롤 채널(1311)은, Bitrate, Latency negotiation, Buffer Sharing 또는 Time Stamp (예를 들어, Frame 강제 Drop) 등과 관련한 컨트롤 메시지를 공유 메모리(508)로 전송할 수 있다.
제1 게스트 가상화 머신(530)은, 재생 어플리케이션(1328)과 컨트롤 채널(1321)을 실행할 수 있다. 컨트롤 채널(1321)은 컨트롤 채널(1311)과 유사하게 동작할 수 있다.
예를 들어, 제1 게스트 가상화 머신(530)은, 컨트롤 채널(1321)을 통해, 인코딩된 카메라 데이터를 수신하고, 재생 어플리케이션(1328) 내의 디코더(1324)를 통해, 인코딩된 카메라 데이터를 디코딩할 수 있다.
그리고, 제1 게스트 가상화 머신(530)은, 컨트롤 채널(1321)을 통해, 디코딩된 카메라 데이터를 공유 메모리(508)에 저장하고, 컨트롤 메시지를 공유 메모리(508)로 전송할 수 있다.
제2 게스트 가상화 머신(540)은, 재생 어플리케이션(1338)과 컨트롤 채널(1331)을 실행할 수 있다. 컨트롤 채널(1331)은 컨트롤 채널(1311)과 유사하게 동작할 수 있다.
예를 들어, 제2 게스트 가상화 머신(540)은, 컨트롤 채널(1331)을 통해, 디코딩된 카메라 데이터를 수신하고, 재생 어플리케이션(1338)를 통해, 디코딩된 카메라 데이터를 수신하고, 디코딩된 카메라 데이터를 제2 디스플레이(180b)에 표시하도록 제어한다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
도 13b는 본 개시의 다른 실시예에 따른 차량용 디스플레이 장치의 내부 블록도의 일예이다.
도면을 참조하면, 도 13b의 신호 처리 장치(170)는, 도 13a의 신호 처리 장치와 유사하나, 하이퍼바이저(505)와 공유 메모리(508)가 서버 가상화 머신(520) 내에 구비되는 것에 그 차이가 있으며, 그 외의 동작은 동일하게 수행될 수 있다.
도 14a 내지 도 16은 도 13a의 동작 설명에 참조되는 도면이다.
도 14a는 차량(200) 내의 복수의 디스플레이(180a,180b,180m) 중 제1 디스플레이(180a)에 카메라 데이터에 기반한 영상(180t)이 표시되는 것을 에시한다.
이와 같이, 카메라 데이터에 기반한 영상(180t)이, 복수의 디스플레이(180a,180b,180m) 중 일부인 차량 하부, 특히, 타이어 부분만 표시되므로, 카메라 데이터에 기반한 외부 상황 인식이 어려울 수 있게 된다.
도 14b는 차량(200) 내의 복수의 디스플레이(180a,180b,180m) 모두에에 카메라 데이터에 기반한 영상(180t)이 표시되는 것을 에시한다.
이와 같이, 카메라 데이터에 기반한 영상(180t)이, 복수의 디스플레이(180a,180b,180m) 모두에 표시되므로, 카메라 데이터에 기반한 외부 상황 인식이 개선될 수 있게 된다.
이를 위해, 본 개시의 일 실시예에 따른 신호 처리 장치(170)는, 도 13a 또는 도 13b와 같이, 동작하는 것이 바람직하다.
한편, 제3 디스플레이(180m)의 동작 제어를 위해, 본 개시의 일 실시예에 따른 신호 처리 장치(170)는, 공유 메모리(508)에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제3 디스플레이(180m)에 표시하도록 제어할 수 있다.
한편, 제2 게스트 가상화 머신(540)과 제3 게스트 가상화 머신(550)은, 디코딩된 영상 데이터가 저장된 공유 메모리(508)의 일부 영역을 공유할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
도 14c는 제1 게스트 가상화 머신(530)이 3개의 영역으로 구분된 카메라 데이터를 디코딩하는 것을 예시하는 도면이다.
도면을 참조하면, 신호 처리 장치(170) 내의 서버 가상화 머신(520)는 카메라 데이터를 수신하여, 인코더(1310)를 통해 인코딩하고, 인코딩된 카메라 데이터를 공유 메모리(508)에 저장하도록 제어할 수 있다.
제1 게스트 가상화 머신(530)는, 인코딩된 카메라 데이터를 공유 메모리(508)로부터 수신하여, 디코딩하고, 디코딩된 카메라 데이터를 공유 메모리(508)로 저장할 수 있다.
그리고, 제1 게스트 가상화 머신(530)는, 디코딩된 카메라 데이터 중 제1 영역의 카메라 데이터(IMGa)를 제1 디스플레이(180a)에 표시하도록 제어할 수 있다.
다음, 제2 게스트 가상화 머신(540)는, 디코딩된 카메라 데이터를 공유 메모리(508)로부터 수신하고, 디코딩된 카메라 데이터 중 제2 영역의 카메라 데이터(IMGb)를 제2 디스플레이(180b)에 표시하도록 제어하고, 제3 영역의 카메라 데이터(IMGc)를 제3 디스플레이(180m)에 표시하도록 제어할 수 있다.
이와 같이, 동일 카메라 데이터에 대해, 1회의 디코딩 등을 수행하므로, 도 12c 등에 비추어, 영상 처리량 및 딜레이가 상당히 저감되게 된다.
한편, 도 14c와 달리, 신호 처리 장치(170) 내에 제3 게스트 가상화 머신(550)이 더 실행될 수 있다.
이에 따라, 제2 게스트 가상화 머신(540)는, 디코딩된 카메라 데이터를 공유 메모리(508)로부터 수신하고, 디코딩된 카메라 데이터 중 제2 영역의 카메라 데이터(IMGb)를 제2 디스플레이(180b)에 표시하도록 제어하고, 제3 게스트 가상화 머신(550)은, 제3 영역의 카메라 데이터(IMGc)를 제3 디스플레이(180m)에 표시하도록 제어할 수 있다.
도 14d는 제1 내지 제3 디스플이(180a,180b,180)에 표시되는 다양한 영상을 예시한다.
도 14d의 (a)는, 제1 내지 제3 디스플이(180a,180b,180)에, 각각 카메라 영상(1402), 서라운드 뷰 영상(1404), 어플리케이션 화면 영상(1406)이 표시되는 것을 예시한다.
제1 내지 제3 게스트 가상화 머신(530~550)은, 각각의 영상(1402,1404,1406) 표시를 위해, 신호 처리를 수행할 수 있다.
도 14d의 (b)는, 제1 내지 제3 디스플이(180a,180b,180)에, 각각 카메라 영상(1412,1414,1416)이 표시되는 것을 예시한다.
제1 내지 제3 게스트 가상화 머신(530~550)은, 각각 카메라 영상(1412,1414,1416) 표시를 위해, 신호 처리를 수행할 수 있다.
도 14d의 (c)는, 제1 내지 제3 디스플이(180a,180b,180)에, 각각 카메라 영상(1422), 카메라 영상(1424), 어플리케이션 화면 영상(1426)이 표시되는 것을 예시한다.
제1 내지 제3 게스트 가상화 머신(530~550)은, 각각의 영상(1422,1424,1426) 표시를 위해, 신호 처리를 수행할 수 있다.
한편, 도 14d의 (c)와 같이, 복수의 디스플레이(180a,180b) 사이에서의 영상 복사 표시시, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)에 저장된 인코딩된 카메라 데이터를 수신하여 디코딩하여, 디코딩된 카메라 데이터를 공유 메모리(508)에 저장하도록 제어하고, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)에 저장된 디코딩된 카메라 데이터를 수신하여, 디코딩된 카메라 데이터를 제2 디스플레이(180b)에 표시하도록 제어한다.
즉, 제1 게스트 가상화 머신(530)은, 제1 시점 및 제1 시점 이후의 제2 시점에 카메라 영상(1422)이 제1 디스플레이(180a)에 표시하도록 제어하고, 제2 게스트 가상화 머신(540)은, 제2 시점에, 카메라 영상(1422)에 대응하는 카메라 영상(1424)이 제2 디스플레이(180b)에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 복사 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 제2 영상이 제2 디스플레이(180b)에 출력되도록 제어할 수 있다.
즉, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 카메라 영상(1424)이 제2 디스플레이(180b)에 출력되도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 도 14d의 (b)와 같이, 복수의 디스플레이(180a,180b,180m) 사이에서의 영상 복사 표시시, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)에 저장된 인코딩된 카메라 데이터를 수신하여 디코딩하여, 디코딩된 카메라 데이터를 공유 메모리(508)에 저장하도록 제어하고, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)에 저장된 디코딩된 카메라 데이터를 수신하여, 디코딩된 카메라 데이터를 제2 디스플레이(180b)에 표시하도록 제어하며, 제3 게스트 가상화 머신(550)은, 공유 메모리(508)에 저장된 디코딩된 카메라 데이터를 수신하여, 디코딩된 카메라 데이터를 제3 디스플레이(180m)에 표시하도록 제어할 수 있다.
즉, 제1 게스트 가상화 머신(530)은, 제1 시점, 제1 시점 이후의 제2 시점, 및 제2 시점 이후의 제3 시점에, 카메라 영상(1412)이 제1 디스플레이(180a)에 표시하도록 제어하고, 제2 게스트 가상화 머신(540)은, 제2 시점, 및 제3 시점에, 카메라 영상(1412)에 대응하는 카메라 영상(1414)이 제2 디스플레이(180b)에 표시하도록 제어하고, 제3 게스트 가상화 머신(550)은, 제3 시점에, 카메라 영상(1412)에 대응하는 카메라 영상(1416)이 제3 디스플레이(180c)에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b,180m) 사이에서의 영상 복사 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 제2 영상이 제2 디스플레이(180b)에 출력되도록 제어할 수 있다.
즉, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 카메라 영상(1414)이 제2 디스플레이(180b)에 출력되도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 제3 게스트 가상화 머신(550)은, 제3 디스플레이(180m)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 제3 영상이 제3 디스플레이(180m)에 출력되도록 제어할 수 있다.
즉, 제3 게스트 가상화 머신(550)은, 제3 디스플레이(180m)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 카메라 영상(1416)이 제3 디스플레이(180m)에 출력되도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b,180m) 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
도 15a는 도 12a와 같이, 3개의 디스플레이(180a,180b,180m)를 위해 3개의 신호 처리 장치(170xa,170xb,170xc)가 사용되는 것을 예시하는 도면이다.
도면을 참조하면, 카메라(195)로부터의 카메라 데이터를 수신하여, 3개의 신호 처리 장치(170xa,170xb,170xc)가 각각 디코딩 등을 수행하여, 각각 카메라 영상(1510,1512,1514)을 표시하므로, 영상 처리량 및 딜레이가 상당히 증가하게 된다.
도 15b는 도 14d의 (b)와 같이, 3개의 디스플레이(180a,180b,180m)를 위해 1개의 신호 처리 장치(170) 내의 3개의 게스트 가상화 머신(530,540,550)가 사용되는 것을 예시하는 도면이다.
도면을 참조하면, 카메라(195)로부터의 카메라 데이터를 서버 가상화 머신(520)이 수신하여, 인코딩된 카메라 데이터를 공유 메모리(508)에 저장할 수 있다.
그리고, 3개의 게스트 가상화 머신(530,540,550) 중 제1 게스트 가상화 머신(530)은, 공유 메모리(508)로부터 인코딩된 카메라 데이터를 수신하여 디코딩하고 디코딩된 카메라 데이터를 공유 메모리(508)에 저장할 수 있다.
그리고, 제1 게스트 가상화 머신(530)은, 디코딩된 카메라 데이터를 수신하여, 카메라 영상(1412)을 표시하도록 제어할 수 있다.
그리고, 나머지 2개의 게스트 가상화 머신(540,550)은, 공유 메모리(508)로부터 디코딩된 카메라 데이터를 수신하여, 각각 카메라 영상(1414,1416)을 표시하도록 제어할 수 있다. 이에 따라, 이에 따라, 복수의 디스플레이(180a,180b, 180m) 사이에서의 영상 복사 표시시의 영상 처리량 및 딜레이를 상당히 저감할 수 있게 된다.
도 15c는 복수의 디스플레이(180a,180b,180m) 사이의 영상 이동을 설명하기 위해 참조되는 도면이다.
도면을 참조하면, 본 개시의 일 실시예에 따른 신호 처리 장치(170) 내의 제1 게스트 가상화 머신(530)은, 도 15c의 (a)와 같이, 카메라 영상(1520)을 3개의 디스플레이(180a,180b,180m) 중 제1 디스플레이(180a)에 표시하도록 제어할 수 있다.
카메라 영상 이동을 위해, 본 개시의 일 실시예에 따른 신호 처리 장치(170) 내의 제1 게스트 가상화 머신(530)과 제2 게스트 가상화 머신(540)은, 도 15c의 (b)와 같이, 각각 카메라 영상(1521)의 일부를 표시하도록 제어할 수 있다.
다음, 본 개시의 일 실시예에 따른 신호 처리 장치(170) 내의 제2 게스트 가상화 머신(540)은, 도 15c의 (c)와 같이, 카메라 영상(1522)을 제2 디스플레이(180b)에 표시하도록 제어할 수 있다.
이를 위해, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)로부터 서버 가싱화 머신(520)에 의해 제어된 인코딩된 카메라 데이터를 수신하고, 카메라 데이터를 디코딩할 수 있다.
그리고, 제1 게스트 가상화 머신(530)은, 디코딩된 카메라 데이터를 공유 메모리(508)에 저장하고, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)에 저장된 디코딩된 카메라 데이터를 수신하여 카메라 영상(1522)이 표시하도록 제어할 수 있다.
즉, 제1 게스트 가상화 머신(530)은, 제1 시점에 카메라 영상(1520)이 제1 디스플레이(180a)에 표시하도록 제어하고, 제2 게스트 가상화 머신(540)은, 제1 시점 이후의 제2 시점에 카메라 영상(1520)에 대응하는 카메라 영상(1522이 제2 디스플레이(180b)에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 이동 표시시의 딜레이를 저감하면서, 심리스(swamless)한 표시가 가능하게 된다.
한편, 제1 디스플레이(180a)에 표시되는 영상을 제3 디스플레이(180m)로 이동시켜 표시하는 것도 가능하다.
예를 들어, 제1 게스트 가상화 머신(530)은, 제1 시점에 제1 영상이 제1 디스플레이(180a)에 표시하도록 제어하고, 제3 게스트 가상화 머신(550)은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제3 디스플레이(180m)에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 이동 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제1 디스플레이(180a)에 표시되는 영상을, 제2 디스플레이(180b)와 제3 디스플레이(180m)로 순차 이동시켜 표시하는 것도 가능하다.
예를 들어, 제1 게스트 가상화 머신(530)은, 제1 시점에 제1 영상이 제1 디스플레이(180a)에 표시하도록 제어하고, 제2 게스트 가상화 머신(540)은, 제1 시점 이후의 제2 시점에 제1 영상에 대응하는 제2 영상이 제2 디스플레이(180b)에 표시하도록 제어하고, 제3 게스트 가상화 머신(550)은, 제2 시점 이후의 제3 시점에 제1 영상에 대응하는 제3 영상이 제3 디스플레이(180m)에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 이동 표시시의 딜레이를 저감할 수 있게 된다.
한편, 도 13a 내지 도 15c에서의 설명에서는 제1 게스트 가상화 머신(530)이 인코딩된 영상 데이터를 디코딩하는 것으로 기술하였으나, 이와 달리, 서버 가상화 머신(520)이 인코딩된 영상 데이터를 디코딩하는 것도 가능하다.
본 개시의 다른 실시예에 따른 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 처리된 영상 데이터를 인코딩하여 공유 메모리(508)에 저장하도록 제어하고, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)에 저장된 인코딩된 영상 데이터를 수신하여, 서버 가상화 머신(520)으로 디코딩 요청을 전송하고, 서버 가상화 머신(520)은, 디코딩 요청에 기초하여 인코딩된 영상 데이터를 디코딩하여, 디코딩된 영상 데이터를 공유 메모리(508)에 저장하도록 제어하고, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제1 디스플레이(180a)에 표시하도록 제어한다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다.
한편, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이(180b)에 표시하도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b) 사이에서의 영상 표시시의 딜레이를 저감할 수 있게 된다. 또한, 복수의 디스플레이(180a,180b) 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
본 개시의 다른 실시예에 따른 신호 처리 장치(170)는, 서버 가상화 머신(520)이 인코딩된 영상 데이터를 디코딩하는 것에만 차이가 있을 뿐, 그 외의 영상 복사, 영상 이동 등은, 도 13a 내지 도 15c에서의 설명 그대로 수행될 수 있다.
서버 가상화 머신(520)이 인코딩된 영상 데이터를 디코딩하는 것 등의 설명은 도 16 이하를 참조하여 기술한다.
도 16은 도 14d의 (b)의 영상 표시를 위해 참조되는 도면이다.
도면을 참조하면, 도면을 참조하면, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)는, 적어도 하나의 카메라(195)와, 카메라로부터의 카메라 데이터 등의 신호 처리를 수행하는 신호 처리 장치(170)를 구비한다.
본 개시의 일 실시예에 따른 신호 처리 장치(170)는, 차량에 장착되는 복수의 디스플레이(180a,180b)를 위한 신호 처리를 수행하는 프로세서(175)와 공유 메모리(508)를 포함한다.
본 개시의 일 실시예에 따른 프로세서(175)는, 프로세서(175) 내의 하이퍼바이저(505) 상에서, 서버 가상화 머신(520)과 복수의 게스트 가상화 머신(530~540)을 실행한다.
서버 가상화 머신(520) 내의 인코더(1310)는, 카메라 데이터를 수신하고 수신한 카메라 데이터를 인코딩하고, 서버 가상화 머신(520) 내의 전송부(1312)는, 인코딩된 카메라 데이터를 공유 메모리(508)로 전송한다.
서버 가상화 머신(520) 내의 디코더(1310)는, 인코딩된 카메라 데이터를 디코딩하고, 서버 가상화 머신(520) 내의 전송부(1312)는, 디코딩된 카메라 데이터를 공유 메모리(508)로 전송한다.
한편, 서버 가상화 머신(520) 내에서 디코딩된 카메라 데이터는, 플레이어 어플리케이션(1318)로 전달되어 제1 디스플레이(180a)에 도 15b와 같이 카메라 영상(1520)이 표시될 수 있다.
제1 게스트 가상화 머신(530) 내의 수신부(1325)는, 공유 메모리(508)에 저장된 인코딩된 카메라 데이터를 수신하고, 디코더(1324)는 인코딩된 카메라 데이터를 디코딩할 수 있다.
또는, 제1 게스트 가상화 머신(530) 내의 디코더(1324)는, 공유 메모리(508)에 저장된 디코딩된 카메라 데이터를 수신하고, 디코딩된 카메라 데이터는, 플레이어 어플리케이션(1328)로 전달되어 제2 디스플레이(180b)에 도 15b와 같이 카메라 영상(1522)이 표시될 수 있다.
제2 게스트 가상화 머신(540) 내의 수신부(1335)는, 공유 메모리(508)에 저장된 인코딩된 카메라 데이터를 수신하고, 디코더(1334)는 인코딩된 카메라 데이터를 디코딩할 수 있다.
또는, 제2 게스트 가상화 머신(540)) 내의 디코더(1334)는, 공유 메모리(508)에 저장된 디코딩된 카메라 데이터를 수신하고, 디코딩된 카메라 데이터는, 플레이어 어플리케이션(1338)로 전달되어 제3 디스플레이(180m)에 도 15b와 같이 카메라 영상(1524)이 표시될 수 있다.
한편, 도 16과 달리, 플레이어 어플리케이션(1318)이 서버 가상화 머신(520)이 아닌 제1 게스트 가상화 머신(530)에서 실행되어, 제1 디스플레이(180a)에 도 15b와 같이 카메라 영상(1520)이 표시될 수 있다.
이와 함께, 플레이어 어플리케이션(1328)이 제1 게스트 가상화 머신(530)이 아닌 제2 게스트 가상화 머신(540)에서 실행되어, 제2 디스플레이(180b)에 도 15b와 같이 카메라 영상(1522)이 표시될 수 있다.
또한, 플레이어 어플리케이션(1338)이 제2 게스트 가상화 머신(540)이 아닌 제3 게스트 가상화 머신(550)에서 실행되어, 제3 디스플레이(180m)에 도 15b와 같이 카메라 영상(1524)이 표시될 수 있다.
도 17a는 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 일예이다.
도면을 참조하면, 신호 처리 장치(170) 내의 서버 가상화 머신(520)은, 카메라(195)로부터 카메라 데이터를 수신한다(S1710).
다음, 서버 가상화 머신(520) 내의 인코더(1310)는, 카메라 데이터를 인코딩하고(S1712), 서버 가상화 머신(520) 내의 전송부(1312)는, 인코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S1715).
한편, 제1 게스트 가상화 머신(530) 내의 수신부(1325)는, 공유 메모리(508)로부터 인코딩된 카메라 데이터를 수신한다(S1716).
그리고, 제1 게스트 가상화 머신(530)은, 인코딩된 카메라 데이터에 대한 디코딩 요청을 전송한다(S1718). 이에 대응하여, 서버 가상화 머신(520)은, 디코딩 요청을 수신한다.
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 디스플레이 타이밍 파라미터(display timing parameter)를 추출한다(S1719).
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 인코딩된 카메라 데이터가 이미 디코딩 되었는 지 여부를 판단하고(S1720), 이미 디코딩된 경우, 디코딩 데이터 캐쉬에서 디코딩된 카메라 데이터를 선택한다(S1722).
한편, 제1720 단계(S1720)에서, 인코딩된 카메라 데이터가 디코딩되지 않은 경우, 서버 가상화 머신(520) 내의 디코더(1316)는, 디코딩 인스턴스(decoding instance)를 생성하고(S1723), 디코딩 인스턴스에 기초하여 디코딩을 수행한다(S1725).
다음, 서버 가상화 머신(520) 내의 플레이어 어플리케이션이 실행되는 지 여부를 판단하고(S1727), 실행되는 경우, 서버 가상화 머신(520) 내의 디코더(1316)는, 플레이어 어플리케이션(1318)로 디코딩된 카메라 데이터를 전송할 수 있다(S1729).
한편, 서버 가상화 머신(520) 내의 플레이어 어플리케이션이 실행되지 않는 경우, 제1 게스트 가상화 머신(530)으로 디코딩된 카메라 데이터를 전송하고(S1730), 이에 대응하여 제1 게스트 가상화 머신(530)은 디코딩된 카메라 데이터를 수신할 수 있다(S1729).
도 17a에 의하면, 서버 가상화 머신(520)에서 디코딩된 카메라 데이터가, 플레이어 어플리케이션(1318)을 통해 재생되어 표시되거나, 제1 게스트 가상화 머신(530)으로 전송되어 플레이어 어플리케이션(1328)을 통해 재생되어 표시될 수 있게 된다.
도 17b는 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 다른 예이다.
도면을 참조하면, 제1 게스트 가상화 머신(530) 내의 수신부(1325)는, 공유 메모리(508)로부터 인코딩된 카메라 데이터를 수신한다(S1756).
그리고, 제1 게스트 가상화 머신(530)은, 인코딩된 카메라 데이터에 대한 디코딩 요청을 전송한다(S1758). 이에 대응하여, 서버 가상화 머신(520)은, 디코딩 요청을 수신한다.
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 디코딩을 수행하고(S1763), 디코딩된 카메라 데이터를 디코딩 데이터 캐쉬로 저장한다(S1765).
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 디코딩 데이터 캐쉬에 저장된 디코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S1768).
이에 대응하여, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)를 통해 디코딩된 카메라 데이터를 수신한다(S1769).
한편, 서버 가상화 머신(520)은, 전송해야할 추가 게스트 가상화 머신이 존재하는 지 여부를 판단하고(S1770), 해당하는 경우, 서버 가상화 머신(520) 내의 인코더(1310)는 디코딩 데이터 캐쉬에 저장된 카메라 데이터를 인코딩한다(S1771).
그리고, 서버 가상화 머신(520) 내의 전송부(1312)는, 인코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S1773).
이에 대응하여, 제2 게스트 가상화 머신(540)의 수신부(1335)는, 공유 메모리(508)를 통해 인코딩된 카메라 데이터를 수신한다(S1775).
그리고, 제2 게스트 가상화 머신(540)은, 서버 가상화 머신(520)으로 디코딩 요청을 전송한다(S1777).
이에 대응하여, 서버 가상화 머신(520)은 디코딩 요청을 수신하고, 디스플레이 타이밍 파라미터(display timing parameter)를 추출할 수 있다. 한다(S1779).
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 디코딩 데이터 캐쉬에서 디코딩된 카메라 데이터를 선택하여, 공유 메모리(508)로 전송한다(S1781).
이에 대응하여, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)로부터 디코딩된 카메라 데이터를 수신한다(S1783).
도 17b에 의하면, 서버 가상화 머신(520)에서 디코딩된 카메라 데이터가, 제1 게스트 가상화 머신(530)과 제2 게스트 가상화 머신(540)에 전송되므로, 제1 디스플레이(180a)와 제2 디스플레이(180b)에 동일한 카메라 영상이 표시될 수 있게 된다.
도 18은 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 또 다른 예이다.
도면을 참조하면, 서버 가상화 머신(520) 내의 인코더(1310)는, 인코딩 비트레이트를 설정한다(S1805).
다음, 서버 가상화 머신(520) 내의 인코더(1310)는, 카메라 데이터를 수신하고, 수신된 카메라 데이터를 설정된 인코딩 비트레이트를에 기초하여 인코딩한다(S1810).
서버 가상화 머신(520) 내의 전송부(1312)는, 인코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S1815).
제1 게스트 가상화 머신(530) 내의 수신부(1325)는, 공유 메모리(508)로부터 인코딩된 카메라 데이터를 수신한다(S1816).
그리고, 제1 게스트 가상화 머신(530)은, 인코딩된 카메라 데이터에 대한 디코딩 요청을 전송한다(S1818). 이에 대응하여, 서버 가상화 머신(520)은, 디코딩 요청을 수신한다.
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 디코딩을 수행하고(S1823), 디코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S1842).
이에 대응하여, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)를 통해 디코딩된 카메라 데이터를 수신하고(S1843), 제1 디스플레이(180a)에 카메라 데이터에 기반한 카메라 영상을 출력한다(S1845).
한편, 제1 게스트 가상화 머신(530)은, 터치 입력 등을 통해 영상 복사 입력을 수신하고(S1847), 복사 입력을 전송한다(S1849).
이에 대응하여, 서버 가상화 머신(520)은, 복사 입력을 수신하고(S1850), 제2 게스트 가상화 머신(540)으로 플레이어 어플리케이션 실행 요청을 전송한다(S1852).
이에 대응하여, 제2 게스트 가상화 머신(540)은 플레이어 어플리케이션 실행 요청을 수신하고 플레이어 어플리케이션을 실행한다(S1853).
다음, 제2 게스트 가상화 머신(540)은 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 대응하는 윈도우 크기를 설정한다(S1855).
그리고, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)를 통해 디코딩된 카메라 데이터를 수신하고(S1857), 설정된 윈도우 크기에 대응하여 제2 디스플레이(180b)에 카메라 데이터에 기반한 카메라 영상을 출력한다(S1859).
특히, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 카메라 영상이 제2 디스플레이(180b)에 출력되도록 제어할 수 있다. 이에 따라, 디스플레이 별 해상도에 대응하는 영상을 딜레이 저감하여 표시할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 카메라 데이터의 리소스에 따른 적정 비트레이트를 연산한다(S1856).
연산된 비트 레이트에 기초하여, 서버 가상화 머신(520) 내의 인코더(1310)는, 인코딩 비트레이트를 다시 설정할 수 있다(S1805).
도 19a 내지 도 19e는 도 17a 내지 도 18의 동작 설명에 참조되는 도면이다.
도 19a는 본 발명과 관련한 차량용 디스플레이 장치(100x)에서의 영상 복사의 일예를 예시하는 도면이다.
본 발명과 관련한 신호 처리 장치(170x)는, 도 19a의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 복사 입력이 있는 경우, 도 19a의 (b)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제3 디스플레이(180m)에 복사된 영상(1912)를 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 큰 경우, 도 19a의 (b)와 같이, 제3 디스플레이(180m)의 일부에, 여백이 발생하게 된다.
이에 본 개시의 실시예에 따른 신호 처리 장치(100)는, 영상 복사시에, 제3 디스플레이(180m)의 출력 해상도의 해상도에 따른 스케일링 등을 수행한다. 이에 대해서는 도 19b를 참조하여 기술한다.
도 19b는 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)에서의 영상 복사의 일예를 예시하는 도면이다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 19b의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 복사 입력이 있는 경우, 도 19b의 (b)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제3 디스플레이(180m)에 복사된 영상(1922)을 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 큰 경우, 도 19a의 (b)와 같이, 신호 처리 장치(170)는, 제3 디스플레이(180m)의 출력 해상도에 대응하는 스케일링 등을 수행하여, 제3 디스플레이(180m)의 일부에, 여백이 발생하지 않게 제어한다. 이에 따라, 제3 디스플레이(180m)의 출력 해상도에 대응하여 영상 복사가 수행되게 된다.
도 19c는 본 발명과 관련한 차량용 디스플레이 장치(100y)에서의 영상 복사의 다른 예를 예시하는 도면이다.
본 발명과 관련한 신호 처리 장치(170y)는, 도 19c의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 복사 입력이 있는 경우, 도 19c의 (b)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제3 디스플레이(180m)에 복사된 영상(1914)를 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 작은 경우, 도 19c의 (b)와 같이, 제3 디스플레이(180m)에는 제1 영상(1910)의 일부만이 표시되고, 다른 일부는 표시되지 못하게 된다.
이에 본 개시의 실시예에 따른 신호 처리 장치(100)는, 영상 복사시에, 제3 디스플레이(180m)의 출력 해상도의 해상도에 따른 스케일링 등을 수행한다. 이에 대해서는 도 19d를 참조하여 기술한다.
도 19d는 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)에서의 영상 복사의 다른 예를 예시하는 도면이다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 19d의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 복사 입력이 있는 경우, 도 19d의 (b)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제3 디스플레이(180m)에 복사된 영상(1922)을 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 작은 경우, 도 19c의 (b)와 같이, 신호 처리 장치(170)는, 제3 디스플레이(180m)의 출력 해상도에 대응하는 스케일링 등을 수행하여, 제3 디스플레이(180m)에, 제1 영상(1910)의 모든 영역이 잘리지 않고 표시되도록 제어한다. 이에 따라, 제3 디스플레이(180m)의 출력 해상도에 대응하여 영상 복사가 수행되게 된다.
도 19e는 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)에서의 영상 복사가 순차적으로 수행되는 것을 예시하는 도면이다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 19e의 (a)와 같이, 제1 시점에, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 복사 입력이 있는 경우, 도 19e의 (b)와 같이, 제1 시점 이후의 제2 시점에, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제3 디스플레이(180m)에 복사된 영상(1922)을 표시할 수 있다.
한편, 본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 19e의 (b)와 같이, 제2 시점에, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고 제3 디스플레이(180m)에 복사된 영상(1922)을 표시하다가, 영상 복사 입력이 있는 경우, 도 19e의 (c)와 같이, 제2 시점 이후의 제3 시점에, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제3 디스플레이(180m)에 복사된 영상(1922)을 표시하고, RSE 디스플레이(180c)에 복사된 영상(1924)을 표시할 수 있다. 이에 따라, 순차적으로 영상 복사를 수행할 수 있게 된다.
도 20은 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 또 다른 예이다.
도면을 참조하면, 서버 가상화 머신(520) 내의 인코더(1310)는, 인코딩 비트레이트를 설정한다(S2005).
다음, 서버 가상화 머신(520) 내의 인코더(1310)는, 카메라 데이터를 수신하고, 수신된 카메라 데이터를 설정된 인코딩 비트레이트를에 기초하여 인코딩한다(S2010).
서버 가상화 머신(520) 내의 전송부(1312)는, 인코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S2025).
제1 게스트 가상화 머신(530) 내의 수신부(1325)는, 공유 메모리(508)로부터 인코딩된 카메라 데이터를 수신한다(S2026).
그리고, 제1 게스트 가상화 머신(530)은, 인코딩된 카메라 데이터에 대한 디코딩 요청을 전송한다(S2028). 이에 대응하여, 서버 가상화 머신(520)은, 디코딩 요청을 수신한다.
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 디코딩을 수행하고(S2040), 디코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S2042).
이에 대응하여, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)를 통해 디코딩된 카메라 데이터를 수신하고(S2043), 제1 디스플레이(180a)에 카메라 데이터에 기반한 카메라 영상을 출력한다(S2045).
한편, 제1 게스트 가상화 머신(530)은, 터치 입력 등을 통해 영상 이동 입력을 수신하고(S2047), 이동 입력을 전송한다(S2049).
이에 대응하여, 서버 가상화 머신(520)은, 이동 입력을 수신하고(S2050), 제2 게스트 가상화 머신(540)으로 플레이어 어플리케이션 실행 요청을 전송한다(S2052).
이에 대응하여, 제2 게스트 가상화 머신(540)은 플레이어 어플리케이션 실행 요청을 수신하고 플레이어 어플리케이션을 실행한다(S2053).
다음, 제2 게스트 가상화 머신(540)은 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 대응하는 윈도우 크기를 설정한다(S2055).
그리고, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)를 통해 디코딩된 카메라 데이터를 수신하고(S2057), 설정된 윈도우 크기에 대응하여 제2 디스플레이(180b)에 카메라 데이터에 기반한 카메라 영상을 출력한다(S2059).
특히, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 카메라 영상이 제2 디스플레이(180b)에 출력되도록 제어할 수 있다. 이에 따라, 디스플레이 별 해상도에 대응하는 영상을 이동시키고 딜레이 저감하여 표시할 수 있게 된다.
한편, 서버 가상화 머신(520)은, 카메라 데이터의 리소스에 따른 적정 비트레이트를 연산한다(S2056).
연산된 비트 레이트에 기초하여, 서버 가상화 머신(520) 내의 인코더(1310)는, 인코딩 비트레이트를 다시 설정할 수 있다(S2005).
도 21a 내지 도 21e는 도 20의 동작 설명에 참조되는 도면이다.
도 21a는 본 발명과 관련한 차량용 디스플레이 장치(100x)에서의 영상 이동의 일예를 예시하는 도면이다.
본 발명과 관련한 신호 처리 장치(170x)는, 도 21a의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 이동 입력이 있는 경우, 제3 디스플레이(180m)에 이동된 영상(1912)를 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 큰 경우, 도 21a의 (b)와 같이, 제3 디스플레이(180m)의 일부에, 여백이 발생하게 된다.
이에 본 개시의 실시예에 따른 신호 처리 장치(100)는, 영상 이동시에, 제3 디스플레이(180m)의 출력 해상도의 해상도에 따른 스케일링 등을 수행한다. 이에 대해서는 도 21b를 참조하여 기술한다.
도 21a 내지 도 21f는 도 20의 동작 설명에 참조되는 도면이다.
도 21b는 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)에서의 영상 이동의 일예를 예시하는 도면이다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 21b의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 이동 입력이 있는 경우, 도 21b의 (b)와 같이, 제3 디스플레이(180m)에 이동된 영상(1922)을 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 큰 경우, 도 21a의 (b)와 같이, 신호 처리 장치(170)는, 제3 디스플레이(180m)의 출력 해상도에 대응하는 스케일링 등을 수행하여, 제3 디스플레이(180m)의 일부에, 여백이 발생하지 않게 제어한다. 이에 따라, 제3 디스플레이(180m)의 출력 해상도에 대응하여 영상 이동이 수행되게 된다.
도 21c는 본 발명과 관련한 차량용 디스플레이 장치(100y)에서의 영상 이동의 다른 예를 예시하는 도면이다.
본 발명과 관련한 신호 처리 장치(170y)는, 도 21c의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 이동 입력이 있는 경우, 도 21c의 (b)와 같이, 제3 디스플레이(180m)에 이동된 영상(1914)를 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 작은 경우, 도 21c의 (b)와 같이, 제3 디스플레이(180m)에는 제1 영상(1910)의 일부만이 표시되고, 다른 일부는 표시되지 못하게 된다.
이에 본 개시의 실시예에 따른 신호 처리 장치(100)는, 영상 이동시에, 제3 디스플레이(180m)의 출력 해상도의 해상도에 따른 스케일링 등을 수행한다. 이에 대해서는 도 21d를 참조하여 기술한다.
도 21d는 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)에서의 영상 이동의 다른 예를 예시하는 도면이다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 21d의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하다가, 영상 이동 입력이 있는 경우, 도 21d의 (b)와 같이, 제3 디스플레이(180m)에 이동된 영상(1922)을 표시하도록 제어할 수 있다.
이때, 제1 디스플레이(180a)의 출력 해상도 보다 제3 디스플레이(180m)의 출력 해상도가 작은 경우, 도 21c의 (b)와 같이, 신호 처리 장치(170)는, 제3 디스플레이(180m)의 출력 해상도에 대응하는 스케일링 등을 수행하여, 제3 디스플레이(180m)에, 제1 영상(1910)의 모든 영역이 잘리지 않고 표시되도록 제어한다. 이에 따라, 제3 디스플레이(180m)의 출력 해상도에 대응하여 영상 이동이 수행되게 된다.
도 21e는 본 발명과 관련한 차량용 디스플레이 장치(100x)에서, 영상과 디스플레이 사이의 해상도가 일치하지 않는 경우를 예시하는 도면이다.
도 21e의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제2 디스플레이(180b)에 제2 영상(1940)을 표시시, 제2 영상(1940)이 제2 디스플레이(180b)의 출력 해상도와 불일치하여 여백이 생길 수 있다.
한편, 도 21e의 (a)의 해상도 불일치 해소를 위해, 영상을 바꿔서 표시하는 경우에, 도 21e의 (b)와 같이, 제1 디스플레이(180a)에 제2 영상(1942)을 표시하고, 제2 디스플레이(180b)에 제1 영상(1952)를 표시할 수 있으나, 역시 제2 영상(1942)이 제1 디스플레이(180a)의 출력 해상도와 불일치하여 여백이 생길 수 있다.
도 21f는 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)에서의 영상과 디스플레이 사이의 해상도가 일치되는 것을 예시하는 도면이다.
도면을 참조하면, 도 21f의 (a)와 같이, 제1 디스플레이(180a)에 제1 영상(1910)을 표시하고, 제2 디스플레이(180b)에 제2 영상(1940)을 표시시, 제2 영상(1940)이 제2 디스플레이(180b)의 출력 해상도와 불일치하여 여백이 생길 수 있다.
이에, 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)는, 한편, 도 21f의 (a)의 해상도 불일치 해소를 위해, 영상을 교체하여 표시하도록 하되, 디스플레이의 출력 해상도를 고려하여, 제1 디스플레이(180a)에 제2 영상(1950)의 일부가 표시되고, 나머지 일부(Arm)는, 제2 디스플레이(180b)에 표시되도록 제어할 수 있다.
즉, 제2 게스트 가상화 머신(540)은, 공유 메모리(508)에 저장된 디코딩된 영상 데이터를 수신하여, 디코딩된 영상 데이터의 적어도 일부를 제2 디스플레이(180b)에 표시하도록 제어할 수 있다.
한편, 제2 디스플레이(180b)에는, 제1 영상(1955)도 표시될 수 있게 된다. 이에 따라, 제1 영상과 제2 영상 전부를 복수의 디스플레이에 표시할 수 있게 된다.
도 22는 본 개시의 일실시예에 따른 신호 처리 장치의 동작 방법의 또 다른 예이다.
도면을 참조하면, 서버 가상화 머신(520) 내의 인코더(1310)는, 인코딩 비트레이트를 설정한다(S2205).
다음, 서버 가상화 머신(520) 내의 인코더(1310)는, 카메라 데이터를 수신하고, 수신된 카메라 데이터를 설정된 인코딩 비트레이트를에 기초하여 인코딩한다(S2210).
서버 가상화 머신(520) 내의 전송부(1312)는, 인코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S2215).
제1 게스트 가상화 머신(530) 내의 수신부(1325)는, 공유 메모리(508)로부터 인코딩된 카메라 데이터를 수신한다(S2216).
그리고, 제1 게스트 가상화 머신(530)은, 인코딩된 카메라 데이터에 대한 디코딩 요청을 전송한다(S2218). 이에 대응하여, 서버 가상화 머신(520)은, 디코딩 요청을 수신한다.
다음, 서버 가상화 머신(520) 내의 디코더(1316)는, 디코딩을 수행한다(S2220).
한편, 제1 게스트 가상화 머신(530)은, 제1 디스플레이(180a)의 출력 해상도에 대응하는 윈도우 크기를 설정한다(S2222), 그리고, 윈도우 크기에 대응하여, 화면 확장 요청을 서버 가상화 머신(520)으로 전송한다(S2224).
이에 대응하여, 서버 가상화 머신(520)은, 화면 확장 요청을 수신한다(S2225).
다음, 서버 가상화 머신(520)은, 디코딩된 카메라 데이터를 확장하고, 확장된 디코딩된 카메라 데이터를 공유 메모리(508)로 전송한다(S2242).
이에 대응하여, 제1 게스트 가상화 머신(530)은, 공유 메모리(508)로부터 확장된 디코딩된 카메라 데이터를 수신하고, 영상을 제1 디스플레이(180a)에 표시하도록 제어할 수 있다(S2245).
한편, 제2 게스트 가상화 머신(540)은, 제2 디스플레이(180b)의 출력 해상도에 대응하는 윈도우 크기를 설정한다(S2226), 그리고, 윈도우 크기에 대응하여, 화면 요청을 서버 가상화 머신(520)으로 전송할 수 있다.
제2 게스트 가상화 머신(540)은, 공유 메모리(508)로부터 디코딩된 카메라 데이터를 수신하고(S2244), 영상을 제2 디스플레이(180b)에 표시하도록 제어할 수 있다(S2247). 이에 따라, 도 21e의 (b)와 같은 영상들(1950,1955)이 각각 제1 디스플레이(180a)와 제2 디스플레이(180b)에 표시될 수 있게 된다.
도 23a 내지 도 23b는 도 22의 동작 설명에 참조되는 도면이다.
도 23a는 본 발명과 관련한 차량용 디스플레이 장치(100x)에서의 영상 표시의 일예를 예시하는 도면이다.
본 발명과 관련한 신호 처리 장치(170x)는, 도 23a의 (a)와 같은 제1 영상(2310)을, 제1 디스플레이(180a)에 일부가 잘린 영상(2312)을 표시하거나, 제2 디스플레이(180b)와 같이 화면 비율이 변화된 영상(2314)을 표시하도록 제어할 수 있다.
이에 본 개시의 실시예에 따른 신호 처리 장치(100)는, 영상의 해상도와 각 디스플레이의 출력 해상도를 고려하여, 영상 확대, 스케일링 등을 수행한다.
도 23b는 본 개시의 실시예에 따른 차량용 디스플레이 장치(100m)에서의 영상 표시의 일예를 예시하는 도면이다.
본 개시의 실시예에 따른 신호 처리 장치(170)는, 도 23b의 (a)와 같은, 제1 영상(2310)을, 제1 디스플레이(180a)와 제2 디스플레이(180b)의 일부에 표시하도록 제어하고, 제2 디스플레이(180b)의 나머지 영역에 제2 영상(2324)가 표시되도록 제어할 수 있다. 이에 따라, 복수의 디스플레이(180a,180b)에 걸쳐, 영상을 표시하므로, 영상의 일부가 삭제되지 않도록 제어할 수 있게 된다.
한편, 이상에서는 본 개시의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (18)

  1. 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치에 있어서,
    상기 프로세서는,
    상기 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며,
    상기 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며,
    상기 서버 가상화 머신은,
    처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고,
    상기 제1 게스트 가상화 머신은,
    상기 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 상기 디코딩된 영상 데이터를 상기 공유 메모리에 저장하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 공유 메모리에 저장된 상기 디코딩된 영상 데이터를 수신하여, 상기 디코딩된 영상 데이터의 적어도 일부를 상기 제2 디스플레이에 표시하도록 제어하는 신호 처리 장치.
  2. 제1항에 있어서,
    상기 제1 게스트 가상화 머신은,
    상기 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여 디코딩하여, 상기 디코딩된 영상 데이터의 적어도 일부를 제1 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  3. 제2항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점에 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제1 시점 이후의 제2 시점에 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  4. 제2항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점 및 상기 제1 시점 이후의 제2 시점에 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제2 시점에, 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  5. 제3항 또는 제4항에 있어서,
    상기 제2 게스트 가상화 머신은,
    상기 제2 디스플레이의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 상기 제2 영상이 상기 제2 디스플레이에 출력되도록 제어하는 것인 신호 처리 장치.
  6. 제1항에 있어서,
    상기 복수의 게스트 가상화 머신 중 제3 게스트 가상화 머신은, 제3 디스플레이를 위해 동작하며,
    상기 제3 게스트 가상화 머신은,
    상기 공유 메모리에 저장된 상기 디코딩된 영상 데이터를 수신하여, 상기 디코딩된 영상 데이터의 적어도 일부를 상기 제3 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  7. 제6항에 있어서,
    상기 제2 게스트 가상화 머신과 상기 제3 게스트 가상화 머신은,
    상기 디코딩된 영상 데이터가 저장된 상기 공유 메모리의 일부 영역을 공유하는 것인 신호 처리 장치.
  8. 제6항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점에 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제1 시점 이후의 제2 시점에 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하고,
    상기 제3 게스트 가상화 머신은,
    상기 제2 시점 이후의 제3 시점에 상기 제1 영상에 대응하는 제3 영상이 상기 제3 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  9. 제6항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점, 상기 제1 시점 이후의 제2 시점, 및 상기 제2 시점 이후의 제3 시점에, 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제2 시점, 및 상기 제3 시점에, 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하고,
    상기 제3 게스트 가상화 머신은,
    상기 제3 시점에, 상기 제1 영상에 대응하는 제3 영상이 상기 제2 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  10. 차량에 장착되는 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치에 있어서,
    상기 프로세서는,
    상기 프로세서 내의 하이퍼바이저 상에서, 서버 가상화 머신과 복수의 게스트 가상화 머신을 실행하며,
    상기 복수의 게스트 가상화 머신 중 제1 게스트 가상화 머신과 제2 게스트 가상화 머신은, 각각 제1 디스플레이와 제2 디스플레이를 위해 동작하며,
    상기 서버 가상화 머신은,
    처리된 영상 데이터를 인코딩하여 공유 메모리에 저장하도록 제어하고,
    상기 제1 게스트 가상화 머신은, 상기 공유 메모리에 저장된 인코딩된 영상 데이터를 수신하여, 상기 서버 가상화 머신으로 디코딩 요청을 전송하고,
    상기 서버 가상화 머신은,
    상기 디코딩 요청에 기초하여 상기 인코딩된 영상 데이터를 디코딩하여, 상기 디코딩된 영상 데이터를 상기 공유 메모리에 저장하도록 제어하고,
    상기 제1 게스트 가상화 머신은,
    상기 공유 메모리에 저장된 상기 디코딩된 영상 데이터를 수신하여, 상기 디코딩된 영상 데이터의 적어도 일부를 상기 제1 디스플레이에 표시하도록 제어하는 신호 처리 장치.
  11. 제10항에 있어서,
    상기 제2 게스트 가상화 머신은,
    상기 공유 메모리에 저장된 상기 디코딩된 영상 데이터를 수신하여, 상기 디코딩된 영상 데이터의 적어도 일부를 상기 제2 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  12. 제11항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점에 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제1 시점 이후의 제2 시점에 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  13. 제11항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점 및 상기 제1 시점 이후의 제2 시점에 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제2 시점에, 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  14. 제12항 또는 제13항에 있어서,
    상기 제2 게스트 가상화 머신은,
    상기 제2 디스플레이의 크기, 출력 해상도 또는 운영체제에 기초하여, 스케일링된 상기 제2 영상이 상기 제2 디스플레이에 출력되도록 제어하는 것인 신호 처리 장치.
  15. 제11항에 있어서,
    상기 복수의 게스트 가상화 머신 중 제3 게스트 가상화 머신은, 제3 디스플레이를 위해 동작하며,
    상기 제3 게스트 가상화 머신은,
    상기 공유 메모리에 저장된 상기 디코딩된 영상 데이터를 수신하여, 상기 디코딩된 영상 데이터의 적어도 일부를 상기 제3 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  16. 제15항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점에 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제1 시점 이후의 제2 시점에 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하고,
    상기 제3 게스트 가상화 머신은,
    상기 제2 시점 이후의 제3 시점에 상기 제1 영상에 대응하는 제3 영상이 상기 제3 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  17. 제15항에 있어서,
    상기 제1 게스트 가상화 머신은,
    제1 시점, 상기 제1 시점 이후의 제2 시점, 및 상기 제2 시점 이후의 제3 시점에, 제1 영상이 상기 제1 디스플레이에 표시하도록 제어하고,
    상기 제2 게스트 가상화 머신은,
    상기 제2 시점, 및 상기 제3 시점에, 상기 제1 영상에 대응하는 제2 영상이 상기 제2 디스플레이에 표시하도록 제어하고,
    상기 제3 게스트 가상화 머신은,
    상기 제3 시점에, 상기 제1 영상에 대응하는 제3 영상이 상기 제2 디스플레이에 표시하도록 제어하는 것인 신호 처리 장치.
  18. 복수의 디스플레이;
    상기 복수의 디스플레이를 위한 신호 처리를 수행하는 프로세서를 포함하는 신호 처리 장치;를 구비하고,
    상기 신호 처리 장치는, 제1항 내지 제17항 중 어느 한 항의 신호 처리 장치를 포함하는 것을 특징으로 하는 차량용 디스플레이 장치.
PCT/KR2022/016130 2022-10-21 2022-10-21 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치 WO2024085284A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/016130 WO2024085284A1 (ko) 2022-10-21 2022-10-21 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/016130 WO2024085284A1 (ko) 2022-10-21 2022-10-21 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Publications (1)

Publication Number Publication Date
WO2024085284A1 true WO2024085284A1 (ko) 2024-04-25

Family

ID=90737871

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/016130 WO2024085284A1 (ko) 2022-10-21 2022-10-21 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Country Status (1)

Country Link
WO (1) WO2024085284A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017507401A (ja) * 2014-01-06 2017-03-16 ジョンソン コントロールズ テクノロジー カンパニーＪｏｈｎｓｏｎ Ｃｏｎｔｒｏｌｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ 複数のユーザインターフェース動作ドメインを有する車両
KR20180050018A (ko) * 2016-11-04 2018-05-14 현대모비스 주식회사 차량 사고 예방 시스템 및 그 방법
KR20200110229A (ko) * 2019-03-13 2020-09-23 콘티넨탈 오토모티브 게엠베하 차량 시스템, 차량 및 이러한 차량 시스템을 동작시키기 위한 방법
JP2020201761A (ja) * 2019-06-11 2020-12-17 株式会社デンソー 車両用制御装置、車両用表示システム、及び車両用表示制御方法
KR20220139790A (ko) * 2021-04-08 2022-10-17 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017507401A (ja) * 2014-01-06 2017-03-16 ジョンソン コントロールズ テクノロジー カンパニーＪｏｈｎｓｏｎ Ｃｏｎｔｒｏｌｓ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏｍｐａｎｙ 複数のユーザインターフェース動作ドメインを有する車両
KR20180050018A (ko) * 2016-11-04 2018-05-14 현대모비스 주식회사 차량 사고 예방 시스템 및 그 방법
KR20200110229A (ko) * 2019-03-13 2020-09-23 콘티넨탈 오토모티브 게엠베하 차량 시스템, 차량 및 이러한 차량 시스템을 동작시키기 위한 방법
JP2020201761A (ja) * 2019-06-11 2020-12-17 株式会社デンソー 車両用制御装置、車両用表示システム、及び車両用表示制御方法
KR20220139790A (ko) * 2021-04-08 2022-10-17 엘지전자 주식회사 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치

Similar Documents

Publication Publication Date Title
WO2022181961A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2017039223A1 (en) Display apparatus and control method thereof
WO2013100350A1 (en) Image processing apparatus, upgrade apparatus, display system including the same, and control method thereof
WO2019117409A1 (ko) 중앙 서버 및 이를 포함하는 공연 시스템
WO2024085284A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136374A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024071476A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024034751A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 증강현실 장치
WO2021235829A1 (ko) 엣지 컴퓨팅 서비스를 이용한 영상 컨텐츠 전송 방법 및 장치
WO2024071945A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2024034709A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2022098103A1 (ko) 차량용 디스플레이 장치
WO2024071947A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2020218666A1 (ko) 복수의 무선 라이팅 디바이스들의 제어 방법 및 장치
WO2023195559A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023113078A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024080419A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024071475A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024034708A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024085283A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024071942A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2023191222A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2023136373A1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
WO2024085580A1 (ko) 신호 처리 장치 및 이를 구비하는 차량용 디스플레이 장치
WO2023239008A1 (ko) 차량의 신호 처리 장치 및 이를 구비하는 차량용 통신 장치용 통신 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22962846

Country of ref document: EP

Kind code of ref document: A1