WO2017110324A1 - 車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム - Google Patents

車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム Download PDF

Info

Publication number
WO2017110324A1
WO2017110324A1 PCT/JP2016/084091 JP2016084091W WO2017110324A1 WO 2017110324 A1 WO2017110324 A1 WO 2017110324A1 JP 2016084091 W JP2016084091 W JP 2016084091W WO 2017110324 A1 WO2017110324 A1 WO 2017110324A1
Authority
WO
WIPO (PCT)
Prior art keywords
moving image
image
frame
vehicle
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/084091
Other languages
English (en)
French (fr)
Inventor
紺野　宏貴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to US16/064,476 priority Critical patent/US10737619B2/en
Publication of WO2017110324A1 publication Critical patent/WO2017110324A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41422—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance located in transportation means, e.g. personal vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV programme
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth®, RF or wireless LAN [IEEE 802.11]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/406—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components using wireless transmission
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Definitions

  • the present disclosure relates to a moving image transmitting device mounted on a vehicle, a moving image receiving device mounted on the vehicle, and a moving image communication system mounted on the vehicle.
  • Patent Document 1 a moving image communication system mounted on a vehicle is described in Patent Document 1, for example.
  • This moving image transmission system wirelessly transmits a moving image based on a video outside the vehicle at a predetermined frame rate, receives the moving image transmitted by the moving image transmission device, and transmits the video based on the moving image to a vehicle occupant. And a moving picture receiving device to be displayed.
  • the present disclosure relates to a video communication system including a video transmission device that wirelessly transmits a video based on a video outside the vehicle and a video reception device that receives the video and displays the video to an occupant.
  • the purpose is to inform the occupants if they can be trusted.
  • a moving image transmission device mounted on a vehicle includes a camera that outputs a video signal corresponding to an image of a subject outside the vehicle, and a moving image based on the video signal output by the camera.
  • a signal processing unit that superimposes the animation image by changing in synchronization with the progress of the frame, and the plurality of frames on which the animation image is superimposed by the signal processing unit
  • a moving image receiving device that receives the moving image and displays the moving image on a vehicle occupant, and wirelessly transmits the moving image at a predetermined frame rate.
  • a moving image receiving device mounted on a vehicle is a wireless module that receives the moving image from a moving image transmitting device that wirelessly transmits a moving image based on a video having a subject outside the vehicle at a predetermined frame rate. And an indicator that displays an image to the vehicle occupant and a plurality of frames that constitute the moving image received by the wireless module in an animation image that is changed and superimposed in synchronization with the progress of the frame. And a signal processing unit that displays a video based on the moving image on the display by outputting a frame on which the animation image is superimposed to the display.
  • the video communication system includes an animation that synchronizes with the progress of a frame for each of a plurality of frames that constitute a video based on an image of a subject that is mounted on the vehicle and is outside the vehicle.
  • a moving image transmitting device that wirelessly transmits a frame on which the animation image is superimposed at a predetermined frame rate, and a moving image that is mounted on the vehicle and transmitted by the moving image transmitting device,
  • a moving image receiving apparatus that displays an image based on the moving image to an occupant of the vehicle.
  • a moving image communication system is mounted on a vehicle and transmits a moving image based on an image of a subject outside the vehicle at a predetermined frame rate, and a moving image communication apparatus mounted on the vehicle.
  • the moving image transmitted by the moving image transmitting apparatus is received, and an animation image is changed and superimposed on each of a plurality of frames constituting the received moving image in synchronization with the progress of the frame.
  • a moving image receiving apparatus that displays an image based on the moving image composed of superimposed frames to an occupant of the vehicle.
  • the occupant changes the animation image of the displayed video. Whether or not the frame is progressing can be determined based on whether or not it is present. As a result, the occupant can know how reliable the displayed video is.
  • a moving image communication system 30 is mounted on a vehicle and includes a moving image transmitting device 1 and a moving image receiving device 2.
  • the vehicle on which the moving image communication system 30 is mounted may be a passenger car or a business vehicle such as a bus or a truck.
  • the moving image transmission device 1 is installed near the rear end of the vehicle, and the moving image reception device 2 is installed near the driver's seat of the vehicle (for example, a dashboard).
  • the moving picture transmission device 1 includes a camera 11, a memory 12, a wireless module 13, and a signal processing unit 14.
  • the camera 11 has an optical system including a lens and a solid-state image sensor (for example, a CCD image sensor or a CMOS image sensor), and an image of a subject within a predetermined shooting range outside the vehicle is displayed on the solid-state image sensor by the optical system.
  • the solid-state imaging device outputs a video signal corresponding to the video.
  • This video signal may be a digital video signal or an analog video signal.
  • the memory 12 is a storage medium that the signal processing unit 14 uses for image processing. This memory 12 is a non-transitional tangible recording medium.
  • the wireless module 13 is a wireless communication interface for communicating with the video receiver 2.
  • the wireless module 13 performs communication according to the IEEE802.11a / b / g / j / n / ac / ad standard of the wireless LAN or according to a standard obtained by partially changing the standard.
  • a communication standard other than the wireless LAN may be used.
  • the wireless module 13 wirelessly transmits a moving image based on the video signal output from the signal processing unit 14 to the moving image receiving apparatus 2.
  • the signal processing unit 14 includes a CPU, a RAM, a ROM, and the like. All of the processes to be described later executed by the signal processing unit 14 are realized by the CPU reading and executing a predetermined program from the ROM, and using the RAM and the memory 12 as work areas at the time of execution.
  • the moving picture receiving device 2 includes a display 21, a memory 22, a wireless module 23, and a signal processing unit 24.
  • the display device 21 is a device that displays an image on a vehicle driver.
  • the memory 22 is a storage medium that the signal processing unit 24 uses for image processing. This memory 22 is a non-transitional tangible recording medium.
  • the wireless module 23 is a wireless communication interface for communicating with the video transmission device 1.
  • the wireless module 23 performs communication according to the same communication standard as that adopted by the wireless module 13.
  • the signal processing unit 24 includes a CPU, a RAM, a ROM, and the like. All of the processes to be described later executed by the signal processing unit 24 are realized by the CPU reading and executing a predetermined program from the ROM, and using the RAM and the memory 12 as work areas at the time of execution.
  • the signal processing unit 14 of the video transmitting device 1 executes the process shown in FIG. 2, and the signal processing unit 24 of the video receiving device 2 executes the process shown in FIG.
  • the signal processing unit 14 and the signal processing unit 24 perform a well-known negotiation according to the wireless LAN standard. Specifically, the signal processing unit 14 negotiates with the signal processing unit 24 in step 110 of FIG. 2, and the signal processing unit 24 negotiates with the signal processing unit 14 in step 210 of FIG.
  • the signal processing units 14 and 24 identify the degree of congestion of each channel by detecting beacons emitted from wireless communication apparatuses other than the moving picture transmission apparatus 1 and the moving picture reception apparatus 2, and based on the identified congestion degree. , Determine a common channel to use each other. The degree of congestion is an amount that is also affected by disturbance. Then, the higher the congestion level, the lower the data transfer rate is determined according to the determined channel congestion level. Thereafter, the signal processing units 14 and 24 communicate with each other at the channel and the data transfer rate determined by the negotiation.
  • the signal processing unit 24 determines the frame rate R and the compression method of the moving image so that the moving image can be transmitted without dropping the frame at the data transfer rate determined in step 210. Specifically, the higher the data transfer rate, the higher the frame rate is adopted, and the lower the data transfer rate, the higher the compression rate.
  • the frame rate is determined from a plurality of stages (for example, three stages or more) from the maximum frame rate (that is, 30 fps) to the minimum frame rate (that is, 0 fps). Further, in step 220, the determined frame rate R and compression method information is transmitted to the moving image transmitting apparatus 1 via the wireless module 23, thereby instructing the moving image transmitting apparatus 1 about the frame rate R and the compression method. .
  • the signal processing unit 14 receives the frame rate R and the compression method information transmitted as described above from the moving picture receiving apparatus 2 via the wireless module 13 in step 120 following step 110. Receive. Then, the received frame rate R and compression method are set as the frame rate and compression method to be used. As will be described later, the signal processing unit 14 transmits a moving image to the moving image receiving apparatus 2 using the frame rate R and the compression method received here.
  • the signal processing unit 14 proceeds to step 125 following step 120 and selects one animation image.
  • the animation image is an image belonging to a plurality of animation image groups 60 to 66 shown in FIG. As will be described later, the animation images are displayed one by one in the order of repeated reciprocation so that the pendulum appears to vibrate. That is, in the display order of animation images, the order of image 60, image 61, image 62, image 63, image 64, image 65, image 66, image 65, image 64, image 63, image 62, and image 61 is repeated. .
  • the signal processing unit 14 selects the animation image 61 if it is the first execution opportunity of step 125 after starting communication with the moving image receiving device 2. In addition, if it is the second or subsequent execution opportunity of Step 125 after the communication with the moving image receiving device 2 is started, the next animation image according to the above order with respect to the animation image selected in the previous Step 125 is selected.
  • step 130 the signal processing unit 14 captures one frame based on the video signal output from the camera 11.
  • This frame is image data representing the scenery of the shooting range of the camera 11 at the time of acquisition.
  • step 140 the animation image selected in the immediately preceding step 125 is superimposed on the frame captured in the immediately preceding step 130.
  • the selected animation image is superimposed on the upper left corner of the frame 50, for example, the upper left corner area that occupies 1/50 or less of the total number of pixels of the frame 50.
  • the animation image 60 is superimposed.
  • the animation image is superimposed on the upper left corner so as not to obstruct the object (for example, the rear end portion 50a of the host vehicle, the white lines 50b and 50c on the road) represented in the frame 50.
  • step 150 the signal processing unit 14 compresses (that is, encodes) the frame on which the animation image is superimposed in the previous step 140 by the compression method set in the immediately previous step 120, and the compressed frame is wirelessly transmitted.
  • the video is transmitted to the video receiver 2.
  • step 160 the signal processing unit 14 determines whether or not the next frame transmission timing has arrived.
  • the next frame transmission timing is the time when a frame interval that is the reciprocal of the frame rate set in the immediately preceding step 120 has elapsed since the frame was captured in the immediately preceding step 130.
  • the process returns to step 125, and when it is determined that the next frame transmission timing has not arrived, the process proceeds to step 170.
  • step 170 it is determined whether or not the negotiation timing has come. Whether or not the negotiation timing has arrived is determined, for example, by whether or not the waiting time has elapsed since the completion of the negotiation in the immediately preceding step 110. This waiting time is, for example, a time longer than twice the above-described frame interval, and may be a time longer than 30 times the above-described frame interval. If it is determined that the negotiation timing has not arrived, the process returns to step 160. If it is determined that the negotiation timing has arrived, the process returns to step 110.
  • the signal processing unit 14 repeats steps 160 and 170 while the next frame transmission timing and negotiation timing have not arrived.
  • the process returns to step 125 to select the next animation image.
  • the process returns to step 110 and negotiates again.
  • the signal processing unit 14 of the video transmission device 1 executes steps 125, 130, 140, and 150 every time the frame transmission timing arrives until the negotiation timing arrives, so that the frame is set at the set frame rate.
  • the plurality of frames transmitted in this way corresponds to one moving image based on the video signal output from the camera 11 as a whole.
  • the signal processing unit 14 sequentially changes the animation image in step 125 for each of the plurality of frames constituting the moving image to be transmitted in synchronization with the progress of the frames, that is, for each frame. Superimpose at step 140. Then, the wireless module 13 transmits a moving image composed of frames on which animation images are superimposed to the moving image receiving device 2.
  • the signal processing unit 24 receives and decompresses one frame in step 230 following step 220. Specifically, it waits until one frame transmitted from the moving image transmission apparatus 1 as described above is received via the wireless module 23. Upon reception, the received frame is decompressed (that is, decoded) by a method corresponding to the compression method determined in the immediately preceding step 220, and then the process immediately proceeds to step 240.
  • step 240 it is determined whether or not the frame rate R determined in the immediately preceding step 220 is less than a predetermined notification threshold value Rn.
  • This notification threshold value Rn is, for example, 15 fps. If the frame rate R is less than the notification threshold value Rn, the process proceeds to step 250, and if it is not less than the notification threshold value Rn, steps 250, 260, and 270 are bypassed and the process proceeds to step 280.
  • step 250 the signal processing unit 24 superimposes the color frame image on the frame received in the immediately preceding step 230.
  • This color frame image corresponds to the notification image.
  • a frame-shaped color frame image 91 of a specific color for example, red, purple, orange
  • the peripheral portion may be a portion that occupies 1/5 or less of the total number of pixels of the frame 50. The reason why the color frame image 91 is superimposed on the peripheral portion is to prevent the object represented by the frame 50 (for example, the rear end portion 50a of the host vehicle and the white lines 50b and 50c on the road) from being obstructed.
  • control proceeds to step 260.
  • step 260 it is determined whether or not the time during which the frame rate R determined in the immediately preceding step 230 is continuously less than the warning threshold Rw (that is, the duration of R ⁇ Rw) exceeds the reference time T1.
  • the warning threshold value Rw is a value smaller than the above-described notification threshold value Rn, for example, 5 fps.
  • the reference time T1 is a predetermined value, for example, 5 seconds. As a case where the duration of R ⁇ Rw does not exceed the reference time T1, there are a case where R ⁇ Rw is not satisfied and a case where R ⁇ Rw but the duration does not exceed the reference time T1.
  • step 280 If it is determined that the duration of R ⁇ Rw does not exceed the reference time T1, the process proceeds to step 280, bypassing step 270. If it is determined that the duration of R ⁇ Rw exceeds the reference time T1, the process proceeds to step 270.
  • step 270 the warning image 92 is superimposed on the frame received in the previous step 230. If the step 250 is executed, the color frame image 91 is also superimposed on the frame on which the warning image 92 is superimposed.
  • the warning image 92 employs a character string indicating that the frame rate is low or an image in which the entire screen displayed on the display 21 is made transparent or non-transparent blue. For example, in the case of a character string, as shown in FIG. 7, a bold character string “decrease in frame rate” is adopted.
  • the ratio of the number of pixels of the warning image 92 to the number of pixels of the entire frame is larger than the ratio of the number of pixels of the color frame image 91 to the number of pixels of the entire frame.
  • the display range of the warning image 92 is at least partly closer to the center of the screen of the display 21 than the display range of the color frame image 91. Therefore, for the driver, the warning image 92 is superimposed on the frame, and the subject in the shooting range of the camera 11 is harder to see than the color frame image 91 is superimposed on the frame.
  • the ratio of the number of pixels of the warning image 92 to the number of pixels of the entire frame is much larger than the ratio of the number of pixels of each of the animation images 61 to 69 described above to the number of pixels of the entire frame. Therefore, when the warning image 92 is superimposed on the frame, a portion corresponding to the image outside the vehicle in the frame becomes difficult to see.
  • the signal processing unit 24 proceeds to step 280 following step 270.
  • step 280 the frame received in the previous step 230 is output to the display 21.
  • the display 21 displays a video based on the image on the driver.
  • the frame output to the display device 21 is superimposed with the color frame image 91 when the process proceeds from the immediately preceding step 240 to step 250, and when the process proceeds from the immediately preceding step 260 to step 270, the warning image 92. (That is, a warning image) is superimposed.
  • the warning image 92 (That is, a warning image) is superimposed.
  • the frame output to the display device 21 when the flow proceeds from step 240 to steps 280 by bypassing steps 250, 260, and 270, neither the color frame image 91 nor the warning image 92 is superimposed.
  • the warning image 92 is not superimposed.
  • the signal processing unit 24 proceeds to step 290 following step 280 and determines whether or not the negotiation timing has arrived. Whether or not the negotiation timing has arrived is determined, for example, by whether or not the waiting time has elapsed since the completion of the negotiation in step 210 immediately before. This standby time is set in advance to the same value as the standby time used in step 170 of FIG. The signal processing unit 24 returns to Step 230 when it is determined that the negotiation timing has not arrived, and returns to Step 210 when it is determined that the negotiation timing has arrived.
  • the signal processing unit 24 executes Steps 230, 240, and 280 every time a frame is received from the video transmission device 1 until the negotiation timing arrives. However, if R ⁇ Rn, steps 250 and 260 are also executed. Further, if R ⁇ duration of Rw> T1, step 270 is also executed. By repeating this, the signal processing unit 24 can receive the moving image transmitted from the moving image transmitting apparatus 1 and display the received moving image on the display 21 at the frame rate R.
  • the signal processing unit 14 of the moving picture transmission apparatus 1 performs the negotiation again at step 110 as described above, and further sets the frame rate R and compression method at step 120 as described above. After that, as described above, the moving image is transmitted with the latest frame rate R and compression method set.
  • the signal processing unit 24 of the moving image receiving apparatus 2 performs the negotiation again in step 210 as described above, and further determines the frame rate R and the compression method as described above in step 220 and transmits the moving image. Instruct the device 1. Thereafter, as described above, the moving image transmitted with the latest set frame rate R and compression method is received and displayed on the display 21.
  • the same channel and the same data transfer rate as the previous time are determined in the negotiation in step 110. In that case, also in step 120, the same frame rate R and the same compression method as the previous time are set.
  • a channel different from the previous channel and a different data transfer rate are determined in the negotiation in step 110, and a different frame rate R and a different compression method may be set in step 120 as well.
  • the signal processing unit 14 of the video transmission device 1 may change the frame rate.
  • a product with a video display delay amount of less than 100 ms has already been sold.
  • the Clarion CC-3500 and EE-2178 system is an example.
  • the signal processing units 14 and 24 When a moving image is transmitted and received wirelessly with a small amount of delay, the signal processing units 14 and 24 perform data transfer by the above-described negotiation in order to prevent the communication from being lost if the communication is interrupted due to communication congestion or disturbance. The rate is lowered and the frame rate is lowered accordingly.
  • the video displayed to the passengers becomes a crisp video. Therefore, conventionally, the phenomenon that there is no change in the image displayed to the occupant has appeared remarkably, whether or not the actual view within the shooting range by the moving picture transmitting apparatus has changed during a certain period. In such a case, from the viewpoint of the occupant, the view in the shooting range outside the vehicle has not actually changed, or the view outside the vehicle has actually changed, but the video frame rate is low and the view is not It is not possible to determine whether only the same frame is displayed. Therefore, even if the occupant sees the video based on the moving image, it does not know how correctly he / she can grasp the situation outside the vehicle.
  • the animation image is changed and superimposed in synchronization with the progress of the frame. Accordingly, whether the frame rate R is 30 fps as shown in the upper part of FIG. 8 or whether the frame rate R is reduced from 30 fps to 10 fps as shown in the lower part of FIG. Thus, it can be determined whether or not the animation images 61 to 65 are changed.
  • the driver can recognize that there is no progress of the frame during the period after the time of 0 ms and before the time of 100 ms, that is, the frame rate is lowered, and the display 21 is more reliable than usual. Be able to act with awareness that your gender is falling. In other words, the driver can know that he / she is not correctly grasping the situation outside the vehicle by watching the video based on the moving image. Such knowledge is particularly effective in a situation where an object enters the imaging range in a period in which the frame does not advance (for example, a period from 0 ms to immediately before 100 ms, a period from 100 ms to immediately before 200 ms). This is because, in such a period, the driver can act without trusting the display device 21 after assuming that the driver is in the shooting range.
  • the signal processing unit 24 determines in step 240 that the frame rate R is less than the notification threshold value Rn, and in step 250 superimposes the color frame image 91 on the frame. ing.
  • the signal processing unit 24 determines that the duration of R ⁇ Rw does not exceed the reference time T1, and bypasses step 270. Therefore, in this case, the warning image 92 is not superimposed on the frame, and only the animation image and the color frame image 91 are superimposed on the frame.
  • the signal processing unit 24 performs step 270. Bypass. Therefore, in this case, the warning image 92 is not superimposed on the frame, and only the animation images 61 to 65 and the color frame image 91 are superimposed on the frame.
  • the driver can display the animation images 61 to 65 and the color frame image during the time delay until the warning image 92 is displayed. It is possible to know the decrease in frame rate from 91.
  • the signal processing unit 24 determines in step 240 that the frame rate R is not less than the notification threshold value Rn and bypasses steps 260, 270, and 280, so Neither the image 91 nor the warning image 92 is superimposed.
  • the moving image transmission device 1 changes the animation image in synchronization with the progress of the frame for each of the plurality of frames constituting the moving image based on the video signal output from the camera 11. Superimposed. Then, by transmitting the frame on which the animation image is superimposed to the moving image receiving device 2, the moving image is wirelessly transmitted to the moving image receiving device 2 at a predetermined frame rate.
  • the process of superimposing the animation image in such a manner that the animation image is changed in synchronization with the progress of the frame is similarly performed when the frame rate is less than the notification threshold value Rn or not less than the notification threshold value Rn.
  • the process of superimposing the animation image while changing the animation image in synchronization with the progress of the frame is similarly performed when the frame rate is less than the warning threshold value Rw or not less than the warning threshold value Rw.
  • the phenomenon that the number of frames displayed by the display unit 21 per unit time is reduced, the same phenomenon occurs due to frame dropping, in addition to the case where the frame rate is reduced based on the negotiation result.
  • the animation image changes and is superimposed on each of the plurality of frames constituting the moving image in synchronization with the progress of the frame. Therefore, the occupant can determine whether or not the frame is progressing based on whether or not the animation image of the displayed video has changed. As a result, the occupant can know how reliable the displayed video is.
  • the display device 21 causes a jump in the change of the animation image in the moving image to be displayed. For example, when the frame on which the animation image 63 is superimposed is not received due to a frame drop, after the frame on which the animation image 62 is superimposed is displayed on the display device 21, the frame on which the animation image 64 is superimposed is displayed. Is displayed.
  • the moving image communication system 30 according to the present embodiment is different from the moving image communication system 30 according to the first embodiment in that the moving image receiving apparatus 2 instead of the moving image transmitting apparatus 1 superimposes an animation image on a frame.
  • the hardware configuration of the moving image communication system 30 of the present embodiment is the same as that of the first embodiment.
  • the signal processing unit 14 of the video transmission device 1 of the present embodiment is configured to execute the processing of FIG. 9 instead of the processing of FIG. 2, and the signal processing unit 24 of the video transmission device 1 of the present embodiment. Is configured to execute the process of FIG. 10 instead of the process of FIG.
  • step number is attached
  • steps that perform the same processing in FIG. 3 and FIG. 10 are given the same step numbers, and description of those steps is omitted or simplified in the present embodiment.
  • the signal processing unit 14 and the signal processing unit 24 perform a well-known negotiation according to the wireless LAN standard. Specifically, the signal processing unit 14 negotiates with the signal processing unit 24 in step 110 of FIG. 9 as in the first embodiment, and the signal processing unit 24 performs signal processing in step 210 of FIG. 10 in the same manner as in the first embodiment. Negotiation with the processing unit 14 is performed. As a result, as in the first embodiment, the signal processing units 14 and 24 determine a channel to be used and a data transfer rate, and subsequently communicate with each other at the channel and the data transfer rate.
  • step 220 the signal processing unit 24 determines the frame rate R and the compression method of the moving image in the same manner as in the first embodiment so that the moving image can be transmitted at the data transfer rate determined in step 210 without frame dropping. . Then, the determined frame rate R and compression method information are transmitted to the moving image transmission device 1 via the wireless module 23 to instruct the moving image transmission device 1 about the frame rate R and the compression method.
  • the wireless module 13 receives the information of the frame rate R and the compression method transmitted as described above from the moving image receiving apparatus 2 via the wireless module 13 in step 120 following step 110. To do. Then, the received frame rate R and compression method are set as the frame rate and compression method to be used. As will be described later, the signal processing unit 14 transmits a moving image to the moving image receiving apparatus 2 using the frame rate R and the compression method received here.
  • the signal processing unit 14 proceeds to step 130 following step 120, and captures one frame based on the video signal output by the camera 11.
  • This frame is image data representing the scenery of the shooting range of the camera 11 at the time of acquisition.
  • the imaging frame number of the frame captured in the immediately preceding step 130 is extracted. Specifically, the imaging frame number is determined so that the number increases by one unit every time one frame is captured. If one unit is 1, if the frame acquired in the immediately preceding step 130 is the 1000th frame acquired after the moving image transmitting apparatus 1 started operation, the imaging frame number of the frame is 1000. .
  • step 145 the signal processing unit 14 compresses (that is, encodes) the frame captured in the immediately preceding step 130 using the compression method set in the immediately preceding step 120. Then, the compressed frame and the frame number extracted in the previous step 135 are associated with each other and transmitted to the moving image receiving apparatus 2 using the wireless module 13.
  • step 160 it is determined whether or not the next frame transmission timing has arrived. If it is determined that the next frame transmission timing has arrived, the process returns to step 130. If it is determined that the next frame transmission timing has not arrived, the process proceeds to step 170.
  • step 170 as in the first embodiment, it is determined whether or not the negotiation timing has arrived. If it is determined that the negotiation timing has not arrived, the process returns to step 160. If it is determined that the negotiation timing has arrived, the process returns to step 110.
  • the signal processing unit 14 repeats Steps 160 and 170 while the next frame transmission timing and negotiation timing have not come.
  • the process returns to step 130 to capture the next frame.
  • the process returns to step 110 and negotiates again.
  • the signal processing unit 14 of the video transmission device 1 executes steps 130, 135, and 145 every time the frame transmission timing arrives until the negotiation timing arrives, so that the frame and the image are captured at the set frame rate.
  • the frame numbers are transmitted one by one to the wireless module 13 in chronological order.
  • the plurality of frames transmitted in this way corresponds to one moving image based on the video signal output from the camera 11 as a whole.
  • the signal processing unit 24 receives one set of a frame and an imaging frame number in step 225 following step 220, and expands the frame. Specifically, it waits until one set of frames and imaging frame numbers transmitted from the moving image transmitting apparatus 1 as described above is received via the wireless module 23. Upon reception, the received frame is decompressed (that is, decoded) by a method corresponding to the compression method determined in the immediately preceding step 220, and then the process immediately proceeds to step 235.
  • step 235 the signal processing unit 24 selects an animation image corresponding to the imaging frame number received in the immediately preceding step 225.
  • the animation images are images belonging to the plurality of animation image groups 60 to 66 shown in FIG. 4 as in the first embodiment.
  • one animation image is extracted from the animation image groups 60 to 66 in the same order as in the first embodiment in the order of the imaging frame numbers received in the immediately preceding step 225. That is, in synchronization with the progress of the imaging frame number, that is, every time the imaging frame number advances by one unit, the order of the animation image to be selected is also advanced.
  • step 280 The processing contents of subsequent steps 240, 250, 260, 270, and 280 are the same as those in the first embodiment except for the differences described below.
  • the difference is that if the frame rate R is not less than the notification threshold Rn in step 240, the process proceeds to step 275. If the duration of R ⁇ Rw does not exceed the reference time T1 in step 260, the process proceeds to step 275. Then, the process proceeds to step 275.
  • step 275 the signal processing unit 24 superimposes the animation image selected in step 235 on the frame received in the previous step 225 in the same manner as in step 140 of the first embodiment.
  • the frame is superimposed with the color frame image 91 in step 250, and in some cases, the warning image 92 is superimposed in step 270.
  • the signal processing unit 24 outputs the frame on which the animation image is superimposed in the immediately preceding step 275 to the display 21 in step 280 following step 275. As a result, the display 21 displays a video based on the image on the driver.
  • the signal processing unit 24 proceeds to step 290 and determines whether or not the negotiation timing has arrived, as in the first embodiment. If it is determined that the negotiation timing has not arrived, the process returns to step 225. If it is determined that the negotiation timing has arrived, the process returns to step 210.
  • the signal processing unit 24 executes steps 225, 235, 240, 275, and 280 every time a frame is received from the moving picture transmission device 1 until the negotiation timing arrives.
  • steps 250 and 260 are also executed.
  • R ⁇ duration of Rw> T1 step 270 is also executed.
  • the signal processing unit 24 receives the moving image transmitted from the moving image transmitting apparatus 1 in step 225.
  • the signal processing unit 24 changes the animation image in step 235 and superimposes it in step 275 on each of the plurality of frames constituting the received moving image in synchronization with the progress of the frame.
  • the signal processing part 24 can display the image
  • the present embodiment it is not the moving image transmitting device 1 but the signal processing unit 24 of the moving image receiving device 2 that superimposes the animation on the frame. Even if there is such a difference, the video finally displayed on the display 21 is the same as that in the first embodiment. Therefore, also in this embodiment, the image displayed on the display 21 has the same characteristics as those shown in FIG.
  • the occupant can display the animation image of the displayed video. Whether or not the frame is progressing can be determined based on whether or not it has changed. As a result, the occupant can know how reliable the displayed video is. Also, the same effect as that of the first embodiment can be obtained with respect to the superimposition of the color frame image 91 and the warning image 92.
  • the signal processing unit 24 bypasses Step 270 if the duration of R ⁇ Rw is shorter than the reference time T1. Therefore, in this case, the warning image is not superimposed on the frame, and only the animation image and the color frame image are superimposed on the frame. As a result, when the frame rate R is lower than the warning threshold value Rw, the driver reduces the frame rate by the animation image and the color frame image even during the time delay until the warning image is displayed. Can know.
  • the signal processing unit 24 performs the process of superimposing the animation image while changing the animation image in synchronization with the progress of the frame in the same manner when the frame rate is less than the notification threshold Rn and not less than the notification threshold Rn. Further, the process of superimposing the animation image while changing the animation image in synchronization with the progress of the frame is similarly performed when the frame rate is less than the warning threshold value Rw or not less than the warning threshold value Rw.
  • the phenomenon that the number of frames displayed on the display unit 21 per unit time decreases is not limited to the case where the frame rate is decreased based on the negotiation result. A similar phenomenon occurs due to dropped frames.
  • the animation image changes and is superimposed on each of the plurality of frames constituting the moving image in synchronization with the progress of the frame. Therefore, the occupant can determine whether or not the frame is progressing based on whether or not the animation image of the displayed video has changed. As a result, the occupant can know how reliable the displayed video is.
  • the display device 21 when a frame drop occurs, the display device 21 causes a jump in the change of the animation image in the moving image to be displayed.
  • the signal processing unit 24 receives the frame number from the signal processing unit 14, and the signal processing unit 24 changes the animation image in synchronization with the progress of the frame number.
  • the signal processing unit 24 of the video receiving device 2 realizes the process of executing or not performing the superimposition of the color frame image 91 on the frame based on the comparison between the frame rate R and the notification threshold value Rn. Yes. However, such processing may be performed by the signal processing unit 14 of the video transmission device 1 instead of the signal processing unit 24 of the video reception device 2.
  • the signal processing unit 24 of the video receiving device 2 is changed to execute Step 260 by bypassing Steps 240 and 250 following Step 230 with respect to the first embodiment.
  • the signal processing unit 14 of the moving picture transmitting apparatus 1 performs the processing of steps 240 and 250 in FIG. 3 between step 130 and step 140 in FIG. Specifically, the signal processing unit 14 executes Step 240 following Step 130, and executes Step 250 when it is determined in Step 240 that the frame rate R is less than the notification threshold value Rn. If it is determined that the frame rate R is not less than the notification threshold value Rn, step 250 is bypassed and the process proceeds to step 140.
  • the signal processing unit 14 proceeds to step 140 after superimposing the color frame image 91 on the frame in step 250.
  • the signal processing unit 24 of the video reception device 2 realizes execution or non-execution processing of superimposing the color frame image 91 on the frame based on the comparison between the frame rate R and the notification threshold value Rn. ing. However, such processing may be performed by the signal processing unit 14 of the video transmission device 1 instead of the signal processing unit 24 of the video reception device 2.
  • the signal processing unit 24 of the moving picture receiving device 2 is changed to execute Step 260 by bypassing Steps 240 and 250 following Step 235 with respect to the second embodiment.
  • the signal processing unit 14 of the moving picture transmitting apparatus 1 performs the processing of steps 240 and 250 in FIG. 10 between step 130 and step 135 in FIG. Specifically, the signal processing unit 14 executes Step 240 following Step 130, and executes Step 250 when it is determined in Step 240 that the frame rate R is less than the notification threshold value Rn. If it is determined that the frame rate R is not less than the notification threshold value Rn, step 250 is bypassed and the process proceeds to step 135.
  • the signal processing unit 14 proceeds to step 135 after superimposing the color frame image 91 on the frame in step 250.
  • the signal processing unit 24 adopts the frame rate determined in the immediately preceding step 220 as the frame rate R to be compared with the notification threshold value Rn or the warning threshold value Rw in steps 240 and 260.
  • the actual frame reception rate is determined based on the frame reception timing in the immediately preceding step 225 and one or more previous steps 225. It may be calculated. The reception rate is an index indicating how many frames are received per second. Then, the signal processing unit 24 may use the calculated reception rate as the frame rate R in Steps 240 and 260 and compare it with the notification threshold value Rn or the warning threshold value Rw.
  • the frame rate of the moving image transmitted from the moving image transmitting device 1 to the moving image receiving device 2 is changed by the negotiation.
  • the operation of changing and superimposing the animation image on each frame in synchronization with the progress of the frame is that the frame rate of the moving image transmitted from the moving image transmitting device 1 to the moving image receiving device 2 is fixed. However, it has a certain effect.
  • the occupant determines whether the animation image of the displayed video has changed. Thus, it can be determined whether or not the frame is progressing. As a result, the occupant can know how reliable the displayed video is.
  • an animation image of a pendulum that vibrates is illustrated as an animation image.
  • Such an animation image is an image that allows a person to recognize that an object is moving if it is displayed sequentially in time series.
  • an animation image having such characteristics that is, an animation image that moves smoothly
  • an animation image other than the animation image of a vibrating pendulum may be used.
  • an animation image of a sweep bar, an animation image of a clock, or the like may be used.
  • the color frame image 91 is exemplified as the notification image to be superimposed when the frame rate R is less than the notification threshold R2.
  • the notification image the ratio of the number of pixels to the number of pixels of the entire frame is smaller than that of the warning image 92, and the display range of the warning image 92 is smaller than the display range of the notification image.
  • Any display may be used as long as it is closer to the center of the screen.
  • characters may be superimposed on an area where the color frame image 91 is arranged.
  • the signal processing unit 24 may not perform the processes of steps 240 and 250. In this case, in the first embodiment, the signal processing unit 24 bypasses steps 240 and 250 subsequent to step 230 in FIG. In the second embodiment, the signal processing unit 24 executes step 260 by bypassing steps 240 and 250 subsequent to step 235 in FIG.
  • the signal processing unit 24 may not perform the processing of steps 260 and 270. In this case, in the first embodiment, the signal processing unit 24 executes Step 280 by bypassing Steps 260 and 270 after Step 250 of FIG. Further, in the second embodiment, the signal processing unit 24 executes Step 275 by bypassing Steps 260 and 270 after Step 2250 in FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

車両に搭載される動画送信装置は、前記車両の外にある被写体の映像に応じた映像信号を出力するカメラ（１１）と、前記カメラが出力した映像信号に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳する信号処理部（１４）と、前記信号処理部によってアニメーション画像が重畳された前記複数のフレームから構成される動画を、前記動画を受信して前記車両の乗員に表示する動画受信装置（２）に、所定のフレームレートで無線で送信する無線モジュール（１３）と、を備える。

Description

車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム 関連出願への相互参照
　本出願は、２０１５年１２月２４日に出願された日本特許出願番号２０１５－２５２１３７号に基づくもので、ここにその記載内容が参照により組み入れられる。
　本開示は、車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システムに関するものである。
　従来、車両に搭載された動画通信システムが、例えば、特許文献１に記載されている。この動画送信システムは、車両の外の映像に基づく動画を無線で所定のフレームレートで送信する動画送信装置と、当該動画送信装置が送信した動画を受信して当該動画に基づく映像を車両の乗員に表示する動画受信装置とを備えている。
特開２０１３－０９０１５２号公報
　このような動画通信システムにおいては、ある期間において動画送信装置による撮影範囲内の現実の眺めが変化しない場合、乗員に表示される当該期間内の動画の各フレームの表示内容も変化しない。
　また、当該期間において動画送信装置による撮影範囲内の現実の眺めが変化する場合でも、送信される動画のフレームレートによっては、その期間内の映像に対応するフレームが１つしか含まれない場合がある。
　これらのような場合、乗員から見れば、車外の当該撮影範囲内の眺めが実際に変化していないのか、あるいは、車外の眺めは実際には変化しているが動画のフレームレートが低く当該期間内において同じフレームしか表示されていないのか、判別できない。したがって、乗員は動画に基づく映像を見ても、車外の状況を自分がどの程度正しく把握できているのかがわからない。
　本開示は、車外の映像に基づく動画を無線で送信する動画送信装置と、当該動画を受信して映像を乗員に表示する動画受信装置とを備えた動画通信システムにおいて、表示する映像をどの程度信頼できるかを乗員に知らせることを目的とする。
　本開示の１つの観点によれば、車両に搭載される動画送信装置は、前記車両の外にある被写体の映像に応じた映像信号を出力するカメラと、前記カメラが出力した映像信号に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳する信号処理部と、前記信号処理部によってアニメーション画像が重畳された前記複数のフレームから構成される動画を、前記動画を受信して前記車両の乗員に表示する動画受信装置に、所定のフレームレートで無線で送信する無線モジュールと、を備える。
　別の観点によれば、車両に搭載される動画受信装置は、前記車両の外を被写体とする映像に基づく動画を所定のフレームレートで無線で送信する動画送信装置から前記動画を受信する無線モジュールと、前記車両の乗員に映像を表示する表示器と、前記無線モジュールが受信した前記動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳し、前記アニメーション画像が重畳されたフレームを前記表示器に出力することで、前記動画に基づく映像を前記表示器に表示させる信号処理部と、を備える。
　別の観点によれば、動画通信システムは、車両に搭載されて前記車両の外にある被写体の映像に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳し、前記アニメーション画像が重畳されたフレームを所定のフレームレートで無線で送信する動画送信装置と、前記車両に搭載されて前記動画送信装置が送信した前記動画を受信し、前記動画に基づく映像を前記車両の乗員に表示する動画受信装置と、を備える。
　別の観点によれば、動画通信システムは、車両に搭載されて前記車両の外にある被写体の映像に基づく動画を所定のフレームレートで無線で送信する動画送信装置と、前記車両に搭載されて前記動画送信装置が送信した前記動画を受信し、受信した前記動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳し、前記アニメーション画像が重畳されたフレームから構成された前記動画に基づく映像を前記車両の乗員に表示する動画受信装置と、を備える。
　これらのように、動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳すれば、乗員は、表示された映像のアニメーション画像が変化しているか否かで、フレームが進行しているか否かを判別することができる。これにより、乗員は、表示された映像をどの程度信頼できるかについて知ることができる。
第１実施形態に係る動画通信システムの構成図である。 動画送信装置の信号処理部が実行する処理のフローチャートである。 動画受信装置の信号処理部が実行する処理のフローチャートである。 アニメーション画像群を示す図である。 アニメーション画像がフレームに重畳された状態を示す図である。 色枠画像がフレームに重畳された状態を示す図である。 警告用画像がフレームに重畳された状態を示す図である。 フレームレート毎に表示器に表示される映像の経時変化を示す図である。 第２実施形態において動画送信装置の信号処理部が実行する処理のフローチャートである。 第２実施形態において動画受信装置の信号処理部が実行する処理のフローチャートである。 第１実施形態の変形例を示すフローチャートである。 第２実施形態の変形例を示すフローチャートである。
　（第１実施形態）
　以下、第１実施形態について説明する。図１に示すように、本実施形態の動画通信システム３０は、車両に搭載され、動画送信装置１および動画受信装置２を備えている。動画通信システム３０の搭載先の車両は、乗用車でもよいし、バス、トラック等の業務用車両であってもよい。動画送信装置１は、例えば、車両の後端部付近に設置され、動画受信装置２は、車両のドライバ席付近（例えばダッシュボード）に設置される。
　動画送信装置１は、カメラ１１、メモリ１２、無線モジュール１３、信号処理部１４を備えている。
　カメラ１１は、レンズ等を含む光学系および固体撮像素子（例えばＣＣＤイメージセンサ、ＣＭＯＳイメージセンサ）を有し、光学系によって車両の外の所定の撮影範囲内にある被写体の映像が固体撮像素子上に結像し、固体撮像素子が当該映像に応じた映像信号を出力する。この映像信号は、デジタル映像信号でもアナログ映像信号でもよい。メモリ１２は、信号処理部１４が画像処理に用いる記憶媒体である。このメモリ１２は、非遷移的実体的記録媒体である。
　無線モジュール１３は、動画受信装置２と通信するための無線通信インターフェースである。本実施形態では、無線モジュール１３は、無線ＬＡＮのＩＥＥＥ８０２．１１ａ／ｂ／ｇ／ｊ／ｎ／ａｃ／ａｄの規格に従って、または、当該規格を一部変更した規格に従って、通信を行う。ただし、他の例として、無線ＬＡＮ以外の通信規格を用いてもよい。無線モジュール１３は、後述するように、信号処理部１４が出力した映像信号に基づく動画を無線で動画受信装置２に送信するようになっている。
　信号処理部１４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えている。信号処理部１４が実行する後述の処理は、いずれも、ＣＰＵがＲＯＭから所定のプログラムを読み出して実行し、実行の際にＲＡＭおよびメモリ１２を作業領域として使用することにより、実現する。
　動画受信装置２は、表示器２１、メモリ２２、無線モジュール２３、信号処理部２４を有している。表示器２１は、車両のドライバに映像を表示する装置である。メモリ２２は、信号処理部２４が画像処理に用いる記憶媒体である。このメモリ２２は、非遷移的実体的記録媒体である。
　無線モジュール２３は、動画送信装置１と通信するための無線通信インターフェースである。本実施形態では、無線モジュール２３は、無線モジュール１３が採用するものと同じ通信規格に従って通信を行う。
　信号処理部２４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備えている。信号処理部２４が実行する後述の処理は、いずれも、ＣＰＵがＲＯＭから所定のプログラムを読み出して実行し、実行の際にＲＡＭおよびメモリ１２を作業領域として使用することにより、実現する。
　以下、上記のような構成の動画通信システム３０の作動について説明する。動画送信装置１の信号処理部１４は、図２に示す処理を実行し、動画受信装置２の信号処理部２４は、図３に示す処理を実行する。
　まず信号処理部１４と信号処理部２４は、互いに無線ＬＡＮの規格に従った周知のネゴシエーションを行う。具体的には信号処理部１４は図２のステップ１１０で信号処理部２４とネゴシエーションを行い、信号処理部２４は図３のステップ２１０で信号処理部１４とネゴシエーションを行う。
　このネゴシエーションにおいて信号処理部１４、２４は、動画送信装置１、動画受信装置２以外の無線通信装置が発するビーコンを検出することで、各チャンネルの混雑度を特定し、特定した混雑度に基づいて、互いに使用する共通のチャンネルを決定する。なお、混雑度は、外乱による影響も受ける量である。そして、決定したチャンネルの混雑度に応じて、混雑度が高いほど低いデータ転送レートを決定する。その後信号処理部１４、２４は、このネゴシエーションで決めたチャンネルおよびデータ転送レートで、互いに通信を行う。
　信号処理部２４は、続いてステップ２２０で、ステップ２１０で決定されたデータ転送レートで動画をフレーム落ちなく送信できるよう、動画のフレームレートＲおよび圧縮方式を決定する。具体的には、データ転送レートが大きくなるほど高いフレームレートを採用し、データ転送レートが小さくなるほどより圧縮率の高い圧縮方式を採用する。なお、フレームレートは、最大フレームレート（すなわち３０ｆｐｓ）から最低フレームレート（すなわち０ｆｐｓ）までの複数段階（例えば３段階以上）のうちから決定される。更にステップ２２０では、決定したフレームレートＲおよび圧縮方式の情報を、無線モジュール２３を介して動画送信装置１に送信することで、当該フレームレートＲおよび圧縮方式を動画送信装置１に対して指示する。
　一方、動画送信装置１では、信号処理部１４がステップ１１０に続いてステップ１２０で、上記のように送信されたフレームレートＲおよび圧縮方式の情報を、無線モジュール１３を介して動画受信装置２から受信する。そして、受信したフレームレートＲおよび圧縮方式を、使用するフレームレートおよび圧縮方式として設定する。後述するように、信号処理部１４は、ここで受信したフレームレートＲおよび圧縮方式を用いて、動画を動画受信装置２に送信する。
　信号処理部１４は、ステップ１２０に続いてステップ１２５に進み、アニメーション画像を１つ選択する。アニメーション画像は、図４に示す複数個のアニメーション画像群６０～６６に属する画像である。このアニメーション画像群は、後述するように、振り子が振動して見えるよう、折り返し往復を繰り返す順序で１個ずつ順番に表示されるようになっている。つまり、アニメーション画像の表示順においては、画像６０、画像６１、画像６２、画像６３、画像６４、画像６５、画像６６、画像６５、画像６４、画像６３、画像６２、画像６１という順序が繰り返される。
　したがって、信号処理部１４は、このステップ１２５では、動画受信装置２との通信を開始した後初めてのステップ１２５の実行機会であれば、アニメーション画像６１を選択する。また、動画受信装置２との通信を開始した後２回目以降のステップ１２５の実行機会であれば、前回のステップ１２５で選択したアニメーション画像に対する上記順序に従った次のアニメーション画像を選択する。
　続いて信号処理部１４は、ステップ１３０で、カメラ１１が出力する映像信号に基づいて１フレームを取り込む。このフレームは、取得時点におけるカメラ１１の撮影範囲の風景を表す画像データである。
　続いてステップ１４０では、直前のステップ１３０で取り込んだフレームに対して、直前のステップ１２５で選択したアニメーション画像を重畳する。具体的には、図５に示すように、フレーム５０の左上隅、例えば、フレーム５０の全画素数の１／５０以下の画素を占める左上隅の領域に、選択したアニメーション画像を重畳する。図５の例では、アニメーション画像６０が重畳される。アニメーション画像を左上隅に重畳するのは、フレーム５０に表される物体（例えば、自車両の後端部５０ａ、道路上の白線５０ｂ、５０ｃ）の邪魔にならないようにするためである。
　続いて信号処理部１４は、ステップ１５０で、直前のステップ１４０でアニメーション画像が重畳されたフレームを、直前のステップ１２０で設定した圧縮方式で圧縮（すなわちエンコード）し、圧縮されたフレームを、無線モジュール１３を用いて、動画受信装置２に送信する。
　続いて信号処理部１４は、ステップ１６０で、次のフレーム送信タイミングが到来したか否かを判定する。次のフレーム送信タイミングは、直前のステップ１３０でフレームを取り込んだ時点から、直前のステップ１２０で設定したフレームレートの逆数であるフレーム間隔だけ経過した時点である。次のフレーム送信タイミングが到来したと判定した場合はステップ１２５に戻り、到来していないと判定した場合は、ステップ１７０に進む。
　ステップ１７０では、ネゴシエーションタイミングが到来したか否かを判定する。ネゴシエーションタイミングが到来したか否かは、例えば、直前のステップ１１０でネゴシエーションが完了してから待機時間が経過したか否かで判定する。この待機時間は、例えば、上述のフレーム間隔の２倍より長い時間であり、上述のフレーム間隔の３０倍より長い時間であってもよい。ネゴシエーションタイミングが到来していないと判定した場合は、ステップ１６０に戻り、到来したと判定した場合は、ステップ１１０に戻る。
　このように、次のフレーム送信タイミングもネゴシエーションタイミングも到来していない間は、信号処理部１４は、ステップ１６０、１７０を繰り返す。そして、次のフレーム送信タイミングが先に到来すると、ステップ１２５に戻って次のアニメーション画像を選択する。また、ネゴシエーションタイミングが先に到来すると、ステップ１１０に戻って再度ネゴシエーションを行う。
　したがって、動画送信装置１の信号処理部１４は、ネゴシエーションタイミングが到来するまでは、フレーム送信タイミングが到来する度に、ステップ１２５、１３０、１４０、１５０を実行することで、設定したフレームレートでフレームを１個ずつ時系列順に無線モジュール１３に送信させる。このように送信される複数のフレームが、全体として、カメラ１１が出力した映像信号に基づく１つの動画に相当する。
　そして信号処理部１４は、送信される当該動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、すなわち、１フレーム毎に、アニメーション画像をステップ１２５で順番に変化させてステップ１４０で重畳する。そして無線モジュール１３は、アニメーション画像が重畳されたフレームから構成される動画を動画受信装置２に送信する。
　一方、動画受信装置２では、信号処理部２４が、ステップ２２０に続いてステップ２３０で、フレームを１個受信して伸長する。具体的には、動画送信装置１から上述のように送信されたフレームを無線モジュール２３を介して１個受信するまで待つ。そして、受信すると、直前のステップ２２０で決定した圧縮方式に対応する方法で、受信したフレームを伸長（すなわちデコード）し、その後、直ちにステップ２４０に進む。
　ステップ２４０では、直前のステップ２２０で決定したフレームレートＲがあらかじめ定められた報知閾値Ｒｎ未満であるか否か判定する。この報知閾値Ｒｎは、例えば、１５ｆｐｓである。フレームレートＲが報知閾値Ｒｎ未満であればステップ２５０に進み、報知閾値Ｒｎ未満でなければステップ２５０、２６０、２７０をバイパスしてステップ２８０に進む。
　信号処理部２４は、ステップ２５０では、直前のステップ２３０で受信したフレームに色枠画像を重畳する。この色枠画像は、報知用画像に対応する。具体的には、図６に示すように、フレーム５０の周縁部全周に、特定の色（例えば、目立ち易い赤色、紫色、オレンジ色）の額縁形状の色枠画像９１を重畳する。周縁部は、例えば、フレーム５０の全画素数の１／５以下の画素を占める部分であってもよい。色枠画像９１を周縁部に重畳するのは、フレーム５０に表される物体（例えば、自車両の後端部５０ａ、道路上の白線５０ｂ、５０ｃ）の邪魔にならないようにするためである。ステップ２５０に続いては、ステップ２６０に進む。
　ステップ２６０では、直前のステップ２３０で決定したフレームレートＲが継続して警告閾値Ｒｗ未満となっている時間（すなわちＲ＜Ｒｗの継続時間）が基準時間Ｔ１を超えているか否かを判定する。警告閾値Ｒｗは、上述の報知閾値Ｒｎよりも小さい値であり、例えば、５ｆｐｓである。基準時間Ｔ１は、あらかじめ定められた値であり、例えば５秒である。Ｒ＜Ｒｗの継続時間が基準時間Ｔ１を超えていない場合としては、Ｒ＜Ｒｗでない場合、および、Ｒ＜Ｒｗであるがその継続時間が基準時間Ｔ１を超えていない場合がある。
　Ｒ＜Ｒｗの継続時間が基準時間Ｔ１を超えていないと判定した場合、ステップ２７０をバイパスしてステップ２８０に進む。Ｒ＜Ｒｗの継続時間が基準時間Ｔ１を超えていると判定した場合、ステップ２７０に進む。
　ステップ２７０では、直前のステップ２３０で受信したフレームに警告用画像９２を重畳する。この警告用画像９２を重畳する対象のフレームには、ステップ２５０が実行されていれば、色枠画像９１も重畳されている。警告用画像９２は、フレームレートが低いことを示す文字列または表示器２１に表示される画面全体を、透過的にまたは非透過的に青色にする画像を採用する。例えば、文字列の場合、図７に示すように、「フレームレート低下」という太文字列を採用する。
　この警告用画像９２の画素数のフレーム全体の画素数に対する割合は、上述の色枠画像９１の画素数のフレーム全体の画素数に対する割合よりも大きい。また、この警告用画像９２の表示範囲は、少なくともその一部が、色枠画像９１の表示範囲よりも、表示器２１の画面の中心により近い。したがって、ドライバにとっては、警告用画像９２がフレームに重畳されるのは、色枠画像９１がフレームに重畳されるよりも、カメラ１１の撮影範囲の被写体が見難くなる。
　また、この警告用画像９２の画素数のフレーム全体の画素数に対する割合は、上述の各アニメーション画像６１～６９の画素数のフレーム全体の画素数に対する割合よりも遙かに大きい。したがって、警告用画像９２がフレームに重畳されると、当該フレーム中で車両の外の映像に相当する部分が見え難くなる。信号処理部２４は、ステップ２７０に続いては、ステップ２８０に進む。
　ステップ２８０では、直前のステップ２３０で受信したフレームを表示器２１に出力する。これにより、表示器２１は当該画像に基づく映像をドライバに表示する。なお、表示器２１に出力されるフレームは、直前のステップ２４０からステップ２５０に進んだ場合は色枠画像９１が重畳されており、直前のステップ２６０からステップ２７０に進んだ場合は警告用画像９２（すなち注意喚起画像）が重畳されている。また、表示器２１に出力されるフレームは、直前のステップ２４０からステップ２５０、２６０、２７０をバイパスしてステップ２８０に進んだ場合は色枠画像９１も警告用画像９２も重畳されていない。また、表示器２１に出力されるフレームは、直前のステップ２６０からステップ２７０をバイパスしてステップ２８０に進んだ場合は警告用画像９２が重畳されていない。
　信号処理部２４は、ステップ２８０に続いては、ステップ２９０に進み、ネゴシエーションタイミングが到来したか否かを判定する。ネゴシエーションタイミングが到来したか否かは、例えば、直前のステップ２１０でネゴシエーションが完了してから待機時間が経過したか否かで判定する。この待機時間は、動画送信装置１の信号処理部１４が図２のステップ１７０で用いる待機時間と同じ値にあらかじめ設定されている。信号処理部２４は、ネゴシエーションタイミングが到来していないと判定した場合は、ステップ２３０に戻り、到来したと判定した場合は、ステップ２１０に戻る。
　このように信号処理部２４は、ネゴシエーションタイミングが到来するまでは、フレームを動画送信装置１から受信する度に、ステップ２３０、２４０、２８０を実行する。ただし、Ｒ＜Ｒｎならステップ２５０、２６０も実行する。更に、Ｒ＜Ｒｗの継続時間＞Ｔ１なら、ステップ２７０も実行する。この繰り返しにより、信号処理部２４は、動画送信装置１から送信された動画を受信し、受信した動画をフレームレートＲで、表示器２１に表示させることができる。
　ここで、ネゴシエーションタイミングが到来した場合について説明する。動画送信装置１の信号処理部１４は、ネゴシエーションタイミングが到来した場合、再度ステップ１１０で上述の通りネゴシエーションを行い、更にステップ１２０で上述の通りフレームレートＲおよび圧縮方式を設定する。そしてその後は、上述の通り、設定した最新のフレームレートＲおよび圧縮方式で動画を送信する。
　また、動画受信装置２の信号処理部２４は、ネゴシエーションタイミングが到来した場合、再度ステップ２１０で上述の通りネゴシエーションを行い、更にステップ２２０で上述の通りフレームレートＲおよび圧縮方式を決定して動画送信装置１に指示する。そしてその後は、上述の通り、設定した最新のフレームレートＲおよび圧縮方式で送信された動画を受信して表示器２１に表示させる。
　なお、ネゴシエーションタイミングが到来した場合は、前回のネゴシエーションタイミングから時間が経過しているので、動画送信装置１と動画受信装置２の通信環境が変化している場合も変化していない場合もある。
　通信環境が変化していなければ、ステップ１１０のネゴシエーションでは前回と同じチャンネルおよび同じデータ転送レートが決定される。その場合、ステップ１２０でも前回と同じフレームレートＲおよび同じ圧縮方式が設定される。
　しかし、通信環境が変化していれば、ステップ１１０のネゴシエーションでは前回と異なるチャンネルおよび異なるデータ転送レートが決定され、ステップ１２０でも前回と異なるフレームレートＲおよび異なる圧縮方式が設定される場合がある。このように、動画送信装置１の信号処理部１４はフレームレートを変化させる場合がある。
　アニメーション画像がフレームの進行と同期して上述のように変化することによる効果は、再度のネゴシエーションによってフレームレートが変化するような、乗員が現在のフレームレートをあらかじめ知っていない場合において、特に顕著である。以下、この点について説明する。
　カメラが出力した映像信号に基づく動画を無線で送受信する車載用の動画通信システムでは、通信による動画表示の遅延量が１００ｍｓ未満の製品が既に販売されている。クラリオン社のＣＣ－３５００とＥＥ－２１７８から成るシステムは、その例である。
　少ない遅延量で動画を無線で送受信する場合、通信の混雑および外乱による通信の妨害を受けると、通信の欠落を発生させないようにするため、信号処理部１４、２４は、上記のネゴシエーションによってデータ転送レートを下げ、それに伴い、フレームレートを低下させる。
　フレームレートが低下すると、乗員に表示される映像が、カクカクした映像になる。したがって、従来は、ある期間において動画送信装置による撮影範囲内の現実の眺めが変化した場合もしない場合も、乗員に表示される映像には変化が無いという現象が顕著に表れていた。このような場合、乗員から見れば、車外の当該撮影範囲内の眺めが実際に変化していないのか、あるいは、車外の眺めは実際には変化しているが動画のフレームレートが低く当該期間内において同じフレームしか表示されていないのか、判別できない。したがって、乗員は動画に基づく映像を見ても、車外の状況を自分がどの程度正しく把握できているのかがわからない。
　これに対し、本実施形態では、上述の通り、ステップ１２５、１４０で、フレームの進行と同期して、アニメーション画像を変化させて重畳する。したがって、図８の上段のように、フレームレートＲが３０ｆｐｓの場合も、図８の下段のように、フレームレートＲが３０ｆｐｓから１０ｆｐｓに低下した場合も、フレームの進行の有無を、表示器２１でアニメーション画像６１～６５が変化しているか否かで判別できる。
　より具体的には、図８では、フレームレートＲが３０ｆｐｓの場合と１０ｆｐｓの場合で、所定の時点から０ｍｓ、３３ｍｓ、６７ｍｓ、１００ｍｓ、１３３ｍｓ経過した各時点において、表示器２１に表示させる映像を表している。
　３０ｆｐｓの場合は、約３３ｍｓに１回だけフレームが進行するので、図８の各時点において、前の時点におけるフレームから１フレーム分進行したフレームの映像が、表示器２１に表示されている。したがって、これら時点において、時間経過と共にアニメーション画像６１～６５も１コマずつ変化している。それ故、図８のように、仮に０ｍｓ～１３３ｍｓの期間中にカメラ１１の撮影範囲の現実の眺めに変化がなかったとしても、ドライバは、アニメーション画像６１～６５の変化によって、フレームは進行していると認識することができる。つまり、ドライバは動画に基づく映像を見て、車外の状況を自分がかなり正しく把握できていることを知ることができる。
　これに対し、１０ｆｐｓの場合は、１００ｍｓに１回だけフレームが進行するので、図８の各時点のうち、０ｍｓ、３ｍｓ、６７ｍｓの時点において表示器２１に表示されている映像は、全く同じである。当然、０ｍｓ、３ｍｓ、６７ｍｓの時点におけるアニメーション画像６１も変化しない。また、１００ｍｓにおいてフレームが１フレーム分進行するが、１００ｍｓ、１３３ｍｓの時点において表示器２１に表示されている映像は、全く同じである。したがって、ドライバは、０ｍｓの時点以降かつ１００ｍｓの時点より前の期間はフレームの進行がない、すなわち、フレームレートが下がっていることを認識することができ、通常よりも表示器２１による表示の信頼性が落ちていることを意識して行動できる。つまり、ドライバは動画に基づく映像を見て、車外の状況を自分が通常よりは正しく把握できていないことを知ることができる。このような知見は、フレームが進行しない期間（例えば０ｍｓから１００ｍｓ直前までの期間、１００ｍｓから２００ｍｓ直前までの期間）において物が上記撮影範囲内に入ってきている状況においては、特に有効である。なぜなら、このような期間においては、物が上記撮影範囲内に入ってきている事態をドライバが想定した上で表示器２１を信用し過ぎずに行動することができるからである。
　なお、図８の例では、フレームレートＲが１０ｆｐｓの場合、信号処理部２４はステップ２４０でフレームレートＲが報知閾値Ｒｎ未満であると判定し、ステップ２５０でフレームに色枠画像９１を重畳している。またこの場合、信号処理部２４はステップ２６０で、フレームレートＲが警告閾値Ｒｗよりも高いので、Ｒ＜Ｒｗの継続時間が基準時間Ｔ１を超えていないと判定し、ステップ２７０をバイパスする。したがってこの場合、フレームに警告用画像９２が重畳されず、フレームに重畳されるのはアニメーション画像と色枠画像９１のみである。
　また、図７のフレームレートＲが１０ｆｐｓの例で、警告閾値Ｒｗが１０ｆｐｓより高い（例えば１２ｆｐｓ）場合も、Ｒ＜Ｒｗの継続時間が基準時間Ｔ１よりも短ければ、信号処理部２４はステップ２７０をバイパスする。したがってこの場合、フレームに警告用画像９２が重畳されず、フレームに重畳されるのはアニメーション画像６１～６５と色枠画像９１のみである。このようになっていることで、フレームレートＲが警告閾値Ｒｗより低くなった場合に、警告用画像９２が表示されるまでのタイムディレーの間も、ドライバはアニメーション画像６１～６５および色枠画像９１によりフレームレート低下を知ることができる。
　また、図７のフレームレートＲが３０ｆｐｓの例では、信号処理部２４はステップ２４０でフレームレートＲが報知閾値Ｒｎ未満でないと判定し、ステップ２６０、２７０、２８０をバイパスするので、フレームに色枠画像９１も警告用画像９２も重畳されない。
　以上説明したとおり、本実施形態の動画送信装置１は、カメラ１１が出力した映像信号に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳する。そして、当該アニメーション画像が重畳されたフレームを動画受信装置２に送信することで、当該動画を所定のフレームレートで動画受信装置２に無線で送信する。
　このように、動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳すれば、乗員は、表示された映像のアニメーション画像が変化しているか否かで、フレームが進行しているか否かを判別することができる。これにより、乗員は、表示された映像をどの程度信頼できるかについて知ることができる。
　なお、このようにアニメーション画像をフレームの進行と同期して変化させて重畳する処理は、フレームレートが上述の報知閾値Ｒｎ未満であるときも報知閾値Ｒｎ未満でないときも、同様に行われる。また、このようにアニメーション画像をフレームの進行と同期して変化させて重畳する処理は、フレームレートが上述の警告閾値Ｒｗ未満であるときも警告閾値Ｒｗ未満でないときも、同様に行われる。
　また、表示器２１が単位時間当たりに表示するフレームの数が低下するという現象は、ネゴシエーション結果に基づいてフレームレートを低下させる場合以外にも、フレーム落ちによって同様の現象が発生する。
　前述のように遅延量の少ない映像転送を行っても、多くの機器がこの動画送信装置１と動画受信装置２が使用するチャンネル（すなわち周波数帯）を利用したり当該チャンネルが外乱の妨害を受けたりすると、通信の欠落が発生する。つまり、動画送信装置１がフレームを送信しても動画受信装置２が受信できないという事態が発生する。その結果、映像を構成するフレームの落ちが発生し、表示器２１で表示される動画のフレームレートが実質的に低下する。
　このような場合においても、動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像が変化して重畳される。したがって、乗員は、表示された映像のアニメーション画像が変化しているか否かで、フレームが進行しているか否かを判別することができる。これにより、乗員は、表示された映像をどの程度信頼できるかについて知ることができる。
　なお、フレーム落ちが発生した場合は、表示器２１においては、表示する動画中で、アニメーション画像の変化にも飛びが発生する。例えば、アニメーション画像６３が重畳されたフレームがフレーム落ちによって受信されなかった場合は、表示器２１において、アニメーション画像６２が重畳されたフレームが表示された後は、アニメーション画像６４が重畳されたフレームが表示される。
　（第２実施形態）
　次に、第２実施形態について説明する。本実施形態の動画通信システム３０は、第１実施形態の動画通信システム３０に対して、動画送信装置１ではなく動画受信装置２がフレームにアニメーション画像を重畳するよう変更したものである。
　具体的には、本実施形態の動画通信システム３０のハードウェア構成は、第１実施形態と同じである。また、本実施形態の動画送信装置１の信号処理部１４は、図２の処理に代えて図９の処理を実行するようになっており、本実施形態の動画送信装置１の信号処理部２４は、図３の処理に代えて図１０の処理を実行するようになっている。
　なお、図２と図９で同等の処理を行うステップには同じステップ番号を付し、本実施形態においてそれらのステップの説明は省略または簡略化する。また、図３と図１０で同等の処理を行うステップには同じステップ番号を付し、本実施形態においてそれらのステップの説明は省略または簡略化する。
　以下、本実施形態の動画通信システム３０の作動について説明する。まず信号処理部１４と信号処理部２４は、互いに無線ＬＡＮの規格に従った周知のネゴシエーションを行う。具体的には信号処理部１４は図９のステップ１１０で第１実施形態と同様に信号処理部２４とネゴシエーションを行い、信号処理部２４は図１０のステップ２１０で第１実施形態と同様に信号処理部１４とネゴシエーションを行う。これにより、第１実施形態と同様、信号処理部１４、２４は、使用するチャンネルおよびデータ転送レートを決定し、そのチャンネルおよびデータ転送レートで以後互いに通信を行う。
　信号処理部２４は、続いてステップ２２０で、ステップ２１０で決定されたデータ転送レートで動画をフレーム落ちなく送信できるよう、動画のフレームレートＲおよび圧縮方式を、第１実施形態と同様に決定する。そして決定したフレームレートＲおよび圧縮方式の情報を、無線モジュール２３を介して動画送信装置１に送信することで、当該フレームレートＲおよび圧縮方式を動画送信装置１に対して指示する。
　一方、動画送信装置１では、無線モジュール１３がステップ１１０に続いてステップ１２０で、上記のように送信されたフレームレートＲおよび圧縮方式の情報を、無線モジュール１３を介して動画受信装置２から受信する。そして、受信したフレームレートＲおよび圧縮方式を、使用するフレームレートおよび圧縮方式として設定する。後述するように、信号処理部１４は、ここで受信したフレームレートＲおよび圧縮方式を用いて、動画を動画受信装置２に送信する。
　信号処理部１４は、ステップ１２０に続いてステップ１３０に進み、カメラ１１が出力する映像信号に基づいて１フレームを取り込む。このフレームは、取得時点におけるカメラ１１の撮影範囲の風景を表す画像データである。
　続いてステップ１３５では、直前のステップ１３０で取り込んだフレームの撮像フレーム番号を抽出する。具体的には、フレームを１個取り込む毎に番号が１単位だけ増加するよう、撮像フレーム番号を決定する。１単位が１であれば、直前のステップ１３０で取得したフレームが、動画送信装置１が作動を開始してから１０００個目に取得したフレームであれば、当該フレームの撮像フレーム番号は１０００となる。
　信号処理部１４は、続いてステップ１４５では、直前のステップ１３０で取り込んだフレームを、直前のステップ１２０で設定した圧縮方式で圧縮（すなわちエンコード）する。そして、圧縮されたフレームと、直前のステップ１３５で抽出したフレーム番号とを、互いに関連付けて、無線モジュール１３を用いて、動画受信装置２に送信する。
　続いてステップ１６０では、第１実施形態と同様に、次のフレーム送信タイミングが到来したか否かを判定する。次のフレーム送信タイミングが到来したと判定した場合、ステップ１３０に戻り、次のフレーム送信タイミングが到来していないと判定した場合は、ステップ１７０に進む。
　ステップ１７０では、第１実施形態と同様に、ネゴシエーションタイミングが到来したか否かを判定する。ネゴシエーションタイミングが到来していないと判定した場合は、ステップ１６０に戻り、到来したと判定した場合は、ステップ１１０に戻る。
　このように、信号処理部１４は、次のフレーム送信タイミングもネゴシエーションタイミングも到来していない間は、ステップ１６０、１７０を繰り返す。そして、次のフレーム送信タイミングが先に到来すると、ステップ１３０に戻って次のフレームを取り込む。また、ネゴシエーションタイミングが先に到来すると、ステップ１１０に戻って再度ネゴシエーションを行う。
　したがって、動画送信装置１の信号処理部１４は、ネゴシエーションタイミングが到来するまでは、フレーム送信タイミングが到来する度に、ステップ１３０、１３５、１４５を実行することで、設定したフレームレートでフレームおよび撮像フレーム番号を１個ずつ時系列順に無線モジュール１３に送信させる。このように送信される複数のフレームが、全体として、カメラ１１が出力した映像信号に基づく１つの動画に相当する。
　一方、動画受信装置２では、信号処理部２４が、ステップ２２０に続いてステップ２２５で、フレームと撮像フレーム番号を１組受信して当該フレームを伸長する。具体的には、動画送信装置１から上述のように送信されたフレームと撮像フレーム番号を無線モジュール２３を介して１組受信するまで待つ。そして、受信すると、直前のステップ２２０で決定した圧縮方式に対応する方法で、受信したフレームを伸長（すなわちデコード）し、その後、直ちにステップ２３５に進む。
　信号処理部２４は、ステップ２３５では、直前のステップ２２５で受信した撮像フレーム番号に応じたアニメーション画像を選択する。アニメーション画像は、第１実施形態と同様、図４に示す複数個のアニメーション画像群６０～６６に属する画像である。このステップ２３５では、直前のステップ２２５で受信した撮像フレーム番号の順に、第１実施形態と同じ順序で、アニメーション画像群６０～６６からアニメーション画像を１つ抽出する。すなわち、撮像フレーム番号の進行と同期して、すなわち、撮像フレーム番号が１単位進む毎に、選択するアニメーション画像の順番も進行させる。
　続くステップ２４０、２５０、２６０、２７０、２８０の処理内容は、以下に述べる違いを除いて第１実施形態と同じである。違いは、ステップ２４０でフレームレートＲが報知閾値Ｒｎ未満でない場合にステップ２７５に進む点、ステップ２６０でＲ＜Ｒｗの継続時間が基準時間Ｔ１を超えていない場合にステップ２７５に進む点、ステップ２７０に続いてステップ２７５に進む点である。
　信号処理部２４は、ステップ２７５では、直前のステップ２２５で受信したフレームに対し、ステップ２３５で選択されたアニメーション画像を、第１実施形態のステップ１４０と同じ方法で、重畳する。このフレームは、場合によってはステップ２５０で色枠画像９１が重畳され、また場合によってはステップ２７０で警告用画像９２が重畳されている。
　信号処理部２４は、ステップ２７５に続いては、ステップ２８０で、直前のステップ２７５でアニメーション画像が重畳されたフレームを表示器２１に出力する。これにより、表示器２１は当該画像に基づく映像をドライバに表示する。信号処理部２４は、ステップ２８０に続いては、ステップ２９０に進み、第１実施形態と同様、ネゴシエーションタイミングが到来したか否かを判定する。ネゴシエーションタイミングが到来していないと判定した場合は、ステップ２２５に戻り、到来したと判定した場合は、ステップ２１０に戻る。
　このように信号処理部２４は、ネゴシエーションタイミングが到来するまでは、フレームを動画送信装置１から受信する度に、ステップ２２５、２３５、２４０、２７５、２８０を実行する。ただし、Ｒ＜Ｒｎならステップ２５０、２６０も実行する。更に、Ｒ＜Ｒｗの継続時間＞Ｔ１なら、ステップ２７０も実行する。この繰り返しにより、信号処理部２４は、動画送信装置１から送信された動画をステップ２２５で受信する。そして信号処理部２４は、受信した動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、ステップ２３５でアニメーション画像を変化させてステップ２７５で重畳する。そして信号処理部２４は、当該アニメーション画像が重畳されたフレームをステップ２８０で表示器２１に出力することで、当該動画に基づく映像を表示器２１に表示させることができる。
　なお、ネゴシエーションタイミングが到来した場合の動画送信装置１および動画受信装置２の作動は、第１実施形態で説明した通りなので、説明を省略する。アニメーション画像がフレームの進行と同期して変化することによる効果は、再度のネゴシエーションによってフレームレートが変化するような、乗員が現在のフレームレートをあらかじめ知っていない場合において、特に顕著である点も、第１実施形態と同じである。
　このように、本実施形態では、フレームに対してアニメーションの重畳を行うのは、動画送信装置１ではなく動画受信装置２の信号処理部２４である。このような違いがあったとしても、最終的に表示器２１に表示される映像は、第１実施形態と同じである。したがって、本実施形態でも、表示器２１に表示される映像は、図８に示したものと同じ特徴を有している。
　したがって、本実施形態においても、動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳すれば、乗員は、表示された映像のアニメーション画像が変化しているか否かで、フレームが進行しているか否かを判別することができる。これにより、乗員は、表示された映像をどの程度信頼できるかについて知ることができる。また、色枠画像９１および警告用画像９２の重畳についても、第１実施形態と同等の効果を得ることができる。
　また、信号処理部２４は、フレームレートＲが警告閾値Ｒｗ未満の場合も、Ｒ＜Ｒｗの継続時間が基準時間Ｔ１よりも短ければ、ステップ２７０をバイパスする。したがってこの場合、フレームに警告用画像が重畳されず、フレームに重畳されるのはアニメーション画像と色枠画像のみである。このようになっていることで、フレームレートＲが警告閾値Ｒｗより低くなった場合に、警告用画像が表示されるまでのタイムディレーの間も、ドライバはアニメーション画像および色枠画像によりフレームレート低下を知ることができる。
　なお、信号処理部２４がアニメーション画像をフレームの進行と同期して変化させて重畳する処理は、フレームレートが上述の報知閾値Ｒｎ未満であるときも報知閾値Ｒｎ未満でないときも、同様に行う。また、このようにアニメーション画像をフレームの進行と同期して変化させて重畳する処理は、フレームレートが上述の警告閾値Ｒｗ未満であるときも警告閾値Ｒｗ未満でないときも、同様に行う。
　また、本実施形態においても、第１実施形態と同様、表示器２１が単位時間当たりに表示するフレームの数が低下するという現象は、ネゴシエーション結果に基づいてフレームレートを低下させる場合以外にも、フレーム落ちによって同様の現象が発生する。
　このような場合においても、動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像が変化して重畳される。したがって、乗員は、表示された映像のアニメーション画像が変化しているか否かで、フレームが進行しているか否かを判別することができる。これにより、乗員は、表示された映像をどの程度信頼できるかについて知ることができる。
　また、本実施形態においても、フレーム落ちが発生した場合は、表示器２１においては、表示する動画中で、アニメーション画像の変化にも飛びが発生する。これは、本実施形態では、信号処理部２４が信号処理部１４からフレーム番号を受信し、信号処理部２４が当該フレーム番号の進行に同期してアニメーション画像を変化させているからである。
　（他の実施形態）
　なお、本開示は上記した実施形態に限定されるものではなく、適宜変更が可能である。また、上記各実施形態は、互いに無関係なものではなく、組み合わせが明らかに不可な場合を除き、適宜組み合わせが可能である。また、上記各実施形態において、実施形態を構成する要素は、特に必須であると明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、上記各実施形態において、実施形態の構成要素の個数、数値、量、範囲等の数値が言及されている場合、特に必須であると明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではない。また、上記各実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に特定の形状、位置関係等に限定される場合等を除き、その形状、位置関係等に限定されるものではない。また、本開示は、上記各実施形態に対する以下のような変形例も許容される。なお、以下の変形例は、それぞれ独立に、上記実施形態に適用および不適用を選択できる。すなわち、以下の変形例のうち任意の組み合わせを、上記実施形態に適用することができる。
　（変形例１）
　上記第１実施形態では、動画受信装置２の信号処理部２４が、フレームレートＲと報知閾値Ｒｎとの比較に基づいて、フレームに色枠画像９１の重畳の実行または非実行の処理実現している。しかし、このような処理は、動画受信装置２の信号処理部２４に代えて、動画送信装置１の信号処理部１４が行うようになっていてもよい。
　このようにするには、第１実施形態に対して、動画受信装置２の信号処理部２４が、ステップ２３０に続いてステップ２４０、２５０をバイパスしてステップ２６０を実行するように変更する。また、動画送信装置１の信号処理部１４が、図１１に示すように、図２のステップ１３０とステップ１４０の間に、図３のステップ２４０、２５０の処理を行うようにする。具体的には、信号処理部１４は、ステップ１３０に続いてステップ２４０を実行し、ステップ２４０でフレームレートＲが報知閾値Ｒｎ未満であると判定した場合ステップ２５０を実行する。また、フレームレートＲが報知閾値Ｒｎ未満でないと判定した場合ステップ２５０をバイパスしてステップ１４０に進む。また信号処理部１４は、ステップ２５０でフレームに色枠画像９１を重畳した後にステップ１４０に進む。
　（変形例２）
　上記第２実施形態では、動画受信装置２の信号処理部２４が、フレームレートＲと報知閾値Ｒｎとの比較に基づいて、フレームに色枠画像９１の重畳の実行または非実行の処理を実現している。しかし、このような処理は、動画受信装置２の信号処理部２４に代えて、動画送信装置１の信号処理部１４が行うようになっていてもよい。
　このようにするには、第２実施形態に対して、動画受信装置２の信号処理部２４が、ステップ２３５に続いてステップ２４０、２５０をバイパスしてステップ２６０を実行するように変更する。また、動画送信装置１の信号処理部１４が、図１２に示すように、図９のステップ１３０とステップ１３５の間に、図１０のステップ２４０、２５０の処理を行うようにする。具体的には、信号処理部１４は、ステップ１３０に続いてステップ２４０を実行し、ステップ２４０でフレームレートＲが報知閾値Ｒｎ未満であると判定した場合ステップ２５０を実行する。また、フレームレートＲが報知閾値Ｒｎ未満でないと判定した場合ステップ２５０をバイパスしてステップ１３５に進む。また信号処理部１４は、ステップ２５０でフレームに色枠画像９１を重畳した後にステップ１３５に進む。
　（変形例３）
　上記実施形態では、信号処理部２４は、ステップ２４０、２６０で、報知閾値Ｒｎまたは警告閾値Ｒｗと比較するフレームレートＲとして、直前のステップ２２０で決定したフレームレートを採用している。しかし、必ずしもこのようになっておらずともよく、例えば、実際に直前のステップ２２５およびそれより前の１回または複数回のステップ２２５におけるフレームの受信タイミングに基づいて、実際のフレームの受信レートを算出してもよい。受信レートは、１秒間に何フレーム受信するかを示す指標である。そして信号処理部２４は、算出した受信レートを、ステップ２４０、２６０のフレームレートＲとして用い、報知閾値Ｒｎまたは警告閾値Ｒｗと比較してもよい。
　（変形例４）
　上記第１、第２実施形態では、動画送信装置１から動画受信装置２に送信される動画のフレームレートはネゴシエーションによって変化するようになっている。しかし、フレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳するという作動は、動画送信装置１から動画受信装置２に送信される動画のフレームレートが固定であっても一定の効果を発揮する。
　フレームレートが固定の動画通信システムにおいても、ある期間において動画送信装置による撮影範囲内の現実の眺めが変化しない場合、乗員に表示される当該期間内の動画の各フレームの表示内容も変化しない。また、当該期間において動画送信装置による撮影範囲内の現実の眺めが変化する場合でも、送信される動画のフレームレートによっては、その期間内の映像に対応するフレームが１つしか含まれない場合がある。
　これらのような場合、アニメーション画像がフレームに重畳されなければ、乗員から見れば、車外の当該撮影範囲内の眺めが実際に変化していないのか、あるいは、車外の眺めは実際には変化しているが動画のフレームレートが低く当該期間内において同じフレームしか表示されていないのか、判別できない。したがって、乗員は動画に基づく映像を見ても、車外の状況を自分がどの程度正しく把握できているのかがわからないという問題がある。
　したがって、動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳すれば、乗員は、表示された映像のアニメーション画像が変化しているか否かで、フレームが進行しているか否かを判別することができる。これにより、乗員は、表示された映像をどの程度信頼できるかについて知ることができる。
　（変形例５）
　上記実施形態では、アニメーション画像として、振動する振り子のアニメーション画像が例示されている。このようなアニメーション画像は、時系列に沿って順番に表示されれば物が動いていると人が認識できるような画像である。そのような特徴を有するアニメーション画像（すなわち、滑らかに動くアニメーション画像）としては、振動する振り子のアニメーション画像以外が用いられてもよい。例えば、スイープバーのアニメーション画像、時計のアニメーション画像等が用いられてもよい。
　（変形例６）
　上記実施形態では、フレームレートＲが報知閾値Ｒ２未満になった場合に重畳される報知用画像として、色枠画像９１が例示されている。しかし、報知用画像としては、警告用画像９２と比べてフレーム全体の画素数に対する画素数の割合が小さく、かつ、警告用画像９２の表示範囲が報知用画像の表示範囲よりも、表示器２１の画面の中心により近くなっていれば、どのような表示でも良い。例えば、図６の色枠画像９１に代えて、文字を、色枠画像９１が配置されている領域に重畳するようにしてもよい。
　（変形例７）
　上記第１、第２実施形態において、信号処理部２４は、ステップ２４０、２５０の処理を行わないようになっていてもよい。この場合、第１実施形態においては、信号処理部２４は、図３のステップ２３０に続いてステップ２４０、２５０をバイパスしてステップ２６０を実行する。また、第２実施形態においては、信号処理部２４は、図１０のステップ２３５に続いてステップ２４０、２５０をバイパスしてステップ２６０を実行する。
　（変形例８）
　上記第１、第２実施形態において、信号処理部２４は、ステップ２６０、２７０の処理を行わないようになっていてもよい。この場合、第１実施形態においては、信号処理部２４は、図３のステップ２５０の後、ステップ２６０、２７０をバイパスしてステップ２８０を実行する。また、第２実施形態においては、信号処理部２４は、図１０のステップ２２５０の後、ステップ２６０、２７０をバイパスしてステップ２７５を実行する。

Claims (8)

  1. 　車両に搭載される動画送信装置であって、
    　前記車両の外にある被写体の映像に応じた映像信号を出力するカメラ（１１）と、
    　前記カメラが出力した映像信号に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳する信号処理部（１４）と、
    　前記信号処理部によってアニメーション画像が重畳された前記複数のフレームから構成される動画を、前記動画を受信して前記車両の乗員に表示する動画受信装置（２）に、所定のフレームレートで無線で送信する無線モジュール（１３）と、を備えた動画送信装置。
  2. 　前記信号処理部は前記フレームレートを変化させる請求項１に記載の動画送信装置。
  3. 　前記動画受信装置は、受信した前記動画のフレームレートが継続して所定の警告閾値（Ｒｗ）未満となっている時間が基準時間（Ｔ１）を超えていることに基づいて警告用画像を乗員に表示し、
    　前記信号処理部は、送信する前記動画のフレームレートが前記警告閾値未満であり、かつ、前記動画のフレームレートが継続して前記警告閾値未満となっている時間が前記基準時間を超えていない場合に、前記カメラが取得した映像に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、前記アニメーション画像を変化させて重畳する請求項１または２に記載の動画送信装置。
  4. 　車両に搭載される動画受信装置であって、
    　前記車両の外を被写体とする映像に基づく動画を所定のフレームレートで無線で送信する動画送信装置（１）から前記動画を受信する無線モジュール（２３）と、
    　前記車両の乗員に映像を表示する表示器（２１）と、
    　前記無線モジュールが受信した前記動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳し、前記アニメーション画像が重畳されたフレームを前記表示器に出力することで、前記動画に基づく映像を前記表示器に表示させる信号処理部（２４）と、を備えた動画受信装置。
  5. 　前記信号処理部は、前記フレームレートが所定の報知閾値（Ｒｎ）未満である場合、前記動画を構成する複数のフレームの各々に対して、報知用画像（９１）を重畳する請求項４に記載の動画受信装置。
  6. 　前記信号処理部は、前記フレームレートが所定の警告閾値（Ｒｗ）未満であり、前記フレームレートが継続して前記警告閾値未満である時間が基準時間（Ｔ１）を超えている場合、警告用画像（９２）を前記表示器に表示させ、
    　前記信号処理部は、前記フレームレートが前記警告閾値未満であり、前記フレームレートが継続して前記警告閾値未満となっている時間が前記基準時間を超えていない場合、前記警告用画像を前記表示器に表示させず、かつ、前記カメラが取得した映像に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、前記アニメーション画像を変化させて重畳する請求項４または５に記載の動画受信装置。
  7. 　車両に搭載されて前記車両の外にある被写体の映像に基づく動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳し、前記アニメーション画像が重畳されたフレームを所定のフレームレートで無線で送信する動画送信装置（１）と、
    　前記車両に搭載されて前記動画送信装置が送信した前記動画を受信し、前記動画に基づく映像を前記車両の乗員に表示する動画受信装置（２）と、を備えた動画通信システム。
  8. 　車両に搭載されて前記車両の外にある被写体の映像に基づく動画を所定のフレームレートで無線で送信する動画送信装置（１）と、
    　前記車両に搭載されて前記動画送信装置が送信した前記動画を受信し、受信した前記動画を構成する複数のフレームの各々に対して、フレームの進行と同期して、アニメーション画像を変化させて重畳し、前記アニメーション画像が重畳されたフレームから構成された前記動画に基づく映像を前記車両の乗員に表示する動画受信装置（２）と、を備えた動画通信システム。
PCT/JP2016/084091 2015-12-24 2016-11-17 車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム Ceased WO2017110324A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/064,476 US10737619B2 (en) 2015-12-24 2016-11-17 Vehicle-mounted moving image transmitting device, vehicle-mounted moving image display device, and vehicle-mounted moving image communication system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-252137 2015-12-24
JP2015252137A JP6459954B2 (ja) 2015-12-24 2015-12-24 車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム

Publications (1)

Publication Number Publication Date
WO2017110324A1 true WO2017110324A1 (ja) 2017-06-29

Family

ID=59090023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/084091 Ceased WO2017110324A1 (ja) 2015-12-24 2016-11-17 車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム

Country Status (3)

Country Link
US (1) US10737619B2 (ja)
JP (1) JP6459954B2 (ja)
WO (1) WO2017110324A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020030318A1 (de) * 2018-08-06 2020-02-13 Audi Ag Verfahren zum betrieb einer anzeigeanordnung eines kraftfahrzeugs, kraftfahrzeug

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6616340B2 (ja) * 2017-01-31 2019-12-04 矢崎総業株式会社 車両用表示装置および車両用表示装置の表示方法
JP7277894B2 (ja) * 2018-01-22 2023-05-19 株式会社ユピテル システム，制御方法，プログラム等
EP3621302A1 (en) * 2018-09-04 2020-03-11 Rovco Limited Camera module and multi camera system for harsh environments
WO2020071828A1 (en) 2018-10-04 2020-04-09 Samsung Electronics Co., Ltd. Method and system for recording a super slow motion video in a portable electronic device
US10810697B2 (en) * 2018-12-20 2020-10-20 Disney Enterprises, Inc. Code generation system for image capture device parameters
CN113556500B (zh) * 2020-04-24 2022-05-13 华为技术有限公司 一种视频叠加方法、装置及系统
CN112073802A (zh) * 2020-08-28 2020-12-11 深圳市科莱德电子有限公司 一种车载中控的无线投屏方法
JP7739042B2 (ja) * 2021-05-14 2025-09-16 ヤンマーホールディングス株式会社 安全監視システムの制御方法及び安全監視システム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244947A (ja) * 1999-02-22 2000-09-08 Matsushita Electric Ind Co Ltd 動画伝送効率の測定装置
JP2001285841A (ja) * 2000-03-31 2001-10-12 Megafusion Corp 画像送信装置、画像受信装置、および画像伝送システム
JP2003188801A (ja) * 2001-12-19 2003-07-04 Nec Corp テレビ電話機能付き携帯電話端末装置
JP2008206042A (ja) * 2007-02-22 2008-09-04 Kddi Corp 映像品質評価方法および装置
JP2011066652A (ja) * 2009-09-17 2011-03-31 Nec Engineering Ltd 映像信号伝送装置
JP2014183440A (ja) * 2013-03-19 2014-09-29 Clarion Co Ltd カメラ画像表示システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7202885B2 (en) 2001-12-19 2007-04-10 Nec Corporation Mobile telephone terminal apparatus having television telephone function
JP2006180294A (ja) * 2004-12-22 2006-07-06 Tokyo Electric Power Co Inc:The 画像伝送遅延時間計測装置、画像伝送遅延時間計測システムおよび画像伝送遅延の計測方法
US9036026B2 (en) * 2009-06-12 2015-05-19 Magna Electronics Scalable integrated electronic control unit for vehicle
JP2013090152A (ja) 2011-10-18 2013-05-13 Denso Corp 車両周囲監視システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000244947A (ja) * 1999-02-22 2000-09-08 Matsushita Electric Ind Co Ltd 動画伝送効率の測定装置
JP2001285841A (ja) * 2000-03-31 2001-10-12 Megafusion Corp 画像送信装置、画像受信装置、および画像伝送システム
JP2003188801A (ja) * 2001-12-19 2003-07-04 Nec Corp テレビ電話機能付き携帯電話端末装置
JP2008206042A (ja) * 2007-02-22 2008-09-04 Kddi Corp 映像品質評価方法および装置
JP2011066652A (ja) * 2009-09-17 2011-03-31 Nec Engineering Ltd 映像信号伝送装置
JP2014183440A (ja) * 2013-03-19 2014-09-29 Clarion Co Ltd カメラ画像表示システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020030318A1 (de) * 2018-08-06 2020-02-13 Audi Ag Verfahren zum betrieb einer anzeigeanordnung eines kraftfahrzeugs, kraftfahrzeug
CN112512865A (zh) * 2018-08-06 2021-03-16 奥迪股份公司 用于运行机动车的显示系统的方法、机动车
US11097661B1 (en) 2018-08-06 2021-08-24 Audi Ag Method for operating a display arrangement of a motor vehicle, and motor vehicle
CN112512865B (zh) * 2018-08-06 2024-05-17 奥迪股份公司 用于运行机动车的显示系统的方法、机动车

Also Published As

Publication number Publication date
JP2017118339A (ja) 2017-06-29
JP6459954B2 (ja) 2019-01-30
US20180370435A1 (en) 2018-12-27
US10737619B2 (en) 2020-08-11

Similar Documents

Publication Publication Date Title
JP6459954B2 (ja) 車両に搭載される動画送信装置、車両に搭載される動画受信装置、および、車両に搭載される動画通信システム
US20200236276A1 (en) Method, system, device for video data transmission and photographing apparatus
CN102387344B (zh) 成像装置、成像系统和成像方法
US9332233B2 (en) Image processing device for processing a plurality of data formats corresponding to different image qualities
CN106232427A (zh) 车载显示装置
JP5449401B2 (ja) 情報表示装置、表示制御用集積回路、表示制御プログラム、及び表示制御方法
US10917604B2 (en) Captured image display device, captured image display method, and captured image display program
JP2017118339A5 (ja)
EP3358842B1 (en) Imaging display system and riding device
US10878221B2 (en) Imaging device capable of performing high-speed image recognition processing
US9374530B2 (en) Method and apparatus for displaying preview image and storage medium
US20140146083A1 (en) Image processing apparatus, image processing method, and storage medium
JP2017010119A (ja) 情報処理装置、画像処理装置、それらの制御方法及びプログラム
JP4941247B2 (ja) 車両用画像表示システム
WO2022222319A1 (en) Systems and methods for video surveillance
JP4578535B2 (ja) ドライブレコーダシステム及びドライブレコーダ
JP6166031B2 (ja) 画像処理装置の動作方法および画像処理装置
US20140056524A1 (en) Image processing device, image processing method, and program
JP2005303793A (ja) 車両周辺監視システム
EP3261057A1 (en) Head mounted display and transmission control method
WO2012035997A1 (ja) 受信装置および送信装置
JP2012186685A (ja) 画像認識表示システム及びこれに用いるカメラ
JP2014138410A (ja) 画像処理装置及びその制御方法、プログラム
JP4341422B2 (ja) 画像インターホン機器
JP6942424B2 (ja) 車両用後方画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16878220

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16878220

Country of ref document: EP

Kind code of ref document: A1