WO2022107702A1 - 画像処理装置、画像処理方法、画像送信装置及び画像処理システム - Google Patents

画像処理装置、画像処理方法、画像送信装置及び画像処理システム Download PDF

Info

Publication number
WO2022107702A1
WO2022107702A1 PCT/JP2021/041802 JP2021041802W WO2022107702A1 WO 2022107702 A1 WO2022107702 A1 WO 2022107702A1 JP 2021041802 W JP2021041802 W JP 2021041802W WO 2022107702 A1 WO2022107702 A1 WO 2022107702A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
video signal
time point
video
unit
Prior art date
Application number
PCT/JP2021/041802
Other languages
English (en)
French (fr)
Inventor
誠 本城
Original Assignee
京セラ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラ株式会社 filed Critical 京セラ株式会社
Priority to US18/251,896 priority Critical patent/US20240013344A1/en
Priority to EP21894576.4A priority patent/EP4250715A4/en
Publication of WO2022107702A1 publication Critical patent/WO2022107702A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/23439—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements for generating different versions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4622—Retrieving content or additional data from different sources, e.g. from a broadcast channel and the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/631—Multimode Transmission, e.g. transmitting basic layers and enhancement layers of the content over different transmission paths or transmitting with different error corrections, different keys or with different transmission protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Definitions

  • the present disclosure relates to an image processing device, an image processing method, an image transmission device, and an image processing system.
  • a technique has been developed in which an image captured by a camera provided on a moving body such as a drone is displayed on a monitor of a controller that controls the moving body, and the moving body is remotely controlled (see, for example, Patent Document 1). ..
  • the image processing device has a first processor.
  • the first processor captures a first image of an object taken at a first time point and a second image of an object taken at a second time point, which is a time point earlier than the first time point, via an imaging optical system. get. Based on the first image, the first processor brings at least a part of the second image closer to an image obtained when the imaging optical system is in a positional relationship with the target at the first time point. Generates a corrected image corrected to.
  • the first image in which the object is imaged at the first time point and the object at the second time point, which is a time point earlier than the first time point are captured via the image pickup optical system. It includes acquiring a second image captured. Further, the image processing method is based on the first image, and at least a part of the second image is converted into an image obtained when the imaging optical system is in a positional relationship with the target at the first time point. Generates a corrected image that has been corrected to bring it closer.
  • the image transmission device includes an image pickup unit, a second processor, and a transmission unit.
  • the image pickup unit is configured to be able to sequentially image an object at a predetermined frame rate.
  • the second processor sequentially generates a first image and a second image from an image captured by the image pickup unit.
  • the transmission unit transmits the first image and the second image.
  • the first image is an image having a lower resolution than the second image.
  • the image processing system includes an image transmission device and an image processing device.
  • the image transmission device transmits a first image in which the object is imaged at the first time point and a second image in which the object is imaged at a second time point, which is a time point earlier than the first time point, via an imaging optical system. Possible to be configured.
  • the image processing device includes a receiving unit and a first processor.
  • the receiving unit receives the first image and the second image from the image transmitting device.
  • the first processor brings at least a part of the second image closer to an image obtained when the imaging optical system is in a positional relationship with the target at the first time point. Generates a corrected image corrected to.
  • FIG. 1 is a diagram showing a schematic configuration of an image processing system according to an embodiment.
  • FIG. 2 is a diagram illustrating an example of an application scene of an image processing system when an image transmission device is mounted on a moving body (drone).
  • FIG. 3 is a schematic configuration diagram showing an example of the image transmission device of FIG.
  • FIG. 4 is a diagram illustrating an example of a method of adding timing information to an analog image.
  • FIG. 5 is a schematic configuration diagram showing an example of the image processing apparatus of FIG.
  • FIG. 6 is a diagram illustrating a delay from the acquisition of the first image and the second image to the display.
  • FIG. 7 is a schematic configuration diagram showing another example of the image transmission device of FIG. FIG.
  • FIG. 8 is an external view showing an example of a moving body corresponding to the image transmission device of FIG. 7.
  • FIG. 9 is a schematic configuration diagram showing another example of the image processing device corresponding to the image transmission device of FIG. 7.
  • FIG. 10 is a diagram showing an example of an image captured via the second imaging optical system.
  • FIG. 11 is a flow chart showing an example of processing executed by the image transmission device.
  • FIG. 12 is a flow chart showing an example of processing executed by the image processing apparatus.
  • FIG. 13 is a diagram showing an example of the first image.
  • FIG. 14 is a diagram showing an example of the second image.
  • FIG. 15 is a diagram showing an example of a display image.
  • FIG. 16 is a flow chart of a process for synthesizing a missing portion of the second image.
  • FIG. 16 is a flow chart of a process for synthesizing a missing portion of the second image.
  • FIG. 17 is a diagram showing another example of the first image.
  • FIG. 18 is a diagram showing another example of the second image.
  • FIG. 19 is a diagram showing another example of the display image.
  • FIG. 20 is a flow chart showing an example of processing executed by the image processing apparatus when a dynamic object exists.
  • FIG. 21 is a diagram showing an example of a first image including a dynamic object.
  • FIG. 22 is a diagram showing an example of a second image corresponding to FIG. 21.
  • FIG. 23 is a diagram showing an example of a display image corresponding to FIGS. 21 and 22.
  • FIG. 24 is a flow chart showing another example of the processing executed by the image processing apparatus when a dynamic object exists.
  • FIG. 25 is a diagram showing another example of the display image corresponding to FIGS. 21 and 22.
  • FIG. 26 is a flow chart showing still another example of the processing executed by the image processing apparatus when a dynamic object exists.
  • the image quality of the image transmitted from the moving object's camera to the controller that operates the moving object is high in order to accurately grasp the surrounding conditions of the moving object.
  • the image quality of the transmitted / received image is improved, the amount of data becomes large, and the delay may become large due to reasons such as the time required for processing such as compression and decompression of the data. When the delay becomes large, it becomes difficult to operate in response to real-time situation changes.
  • the image processing device, image processing method, image transmission device, and image processing system of the present disclosure can reduce the influence of delay while displaying an image with higher image quality.
  • the image processing system 1 includes an image transmission device 10 and an image processing device 20 as shown in FIG.
  • the image transmitting device 10 and the image processing device 20 are configured to be communicable by a wired or wireless communication means.
  • the communication means includes a method in which the image transmission device 10 and the image processing device 20 directly communicate with each other, and a method in which the image transmission device 10 and the image processing device 20 indirectly communicate with each other via a base station, a relay device, or the like.
  • a wireless LAN such as Wi-Fi
  • a mobile communication system such as a 4th generation mobile communication system (4G: 4th Generation) or a 5th generation mobile communication system (5G: 5th Generation) is used. You can do it.
  • the image transmission device 10 is configured to transmit an image captured by the target to the image processing device 20.
  • an object means an object for capturing an image.
  • the target may not be a specific object or person, but may be the entire landscape including the object or person existing in the shooting direction.
  • the subject can be rephrased as a subject.
  • the image transmission device 10 has two systems for transmitting two images having different image quality to the image processing device 20.
  • the image quality includes elements such as resolution, number of gradations, frame rate, dynamic range, and noise.
  • the two images have different delay times until the captured image is transmitted to the image processing device 20 and processed.
  • the delay in the present application includes a processing delay caused by compression / decompression in the image transmission device 10 and the image processing device 20, error processing, and the like, and a transmission delay related to video transmission.
  • the first video which is one of the two video systems, has a lower image quality and a shorter delay time than the second video, which is the other video.
  • the second image has a higher image quality and a longer delay time than the first image.
  • the image processing device 20 corrects the image included in the second image based on the image included in the first image, thereby generating an image having substantially high image quality and a short delay time. It is configured as follows.
  • the image transmission device 10 can be mounted on a moving body.
  • the first image and the second image can be images taken from the same moving body.
  • the moving body includes a vehicle traveling on land, a ship sailing on water, an aircraft or flying object flying in the sky, a robot performing work in a difficult place, a toy imitating these, and the like.
  • the moving body includes those of various sizes.
  • the first video and the second video may be shot by the same camera, or may be shot by different cameras.
  • the image transmission device 10 mounted on the moving body 30 includes a first video signal 32 including an image of the target 31 with respect to the image processing device 20, and a second image including an image of the target 31 having a higher resolution than the first video signal.
  • the video signal 33 is continuously transmitted.
  • the first video signal No. 32 and the second video signal 33 include images captured at a predetermined frame rate.
  • the predetermined frame rate can be set arbitrarily.
  • the predetermined frame rate can be, for example, 30 fps (frames per second) or 60 fps.
  • the first video signal 32 and the second video signal 33 may have the same or different frame rates.
  • the frame rate of the second video signal 33 may be higher than the frame rate of the first video signal 32.
  • the second video signal 33 including a high-resolution image has a larger delay than the first video signal 32, as will be described later. Therefore, in the first image 34 in the first video signal captured at the point B at the first time point and in the second video signal captured at the point A at the second time point, which is a time point earlier than the first time point.
  • the second image 35 of the above is received by the image processing device 20 at substantially the same timing.
  • the image processing device 20 has a low-resolution first image 34, which is an image closer to real time, and a second image 35, which has a higher resolution than the first image 34 captured earlier than the first image 34 in terms of time. And are acquired at almost the same timing.
  • the image transmission device 10 includes an image pickup optical system 11, an image sensor 12, a first video processing unit 13, a first wireless communication unit 14a, a second wireless communication unit 14b, a first antenna 15a, and a second. Includes antenna 15b.
  • the image transmission device 10 may further include a DAC (Digital Analog Converter) 16.
  • the imaging optical system 11 is configured to include one or more lenses.
  • the image pickup optical system 11 forms an image of the target 31 on the light receiving surface of the image sensor 12.
  • the image sensor 12 can include a CCD image sensor (Charge-Coupled Device Image Sensor) or a CMOS image sensor (Complementary MOS Image Sensor).
  • the image sensor 12 converts the image formed on the light receiving surface into an electric signal and outputs the image to the first image processing unit 13.
  • the image pickup optical system 11 and the image sensor 12 can be rephrased as an image pickup unit.
  • the first video processing unit 13 executes various processes on the electric signal output from the image sensor 12.
  • the first video processing unit 13 includes one or a plurality of processors.
  • Processors include general-purpose processors that load specific programs to perform specific functions, and dedicated processors that specialize in specific processing.
  • the dedicated processor includes an application specific integrated circuit (ASIC).
  • the processor includes a programmable logic device (PLD; Programmable Logic Device).
  • PLD includes an FPGA (Field-Programmable Gate Array).
  • the first video processing unit 13 may be either a SoC (System-on-a-Chip) in which one or a plurality of processors cooperate, or a SiP (System In a Package).
  • the first video processing unit 13 corresponds to the second processor.
  • the first video processing unit 13 includes, for example, a video adjusting unit 17 and a video separating unit 18.
  • the image adjustment unit 17 makes various adjustments to the RAW data of the image captured by the image sensor 12.
  • the image adjustment unit 17 can perform processing such as demosaic processing, noise reduction, distortion correction, brightness adjustment, contrast adjustment, and gamma correction on the image captured by the image sensor 12.
  • the function of the image adjustment unit 17 may be implemented in an ISP (Image Signal Processor) which is a dedicated processor for image processing.
  • ISP Image Signal Processor
  • the video separation unit 18 duplicates the video signal output from the video adjustment unit 17 and outputs it as the first video signal 32 and the second video signal 33.
  • the video separation unit 18 may convert the signal output as the first video signal 32 among the duplicated video signals into a low-resolution signal.
  • FPGA can be adopted as the image separation unit 18.
  • the image separation unit 18 is not limited to the FPGA.
  • the video separation unit 18 may be mounted on, for example, an ASIC or SoC.
  • the video separation unit 18 may add timing information to the first video signal 32 and the second video signal 33.
  • the timing information is information indicating the timing at which the image of each frame is captured.
  • the timing information may be information indicating the relative relationship between the times when each image was captured.
  • the timing information may be a frame number indicating the order in which the frames were imaged.
  • the frame number may be an arbitrarily set number or numerical value that can indicate the order of the frames.
  • the video separation unit 18 can embed timing information corresponding to the image of each frame in the video signal. Alternatively, the video separation unit 18 may rewrite some pixels of each image with information indicating timing information. For example, as shown in FIG.
  • the video separation unit 18 replaces the pixel in the top row 41 of the image of each frame with data indicating black or data indicating some color patterns, and the pixel thereof is replaced with data indicating black.
  • Timing information may be assigned according to length or arrangement pattern. In particular, when a video signal is converted into an analog signal and transmitted as described later, this method can be adopted.
  • the image transmission device 10 may convert the first video signal 32 into an analog video signal and transmit it to the image processing device 20 by an analog transmission method. Therefore, the image transmission device 10 may include a DAC 16 that converts a digital first video signal 32 output from the video separation unit 18 into an analog video signal.
  • the DAC 16 may convert a digital signal of any format into an analog signal of any format.
  • the DAC 16 may convert, for example, a digital video signal according to the image format of RGB888 or YUV422 into an analog video signal of NTSC (National Television System Committee) system or PAL (Phase Alternation Line) system.
  • NTSC National Television System Committee
  • PAL Phase Alternation Line
  • the image transmission device 10 may transmit the first video signal 32 to the image processing device 20 as a digital signal having a reduced resolution of the second video signal 33.
  • the first wireless communication unit 14a modulates the first video signal 32 for wireless transmission.
  • the first radio communication unit 14a modulates the first video signal by an analog modulation method.
  • the analog modulation method includes, for example, frequency modulation, phase modulation, and the like.
  • the first wireless communication unit 14a is configured by a communication circuit.
  • the communication circuit includes a communication IC (Integrated Circuit), an LSI (Large Scale Integration), and the like.
  • the first antenna 15a converts the first video signal 32 modulated for transmission into an electromagnetic wave and sends it out.
  • the first wireless communication unit 14a and the first antenna 15a form a first transmission unit.
  • the second wireless communication unit 14b can execute compression processing, transmission processing, and the like for transmitting the second video signal 33 as a digital video signal to the image processing device 20.
  • the compression process reduces the amount of data without substantially changing the content of the information.
  • a moving image compression method according to 265 or the like can be adopted.
  • the second wireless communication unit 14b may perform an encryption process in addition to the compression process.
  • the transmission process includes a modulation process.
  • the second wireless communication unit 14b can modulate the video signal by a digital modulation method.
  • the digital modulation method includes various known methods.
  • the digital modulation method includes, for example, 16QAM (Quadrature Amplitude Modulation), OFDM (Orthogonal Frequency Division Multiplexing) and the like.
  • the image transmission device 10 and the image processing device 20 can be directly connected by a known digital wireless video transmission device. Communication between the image transmitting device 10 and the image processing device 20 may be performed using a protocol such as IP (Internet Protocol) used in a wireless LAN and the Internet, and UDP (User Datagram Protocol).
  • IP Internet Protocol
  • UDP User Datagram Protocol
  • the second wireless communication unit 14b may process protocols such as IP and UDP.
  • the second wireless communication unit 14b is composed of a communication circuit.
  • the function of the second wireless communication unit 14b may be implemented in an IC, LSI, ASIC, FPGA, or the like.
  • a part of the processing performed by the second wireless communication unit 14b may be executed by the same processor as the processor included in the first video processing unit 13.
  • the second antenna 15b converts the second video signal 33 modulated for transmission into an electromagnetic wave and sends it out.
  • the second wireless communication unit 14b and the second antenna 15b form a second transmission unit.
  • the first transmission unit and the second transmission unit can be collectively referred to as a transmission unit.
  • the first video signal 32 which is an analog video
  • the second video signal 33 which is a digital video
  • the second image 35 can be output from the image processing device 20 to the display device as compared with the first image 34. The delay time until it becomes is large.
  • the image processing device 20 includes a third antenna 21a, a fourth antenna 21b, a third wireless communication unit 22a, a fourth wireless communication unit 22b, a second video processing unit 23, and an output device 24.
  • the image processing device 20 includes an ADC (Analog Digital Converter) 25.
  • the image processing device 20 may include a storage unit 26.
  • the third antenna 21a receives the electromagnetic wave including the first video signal 32, converts it into an electric signal, and outputs it to the third wireless communication unit 22a.
  • the third wireless communication unit 22a demodulates the signal received from the third antenna 21a and restores the analog first video signal 32.
  • the third wireless communication unit 22a is configured by a communication circuit.
  • the circuit for communication may include an IC, an LSI, and the like.
  • the third antenna 21a and the third wireless communication unit 22a constitute a first receiving unit.
  • the first receiver corresponds to the analog transmission method.
  • the ADC 25 converts an analog video signal into a digital video signal.
  • the ADC 25 may convert an analog video signal of any format into a digital video signal of any format.
  • the ADC 25 may convert, for example, an NTSC or PAL analog video into a digital video signal according to the RGB888 or YUV422 image format.
  • the ADC 25 is configured to output the first video signal 32 converted into a digital signal to the second video processing unit 23. When the first video signal 32 received by the first receiving unit is a digital signal, the ADC 25 is unnecessary.
  • the fourth antenna 21b receives the electromagnetic wave including the second video signal 33, converts it into an electric signal, and outputs it to the fourth wireless communication unit 22b.
  • the fourth wireless communication unit 22b demodulates the signal received from the fourth antenna 21b and restores the second video signal 33, which is a digital signal.
  • the fourth radio communication unit 22b may perform protocol processing according to IP and UDP.
  • the fourth wireless communication unit 22b can perform processing such as error correction and re-transmission / reception of missing information with the second wireless communication unit 14b.
  • the fourth wireless communication unit 22b further performs a process of decompressing the second video signal 33 that has been compressed by the second wireless communication unit 14b.
  • the second wireless communication unit 14b may perform a decryption process.
  • the fourth wireless communication unit 22b is configured by a communication circuit.
  • the function of the fourth wireless communication unit 22b may be implemented in an IC, LSI, ASIC, FPGA, or the like. A part of the processing performed by the second wireless communication unit 14b may be executed by the same processor as the processor included in the second video processing unit 23.
  • the fourth antenna 21b and the fourth wireless communication unit 22b form a second receiving unit.
  • the second receiving unit corresponds to the digital transmission method.
  • the fourth wireless communication unit 22b is configured to output the second video signal 33 to the second video processing unit 23.
  • the first receiving unit and the second receiving unit can be collectively referred to as a receiving unit.
  • the second video processing unit 23 outputs a video for display based on the first video signal 32 and the second video signal 33.
  • the second video processing unit 23 corresponds to the first processor.
  • the second video processing unit 23 sequentially acquires images of each frame included in the first video signal 32 and the second video signal 33.
  • the amount of data of the first video signal 32 is smaller than that of the second video signal 33.
  • the third wireless communication unit 22a does not correct data for noise, correct errors for errors, or the like with respect to the first video signal 32. Therefore, the image quality of the first video signal 32 is low, but the delay is small.
  • the second video signal 33 has a high resolution and therefore has a large amount of data, is subject to compression and decompression processing, is accompanied by error processing and data retransmission, and is the first for any one or more reasons. 1 Includes a larger delay compared to the video signal 32.
  • the second video processing unit 23 can perform various digital arithmetic processing on the second video signal 33. However, performing various digital processes can cause further delays.
  • the first video signal 32 is received by the second video processing unit 23 at a timing close to real time. That is, the first video signal 32 has higher real-time performance than the second video signal 33.
  • the delay time of the second video signal 33 may vary due to the internal processing of the second wireless communication unit 14b and the fourth wireless communication unit 22b, the retransmission processing due to the occurrence of an error in wireless transfer, and the like.
  • the delay times of the first video signal 32 and the second video signal 33 will be described with reference to FIG. FIG. 6 shows the time required for the image of each frame included in the first video signal 32 and the second video signal 33 captured at a predetermined time to be received by the second video processing unit 23.
  • the delay time ⁇ is the time required from the time when the image included in the first video signal 32 is captured until the second video processing unit 23 acquires the image via the first receiving unit.
  • the delay time ⁇ is the time required from the time when the image included in the second video signal 33 is captured until the second video processing unit 23 acquires the image via the second receiving unit.
  • the delay time ⁇ is shorter than the delay time ⁇ .
  • the delay time ⁇ is assumed to be at least twice as long as the delay time ⁇ . Further, the delay time ⁇ is longer than the time between adjacent frames of the second video signal 33.
  • the second image processing unit 23 receives the image of the first image captured at the first time point t1 which is the past time point by the time corresponding to the delay time ⁇ .
  • the first image 34 is an image of one frame included in the first video signal 32 captured at the first time point t1.
  • the second image processing unit 23 receives the image of the second image captured at the second time point t2, which is the past time point, by the time corresponding to the delay time ⁇ .
  • the second image 35 is an image of one frame included in the second video signal 33 captured at the second time point t2.
  • the first image 34 and the second image 35 do not have to be the images received by the second image processing unit 23 at the present time t0.
  • the first image 34 and the second image 35 can be images acquired by the second video processing unit 23 in the past closest to the current t0 among the images of the frames of the first video and the second video, respectively. ..
  • the second image processing unit 23 may sequentially store the first image 34 and the second image 35 acquired at each time point in the storage unit 26.
  • the second image processing unit 23 can sequentially perform processing using the first image 34 and the second image 35 stored by the storage unit 26.
  • the first image 34 and the second image 35 are imaged at different timings, but since they are imaged by the same imaging unit, there is not much difference, and the second image 35 is the first image 34. All or part may be included.
  • the second image processing unit 23 can extract the region corresponding to the first image 34 in the second image 35 by performing the matching process between the first image 34 and the second image 35.
  • the corresponding region is a region in which the captured objects match or are sufficiently close to each other even though there is a difference in size due to the timing at which the first image 34 and the second image 35 are captured. For example, in the second image shown in FIG. 2, the entire flag and pole are photographed, and in the first image, a part of the flag is photographed.
  • the matching processing method includes area-based matching and feature-based matching.
  • Region-based matching includes matching using templates.
  • Feature-based matching can be performed by extracting feature points, which are feature points, and associating them between images.
  • the second image processing unit 23 determines the cutout range of the image in the second image 35 from the result of the matching process.
  • the cutout range in the second image 35 is at least a part of the second image 35 corresponding to at least a part of the first image 34.
  • the second image 35 may include a portion corresponding to the entire first image 34, not a part of the first image 34.
  • the second image 35 may include an image corresponding to the entire first image 34.
  • a part of the first image 34 may be included in the entire second image 35.
  • the second image processing unit 23 can cut out an image in the cutout range of the second image 35.
  • the image of the cutout range of the second image 35 is referred to as a third image.
  • the third image can be rephrased as a cutout image.
  • the second image processing unit 23 can generate a fourth image corrected by enlarging or reducing the third image according to the size of the first image 34.
  • the fourth image can be rephrased as a corrected image.
  • the fourth image is an image obtained by correcting the third image so as to be closer to the image obtained when the image pickup optical system 11 of the image transmission device 10 is in a positional relationship with the target 31 at the first time point t1.
  • the second image processing unit 23 may perform a process of combining the portion not included in the corrected image of the fourth image and the first image 34. ..
  • the second image processing unit 23 recognizes the object as a dynamic object when there is an object image included in the first image 34 and located at a position different from the position on the fourth image. Can be done.
  • the dynamic object is an object that moves or operates independently of the movement of the moving body 30 equipped with the image transmitting device 10. Dynamic objects move with respect to the background image over time.
  • the second image processing unit 23 can combine the first image 34 with the fourth image so that the dynamic object is displayed more appropriately on the fourth image.
  • An image generated by synthesizing a part of the first image 34 with the fourth image in this way, or an image obtained by subjecting the fourth image to a specific process is referred to as a fifth image.
  • the fifth image can be paraphrased as a composite image. The details of these processes will be described later.
  • the second image processing unit 23 outputs the fourth image or the fifth image to the output device 24 as a display image.
  • the first image is processed by a relatively low load. 4
  • the image is output as a display image. If the 4th image has a shortage compared to the image pickup area of the 1st image 34, or if the 1st image 34 or the 4th image contains a dynamic object, the 5th image is output as a display image. Will be done.
  • the second video processing unit 23 outputs images for sequential display based on the images of the frames of the first video and the second video that are sequentially acquired.
  • the output device 24 can be a display device that displays the video output from the second video processing unit 23.
  • various display devices such as a liquid crystal display (LCD: Liquid Crystal Display), an organic EL (Electro-Luminescence) display, an inorganic EL display, and a plasma display (PDP: Plasma Display Panel) can be adopted.
  • the output device 24 may be a device that transmits a display image to a device outside the image processing device 20.
  • the image transmission device 10 described with reference to FIG. 3 duplicates an image captured by using a single image pickup optical system 11 and an image sensor 12 to generate a first image 34 and a second image 35.
  • the first image 34 and the second image 35 can also be imaged using a plurality of different image pickup optical systems 11 and image sensors 12.
  • An example of the configuration of such an image transmission device 10A is shown in FIG. In the following description of the image transmission device 10A, the parts different from the image transmission device 10 shown in FIG. 3 will be described, and the common parts will be partially omitted.
  • the image transmission device 10A includes a first image pickup optical system 11a, a first image sensor 12a, a second image pickup optical system 11b, and a second image sensor 12b.
  • the image transmission device 10A further includes a first video processing unit 13, a first wireless communication unit 14a, a second wireless communication unit 14b, a first antenna 15a, and a second antenna 15b.
  • the first video processing unit 13 includes a first video adjustment unit 17a, a second video adjustment unit 17b, and a video separation unit 18.
  • the first image pickup optical system 11a and the first image sensor 12a can be rephrased as the first image pickup unit.
  • the second image pickup optical system 11b and the second image sensor 12b can be paraphrased as a second image pickup unit.
  • the first imaging optical system 11a and the first image sensor 12a capture the first image.
  • the second image pickup optical system 11b and the second image sensor 12b image a second image.
  • the first imaging optical system 11a and the second imaging optical system 11b may have different optical characteristics from each other.
  • the second imaging optical system 11b may include a wide-angle lens as compared with the first imaging optical system 11a. That is, the second image pickup optical system 11b may be able to form an image in a wider range on the second image sensor 12b than the first image pickup optical system 11a.
  • the first image sensor 12a and the second image sensor 12b may be different from each other.
  • the second image sensor 12b can be an image sensor having a larger number of pixels and a higher pixel density than the first image sensor 12a.
  • the second image 35 included in the second video can have a higher resolution than the first image 34 included in the first video.
  • FIG. 8 is a diagram showing an example of a drone which is a moving body 30A equipped with an image transmission device 10A.
  • the image transmission device 10A mounted on the moving body 30A has a first imaging optical system 11a for imaging diagonally downward in the traveling direction of the moving body 30A and 360 on the lower side of the moving body 30.
  • a second imaging optical system 11b for imaging may be included.
  • the first image adjustment unit 17a and the second image adjustment unit 17b are the same as the image adjustment unit 17 of FIG. 3 with respect to the RAW data of the images output from the first image sensor 12a and the second image sensor 12b, respectively. It is configured to make various adjustments.
  • the video separation unit 18 outputs the video signal adjusted by the first video adjustment unit 17a to the first wireless communication unit 14a as the first video signal 32.
  • the video separation unit 18 outputs the video signal adjusted by the second video adjustment unit 17b to the second wireless communication unit 14b as the second video signal 33.
  • the DAC 16 is not provided.
  • the image transmission device 10A of FIG. 7 may also be provided with a DAC 16 so that the DAC 16 converts the first video signal 32 into an analog signal and transmits it to the image processing device 20. In that case, the image processing apparatus 20A described later is provided with the same ADC 25 as that shown in FIG.
  • the amount of data of the second video signal 33 transmitted per unit time is larger than the amount of data of the first video signal 32.
  • the data amount of the second video signal 33 can be twice or more, five times or more, or ten times or more the data amount of the first video signal 32.
  • the video separation unit 18 may add timing information to the first video signal 32 and the second video signal 33. In the image transmission device 10A of FIG. 7, both the first video signal 32 and the second video signal 33 are transmitted to the image processing device 20A (see FIG. 9) as digital signals. The timing information can be added to the first video signal 32 and the second video signal 33.
  • the first wireless communication unit 14a and the second wireless communication unit 14b compress, encrypt, and encrypt the first video signal 32 and the second video signal 33 of the digital signal acquired from the video separation unit 18, respectively. , Transmission processing, etc. may be executed.
  • the first wireless communication unit 14a may adopt a method in which the load related to the processing and transmission of the video signal is lower than that of the second wireless communication unit 14b.
  • the first wireless communication unit 14a may adopt a method in which error correction, retransmission when an error occurs, or the like is not performed, or the method is reduced as much as possible.
  • the first video signal 32 and the second video signal 33 are converted into electromagnetic waves by the first antenna 15a and the second antenna 15b, respectively, and transmitted.
  • the second imaging optical system 11b and the second image sensor 12b are not limited to one, respectively.
  • the image transmission device 10A has a set of a plurality of second imaging optical systems 11b and a second image sensor 12b, and the image separation unit 18 combines the images output from the respective second image sensors 12b into one. Two second video signals 33 may be generated.
  • FIG. 9 shows a configuration example of the image processing device 20A corresponding to the image transmission device 10A of FIG. 7.
  • the image processing device 20A has the image of FIG. 5 except that the third wireless communication unit 22a receives the digital video signal and the ADC 25 is not included between the third wireless communication unit 22a and the second video processing unit 23. It is configured to be similar to the processing device 20.
  • the parts different from the image processing device 20 shown in FIG. 7 will be described, and the common parts will be partially omitted.
  • the third antenna 21a and the fourth antenna 21b can receive the digitally modulated first video signal 32 and the second video signal 33, respectively.
  • the third wireless communication unit 22a and the fourth wireless communication unit 22b may execute demodulation of the first video signal 32 and the second video signal 33, decompression of the compressed video signal, error processing, and the like, respectively.
  • the amount of data of the first video signal 32 processed by the third wireless communication unit 22a is smaller than that of the second video signal 33. Further, in the third wireless communication unit 22a, a video compression and transmission method having a relatively small processing load may be adopted together with the first wireless communication unit 14a. On the other hand, the second video signal 33 processed by the fourth wireless communication unit 22b has a larger amount of data than the first video signal 32. Therefore, in the fourth wireless communication unit 22b, processing such as demodulation processing, decompression processing, data correction, and error correction of the video signal is increased, and a larger video delay occurs with the processing time.
  • FIG. 10 shows an example of the second image 35 included in the second video signal 33 captured by the second imaging optical system 11b and the second image sensor 12b capable of capturing an image having a wide angle of view.
  • the cutout range 51 (corresponding to the third image) corresponding to the first image 34 included in the second video signal 33 is set to be considerably smaller than the entire second image 35. Therefore, the second image 35 can always include the entire image corresponding to the first image 34. By doing so, it is necessary to combine a part of the first image 34 with the fourth image in order to always supplement the missing portion of the fourth image cut out from the second image 35 and enlarged or reduced. Is gone.
  • the image pickup range by the second image pickup optical system 11b and the second image sensor 12b takes into consideration the difference in the delay time between the first image 34 and the second image 35, the upper limit values of the forward speed and the rotation speed of the moving body 30, and the like. May be decided.
  • the image transmission device 10 executes the process illustrated in the flowchart of FIG.
  • the image sensor 12 converts the image of the target 31 imaged on the light receiving surface by the image pickup optical system 11 into an electric signal (step S101).
  • the image adjustment unit 17 adjusts the image output from the image sensor 12 (step S102).
  • the video separation unit 18 duplicates the video signal (step S103).
  • One of the two video signals, the original video signal and the duplicated video signal, is referred to as the first video signal 32, and the other is referred to as the second video signal 33.
  • the video separation unit 18 may further execute a process of lowering the resolution of the second video signal 33.
  • the steps S101 and S102 are executed for each of the first image pickup unit and the second image pickup unit. Further, it is not necessary to duplicate the video signal in step S103.
  • the video separation unit 18 may use the video signals output from each of the first image pickup unit and the second image pickup unit as the first video signal 32 and the second video signal 33. The following steps are the same for the image transmission device 10 and the image transmission device 10A.
  • the video separation unit 18 adds timing information to the first video signal 32 and the second video signal 33 (step S104).
  • the video separation unit 18 can add the frame number of the image of each frame included in the first video signal 32 and the second video signal 33 to the video signal as timing information. Further, when the first video is converted into an analog video in the subsequent processing, the video separation unit 18 has a part of pixels included in the image of each frame with respect to the first video, as shown in FIG. Timing information can be assigned by rewriting.
  • the video separation unit 18 passes the first video signal 32 and the second video signal 33 to their respective transmission paths (step S105).
  • the video separation unit 18 outputs the first video signal 32 to the DAC 16.
  • the first video signal 32 is processed as a digital signal
  • the first video signal 32 is output to the first wireless communication unit 14a.
  • the second video signal 33 is output to the second wireless communication unit 14b.
  • the DAC 16 converts the first video signal 32 received from the video separation unit 18 from a digital signal to an analog signal (step S106).
  • the DAC 16 outputs the first video signal 32 converted into an analog signal to the first wireless communication unit 14a. If the first video signal 32 is transmitted as a digital signal, step S106 may be omitted.
  • the first wireless communication unit 14a and the second wireless communication unit 14b modulate the first video signal 32 and the second video signal 33 for wireless communication, respectively (step S107).
  • the second wireless communication unit 14b may perform processing such as compression and encryption of the second video signal 33 of the digital signal before the modulation processing.
  • the amount of data of the first video signal 32 is smaller than that of the second video signal 33.
  • the first radio communication unit 14a does not perform compression and encryption processing before the modulation processing. Therefore, the delay time generated by the first wireless communication unit 14a is shorter than the delay time generated by the second wireless communication unit 14b.
  • the first wireless communication unit 14a converts the first video signal 32 into electromagnetic waves by the first antenna 15a and transmits the first video signal 32.
  • the second wireless communication unit 14b converts the second video signal 33 into an electromagnetic wave by the second antenna 15b and transmits it (step S108).
  • the image transmission devices 10 and 10A have a first image having a low resolution but a small delay time and a high real-time property captured from the same moving body 30 and 30A, and a first image having a high resolution but a high resolution.
  • the second video having a delay time larger than that of the first video can be transmitted to the image processing devices 20 and 20A.
  • the image processing devices 20 and 20A execute the processing exemplified in the flowchart of FIG. Hereinafter, the processing performed by the image processing devices 20 and 20A will be described with reference to FIG.
  • the third antenna 21a and the fourth antenna 21b receive the first video signal 32 and the second video signal 33, respectively (step S201).
  • the first video signal 32 and the second video signal 33 are demodulated in the third wireless communication unit 22a and the fourth wireless communication unit 22b, respectively (step S202).
  • the fourth wireless communication unit 22b may further correct errors, decompress the compressed image signal, and decode the encrypted image signal.
  • the fourth wireless communication unit 22b outputs the second video signal 33 to the second video processing unit 23.
  • the third wireless communication unit 22a When the first video signal 32 is an analog signal, the third wireless communication unit 22a outputs the first video signal 32 to the ADC 25.
  • the ADC 25 converts the analog first video signal 32 into a digital signal (step S203).
  • the ADC 25 outputs the first video signal 32 converted into digital video to the second video processing unit 23.
  • step S203 may be omitted.
  • the third wireless communication unit 22a may perform processing such as error correction and decompression of the compressed image signal on the first video signal 32.
  • the first video signal 32 is output to the second video processing unit 23.
  • the second video processing unit 23 acquires images of each frame included in the first video signal 32 and the second video signal 33.
  • the second video processing unit 23 acquires the first image 34 as shown in FIG. 13 from the first video signal 32.
  • the second image processing unit 23 acquires the second image 35 as shown in FIG. 14 from the second video signal 33 (step S204).
  • the first image 34 shown in FIG. 13 is an image obtained by taking a picture in a state closer to the flag included in the second image 35 shown in FIG. That is, the first image 34 and the second image 35 are different from each other at the time when they are photographed.
  • the first image 34 in FIG. 13 is an image having a lower resolution than the second image 35 in FIG.
  • the second image 35 is an image having a higher resolution than the first image 34.
  • the second image 35 is an image captured at the second time point t2, which is earlier than the first time point t1 at which the first image 34 was captured.
  • the second image processing unit 23 matches the first image 34 and the second image 35 (step S205).
  • the second image processing unit 23 extracts a portion of the second image 35 corresponding to the first image 34.
  • the second image processing unit 23 determines the portion corresponding to the first image 34 included in the second image 35 as the cutout range 51.
  • the cutout range 51 is a region surrounded by the alternate long and short dash line.
  • the second image processing unit 23 cuts out the image of the cutout range 51 from the second image 35 as the third image (step S206).
  • the second image processing unit 23 enlarges or reduces the third image cut out from the second image 35 so as to be closer to the image obtained by capturing the target 31 when the imaging optical system 11 is at the point B at the first time point t1.
  • To generate a fourth image step S207).
  • the second image processing unit 23 brings the second image 35 captured at the point A at the second time point t2 closer to the image captured at the first time point t1 closer to the current time t0. , Enlarge or reduce the image.
  • the distance between the image shooting target and the point A is farther than the distance from the point B, it is possible to bring the image closer to the image captured at the point B by enlarging the third image usually cut out.
  • the second image processing unit 23 compares the fourth image with the first image 34, and if the first image 34 has a portion not included in the fourth image, the second image processing unit 23 includes the first image 34 to the fourth image.
  • the image corresponding to the non-existing part is acquired and combined with the fourth image (step S208).
  • the second image processing unit 23 determines that the object is a dynamic object.
  • the second video processing unit 23 performs a process for appropriately displaying the dynamic object on the fourth image (step S209).
  • the second video processing unit 23 uses the image processed in steps S208 and S209 as the fifth image, which is the display image 36, with respect to the fourth image generated in step S207, if necessary.
  • steps S208 and S209 are not executed.
  • the fourth image generated in step S207 is the display image 36.
  • the second image processing unit 23 outputs the display image 36 to the output device 24 and displays it (step S210).
  • FIG. 15 illustrates a display image 36 displayed on the output device 24 when steps S208 and S209 are not executed. In a simple embodiment of the present disclosure, it is not necessary to implement the processes of steps S208 and S209.
  • the display image 36 is displayed as an image having a higher resolution than the first image 34.
  • the second video processing unit 23 executes the above-mentioned processing on the images of each frame included in the first video and the second video to be sequentially acquired. Therefore, the display image 36 is displayed as a moving image.
  • the image processing devices 20 and 20A cut out and enlarge the second image 35 having a high resolution but a large delay based on the first image 34 having a low resolution but a smaller delay. Or make corrections such as reduction. This makes it possible to display a part of the second image 35 closer to the image at the present time t0 with the influence of the delay reduced.
  • a part of the image corresponding to the first image 34 is cut out from the second image 35 and enlarged.
  • it can be executed by a process with a relatively light load, such as reduction. Therefore, the image processing system 1 can be realized by a relatively small-scale system.
  • Step S208 of FIG. 12 executes a process in consideration of such a case. The process of step S208 will be described with reference to FIG.
  • the second image processing unit 23 determines whether or not there is a portion in the first image 34 that is not included in the display range of the fourth image (step S301).
  • the first image 34 is shown in FIG. 17, and the second image 35 is shown in FIG.
  • the second image 35 has a higher resolution than the first image 34.
  • the second image 35 is an image taken at a time in the past for a time corresponding to the difference in delay time between the first image 34 and the first image 34.
  • the orientation of the image pickup optical system 11 of the image transmission devices 10 and 10A may change between the second time point t2 in which the second image 35 is imaged and the first time point t1 in which the first image 34 is imaged. Therefore, the second image 35 may not include the entire imaging range of the first image 34 as shown in FIG. In the example of FIG.
  • the cutout range 51 of the second image 35 does not include the area corresponding to the left side and the upper side of the first image 34.
  • the second video processing unit 23 can determine based on the result of step S205 that there is a portion in the first image 34 that is not included in the display range of the fourth image (step S301). : Yes). In this case, the processing of the second video processing unit 23 proceeds to step S302.
  • step S302 the second image processing unit 23 generates a fifth image in which the image of the insufficient portion is cut out from the first image 34 and combined with respect to the fourth image (step S302). That is, the fifth image is an image in which a part of the area of the fourth image and a part of the area of the first image are combined.
  • the second image processing unit 23 may further emphasize the portion synthesized with respect to the fourth image based on the first image 34 (step S303). For example, the second image processing unit 23 may emphasize the portion synthesized from the first image 34 by surrounding it with a thick frame line.
  • the second video processing unit 23 may not include step S303. Unlike step S303, the second image processing unit 23 may perform a process of making the composite portion of the first image 34 and the fourth image inconspicuous.
  • the second image processing unit 23 has a high-resolution first partial image 52 cut out from the second image 35 and a second low-resolution image cut out from the first image 34.
  • the partial image 53 can be combined to form a fifth image, which is a display image 36.
  • the first partial image 52 corresponds to the fourth image.
  • step S301 for example, as shown in FIG. 14, when the second image 35 includes the entire first image 34 inside, there is no portion in the first image 34 that is not included in the corrected image.
  • Step S301: No when the angle of view of the second image is sufficiently larger than the angle of view of the first image, step S301 can always be set to No. In this case, the second image processing unit 23 does not perform a process of synthesizing a part of the first image 34 with respect to the fourth image.
  • the image processing devices 20 and 20A synthesize the image cut out from the first image 34 into the insufficient portion of the fourth image, so that the orientations of the image transmission devices 10 and 10A change during image acquisition.
  • the image can be continuously output without missing a part of the display image 36. Therefore, the image processing devices 20 and 20A can continuously and stably display an image.
  • the range captured by the image transmission device 10 may include a dynamic object moving with respect to the background in the image pickup target 31.
  • the dynamic object moves between a second time point t2 that captures the second image 35 and a first time point t1 that captures the first image 34. Therefore, the position of the dynamic object on the second image 35 is different from the position of the dynamic object on the first image 34.
  • the enlarged or reduced image of a part of the second image 35 having a large delay time does not reflect the current position of the dynamic object at t0. Therefore, the dynamic object needs to be displayed on the display image 36 in a special way and mode.
  • Step S209 of FIG. 12 executes the process in such a case. The process of step S209 will be described below.
  • FIG. 20 is a flow chart illustrating a method of displaying a dynamic object.
  • the second image processing unit 23 compares the first image 34 with the fourth image obtained by expanding or reducing the third image cut out from the second image 35.
  • the second image processing unit 23 can determine the dynamic object from the difference between the first image 34 and the fourth image (step S401).
  • the second image processing unit 23 can determine that the object related to the object image is a dynamic object. ..
  • the second image processing unit 23 can determine that a region where pixels having a large difference in pixel values are gathered between the first image 34 and the fourth image is a region where a dynamic object exists.
  • Dynamic objects include, for example, people, vehicles, bicycles, animals and the like.
  • FIG. 21 shows the first image 34.
  • FIG. 22 shows the second image 35.
  • the relative position of the dynamic object 61 with respect to the background of the target 31 is different between the image of the cutout range 62 of the first image 34 and the image of the second image 35.
  • the second image 35 is an image older than the first image 34. Therefore, at the first time point t1 when the first image 34 is captured, the dynamic object 61 is not at the position where the dynamic object 61 in FIG. 22 is displayed.
  • the second image processing unit 23 generates a fifth image by synthesizing an image element that specifies an area determined to include the dynamic object 61 on the fourth image (step S402).
  • the second image processing unit 23 may synthesize an image element having an arbitrary shape for emphasizing the dynamic object 61 on the fourth image. For example, as shown in FIG. 23, the second video processing unit 23 may provide a frame line 63 around the dynamic object 61 of the fourth image. Alternatively, the second video processing unit 23 may perform a process of emphasizing the edge of the image of the dynamic object 61.
  • the fifth image is output to the output device 24 as a display image 36. The user of the image processing system 1 recognizes that the displayed dynamic object 61 is at a time in the past by looking at the image element that highlights the fifth image displayed on the output device 24. be able to.
  • the second image processing unit 23 may further arrange an arbitrary image element in the area on the fifth image corresponding to the area in the first image 34 where the dynamic object 61 is determined to exist.
  • the image element can be a border 64.
  • FIG. 24 is a flow chart illustrating another display method of the dynamic object 61. Similar to step S401 in FIG. 20, the second image processing unit 23 determines the region where the dynamic object 61 exists from the difference between the fourth image cut out from the second image 35 and enlarged or reduced from the first image 34. (Step S501).
  • the second video processing unit 23 replaces the image in the region where the dynamic object 61 exists in the fourth image with the image in the corresponding region of the first image 34 (step S502).
  • the image of the dynamic object 61 is deleted from the area 65 in which the dynamic object 61 is displayed in the fourth image.
  • the deleted dynamic object 61 and the area 65 in which the dynamic object 61 is displayed are shown by broken lines for explanation. This dashed line is not displayed in the actual image.
  • the area 65 on which the dynamic object 61 is displayed may be replaced with a background image of the corresponding area obtained from the first image 34.
  • the second image processing unit 23 converts the image of the region corresponding to the region where the dynamic object 61 of the first image 34 in the fourth image exists into the image of the region including the dynamic object 61 in the first image 34. Replace (step S503).
  • the image of the dynamic object 61 shown by the solid line in FIG. 25 is added to the area of the fourth image corresponding to the area where the dynamic object 61 of the first image 34 is displayed.
  • the fifth image is generated.
  • the resolution is lower, the dynamic object 61 is displayed at a position closer to the position that exists in real time on the fifth image.
  • the second image processing unit 23 may add an image element that emphasizes the dynamic object 61 replaced by the dynamic object 61 of the first image 34 in the fifth image (step). S504).
  • the second video processing unit 23 may display a frame line 63 around the dynamic object 61 on the fifth image.
  • the user can recognize that the dynamic object 61 shown in the image displayed on the output device 24 is a synthesized image.
  • FIG. 26 is a flow chart illustrating still another display method of the dynamic object 61.
  • the image of each frame included in the second video signal 33 is sequentially stored in the storage unit 26 as the second image.
  • the storage unit 26 holds the second images 35 captured at a plurality of recently acquired time points in chronological order. Further, the storage unit 26 acquires the timing information added to the image of each frame of the second video signal 33 in step S104, and stores the timing information in association with the respective second image 35.
  • the second video processing unit 23 acquires a plurality of second images 35 acquired at the latest consecutive plurality of time points from the storage unit 26 (step S601).
  • the second image processing unit 23 cuts out the third image of the cutting range 51 corresponding to the first image 34 from each of the second images 35 based on the recently acquired first image 34 (step S602).
  • the second video processing unit 23 acquires the timing information included in the first image 34 and the timing information of each second image 35 stored in the storage unit 26.
  • the second video processing unit 23 calculates the difference in delay time between the second image 35 and the first image 34 based on the acquired timing information (step S603).
  • the second video processing unit 23 acquires the speed of the moving body 30 and estimates the difference in delay time based on the change in the size of the target 31 included in each second image 35. good.
  • the second image processing unit 23 generates a predicted image from the difference in delay time from the plurality of fourth images obtained by enlarging or reducing the third image cut out from each second image 35 (step S604).
  • the second video processing unit 23 estimates the amount of motion of the image from the plurality of fourth images having different delay times, and predicts the image at the first time point t1 or the current time t0, which is a time point in the future than the second time point t2. good.
  • the second video processing unit 23 may calculate a video change vector from the plurality of fourth images and generate a predicted image based on the delay difference.
  • the second image processing unit 23 can reduce the influence on the displayed image due to the variation in the delay time of the second image 35 by using the timing information given by the image transmission devices 10 and 10A based on the frame number. can.
  • the image processing system 1 of the present embodiment uses two images, a first image 34 having a low resolution but a short delay time, and a second image 35 having a high resolution but a long delay time. , It is possible to reduce the delay while displaying a higher resolution image. That is, the image processing system 1 can achieve both high image quality and real-time performance. Further, when the image processing system 1 transmits the first video signal 32 as an analog signal and the second video signal 33 as a digital signal, both the real-time property by analog transmission and the high resolution by digital transmission are achieved. You can take advantage of the advantageous features.
  • the image is cut out and enlarged or reduced. It can be realized by processing with a relatively small load.
  • the angle of view of the second image pickup unit is made sufficiently larger than the angle of view of the first image pickup unit, so that the image cut out from the second image 35 is used. It becomes possible to include the imaging range of one image 34. As a result, even when the region to be imaged by the first image pickup unit of the image transmission device 10A changes, it becomes easy to cut out and display the region corresponding to the first image 34 from the second image 35. As a result, the entire image corresponding to the first image 34 can be stably displayed.
  • the dynamic object 61 is appropriately positioned for the user regardless of the delay time of the second image. Alternatively, it can be displayed in an appropriate manner.
  • the descriptions such as “first” and “second” are identifiers for distinguishing the configuration.
  • the configurations distinguished by the descriptions such as “first” and “second” in the present disclosure can exchange numbers in the configurations.
  • the first lens can exchange the identifiers “first” and “second” with the second lens.
  • the exchange of identifiers takes place at the same time.
  • the configuration is distinguished.
  • the identifier may be deleted.
  • Configurations with the identifier removed are distinguished by a code. Based solely on the description of identifiers such as "1st” and “2nd” in the present disclosure, it shall not be used as an interpretation of the order of the configurations or as a basis for the existence of identifiers with smaller numbers.
  • Image processing system 10 10A Image transmitter 11 Imaging optical system (imaging unit) 11a First imaging optical system (first imaging unit) 11b Second imaging optical system (second imaging unit) 12 Image sensor (imaging unit) 12a 1st image sensor (1st image pickup unit) 12b 2nd image sensor (2nd image pickup unit) 13 1st video processing unit (2nd processor) 14a 1st wireless communication unit (1st transmission unit) 14b 2nd wireless communication unit (2nd transmission unit) 15a 1st antenna (1st transmitter) 15b 2nd antenna (2nd transmitter) 16 DAC 17 Image adjustment unit 17a 1st image adjustment unit 17b 2nd image adjustment unit 18 Image separation unit 20 Image processing device 21a 3rd antenna (1st receiver unit) 21b 4th antenna (2nd receiver) 22a 3rd wireless communication unit (1st receiver) 22b 4th wireless communication unit (2nd receiver) 23 2nd video processing unit (1st processor) 24 Output device 25 ADC 26 Storage unit 30 Moving object 31 Target 32 First video signal 33 Second video signal 34 First image 35 Second image 36 Display image 40 Image 41 Top row 51

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

画像処理装置は、第１プロセッサを有する。前記第１プロセッサは、第１時点に対象を撮像した第１画像と、前記第１時点よりも過去の時点である第２時点に撮像光学系を介して前記対象を撮像した第２画像とを取得する。前記第１プロセッサは、前記第１画像に基づいて、前記第２画像の少なくとも一部を、前記撮像光学系が前記第１時点における前記対象との位置関係にある場合に得られる画像に近づけるように補正した補正画像を生成する。

Description

画像処理装置、画像処理方法、画像送信装置及び画像処理システム 関連出願の相互参照
　本出願は、２０２０年１１月２０日に出願された日本国特許出願２０２０－１９３７４２号の優先権を主張するものであり、この先の出願の開示全体をここに参照のために取り込む。
　本開示は、画像処理装置、画像処理方法、画像送信装置及び画像処理システムに関する。
　ドローン等の移動体に設けられたカメラにより撮像された映像を、移動体を操縦するコントローラのモニタに表示し、移動体を遠隔で操作する技術が開発されている（例えば、特許文献１参照）。
特許第６６７５６０３号公報
　本開示の一実施形態に係る画像処理装置は、第１プロセッサを有する。前記第１プロセッサは、第１時点に対象を撮像した第１画像と、前記第１時点よりも過去の時点である第２時点に撮像光学系を介して前記対象を撮像した第２画像とを取得する。前記第１プロセッサは、前記第１画像に基づいて、前記第２画像の少なくとも一部を、前記撮像光学系が前記第１時点における前記対象との位置関係にある場合に得られる画像に近づけるように補正した補正画像を生成する。
　本開示の一実施形態に係る画像処理方法は、第１時点に対象を撮像した第１画像と、前記第１時点よりも過去の時点である第２時点に撮像光学系を介して前記対象を撮像した第２画像とを取得することを含む。さらに、前記画像処理方法は、前記第１画像に基づいて、前記第２画像の少なくとも一部を、前記撮像光学系が前記第１時点における前記対象との位置関係にある場合に得られる画像に近づけるように補正した補正画像を生成する。
　本開示の一実施形態に係る画像送信装置は、撮像部と、第２プロセッサと、送信部とを含む。撮像部は、所定のフレームレートで対象を順次撮像可能に構成される。前記第２プロセッサは、前記撮像部が前記対象を撮像した画像から順次第１画像及び第２画像を生成する。前記送信部は、前記第１画像及び前記第２画像を送信する。前記第１画像は前記第２画像よりも解像度が低い画像である。
　本開示の一実施形態に係る画像処理システムは、画像送信装置と画像処理装置とを含む。画像送信装置は、第１時点に対象を撮像した第１画像と、前記第１時点よりも過去の時点である第２時点に撮像光学系を介して前記対象を撮像した第２画像とを送信可能に構成される。前記画像処理装置は、受信部と第１プロセッサとを含む。前記受信部は、前記画像送信装置から前記第１画像及び前記第２画像を受信する。前記第１プロセッサは、前記第１画像に基づいて、前記第２画像の少なくとも一部を、前記撮像光学系が前記第１時点における前記対象との位置関係にある場合に得られる画像に近づけるように補正した補正画像を生成する。
図１は、一実施形態に係る画像処理システムの概略構成を示す図である。 図２は、画像送信装置を移動体（ドローン）に搭載した場合の画像処理システムの適用シーンの一例を説明する図である。 図３は、図１の画像送信装置の一例を示す概略構成図である。 図４は、アナログ画像に対するタイミング情報の付加方法の一例を説明する図である。 図５は、図１の画像処理装置の一例を示す概略構成図である。 図６は、第１画像及び第２画像の撮像から表示までの遅延を説明する図である。 図７は、図１の画像送信装置の他の一例を示す概略構成図である。 図８は、図７の画像送信装置に対応する移動体の一例を示す外観図である。 図９は、図７の画像送信装置に対応する、画像処理装置の他の一例を示す概略構成図である。 図１０は、第２撮像光学系を介して撮像した画像の一例を示す図である。 図１１は、画像送信装置が実行する処理の一例を示すフロー図である。 図１２は、画像処理装置が実行する処理の一例を示すフロー図である。 図１３は、第１画像の一例を示す図である。 図１４は、第２画像の一例を示す図である。 図１５は、表示用画像の一例を示す図である。 図１６は、第２画像の不足部分を合成する処理のフロー図である。 図１７は、第１画像の他の一例を示す図である。 図１８は、第２画像の他の一例を示す図である。 図１９は、表示用画像の他の一例を示す図である。 図２０は、動的オブジェクトが存在する場合の画像処理装置が実行する処理の一例を示すフロー図である。 図２１は、動的オブジェクトを含む第１画像の一例を示す図である。 図２２は、図２１に対応する第２画像の一例を示す図である。 図２３は、図２１及び図２２に対応する表示用画像の一例を示す図である。 図２４は、動的オブジェクトが存在する場合の画像処理装置が実行する処理の他の一例を示すフロー図である。 図２５は、図２１及び図２２に対応する表示用画像の他の一例を示す図である。 図２６は、動的オブジェクトが存在する場合の画像処理装置が実行する処理のさらに他の一例を示すフロー図である
　ドローン等の移動体を遠隔から操作する場合、移動体の周囲の状況を正確に把握するため、移動体のカメラから移動体を操作するコントローラへ送信される画像の画質は、高い方が好ましい。しかし、送受信される画像の画質を上げると、データ量が大きくなること、並びに、データの圧縮及び伸長等の処理に時間かかかること等の理由により、遅延が大きくなることがある。遅延が大きくなると、リアルタイムの状況変化に対応した操作をすることが難しくなる。
　本開示の画像処理装置、画像処理方法、画像送信装置及び画像処理システムは、より画質の高い画像を表示させながら、遅延の影響を低減することができる。
　以下、本開示の実施形態について、図面を参照して説明する。以下の説明で用いられる図は模式的なものである。図面上の寸法比率等は現実のものとは必ずしも一致していない。
（画像処理システムの全体構成）
　一実施形態に係る画像処理システム１は、図１に示すように画像送信装置１０と画像処理装置２０とを含む。画像送信装置１０と画像処理装置２０とは、有線又は無線の通信手段により、通信可能に構成される。通信手段は、画像送信装置１０と画像処理装置２０とが直接通信する方式と、基地局及び中継機器等を介して間接的に通信する方式を含む。無線の場合、通信手段としてはＷｉ－Ｆｉ等の無線ＬＡＮ、又は、第４世代移動通信システム（４Ｇ：4th Generation）、第５世代移動通信システム（５Ｇ：5th Generation）等の移動通信システムを利用してよい。
　画像送信装置１０は、対象を撮像した映像を画像処理装置２０に送信するように構成される。本願において、対象は映像を撮像する対象を意味する。対象は特定の物体や人物ではなく、撮影方向に存在する物体や人物を含む風景全体であってよい。対象は、被写体と言い換えることができる。画像送信装置１０は、画質の異なる２つの映像を画像処理装置２０に送信する２つの系を有する。画質には、解像度、階調数、フレームレート、ダイナミックレンジ、ノイズ等の要素を含む。２つの映像は、撮影された画像が画像処理装置２０へ送信され、処理されるまでの遅延時間が異なる。本願における遅延は、画像送信装置１０及び画像処理装置２０における圧縮／伸張、及びエラー処理等に起因するの処理遅延、並びに、映像の送信に係る伝送遅延を含む。２つの系の映像のうち一方の映像である第１映像は他方の映像である第２映像に対し、画質が低く遅延時間が小さい。第２映像は、第１映像に対して画質が高く遅延時間が大きい。画像処理装置２０は、以下に説明するように、第２映像に含まれる画像を第１映像に含まれる画像に基づいて補正することにより、実質的に画質が高く遅延時間が短い画像を生成するように構成される。
　画像送信装置１０は、移動体に搭載することができる。第１映像と第２映像とは、同一の移動体から撮像された映像とすることができる。移動体としては、陸上を走行する車両、水上を航行する船舶、空を飛行する航空機又は飛行体、作業困難な場所で作業を行うロボット、及び、これらを模した玩具等を含む。移動体としては、種々の大きさのものを含む。また、第１映像と第２映像とは、同一のカメラで撮影されるものであってよく、異なるカメラで撮影されるものであってもよい。
　一例として、以下に、移動体３０であるドローンに画像送信装置１０を搭載した場合の本開示の画像処理システム１の一例を説明する。図２において、移動体３０は、対象３１の方向を撮像しながら対象３１に向かって飛行する。移動体３０は、地点Ａ及び地点Ｂを順次通過するものとする。移動体３０に搭載された画像送信装置１０は、画像処理装置２０に対して対象３１の画像を含む第１映像信号３２と、第１映像信号よりも高解像度の対象３１の画像を含む第２映像信号３３とを、継続的に送信する。第１映像信号３２号及び第２映像信号３３は、所定のフレームレートで撮像された画像を含む。所定のフレームレートは、任意に設定できる。所定のフレームレートは、例えば、３０ｆｐｓ（frames per second）又は６０ｆｐｓとすることができる。第１映像信号３２と第２映像信号３３とは、フレームレートが同じでも異なってもよい。例えば、第２映像信号３３のフレームレートは、第１映像信号３２のフレームレートより高くてよい。
　第１映像信号３２と比較して、高解像度の画像を含む第２映像信号３３は、後述するように第１映像信号３２よりも遅延が大きくなる。このため、第１時点で地点Ｂにおいて撮像された第１映像信号中の第１画像３４と、第１時点よりも過去の時点である第２時点で地点Ａにおいて撮像された第２映像信号中の第２画像３５とが、画像処理装置２０に略同じタイミングで受信される。画像処理装置２０は、より実時間に近い画像である低解像度の第１画像３４と、時間的に第１画像３４よりも過去に撮像された第１画像３４よりも高解像度の第２画像３５とを、略同じタイミングで取得する。
（画像送信装置の構成例）
　画像送信装置１０は、図３に示すように、撮像光学系１１、イメージセンサ１２、第１映像処理部１３、第１無線通信部１４ａ、第２無線通信部１４ｂ、第１アンテナ１５ａ及び第２アンテナ１５ｂを含む。画像送信装置１０は、ＤＡＣ（Digital Analog Converter）１６をさらに含んでよい。
　撮像光学系１１は、１つ以上のレンズを含んで構成される。撮像光学系１１は、対象３１の像をイメージセンサ１２の受光面上に結像させる。イメージセンサ１２は、ＣＣＤイメージセンサ（Charge-Coupled Device Image Sensor）、又は、ＣＭＯＳイメージセンサ（Complementary MOS Image Sensor）を含むことができる。イメージセンサ１２は、受光面上に結像した画像を電気信号に変換して、第１映像処理部１３に出力する。撮像光学系１１及びイメージセンサ１２は、撮像部と言い換えることができる。
　第１映像処理部１３は、イメージセンサ１２から出力された電気信号に対して、種々の処理を実行する。第１映像処理部１３は、一つまたは複数のプロセッサを含む。プロセッサには、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、及び、特定の処理に特化した専用のプロセッサが含まれる。専用のプロセッサには、特定用途向けＩＣ（ＡＳＩＣ；Application Specific Integrated Circuit）が含まれる。また、プロセッサには、プログラマブルロジックデバイス（ＰＬＤ；Programmable Logic Device）が含まれる。ＰＬＤには、ＦＰＧＡ（Field-Programmable Gate Array）が含まれる。第１映像処理部１３は、一つまたは複数のプロセッサが協働するＳｏＣ（System-on-a-Chip）、及びＳｉＰ（System In a Package）のいずれかであってよい。第１映像処理部１３は、第２プロセッサに対応する。
　第１映像処理部１３は、例えば、映像調整部１７と映像分離部１８とを含む。映像調整部１７は、イメージセンサ１２で撮像した映像のＲＡＷデータに対して種々の調整を行う。映像調整部１７は、イメージセンサ１２で撮影した画像に対して、デモザイク処理、ノイズ低減、歪み補正、明度調整、コントラスト調整、ガンマ補正等の処理を行うことができる。映像調整部１７の機能は、画像処理用の専用のプロセッサであるＩＳＰ（Image Signal Processor）に実装されてよい。
　映像分離部１８は、映像調整部１７から出力される映像信号を複製して第１映像信号３２及び第２映像信号３３として出力する。映像分離部１８は、複製した映像信号のうち、第１映像信号３２として出力される信号を低解像度の信号に変換してよい。映像分離部１８としては、ＦＰＧＡを採用することができる。しかし、映像分離部１８を構成するのはＦＰＧＡに限られない。映像分離部１８は、例えば、ＡＳＩＣ又はＳｏＣ等に実装されてもよい。
　映像分離部１８は、第１映像信号３２及び第２映像信号３３にタイミング情報を付加してよい。タイミング情報は、各フレームの画像が撮像されたタイミングを示す情報である。タイミング情報は、各画像が撮像された時刻の相対的な関係を示す情報であってよい。例えば、タイミング情報は、フレームの撮像された順序を示すフレーム番号であってよい。フレーム番号は、フレームの順序を示すことができる任意に設定された番号又は数値であってよい。映像分離部１８は、映像信号中に各フレームの画像に対応するタイミング情報を埋め込むことができる。別の方法として、映像分離部１８は、各画像の一部のピクセルを、タイミング情報を示す情報に書き換えてよい。例えば、映像分離部１８は、図４に示すように、各フレームの画像の最上位の行４１のピクセルを、黒を示すデータ、又は、いくつかの色のパターンを示すデータに置き換えて、その長さ又は配列パターンによりタイミング情報を割り当ててよい。特に、後述するように映像信号がアナログ信号に変換されて伝送される場合、この方法を採用することができる。
　画像送信装置１０は、第１映像信号３２をアナログ映像信号に変換して、アナログ伝送方式により画像処理装置２０に送信してよい。このため、画像送信装置１０は、映像分離部１８から出力されたデジタルの第１映像信号３２をアナログ映像信号に変換するＤＡＣ１６を含んでよい。ＤＡＣ１６は、任意の形式のデジタル信号を任意の形式のアナログ信号に変換してよい。ＤＡＣ１６は、例えば、ＲＧＢ８８８又はＹＵＶ４２２の画像フォーマットに従うデジタル映像信号を、ＮＴＳＣ（National Television System Committee)方式又はＰＡＬ（Phase Alternation Line）方式のアナログ映像信号に変換してよい。ＤＡＣ１６がデジタル映像信号をアナログ映像信号に変換するとき、映像の解像度が低下してよい。ＤＡＣ１６は必須の構成要素ではない。画像送信装置１０は、第１映像信号３２を、第２映像信号３３の解像度を低下させたデジタル信号として画像処理装置２０に送信してもよい。
　第１無線通信部１４ａは、第１映像信号３２を無線送信のため変調する。第１映像信号３２がアナログ信号の場合、第１無線通信部１４ａは、第１映像信号をアナログ変調方式により変調する。アナログ変調方式は、例えば、周波数変調又は位相変調等を含む。第１無線通信部１４ａは、通信用の回路により構成される。通信用の回路には、通信用のＩＣ（Integrated Circuit）及びＬＳＩ（Large Scale Integration）等が含まれる。
　第１アンテナ１５ａは、送信用に変調された第１映像信号３２を電磁波に変換して送出する。第１無線通信部１４ａと第１アンテナ１５ａとは、第１送信部を構成する。
　第２無線通信部１４ｂは、第２映像信号３３をデジタル映像信号として画像処理装置２０に送信するための、圧縮処理、及び、伝送処理等を実行することができる。圧縮処理は、実質的に情報の内容を変化させずに、データの量を低減する。圧縮処理には、例えば、ＭＰＥＧ－２、Ｈ．２６４／ＭＰＥＧ－４ ＡＶＣ(Advanced Video Coding)、及び、Ｈ．２６５等に従う動画圧縮方式を採用することができる。第２無線通信部１４ｂは、圧縮処理に加え暗号化処理を行ってよい。伝送処理は、変調処理を含む。第２無線通信部１４ｂは、デジタル変調方式により映像信号を変調することができる。デジタル変調方式には、種々の公知の方式が含まれる。デジタル変調方式は、例えば、１６ＱＡＭ（Quadrature Amplitude Modulation）、及び、ＯＦＤＭ（直交周波数分割多重方式：Orthogonal Frequency Division Multiplexing）等を含む。
　画像送信装置１０と画像処理装置２０との間は、公知のデジタル方式による無線映像伝送装置により直接接続することができる。画像送信装置１０と画像処理装置２０との間の通信は、無線ＬＡＮ及びインターネットで使用されるＩＰ（Internet Protocol）、及び、ＵＤＰ（User Datagram Protocol）等のプロトコルを用いて行ってよい。第２無線通信部１４ｂは、ＩＰ及びＵＤＰ等のプロトコルの処理を行ってよい。
　第２無線通信部１４ｂは、通信用の回路により構成される。第２無線通信部１４ｂの機能は、ＩＣ、ＬＳＩ、ＡＳＩＣ及びＦＰＧＡ等に実装されてよい。第２無線通信部１４ｂの行う処理の一部は、第１映像処理部１３に含まれるプロセッサと同じプロセッサにより実行されてよい。
　第２アンテナ１５ｂは、送信用に変調された第２映像信号３３を電磁波に変換して送出する。第２無線通信部１４ｂと第２アンテナ１５ｂとは、第２送信部を構成する。第１送信部と第２送信部とは、まとめて送信部と称することができる。
　上記の構成により、アナログ映像である第１映像信号３２は、第１無線通信部１４ａにより順次送信される。一方、デジタル映像である第２映像信号３３は、第２無線通信部１４ｂにより順次送信される。デジタル画像である第２映像信号３３は、映像データの圧縮、暗号化及び変調等の処理を伴うため、第１画像３４に比べて第２画像３５が画像処理装置２０から表示装置に出力可能となるまでの遅延時間が大きい。
（画像処理装置の構成例）
　画像処理装置２０は、図５に示すように、第３アンテナ２１ａ、第４アンテナ２１ｂ、第３無線通信部２２ａ、第４無線通信部２２ｂ、第２映像処理部２３、及び、出力装置２４を含む。また、第１映像がアナログ映像の場合、画像処理装置２０は、ＡＤＣ（Analog Digital Converter）２５、を含む。さらに、画像処理装置２０は、記憶部２６を含んでよい。
　第３アンテナ２１ａは、第１映像信号３２を含む電磁波を受信し、電気信号に変換して第３無線通信部２２ａに出力する。
　第１映像信号３２がアナログ信号の場合、第３無線通信部２２ａは、第３アンテナ２１ａから受け取った信号を復調してアナログの第１映像信号３２を復元する。第３無線通信部２２ａは、通信用の回路により構成される。通信用の回路は、ＩＣ及びＬＳＩ等を含んでよい。第３アンテナ２１ａと第３無線通信部２２ａは、第１受信部を構成する。第１受信部はアナログ伝送方式に対応する。
　ＡＤＣ２５は、アナログの映像信号をデジタルの映像信号に変換する。ＡＤＣ２５は、任意の形式のアナログ映像信号を任意の形式のデジタル映像信号に変換してよい。ＡＤＣ２５は、例えば、ＮＴＳＣ方式又はＰＡＬ方式のアナログ映像を、ＲＧＢ８８８に又はＹＵＶ４２２の画像フォーマットに従うデジタル映像信号に変換してよい。ＡＤＣ２５は、デジタル信号に変換された第１映像信号３２を第２映像処理部２３に出力するように構成される。第１受信部で受信された第１映像信号３２がデジタル信号の場合、ＡＤＣ２５は不要である。
　第４アンテナ２１ｂは、第２映像信号３３を含む電磁波を受信し、電気信号に変換して第４無線通信部２２ｂに出力する。
　第４無線通信部２２ｂは、第４アンテナ２１ｂから受け取った信号を復調してデジタル信号である第２映像信号３３を復元する。第２映像信号３３が、ＩＰ及びＵＤＰ等のプロトコルを用いて伝送されているとき、第４無線通信部２２ｂは、ＩＰ及びＵＤＰ等に従うプロトコル処理を行ってよい。第４無線通信部２２ｂは、第２無線通信部１４ｂとの間で、誤り訂正及び欠落した情報の再送受信等の処理を行うことができる。第４無線通信部２２ｂは、さらに、第２無線通信部１４ｂで圧縮処理を受けた第２映像信号３３を伸長する処理を行う。第２無線通信部１４ｂは、第２映像信号３３が暗号化されている場合は、復号化処理を行ってよい。第４無線通信部２２ｂは、通信用の回路により構成される。第４無線通信部２２ｂの機能は、ＩＣ、ＬＳＩ、ＡＳＩＣ及びＦＰＧＡ等に実装されてよい。第２無線通信部１４ｂの行う処理の一部は、第２映像処理部２３に含まれるプロセッサと同じプロセッサにより実行されてよい。第４アンテナ２１ｂと第４無線通信部２２ｂは、第２受信部を構成する。第２受信部は、デジタル伝送方式に対応する。第４無線通信部２２ｂは、第２映像信号３３を第２映像処理部２３に出力するように構成される。第１受信部と第２受信部とは、合わせて受信部と呼ぶことができる。
　第２映像処理部２３は、第１映像信号３２及び第２映像信号３３に基づいて、表示用の映像を出力する。第２映像処理部２３は、第１映像処理部１３と同様に、一つまたは複数のプロセッサを含む。第２映像処理部２３は、第１プロセッサに対応する。
　第２映像処理部２３は、第１映像信号３２及び第２映像信号３３に含まれる各フレームの画像を順次取得する。第１映像信号３２は、第２映像信号３３に比べデータ量が少ない。第１映像信号３２がアナログ映像信号の場合、第３無線通信部２２ａは、第１映像信号３２に関して、ノイズに対するデータの補正、及び、エラーに対する誤り訂正等を行わない。このため、第１映像信号３２は画質が低いが、遅延は小さい。一方、第２映像信号３３は、高解像度のためデータ量が大きいこと、圧縮及び伸長処理を受けること、誤り処理及びデータの再送信を伴うこと、等の何れか一つ以上の理由により、第１映像信号３２と比較してより大きな遅延を含む。さらに、第２映像処理部２３は、第２映像信号３３に対して多様なデジタル演算処理を行うことができる。しかし、各種のデジタル処理を行うことが、さらに遅延を生じさせる原因となりうる。これに対して、第１映像信号３２は、第２映像処理部２３により実時間に近いタイミングで受信される。すなわち、第１映像信号３２は第２映像信号３３に比べてリアルタイム性が高い。また、第２映像信号３３は、第２無線通信部１４ｂ及び第４無線通信部２２ｂの内部処理及び無線転送のエラー発生に伴う再送処理等により、遅延時間にバラつきが生じうる。
　第１映像信号３２及び第２映像信号３３の遅延時間が、図６を用いて説明される。図６は、所定の時間に撮像された第１映像信号３２及び第２映像信号３３に含まれる各フレームの画像が、第２映像処理部２３に受信されるまでに要する時間を示す。遅延時間αは、第１映像信号３２に含まれる画像の撮像時点から第２映像処理部２３が第１受信部を経由して当該画像を取得するまでにかかる時間とする。遅延時間βは、第２映像信号３３に含まれる画像の撮像時点から第２映像処理部２３が第２受信部を経由して当該画像を取得するまでにかかる時間とする。遅延時間αは、遅延時間βよりも短い。例えば、遅延時間βは、遅延時間αの倍以上長いものとする。また、遅延時間βは、第２映像信号３３の隣接するフレーム間の時間よりも長いものとする。
　現在の時点を現時点ｔ０とするとき、第２映像処理部２３は、遅延時間αに相当する時間だけ過去の時点である第１時点ｔ１において撮像された第１映像の画像を受信する。第１画像３４は、第１時点ｔ１に撮像された第１映像信号３２に含まれる１フレームの画像である。第２映像処理部２３は、遅延時間βに相当する時間だけ過去の時点である第２時点ｔ２に撮像された第２映像の画像を受信する。第２画像３５は、第２時点ｔ２に撮像された第２映像信号３３に含まれる１フレームの画像である。第１画像３４及び第２画像３５は、現時点ｔ０に第２映像処理部２３に受け取られた画像でなくてよい。第１画像３４及び第２画像３５は、それぞれ第１映像及び第２映像の各フレームの画像の中で、現時点ｔ０から最も近い過去に第２映像処理部２３が取得した画像とすることができる。
　第２映像処理部２３は、各時点において取得した第１画像３４及び第２画像３５を記憶部２６に順次記憶させてよい。第２映像処理部２３は、記憶部２６により記憶された第１画像３４及び第２画像３５を用いて、順次処理を行うことができる。
　第１画像３４と第２画像３５とは、撮像されたタイミングは異なるが、同一の撮像部で撮像されているため、それほど大きな違いがあるわけではなく、第２画像３５に第１画像３４の全部又は一部が含まれうる。第２映像処理部２３は、第１画像３４と第２画像３５とのマッチング処理を行うことにより、第２画像３５中の第１画像３４に対応する領域を抽出することができる。対応する領域とは、第１画像３４と第２画像３５が撮像されたタイミングに起因する大きさの違いはあっても、撮像された対象が一致、もしくは十分に近似している領域である。例えば図２に表された第２画像は旗とポールの全体が撮影されており、第１画像は旗の一部が撮影されている。この場合、第２画像のうち、第１画像に相当する旗の一部の領域が対応する領域となる。マッチング処理には、種々の公知の方法を使用することができる。マッチング処理の方法には、領域ベースマッチングと特徴ベースマッチングとが含まれる。領域ベースマッチングには、テンプレートを用いたマッチングが含まれる。特徴ベースマッチングは、特徴となる点である特徴点を抽出して画像間で対応付けることにより行うことができる。
　第２映像処理部２３は、マッチング処理の結果から、第２画像３５中の画像の切り出し範囲を決定する。第２画像３５中の切り出し範囲は、第１画像３４の少なくとも一部に対応する第２画像３５中の少なくとも一部分である。第２画像３５中には、第１画像３４の一部ではなく、第１画像３４の全部に対応する部分が含まれてよい。例えば、図２に示すように、移動体３０が対象３１に向かって移動しているような場合、第１画像３４の全部に対応する画像が第２画像３５に含まれうる。また、図２とは反対向きに、移動体３０が対象３１から遠ざかる方向に移動しているような場合、第１画像３４の一部が第２画像３５の全部に含まれうる。
　第２映像処理部２３は、第２画像３５の切り出し範囲の画像を切り出すことができる。以下に、第２画像３５の切り出し範囲の画像を第３画像と呼ぶ。第３画像は、切り出し画像と言い換えうる。第２映像処理部２３は、第１画像３４の大きさに合わせて、第３画像を拡大又は縮小することにより補正した第４画像を生成することができる。第４画像は補正画像と言い換えることができる。第４画像は、第３画像を、画像送信装置１０の撮像光学系１１が第１時点ｔ１における対象３１との位置関係にある場合に得られる画像に近づけるように補正した画像となる。
　また、第２映像処理部２３は、第１画像３４が第４画像に含まれない領域を含む場合、第４画像と第１画像３４の補正画像に含まれない部分を組み合わせる処理を行ってよい。
　さらに、第２映像処理部２３は、第１画像３４に含まれる物体像であって、第４画像上の位置とは異なる位置に位置する物体像があるとき、当該物体を動的オブジェクトと認識しうる。動的オブジェクトは画像送信装置１０を搭載した移動体３０の移動とは独立して移動または動作する物体である。動的オブジェクトは、時間と共に背景の画像に対して移動する。第２映像処理部２３は、動的オブジェクトが第４画像上でより適切に表示されるように、第１画像３４を第４画像と組み合わせて画像の合成を行うことができる。このようにして第４画像に第１画像３４の一部を合成して生成した画像、又は、第４画像に特定の処理を施した画像を第５画像とよぶ。第５画像は、合成画像と言い換えうる。これらの処理内容については、さらに後述する。
　第２映像処理部２３は、出力装置２４に対して第４画像又は第５画像を表示用画像として出力する。第４画像に第１画像３４の撮像領域と比較して不足する部分が無い場合、及び、第１画像３４又は第４画像に動的オブジェクトが含まれない場合、比較的負荷の低い処理により第４画像が表示用画像として出力される。第４画像に第１画像３４の撮像領域と比較して不足する部分があるとき、又は、第１画像３４若しくは第４画像に動的オブジェクトが含まれる場合、第５画像が表示用画像として出力される。第２映像処理部２３は、順次取得する１映像及び第２映像の各フレームの画像に基づいて、順次表示用画像を出力する。
　出力装置２４は、第２映像処理部２３から出力された映像を表示する表示装置とすることができる。出力装置２４は、例えば、液晶ディスプレイ（ＬＣＤ:Liquid Crystal Display）、有機ＥＬ（Electro-Luminescence）ディスプレイ、無機ＥＬディスプレイ、プラズマディスプレイ（ＰＤＰ：Plasma Display Panel）等の種々の表示装置を採用しうる。出力装置２４は、画像処理装置２０の外部の装置に表示画像を送信する装置であってもよい。
（画像送信装置の他の構成例）
　図３を用いて説明した画像送信装置１０は、単一の撮像光学系１１及びイメージセンサ１２を用いて撮像した画像を複製して、第１画像３４及び第２画像３５を生成した。第１画像３４及び第２画像３５は、複数の異なる撮像光学系１１及びイメージセンサ１２を用いて撮像されることもできる。このような画像送信装置１０Ａの構成例が、図７に示される。以下の画像送信装置１０Ａの説明において、図３に示した画像送信装置１０と異なる部分について説明し、共通する部分については部分的に説明を省略する。
　図７に示すように、画像送信装置１０Ａは、第１撮像光学系１１ａ、第１イメージセンサ１２ａ、第２撮像光学系１１ｂ、及び、第２イメージセンサ１２ｂを含む。画像送信装置１０Ａは、さらに、第１映像処理部１３、第１無線通信部１４ａ、第２無線通信部１４ｂ、第１アンテナ１５ａ及び第２アンテナ１５ｂを含む。第１映像処理部１３は、第１映像調整部１７ａ、第２映像調整部１７ｂ及び映像分離部１８を含む。第１撮像光学系１１ａ及び第１イメージセンサ１２ａは、第１撮像部と言い換えることができる。第２撮像光学系１１ｂ及び第２イメージセンサ１２ｂは、第２撮像部と言い換えることができる。
　第１撮像光学系１１ａ及び第１イメージセンサ１２ａは、第１映像を撮像する。第２撮像光学系１１ｂ及び第２イメージセンサ１２ｂは、第２映像を撮像する。第１撮像光学系１１ａと第２撮像光学系１１ｂとは、互いに異なる光学特性を有してよい。例えば、第２撮像光学系１１ｂは、第１撮像光学系１１ａに比べて、広角のレンズを含んでよい。すなわち、第２撮像光学系１１ｂは、第１撮像光学系１１ａに比べて、広い範囲の映像を、第２イメージセンサ１２ｂに結像させることができてよい。また、第１イメージセンサ１２ａと第２イメージセンサ１２ｂとは互いに異なってよい。例えば、第２イメージセンサ１２ｂは、第１イメージセンサ１２ａに比べて、画素数が多く画素密度が高いイメージセンサとすることができる。この場合、第２映像に含まれる第２画像３５は、第１映像に含まれる第１画像３４よりも解像度を高くすることができる。
　図８は、画像送信装置１０Ａを搭載した移動体３０Ａであるドローンの一例を示す図である。移動体３０Ａに搭載された画像送信装置１０Ａは、図８に示されるように、移動体３０Ａの進行方向斜め下向きを撮像するための第１撮像光学系１１ａと、移動体３０の下側を３６０度撮像するための第２撮像光学系１１ｂを含んでよい。
　第１映像調整部１７ａ及び第２映像調整部１７ｂは、それぞれ、第１イメージセンサ１２ａ及び第２イメージセンサ１２ｂから出力された映像のＲＡＷデータに対して、図３の映像調整部１７と同様に種々の調整を行うように構成される。
　映像分離部１８は、第１映像調整部１７ａで調整された映像信号を第１映像信号３２として第１無線通信部１４ａに出力する。映像分離部１８は、第２映像調整部１７ｂで調整された映像信号を第２映像信号３３として第２無線通信部１４ｂに出力する。図７では、図３と異なり、第１映像信号３２をデジタル映像信号のまま画像処理装置２０に送信するので、ＤＡＣ１６を設けていない。図７の画像送信装置１０Ａにおいても、ＤＡＣ１６を設け、ＤＡＣ１６が第１映像信号３２をアナログ信号に変換して画像処理装置２０に送信するように構成されてもよい。その場合、後述する画像処理装置２０Ａには、図５に記載されているものと同様のＡＤＣ２５を設ける。
　単位時間当たりに送信される第２映像信号３３のデータ量は、第１映像信号３２のデータ量よりも大きい。例えば、第２映像信号３３のデータ量は、第１映像信号３２のデータ量の２倍以上、５倍以上又は１０倍以上とすることができる。映像分離部１８は、第１映像信号３２及び第２映像信号３３にタイミング情報を付加してよい。図７の画像送信装置１０Ａでは、第１映像信号３２及び第２映像信号３３は、双方ともにデジタル信号のまま、画像処理装置２０Ａ（図９参照）に送信される。タイミング情報は、第１映像信号３２及び第２映像信号３３に付加することができる。
　第１無線通信部１４ａ及び第２無線通信部１４ｂは、それぞれ、映像分離部１８から取得したデジタル信号の第１映像信号３２及び第２映像信号３３に対して、圧縮処理、暗号化処理、及び、伝送処理等を実行してよい。第１無線通信部１４ａは、第２無線通信部１４ｂに比べて、映像信号の処理及び伝送に係る負荷が低くなるような方式を採用してよい。例えば、第１無線通信部１４ａは、誤り訂正及びエラー発生時の再送信等をしないか、又は、極力減らした方式を採用してよい。
　第１映像信号３２及び第２映像信号３３は、それぞれ、第１アンテナ１５ａ及び第２アンテナ１５ｂにより電磁波に変換されて送信される。
　図７において、第２撮像光学系１１ｂ及び第２イメージセンサ１２ｂは、それぞれ一つに限られない。画像送信装置１０Ａは、複数の第２撮像光学系１１ｂ及び第２イメージセンサ１２ｂの組を有し、映像分離部１８は、それぞれの第２イメージセンサ１２ｂから出力された映像を結合して、一つの第２映像信号３３を生成してもよい。
（画像処理装置の他の構成例）
　図９は、図７の画像送信装置１０Ａに対応する画像処理装置２０Ａの構成例を示す。画像処理装置２０Ａは、第３無線通信部２２ａがデジタル映像信号を受信すること、第３無線通信部２２ａと第２映像処理部２３との間にＡＤＣ２５を含まないことを除き、図５の画像処理装置２０と類似に構成される。以下の画像処理装置２０Ａの説明において、図７に示した画像処理装置２０と異なる部分について説明し、共通する部分については部分的に説明を省略する。
　第３アンテナ２１ａ及び第４アンテナ２１ｂは、それぞれ、デジタル変調された第１映像信号３２及び第２映像信号３３を受信することができる。第３無線通信部２２ａ及び第４無線通信部２２ｂは、それぞれ、第１映像信号３２及び第２映像信号３３の復調、圧縮された映像信号の伸長、エラー処理等を実行してよい。
　第３無線通信部２２ａで処理される第１映像信号３２は、第２映像信号３３よりもデータ量が小さい。また、第３無線通信部２２ａでは、第１無線通信部１４ａと共に、比較的処理負荷が小さい映像圧縮及び伝送方式を採用してよい。一方、第４無線通信部２２ｂにおいて処理される第２映像信号３３は、第１映像信号３２よりもデータ量が大きい。このため、第４無線通信部２２ｂでは、映像信号の復調処理、伸長処理、並びに、データの補正及び誤り訂正等の処理が増大し、その処理時間に伴いより大きい映像遅延が発生する。
　図１０は、広画角の画像を撮像可能な第２撮像光学系１１ｂ及び第２イメージセンサ１２ｂにより撮像される第２映像信号３３に含まれる第２画像３５の一例を示す。図１０において、第２映像信号３３に含まれる第１画像３４に対応する切り出し範囲５１（第３画像に相当する）は、第２画像３５全体よりもかなり小さく設定される。このため、第２画像３５は常に第１画像３４に対応する画像全体を含むことができる。このようにすることによって、常に第２画像３５から切り出して拡大又は縮小した第４画像の欠落部分に第１画像３４を補うために、第４画像に第１画像３４の一部を合成する必要がなくなる。第２撮像光学系１１ｂ及び第２イメージセンサ１２ｂによる撮像範囲は、第１画像３４と第２画像３５との遅延時間の差、及び、移動体３０の前進速度及び回転速度の上限値等を考慮して決定されてよい。
（画像送信装置の処理）
　次に、画像処理システム１の実行する画像処理方法について説明する。画像送信装置１０は、図１１のフローチャートに例示される処理を実行する。
　まず、イメージセンサ１２が、撮像光学系１１により受光面に結像された対象３１の像を電気信号に変換する（ステップＳ１０１）。
　第１映像処理部１３において、映像調整部１７が、イメージセンサ１２から出力された映像の調整を行う（ステップＳ１０２）。
　第１映像処理部１３において、映像分離部１８が、映像信号を複製する（ステップＳ１０３）。元の映像信号と複製された映像信号との２つの映像信号の一方を、第１映像信号３２とし、他方を第２映像信号３３とする。映像分離部１８は、さらに、第２映像信号３３の解像度を低下させる処理を実行してよい。
　図７に示した画像送信装置１０Ａの場合、上記ステップＳ１０１及びステップＳ１０２は、第１撮像部及び第２撮像部のそれぞれについて実行される。また、ステップＳ１０３の映像信号の複製は行わなくてよい。映像分離部１８は、第１撮像部及び第２撮像部のそれぞれから出力された映像信号を第１映像信号３２及び第２映像信号３３としてよい。以下のステップは、画像送信装置１０と画像送信装置１０Ａとで同じである。
　第１映像処理部１３において、映像分離部１８が、第１映像信号３２及び第２映像信号３３にタイミング情報を付加する（ステップＳ１０４）。映像分離部１８は、タイミング情報として、第１映像信号３２及び第２映像信号３３に含まれる各フレームの画像のフレーム番号を映像信号に付加することができる。また、映像分離部１８は、第１映像が以降の処理でアナログ映像に変換される場合、第１映像に対して、図４において示したように、各フレームの画像に含まれる一部のピクセルを書き換えることにより、タイミング情報を割り当てることができる。
　映像分離部１８は、第１映像信号３２及び第２映像信号３３をそれぞれの送信経路に渡す（ステップＳ１０５）。第１映像信号３２がアナログ信号に変換される場合、映像分離部１８は第１映像信号３２を、ＤＡＣ１６に出力する。第１映像信号３２がデジタル信号のまま処理される場合、第１映像信号３２は第１無線通信部１４ａに出力される。第２映像信号３３は、第２無線通信部１４ｂに出力される。
　第１映像信号３２がアナログ信号に変換される場合、ＤＡＣ１６は、映像分離部１８から受け取った第１映像信号３２をデジタル信号からアナログ信号に変換する（ステップＳ１０６）。ＤＡＣ１６は、アナログ信号に変換した第１映像信号３２を、第１無線通信部１４ａに出力する。第１映像信号３２がデジタル信号のまま送信される場合、ステップＳ１０６は、無くてよい。
　第１無線通信部１４ａ及び第２無線通信部１４ｂは、それぞれ第１映像信号３２及び第２映像信号３３を無線通信のために変調する（ステップＳ１０７）。第２無線通信部１４ｂでは、変調処理の前にデジタル信号の第２映像信号３３を圧縮及び暗号化等する処理を行ってよい。第１映像信号３２は第２映像信号３３よりもデータ量が少ない。また、第１映像信号３２がアナログ信号の場合、第１無線通信部１４ａは、変調処理の前に圧縮及び暗号化の処理を行わない。このため、第１無線通信部１４ａで発生する遅延時間は、第２無線通信部１４ｂで発生する遅延時間よりも短い。
　第１無線通信部１４ａは、第１アンテナ１５ａにより第１映像信号３２を電磁波に変換して送信する。第２無線通信部１４ｂは、第２アンテナ１５ｂにより第２映像信号３３を電磁波に変換して送信する（ステップＳ１０８）。
　以上の処理を実行することにより、画像送信装置１０、１０Ａは、同一の移動体３０、３０Ａから撮像した解像度が低いが遅延時間が小さく実時間性の高い第１映像と、解像度が高いが第１映像よりも遅延時間が大きい第２映像とを、画像処理装置２０、２０Ａに送信することができる。
（画像処理装置の処理）
　画像処理装置２０、２０Ａは、図１２のフローチャートに例示される処理を実行する。以下に、画像処理装置２０、２０Ａが行う処理を、図１２に従って説明する。
　まず、第３アンテナ２１ａ及び第４アンテナ２１ｂが、それぞれ、第１映像信号３２及び第２映像信号３３を受信する（ステップＳ２０１）。
　第１映像信号３２及び第２映像信号３３は、それぞれ、第３無線通信部２２ａ及び第４無線通信部２２ｂにおいて、復調される（ステップＳ２０２）。第４無線通信部２２ｂではさらに、エラーの訂正、圧縮された画像信号の伸長、及び、暗号化された画像信号の復号化を行ってよい。第４無線通信部２２ｂは、第２映像信号３３を第２映像処理部２３に出力する。
　第１映像信号３２がアナログ信号の場合、第３無線通信部２２ａは、第１映像信号３２をＡＤＣ２５に出力する。ＡＤＣ２５は、アナログの第１映像信号３２をデジタル信号に変換する（ステップＳ２０３）。ＡＤＣ２５は、デジタル映像に変換された第１映像信号３２を第２映像処理部２３に出力する。第１映像信号３２がデジタル信号の場合、ステップＳ２０３は無くてよい。この場合、第３無線通信部２２ａは、第１映像信号３２に対してエラーの訂正及び圧縮された画像信号の伸長等の処理を行ってよい。第１映像信号３２は、第２映像処理部２３に出力される。
　第２映像処理部２３は、第１映像信号３２及び第２映像信号３３に含まれる各フレームの画像を取得する。一例として、第２映像処理部２３は、第１映像信号３２から図１３に示すような第１画像３４を取得する。また、第２映像処理部２３は、第２映像信号３３から図１４に示すような第２画像３５を取得する（ステップＳ２０４）。図１３で示される第１画像３４は、図１４で示される第２画像３５に含まれる旗により接近した状態で撮影されることで得られる画像である。すなわち、第１画像３４と第２画像３５とは、撮影された時点が異なる。図１３の第１画像３４は、図１４の第２画像３５よりも解像度が低い画像である。第２画像３５は、第１画像３４よりも解像度が高い画像である。第２画像３５は、第１画像３４が撮像された第１時点ｔ１よりも過去の第２時点ｔ２に撮像された画像である。
　第２映像処理部２３は、第１画像３４と第２画像３５とのマッチングを行う（ステップＳ２０５）。第２映像処理部２３は、第２画像３５内の第１画像３４に対応する部分を抽出する。第２映像処理部２３は、第２画像３５に含まれる第１画像３４に対応する部分を切り出し範囲５１として確定する。図１４の例において、切り出し範囲５１は一点鎖線で囲まれた領域である。
　第２映像処理部２３は、第２画像３５から切り出し範囲５１の画像を第３画像として切り出す（ステップＳ２０６）。第２映像処理部２３は、第２画像３５から切り出した第３画像を、撮像光学系１１が第１時点ｔ１の地点Ｂにある場合に対象３１を撮像した画像に近づけるように、拡大又は縮小を行い、第４画像を生成する（ステップＳ２０７）。言い換えると、図２において、第２映像処理部２３は、第２時点ｔ２に地点Ａにおいて撮像した第２画像３５を、現時点ｔ０により近い第１時点ｔ１に地点Ｂで撮像した画像に近づけるように、画像の拡大又は縮小を行う。撮影対象と地点Ａとの距離が、地点Ｂとの距離よりも遠い場合、通常は切り出した第３画像を拡大することで、地点Ｂで撮像した画像に近づけることができる。
　第２映像処理部２３は、第４画像と第１画像３４とを比較し、第１画像３４に第４画像に含まれていない部分がある場合、第１画像３４から第４画像に含まれていない部分に対応する画像を取得し、第４画像と合成する（ステップＳ２０８）。
　第２映像処理部２３は、第１画像３４及び第２画像３５の何れかにおいて、背景の画像に対して移動する物体像があるとき、当該物体を動的オブジェクトと判断する。第２映像処理部２３は、動的オブジェクトが存在する場合、第４画像に対して動的オブジェクトを適切に表示するための処理を行う（ステップＳ２０９）。第２映像処理部２３は、ステップＳ２０７において生成した第４画像に対して、必要に応じて、ステップＳ２０８及びステップＳ２０９の処理を行った画像を表示用画像３６である第５画像とする。
　第４画像が第１画像３４に含まれていない部分が無く、第１画像３４及び第２画像３５に動的オブジェクトが含まれない場合、ステップＳ２０８及びステップＳ２０９は実行されない。この場合、ステップＳ２０７で生成された第４画像は、表示用画像３６となる。
　第２映像処理部２３は、表示用画像３６を、出力装置２４に出力して表示させる（ステップＳ２１０）。図１５は、ステップＳ２０８及びＳ２０９を実行しない場合の出力装置２４に表示される表示用画像３６を例示する。本開示の単純な実施形態では、ステップＳ２０８及びステップＳ２０９の処理を実装しなくてもよい。表示用画像３６は、第１画像３４よりも解像度が高い画像として表示される。第２映像処理部２３は、順次取得する第１映像及び第２映像に含まれる各フレームの画像に対して、上述のような処理を実行する。したがって、表示用画像３６は動画として表示される。
　このように、画像処理システム１によれば、画像処理装置２０、２０Ａは、高解像度であるが遅延の大きい第２画像３５を、低解像度ながらより遅延の小さい第１画像３４に基づいて切り出し拡大又は縮小等の補正をする。これによって、第２画像３５の一部をより遅延の影響を低減して現時点ｔ０の画像に近づけて表示することが可能になる。また、本開示の方法は、第１映像に対する不足部分が無く、且つ、動的オブジェクトが存在しない環境下では、第２画像３５からが第１画像３４に対応する一部の画像を切り出して拡大又は縮小するという、比較的負荷の軽い処理で実行することができる。したがって、画像処理システム１は、比較的小規模なシステムで実現することができる。
（補正画像に不足部分がある場合の処理の例）
　図１３及び図１４では、第１画像３４の表示する対象３１が第２画像３５に包含されていた。しかし、移動体３０は、移動中に移動する方向又は向きを変えることがある。そのような場合、第１画像３４が第２画像３５からフレームアウトすることがある。すなわち、第１画像３４の全てが、必ずしも第２画像３５に含まれない。図１２のステップＳ２０８は、このような場合を考慮した処理を実行する。図１６を参照してステップＳ２０８の処理について説明する。
　まず、第２映像処理部２３は、第１画像３４中に第４画像の表示する範囲に含まれない部分があるか判定する（ステップＳ３０１）。
　一例として、第１画像３４を図１７、第２画像３５を図１８に示す。第２画像３５は第１画像３４よりも解像度が高い。第２画像３５は第１画像３４よりも互いの遅延時間の差に相当する時間だけ過去の時点に撮像された画像である。第２画像３５を撮像した第２時点ｔ２から第１画像３４を撮像した第１時点ｔ１までの間に、画像送信装置１０、１０Ａの撮像光学系１１の向きが変化することがある。このため、第２画像３５は、図１８に示したように第１画像３４の撮像範囲の全体を包含していない場合がある。図１８の例では、第２画像３５の切り出し範囲５１には、第１画像３４の左側及び上側に対応する領域が含まれていない。このような場合、第２映像処理部２３は、ステップＳ２０５の結果に基づいて、第１画像３４中に第４画像の表示する範囲に含まれない部分があると判定することができる（ステップＳ３０１：Ｙｅｓ）。この場合、第２映像処理部２３の処理はステップＳ３０２に進む。
　ステップＳ３０２において、第２映像処理部２３は、第４画像に対して、不足部分の画像を、第１画像３４から切り出して組み合わせた第５画像を生成する（ステップＳ３０２）。すなわち、第５画像は、第４画像の一部の領域と第１画像の一部の領域を組み合わせた画像となる。
　第２映像処理部２３は、さらに、第１画像３４に基づいて第４画像に対して合成した部分を強調してよい（ステップＳ３０３）。例えば、第２映像処理部２３は、第１画像３４から合成された部分の周りを、太い枠線で囲んで強調してよい。第２映像処理部２３は、ステップＳ３０３を含まなくてもよい。第２映像処理部２３は、ステップＳ３０３とは異なり、第１画像３４と第４画像との合成部分が目立たないようにさせる処理を行ってよい。
　第２映像処理部２３は、例えば図１９に示すように、第２画像３５から切り出され拡大された高解像度の第１部分画像５２に、第１画像３４から切り出された低解像の第２部分画像５３を組み合わせて表示用画像３６である第５画像とすることができる。第１部分画像５２は、第４画像に相当する。
　一方、ステップＳ３０１において、例えば図１４で示したように、第２画像３５が、第１画像３４全体を内側に包含している場合、第１画像３４中に補正画像に含まれない部分は無い（ステップＳ３０１：Ｎｏ）。例えば、図１０に示したように、第２映像の画角が第１映像の画角よりも十分大きい場合、ステップＳ３０１は常にＮｏにすることができる。この場合、第２映像処理部２３は、第１画像３４の一部を第４画像に対して合成する処理を行わない。
　上記のように、画像処理装置２０、２０Ａは、第４画像の不足部分に第１画像３４から切り出した画像を合成することにより、画像撮像中に画像送信装置１０、１０Ａの向きが変化しても、表示用画像３６の一部が欠けることなく画像を出力し続けることができる。したがって、画像処理装置２０、２０Ａは、継続的に安定した映像の表示が可能である。
（動的オブジェクトの表示）
　画像送信装置１０が撮像する範囲には、撮像の対象３１に背景に対して移動する動的オブジェクトを含む場合がある。動的オブジェクトは、第２画像３５を撮像する第２時点ｔ２と、第１画像３４を撮像する第１時点ｔ１との間で移動する。このため、第２画像３５上の動的オブジェクトの位置は、第１画像３４上の動的オブジェクトの位置とは異なる。遅延時間の大きい第２画像３５の一部を拡大又は縮小した画像では、動的オブジェクトの現時点ｔ０での位置を反映していない。そのため、動的オブジェクトは、特別な方法及び態様で表示用画像３６に表示される必要がある。図１２のステップＳ２０９は、このような場合の処理を実行する。以下に、ステップＳ２０９の処理について説明する。
　（動的オブジェクトの表示方法１）
　図２０は、動的オブジェクトの表示方法を説明するフロー図である。
　第２映像処理部２３は、第１画像３４と、第２画像３５から切り出した第３画像を拡張又は縮小した第４画像とを対比する。第２映像処理部２３は、第１画像３４と第４画像との差分から動的オブジェクトを判定することができる（ステップＳ４０１）。第２映像処理部２３は、第１画像３４上で、第４画像上の位置に適合しない位置に位置する物体像があるとき、当該物体像に係る物体を動的オブジェクトと判断することができる。例えば、第２映像処理部２３は、第１画像３４と第４画像との間で、画素値の差が大きい画素が集まっている領域を、動的オブジェクトが存在する領域であると判定しうる。動的オブジェクトは、例えば、人、車両、自転車、動物等を含む。
　一例として、図２１は第１画像３４を示す。図２２は第２画像３５を示す。第１画像３４と第２画像３５の切り出し範囲６２の画像とは、対象３１の背景に対する動的オブジェクト６１の相対的な位置が異なっている。第２画像３５は第１画像３４よりも過去の画像である。したがって、第１画像３４が撮像された第１時点ｔ１において動的オブジェクト６１は、図２２の動的オブジェクト６１が表示されている位置にはいない。
　第２映像処理部２３は、第４画像上に、動的オブジェクト６１が含まれると判定される領域を特定する画像要素を合成して第５画像を生成する（ステップＳ４０２）。第２映像処理部２３は、動的オブジェクト６１を強調するための任意の形状の画像要素を第４画像上に合成してよい。例えば、図２３に示すように、第２映像処理部２３は、第４画像の動的オブジェクト６１の周りに枠線６３を設けてよい。或いは、第２映像処理部２３は、動的オブジェクト６１の画像にエッジを強調する処理をしてよい。第５画像は表示用画像３６として出力装置２４に出力される。画像処理システム１の利用者は、出力装置２４に表示された第５画像を強調表示する画像要素を見ることにより、表示されている動的オブジェクト６１が過去の時点のものであることを認識することができる。
　第２映像処理部２３は、さらに、第１画像３４の中の動的オブジェクト６１が存在すると判定される領域に対応する第５画像上の領域に、任意の画像要素を配置してよい。例えば、図２３に例示するように、画像要素は枠線６４とすることができる。画像処理システム１の利用者は、この枠線６４を見ることにより、表示されている動的オブジェクト６１の現時点ｔ０により近い第１時点ｔ１の位置を知ることができる。
（動的オブジェクトの表示方法２）
　図２４は、動的オブジェクト６１の他の表示方法を説明するフロー図である。第２映像処理部２３は、図２０のステップＳ４０１と同様に、第２画像３５から切り出して拡大又は縮小した第４画像と第１画像３４との差分から動的オブジェクト６１の存在する領域を判定する（ステップＳ５０１）。
　第２映像処理部２３は、第４画像中の動的オブジェクト６１が存在する領域の画像を、第１画像３４の対応する領域の画像に置き換える（ステップＳ５０２）。一例として、図２５に示すように、第４画像中の動的オブジェクト６１が表示されていた領域６５から動的オブジェクト６１の画像が削除される。図２５において、削除された動的オブジェクト６１と動的オブジェクト６１が表示されていた領域６５とは、説明のため破線で示される。この破線は、実際の画像では表示しない。動的オブジェクト６１が表示されていた領域６５は、第１画像３４から取得された対応する領域の背景の画像に置き換えられてよい。
　第２映像処理部２３は、第４画像中の第１画像３４の動的オブジェクト６１の存在する領域に対応する領域の画像を、第１画像３４中の動的オブジェクト６１を含む領域の画像に置き換える（ステップＳ５０３）。これにより、第１画像３４の動的オブジェクト６１が表示される領域に対応する第４画像の領域に、図２５に実線で示される動的オブジェクト６１の画像が付加される。これによって、第５画像が生成される。解像度は低くなるが、動的オブジェクト６１が第５画像上でより実時間に存在する位置に近い位置に表示される。
　さらに、第２映像処理部２３は、必須ではないが、第５画像中の、第１画像３４の動的オブジェクト６１により置き換えられた動的オブジェクト６１を強調する画像要素を付加してよい（ステップＳ５０４）。例えば、図２５に示すように、第２映像処理部２３は、第５画像上の動的オブジェクト６１の周りに枠線６３を表示してよい。これにより、利用者は、出力装置２４に表示された画像に示される動的オブジェクト６１が合成された画像であることを認識することができる。
（動的オブジェクトの表示方法３）
　図２６は、動的オブジェクト６１のさらに他の表示方法を説明するフロー図である。この表示方法の前提として、第２映像処理部２３は、第２映像信号３３を受信すると、第２映像信号３３に含まれる各フレームの画像を第２画像として順次記憶部２６に記憶する。記憶部２６は、最近取得した複数の時点に撮像された第２画像３５を時系列で保持する。記憶部２６は、さらに、ステップＳ１０４で第２映像信号３３の各フレームの画像に付加されたタイミング情報を取得して、それぞれの第２画像３５と関連付けて記憶する。
　第２映像処理部２３は、直近の連続する複数の時点に取得した複数の第２画像３５を記憶部２６から取得する（ステップＳ６０１）。
　第２映像処理部２３は、最近取得した第１画像３４に基づいて、それぞれの第２画像３５から第１画像３４に対応する切り出し範囲５１の第３画像を切り出す（ステップＳ６０２）。
　第２映像処理部２３は、第１画像３４に含まれるタイミング情報、及び、記憶部２６に記憶されたそれぞれの第２画像３５のタイミング情報を取得する。第２映像処理部２３は、取得したタイミング情報に基づいて、それぞれの第２画像３５と第１画像３４との遅延時間の差を算出する（ステップＳ６０３）。これとは異なる方法として、第２映像処理部２３は、移動体３０の速度を取得し、各第２画像３５に含まれる対象３１の大きさの変化に基づいて遅延時間の差を推定してよい。
　第２映像処理部２３は、それぞれの第２画像３５から切り出された第３画像を拡大又は縮小した複数の第４画像と遅延時間の差から、予測画像を生成する（ステップＳ６０４）。第２映像処理部２３は、複数の遅延時間の異なる第４画像から画像の動き量を推定し、第２時点ｔ２よりも未来の時点である第１時点ｔ１又は現時点ｔ０の画像を予測してよい。第２映像処理部２３は、複数の第４画像から映像変化ベクトルを算出し、遅延差に基づいて予測画像を生成してよい。第２映像処理部２３は、画像送信装置１０、１０Ａでフレーム番号に基づいて付与されたタイミング情報を用いることにより、第２画像３５の遅延時間のバラつきによる表示画像への影響を低減することができる。
　以上説明したように、本実施形態の画像処理システム１は、解像度が低いが遅延時間の短い第１画像３４と、解像度が高いが遅延時間の長い第２画像３５との２つの画像を用いて、より解像度の高い画像を表示させながら、遅延を小さくすることができる。すなわち、画像処理システム１は、高画質とリアルタイム性を両立させることができる。また、画像処理システム１は、第１映像信号３２をアナログ信号として伝送し、第２映像信号３３をデジタル信号として伝送した場合、アナログ伝送による実時間性と、デジタル伝送による高解像度との双方の有利な特徴を生かすことができる。
　さらに、本開示の方法は、第２映像の撮像範囲が第１映像を包含し、且つ、撮像対象に動的オブジェクト６１が含まれない静的オブジェクト中心の環境では、画像を切り出して拡大又は縮小するという比較的負荷の少ない処理で実現することができる。さらに、図７に示した２つの撮像部を有する構成では、第２撮像部の画角を第１撮像部の画角よりも十分大きくすることにより、第２画像３５から切り出した画像により、第１画像３４の撮像範囲を包含することが可能になる。これにより、画像送信装置１０Ａの第１撮像部が撮像する領域が変化した場合でも、第２画像３５から第１画像３４に対応する領域を切り出して表示することが容易になる。これにより、安定して第１画像３４に対応する画像全体を表示することができる。
　また、本実施形態の画像処理システム１は、撮像した画像中に動的オブジェクト６１が含まれる場合でも、第２画像の遅延時間に関わらず、利用者に対して動的オブジェクト６１を適切な位置又は適切な態様で表示させることができる。
　本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形又は修正を行うことが容易であることに注意されたい。従って、これらの変形又は修正は本開示の範囲に含まれることに留意されたい。例えば、各構成部又は各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部又はステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。本開示に係る実施形態について装置を中心に説明してきたが、本開示に係る実施形態は装置の各構成部が実行するステップを含む方法としても実現し得るものである。本開示に係る実施形態は装置が備えるプロセッサにより実行される方法、プログラム、又はプログラムを記録した記憶媒体としても実現し得るものである。本開示の範囲にはこれらも包含されるものと理解されたい。
　本開示において「第１」及び「第２」等の記載は、当該構成を区別するための識別子である。本開示における「第１」及び「第２」等の記載で区別された構成は、当該構成における番号を交換することができる。例えば、第１レンズは、第２レンズと識別子である「第１」と「第２」とを交換することができる。識別子の交換は同時に行われる。識別子の交換後も当該構成は区別される。識別子は削除してよい。識別子を削除した構成は、符号で区別される。本開示における「第１」及び「第２」等の識別子の記載のみに基づいて、当該構成の順序の解釈、小さい番号の識別子が存在することの根拠に利用してはならない。
　１　　　画像処理システム
　１０、１０Ａ　　画像送信装置
　１１　　撮像光学系（撮像部）
　１１ａ　第１撮像光学系（第１撮像部）
　１１ｂ　第２撮像光学系（第２撮像部）
　１２　　イメージセンサ（撮像部）
　１２ａ　第１イメージセンサ（第１撮像部）
　１２ｂ　第２イメージセンサ（第２撮像部）
　１３　　第１映像処理部（第２プロセッサ）
　１４ａ　第１無線通信部（第１送信部）
　１４ｂ　第２無線通信部（第２送信部）
　１５ａ　第１アンテナ（第１送信部）
　１５ｂ　第２アンテナ（第２送信部）
　１６　　ＤＡＣ
　１７　　映像調整部
　１７ａ　第１映像調整部
　１７ｂ　第２映像調整部
　１８　　映像分離部
　２０　　画像処理装置
　２１ａ　第３アンテナ（第１受信部）
　２１ｂ　第４アンテナ（第２受信部）
　２２ａ　第３無線通信部（第１受信部）
　２２ｂ　第４無線通信部（第２受信部）
　２３　　第２映像処理部（第１プロセッサ）
　２４　　出力装置
　２５　　ＡＤＣ
　２６　　記憶部
　３０　　移動体
　３１　　対象
　３２　　第１映像信号
　３３　　第２映像信号
　３４　　第１画像
　３５　　第２画像
　３６　　表示用画像
　４０　　画像
　４１　　最上位の行
　５１　　切り出し範囲
　５２　　第１部分画像
　５３　　第２部分画像
　６１　　動的オブジェクト
　６２　　切り出し範囲
　６３、６４　　枠線
　６５　　動的オブジェクトが表示されていた領域

Claims (16)

  1. 　第１時点に対象を撮像した第１画像と、前記第１時点よりも過去の時点である第２時点に撮像光学系を介して前記対象を撮像した第２画像とを取得し、前記第１画像に基づいて、前記第２画像の少なくとも一部を、前記撮像光学系が前記第１時点における前記対象との位置関係にある場合に得られる画像に近づけるように補正した補正画像を生成する第１プロセッサを有する、画像処理装置。
  2. 　前記第１画像と前記第２画像とは、同一の移動体から撮像された画像である、請求項１に記載の画像処理装置。
  3. 　前記第１プロセッサは、前記第１画像の少なくとも一部に対応する前記第２画像に含まれる部分を拡大又は縮小することにより前記補正画像を生成する請求項１または２に記載の画像処理装置。
  4. 　前記第１画像を受信する第１受信部と、
    　前記第２画像を受信する第２受信部と、を有し、
    　所定の時点において撮像された前記対象の画像が、前記第１受信部を経由して前記第１プロセッサにより受信されるのに要する時間は、前記第２受信部を経由して前記第１プロセッサにより受信されるのに要する時間よりも短い、請求項１から３の何れか一項に記載の画像処理装置。
  5. 　前記第１受信部はアナログ伝送方式に対応し、前記第２受信部はデジタル伝送方式に対応する、請求項４に記載の画像処理装置。
  6. 　前記第２画像は、前記第１画像よりも解像度が高い、請求項１から５の何れか一項に記載の画像処理装置。
  7. 　前記第２画像は、前記第１画像よりも画角が広い、請求項１から６の何れか一項に記載の画像処理装置。
  8. 　前記第１プロセッサは、前記第１画像及び前記第２画像のそれぞれと共に、前記第１画像及び前記第２画像の撮像されたタイミングを示す情報を取得する、請求項１から７の何れか一項に記載の画像処理装置。
  9. 　前記第１プロセッサは、前記第１画像が前記補正画像に含まれない領域を含むとき、前記補正画像と、前記第１画像の前記補正画像に含まれない部分とを組み合わせる、請求項１から８の何れか一項に記載の画像処理装置。
  10. 　前記第１プロセッサは、前記第１画像における第１物体像の位置が、前記補正画像上の前記第１物体像に対応する物体像である第２物体像の位置とは異なるとき、前記補正画像上に、前記第１物体像の位置を特定する画像要素を合成する、請求項１から９の何れか一項に記載の画像処理装置。
  11. 　前記第１プロセッサは、前記第１画像における第１物体像の位置が、前記補正画像上の前記第１物体像に対応する物体像である第２物体像の位置とは異なるとき、前記補正画像上の前記第２物体像の存在する領域を、前記第１画像の前記第１物体像に対応する領域の画像に置き替える、請求項１から９の何れか一項に記載の画像処理装置。
  12. 　前記第１プロセッサは、複数の前記第２画像を順次取得し、前記第１画像と前記複数の前記第２画像に基づいて、複数の前記補正画像を生成し、該複数の補正画像及び前記複数の前記第２画像が撮像されたタイミングを示す情報に基づいて、現時点又は前記第１時点の画像を予測する、請求項１から９の何れか一項に記載の画像処理装置。
  13. 　前記第１画像は、前記第２画像と同じ前記撮像光学系により結像される画像である、請求項１から１２の何れか一項に記載の画像処理装置。
  14. 　第１時点に対象を撮像した第１画像と、前記第１時点よりも過去の時点である第２時点に撮像光学系を介して前記対象を撮像した第２画像とを取得し、
    　前記第１画像に基づいて、前記第２画像の少なくとも一部を、前記撮像光学系が前記第１時点における前記対象との位置関係にある場合に得られる画像に近づけるように補正した補正画像を生成する
    画像処理方法。
  15. 　所定のフレームレートで対象を順次撮像可能に構成される撮像部と、
    　前記撮像部が前記対象を撮像した画像から順次第１画像及び第２画像を生成する第２プロセッサと、
    　前記第１画像及び前記第２画像を送信する送信部と
    を備え、
    　前記第１画像は前記第２画像の解像度を低下させた画像である画像送信装置。
  16. 　第１時点に対象を撮像した第１画像と、前記第１時点よりも過去の時点である第２時点に撮像光学系を介して前記対象を撮像した第２画像とを送信可能に構成される画像送信装置と、
    　前記画像送信装置から前記第１画像及び前記第２画像を受信する受信部、及び、前記第１画像に基づいて、前記第２画像の少なくとも一部を、前記撮像光学系が前記第１時点における前記対象との位置関係にある場合に得られる画像に近づけるように補正した補正画像を生成する第１プロセッサを含む画像処理装置と
    を備える画像処理システム。
PCT/JP2021/041802 2020-11-20 2021-11-12 画像処理装置、画像処理方法、画像送信装置及び画像処理システム WO2022107702A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/251,896 US20240013344A1 (en) 2020-11-20 2021-11-12 Image processing apparatus, method for processing image, image transmission apparatus, and image processing system
EP21894576.4A EP4250715A4 (en) 2020-11-20 2021-11-12 IMAGE PROCESSING APPARATUS, IMAGE PROCESSING METHOD, IMAGE TRANSMISSION APPARATUS AND IMAGE PROCESSING SYSTEM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-193742 2020-11-20
JP2020193742A JP2022082271A (ja) 2020-11-20 2020-11-20 画像処理装置、画像処理方法、画像送信装置及び画像処理システム

Publications (1)

Publication Number Publication Date
WO2022107702A1 true WO2022107702A1 (ja) 2022-05-27

Family

ID=81708079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/041802 WO2022107702A1 (ja) 2020-11-20 2021-11-12 画像処理装置、画像処理方法、画像送信装置及び画像処理システム

Country Status (4)

Country Link
US (1) US20240013344A1 (ja)
EP (1) EP4250715A4 (ja)
JP (1) JP2022082271A (ja)
WO (1) WO2022107702A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230053026A1 (en) * 2021-08-12 2023-02-16 SmileDirectClub LLC Systems and methods for providing displayed feedback when using a rear-facing camera

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375603B2 (ja) 1984-12-24 1991-12-02 Sumitomo Metal Ind
JP2006012191A (ja) * 2005-09-01 2006-01-12 Honda Motor Co Ltd 車両用走行区分線認識装置
WO2017164288A1 (ja) * 2016-03-24 2017-09-28 日本電気株式会社 画像表示システム、端末、方法およびプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10033928B1 (en) * 2015-10-29 2018-07-24 Gopro, Inc. Apparatus and methods for rolling shutter compensation for multi-camera systems
US20190250601A1 (en) * 2018-02-13 2019-08-15 Skydio, Inc. Aircraft flight user interface
US11307584B2 (en) * 2018-09-04 2022-04-19 Skydio, Inc. Applications and skills for an autonomous unmanned aerial vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0375603B2 (ja) 1984-12-24 1991-12-02 Sumitomo Metal Ind
JP2006012191A (ja) * 2005-09-01 2006-01-12 Honda Motor Co Ltd 車両用走行区分線認識装置
WO2017164288A1 (ja) * 2016-03-24 2017-09-28 日本電気株式会社 画像表示システム、端末、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4250715A4

Also Published As

Publication number Publication date
US20240013344A1 (en) 2024-01-11
EP4250715A1 (en) 2023-09-27
JP2022082271A (ja) 2022-06-01
EP4250715A4 (en) 2024-06-05

Similar Documents

Publication Publication Date Title
EP3471392B1 (en) Panoramic camera and photographing method thereof
US20200154075A1 (en) Camera system, video processing apparatus, and camera apparatus
JP5675959B2 (ja) 複数の画像センサからのデータの合成
US8896668B2 (en) Combining data from multiple image sensors
JP5131257B2 (ja) 表示制御装置及び表示制御プログラム
JP6129119B2 (ja) 画像処理装置、画像処理システム、撮像装置、および画像処理方法
EP3404913B1 (en) A system comprising a video camera and a client device and a method performed by the same
US20090102950A1 (en) Multiple-View Processing in Wide-Angle Video Camera
US11800239B2 (en) High dynamic range processing on spherical images
JP6160357B2 (ja) 画像処理装置、画像処理方法、および画像通信システム
US11908111B2 (en) Image processing including noise reduction
US11563925B2 (en) Multiple tone control
US11363214B2 (en) Local exposure compensation
US10867370B2 (en) Multiscale denoising of videos
WO2022107702A1 (ja) 画像処理装置、画像処理方法、画像送信装置及び画像処理システム
US20180211413A1 (en) Image signal processing using sub-three-dimensional look-up tables
JP3550046B2 (ja) カメラ画像伝送方法及びカメラ画像伝送システム
CN110945864B (zh) 发送设备、发送方法、接收设备、接收方法和成像设备
JP2006197098A (ja) ネットワークカメラの画像伝送方式
JP2006165664A (ja) 画像送受信システム
JP2006101227A (ja) 撮像装置および撮像システム
JP2003244713A (ja) カラー映像信号の伝送装置及びその伝送方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894576

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18251896

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021894576

Country of ref document: EP

Effective date: 20230620