WO2020261815A1 - 送信装置、受信装置及び伝送システム - Google Patents

送信装置、受信装置及び伝送システム Download PDF

Info

Publication number
WO2020261815A1
WO2020261815A1 PCT/JP2020/019709 JP2020019709W WO2020261815A1 WO 2020261815 A1 WO2020261815 A1 WO 2020261815A1 JP 2020019709 W JP2020019709 W JP 2020019709W WO 2020261815 A1 WO2020261815 A1 WO 2020261815A1
Authority
WO
WIPO (PCT)
Prior art keywords
roi
information
unit
exposure
pixel
Prior art date
Application number
PCT/JP2020/019709
Other languages
English (en)
French (fr)
Inventor
健也 田中
松原　義明
英行 染谷
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP20832441.8A priority Critical patent/EP3993390A4/en
Priority to US17/609,628 priority patent/US20220239825A1/en
Publication of WO2020261815A1 publication Critical patent/WO2020261815A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4343—Extraction or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440245—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals

Definitions

  • This disclosure relates to a transmitting device, a receiving device and a transmission system.
  • Patent Documents 1 to 4 In order to avoid the transmission system from going down, for example, instead of transmitting all the captured images, the object to be captured is specified and only a part of the image obtained by cutting out the specified object is transmitted. It is known (for example, Patent Documents 1 to 4).
  • Japanese Unexamined Patent Publication No. 2016-201756 Japanese Unexamined Patent Publication No. 2014-39219 Japanese Unexamined Patent Publication No. 2013-164834 Japanese Unexamined Patent Publication No. 2012-209831
  • An object of the present disclosure is to realize high dynamic range composition of a part of the region of interest (ROI) cut out from a captured image.
  • the transmission device includes a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis for ROI (RegionOfInterest) image data, and a payload of the ROI image data. It includes a transmission unit that transmits ROI information as embedded data as well as transmitting data.
  • high dynamic range information which is information used for high dynamic range synthesis for ROI (RegionOfInterest) image data
  • ROI ROI
  • the receiving device includes a receiving unit that includes ROI (Region Of Interest) image data in the payload data and receives a transmission signal that includes ROI information in the embedded data, and a high dynamic with respect to the ROI image data.
  • a control unit that controls extraction of high dynamic range information, which is information used for range synthesis, from the transmission signal received by the receiving unit, and the high dynamic range information extracted by the control unit are used to obtain the ROI. It is provided with a processing unit that processes high dynamic range composition of image data.
  • the transmission system includes a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis for ROI (Region Of Interest) image data, and a payload of the ROI image data.
  • a transmission device having a transmission unit that transmits data and transmits ROI information as embedded data, and a reception unit that includes ROI image data in payload data and receives a transmission signal including ROI information in embedded data.
  • a control unit that controls extraction of high dynamic range information, which is information used for high dynamic range synthesis for ROI image data, from the transmission signal received by the receiving unit, and the high dynamic range extracted by the control unit.
  • a receiving device including a processing unit that processes high dynamic range synthesis of the ROI image data using information is provided.
  • the video transmission system 1 is a system capable of transmitting and receiving signals according to various standards, and can transmit and receive signals according to, for example, the MIPI CSI-2 standard, the MIPI CSI-3 standard, or the MIPI DSI standard. it can.
  • FIG. 1 shows an outline of the video transmission system 1 according to the prerequisite technology of the present disclosure.
  • the video transmission system 1 is applied to the transmission of data signals, clock signals, and control signals, and includes a video transmission device 100 and a video reception device 200.
  • the video transmission system 1 straddles the video transmission device 100 and the video reception device 200 to transmit a data signal such as image data, a data lane DL, a clock lane CL for transmitting a clock signal, and a control signal.
  • FIG. 1 shows an example in which one data lane DL is provided, a plurality of data lane DLs may be provided.
  • the camera control interface CCI is a bidirectional control interface having an I 2 C (Inter-Integrated Circuit ) standard compatible.
  • the video transmission device 100 is a device that transmits a signal according to the MIPI CSI-2 standard, the MIPI CSI-3 standard, or the MIPI DSI standard. It has a CSI transmitter 100A and a CCI slave 100B.
  • the video receiving device 200 has a CSI receiver 200A and a CCI master 200B.
  • the CSI transmitter 100A and the CSI receiver 200A are connected by a clock signal line.
  • the data lane DL the CSI transmitter 100A and the CSI receiver 200A are connected by a clock signal line.
  • the CCI slave 100B and the CCI master 200B are connected by a control signal line.
  • the CSI transmitter 100A is, for example, a differential signal transmission circuit that generates a differential clock signal as a clock signal and outputs it to a clock signal line.
  • the CSI transmitter 100A can be configured to transmit not only differential but also single-ended and three-phase signals.
  • the CSI transmitter 100A is also a differential signal transmission circuit that generates a differential data signal as a data signal and outputs it to the data signal line.
  • the CSI receiver 200A is a differential signal receiving circuit that receives a differential clock signal as a clock signal via a clock signal line and performs predetermined processing on the received differential clock signal.
  • the CSI receiver 200A is also a differential signal receiving circuit that receives a differential data signal as a data signal via a data signal line and performs predetermined processing on the received differential data signal.
  • FIG. 2 shows an example of the configuration of the video transmission device 100.
  • the video transmitter 100 corresponds to a specific example of the CSI transmitter 100A.
  • the video transmission device 100 includes, for example, an image pickup unit 110, an image processing unit 120, 130, and a transmission unit 140.
  • the video transmission device 100 transmits the transmission data 147A generated by performing a predetermined process on the captured image 111 obtained by the image pickup unit 110 to the video reception device 200 via the data lane DL.
  • FIG. 3 is an example of a procedure for generating transmission data 147A.
  • the image pickup unit 110 converts, for example, an optical image signal obtained through an optical lens or the like into image data.
  • the imaging unit 110 includes, for example, a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image pickup unit 110 has an analog-to-digital conversion circuit, and converts analog image data into digital image data.
  • the data format after conversion may be the YCbCr format in which the color of each pixel is represented by the luminance component Y and the color difference components Cb, Cr, or the RGB format.
  • the imaging unit 110 outputs the captured image 111 (digital image data) obtained by imaging to the image processing unit 120.
  • the image processing unit 120 is a circuit that performs predetermined processing on the captured image 111 input from the imaging unit 110.
  • the image processing unit 120 refers to the captured image 111 input from the imaging unit 110 when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI.
  • the prerequisite technology 1 can also be applied to the case where the video transmitting device 100, that is, the transmitting side specifies the coordinates for cutting out the ROI.
  • the transmitting side is configured to receive, for example, information such as a "person" or an "object” to be acquired by the ROI transmitted from the receiving side, and determine and instruct the coordinates of the cutout.
  • the image processing unit 120 generates various data (120A, 120B, 120C) and outputs them to the transmitting unit 140.
  • the image processing unit 130 is a circuit that performs predetermined processing on the captured image 111 input from the imaging unit 110.
  • the image processing unit 130 performs predetermined processing on the captured image 111 input from the imaging unit 110 when the control signal instructing the output of the normal image is input from the video receiving device 200 via the camera control interface CCI. I do.
  • the image processing unit 130 generates the image data 130A and outputs it to the transmission unit 140.
  • the image processing unit 130 has, for example, an encoding unit 131.
  • the encoding unit 131 encodes the captured image 111 to generate the compressed image data 130A.
  • the image processing unit 130 compresses the captured image 111 in a compression format compliant with the JPEG (Joint Photographic Experts Group) standard as the format of the compressed image data 130A, for example.
  • JPEG Joint Photographic Experts Group
  • the image processing unit 120 includes, for example, an ROI cutting unit 121, an ROI analysis unit 122, an overlap detection unit 123, a priority setting unit 124, an encoding unit 125, and an image processing control unit 126.
  • the ROI cutting unit 121 identifies one or a plurality of objects to be photographed included in the captured image 111 input from the imaging unit 110, and sets the attention region ROI for each specified object.
  • the region of interest ROI is, for example, a rectangular region containing the specified object.
  • the ROI cutting unit 121 cuts out an image of each attention region ROI (for example, the ROI image 112 in FIG. 3) from the captured image 111.
  • the ROI cutting unit 121 further assigns an area number as an identifier for each set attention area ROI. For example, when two attention region ROIs are set in the captured image 111, the ROI cutting unit 121 assigns the region number 1 to one attention region ROI (for example, the attention region ROI1 in FIG. 3).
  • the area number 2 is assigned to the other area of interest ROI (for example, the area of interest ROI2 in FIG. 3).
  • the ROI cutting unit 121 stores, for example, the assigned identifier (area number) in the storage unit.
  • the ROI cutting unit 121 stores, for example, each ROI image 112 cut out from the captured image 111 in the storage unit.
  • the ROI cutting unit 121 further stores, for example, an identifier (area number) assigned to each region of interest ROI in the storage unit in association with the ROI image 112.
  • the ROI analysis unit 122 derives the position information 113 of the region of interest ROI in the captured image 111 for each region of interest ROI.
  • the position information 113 is composed of, for example, the upper left end coordinates (Xa, Ya) of the attention region ROI, the length of the attention region ROI in the X-axis direction, and the length of the attention region ROI in the Y-axis direction.
  • the length of the region of interest ROI in the X-axis direction is, for example, the physical region length XLa of the region of interest ROI in the X-axis direction.
  • the length of the region of interest ROI in the Y-axis direction is, for example, the physical region length YLa of the region of interest ROI in the Y-axis direction.
  • the physical region length refers to the physical length (data length) of the region of interest ROI.
  • the position information 113 the coordinates of a position different from the upper left end of the region of interest ROI may be included.
  • the ROI analysis unit 122 stores, for example, the derived position information 113 in the storage unit.
  • the ROI analysis unit 122 stores the ROI analysis unit 122 in the storage unit in association with, for example, an identifier (area number) assigned to the region of interest ROI.
  • the ROI analysis unit 122 further obtains, for example, the output region length XLc of the attention region ROI in the X-axis direction and the output region length YLc of the attention region ROI in the Y-axis direction as position information 113 for each attention region ROI. It may be derived.
  • the output region length is, for example, the physical length (data length) of the region of interest ROI after the resolution has been changed by thinning out processing, pixel addition, or the like.
  • the ROI analysis unit 122 derives, for example, sensing information, exposure information, gain information, AD (Analog-Digital) word length, image format, etc. in addition to the position information 113 for each attention region ROI, and stores the storage unit 122. It may be stored in.
  • Sensing information refers to the calculation content of the object included in the ROI of interest, supplementary information for subsequent signal processing for the ROI image 112, and the like.
  • the exposure information refers to the exposure time of the ROI of interest.
  • the gain information refers to the gain information of the ROI of interest.
  • the AD word length refers to the word length of data per pixel that has been AD-converted in the region of interest ROI.
  • the image format refers to the format of the image of the region of interest ROI.
  • the ROI analysis unit 122 may derive, for example, the number of attention region ROIs (number of ROIs) included in the captured image 111 and store them in the storage unit.
  • the overlap detection unit 123 overlaps two or more attention region ROIs with each other based on the position information 113 of the plurality of attention region ROIs in the captured image 111. Detects a region (ROO (Region Of Overlap)). That is, the overlap detection unit 123 derives the position information 114 of the overlap region ROO in the captured image 111 for each overlap region ROO.
  • the overlap detection unit 123 stores, for example, the derived position information 114 in the storage unit.
  • the overlap detection unit 123 stores, for example, the derived position information 114 in the storage unit in association with the overlap area ROO.
  • the overlapping region ROO is, for example, a rectangular region having the same size as or smaller than the smallest attention region ROI in two or more attention region ROIs overlapping each other.
  • the position information 114 is composed of, for example, the upper left end coordinates (Xb, Yb) of the overlapping region ROO, the length of the overlapping region ROO in the X-axis direction, and the length of the overlapping region ROO in the Y-axis direction.
  • the length of the overlapping region ROO in the X-axis direction is, for example, the physical region length XLb.
  • the length of the overlapping region ROO in the Y-axis direction is, for example, the physical region length YLb.
  • the coordinates of a position different from the upper left end of the region of interest ROI may be included.
  • the priority setting unit 124 assigns a priority 115 for each attention region ROI in the captured image 111.
  • the priority setting unit 124 stores, for example, the assigned priority 115 in the storage unit.
  • the priority setting unit 124 stores, for example, the assigned priority 115 in association with the attention area ROI in the storage unit.
  • the priority setting unit 124 may assign a priority 115 for each attention area ROI in addition to the area number assigned for each attention area ROI, or assign an area number assigned for each attention area ROI. , May be an alternative to priority 115.
  • the priority setting unit 124 may, for example, associate the priority 115 with the attention area ROI and store it in the storage unit, or store the area number assigned to each attention area ROI in association with the attention area ROI. It may be stored in a unit.
  • the priority 115 is an identifier of each attention region ROI, and is discrimination information capable of determining which of the plurality of attention region ROIs in the captured image 111 the overlapping region ROO has been omitted.
  • the priority setting unit 124 assigns 1 as a priority 115 to one attention region ROI and gives priority to the other attention region ROI in two attention region ROIs, each of which includes an overlapping region ROO. 2 is given as 115.
  • the overlapping region ROO is omitted for the attention region ROI having the larger numerical value of the priority 115.
  • the priority setting unit 124 may assign the same number as the area number assigned to each attention area ROI as the priority 115 to the attention area ROI.
  • the priority setting unit 124 stores, for example, the priority 115 assigned to each region of interest ROI in the storage unit in association with the ROI image 112.
  • the encoding unit 125 encodes each transmission image 116 to generate compressed image data 120A.
  • the encoding unit 125 compresses each transmission image 116 in a compression format conforming to the JPEG standard as the format of the compressed image data 120A, for example.
  • the encoding unit 125 generates each transmission image 116 before performing the above compression processing.
  • the encoding unit 125 captures images 118 from the plurality of ROI images 112 obtained from the captured image 111 so that the images 118 of the overlapping region ROO are not duplicated in the plurality of ROI images 112 obtained from the captured image 111.
  • a plurality of transmitted images 116, which are omitted, are generated.
  • the encoding unit 125 determines, for example, which of the plurality of ROI images 112 the image 118 is omitted based on the priority 115 assigned to each attention region ROI. In addition, the encoding unit 125 determines which of the plurality of ROI images 112 the image 118 is omitted by using, for example, the area number assigned to each attention area ROI as the priority 115. May be good. In the ROI image 112 specified as described above, the encoding unit 125 omits the image 118 as the transmission image 116 (for example, the transmission image 116a2 in FIG. 3).
  • the encoding unit 125 transmits the ROI image 112 itself to the transmission image 116 (for example, the transmission image of FIG. 3). 116a1).
  • the image processing control unit 126 generates ROI information 120B and frame information 120C and transmits them to the transmission unit 140.
  • the ROI information 120B includes, for example, each position information 113.
  • the ROI information 120B further includes, for example, the data type of each attention region ROI, the number of attention region ROIs included in the captured image 111, the region number (or priority 115) of each attention region ROI, and the data length of each attention region ROI. , And at least one of the image formats of each region of interest ROI.
  • the frame information 120C includes, for example, a virtual channel number assigned to each frame, a data type of each region of interest ROI, a payload length for each line, and the like. Data types include, for example, YUV data, RGB data, RAW data, and the like.
  • the data type further includes, for example, data in ROI format or data in normal format.
  • the payload length is, for example, the number of pixels included in the payload of a long packet (LongPacket), for example, the number of pixels for each region of interest ROI.
  • the payload refers to the main data (application data) transmitted between the video transmitting device 100 and the video receiving device 200.
  • the long packet refers to a packet arranged between the packet header PH and the packet footer PF.
  • the transmission unit 140 is a circuit that generates and transmits transmission data 147A based on various data (120A, 120B, 120C, 130A) input from the image processing units 120 and 130.
  • the transmission unit 140 transmits ROI information 120B for each region of interest ROI in the captured image 111 as embedded data (embedded data).
  • the transmission unit 140 long-packets the image data (compressed image data 120A) of each attention region ROI. It is sent out as the payload data (PayloadData) of.
  • the transmission unit 140 transmits the image data (compressed image data 120A) of each attention region ROI through a virtual channel common to each other.
  • the transmission unit 140 transmits the image data (compressed image data 120A) of each attention region ROI by the image data frame, and transmits the ROI information 120B for each attention region ROI by the header of the image data frame.
  • the transmission unit 140 also uses the normal image data (compressed image data 130A) as a payload of a long packet when a control signal instructing the output of a normal image is input from the video receiving device 200 via the camera control interface CCI. Send as data.
  • the transmission unit 140 has, for example, a LINK control unit 141, an ECC generation unit 142, a PH generation unit 143, an EBD buffer 144, an ROI data buffer 145, a normal image data buffer 146, and a synthesis unit 147.
  • the LINK control unit 141, ECC generation unit 142, PH generation unit 143, EBD buffer 144, and ROI data buffer 145 are used when a control signal instructing ROI cutout is input from the video receiving device 200 via the camera control interface CCI. Is output to the synthesis unit 147.
  • the normal image data buffer 146 outputs the normal image to the compositing unit 147 when the control signal instructing the output of the normal image is input from the video receiving device 200 via the camera control interface CCI.
  • the ROI data buffer 145 may also serve as the normal image data buffer 146.
  • the transmission unit 140 outputs one of the ROI data buffer 145 and the ROI data buffer 145 between the output ends of the ROI data buffer 145 and the ROI data buffer 145 and the input end of the synthesis unit 147. It may have a selector to select.
  • the LINK control unit 141 outputs, for example, the frame information 120C to the ECC generation unit 142 and the PH generation unit 143 for each line.
  • the ECC generation unit 142 for example, based on the data of one line in the frame information 120C (for example, the number of the virtual channel, the data type of each attention region ROI, the payload length for each line, etc.), determines the error correction code of the line. Generate.
  • the ECC generation unit 142 outputs, for example, the generated error correction code to the PH generation unit 143.
  • the PH generation unit 143 generates a packet header PH for each line by using, for example, the frame information 120C and the error correction code generated by the ECC generation unit 142.
  • the packet header PH is, for example, a packet header of the payload data of a long packet, as shown in FIG.
  • the packet header PH includes, for example, DI, WC and ECC.
  • the WC is an area for indicating the end of the packet with the number of words to the video receiving device 200.
  • the WC includes, for example, the payload length, for example, the number of pixels per region of interest ROI.
  • ECC is an area for storing a value for correcting a bit error.
  • ECC includes an error correction code.
  • DI is an area for storing a data identifier.
  • the DI contains a VC (virtual channel) number and a DataType (data type of each region of interest ROI).
  • VC Virtual Channel
  • the PH generation unit 143 outputs the generated packet header PH to the synthesis unit 147.
  • the EBD buffer 144 temporarily stores the ROI information 120B, and outputs the ROI information 120B as embedded data to the synthesis unit 147 at a predetermined timing.
  • Embedded data refers to additional information that can be embedded in the header or footer of an image data frame (see FIG. 5 below).
  • the embedded data includes, for example, ROI information 120B.
  • the ROI data buffer 145 temporarily stores the compressed image data 120A, and outputs the compressed image data 120A as payload data of a long packet to the synthesis unit 147 at a predetermined timing.
  • the ROI data buffer 145 outputs the compressed image data 120A to the compositing unit 147 as the payload data of a long packet when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI. ..
  • the normal image data buffer 146 temporarily stores the compressed image data 130A, and outputs the compressed image data 130A as payload data of a long packet to the compositing unit 147 at a predetermined timing.
  • the normal image data buffer 146 uses the compressed image data 130A as the payload data of the long packet to the synthesis unit 147. Output.
  • the synthesizing unit 147 transmits data 147A based on the input data (compressed image data 130A). To generate.
  • the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL.
  • the synthesis unit 147 receives various data (packet header PH, ROI information 120B, and compression) input when the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI. Transmission data 147A is generated based on the image data 120A).
  • the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL. That is, the synthesis unit 147 includes the DataType (data type of each region of interest ROI) in the packet header PH of the payload data of the long packet and sends it out. Further, the synthesis unit 147 transmits the image data (compressed image data 120A) of each attention region ROI through a virtual channel common to each other.
  • DataType data type of each region of interest ROI
  • the transmission data 147A is composed of, for example, an image data frame as shown in FIG.
  • the image data frame usually has a header area, a packet area, and a footer area.
  • the description of the footer region is omitted for convenience.
  • Embedded data is included in the frame header area R1 of the transmission data 147A.
  • the embedded data includes ROI information 120B.
  • the packet area R2 of the transmission data 147A includes the payload data of the long packet for each line, and further includes the packet header PH and the packet footer PF at positions where the payload data of the long packet is sandwiched. It has been.
  • a low power mode LP is included at a position where the packet header PH and the packet footer PF are sandwiched.
  • the packet header PH includes, for example, DI, WC, and ECC.
  • the WC includes, for example, the payload length, for example, the number of pixels per region of interest ROI.
  • ECC includes an error correction code.
  • the DI includes VC (virtual channel number) and DataType (data type of each region of interest ROI).
  • the VCs of the respective lines are assigned virtual channel numbers common to each other.
  • the packet area R2 of the transmission data 147A includes the compressed image data 147B.
  • the compressed image data 147B is composed of one compressed image data 120A or a plurality of compressed image data 120A.
  • the packet group closer to the packet header PH includes, for example, the compressed image data 120A (120A1) of the transmission image 116a1 in FIG. 3, and the packet group away from the packet header PH includes the packet group.
  • the compressed image data 120A (120A2) of the transmission image 116a2 in FIG. 3 is included.
  • the compressed image data 147B is composed of these two compressed image data 120A1 and 120A2.
  • the payload data of the long packet of each line includes the pixel data of one line in the compressed image data 147B.
  • FIG. 6 shows a configuration example of the transmission data 147A.
  • the transmission data 147A includes, for example, a frame header area R1 and a packet area R2. Note that FIG. 6 illustrates in detail the contents of the frame header area R1. Further, in FIG. 6, the low power mode LP is omitted.
  • the frame header area R1 includes, for example, the frame number F1 as an identifier of the transmission data 147A.
  • the frame header area R1 contains information about the compressed image data 147B included in the packet area R2.
  • the frame header area R1 is, for example, information about the number of compressed image data 120A (ROI number) included in the compressed image data 147B and the ROI image 112 corresponding to each compressed image data 120A included in the compressed image data 147B (ROI). Information 120B) and is included.
  • the synthesis unit 147 arranges the compressed image data 147B separately for each pixel line of the compressed image data 120A. Therefore, the packet area R2 of the transmission data 147A does not include the compressed image data corresponding to the image 118 of the overlapping area ROO in duplicate. Further, for example, in the packet area R2 of the transmission data 147A, the synthesis unit 147 omits a pixel line that does not correspond to each transmission image 116 in the captured image 111. Therefore, the packet area R2 of the transmission data 147A does not include a pixel line of the captured image 111 that does not correspond to each transmission image 116. In the packet area R2 of FIG. 6, the part surrounded by the broken line corresponds to the compressed image data of the image 118 of the overlapping area ROO.
  • the boundary between the packet group near the packet header PH (for example, 1 (n) in FIG. 6) and the packet group away from the packet header PH (for example, 2 (1) in FIG. 6) is the packet near the packet header PH. It is identified by the physical region length XLa1 of the ROI image 112 corresponding to the compressed image data of the group (eg 1 (n) in FIG. 6).
  • the packet start position is the packet group away from the packet header PH (for example, For example, it is specified by the physical region length XLa2 of the ROI image 112 corresponding to 2 (1)) in FIG.
  • the synthesis unit 147 uses the payload data of the long packet as the payload data of the long packet, for example, one line of the compressed image data 147B.
  • ROI information 120B may be included. That is, the synthesis unit 147 may include the ROI information 120B in the payload data of the long packet and send it out.
  • the ROI information 120B is, for example, as shown in FIGS. 7 (A) to 7 (K), the number of attention region ROIs (ROI numbers) included in the captured image 111, and the region number of each attention region ROI.
  • the ROI information 120B is preferably arranged at the end of the packet header PH side (that is, the beginning of the long packet payload data) in the long packet payload data.
  • FIG. 8 shows an example of the configuration of the video receiving device 200.
  • FIG. 9 shows an example of the procedure for generating the ROI image 223A in the video receiving device 200.
  • the video receiving device 200 is a device that receives signals according to a standard common to the video transmitting device 100 (for example, MIPI CSI-2 standard, MIPI CSI-3 standard, or MIPI IDSI standard).
  • the video receiving device 200 has, for example, a receiving unit 210 and an information processing unit 220.
  • the receiving unit 210 receives the transmission data 147A output from the video transmission device 100 via the data lane DL, and performs predetermined processing on the received transmission data 147A to perform various data (214A, 215A).
  • the information processing unit 220 generates an ROI image 223A based on various data (214A, 215A) received from the receiving unit 210, or generates a normal image 224A based on the data (215B) received from the receiving unit 210. It is a circuit to generate.
  • the receiving unit 210 has, for example, a header separation unit 211, a header interpretation unit 212, a payload separation unit 213, an EBD interpretation unit 214, and an ROI data separation unit 215.
  • the header separation unit 211 receives the transmission data 147A from the video transmission device 100 via the data lane DL. That is, the header separation unit 211 includes the ROI information 120B for each attention region ROI in the captured image 111 in the embedded data, and transmits the image data (compressed image data 120A) of each attention region ROI in the payload data of the long packet. Receives data 147A.
  • the header separation unit 211 separates the received transmission data 147A into a frame header area R1 and a packet area R2.
  • the header interpretation unit 212 specifies the position of the payload data of the long packet included in the packet area R2 based on the data (specifically, the embedded data) included in the frame header area R1.
  • the payload separation unit 213 separates the payload data of the long packet included in the packet area R2 from the packet area R2 based on the position of the payload data of the long packet specified by the header interpretation unit 212.
  • the EBD interpretation unit 214 outputs the embedded data as the EBD data 214A to the information processing unit 220. From the data type included in the embedded data, the EBD interpreter 214 further determines that the image data included in the long packet payload data is the compressed image data 120A of the ROI image data 116, or the compressed image of the normal image data. It is determined whether the data is 130A. The EBD interpretation unit 214 outputs the determination result to the ROI data separation unit 215.
  • the ROI data separation unit 215 uses the payload data of the long packet as the payload data 215A and uses the information processing unit 220 (specifically). Is output to the ROI decoding unit 222).
  • the ROI data separation unit 215 uses the payload data of the long packet as the payload data 215B and uses the information processing unit 220 (specifically, the normal image decoding). Output to unit 224).
  • the payload data of the long packet includes the ROI information 120B
  • the payload data 215A includes the ROI information 120B and the pixel data of one line of the compressed image data 147B.
  • the information processing unit 220 extracts ROI information 120B from the embedded data included in the EBD data 214A. Based on the ROI information 120B extracted by the information extraction unit 221, the information processing unit 220 uses the long packet payload data included in the transmission data 147A received by the reception unit 210 to obtain an image of each attention region ROI in the captured image 111. The ROI image 112) is extracted.
  • the information processing unit 220 includes, for example, an information extraction unit 221, an ROI decoding unit 222, an ROI image generation unit 223, and a normal image decoding unit 224.
  • the normal image decoding unit 224 decodes the payload data 215B and generates the normal image 224A.
  • the ROI decoding unit 222 decodes the compressed image data 147B included in the payload data 215A and generates the image data 222A.
  • the image data 222A is composed of one or a plurality of transmitted images 116.
  • the information extraction unit 221 extracts ROI information 120B from the embedded data included in the EBD data 214A. From the embedded data included in the EBD data 214A, for example, the information extraction unit 221 includes, for example, the number of attention region ROIs included in the captured image 111, the region number (or priority 115) of each attention region ROI, and each attention region ROI. The data length of the data and the image format of each region of interest ROI are extracted. That is, the transmission data 147A is used as discrimination information capable of determining which of the plurality of transmission images 116 obtained from the transmission data 147A has the image 118 of the overlapping region ROO omitted. The region number (or priority 115) of the region of interest ROI corresponding to 116 is included.
  • the ROI image generation unit 223 detects an overlapping region ROO in which two or more attention region ROIs overlap each other based on the ROI information 120B obtained by the information extraction unit 221.
  • the coordinates for example, upper left end coordinates (Xa1, Ya1)
  • length for example, physical area length of the region of interest ROI corresponding to the ROI image 112a2 XLa2, YLa1
  • the ROI image generation unit 223 derives the position information 114 of the overlapping region ROO based on the extracted information (hereinafter, referred to as “extracted information 221A”).
  • the ROI image generation unit 223 uses, for example, the coordinates (for example, upper left edge coordinates (Xb1, Yb1)) and length (for example, physical area lengths XLb1, YLb1) of the overlapping area ROO as the position information 114 of the overlapping area ROO. Derived.
  • the ROI image generation unit 223 may acquire the ROI information 120B from the payload data 215A instead of acquiring the ROI information 120B from the embedded data included in the EBD data 214A.
  • the ROI image generation unit 223 may detect an overlapping region ROO in which two or more attention region ROIs overlap each other based on the ROI information 120B included in the payload data 215A.
  • the ROI image generation unit 223 may extract the extraction information 221A from the ROI information 120B included in the payload data 215A, and based on the extraction information 221A extracted in this way, the position information 114 of the overlapping region ROO May be derived.
  • the ROI image generation unit 223 further generates an image (ROI images 112a1, 112a2) of each attention region ROI in the captured image 111 based on the image data 222A, the extraction information 221A, and the position information 114 of the overlapping region ROO. To do.
  • the ROI image generation unit 223 outputs the generated image as the ROI image 223A.
  • the imaging unit 110 outputs the captured image 111 (digital image data) obtained by imaging to the image processing unit 120.
  • the ROI cutting unit 121 identifies two regions of interest ROI1 and ROI2 included in the captured image 111 input from the imaging unit 110.
  • the ROI cutting unit 121 cuts out the images (ROI images 112a1, 112a2) of the respective areas of interest ROI1 and ROI2 from the captured image 111.
  • the ROI cutting unit 121 assigns the region number 1 as an identifier to the region of interest ROI1 and assigns the region number 2 as an identifier to the region of interest ROI 2.
  • the ROI analysis unit 122 derives the position information 113 of the region of interest ROI in the captured image 111 for each region of interest ROI. Based on the attention region ROI1, the ROI analysis unit 122 sets the upper left end coordinates (Xa1, Ya1) of the attention region ROI1, the length of the attention region ROI1 in the X-axis direction (XLa1), and the Y-axis direction of the attention region ROI1. The length (YLa1) is derived. Based on the attention region ROI2, the ROI analysis unit 122 sets the upper left end coordinates (Xa2, Ya2) of the attention region ROI2, the length of the attention region ROI2 in the X-axis direction (XLa2), and the Y-axis direction of the attention region ROI2. The length (YLa2) is derived.
  • the overlap detection unit 123 detects an overlapping region ROO in which the two attention regions ROI1 and ROI2 overlap each other based on the position information 113 of the two attention regions ROI1 and ROI2 in the captured image 111. That is, the overlap detection unit 123 derives the position information 114 of the overlap region ROO in the captured image 111.
  • the overlap detection unit 123 serves as the position information 114 of the overlap region ROO in the captured image 111, the upper left end coordinates (Xb1, Yb1) of the overlap region ROO, the length of the overlap region ROO in the X-axis direction (XLb1), and the overlap region.
  • the length (YLb1) of the ROO in the Y-axis direction is derived.
  • the priority setting unit 124 assigns 1 as a priority 115 to one attention area ROI1 and 2 as a priority 115 to the other attention area ROI2.
  • the encoding unit 125 omits the image 118 from the two ROI images 112a1 and 112a2 obtained from the captured image 111 so that the image 118 of the overlapping region ROO is not duplicated in the two attention regions ROI1 and ROI2.
  • Two transmission images 116a1 and 116a2 are generated.
  • the encoding unit 125 determines which of the two ROI images 112a1 and 112a2 the image 118 is omitted based on the area numbers (or priority 115) of the two ROI1 and ROI2 areas of interest. In the two regions of interest ROI1 and ROI2, the encoding unit 125 omits the image 118 for the ROI image 112a2 corresponding to the region of interest ROI2, which is the larger region number (or priority 115), thereby transmitting. Image 116a2 is generated. In the two areas of interest ROI1 and ROI2, the encoding unit 125 uses the ROI image 112a1 itself as the transmission image 116a1 for the ROI image 112a1 corresponding to the area of interest ROI1 which is the smaller area number (or priority 115).
  • the image processing control unit 126 generates ROI information 120B and frame information 120C and transmits them to the transmission unit 140.
  • the transmission unit 140 generates transmission data 147A based on various data (120A, 120B, 120C, 130A) input from the image processing units 120 and 130.
  • the transmission unit 140 transmits the generated transmission data 147A to the video receiving device 200 via the data lane DL.
  • the receiving unit 210 receives the transmission data 147A output from the video transmitting device 100 via the data lane DL.
  • the receiving unit 210 generates EBD data 214A and payload data 215A by performing predetermined processing on the received transmission data 147A, and outputs the EBD data 214A and the payload data 215A to the information processing unit 220.
  • the ROI decoding unit 222 decodes the compressed image data 147B included in the
  • the ROI image generation unit 223 derives the position information 114 of the overlapping region ROO based on these extracted information (extracted information 221A).
  • the ROI image generation unit 223 uses, for example, the coordinates (for example, upper left edge coordinates (Xb1, Yb1)) and length (for example, physical area lengths XLb1, YLb1) of the overlapping area ROO as the position information 114 of the overlapping area ROO. Derived.
  • the ROI image generation unit 223 further generates an image (ROI images 112a1, 112a2) of each attention region ROI in the captured image 111 based on the image data 222A, the extraction information 221A, and the position information 114 of the overlapping region ROO. To do.
  • MIPI CSI-2 may be used as a method used for transmission from the image sensor to the application processor.
  • MIPI CSI-2 may be used as a method used for transmission from the image sensor to the application processor.
  • the ROI information 120B for each attention region ROI in the captured image 111 is transmitted as embedded data, and the image data of each attention region ROI is transmitted as the payload data of the long packet.
  • the image data (ROI image 112) of each region of interest ROI can be easily extracted from the transmission data 147A. it can.
  • the ROI of interest can be transmitted even under various restrictions.
  • the image data (compressed image data 120A) of each attention region ROI is transmitted by a virtual channel common to each other.
  • a plurality of ROI images 112 can be transmitted in the same packet, it is not necessary to enter the LP mode while transmitting the plurality of ROI images 112, and high transmission efficiency can be obtained.
  • the data type of each region of interest ROI is included in the packet header PH of the payload data of the long packet and transmitted.
  • the data type of each region of interest ROI can be obtained simply by accessing the packet header PH of the payload data of the long packet without accessing the embedded data.
  • the processing speed of the video receiving device 200 can be increased, so that high transmission efficiency can be obtained.
  • the ROI information 120B when the ROI information 120B is included in the payload data of the long packet and transmitted, the ROI information 120B is simply accessed by accessing the payload data of the long packet without accessing the embedded data. Is obtained. As a result, the processing speed of the video receiving device 200 can be increased, so that high transmission efficiency can be obtained.
  • the ROI information 120B for each region of interest ROI is extracted from the embedded data included in the transmission data 147A, and the long included in the transmission data 147A based on the extracted ROI information 120B.
  • An image of each region of interest ROI is extracted from the payload data of the packet.
  • an image of each region of interest ROI can be easily extracted from the transmission data 147A.
  • the ROI of interest can be transmitted even under various restrictions.
  • FIG. 10 is a diagram schematically showing a region in which an object specified in the captured image 111 is arranged.
  • the image pickup image 111 imaged in the image pickup area composed of the image pickup elements of 15 rows ⁇ 23 columns is schematically shown.
  • FIG. 11 is a diagram showing an example of the ROI region set for the specified object.
  • the prerequisite technology 2 similarly to the prerequisite technology 1, when a control signal instructing the cutting out of the ROI is input from the video receiving device 200 to the video transmitting device 100 via the camera control interface CCI, it is input from the imaging unit 110. A case where a predetermined process is performed on the captured image 111 will be described. However, the prerequisite technique 2 can also be applied to the case where the video transmission device 100, that is, the transmitting side specifies the coordinates for cutting out the ROI. In this case, the transmitting side is configured to receive, for example, information such as a "person" or an "object” to be acquired by the ROI transmitted from the receiving side, and determine and instruct the coordinates of the cutout.
  • a control signal instructing the cutting out of the ROI is input from the video receiving device 200 via the camera control interface CCI.
  • the ROI cutting unit 121 identifies the four objects 1 to 4 to be photographed included in the captured image 111.
  • the object 1 has, for example, a rectangular shape that occupies a part of the upper left region in the captured image 111.
  • the object 2 occupies a part of the area on the right side of the object 1 in the captured image 111, and has a shape in which both corners on both sides of the rectangle and a part of the lower side are missing.
  • the object 3 occupies a part of the area below the object 2 in the captured image 111, and has a shape in which the four corners of the rectangle are missing.
  • the object 4 occupies a part of the lower part of the object 3 in the captured image 111, and has a shape in which both upper side corners of the rectangle are missing.
  • a part of the object 3 and the object 4 overlap each other.
  • the ROI cutting unit 121 sets the smallest rectangle including each of the specified objects 1 to 4 as the region of interest ROI1 to ROI4.
  • the ROI cutting unit 121 sets the region of interest ROI1 for the object 1 and cuts out the ROI image 112a1. Further, the ROI cutting unit 121 sets the region of interest ROI2 for the object 2 and cuts out the ROI image 112a2. Further, the ROI cutting unit 121 sets the region of interest ROI3 for the object 3 and cuts out the ROI image 112a3. Further, the ROI cutting unit 121 sets the region of interest ROI4 for the object 4 and cuts out the ROI image 112a4.
  • the ROI cutting unit 121 stores the attention area ROI1 and the area number “1” assigned to the attention area ROI1 in association with each other in the storage unit.
  • the ROI cutting unit 121 stores the attention area ROI2 and the area number “2” assigned to the attention area ROI2 in association with each other in the storage unit.
  • the ROI cutting unit 121 stores the attention area ROI 3 and the area number “3” assigned to the attention area ROI 3 in association with each other in the storage unit.
  • the ROI cutting unit 121 stores the attention area ROI4 and the area number “4” assigned to the attention area ROI4 in association with each other in the storage unit.
  • the ROI analysis unit 122 derives the position information of each of the attention areas ROI1 to ROI4.
  • the ROI analysis unit 122 derives, for example, the physical region length XLa1 in the X-axis direction and the physical region length YLa1 in the Y-axis direction as the position information of the region of interest ROI1.
  • the ROI analysis unit 122 derives, for example, the physical region length XLa2 in the X-axis direction and the physical region length YLa2 in the Y-axis direction as the position information of the region of interest ROI2.
  • the ROI analysis unit 122 derives, for example, the physical region length XLa3 in the X-axis direction and the physical region length YLa3 in the Y-axis direction as the position information of the region of interest ROI3.
  • the ROI analysis unit 122 derives, for example, the physical region length XLa4 in the X-axis direction and the physical region length YLa4 in the Y-axis direction as the position information of the region of interest ROI4.
  • the ROI analysis unit 122 further obtains, for example, the output region length XLc of the attention region ROI in the X-axis direction and the output region length YLc of the attention region ROI in the Y-axis direction as position information 113 for each attention region ROI. It may be derived.
  • the ROI analysis unit 122 derives the lengths of the attention region ROIs in the X-axis direction and the Y-axis direction, thereby deriving the respective sizes and total data amounts of the attention regions ROI1 to ROI4 as information to the subsequent stage.
  • the video receiving device 200 corresponding to the latter stage can secure a memory area.
  • the ROI analysis unit 122 is configured to derive the position information of the ROI images 112a1 to 112a4 instead of the position information of the attention area ROI when the shapes of the object to be photographed and the attention area do not match. ..
  • the ROI analysis unit 122 derives the left end coordinates (xn, yn) of each row and the physical region length XLn in the X-axis direction as the position information of the ROI images 112a1 to 112a4. Further, when the ROI images are separated as in the second line of the ROI image 112a2, the ROI analysis unit 122 derives the position information for each of the separated portions.
  • the ROI analysis unit 122 stores the area numbers of the regions of interest ROI1 to ROI4 and the position information of the ROI images 112a1 to 112a4 in association with each other in the storage unit.
  • the ROI analysis unit 122 derives, for example, sensing information, exposure information, gain information, AD word length, image format, etc. in addition to the position information for each of the attention areas ROI1 to ROI4, and corresponds to the area number. It may be attached and stored in the storage unit.
  • the overlap detection unit 123 derives the area where the ROI images overlap as the overlap area, not the area where the areas of interest overlap each other. As shown in FIG. 11, the overlap detection unit 123 derives the overlap region ROO as the region where the ROI image 112a3 and the ROI image 123a4 overlap. The overlap detection unit 123 stores the derived overlap area ROO in the storage unit in association with each of the position information of the attention areas ROI3 and ROI4.
  • the priority setting unit 124 assigns the priority "1" to the attention area ROI1 and stores the priority 1 in association with the attention area ROI1 in the storage unit.
  • the priority setting unit 124 assigns a priority "2" having a priority lower than the priority "1” to the attention area ROI2, and stores the priority 2 in association with the attention area ROI2 in the storage unit.
  • the priority setting unit 124 assigns a priority "3" having a priority lower than the priority "2" to the attention area ROI3, and stores the priority 3 in association with the attention area ROI3 in the storage unit.
  • the priority setting unit 124 assigns a priority "4" having a priority lower than the priority "3” to the attention area ROI4, and stores the priority 4 in association with the attention area ROI4 in the storage unit.
  • the encoding unit 125 (see FIG. 2) generates a transmission image for each of the ROI images 112a1 to 112a4. Since the region of interest ROI4 has a lower priority than the region of interest ROI3, the encoding unit 125 generates a transmission image by omitting the overlapping region ROO from the ROI image 112a4.
  • the image processing control unit 126 (see FIG. 2) generates ROI information and frame information and transmits them to the transmission unit 140 (see FIG. 2).
  • the ROI information includes, for example, the respective position information of the ROI images 112a1 to 112a4.
  • the same information as in the case where the object to be photographed is rectangular (for example, the data types of the attention areas ROI1 to ROI4, the number of the attention areas ROI1 to ROI4 included in the captured image 111, and the attention area)
  • the area numbers and priorities of ROI1 to ROI4 are included.
  • the frame information includes the same information as in the case where the object to be photographed is rectangular, such as the data types of the areas of interest ROI1 to ROI4.
  • the LINK control unit 141 provided in the transmission unit 140 transmits the frame information and the ROI information input from the image processing control unit 126 for each line to the ECC generation unit 142 and the PH generation unit 143 (both of FIGS. 2). See).
  • the ECC generator 142 is based on, for example, the data of one line in the frame information (for example, the number of the virtual channel, the respective data types of the areas of interest ROI1 to ROI4, the payload length of each line, etc.), and the error correction code of that line. To generate.
  • the ECC generation unit 142 outputs the generated error correction code to the PH generation unit 143.
  • the PH generation unit 143 generates a packet header PH (see FIG. 4) for each line by using, for example, the frame information and the error correction code generated by the ECC generation unit 142.
  • the EBD buffer 144 (see FIG. 2) temporarily stores the ROI information, and outputs the ROI information as embedded data to the synthesis unit 147 (see FIG. 2) at a predetermined timing.
  • the ROI data buffer 145 (see FIG. 2) temporarily stores the compressed image data input from the encoding unit 125, and for example, a control signal instructing to cut out the ROI is transmitted from the video receiving device 200 via the camera control interface CCI.
  • the compressed image data 120A is output to the compositing unit 147 as the payload data of the long packet.
  • the synthesis unit 147 When the control signal instructing the cutout of the ROI is input from the video receiving device 200 via the camera control interface CCI, the synthesis unit 147 inputs various data (packet header PH, ROI information and ROI data buffer 145).
  • the transmission data 147A is generated based on the compressed image data input from the encoding unit 125 via the encoding unit 125.
  • the synthesis unit 147 outputs the generated transmission data 147A to the video receiving device 200 via the data lane DL. That is, the synthesis unit 147 includes each data type of the region of interest ROI1 to ROI4 in the packet header PH of the payload data of the long packet and sends the data.
  • the synthesis unit 147 sends out the image data (compressed image data) of the attention regions ROI1 to ROI4 on a virtual channel common to each other.
  • the position information of the ROI images 112a1 to 112a4 is included in the packet header PH or the payload data of the long packet.
  • the position information of the ROI images 112a1 to 112a4 is included in the packet header PH by the PH generation unit 143.
  • the position information of the ROI images 112a1 to 112a4 is included in the payload data of the long packet by the synthesis unit 147.
  • FIG. 12 is a diagram showing a configuration example of transmission data 147A in which the position information of the ROI images 112a1 to 112a4 is included in the payload data of the long packet.
  • the transmission data 147A includes, for example, a frame header area R1 and a packet area R2. Note that FIG. 12 illustrates in detail the contents of the frame header area R1. Further, in FIG. 12, the low power mode LP is omitted.
  • the frame header area R1 includes, for example, the frame number F1 as an identifier of the transmission data 147A.
  • the frame header area R1 contains information about the compressed image data included in the packet area R2.
  • the frame header area R1 includes, for example, the number of compressed image data (ROI number) and information (ROI information) about each of the ROI images 112a1 to 112a4 corresponding to each compressed image data.
  • the ROI information includes the area number, the physical area length, the rectangular output area size, the priority, the exposure information, the gain information, the AD word length, and the image format.
  • the physical area length is the maximum length of the ROI image
  • the rectangular output area size is the size of the attention area ROI.
  • the position information of the ROI images 112a1 to 112a4 is stored in, for example, "info”.
  • the position information of the ROI images 112a1 to 112a4 is stored in the head portion of the payload of the long packet.
  • the ROI image 112a1 has the same physical region length in the X-axis direction in the consecutive first to fourth pixel rows of all the pixel rows, and the first to fourth rows are the same. Pixel rows do not contain ROI images with different region numbers. Therefore, each long packet including the image data of the pixel rows of the second to fourth rows corresponding to the second and subsequent rows of the continuous pixel rows of the first to fourth rows constituting the ROI image 112a1.
  • the area information "info" is not stored in the payload of.
  • the ROI image 112a4 has the same physical region length in the X-axis direction in the second and third consecutive pixel rows among all the pixel rows, and the second and third rows have the same physical region length.
  • the pixel row of the row does not include ROI images with different region numbers. Therefore, the payload of the long packet including the image data of the pixel row of the third row corresponding to the second and subsequent rows of the pixel rows of the second and third rows that constitute the ROI image 112a4 has an area.
  • the information "info" is not stored. Even if the physical area length in the X-axis direction is the same and each pixel row does not contain ROI images with different region numbers, even if the region information "info" is stored in the payload of each row. Good.
  • the compositing unit 147 arranges the compressed image data generated by compressing each of the ROI images 112a1 to 112a4 separately for each pixel line.
  • “1” shown in FIG. 12 indicates the compressed image data of the ROI image 112a1 stored in the payload of the long packet.
  • “2” shown in FIG. 12 indicates the compressed image data of the ROI image 112a2 stored in the payload of the long packet.
  • “3” shown in FIG. 12 indicates the compressed image data of the ROI image 112a3.
  • “4” shown in FIG. 12 indicates the compressed image data of the ROI image 112a4 stored in the payload of the long packet.
  • each compressed image data is shown as being separated for easy understanding, but the data stored in the payload of the long packet is not divided.
  • the packet area R2 of the transmission data 147A does not include the compressed image data 112b corresponding to the image of the overlapping area ROO in duplicate. Further, for example, in the packet area R2 of the transmission data 147A, the synthesis unit 147 omits a pixel line that does not correspond to each transmission image in the captured image 111. Therefore, the packet area R2 of the transmission data 147A does not include a pixel line of the captured image 111 that does not correspond to each transmission image.
  • the header separation unit 211 provided in the reception unit 210 (see FIG. 8 for both) receives the transmission data 147A from the video transmission device 100 via the data lane DL. That is, the header separation unit 211 includes the ROI information about the attention areas ROI1 to ROI4 in the captured image 111 in the embedded data, and transmits the image data (compressed image data) of the attention areas ROI1 to ROI4 in the payload data of the long packet. Receives data 147A. The header separation unit 211 separates the received transmission data 147A into a frame header area R1 and a packet area R2.
  • the header interpretation unit 212 specifies the position of the payload data of the long packet included in the packet area R2 based on the data (specifically, the embedded data) included in the frame header area R1.
  • the payload separation unit 213 separates the payload data of the long packet included in the packet area R2 from the packet area R2 based on the position of the payload data of the long packet specified by the header interpretation unit 212.
  • the EBD interpretation unit 214 outputs the embedded data as EBD data to the information processing unit 220 (see FIG. 8). From the data type included in the embedded data, the EBD interpreter 214 further determines that the image data included in the payload data of the long packet is the compressed image data of the ROI image data 116, or the compressed image data of the normal image data. Is determined. The EBD interpretation unit 214 outputs the determination result to the ROI data separation unit 215 (see FIG. 8).
  • the ROI data separation unit 215 uses the payload data of the long packet as the payload data and uses the information processing unit 220 (specifically, the ROI decoding unit). Output to 222 (see FIG. 8)).
  • the payload data of the long packet including the ROI information includes the ROI information and the pixel data of one line of the compressed image data.
  • the information extraction unit 221 (see FIG. 8) provided in the information processing unit 220 includes the number of attention regions ROI1 to ROI4 included in the captured image 111 from the embedded data included in the EBD data input from the EBD interpretation unit 214 (see FIG. 8). In this example, 4), the area numbers 1 to 4 and the priorities 1 to 4 of the areas of interest ROI1 to ROI4, the respective data lengths of the areas of interest ROI1 to ROI4, and the respective image formats of the areas of interest ROI1 to ROI4 are extracted. .. Further, the information extraction unit 221 extracts the position information of the ROI images 112a1 to 112a4 from the embedded data.
  • the ROI decoding unit 222 decodes the compressed image data 147B included in the payload data, extracts the position information of the ROI images 112a1 to 112a4, and generates image data (composed of transmitted images). For example, when the payload data corresponding to the pixel row of the sixth row is input, the ROI decoding unit 222 extracts one position information of the ROI image 112a1 and two position information of the ROI image 112a2 from the payload data. Then, the image data (transmission image) of the ROI images 112a1 and 112b1 corresponding to the pixel row of the sixth row is generated, respectively.
  • the ROI decoding unit 222 extracts one position information of the ROI image 112a3 and one position information of the ROI image 112a4 from the payload data. Then, the image data (transmission image) of the ROI images 112a3 and 112b4 is generated, respectively.
  • the ROI image generation unit 223 includes ROI information obtained by the information extraction unit 221, position information of the ROI images 112a1 to 112a4 extracted by the ROI decoding unit 222, and a transmission image generated by the ROI decoding unit 222.
  • the ROI images 112a1 to 112a4 of the attention regions ROI1 to ROI4 in the captured image 111 are generated based on the above.
  • the ROI image generation unit 223 inputs one position information of the ROI image 112a1 extracted from the payload data corresponding to the pixel row of the sixth row, two position information of the ROI image 112a2, and their transmitted images.
  • ROI image 112a1 for 5 pixels extending in the X-axis direction ROI image 112a2 for 4 pixels extending in the X-axis direction at a position 5 pixels separated from the ROI image 112a1, and ROI image 112a2.
  • a ROI image 112a2 for two pixels extending in the X-axis direction is generated at a position separated from the image (see FIG. 10).
  • the ROI image generation unit 223 detects an overlapping region ROO in which the attention region ROI3 and the attention region ROI4 overlap each other based on the ROI information obtained by the information extraction unit 221.
  • the ROI image generation unit 223 is based on the detected overlapping region ROO, the position information of the ROI images 112a3 and 112a4 extracted from the payload data corresponding to the pixel row of the 10th row, and the transmitted image, respectively, in the X-axis direction.
  • the ROI image 112a3 for 4 pixels extending in the X-axis direction and the ROI image 112a4 for 3 pixels extending in the X-axis direction with one pixel overlapping the ROI image 112a3 are generated (see FIG. 10).
  • the ROI image generation unit 223 outputs the generated image as an ROI image to a subsequent device (not shown).
  • the video transmitting device 100 and the video receiving device 200 can transmit and receive as an ROI image even if the object to be photographed has a shape other than a rectangle.
  • FIG. 13 is a diagram schematically showing the high dynamic range synthesis process in the present embodiment.
  • a plurality of images having different exposure times are combined to generate an HDR image.
  • HDR synthesis is performed for each region of interest ROI.
  • HDR synthesis is executed when the region of interest ROI obtained by cutting out a part of two captured images captured under different exposure conditions has a predetermined match.
  • the execution conditions for HDR synthesis in this embodiment are the following synthesis conditions 1 to 3.
  • Synthesis condition 1 The area numbers of the attention region ROI match
  • Synthesis condition 2 The coordinates of the reference pixels of the attention region ROI to be compared have a predetermined match
  • Synthesis condition 3 Attention to be compared
  • the size of the region ROI has a given consistency
  • the reference pixel under the synthesis condition 2 is, for example, the pixel at the upper left end of the ROI of interest.
  • the predetermined consistency under the synthesis condition 2 is that the difference in the coordinates of the reference pixels of the region of interest ROI to be compared is within the range of the predetermined threshold value.
  • the predetermined consistency under the synthesis condition 3 is that the size of the region of interest ROI to be compared (the length of each in the X-axis direction and the Y-axis direction) is within the range of the predetermined threshold value.
  • short exposure pixels pixels having a short exposure time (hereinafter, may be referred to as "short exposure") out of two exposure times to be compared.
  • the area ROI the area number is "n"
  • the coordinates of the reference pixel are "(Xn, Yn)”
  • the length in the X-axis direction is "XLn”.
  • the length in the Y-axis direction is "YLn”.
  • the region number of interest ROI composed of pixels (long exposure pixels) having a long exposure time (hereinafter, may be referred to as “long exposure”) out of the two exposure times to be compared has a region number of “n”.
  • the coordinates of the pixel at the upper left end are "(Xn, Yn)"
  • the length in the X-axis direction is "XLn”
  • the length in the Y-axis direction is "YLn”.
  • the length of the attention region ROI in the short exposure in the Y-axis direction and the length of the attention region ROI in the long exposure in the Y-axis direction both coincide with each other in "YLn". Therefore, the difference between these lengths is 0 and is within the predetermined threshold range, so that the synthesis condition 3 is satisfied. Since all of the above synthesis conditions 1 to 3 are satisfied, the HDR synthesis process of the attention region ROI is executed, and an HDR composite image of the attention region ROI is generated as shown on the right side of the thick arrow in FIG.
  • a condition for determining the consistency of the attention region ROI with respect to the attention region ROI obtained by cutting out a part of each of a plurality of images continuously taken by changing the exposure conditions.
  • the HDR synthesis process of the region of interest ROI is executed.
  • FIG. 14 is a block diagram showing a schematic configuration of a video transmission device 3, a video reception device 4, and a video transmission system 10 according to the present embodiment.
  • the video transmission system 10 exhibits the functions of a video transmission device (an example of a transmission device) 3 that exerts a function as an image sensor and an image processing (Image Signal Processor: ISP).
  • a video receiving device (an example of a receiving device) 4 is provided.
  • the video transmission device 3 transmits a signal of MIPI (Mobile Industry Processor Interface) D-PHY standard, MIPI C-PHY standard or MIPI CSI (Camera Serial Interface) -2 standard. It is configured to be transmitted from the unit 322.
  • the video receiving device 4 is configured to receive signals of the MIPI ID-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard by the receiving unit 412. Further, the video transmission system 10 transmits / receives signals according to the MIPI CSI-3 standard or the MIPI DSI standard between the video transmission device 3 and the video reception device 4 as in the video transmission system 1 according to the above-mentioned prerequisite technologies 1 and 2. It may be configured to do so.
  • the video transmission device 3 provided in the video transmission system 10 is configured to exhibit the same functions as the video transmission device 100 according to the above-mentioned prerequisite technologies 1 and 2. That is, when the control signal instructing the cutout of the ROI is input from the video receiving device 4, the video transmitting device 3 performs the same processing as the video transmitting device 100 on the captured image input from the imaging unit 31. It is configured to be executable. Further, the video transmitting device 3 processes the captured image input from the imaging unit 31 in the same manner as the video transmitting device 100 when the control signal instructing the output of the normal image is input from the video receiving device 4. Is configured to be executable. Further, the video transmission device 3 is configured to acquire the high dynamic range information (HDR information) used in the above-mentioned HDR composition processing and to transmit the HDR information to the video reception device 4.
  • HDR information high dynamic range information
  • the video receiving device 4 is configured to exhibit the same functions as the video receiving device 200 according to the above-mentioned prerequisite technologies 1 and 2. That is, the video receiving device 4 is configured to be capable of executing the same processing as the video receiving device 200 according to the above-mentioned prerequisite technologies 1 and 2 with respect to the transmission data transmitted from the video transmitting device 3. Further, the video receiving device 4 is configured to be able to execute the HDR composition process using the HDR information transmitted from the video transmitting device 3.
  • the video transmitting device 3 and the video receiving device 4 are illustrated mainly in the configuration related to the HDR composition processing.
  • the video transmission device 3 includes an imaging unit 31 that images an object.
  • the imaging unit 31 has, for example, a photoelectric conversion unit 311 that converts incident light into an electric signal.
  • the photoelectric conversion unit 311 is composed of, for example, a CCD image sensor or a CMOS image sensor.
  • the imaging unit 31 has a signal conversion unit 312 that converts an analog electric signal input from the photoelectric conversion unit 311 into digital image data.
  • the signal conversion unit 312 executes signal amplification (AGC) processing of the analog electric signal input from the photoelectric conversion unit 311 and analog-to-digital conversion (ADC) processing for converting the amplified electric signal into a digital signal. It is configured.
  • the imaging unit 31 has an amplification unit 313 that applies digital gain to the image data input from the signal conversion unit 312.
  • the amplification unit 313 is configured to output digitally gained image data to the transmission unit 322.
  • the video transmission device 3 includes a control unit 32 that controls the imaging unit 31 and controls predetermined signal processing.
  • the control unit 32 includes a sensor CPU 321, a transmission unit 322, and a detection unit 323.
  • the sensor CPU 321 is configured to exhibit the same functions as the image processing units 120 and 130 (see FIG. 2).
  • the transmission unit 322 is configured to exhibit the same function as the transmission unit 140 (see FIG. 2). Further, in the control unit 32, the sensor CPU 321 may be replaced with the image processing units 120 and 130, and the transmission unit 322 may be replaced with the transmission unit 140.
  • the detection unit 323 is connected to the signal conversion unit 312 and the amplification unit 313.
  • the detection unit 323 acquires digital image data from the signal conversion unit 312. Further, the detection unit 323 acquires the image data after gain adjustment from the amplification unit 313.
  • the detection unit 323 is configured to generate detection information including brightness and color information and digital gain information set by the amplification unit 313 based on the acquired image data, and output the detection information to the control unit 32. There is.
  • the sensor CPU 321 has an exposure control unit 321a that controls the exposure conditions of the photoelectric conversion unit 311.
  • the exposure control unit 321a is configured to control the exposure conditions based on the detection information input from the detection unit 323.
  • the sensor CPU 321 has a conversion area control unit (an example of a control unit) 321b that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis of ROI image data.
  • the sensor CPU 321 having the conversion area control unit 321b and the control unit 32 each correspond to an example of a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range synthesis of image data of the region of interest ROI.
  • the exposure control unit 321a instructs the imaging unit 31 to change the exposure conditions for imaging, the exposure conditions (references) determined by automatic exposure are taken in order to capture an image based on the exposure state. It is designed to instruct imaging under (exposure conditions).
  • the conversion area control unit 321b is configured to acquire HDR information of the attention area ROI. When a plurality of attention area ROIs are set, the conversion area control unit 321b is configured to acquire HDR information for each attention area ROI. The conversion area control unit 321b is configured to acquire one single piece of information, one of the coordinates, the size, and the exposure information of the end of the attention area ROI, or a combination of two or more of them as HDR information. ing.
  • the coordinates of the end of the ROI correspond to the coordinates of the reference pixel described above, and in this embodiment, they are the coordinates of the pixel at the upper left end of the ROI.
  • the coordinates of the upper left end portion are acquired as the end portion of the attention region ROI, but any end portion of the four corners can be used as long as the information can specify the position of the attention region ROI. It may be information on other places.
  • the information on the size of the region of interest ROI includes information on the respective lengths of the region of interest ROI in the X-axis direction and the Y-axis direction.
  • the conversion area control unit 321b is configured to acquire the high dynamic range information of two consecutive frames.
  • the conversion area control unit 321b acquires HDR information in association with each of the plurality of areas of interest ROI for each frame.
  • the conversion area control unit 321b outputs the acquired HDR information to the transmission unit 322.
  • the sensor CPU 321 Similar to the ROI cutting section 121 (see FIG. 2), the sensor CPU 321 sets the smallest rectangle including the object as the ROI of interest even if the object to be cut out is not rectangular. Further, the sensor CPU 321 derives the position information (upper left end portion, length in the X-axis direction, length in the Y-axis direction) of the ROI of interest, and receives video, similarly to the ROI analysis unit 122 (see FIG. 2). It is configured to be sent to the device 4.
  • the sensor CPU 321 is configured to input parameters such as a shooting method and exposure conditions output by the Cam CPU 411 (details will be described later) provided in the video receiving device 4.
  • the sensor CPU 321 is configured to control the exposure control unit 321a based on the input information.
  • the video transmission device 3 includes a control unit 33 and a non-volatile storage unit 34.
  • the control unit 33 controls detection of the imaging target, image recognition, and the like when the image transmitting device 3 determines the imaging target.
  • the non-volatile storage unit 34 stores initial adjustment data of the video transmitting device 3 and the video receiving device 4, and the like.
  • the transmission unit 322 includes transmission data (see FIGS. 6 and 12) including the coordinates (cutout coordinates) and size of the region of interest ROI input from the sensor CPU 321, HDR information, and image data input from the image pickup unit 31. ) Is generated and sent to the video receiving device 4.
  • the high dynamic range information is transmitted from the transmission unit 322 included in the ROI information.
  • the ROI information is included in the embedded data of the packet area constituting the transmission data and transmitted from the transmission unit 322. Therefore, in the present embodiment, the HDR information is included in the embedded data and transmitted from the transmission unit 322.
  • the video transmission device 3 transmits the high dynamic range information included in the embedded data or the payload data from the transmission unit 322. More specifically, the video transmission device 3 transmits information on the coordinates, size, and exposure information of the end portion of the region of interest ROI from the transmission unit 322 as high dynamic range information. Further, the video transmission device 3 transmits high dynamic range information of two consecutive frames from the transmission unit 322.
  • the video transmission device 3 includes a transmission unit 322 that transmits the image data of the region of interest ROI as payload data and also transmits information about the region of interest ROI as embedded data.
  • the transmission unit 322 includes HDR information as one of the information about the region of interest ROI in the embedded data or the payload data (embedded data in the present embodiment) and transmits the HDR information to the video receiving device 4.
  • the transmission unit 322 is configured to transmit transmission data including demosaic information in the MIPI D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard.
  • the video receiving device 4 includes a control unit 41 that controls predetermined signal processing using the transmission data transmitted from the video transmitting device 3.
  • the control unit 41 has a CamCPU 411, a reception unit 412, a storage unit 413, and an embedded data acquisition unit 414.
  • the CamCPU 411 is configured to exhibit the same functions as the information processing unit 220 (see FIG. 8) except for the information extraction unit 221 (see FIG. 8).
  • the transmission unit 322 is configured to exhibit the same functions as the reception unit 210 (see FIG. 8) except for the EBD interpretation unit 214 (see FIG. 8).
  • the video receiving device 4 is configured such that the embedded data acquisition unit 414 exerts the same functions as the EBD interpretation unit 214 and the information extraction unit 221.
  • the reception unit 412 and the embedded data acquisition unit 414 may be replaced with the reception unit 210.
  • the function of the information extraction unit 221 exhibited by the embedded data acquisition unit 414 is exhibited by the receiving unit 220.
  • the video receiving device 4 includes a receiving unit 412 that includes the image data of the ROI of interest in the payload data and receives the transmission signal including the ROI information in the embedded data.
  • the receiving unit 412 is configured to receive the transmission data input from the video transmitting device 3.
  • the receiving unit 412 receives the transmission data in the MIPI D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI-2 standard.
  • the receiving unit 412 is configured to generate various data from the input transmission data and output it to the CamCPU 411, the storage unit 413, and the embedded data acquisition unit 414.
  • the storage unit 413 is configured to store the image data ROI Raw of the region of interest ROI.
  • the image data ROI Raw is raw image data acquired by the photoelectric conversion unit 311 called Raw data, Raw image, undeveloped data, or the like.
  • the video receiving device 4 extracts high dynamic range information, which is information used for high dynamic range synthesis for image data of the region of interest ROI, from a transmission signal (transmission data) received by the receiving unit 412. It is provided with an embedded data acquisition unit (an example of a control unit) 414 that controls the above.
  • the control unit 41 having the embedded data acquisition unit 414 extracts the high dynamic range information, which is information used for high dynamic range synthesis for the image data of the region of interest ROI, from the transmission signal (transmission data) received by the reception unit 412. It corresponds to an example of a control unit to be controlled.
  • the embedded data acquisition unit 414 is configured to extract high dynamic range information from the ROI information included in the transmission signal (transmission data) input from the reception unit 412.
  • the embedded data acquisition unit 414 is configured to extract single information of any one of the coordinates, size, and exposure information of the end portion of the region of interest ROI, or combination information obtained by combining any two or more of them as high dynamic range information. Has been done.
  • the HDR information received by the receiving unit 412 is the information transmitted from the transmitting unit 322. Therefore, the coordinates of the end of the ROI in the HDR information received by the receiving unit 412 correspond to the coordinates of the reference pixel described above, and in this embodiment, they are the coordinates of the pixel at the upper left end of the ROI.
  • the coordinates of the upper left end portion are acquired as the end portion of the attention region ROI, but any end portion of the four corners can be used as long as the information can specify the position of the attention region ROI. It may be information on other places.
  • the information on the size of the region of interest ROI includes information on the respective lengths of the region of interest ROI in the X-axis direction and the Y-axis direction.
  • the embedded data acquisition unit 414 extracts high dynamic range information of two consecutive frames.
  • the embedded data acquisition unit 414 includes information on the coordinates of the pixels at the upper left end of the attention region ROI, for example, the size of the attention region ROI (the length in the X-axis direction and the length in the Y-axis direction), and the attention region.
  • the ROI and column information are acquired for each frame and output to CamCPU411.
  • the embedded data acquisition unit 414 includes various information contained in the embedded data (for example, the number of attention region ROIs, the region number and priority of the attention region ROI, the data length of the attention region ROI, and the attention region ROI. Get the image format etc.).
  • the embedded data acquisition unit 414 also outputs various acquired information to the CamCPU 411.
  • the CamCPU 411 is configured to send parameters such as a shooting method and an exposure condition to the sensor CPU 321.
  • the CamCPU411 sends information to the sensor CPU 321 instructing shooting for use in, for example, HDR synthesis processing as a shooting method.
  • the CamCPU 411 has an ROI match determination unit 411a.
  • the ROI match determination unit (an example of the control unit) 411a of the two frames based on the individual information or the combination information of the attention region ROI of each of the two consecutive frames in which the identification information of the attention region ROI matches. It is configured to determine whether or not the respective areas of interest ROIs match.
  • the CamCPU411 having the ROI match determination unit 411a and the control unit 41 having the CamCPU411, respectively, have the identification information of the eye region ROI matching and based on the single information or the combination information of the respective attention region ROIs of the two consecutive frames. This corresponds to an example of a control unit that determines whether or not the ROIs of the attention regions of the two frames match.
  • the ROI match determination unit 411a is configured to determine the degree of coincidence of the attention region ROIs between different frames based on various information input from the embedded data acquisition unit 414. That is, the ROI match determination unit 411a determines whether or not the two attention region ROIs between different frames satisfy the above-mentioned synthesis conditions 1 to 3 based on various information input from the embedded data acquisition unit 414. .. When information about a plurality of attention area ROIs is input from the embedded data acquisition unit 414 in one frame, the ROI match determination unit 411a determines whether or not there is a match with the attention area ROI in another frame for each attention area ROI. ..
  • the ROI match determination unit 411a has an attention region ROI that satisfies the synthesis conditions 1 to 3 in order to determine whether or not to execute HDR synthesis when information about the attention region ROI is input from the embedded data acquisition unit 414. Determine whether or not to do so.
  • the ROI match determination unit 411a determines whether or not there is a region of interest ROI that satisfies the synthesis condition 1 between different frames. When the ROI match determination unit 411a determines that there is a region of interest ROI that satisfies the synthesis condition 1, it then determines whether or not the synthesis condition 2 is satisfied for the region of interest ROI.
  • the ROI match determination unit 411a satisfies the synthesis condition 1 (that is, the area numbers match) in order to determine whether or not the synthesis condition 2 is satisfied.
  • the coordinates of the reference pixels of the two attention region ROIs (an example of single information) Determines if has a given match.
  • the X coordinate of the reference pixel of the attention region ROI of the i-1 frame (i is a natural number) is set to "Xr (i-1)"
  • the Y coordinate of the reference pixel is set to "Yr (i-1)".
  • the X coordinate of the reference pixel of the attention region ROI of the i frame (i is a natural number) is set to "Xr (i)", and the Y coordinate of the reference pixel is set to "Yr (i)".
  • the X coordinate threshold value is set to "Xth” as the predetermined threshold value of the X coordinate
  • the Y coordinate threshold value is set to "Yth” as the predetermined threshold value of the Y coordinate.
  • the ROI match determination unit 411a determines whether or not the coordinates of the reference pixels of the two attention region ROIs satisfying the synthesis condition 1 satisfy both the following equations (1) and (2).
  • the ROI match determination unit 411a determines whether or not the synthesis condition 3 is satisfied for the region of interest ROI that satisfies the synthesis condition 2.
  • the ROI match determination unit 411a determines whether or not the size of the region of interest ROI satisfying the synthesis condition 2 (an example of single information) has a predetermined consistency in order to determine whether or not the synthesis condition 3 is satisfied. ..
  • the length of the attention region ROI of the i-1 frame (i is a natural number) in the X-axis direction (horizontal direction) is defined as "XL (i-1)”
  • the Y-axis direction longitudinal direction
  • the length of the attention region ROI of the i-frame (i is a natural number) in the X-axis direction (horizontal direction) is defined as "XL (i)”
  • the length of the attention region ROI in the Y-axis direction (vertical direction) is defined as "XL (i)”.
  • the X-direction threshold value is set to "XLth” as the predetermined threshold value in the X-axis direction (horizontal direction)
  • the Y-direction threshold value is set to "YLth” as the predetermined threshold value in the Y-axis direction (longitudinal direction).
  • the ROI match determination unit 411a determines whether or not the sizes of the two attention region ROIs satisfying the synthesis condition 2 satisfy both the following equations (3) and (4).
  • the X coordinate threshold value, the Y coordinate threshold value, the X direction threshold value, and the Y direction threshold value are set according to the resolution of the imaging region of the imaging unit 31, the use of the video transmitting device 3, the video receiving device 4, and the video transmission system 10. For example, the higher the resolution of the imaging region of the imaging unit 31, the larger the respective threshold values are set. As the resolution of the imaging region of the imaging unit 31 is higher, even if the positions and sizes of the two ROIs of interest are slightly displaced, the effect of the deviation cannot be visually recognized in the image after HDR composition, which is a practical problem. do not become.
  • the X coordinate threshold value, the Y coordinate threshold value, the X direction threshold value, and the Y direction threshold value may be set to large values. Further, a part of the X coordinate threshold value, the Y coordinate threshold value, the X direction threshold value, and the Y direction threshold value is set to a large value (small value), and the remainder is set to a smaller value (larger value) than the part. May be done.
  • the ROI match determination unit 411a determines whether or not each of the synthesis condition 2 and the synthesis condition 3 satisfies the respective synthesis conditions based on the single information. Therefore, when the ROI match determination unit 411a looks at the synthesis condition 1 to the synthesis condition 3 as a whole, does the ROI of the attention region of each of the two frames match based on the combination information in which the two single pieces of information are combined? Judge whether or not.
  • the determination order of the synthesis condition 2 and the synthesis condition 3 is not limited to the above-mentioned order.
  • the ROI match determination unit 411a may determine the synthesis condition 3 first, and may determine the synthesis condition 2 when the synthesis condition 3 is satisfied. Further, the ROI match determination unit 411a can reduce the processing load by omitting the determination of the residual composition condition when one synthesis condition is not satisfied.
  • the CamCPU411 sets the execution condition of the HDR synthesis process.
  • the HDR instruction signal including the filled area number of the region of interest ROI and the instruction information instructing the execution of the HDR composition processing is output to the HDR composition unit 42 (details will be described later).
  • the ROI match determination unit 411a determines that the region of interest ROI satisfying the synthesis conditions 1 to 3 does not exist based on the HDR information input from the embedded data acquisition unit 414
  • the CamCPU411 performs the HDR composition processing.
  • the HDR instruction signal including the instruction information instructing not to execute is output to the HDR synthesis unit 42.
  • the video receiving device 4 uses the high dynamic range information extracted by the embedded data acquisition unit 414 to process the high dynamic range composition of the image data of the attention region ROI (processing unit).
  • One example) 42 is provided.
  • the HDR synthesis unit 42 receives the HDR instruction signal including the instruction information instructing the execution of the HDR synthesis process, the HDR synthesis unit 42 reads out the image data of the area number of the region of interest ROI included in the HDR instruction signal from the storage unit 413. , An HDR composite image is generated using the read image data.
  • the HDR composition unit 42 executes high dynamic range composition on the image data of the attention region ROI based on the exposure information of the attention region ROI.
  • the HDR composition unit 42 receives the HDR instruction signal including the instruction information instructing not to execute the HDR composition process
  • the reference exposure condition of the area number of the region of interest ROI included in the HDR instruction signal is used.
  • the image data of the above is read from the storage unit 413, and the read image data is output to the subsequent device as it is. That is, in two consecutive frames in which the area numbers (an example of identification information) of the area of interest ROI match, at least one of the difference in the coordinates of the end of the area of interest ROI and the difference in the size of the area of interest ROI is When it is larger than a predetermined threshold, the HDR compositing unit 42 does not perform high dynamic range compositing on the image data of the region of interest ROI.
  • the video receiving device 4 may have an image quality adjusting unit (not shown) after the HDR compositing unit 42.
  • the image quality adjustment unit adjusts the image quality by executing RGB processing for adjusting gamma correction and white balance and YC processing for adjusting the shading and brightness of the image quality on the image data input from the HDR composition unit 42. It may be configured to do so.
  • the image quality adjusting unit is configured to output the image quality adjusted image to, for example, a display device (not shown). As a result, the display device displays an image in which HDR composition has been performed as necessary at a portion corresponding to the region of interest ROI.
  • FIG. 15 is a flowchart showing an example of the flow of high dynamic range synthesis processing in the transmission device, the reception device, and the transmission system according to the present embodiment.
  • Step S31 As shown in FIG. 15, the sensor CPU 321 provided in the video transmission device 3 detects the frame start trigger, and when imaging by the high dynamic range is determined, first controls the exposure in the imaging unit 31. Therefore, the exposure conditions are set, and the process proceeds to step S33.
  • the sensor CPU 321 sets a plurality of exposure conditions based on the detection information input from the detection unit 323. Further, the sensor CPU 321 sets the exposure conditions including the reference exposure conditions.
  • Step S33 The sensor CPU 321 determines a cutout position for cutting out an image from the image pickup area of the image pickup unit 31, and proceeds to the process of step S35.
  • the sensor CPU 321 has the cutout position, that is, the coordinates of the reference pixel of the region of interest ROI (coordinates of the upper left end of the region of interest ROI in this embodiment) and the image size (lengths in the X-axis direction and the Y-axis direction).
  • the sensor CPU 321 sets in the embedded data as HDR information the information in which the determined coordinates and image size of the region of interest ROI and the exposure conditions and digital gains of the region of interest ROI are associated with the region number of the region of interest ROI. ..
  • the sensor CPU 321 acquires HDR information for each frame input from the imaging unit 31 and sets it as embedded data.
  • Step S35 The sensor CPU 321 sets the transmission data including the embedded data in which the HDR information and various other information are set in the transmission unit 322, and ends the HDR synthesis process.
  • the transmission data set in step S35 is transmitted from the video transmitting device 3 to the video receiving device 4 by communication by hardware (HW) using MIPI.
  • the receiving unit 412 provided in the video receiving device 4 extracts the embedded data from the received transmission data and outputs it to the embedded data acquisition unit 414.
  • the embedded data acquisition unit 414 decodes the embedded data input from the receiving unit 412 and decodes various information (for example, the number of the region of interest ROI, the region number and priority of the region of interest ROI, the data length of the region of interest ROI, and the region of interest ROI. (Image format, etc.) is acquired, and the acquired various information is output to CamCPU411.
  • Step S41 The CamCPU 411 has a priority based on various information acquired and input by the embedded data acquisition unit 414 from the transmission data received by the receiving unit 412, triggered by the timing when the embedded data is decoded by the embedded data acquisition unit 414.
  • the coordinates (position and size) of the highest attention region ROI are acquired, and the process proceeds to step S43.
  • the CamCPU 411 cuts out the position and size of the attention region ROI having the highest priority (that is, the coordinates of the reference pixel, the length in the X-axis direction, and the Y-axis direction) based on the HDR information included in the various information. Length) is obtained for each frame.
  • Step S43 Based on the acquired HDR information of the region of interest ROI, the CamCPU 411 determines whether or not the size matches the cutout position of the region of interest ROI between frames. When the CamCPU 411 determines that all of the synthesis conditions 1 to 3 are satisfied based on whether or not the synthesis conditions 1 to 3 are satisfied in the ROI match determination unit 411a, the process proceeds to the process of step S45. On the other hand, when the CamCPU 411 determines that at least one of the synthesis conditions 1 to 3 is not satisfied, the process proceeds to the process of step S47.
  • Step S45 The CamCPU411 outputs an HDR instruction signal including the area number of the region of interest ROI satisfying the execution condition of the HDR synthesis process and the instruction information instructing the execution of the HDR synthesis process to the HDR synthesis unit 42, and performs the process in step S47. Transition.
  • the HDR compositing unit 42 reads out the image data of the predetermined region of interest ROI from the storage unit 413 based on the HDR instruction signal input from the CamCPU 411, and executes the HDR compositing process.
  • Step S47 The CamCPU411 determines whether or not the processes of steps S41 to S45 have been executed for all the attention region ROIs input from the embedded data acquisition unit 414. When it is determined that the CamCPU411 has executed the process in all the attention area ROIs (Yes), the CamCPU411 ends the HDR synthesis process. On the other hand, when the CamCPU 411 determines that the process is not executed in all the attention area ROIs (No), the process returns to the process of step S41. The CamCPU411 repeats the processes of steps S41 to S47 until the HDR synthesis process for all the regions of interest ROI is completed.
  • the transmission device, the reception device, and the transmission system according to the present embodiment can realize high dynamic range composition processing for a part of the attention region (ROI) cut out from the captured image.
  • ROI attention region
  • the transmitting device, the receiving device, and the transmission system according to the present embodiment can perform high dynamic range composition on a part of the images obtained by cutting out the object specified as the imaging target without transmitting all the captured images. ..
  • the transmission device, the reception device, and the transmission system according to the present embodiment can reduce the processing load in high dynamic range synthesis, so that the power consumption can be reduced.
  • the long and short exposures in the transmitting device, the receiving device and the transmission system according to the present embodiment can be a countermeasure against flicker.
  • the transmission device, the reception device, and the transmission system according to the first modification of the first embodiment will be described with reference to FIG.
  • the transmission device, the reception device, and the transmission system according to the present modification are characterized in that the ROI match determination unit 411a in the first embodiment is provided not in the video reception device 4 but in the video transmission device 3. .
  • the ROI match determination unit in the present modification will be described with reference to the same reference reference numerals as those of the ROI match determination unit 411a in the first embodiment.
  • the ROI match determination unit (an example of the control unit) 411a in this modification is connected to, for example, the conversion area control unit 321b and is provided in the sensor CPU 321.
  • the ROI match determination unit 411a receives from the conversion area control unit 321b the single information of any one of the coordinates, size, and exposure information of the end portion of the ROI of interest, or the combination information in which any two or more of them are combined. Entered.
  • the ROI match determination unit 411a is configured to exhibit the same function as the ROI match determination unit 411a in the first embodiment.
  • the ROI match determination unit 411a is based on the individual information or the combination information of the attention region ROIs of the two consecutive frames in which the identification information of the attention region ROIs match, and the ROI match determination unit 411a of each of the two frames. It is possible to determine whether or not the attention area ROIs match.
  • the ROI match determination unit 411a is connected to, for example, the transmission unit 322. Therefore, the ROI match determination unit 411a, the information of the determination result of whether or not the attention area ROIs of the two frames match, and the information in which the identification information of the attention area ROI is associated with the transmission unit 322 Can be output to. As a result, the transmission unit 322 provides information in which the information of the determination result of whether or not the attention area ROIs of the two frames match in the conversion area control unit 321b and the identification information of the attention area ROI are associated with each other. Independent information or combined information including information on defective pixels can be included in the ROI information and transmitted to the receiving unit 412 provided in the video receiving device 4.
  • the receiving unit 412 contains information and defective pixels in which the information of the determination result of whether or not the attention region ROIs of the two frames in the video transmission device 3 match and the identification information of the attention region ROI are associated with each other. Receives a transmission signal containing ROI information with single or combined information containing the information.
  • the embedded data acquisition unit 414 can acquire the information of the determination result, the identification information of the region of interest ROI, and the information of the defective pixel from the ROI information received by the reception unit 412.
  • the HDR composition unit 42 can execute the HDR composition process based on the information of the determination result acquired by the embedded data acquisition unit 414, the identification information of the region of interest ROI, and the information of the defective pixel.
  • Modification 2 The transmission device, the reception device, and the transmission system according to the second modification of the first embodiment will be described with reference to FIG.
  • the transmission device, the reception device, and the transmission system according to the present modification are characterized in that the HDR compositing unit 42 in the above modification 1 is provided not in the video reception device 4 but in the video transmission device 3.
  • the ROI match determination unit and the HDR composition unit 42 in the present modification will be described below using the same reference numerals as the ROI match determination unit 411a and the HDR composition unit 42 in the first embodiment. ..
  • the ROI match determination unit 411a is connected not to the transmission unit 322 but to, for example, the HDR synthesis unit (an example of the processing unit) 42. Further, the conversion area control unit 321b is connected to the HDR synthesis unit 42 in addition to the ROI match determination unit 411a.
  • the HDR compositing unit 42 the information of the determination result as to whether or not the attention region ROIs of the two frames match and the identification information of the attention region ROI are associated with the information and the defective pixel. Information is entered.
  • the HDR composition unit 42 refers to the image data of the attention region ROI based on the exposure information. High dynamic range composition can be processed.
  • the HDR composition unit 42 processes high dynamic range composition on the image data of the attention area ROI when it is determined by the ROI match determination unit 411a that the attention area ROIs of the two frames do not match. do not do.
  • the HDR synthesis unit 42 is connected to the transmission unit 322. Therefore, when the HDR composition unit 42 executes the high dynamic range composition, the HDR composition unit 42 can output the image data of the high dynamic range composition to the transmission unit 322.
  • the transmission unit 322 can transmit the image data synthesized by the HDR synthesis unit 42 in the high dynamic range, including the image data in the ROI information.
  • the video receiving device 4 When the HDR composite processed image data is input from the video transmitting device 3, the video receiving device 4 performs RGB processing for adjusting, for example, gamma correction and white balance, and the shading and brightness of the image quality.
  • the image quality may be adjusted by executing a YC process for adjusting the image quality.
  • the image receiving device 4 is configured to output an image whose image quality has been adjusted to, for example, a display device (not shown). As a result, the display device displays an image in which HDR composition has been performed as necessary at a portion corresponding to the region of interest ROI.
  • the transmission device, the receiving device, and the transmission system according to the first modification and the second modification have the same effects as the transmission device, the receiving device, and the transmission system according to the first embodiment, respectively.
  • FIG. 16 is a diagram schematically showing the high dynamic range synthesis process in the present embodiment.
  • short-exposure images and long-exposure images are alternately arranged in two rows in the region of interest ROI.
  • the coordinates of the reference pixels of the region of interest ROI and short exposure and long exposure are used.
  • the HDR composition process is executed for each ROI of interest.
  • an HDR composite image in the region of interest ROI can be generated.
  • FIG. 17 is a diagram showing exposure patterns PA1 to PA4 of the image pickup device cut out from the image pickup region shown on the left side of the thick arrow in FIG.
  • array example A an array in which the exposure and color of the imaging region shown on the left side of the thick arrow in FIG. 16 are combined is referred to as "array example A”.
  • short-exposure images and long-exposure images are arranged alternately in two rows each. That is, in the imaging region in Arrangement Example 1, two rows of short-exposure pixels and two rows of long-exposure pixels are arranged alternately. Further, the imaging region in the arrangement example 1 has a red pixel (hereinafter, abbreviated as “R pixel”) arranged at the upper left end portion. Further, in the imaging region in Arrangement Example 1, the left end portion is an R pixel, and the odd-numbered rows in which the R pixel and the green pixel (hereinafter, abbreviated as “G pixel”) are alternately arranged, and the left end portion is a G pixel. And has an even number of rows in which G pixels and blue pixels (hereinafter, abbreviated as "B pixels”) are alternately arranged.
  • R pixel red pixel
  • G pixel green pixel
  • B pixels blue pixels
  • the color arrangement of the entire pixel in the imaging region in the arrangement example A is fixed. Therefore, when the region of interest ROI is cut out from the imaging region in the arrangement example A, eight exposure patterns PA1 to PA8 are used as a combination of the exposure and the color arrangement included in the region of interest ROI, as shown in FIG. 17, depending on the position of the cutout. is there.
  • the upper left end portion in the exposure pattern PA1 corresponds to the short exposure R pixel.
  • the coordinates of the upper left end of the exposure pattern PA1 are represented by "2 x m-1" for the X coordinate and "1 + (n-1) x d" for the Y coordinate.
  • m and n are natural numbers.
  • d is the number of types of array patterns in the Y-axis direction (vertical direction), and is "4" in this example.
  • m, n, and d mean the same contents in the sequence pattern in the present embodiment. Further, if the size of the region to be cut out is 5 rows and 5 columns, as shown in FIG.
  • the exposure pattern PA1 has "R pixel, G pixel, R pixel, G pixel, R" in which the first row is a short exposure.
  • the second line is a short-exposure "G pixel, B pixel, G pixel, B pixel, G pixel”.
  • the third line is the long exposure "R pixel, G pixel, R pixel, G pixel, R pixel”
  • the fourth line is the long exposure "G pixel, B pixel, G pixel, B”. Pixel, G pixel ".
  • the exposure pattern PA1 has the same exposure conditions and color arrangement as those in the first row on the fifth row.
  • the upper left end portion of the exposure pattern PA2 corresponds to a short-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PA2 are represented by "2 x m" for the X coordinate and "1 + (n-1) x d" for the Y coordinate.
  • the first row is a short exposure “G pixel, R pixel, G pixel, R pixel, G”.
  • the second line is a short-exposure "B pixel, G pixel, B pixel, G pixel, B pixel".
  • the third line is the long exposure "G pixel, R pixel, G pixel, R pixel, G pixel", and the fourth line is the long exposure "B pixel, G pixel, B pixel, G". Pixel, B pixel ".
  • the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PA3 corresponds to a short-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PA3 are represented by "2 x m-1" for the X coordinate and "2 + (n-1) x d" for the Y coordinate.
  • the first row is a short exposure “G pixel, B pixel, G pixel, B pixel, G”.
  • the second line is the long-exposure "R pixel, G pixel, R pixel, G pixel, R pixel".
  • the third line is the long exposure "G pixel, B pixel, G pixel, B pixel, G pixel", and the fourth line is the short exposure "R pixel, G pixel, R pixel, G”. Pixel, R pixel ".
  • the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PA4 corresponds to a short-exposure B pixel.
  • the coordinates of the upper left end of the exposure pattern PA4 are represented by "2 x m" for the X coordinate and "2 + (n-1) x d" for the Y coordinate.
  • the first row is a short exposure “B pixel, G pixel, B pixel, G pixel, B”.
  • the second line is the long-exposure "G pixel, R pixel, G pixel, R pixel, G pixel.
  • the third line is the long exposure "B pixel, G pixel, B pixel, G pixel, B pixel", and the fourth line is the short exposure "G pixel, R pixel, G pixel, R”. Pixel, G pixel ".
  • the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PA5 corresponds to a long-exposure R pixel.
  • the coordinates of the upper left end portion of the exposure pattern PA5 are represented by "2 x m-1" for the X coordinate and "3+ (n-1) x d" for the Y coordinate.
  • the exposure pattern PA5 has the same color arrangement as the exposure pattern PA1 and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PA6 corresponds to a long-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PA6 are represented by "2 x m" for the X coordinate and "3 + (n-1) x d" for the Y coordinate.
  • the exposure pattern PA6 has the same color arrangement as the exposure pattern PA2, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PA7 corresponds to a long-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PA7 are represented by "2 x m-1" for the X coordinate and "4+ (n-1) x d" for the Y coordinate.
  • the exposure pattern PA7 has the same color arrangement as the exposure pattern PA3, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PA8 corresponds to a long-exposure B pixel.
  • the coordinates of the upper left end of the exposure pattern PA8 are represented by "2 x m" for the X coordinate and "4 + (n-1) x d" for the Y coordinate.
  • the exposure pattern PA8 has the same color arrangement as the exposure pattern PA4, and the short exposure and the long exposure are reversed. have.
  • FIG. 18 is a diagram schematically showing an arrangement example B in which the exposure conditions and the color arrangement of the image pickup element provided in the image pickup region of the image pickup unit are combined.
  • FIG. 19 is a diagram showing exposure patterns PB1 to PB16 of the image pickup device cut out from the arrangement example B shown in FIG.
  • R pixels and G pixels are arranged alternately in the odd-numbered rows, and G pixels and B pixels are arranged alternately in the even-numbered rows.
  • the R pixel is arranged at the left end portion of the odd-numbered rows
  • the G pixel is arranged at the left end portion of the even-numbered rows.
  • the G pixel and the pixel adjacent to the right side of the G pixel are set as a set, and the exposure conditions of the set are configured so that short exposure and long exposure are alternately repeated.
  • the exposure condition of the left end portion of the first row, the fourth row, the fifth row, and the sixth row is short exposure
  • the exposure condition of the left end portion of the remaining row is long exposure. ing.
  • the color arrangement of the entire pixel in the imaging region in the arrangement example B is fixed. Therefore, when the region of interest ROI is cut out from the imaging region in the arrangement example B, 16 exposure patterns PB1 to PB16 are combined as a combination of the exposure and the color arrangement included in the region of interest ROI, depending on the position of the cutout, as shown in FIG. There is.
  • the upper left end portion in the exposure pattern PB1 corresponds to the short exposure R pixel.
  • the coordinates of the upper left end of the exposure pattern PB1 are represented by "1+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
  • dx is the number of types of array patterns in the X-axis direction (horizontal direction), and is "4" in this example.
  • dy is the number of types of array patterns in the Y-axis direction (vertical direction), and is "4" in this example.
  • the first row of the exposure pattern PB1 is "short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure”.
  • Exposure G pixel, short exposure R pixel and the second line becomes "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel.
  • short exposure R pixel means that the exposure condition is a short exposure R pixel
  • long exposure R pixel means that the exposure condition is a long exposure R pixel.
  • the same notation is given for other exposure conditions and combinations of color pixels.
  • the exposure pattern PB1 has the same exposure conditions and color arrangement as those in the first row on the fifth row.
  • the upper left end portion of the exposure pattern PB2 corresponds to a long-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PB2 are represented by "2+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
  • the first row of the exposure pattern PB2 is "long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure".
  • Exposure R pixel, long exposure G pixel and the second line is short exposure "long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel”.
  • the third line is "short exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel”
  • the fourth line is "short exposure B pixel, short exposure”.
  • Exposure G pixel, long exposure B pixel, long exposure G pixel, short exposure B pixel has the same exposure conditions and color arrangement as those in the first row in the fifth row.
  • the upper left end portion of the exposure pattern PB3 corresponds to a long-exposure R pixel.
  • the coordinates of the upper left end of the exposure pattern PB3 are represented by "3+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
  • the first row of the exposure pattern PB3 is "long exposure R pixel, short exposure G pixel, short exposure R pixel, long".
  • Exposure G pixel, long exposure R pixel and the second line is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel".
  • the third line is "short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel”
  • the fourth line is "long exposure G pixel, long”.
  • Exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel Further, the exposure pattern PB3 has the same exposure conditions and color arrangement as those in the first row in the fifth row.
  • the upper left end portion of the exposure pattern PB4 corresponds to a short-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PB4 are represented by "4+ (m-1) x dx" for the X coordinate and "1+ (n-1) x dy" for the Y coordinate.
  • the first row of the exposure pattern PB4 is "short exposure G pixel, short exposure R pixel, long exposure G pixel, long".
  • Exposure R pixel, short exposure G pixel and the second line becomes "short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel".
  • the third line is "long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel
  • the fourth line is "long exposure B pixel, short exposure”.
  • Exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel Further, in the exposure pattern PB4, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PB5 corresponds to a long-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PB5 are represented by "1+ (m-1) x dx" for the X coordinate and "2+ (n-1) x d" for the Y coordinate.
  • the first row of the exposure pattern PB5 is "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure".
  • Exposure B pixel, long exposure G pixel and the second line becomes "long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel".
  • the third line is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel
  • the fourth line is "short exposure R pixel, long”.
  • Exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel Further, in the exposure pattern PB5, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PB5 corresponds to a long-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PB5 are represented by "1+ (m-1) x dx" for the X coordinate and "2+ (n-1) x d" for the Y coordinate.
  • the first row of the exposure pattern PB5 is "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure".
  • Exposure B pixel, long exposure G pixel and the second line becomes "long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel, short exposure R pixel".
  • the third line is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel
  • the fourth line is "short exposure R pixel, long”.
  • Exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel Further, in the exposure pattern PB5, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PB6 corresponds to a long-exposure B pixel.
  • the coordinates of the upper left end of the exposure pattern PB6 are represented by "2+ (m-1) x dx" for the X coordinate and "2+ (n-1) x d" for the Y coordinate.
  • the first row of the exposure pattern PB6 is "long exposure B pixel, short exposure G pixel, short exposure B pixel, long".
  • Exposure G pixel, long exposure B pixel and the second line is "short exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel".
  • the third line is "short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel”
  • the fourth line is "long exposure G pixel, long”.
  • Exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel Further, in the exposure pattern PB6, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PB7 corresponds to a short-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PB7 are represented by "3+ (m-1) x dx" for the X coordinate and "2+ (n-1) x dy" for the Y coordinate.
  • the first row of the exposure pattern PB7 is "short exposure G pixel, short exposure B pixel, long exposure G pixel, long".
  • Exposure B pixel, short exposure G pixel and the second line becomes "short exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel".
  • the third line is "long exposure G pixel, long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel
  • the fourth line is "long exposure R pixel, short exposure”.
  • Exposure G pixel, short exposure R pixel, long exposure G pixel, long exposure R pixel has the same exposure conditions and color arrangement as those in the first row in the fifth row.
  • the upper left end portion of the exposure pattern PB8 corresponds to a short-exposure B pixel.
  • the coordinates of the upper left end of the exposure pattern PB8 are represented by "4+ (m-1) x dx" for the X coordinate and "2+ (n-1) x dy" for the Y coordinate.
  • the first row of the exposure pattern PB8 is "short exposure B pixel, long exposure G pixel, long exposure B pixel, short exposure".
  • Exposure G pixel, short exposure B pixel and the second line is "long exposure G pixel, long exposure R pixel, short exposure G pixel, short exposure R pixel, long exposure G pixel.
  • the third line is "long exposure B pixel, short exposure G pixel, short exposure B pixel, long exposure G pixel, long exposure B pixel”
  • the fourth line is "short exposure G pixel, short exposure”.
  • Exposure R pixel, long exposure G pixel, long exposure R pixel, short exposure G pixel Further, in the exposure pattern PB4, the exposure conditions and the color arrangement of the fifth row are the same as those of the first row.
  • the upper left end portion of the exposure pattern PB9 corresponds to a long-exposure R pixel.
  • the coordinates of the upper left end of the exposure pattern PB9 are represented by "1+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB9 has the same color arrangement as the exposure pattern PB1 and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PB10 corresponds to a short-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PB10 are represented by "2+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB10 has the same color arrangement as the exposure pattern PB2, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PB11 corresponds to a short-exposure R pixel.
  • the coordinates of the upper left end portion of the exposure pattern PB11 are represented by "3+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB11 has the same color arrangement as the exposure pattern PB3, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PB12 corresponds to a long-exposure G pixel.
  • the coordinates of the upper left end portion of the exposure pattern PB12 are represented by "4+ (m-1) x dx" for the X coordinate and "3+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB12 has the same color arrangement as the exposure pattern PB4, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PB13 corresponds to a short-exposure G pixel.
  • the coordinates of the upper left end portion of the exposure pattern PB13 are represented by "1+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB13 has the same color arrangement as the exposure pattern PB5, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PB14 corresponds to a short-exposure B pixel.
  • the coordinates of the upper left end of the exposure pattern PB14 are represented by "2+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB14 has the same color arrangement as the exposure pattern PB6, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PB15 corresponds to a long-exposure G pixel.
  • the coordinates of the upper left end of the exposure pattern PB15 are represented by "3+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB15 has the same color arrangement as the exposure pattern PB7, and the short exposure and the long exposure are reversed. have.
  • the upper left end portion of the exposure pattern PB16 corresponds to a long-exposure B pixel.
  • the coordinates of the upper left end of the exposure pattern PB16 are represented by "4+ (m-1) x dx" for the X coordinate and "4+ (n-1) x dy" for the Y coordinate.
  • the exposure pattern PB16 has the same color arrangement as the exposure pattern PB8, and the short exposure and the long exposure are reversed. have.
  • the exposure conditions of the entire imaging region are known, the exposure conditions, coordinates, and the size of the region to be cut out can be obtained from the attention region ROI, for example, the exposure conditions and coordinates of the pixels at the upper left end.
  • the exposure conditions of the included pixels can be determined. Therefore, the video transmission device transmits information on the exposure conditions, coordinates, and size of the pixels for each attention area ROI to the video reception device as HDR information, so that the video reception device performs HDR composition processing for the attention area ROI. Can be executed.
  • the video transmission device and the video reception device each store information in the non-volatile storage element in which the image pickup unit has an image pickup region having the color arrangement of the arrangement example A, and the video transmission device sets the exposure pattern PA1. It is assumed that the information on the upper left portion and the information on the size of the ROI of interest are transmitted to the video receiver as HDR information. Based on the HDR information, the video receiving device can determine which of the exposure patterns PA1 to PA8 shown in FIG. 17 is the exposure condition of the region of interest ROI. The video receiving device executes the HDR composition processing based on the exposure conditions of the determined region of interest ROI. As a result, as shown on the right side of the thick arrow in FIG. 16, the HDR composite image after the HDR composite processing is generated.
  • FIG. 20 is a block diagram showing a schematic configuration of a video transmission device 5, a video reception device 6, and a video transmission system 20 according to the present embodiment.
  • the components having the same functions and functions as the video transmission device 3, the video reception device 4, and the video transmission system 10 according to the first embodiment are designated by the same reference numerals and the description thereof will be omitted.
  • the video transmission device 5 has the same configuration as the video transmission device 3 according to the first embodiment, except that the content of the HDR information included in the embedded data is different. ing.
  • the conversion area control unit 521b provided in the video transmission device 5 is configured to acquire HDR information of the region of interest ROI. When a plurality of attention area ROIs are set, the conversion area control unit 521b is configured to acquire HDR information for each attention area ROI.
  • the conversion area control unit 521b is configured to acquire as HDR information individual information of any one of the coordinates, size, and exposure information of the reference pixel of the area of interest ROI, or combination information of any two or more of them. There is.
  • the information on the size of the region of interest ROI includes information on the respective lengths of the region of interest ROI in the X-axis direction and the Y-axis direction.
  • the conversion area control unit 521b is configured to acquire the exposure conditions of the reference pixel (the pixel at the upper left end of the attention area ROI in the present embodiment) as the exposure information.
  • the coordinates of the upper left end portion of the attention region ROI are acquired as the reference pixels of the attention region ROI, but the position of the attention region ROI and the exposure pattern of the attention region ROI can be specified.
  • the reference pixel used as the exposure information may be any pixel that can be associated with the exposure conditions of all the pixels in the imaging region of the imaging unit 31. For example, when the exposure patterns shown in FIGS.
  • the pixels at the lower right end portion are the exposure conditions for all the pixels in the imaging region of the imaging unit 31. It becomes a pixel that can be associated with. Therefore, in this case, the conversion area control unit 521b determines that the pixel at the lower right end of the attention area ROI is a reference pixel, and acquires the coordinates and exposure conditions of the pixel.
  • the conversion area control unit 321b uses the acquired size of the area of interest ROI, the coordinates of the reference pixel of the area of interest ROI, the exposure conditions, and the value of the digital gain applied to the image data of the coordinates as HDR information of the area of interest ROI. It is output to the transmission unit 322 in association with the area number.
  • the conversion area control unit 321b acquires HDR information for each of the plurality of attention area ROIs and outputs the HDR information to the transmission unit 322.
  • the transmission unit 322 creates transmission data included in the embedded data together with ROI information including HDR information input from the conversion area control unit 521b and other information, and transmits the transmission data to the video receiving device 6.
  • the sensor CPU 521 has the same configuration as the sensor CPU 321 in the first embodiment, except that the function of the conversion area control unit 521b is different, and is configured to exhibit the same function.
  • the control unit 52 has the same configuration as the control unit 32 in the first embodiment, except that the functions of the conversion area control unit 521b are different, and is configured to exhibit the same functions. .. Therefore, the description of the sensor CPU 521 and the control unit 52 will be omitted.
  • the CamCPU 611 provided in the video receiving device 6 has a reference pixel determination unit 611a.
  • the reference pixel determination unit 611a is based on various information input from the embedded data acquisition unit 414, and the coordinates and exposure of the reference pixel of the attention region ROI (in this embodiment, the coordinates of the pixel at the upper left end of the attention region ROI). It is configured to acquire the conditions and the size of the attention region ROI (each length in the X-axis direction and the Y-axis direction) and specify the pixel pattern (that is, the exposure pattern) of the attention region ROI.
  • a plurality of exposure patterns as illustrated in FIGS. 17 and 19 are stored.
  • the reference pixel determination unit 611a is based on the coordinates and exposure conditions of the reference pixel of the region of interest ROI acquired from various information input from the embedded data acquisition unit 414 and a plurality of exposure patterns stored in the storage area of the CamCPU411. The exposure pattern of the region of interest ROI is specified.
  • the plurality of exposure patterns are stored in the storage area of the sensor CPU 521, and the video transmission device 5 may be configured to transmit the plurality of exposure patterns together with the HDR information to the video reception device 6.
  • the conversion area control unit 521b may be configured to select an exposure pattern based on the coordinates of the reference pixel of the attention area ROI and the exposure conditions.
  • both the sensor CPU 521 and the Cam CPU 611 may have a plurality of exposure patterns in association with the pattern number.
  • the video transmitting device 5 may send the pattern number of the exposure pattern selected by the conversion area control unit 521b based on the coordinates of the reference pixel of the region of interest ROI and the exposure conditions to the video receiving device 6.
  • the reference pixel determination unit 611a determines the coordinates and exposure conditions of the reference pixel of the attention area ROI based on the HDR information input from the embedded data acquisition unit 414, the exposure pattern, the area number of the attention area ROI, and the HDR composition processing.
  • the HDR instruction signal including the instruction information instructing the execution of is output to the HDR synthesis unit 42.
  • the CamCPU 411 performs HDR composition processing.
  • the HDR instruction signal including the instruction information instructing not to execute is output to the HDR synthesis unit 42.
  • the HDR compositing unit 42 When the HDR compositing unit 42 receives the HDR instruction signal including the instruction information instructing the execution of the HDR compositing process, the HDR compositing unit 42 reads the image data of the area number of the region of interest ROI included in the HDR instruction signal from the CamCPU611 and reads it out. An HDR composite image is generated using the obtained image data.
  • the CamCPU 611 has the same configuration as the CamCPU 411 according to the first embodiment, except that it has a reference pixel determination unit 611a, and is configured to exhibit the same function. Further, the control unit 61 has the same configuration as the control unit 41 in the first embodiment, except that the CamCPU 411 is provided with the reference pixel determination unit 611a and does not have the storage unit 413. , Is configured to perform similar functions. Therefore, the description of the CamCPU 611 and the control unit 61 will be omitted.
  • FIG. 21 is a flowchart showing an example of the flow of high dynamic range synthesis processing in the transmission device, the reception device, and the transmission system according to the present embodiment.
  • Step S51 the sensor CPU 521 provided in the video transmission device 5 detects the frame start trigger, and when imaging in the high dynamic range is determined, first controls the exposure in the imaging unit 31.
  • the exposure conditions are set for this purpose, and the process proceeds to step S53.
  • the sensor CPU 521 sets a plurality of exposure conditions based on the detection information input from the detection unit 323. Further, the sensor CPU 521 sets the exposure conditions including the reference exposure conditions.
  • Step S53 The sensor CPU 521 determines a cutout position for cutting out an image from the image pickup area of the image pickup unit 31, and proceeds to the process of step S55.
  • the sensor CPU 521 determines the cutout position, that is, the coordinates of the reference pixel of the region of interest ROI (coordinates of the upper left end of the region of interest ROI in this embodiment) and the image size (lengths in the X-axis direction and the Y-axis direction). To determine. Further, the sensor CPU 521 sets the information in which the exposure condition and the digital gain of the reference pixel of the determined region of interest ROI are associated with the region number of the region of interest ROI as HDR information in the embedded data. The sensor CPU 521 acquires HDR information for each frame input from the imaging unit 31 and sets it as embedded data.
  • Step S55 The sensor CPU 521 sets the transmission data including the embedded data in which the HDR information and various other information are set in the transmission unit 322, and ends the HDR synthesis process.
  • the transmission data set in step S55 is transmitted from the video transmitting device 5 to the video receiving device 6 by communication by hardware (HW) using MIPI.
  • the receiving unit 412 provided in the video receiving device 6 extracts the embedded data from the received transmission data and outputs it to the embedded data acquisition unit 414.
  • the embedded data acquisition unit 414 decodes the embedded data input from the receiving unit 412 and decodes various information (for example, the number of the region of interest ROI, the region number and priority of the region of interest ROI, the data length of the region of interest ROI, and the region of interest ROI. (Image format, etc.) is acquired, and the acquired various information is output to CamCPU611.
  • Step S61 The CamCPU611 uses the timing at which the embedded data is decoded by the embedded data acquisition unit 414 as a trigger, and the priority is set based on various information acquired and input by the embedded data acquisition unit 414 from the transmission data received by the receiving unit 412.
  • the coordinates (position and size) of the highest attention region ROI are acquired, and the process proceeds to step S63.
  • the CamCPU 611 cuts out the position and size of the attention region ROI having the highest priority (that is, the coordinates of the reference pixel, the length in the X-axis direction, and the Y-axis direction) based on the HDR information included in the various information. Length) to get.
  • Step S63 The CamCPU611 determines the pixel pattern (that is, the exposure pattern) of the area of interest ROI based on the coordinates of the acquired reference pixel of the area of interest ROI, and proceeds to the process of step S65.
  • Step S65 The CamCPU611 provides an HDR instruction signal including the acquired area number of the area of interest ROI, the coordinates and exposure pattern of the reference pixel of the area of interest ROI, the value of the digital gain, and the instruction information instructing the execution of the HDR composition processing.
  • the output is output to the HDR compositing unit 42, and the process proceeds to step S67.
  • the HDR compositing unit 42 reads out the image data of the predetermined region of interest ROI from the CamCPU611 based on the HDR instruction signal input from the CamCPU611, and executes the HDR compositing process.
  • Step S67 The CamCPU611 determines whether or not the processes of steps S61 to S65 have been executed for all the attention region ROIs input from the embedded data acquisition unit 414. When the CamCPU611 determines that the process has been executed for all the regions of interest ROI (Yes), the CamCPU611 ends the HDR synthesis process. On the other hand, when it is determined that the CamCPU611 has not executed the process in all the attention area ROIs (No), the process returns to the process of step S61. The CamCPU611 repeats the processes of steps S61 to S67 until the HDR synthesis process for all the regions of interest ROI is completed.
  • the transmission device, the reception device, and the transmission system according to the present embodiment can realize high dynamic range composition processing for a part of the attention region (ROI) cut out from the captured image.
  • ROI attention region
  • the transmission device even if different exposure conditions are mixed in the pixels constituting the image pickup area of the image pickup unit, the high dynamic range composition process is executed for each attention area ROI. Can be done.
  • the transmitting device, the receiving device, and the transmission system according to the present embodiment can perform high dynamic range composition on a part of the images obtained by cutting out the object specified as the imaging target without transmitting all the captured images. ..
  • the transmission device, the reception device, and the transmission system according to the present embodiment can reduce the processing load in high dynamic range synthesis, so that the power consumption can be reduced.
  • the long and short exposures in the transmitting device, the receiving device and the transmission system according to the present embodiment can be a countermeasure against flicker.
  • the transmission device, the reception device, and the transmission system according to the present embodiment have at least one of the ROI match determination unit 411a and the HDR synthesis unit 42, as in the above-described first and second modifications. Can be done.
  • the transmitting device, the receiving device, and the transmission system according to the present embodiment have the same effects as the transmitting device, the receiving device, and the transmission system according to the present embodiment according to the first modification and the second modification.
  • the present disclosure is not limited to the above embodiment, and various modifications can be made.
  • the video receiving device 4 according to the first embodiment is configured to execute the matching determination of the ROI of interest between frames by the ROI matching determination unit 411a provided in the CamCPU 411, but the present disclosure is limited to this. I can't.
  • the ROI match determination unit may be configured by hardware.
  • the video receiving device 6 is configured to execute the coordinate determination of the reference pixel of the attention region ROI and the determination process of the exposure pattern by the reference pixel determination unit 611a provided in the CamCPU611. Disclosure is not limited to this.
  • the reference pixel determination unit may be configured by hardware.
  • the video transmitting devices 3 and 5 are configured to include the position information and HDR information of the target object in the payload data for each pixel line and transmit them to the video receiving devices 4 and 6 as in the prerequisite technology 2. May be good.
  • the present disclosure may have the following structure.
  • a control unit that controls the acquisition of high dynamic range information, which is information used for high dynamic range composition of ROI (Region Of Interest) image data,
  • a transmission device including a transmission unit that transmits the image data of the ROI as payload data and transmits ROI information as embedded data.
  • the control unit acquires, as the high dynamic range information, single information of any one of the coordinates, size, and exposure information of the end portion of the ROI, or combination information obtained by combining any two or more of them (1). Or the transmitter according to (2).
  • the transmission device includes the image data synthesized by the processing unit in a high dynamic range in the ROI information and transmits the image data.
  • the transmitter transmits a signal according to the MIPI (Mobile Industry Processor Interface) D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI (Camera Serial Interface) -2 standard, whichever is (1) to (7) above.
  • the transmitter according to paragraph 1.
  • a receiver that includes ROI (Region Of Interest) image data in the payload data and receives a transmission signal that includes ROI information in the embedded data.
  • a control unit that controls extraction of high dynamic range information, which is information used for high dynamic range synthesis for image data of the ROI, from the transmission signal received by the receiving unit.
  • a receiving device including a processing unit that processes high dynamic range composition of the image data of the ROI using the high dynamic range information extracted by the control unit.
  • the control unit extracts one single piece of information of the coordinates, size, and exposure information of the end of the ROI, or a combination of two or more of them as the high dynamic range information (9). Or the receiving device according to (10).
  • the compositing unit In two frames in which the identification information of the ROIs match and are continuous, when at least one of the difference in the coordinates of the end of the ROI and the difference in the size of the ROI is larger than a predetermined threshold, the compositing unit The receiving device according to (12) or (14) above, which does not perform high dynamic range composition on the image data of the ROI. (16)
  • the receiving unit includes the ROI information having information associated with the information of the determination result of whether or not the ROIs of the two frames match and the identification information of the ROIs, and the transmission signal.
  • the receiving unit receives a signal according to the MIPI (Mobile Industry Processor Interface) D-PHY standard, the MIPI C-PHY standard, or the MIPI CSI (Camera Serial Interface) -2 standard, whichever is (9) to (16) above.
  • the receiving device according to paragraph 1.
  • a control unit that controls acquisition of high dynamic range information, which is information used for high dynamic range composition for ROI (Region Of Interest) image data, and the ROI image data are transmitted as payload data, and ROI information is embedded.
  • a transmitter having a transmitter for transmitting data
  • a receiver that includes ROI image data in payload data and receives a transmission signal that includes ROI information in embedded data, and a receiver that receives high dynamic range information that is information used for high dynamic range synthesis on the ROI image data.
  • a receiving device having a control unit that controls extraction from the transmission signal received in the above, and a processing unit that processes high dynamic range synthesis of the image data of the ROI using the high dynamic range information extracted by the control unit. Transmission system with.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

撮像画像から切り出した一部の注目領域（ＲＯＩ）のハイダイナミックレンジ合成を実現することを目的とする。送信装置は、ＲＯＩ（Region Of Interest）の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部とを備えている。

Description

送信装置、受信装置及び伝送システム
　本開示は、送信装置、受信装置及び伝送システムに関する。
　近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
　伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われていることが知られている（例えば特許文献１～４）。
特開２０１６－２０１７５６号公報 特開２０１４－３９２１９号公報 特開２０１３－１６４８３４号公報 特開２０１２－２０９８３１号公報
　撮像画像から切り出した一部の注目領域（ＲＯＩ（Region Of Interest））を伝送する場合のハイダイナミックレンジ合成について、何ら検討されていない。
　本開示の目的は、撮像画像から切り出した一部の注目領域（ＲＯＩ）のハイダイナミックレンジ合成を実現することにある。
　本開示の一態様による送信装置は、ＲＯＩ（Region Of Interest）の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部とを備える。
　本開示の一態様による受信装置は、ＲＯＩ（Region Of Interest）の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、前記ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、前記制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ＲＯＩの画像データのハイダイナミックレンジ合成を処理する処理部とを備える。
　本開示の一態様による伝送システムは、ＲＯＩ（Region Of Interest）の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部、及び前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部とを有する送信装置と、ＲＯＩの画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び該制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ＲＯＩの画像データのハイダイナミックレンジ合成を処理する処理部を有する受信装置を備える。
映像伝送システムの概略構成例を表す図である。 図１の映像送信装置の概略構成例を表す図である。 撮像画像に２つのＲＯＩが含まれているときの、伝送データの生成手順の一例を表す図である。 パケットヘッダの構成例を表す図である。 伝送データの構成例を表す図である。 伝送データの構成例を表す図である。 ロングパケットのペイロードデータの構成例を表す図である。 図１の映像受信装置の概略構成例を表す図である。 伝送データに２つの画像が含まれているときの、撮像画像に含まれる２つのＲＯＩ画像の生成手順の一例を表す図である。 撮像画像において特定された物体が配置された領域を模式的に示す図である。 特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。 ＲＯＩ画像の位置情報がロングパケットのペイロードデータに含められている伝送データの構成例を示す図である。 第１実施形態におけるハイダイナミックレンジ合成処理を模式的に示す図である。 第１実施形態による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。 第１実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。 第２実施形態におけるハイダイナミックレンジ合成処理を模式的に示す図である。 図１６中に示す撮像領域から切り出される撮像素子の露光パターンを示す図である。 撮像部の撮像領域に設けられた撮像素子の露光条件及び色配列を組み合わせた配列例を模式的に示す図である。 図１８に示す配列例Ｂから切り出される撮像素子の露光パターンＰＢ１～ＰＢ１６を示す図である。 第２実施形態による送信装置、受信装置及び伝送システムの概略構成を示すブロック図である。 第２実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
　以下、本開示による技術を実施するための形態（以下、「実施形態」と称する）について、以下の順序により説明する。
　１．本開示の前提技術１（撮像画像から切り出した一部（形状が矩形状）の注目領域（ＲＯＩ）を伝送する技術）
　２．本開示の前提技術２（撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術）
　３．本開示の第１実施形態におけるハイダイナミックレンジ合成処理の原理
　４．本開示の第１実施形態による送信装置、受信装置及び伝送システム
　５．本開示の第２実施形態におけるハイダイナミックレンジ合成処理の原理
　６．本開示の第２実施形態による送信装置、受信装置及び伝送システム
１．本開示の前提技術１：
[構成]
　近年、スマートフォンなどの携帯デバイスやカメラデバイスなどでは、扱う画像データの大容量化が進み、デバイス内又は異なるデバイス間でのデータ伝送に高速化、かつ低消費電力化が求められている。このような要求に応えるため、携帯デバイスやカメラデバイス向けの接続インタフェースとして、ＭＩＰＩアライアンスが策定したＣ－ＰＨＹ規格やＤ－ＰＨＹ規格といった高速インタフェース規格の標準化が進められている。Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格は、通信プロトコルの物理層（physical layer：ＰＨＹ）のインタフェース規格である。また、Ｃ－ＰＨＹ規格やＤ－ＰＨＹ規格の上位プロトコル・レイヤとして、携帯デバイスのディスプレイ向けのＤＳＩや、カメラデバイス向けのＣＳＩが存在する。
　本開示の前提技術に係る映像伝送システム１は、種々の規格で信号を送受信できるシステムであり、例えばＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩ ＤＳＩ規格で信号を送受信することができる。図１は、本開示の前提技術に係る映像伝送システム１の概要を表したものである。映像伝送システム１は、データ信号、クロック信号及び制御信号の伝送に適用されるものであり、映像送信装置１００及び映像受信装置２００を備えている。映像伝送システム１は、映像送信装置１００と映像受信装置２００とに跨がって、例えば画像データ等のデータ信号を伝送するデータレーンＤＬと、クロック信号を伝送するクロックレーンＣＬと、制御信号を伝送するカメラ制御インタフェースＣＣＩとを備えている。図１には、１つのデータレーンＤＬが設けられている例が示されているが、複数のデータレーンＤＬが設けられていてもよい。カメラ制御インタフェースＣＣＩは、Ｉ２Ｃ（Inter-Integrated Circuit）規格と互換性を有する双方向制御インタフェースである。
　映像送信装置１００は、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩ ＤＳＩ規格で信号を送出する装置である。ＣＳＩトランスミッタ１００Ａと、ＣＣＩスレーブ１００Ｂとを有している。映像受信装置２００は、ＣＳＩレシーバ２００Ａと、ＣＣＩマスター２００Ｂとを有している。クロックレーンＣＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。データレーンＤＬにおいて、ＣＳＩトランスミッタ１００ＡとＣＳＩレシーバ２００Ａとの間は、クロック信号線で接続されている。カメラ制御インタフェースＣＣＩにおいて、ＣＣＩスレーブ１００ＢとＣＣＩマスター２００Ｂとの間は、制御信号線で接続されている。
　ＣＳＩトランスミッタ１００Ａは、例えば、クロック信号として差動のクロック信号を生成し、クロック信号線に出力する差動信号送信回路である。ＣＳＩトランスミッタ１００Ａは、差動に限られず、シングルエンドや３相の信号も送信できるように構成可能である。ＣＳＩトランスミッタ１００Ａは、さらに、データ信号として差動のデータ信号を生成し、データ信号線に出力する差動信号送信回路でもある。ＣＳＩレシーバ２００Ａは、クロック信号として差動のクロック信号を、クロック信号線を介して受信し、受信した差動のクロック信号に対して所定の処理を行う差動信号受信回路である。ＣＳＩレシーバ２００Ａは、さらに、データ信号として差動のデータ信号を、データ信号線を介して受信し、受信した差動のデータ信号に対して所定の処理を行う差動信号受信回路でもある。
（映像送信装置１００）
　図２は、映像送信装置１００の構成の一例を表したものである。映像送信装置１００は、ＣＳＩトランスミッタ１００Ａの一具体例に相当する。映像送信装置１００は、例えば、撮像部１１０、画像処理部１２０，１３０及び送信部１４０を備えている。映像送信装置１００は、撮像部１１０で得られた撮像画像１１１に対して所定の処理を行うことにより生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送信する。図３は、伝送データ１４７Ａの生成手順の一例したものである。
　撮像部１１０は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部１１０は、例えば、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んで構成されている。撮像部１１０は、アナログ－デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙ及び色差成分Ｃｂ，Ｃｒで表現するＹＣｂＣｒ形式であってもよいし、ＲＧＢ形式などであってもよい。撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。
　画像処理部１２０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。前提技術１では、画像処理部１２０は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術１では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。これにより、画像処理部１２０は、種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ）を生成し、送信部１４０に出力する。画像処理部１３０は、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う回路である。画像処理部１３０は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う。これにより、画像処理部１３０は、画像データ１３０Ａを生成し、送信部１４０に出力する。
　画像処理部１３０は、例えば、エンコード部１３１を有している。エンコード部１３１は、撮像画像１１１をエンコードして圧縮像データ１３０Ａを生成する。画像処理部１３０は、例えば、圧縮像データ１３０Ａの形式として、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）規格に準拠した圧縮形式等により撮像画像１１１を圧縮する。
　画像処理部１２０は、例えば、ＲＯＩ切り出し部１２１、ＲＯＩ解析部１２２、重なり検出部１２３、優先度設定部１２４、エンコード部１２５及び画像処理制御部１２６を有している。
　ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる撮影対象の１又は複数の物体を特定し、特定した物体ごとに注目領域ＲＯＩを設定する。注目領域ＲＯＩは、例えば、特定した物体を含む方形状の領域である。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩの画像（例えば図３中のＲＯＩ画像１１２）を切り出す。ＲＯＩ切り出し部１２１は、さらに、設定した注目領域ＲＯＩごとに、識別子として領域番号を付与する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１において、２つの注目領域ＲＯＩを設定した場合には、一方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ１）に対して、領域番号１を付与し、他方の注目領域ＲＯＩ（例えば図３中の注目領域ＲＯＩ２）に対して、領域番号２を付与する。ＲＯＩ切り出し部１２１は、例えば、付与した識別子（領域番号）を記憶部に格納する。ＲＯＩ切り出し部１２１は、例えば、撮像画像１１１から切り出した各ＲＯＩ画像１１２を記憶部に格納する。ＲＯＩ切り出し部１２１は、さらに、例えば、各注目領域ＲＯＩに付与した識別子（領域番号）を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。
　ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。位置情報１１３は、例えば、注目領域ＲＯＩの左上端座標（Ｘａ，Ｙａ）と、注目領域ＲＯＩのＸ軸方向の長さと、注目領域ＲＯＩのＹ軸方向の長さとによって構成されている。注目領域ＲＯＩのＸ軸方向の長さは、例えば、注目領域ＲＯＩのＸ軸方向の物理領域長さＸＬａである。注目領域ＲＯＩのＹ軸方向の長さは、例えば、注目領域ＲＯＩのＹ軸方向の物理領域長さＹＬａである。物理領域長さとは、注目領域ＲＯＩの物理的な長さ（データ長）を指している。位置情報１１３において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩ解析部１２２は、例えば、導出した位置情報１１３を記憶部に格納する。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩに対して付与された識別子（領域番号）と関連づけて、記憶部に格納する。
　ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。出力領域長さとは、例えば、注目領域ＲＯＩに対して間引き処理や画素加算などによる解像度変更がなされた後の注目領域ＲＯＩの物理的な長さ（データ長）である。ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩごとに、位置情報１１３の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ（Analog-Digital）語長、画像フォーマットなどを導出し、記憶部に格納してもよい。
　センシングインフォメーションとは、注目領域ＲＯＩに含まれる物体についての演算内容や、ＲＯＩ画像１１２に対する後段信号処理のための補足情報などを指している。露光情報とは、注目領域ＲＯＩの露光時間を指している。ゲイン情報とは、注目領域ＲＯＩのゲイン情報を指している。ＡＤ語長とは、注目領域ＲＯＩ内でＡＤ変換された１画素あたりのデータの語長を指している。画像フォーマットとは、注目領域ＲＯＩの画像のフォーマットを指している。ＲＯＩ解析部１２２は、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）を導出し、記憶部に格納してもよい。
　重なり検出部１２３は、撮像画像１１１において、撮影対象の複数の物体が特定されたときには、撮像画像１１１における複数の注目領域ＲＯＩの位置情報１１３に基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域（ＲＯＯ（Region Of Overlap））を検出する。つまり、重なり検出部１２３は、重なり領域ＲＯＯごとに、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、例えば、導出した位置情報１１４を記憶部に格納する。重なり検出部１２３は、例えば、導出した位置情報１１４を重なり領域ＲＯＯと対応付けて、記憶部に格納する。重なり領域ＲＯＯは、例えば、互いに重なり合う２以上の注目領域ＲＯＩにおいて最も小さな注目領域ＲＯＩと同じ大きさか、それよりも小さな方形状の領域である。位置情報１１４は、例えば、重なり領域ＲＯＯの左上端座標（Ｘｂ，Ｙｂ）と、重なり領域ＲＯＯのＸ軸方向の長さと、重なり領域ＲＯＯのＹ軸方向の長さとによって構成されている。重なり領域ＲＯＯのＸ軸方向の長さは、例えば、物理領域長さＸＬｂである。重なり領域ＲＯＯのＹ軸方向の長さは、例えば、物理領域長さＹＬｂである。位置情報１１４において、注目領域ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。
　優先度設定部１２４は、撮像画像１１１において、注目領域ＲＯＩごとに優先度１１５を付与する。優先度設定部１２４は、例えば、付与した優先度１１５を記憶部に格納する。優先度設定部１２４は、例えば、付与した優先度１１５を注目領域ＲＯＩと対応付けて、記憶部に格納する。優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号とは別に、優先度１１５を注目領域ＲＯＩごとに付与してもよいし、注目領域ＲＯＩごとに付与されている領域番号を、優先度１１５の代わりとしてもよい。優先度設定部１２４は、例えば、優先度１１５を注目領域ＲＯＩと関連付けて、記憶部に格納してもよいし、注目領域ＲＯＩごとに付与されている領域番号を注目領域ＲＯＩと関連付けて、記憶部に格納してもよい。
　優先度１１５は、各注目領域ＲＯＩの識別子であり、撮像画像１１１における複数の注目領域ＲＯＩのいずれに対して重なり領域ＲＯＯの割愛が行われたかを判別することの可能な判別情報である。優先度設定部１２４は、例えば、それぞれが重なり領域ＲＯＯを含む２つの注目領域ＲＯＩにおいて、一方の注目領域ＲＯＩに対して優先度１１５として１を付与し、他方の注目領域ＲＯＩに対して優先度１１５として２を付与する。この場合には、後述の伝送画像１１６の作成に際して、優先度１１５の数値が大きい方の注目領域ＲＯＩに対して、重なり領域ＲＯＯの割愛が行われる。なお、優先度設定部１２４は、注目領域ＲＯＩごとに付与されている領域番号と同じ番号を、注目領域ＲＯＩに対して優先度１１５として付与してもよい。優先度設定部１２４は、例えば、各注目領域ＲＯＩに付与した優先度１１５を、ＲＯＩ画像１１２と関連づけて、記憶部に格納する。
　エンコード部１２５は、各伝送画像１１６を、エンコードして圧縮像データ１２０Ａを生成する。エンコード部１２５は、例えば、圧縮像データ１２０Ａの形式として、ＪＰＥＧ規格に準拠した圧縮形式等により各伝送画像１１６を圧縮する。エンコード部１２５は、上記の圧縮処理を行う前に、各伝送画像１１６を生成する。エンコード部１２５は、撮像画像１１１から得られた複数のＲＯＩ画像１１２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた複数のＲＯＩ画像１１２から画像１１８を割愛したものである複数の伝送画像１１６を生成する。
　エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている優先度１１５に基づいて、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定する。なお、エンコード部１２５は、例えば、注目領域ＲＯＩごとに付与されている領域番号を優先度１１５として用いることにより、複数のＲＯＩ画像１１２のいずれに対して画像１１８の割愛を行うかを決定してもよい。エンコード部１２５は、上記のようにして特定されたＲＯＩ画像１１２において画像１１８を割愛したものを、伝送画像１１６（例えば図３の伝送画像１１６ａ２）とする。エンコード部１２５は、重なり領域ＲＯＯを含まないＲＯＩ画像１１２や、上記の決定により画像１１８が割愛されないこととなったＲＯＩ画像１１２については、ＲＯＩ画像１１２そのものを伝送画像１１６（例えば図３の伝送画像１１６ａ１）とする。
　画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。ＲＯＩ情報１２０Ｂは、例えば、各位置情報１１３を含んでいる。ＲＯＩ情報１２０Ｂは、さらに、例えば、各注目領域ＲＯＩのデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。フレーム情報１２０Ｃは、例えば、フレームごとに付与されるバーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード（Ｐａｙｌｏａｄ）長などを含んでいる。データタイプには、例えば、ＹＵＶデータ、ＲＧＢデータ又はＲＡＷデータなどが含まれている。データタイプには、さらに、例えば、ＲＯＩ形式のデータ又は通常形式のデータなどが含まれている。ペイロード長は、例えば、ロングパケット（ＬｏｎｇＰａｃｋｅｔ）のペイロードに含まれるピクセル数であり、例えば、注目領域ＲＯＩごとのピクセル数である。ここで、ペイロードとは、映像送信装置１００及び映像受信装置２００の間で伝送される主要なデータ（アプリケーションデータ）を指している。ロングパケットとは、パケットヘッダＰＨとパケットフッタＰＦとの間に配置されるパケットを指している。
　送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成し、送出する回路である。送信部１４０は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータ（ＥｍｂｅｄｄｅｄＤａｔａ）で送出する。送信部１４０は、さらに、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータ（ＰａｙｌｏａｄＤａｔａ）で送出する。このとき、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。また、送信部１４０は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を画像データフレームによって送出するとともに、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂを画像データフレームのヘッダで送出する。送信部１４０は、また、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、通常の画像データ（圧縮像データ１３０Ａ）をロングパケットのペイロードデータで送出する。
　送信部１４０は、例えば、ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４、ＲＯＩデータバッファ１４５、通常画像データバッファ１４６及び合成部１４７を有している。ＬＩＮＫ制御部１４１、ＥＣＣ生成部１４２、ＰＨ生成部１４３、ＥＢＤバッファ１４４及びＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、合成部１４７への出力を行う。
　なお、ＲＯＩデータバッファ１４５が、通常画像データバッファ１４６を兼ねていてもよい。この場合、送信部１４０は、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のそれぞれの出力端と、合成部１４７の入力端との間に、ＲＯＩデータバッファ１４５及びＲＯＩデータバッファ１４５のいずれかの出力を選択するセレクタを有していてもよい。
　ＬＩＮＫ制御部１４１は、例えば、フレーム情報１２０ＣをラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３に出力する。ＥＣＣ生成部１４２は、例えば、フレーム情報１２０Ｃにおける１ラインのデータ（例えば、バーチャルチャネルの番号、各注目領域ＲＯＩのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は、例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は、例えば、フレーム情報１２０Ｃと、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨを生成する。このとき、パケットヘッダＰＨは、例えば、図４に示したように、ロングパケットのペイロードデータのパケットヘッダである。このパケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣは、映像受信装置２００に対してパケットの終わりをワード数で示すための領域である。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣは、ビットエラーを修正するための値を格納する領域である。ＥＣＣには、誤り訂正符号が含まれている。ＤＩは、データ識別子を格納する領域である。ＤＩには、ＶＣ（バーチャルチャネル）の番号及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。ＶＣ（バーチャルチャネル）は、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。ＰＨ生成部１４３は、生成したパケットヘッダＰＨを合成部１４７に出力する。
　ＥＢＤバッファ１４４は、ＲＯＩ情報１２０Ｂを一次的に格納し、所定のタイミングでＲＯＩ情報１２０Ｂをエンベデッドデータとして合成部１４７に出力する。エンベデッドデータとは、画像データフレーム（後述の図５参照）のヘッダ又はフッタに埋め込むことの可能な追加情報を指している。エンベデッドデータには、例えば、ＲＯＩ情報１２０Ｂが含まれている。
　ＲＯＩデータバッファ１４５は、圧縮像データ１２０Ａを一次的に格納し、所定のタイミングで圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。ＲＯＩデータバッファ１４５は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、圧縮像データ１３０Ａを一次的に格納し、所定のタイミングで圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。通常画像データバッファ１４６は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１３０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。
　合成部１４７は、通常画像の出力を指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力されたデータ（圧縮像データ１３０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。一方、合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報１２０Ｂ、及び圧縮像データ１２０Ａ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、ＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）をロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）を互いに共通のバーチャルチャネルで送出する。
　伝送データ１４７Ａは、例えば、図５に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、及びフッタ領域を有している。図５では、便宜的に、フッタ領域の記載が省略されている。伝送データ１４７Ａのフレームヘッダ領域Ｒ１には、エンベデッドデータが含まれている。このとき、エンベデッドデータには、ＲＯＩ情報１２０Ｂが含まれている。図５において、伝送データ１４７Ａのパケット領域Ｒ２には、１ラインごとに、ロングパケットのペイロードデータが含まれており、さらに、ロングパケットのペイロードデータを挟み込む位置にパケットヘッダＰＨ及びパケットフッタＰＦが含まれている。さらに、パケットヘッダＰＨとパケットフッタＰＦを挟み込む位置にローパワーモードＬＰが含まれている。
　このとき、パケットヘッダＰＨには、例えば、ＤＩ、ＷＣ及びＥＣＣが含まれている。ＷＣには、例えば、ペイロード長が含まれており、例えば、注目領域ＲＯＩごとのピクセル数が含まれている。ＥＣＣには、誤り訂正符号が含まれている。ＤＩには、ＶＣ（バーチャルチャネルの番号）及びＤａｔａＴｙｐｅ（各注目領域ＲＯＩのデータタイプ）が含まれている。本実施の形態では、各ラインのＶＣには、互いに共通のバーチャルチャネルの番号が付与されている。また、図５において、伝送データ１４７Ａのパケット領域Ｒ２には、圧縮像データ１４７Ｂが含まれている。圧縮像データ１４７Ｂは、１つの圧縮像データ１２０Ａ、又は複数の圧縮像データ１２０Ａによって構成されている。ここで、図５において、パケットヘッダＰＨ寄りのパケット群には、例えば、図３中の伝送画像１１６ａ１の圧縮像データ１２０Ａ（１２０Ａ１）が含まれており、パケットヘッダＰＨから離れたパケット群には、例えば、図３中の伝送画像１１６ａ２の圧縮像データ１２０Ａ（１２０Ａ２）が含まれている。これら２つの圧縮像データ１２０Ａ１，１２０Ａ２によって圧縮像データ１４７Ｂが構成されている。各ラインのロングパケットのペイロードデータには、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータが含まれている。
　図６は、伝送データ１４７Ａの構成例を表したものである。伝送データ１４７Ａは、例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図６には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図６では、ローパワーモードＬＰが省略されている。
　フレームヘッダ領域Ｒ１には、例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データ１４７Ｂについての情報を含んでいる。フレームヘッダ領域Ｒ１は、例えば、圧縮像データ１４７Ｂに含まれる圧縮像データ１２０Ａの数（ＲＯＩ数）と、圧縮像データ１４７Ｂに含まれる各圧縮像データ１２０Ａに対応するＲＯＩ画像１１２についての情報（ＲＯＩ情報１２０Ｂ）とを含んでいる。
　合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、圧縮像データ１４７Ｂを、圧縮像データ１２０Ａの画素行ごとに分けて配置する。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像１１８に対応する圧縮像データが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像１１６と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像１１６に対応しない画素行は含まれていない。なお、図６のパケット領域Ｒ２において、破線で囲んだ箇所が、重なり領域ＲＯＯの画像１１８の圧縮像データに相当する。
　パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））と、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））との境界は、パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））の圧縮像データに対応するＲＯＩ画像１１２の物理領域長さＸＬａ１によって特定される。パケットヘッダＰＨ寄りのパケット群（例えば図６中の１（ｎ））に含まれる重なり領域ＲＯＯの画像１１８に対応する圧縮像データにおいて、パケットの開始位置は、パケットヘッダＰＨから離れたパケット群（例えば図６中の２（１））に対応するＲＯＩ画像１１２の物理領域長さＸＬａ２によって特定される。
　合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、１ラインごとに、ロングパケットのペイロードデータを生成する際に、ロングパケットのペイロードデータに、例えば、圧縮像データ１４７Ｂにおける１ライン分のピクセルデータの他に、例えば、図７に示したように、ＲＯＩ情報１２０Ｂを含めてもよい。つまり、合成部１４７は、ＲＯＩ情報１２０Ｂをロングパケットのペイロードデータに含めて送出してもよい。このとき、ＲＯＩ情報１２０Ｂは、例えば、図７（Ａ）～図７（Ｋ）に示したように、撮像画像１１１に含まれる注目領域ＲＯＩの数（ＲＯＩ数）、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットのうち少なくとも１つを含んでいる。ＲＯＩ情報１２０Ｂは、ロングパケットのペイロードデータにおいて、パケットヘッダＰＨ側の端部（つまり、ロングパケットのペイロードデータの先頭）に配置されることが好ましい。
（映像受信装置２００）
　次に、映像受信装置２００について説明する。図８は、映像受信装置２００の構成の一例を表したものである。図９は、映像受信装置２００におけるＲＯＩ画像２２３Ａの生成手順の一例を表したものである。映像受信装置２００は、映像送信装置１００と共通の規格（例えば、ＭＩＰＩ ＣＳＩ－２規格、ＭＩＰＩ ＣＳＩ－３規格、又は、ＭＩＰＩＤＳＩ規格）で信号を受信する装置である。映像受信装置２００は、例えば、受信部２１０及び情報処理部２２０を有している。受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信し、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、種々のデータ（２１４Ａ，２１５Ａ，２１５Ｂ）を生成し、情報処理部２２０に出力する回路である。情報処理部２２０は、受信部２１０から受信した種々のデータ（２１４Ａ，２１５Ａ）に基づいて、ＲＯＩ画像２２３Ａを生成したり、受信部２１０から受信したデータ（２１５Ｂ）に基づいて、通常画像２２４Ａを生成したりする回路である。
　受信部２１０は、例えば、ヘッダ分離部２１１、ヘッダ解釈部２１２、ペイロード分離部２１３、ＥＢＤ解釈部２１４及びＲＯＩデータ分離部２１５を有している。
　ヘッダ分離部２１１は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂをエンベデッドデータに含むとともに、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。ヘッダ解釈部２１２は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。ペイロード分離部２１３は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータを、パケット領域Ｒ２から分離する。
　ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータ２１４Ａとして、情報処理部２２０に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａであるか、又は、通常画像データの圧縮像データ１３０Ａであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５に出力する。
　ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データ１２０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ａとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２）に出力する。ペイロードデータに含まれる画像データが通常画像データの圧縮像データ１３０Ａである場合、ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータをペイロードデータ２１５Ｂとして、情報処理部２２０（具体的には通常画像デコード部２２４）に出力する。ロングパケットのペイロードデータにＲＯＩ情報１２０Ｂが含まれている場合には、ペイロードデータ２１５Ａは、ＲＯＩ情報１２０Ｂと、圧縮像データ１４７Ｂのうち１ライン分のピクセルデータとを含んでいる。
　情報処理部２２０は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報処理部２２０は、情報抽出部２２１で抽出したＲＯＩ情報１２０Ｂに基づいて、受信部２１０で受信した伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を抽出する。情報処理部２２０は、例えば、情報抽出部２２１、ＲＯＩデコード部２２２、ＲＯＩ画像生成部２２３及び通常画像デコード部２２４を有している。
　通常画像デコード部２２４は、ペイロードデータ２１５Ｂをデコードし、通常画像２２４Ａを生成する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。この画像データ２２２Ａは、１又は複数の伝送画像１１６によって構成されている。
　情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、例えば、撮像画像１１１に含まれる注目領域ＲＯＩの数、各注目領域ＲＯＩの領域番号（又は優先度１１５）、各注目領域ＲＯＩのデータ長、及び各注目領域ＲＯＩの画像フォーマットを抽出する。つまり、伝送データ１４７Ａは、当該伝送データ１４７Ａから得られる複数の伝送画像１１６のいずれに対して重なり領域ＲＯＯの画像１１８の割愛が行われたかを判別することの可能な判別情報として、各伝送画像１１６に対応する注目領域ＲＯＩの領域番号（又は優先度１１５）を含んでいる。
　ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出する。
　情報抽出部２２１が、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１が、さらに、例えば、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。
　このとき、ＲＯＩ画像生成部２２３は、抽出したこれらの情報（以下、「抽出情報２２１Ａ」と称する。）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。
　なお、ＲＯＩ画像生成部２２３は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータからＲＯＩ情報１２０Ｂを取得する代わりに、ペイロードデータ２１５ＡからＲＯＩ情報１２０Ｂを取得してもよい。この場合、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂに基づいて、２以上の注目領域ＲＯＩ同士が重なり合う重なり領域ＲＯＯを検出してもよい。また、ＲＯＩ画像生成部２２３は、ペイロードデータ２１５Ａに含まれるＲＯＩ情報１２０Ｂから、抽出情報２２１Ａを抽出してもよく、そのようにして抽出した抽出情報２２１Ａに基づいて、重なり領域ＲＯＯの位置情報１１４を導出してもよい。
　ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像２２３Ａとして出力する。
[手順]
　次に、図３、図９を参考にして、映像伝送システム１におけるデータ伝送の手順の一例について説明する。
　まず、撮像部１１０は、撮像により得られた撮像画像１１１（デジタルの画像データ）を画像処理部１２０に出力する。ＲＯＩ切り出し部１２１は、撮像部１１０から入力された撮像画像１１１に含まれる２つの注目領域ＲＯＩ１，ＲＯＩ２を特定する。ＲＯＩ切り出し部１２１は、撮像画像１１１から、各注目領域ＲＯＩ１，ＲＯＩ２の画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を切り出す。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１に対して識別子として領域番号１を付与し、注目領域ＲＯＩ２に対して識別子として領域番号２を付与する。
　ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、撮像画像１１１における注目領域ＲＯＩの位置情報１１３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１に基づいて、注目領域ＲＯＩ１の左上端座標（Ｘａ１，Ｙａ１）と、注目領域ＲＯＩ１のＸ軸方向の長さ（ＸＬａ１）と、注目領域ＲＯＩ１のＹ軸方向の長さ（ＹＬａ１）とを導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２に基づいて、注目領域ＲＯＩ２の左上端座標（Ｘａ２，Ｙａ２）と、注目領域ＲＯＩ２のＸ軸方向の長さ（ＸＬａ２）と、注目領域ＲＯＩ２のＹ軸方向の長さ（ＹＬａ２）とを導出する。
　重なり検出部１２３は、撮像画像１１１における２つの注目領域ＲＯＩ１，ＲＯＩ２の位置情報１１３に基づいて、２つの注目領域ＲＯＩ１，ＲＯＩ２同士が重なり合う重なり領域ＲＯＯを検出する。つまり、重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４を導出する。重なり検出部１２３は、撮像画像１１１における重なり領域ＲＯＯの位置情報１１４として、重なり領域ＲＯＯの左上端座標（Ｘｂ１，Ｙｂ１）と、重なり領域ＲＯＯのＸ軸方向の長さ（ＸＬｂ１）と、重なり領域ＲＯＯのＹ軸方向の長さ（ＹＬｂ１）とを導出する。
　優先度設定部１２４は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、一方の注目領域ＲＯＩ１に対して優先度１１５として１を付与し、他方の注目領域ＲＯＩ２に対して優先度１１５として２を付与する。
　エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において重なり領域ＲＯＯの画像１１８が重複して含まれないように、撮像画像１１１から得られた２つのＲＯＩ画像１１２ａ１，１１２ａ２から画像１１８を割愛したものである２つの伝送画像１１６ａ１，１１６ａ２を生成する。
　エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２の領域番号（又は優先度１１５）に基づいて、２つのＲＯＩ画像１１２ａ１，１１２ａ２のいずれに対して画像１１８の割愛を行うかを決定する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の大きい方である注目領域ＲＯＩ２に対応するＲＯＩ画像１１２ａ２に対して画像１１８の割愛を行い、これにより、伝送画像１１６ａ２を生成する。エンコード部１２５は、２つの注目領域ＲＯＩ１，ＲＯＩ２において、領域番号（又は優先度１１５）の小さな方である注目領域ＲＯＩ１に対応するＲＯＩ画像１１２ａ１については、ＲＯＩ画像１１２ａ１そのものを伝送画像１１６ａ１とする。
　画像処理制御部１２６は、ＲＯＩ情報１２０Ｂ及びフレーム情報１２０Ｃを生成し、送信部１４０に送信する。送信部１４０は、画像処理部１２０，１３０から入力された種々のデータ（１２０Ａ，１２０Ｂ，１２０Ｃ，１３０Ａ）に基づいて伝送データ１４７Ａを生成する。送信部１４０は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に送出する。
　受信部２１０は、映像送信装置１００から出力された伝送データ１４７Ａを、データレーンＤＬを介して受信する。受信部２１０は、受信した伝送データ１４７Ａに対して所定の処理を行うことにより、ＥＢＤデータ２１４Ａ及びペイロードデータ２１５Ａを生成し、情報処理部２２０に出力する。
　情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ情報１２０Ｂを抽出する。情報抽出部２２１は、ＥＢＤデータ２１４Ａに含まれるエンベデッドデータから、ＲＯＩ画像１１２ａ１に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ１，Ｙａ１））、長さ（例えば物理領域長さＸＬａ１，ＹＬａ１）及び領域番号１（又は優先度１１５（＝１））を抽出する。情報抽出部２２１は、さらに、ＲＯＩ画像１１２ａ２に対応する注目領域ＲＯＩの座標（例えば左上端座標（Ｘａ２，Ｙａ２））、長さ（例えば物理領域長さＸＬａ２，ＹＬａ２）及び領域番号２（又は優先度１１５（＝２））を抽出する。ＲＯＩデコード部２２２は、ペイロードデータ２１５Ａに含まれる圧縮像データ１４７Ｂをデコードし、画像データ２２２Ａを生成する。
　ＲＯＩ画像生成部２２３は、抽出したこれらの情報（抽出情報２２１Ａ）に基づいて、重なり領域ＲＯＯの位置情報１１４を導出する。ＲＯＩ画像生成部２２３は、上記の重なり領域ＲＯＯの位置情報１１４として、例えば、重なり領域ＲＯＯの座標（例えば左上端座標（Ｘｂ１，Ｙｂ１））及び長さ（例えば物理領域長さＸＬｂ１，ＹＬｂ１）を導出する。ＲＯＩ画像生成部２２３は、さらに、画像データ２２２Ａと、抽出情報２２１Ａと、重なり領域ＲＯＯの位置情報１１４とに基づいて、撮像画像１１１における各注目領域ＲＯＩの画像（ＲＯＩ画像１１２ａ１，１１２ａ２）を生成する。
[効果]
　次に、本実施の形態に係る映像伝送システム１の効果について説明する。
　近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
　従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。
　ところで、イメージセンサからアプリケーションプロセッサへの伝送に用いられる方式として、ＭＩＰＩ ＣＳＩ－２が用いられることがある。この方式を用いてＲＯＩを伝送しようとした場合、様々な制約により、ＲＯＩの伝送が容易ではないことがある。
　一方、本実施の形態では、撮像画像１１１における各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂがエンベデッドデータで送出されるとともに、各注目領域ＲＯＩの画像データがロングパケットのペイロードデータで送出される。これにより、映像送信装置１００から送出された伝送データ１４７Ａを受信した装置（映像受信装置２００）において、伝送データ１４７Ａから、各注目領域ＲＯＩの画像データ（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。
　また、本実施の形態では、各注目領域ＲＯＩの画像データ（圧縮像データ１２０Ａ）が互いに共通のバーチャルチャネルで送出される。これにより、同一パケットの中で複数のＲＯＩ画像１１２を送ることができるので、複数のＲＯＩ画像１１２を送る間に、ＬＰモードに入る必要がなく、高い伝送効率を得ることができる。
　また、本実施の形態では、各注目領域ＲＯＩのデータタイプがロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出される。これにより、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータのパケットヘッダＰＨにアクセスするだけで、各注目領域ＲＯＩのデータタイプが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。
　また、本実施の形態において、ＲＯＩ情報１２０Ｂがロングパケットのペイロードデータに含めて送出される場合には、エンベデッドデータにアクセスしなくても、ロングパケットのペイロードデータにアクセスするだけで、ＲＯＩ情報１２０Ｂが得られる。これにより、映像受信装置２００における処理速度を速くすることができるので、高い伝送効率を得ることができる。
　また、本実施の形態では、伝送データ１４７Ａに含まれるエンベデッドデータから、各注目領域ＲＯＩについてのＲＯＩ情報１２０Ｂが抽出されるとともに、抽出されたＲＯＩ情報１２０Ｂに基づいて、伝送データ１４７Ａに含まれるロングパケットのペイロードデータから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）が抽出される。これにより、伝送データ１４７Ａから、各注目領域ＲＯＩの画像（ＲＯＩ画像１１２）を容易に抽出することができる。その結果、様々な制約の下でも、注目領域ＲＯＩの伝送を行うことができる。
２．本開示の前提技術２：
　撮像画像から切り出した一部（形状が非矩形状）の注目領域（ＲＯＩ）を伝送する技術について、図１から図９を参照しつつ図１０から図１２を用いて説明する。すなわち、方形状（矩形状）以外の形状を有する撮影対象の物体の画像を送受信する技術について、説明する。図１０は、撮像画像１１１において特定された物体が配置された領域を模式的に示す図である。なお、図１０では、理解を容易にするため、１５行×２３列の撮像素子で構成された撮像領域で撮像された撮像画像１１１が模式的に図示されている。図１１は、特定された物体に対して設定されたＲＯＩ領域の一例を示す図である。
　前提技術２では、前提技術１と同様に、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から映像送信装置１００に入力された場合に、撮像部１１０から入力された撮像画像１１１に対して所定の処理を行う場合について説明する。しかしながら、前提技術２では、映像送信装置１００、すなわち送信側がＲＯＩの切り出しの座標指示する場合も適用できある。この場合、送信側は例えば、受信側から送出されるＲＯＩで取得すべき「人物」や「物体」等の情報を受信して切り出しの座標を判断および指示するように構成される。
　ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力される。これにより、図１０に示すように、ＲＯＩ切り出し部１２１は、撮像画像１１１に含まれる撮影対象の４つの物体１～４を特定する。物体１は例えば、撮像画像１１１内の左上領域の一部を占める矩形状を有している。物体２は例えば、撮像画像１１１内で物体１の右側の一部の領域を占め、矩形の上側の両側角部及び下辺の一部が欠落した形状を有している。物体３は例えば、撮像画像１１１内で物体２の下方の一部の領域を占め、矩形の四隅が欠落した形状を有している。物体４は例えば、撮像画像１１１内で物体３の下方の一部の領域を占め、矩形の上側の両側角部が欠落した形状を有している。物体３及び物体４は一部が重なり合っている。
　図１１に示すように、ＲＯＩ切り出し部１２１（図２参照）は、特定した物体１～４をそれぞれ含む最小の矩形を注目領域ＲＯＩ１～ＲＯＩ４として設定する。ＲＯＩ切り出し部１２１は、物体１に対して注目領域ＲＯＩ１を設定し、ＲＯＩ画像１１２ａ１を切り出す。また、ＲＯＩ切り出し部１２１は、物体２に対して注目領域ＲＯＩ２を設定し、ＲＯＩ画像１１２ａ２を切り出す。また、ＲＯＩ切り出し部１２１は、物体３に対して注目領域ＲＯＩ３を設定し、ＲＯＩ画像１１２ａ３を切り出す。さらに、ＲＯＩ切り出し部１２１は、物体４に対して注目領域ＲＯＩ４を設定し、ＲＯＩ画像１１２ａ４を切り出す。
　ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ１と、注目領域ＲＯＩ１に付与した領域番号「１」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ２と、注目領域ＲＯＩ２に付与した領域番号「２」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ３と、注目領域ＲＯＩ３に付与した領域番号「３」とを関連付けて記憶部に格納する。ＲＯＩ切り出し部１２１は、注目領域ＲＯＩ４と、注目領域ＲＯＩ４に付与した領域番号「４」とを関連付けて記憶部に格納する。
　ＲＯＩ解析部１２２（図２参照）は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ１及びＹ軸方向の物理領域長さＹＬａ１を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ２の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ２及びＹ軸方向の物理領域長さＹＬａ２を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ３の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ３及びＹ軸方向の物理領域長さＹＬａ３を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ４の位置情報として例えば、Ｘ軸方向の物理領域長さＸＬａ４及びＹ軸方向の物理領域長さＹＬａ４を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩごとに、位置情報１１３として、さらに、例えば、注目領域ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、注目領域ＲＯＩのＹ軸方向の出力領域長さＹＬｃを導出してもよい。
　ＲＯＩ解析部１２２は、注目領域ＲＯＩのそれぞれのＸ軸方向及びＹ軸方向の長さを導出することによって、後段への情報として注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの大きさや総データ量を導出する。これにより、後段に相当する映像受信装置２００はメモリ領域を確保できる。
　ＲＯＩ解析部１２２は、撮影対象の物体及び注目領域の形状が一致していない場合には、注目領域ＲＯＩの位置情報ではなく、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を導出するように構成されている。ＲＯＩ解析部１２２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報として、各行の左端座標（ｘｎ，ｙｎ）及びＸ軸方向の物理領域長さＸＬｎを導出する。また、ＲＯＩ画像１１２ａ２の２行目のようにＲＯＩ画像が分離している場合には、ＲＯＩ解析部１２２は、分離している部分のそれぞれについて位置情報を導出する。ＲＯＩ解析部１２２は、注目領域ＲＯＩ１～ＲＯＩ４の領域番号と、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報とを対応付けて記憶部に格納する。
　また、ＲＯＩ解析部１２２は、例えば、注目領域ＲＯＩ１～ＲＯＩ４ごとに、位置情報の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ語長、画像フォーマットなどを導出し、領域番号と対応付けて記憶部に格納してもよい。
　重なり検出部１２３（図２参照）は、撮影対象の物体が矩形状の場合には、注目領域同士が重なり合う領域ではなく、ＲＯＩ画像同士が重なり合う領域を重なり領域として導出する。図１１に示すように、重なり検出部１２３は、ＲＯＩ画像１１２ａ３及びＲＯＩ画像１２３ａ４が重なり合う領域として重なり領域ＲＯＯを導出する。重なり検出部１２３は、導出した重なり領域ＲＯＯを注目領域ＲＯＩ３，ＲＯＩ４の位置情報のそれぞれに対応付けて記憶部に格納する。
　優先度設定部１２４（図２参照）は、優先度「１」を注目領域ＲＯＩ１に付与し、優先度１を注目領域ＲＯＩ１に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「１」よりも優先度が低い優先度「２」を注目領域ＲＯＩ２に付与し、優先度２を注目領域ＲＯＩ２に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「２」よりも優先度が低い優先度「３」を注目領域ＲＯＩ３に付与し、優先度３を注目領域ＲＯＩ３に対応付けて記憶部に格納する。優先度設定部１２４は、優先度「３」よりも優先度が低い優先度「４」を注目領域ＲＯＩ４に付与し、優先度４を注目領域ＲＯＩ４に対応付けて記憶部に格納する。
　エンコード部１２５（図２参照）は、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについて伝送画像を生成する。注目領域ＲＯＩ４は注目領域ＲＯＩ３よりも優先度が低いので、エンコード部１２５は、ＲＯＩ画像１１２ａ４から重なり領域ＲＯＯを割愛して伝送画像を生成する。
　画像処理制御部１２６（図２参照）は、ＲＯＩ情報及びフレーム情報を生成し、送信部１４０（図２参照）に送信する。ＲＯＩ情報には例えば、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれの位置情報が含まれる。ＲＯＩ情報にはその他に、上述の撮影対象の物体が矩形状の場合と同様の情報（例えば注目領域ＲＯＩ１～ＲＯＩ４のそれぞれデータタイプ、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数、注目領域ＲＯＩ１～ＲＯＩ４の領域番号及び優先度など）が含まれる。フレーム情報には例えば、注目領域ＲＯＩ１～ＲＯＩ４のデータタイプなど、上述の撮影対象の物体が矩形状の場合と同様の情報が含まれる。
　送信部１４０（図２参照）に設けられたＬＩＮＫ制御部１４１は、画像処理制御部１２６から入力されるフレーム情報及びＲＯＩ情報をラインごとにＥＣＣ生成部１４２及びＰＨ生成部１４３（いずれも図２参照）に出力する。ＥＣＣ生成部１４２は例えば、フレーム情報における１ラインのデータ（例えば、バーチャルチャネルの番号、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプ、ラインごとのペイロード長など）に基づいて、そのラインの誤り訂正符号を生成する。ＥＣＣ生成部１４２は例えば、生成した誤り訂正符号をＰＨ生成部１４３に出力する。ＰＨ生成部１４３は例えば、フレーム情報と、ＥＣＣ生成部１４２で生成された誤り訂正符号とを用いて、１ラインごとにパケットヘッダＰＨ（図４参照）を生成する。
　ＥＢＤバッファ１４４（図２参照）は、ＲＯＩ情報を一次的に格納し、所定のタイミングでＲＯＩ情報をエンベデッドデータとして合成部１４７（図２参照）に出力する。
　ＲＯＩデータバッファ１４５（図２参照）は、エンコード部１２５から入力される圧縮像データを一次的に格納し、例えばＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、圧縮像データ１２０Ａをロングパケットのペイロードデータとして合成部１４７に出力する。
　合成部１４７は、ＲＯＩの切り出しを指示する制御信号がカメラ制御インタフェースＣＣＩを介して映像受信装置２００から入力された場合に、入力された各種データ（パケットヘッダＰＨ、ＲＯＩ情報及びＲＯＩデータバッファ１４５を介してエンコード部１２５から入力された圧縮像データ）に基づいて、伝送データ１４７Ａを生成する。合成部１４７は、生成した伝送データ１４７Ａを、データレーンＤＬを介して映像受信装置２００に出力する。つまり、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータタイプをロングパケットのペイロードデータのパケットヘッダＰＨに含めて送出する。また、合成部１４７は、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像データ（圧縮像データ）を互いに共通のバーチャルチャネルで送出する。
　撮影対象の物体が矩形状でない場合、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、パケットヘッダＰＨ又はロングパケットのペイロードデータに含められる。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ＰＨ生成部１４３によってパケットヘッダＰＨに含められる。一方、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、合成部１４７によってロングパケットのペイロードデータに含められる。
　図１２は、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報がロングパケットのペイロードデータに含められている伝送データ１４７Ａの構成例を示す図である。図１２に示すように、伝送データ１４７Ａは例えば、フレームヘッダ領域Ｒ１及びパケット領域Ｒ２を含んでいる。なお、図１２には、フレームヘッダ領域Ｒ１の中身が詳細に例示されている。また、図１２では、ローパワーモードＬＰが省略されている。
　フレームヘッダ領域Ｒ１には例えば、伝送データ１４７Ａの識別子としてのフレーム番号Ｆ１が含まれている。フレームヘッダ領域Ｒ１は、パケット領域Ｒ２に含まれる圧縮像データについての情報を含んでいる。フレームヘッダ領域Ｒ１は例えば、圧縮像データの数（ＲＯＩ数）と、各圧縮像データに対応するＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれについての情報（ＲＯＩ情報）とを含んでいる。ＲＯＩ情報は、領域番号、物理領域長さ、矩形出力領域大きさ、優先度、露光情報、ゲイン情報、ＡＤ語長及び画像フォーマットを含んでいる。物理領域長さは、ＲＯＩ画像の最大長さであり、矩形出力領域大きさは、注目領域ＲＯＩの大きさである。
　図１２中に示す「Ｉｎｆｏ」は、ロングパケットのペイロードに格納される領域情報を示している。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、例えば「ｉｎｆｏ」に格納される。ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報は、ロングパケットのペイロードの先頭部分に格納される。ＲＯＩ画像を構成し連続する各画素行のＸ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合には、当該各画素行のうちの２行目以降の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていなくてもよい。本例では、ＲＯＩ画像１１２ａ１は、全ての画素行のうちの連続する１行目から４行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該１行目から４行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ１を構成し連続する１行目から４行目の画素行のうちの２行目以降に相当する２行目から４行目の画素行の画像データを含むそれぞれのロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。また、本例では、ＲＯＩ画像１１２ａ４は、全ての画素行のうちの連続する２行目及び３行目の画素行においてＸ軸方向の物理領域長さが同じであり、当該２行目及び３行目の画素行には、異なる領域番号のＲＯＩ画像が含まれていない。このため、ＲＯＩ画像１１２ａ４を構成し連続する２行目及び３行目の画素行のうちの２行目以降に相当する３行目の画素行の画像データを含むロングパケットのペイロードには、領域情報「ｉｎｆｏ」が格納されていない。なお、Ｘ軸方向の物理領域長さが同じであり、かつ当該各画素行に異なる領域番号のＲＯＩ画像が含まれていない場合でも、各行のペイロードに領域情報「ｉｎｆｏ」が格納されていてもよい。
　合成部１４７は例えば、伝送データ１４７Ａのパケット領域Ｒ２において、ＲＯＩ画像１１２ａ１～１１２ａ４のそれぞれを圧縮して生成された圧縮像データを画素行ごとに分けて配置する。図１２中に示す「１」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ１の圧縮像データを示している。図１２中に示す「２」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ２の圧縮像データを示している。図１２中に示す「３」はＲＯＩ画像１１２ａ３の圧縮像データを示している。図１２中に示す「４」は、ロングパケットのペイロードに格納されたＲＯＩ画像１１２ａ４の圧縮像データを示している。なお、図１２では、理解を容易にするため、各圧縮像データが区切られて示されているが、ロングパケットのペイロードに格納されるデータに区切りはない。伝送データ１４７Ａのパケット領域Ｒ２には、重なり領域ＲＯＯの画像に対応する圧縮像データ１１２ｂが重複して含まれていない。また、合成部１４７は、例えば、伝送データ１４７Ａのパケット領域Ｒ２において、撮像画像１１１のうち各伝送画像と対応しない画素行を割愛している。したがって、伝送データ１４７Ａのパケット領域Ｒ２には、撮像画像１１１のうち各伝送画像に対応しない画素行は含まれていない。
　次に、伝送データ１４７Ａを受信した場合の映像受信装置２００の動作について説明する。
　受信部２１０に設けられたヘッダ分離部２１１（いずれも図８参照）は、伝送データ１４７Ａを、データレーンＤＬを介して映像送信装置１００から受信する。つまり、ヘッダ分離部２１１は、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４についてのＲＯＩ情報をエンベデッドデータに含むとともに、注目領域ＲＯＩ１～ＲＯＩ４の画像データ（圧縮像データ）をロングパケットのペイロードデータに含む伝送データ１４７Ａを受信する。ヘッダ分離部２１１は、受信した伝送データ１４７Ａをフレームヘッダ領域Ｒ１とパケット領域Ｒ２とに分離する。
　ヘッダ解釈部２１２（図８参照）は、フレームヘッダ領域Ｒ１に含まれるデータ（具体的にはエンベデッドデータ）に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータの位置を特定する。
　ペイロード分離部２１３（図８参照）は、ヘッダ解釈部２１２によって特定されたロングパケットのペイロードデータの位置に基づいて、パケット領域Ｒ２に含まれるロングパケットのペイロードデータをパケット領域Ｒ２から分離する。
　ＥＢＤ解釈部２１４は、エンベデッドデータをＥＢＤデータとして、情報処理部２２０（図８参照）に出力する。ＥＢＤ解釈部２１４は、さらに、エンベデッドデータに含まれるデータタイプから、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データ１１６の圧縮像データであるか、又は、通常画像データの圧縮像データであるか判別する。ＥＢＤ解釈部２１４は、判別結果をＲＯＩデータ分離部２１５（図８参照）に出力する。
　ＲＯＩデータ分離部２１５は、ロングパケットのペイロードデータに含まれる画像データがＲＯＩの画像データが入力されると、ロングパケットのペイロードデータをペイロードデータとして、情報処理部２２０（具体的にはＲＯＩデコード部２２２（図８参照））に出力する。ＲＯＩ情報が含まれているロングパケットのペイロードデータには、ＲＯＩ情報と圧縮像データのうち１ライン分のピクセルデータとが含まれている。
　情報処理部２２０に設けられた情報抽出部２２１（図８参照）は、ＥＢＤ解釈部２１４から入力されるＥＢＤデータに含まれるエンベデッドデータから、撮像画像１１１に含まれる注目領域ＲＯＩ１～ＲＯＩ４の数（本例では４つ）、注目領域ＲＯＩ１～ＲＯＩ４の領域番号１～４及び優先度１から４、注目領域ＲＯＩ１～ＲＯＩ４のそれぞれのデータ長、並びに注目領域ＲＯＩ１～ＲＯＩ４のそれぞれの画像フォーマットを抽出する。さらに、情報抽出部２２１は、当該エンベデッドデータから、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出する。
　ＲＯＩデコード部２２２は、ペイロードデータに含まれている圧縮像データ１４７Ｂをデコードし、ＲＯＩ画像１１２ａ１～１１２ａ４の位置情報を抽出するとともに、画像データ（伝送画像によって構成）を生成する。ＲＯＩデコード部２２２は、例えば６行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ１の１つの位置情報と、ＲＯＩ画像１１２ａ２の２つの位置情報とを抽出し、６行目の画素行に対応するＲＯＩ画像１１２ａ１，１１２ｂ１の画像データ（伝送画像）をそれぞれ生成する。
　ＲＯＩデコード部２２２は、例えば１０行目の画素行に対応するペイロードデータが入力された場合、当該ペイロードデータから、ＲＯＩ画像１１２ａ３の１つの位置情報と、ＲＯＩ画像１１２ａ４の１つの位置情報とを抽出し、ＲＯＩ画像１１２ａ３，１１２ｂ４の画像データ（伝送画像）をそれぞれ生成する。
　ＲＯＩ画像生成部２２３（図８参照）は、情報抽出部２２１で得られたＲＯＩ情報、ＲＯＩデコード部２２２で抽出されたＲＯＩ画像１１２ａ１～１１２ａ４の位置情報及びＲＯＩデコード部２２２で生成された伝送画像に基づいて、撮像画像１１１における注目領域ＲＯＩ１～ＲＯＩ４のＲＯＩ画像１１２ａ１～１１２ａ４を生成する。ＲＯＩ画像生成部２２３は、例えば６行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ１の１つの位置情報及びＲＯＩ画像１１２ａ２の２つの位置情報並びにそれらの伝送画像が入力された場合、Ｘ軸方向に延在する５画素分のＲＯＩ画像１１２ａ１と、当該ＲＯＩ画像１１２ａ１とは５画素分離れた位置でＸ軸方向に延在する４画素分のＲＯＩ画像１１２ａ２と、当該ＲＯＩ画像１１２ａ２から２画素分離れた位置でＸ軸方向に延在する２画素分のＲＯＩ画像１１２ａ２とを生成する（図１０参照）。
　また、ＲＯＩ画像生成部２２３は、情報抽出部２２１で得られたＲＯＩ情報に基づいて、注目領域ＲＯＩ３及び注目領域ＲＯＩ４同士が重なり合う重なり領域ＲＯＯを検出する。ＲＯＩ画像生成部２２３は、検出した重なり領域ＲＯＯと、１０行目の画素行に対応するペイロードデータから抽出されたＲＯＩ画像１１２ａ３，１１２ａ４のそれぞれ位置情報と、伝送画像とに基づいて、Ｘ軸方向に延在する４画素分のＲＯＩ画像１１２ａ３と、当該ＲＯＩ画像１１２ａ３に１画素分が重なった状態でＸ軸方向に延在する３画素分のＲＯＩ画像１１２ａ４とを生成する（図１０参照）。
　ＲＯＩ画像生成部２２３は、生成した画像をＲＯＩ画像として後段の装置（不図示）に出力する。
　このようにして、映像送信装置１００及び映像受信装置２００は、撮影対象の物体が矩形以外の形状を有していても、ＲＯＩ画像として送受信することができる。
〔第１実施形態〕
３．本開示の第１実施形態におけるハイダイナミックレンジ（Ｈｉｇｈ　Ｄｙｎａｍｉｃ　Ｒａｎｇｅ：ＨＤＲ）合成の原理：
　次に、本開示の実施形態におけるハイダイナミックレンジ合成処理の原理について図１３を用いて説明する。以下、ハイダイナミックレンジを「ＨＤＲ」と略記する場合がある。
　図１３は、本実施形態におけるハイダイナミックレンジ合成処理を模式的に示す図である。露光時間の異なる複数（図１３では２枚）の画像が合成されてＨＤＲ画像が生成される。本実施形態では、ＨＤＲ合成が注目領域ＲＯＩごとに実行される。
　ＲＯＩでは、注目領域として切り出される範囲及び大きさか不明である。このため、本実施形態では、異なる露光条件で撮像された２つの撮像画像の一部を切り出した注目領域ＲＯＩが所定の一致性を有する場合にＨＤＲ合成が実行されるようになっている。本実施形態におけるＨＤＲ合成の実行条件は、以下の合成条件１～３である。
（１）合成条件１：注目領域ＲＯＩの領域番号が一致する
（２）合成条件２：比較する注目領域ＲＯＩの基準画素の座標が所定の一致性を有する
（３）合成条件３：比較する注目領域ＲＯＩの大きさが所定の一致性を有する
　合成条件２における基準画素は、例えば注目領域ＲＯＩの左上端部の画素である。また、合成条件２における所定の一致性は、比較する注目領域ＲＯＩの基準画素の座標の差分が所定閾値の範囲内であることである。合成条件３における所定の一致性は、比較する注目領域ＲＯＩの大きさ（Ｘ軸方向及びＹ軸方向のそれぞれの長さ）が所定閾値の範囲内であることである。
　図１３中の太矢印の左側に示すように、比較する２つの露光時間のうちの露光時間が短い（以下、「短露光」と称する場合がある）画素（短露光画素）で構成された注目領域ＲＯＩは、領域番号が「ｎ」であり、基準画素（本例では左上端部の画素）の座標が「（Ｘｎ，Ｙｎ）」であり、Ｘ軸方向の長さが「ＸＬｎ」であり、Ｙ軸方向の長さが「ＹＬｎ」である。一方、比較する２つの露光時間のうちの露光時間が長い（以下、「長露光」と称する場合がある）画素（長露光画素）で構成された注目領域ＲＯＩは、領域番号が「ｎ」であり、左上端部の画素の座標が「（Ｘｎ，Ｙｎ）」であり、Ｘ軸方向の長さが「ＸＬｎ」であり、Ｙ軸方向の長さが「ＹＬｎ」である。
　この場合、短露光での注目領域ＲＯＩの領域番号と、長露光での注目領域ＲＯＩの領域番号がいずれも「ｎ」で一致するので、上記の合成条件１が満たされる。また、短露光での注目領域ＲＯＩの左上端部の画素の座標と、長露光での注目領域ＲＯＩの左上端部の画素の座標がいずれも「（Ｘｎ，Ｙｎ）」で一致している。このため、これらの座標の差分は０となって所定閾値範囲内となるため、合成条件２が満たされる。また、短露光での注目領域ＲＯＩのＸ軸方向の長さと、長露光での注目領域ＲＯＩのＸ軸方向の長さがいずれも「ＸＬｎ」で一致している。同様に、短露光での注目領域ＲＯＩのＹ軸方向の長さと、長露光での注目領域ＲＯＩのＹ軸方向の長さがいずれも「ＹＬｎ」で一致している。このため、これらの長さの差分はいずれも０となって所定閾値範囲内となるため、合成条件３が満たされる。上記の合成条件１～３の全てが満たされるため、注目領域ＲＯＩのＨＤＲ合成処理が実行され、図１３中の太矢印の右側に示すように、注目領域ＲＯＩのＨＤＲ合成画像が生成される。
　このように、本実施形態では、例えば露光条件を変えて連続して撮影された複数の画像のそれぞれの一部を切り出した注目領域ＲＯＩに対し、注目領域ＲＯＩの一致性を判定するための条件を満たした場合に、当該注目領域ＲＯＩのＨＤＲ合成処理を実行するようになっている。このように、注目領域ＲＯＩにおけるＨＤＲ合成を実行するための条件を設定することにより、異なる注目領域ＲＯＩに対するＨＤＲ合成が実行されてしまうことを防止して、ＨＤＲ合成画像が破綻してしまうことを防止するようになっている。
４．本開示の第１実施形態による装置及びシステム：
　次に、本開示の第１実施形態による送信装置、受信装置及び伝送システムについて図１４及び図１５を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図１４を用いて説明する。図１４は、本実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０の概略構成を示すブロック図である。
　図１９に示すように、本実施形態による映像伝送システム１０は、イメージセンサとしての機能を発揮する映像送信装置（送信装置の一例）３と、画像処理（Ｉｍａｇｅ　Ｓｉｇｎａｌ　Ｐｒｏｃｅｓｓｏｒ：ＩＳＰ）の機能を発揮する映像受信装置（受信装置の一例）４とを備えている。映像伝送システム（伝送システムの一例）１０では、映像送信装置３は、ＭＩＰＩ（Ｍｏｂｉｌｅ　Ｉｎｄｕｓｔｒｙ　Ｐｒｏｃｅｓｓｏｒ　Ｉｎｔｅｒｆａｃｅ）　Ｄ－ＰＨＹ規格、ＭＩＰＩ　Ｃ－ＰＨＹ規格又はＭＩＰＩ　ＣＳＩ（Ｃａｍｅｒａ　Ｓｅｒｉａｌ　Ｉｎｔｅｒｆａｃｅ）－２規格の信号を送信部３２２から送出するように構成されている。また、映像伝送システム１０では、映像受信装置４は、ＭＩＰＩＤ－ＰＨＹ規格、ＭＩＰＩ　Ｃ－ＰＨＹ規格又はＭＩＰＩ　ＣＳＩ－２規格の信号を受信部４１２で受信するように構成されている。また、映像伝送システム１０は、上記前提技術１及び２に係る映像伝送システム１と同様に、映像送信装置３及び映像受信装置４との間でＭＩＰＩ ＣＳＩ－３規格又はＭＩＰＩ ＤＳＩ規格で信号を送受信するように構成されていてもよい。
　映像伝送システム１０に備えられた映像送信装置３は、上記前提技術１及び２に係る映像送信装置１００と同等の機能を発揮するように構成されている。つまり、映像送信装置３は、ＲＯＩの切り出しを指示する制御信号が映像受信装置４から入力された場合に、撮像部３１から入力された撮像画像に対して、映像送信装置１００と同様の処理を実行可能に構成されている。また、映像送信装置３は、通常画像の出力を指示する制御信号が映像受信装置４から入力された場合に、撮像部３１から入力された撮像画像に対して、映像送信装置１００と同様の処理を実行可能に構成されている。さらに、映像送信装置３は、上述のＨＤＲ合成処理に用いられるハイダイナミックレンジ情報（ＨＤＲ情報）を取得するとともに、当該ＨＤＲ情報を映像受信装置４に送出できるように構成されている。
　映像受信装置４は、上記前提技術１及び２に係る映像受信装置２００と同等の機能を発揮するように構成されている。つまり、映像受信装置４は、映像送信装置３から伝送された伝送データに対して、上記前提技術１及び２に係る映像受信装置２００と同様の処理を実行可能に構成されている。さらに、映像受信装置４は、映像送信装置３から伝送されたＨＤＲ情報を用いてＨＤＲ合成処理を実行できるように構成されている。
　そこで、図１４では、映像送信装置３及び映像受信装置４は、ＨＤＲ合成処理に関連する構成を中心に図示されている。
　図１４に示すように、映像送信装置３は、対象物を撮像する撮像部３１を備えている。撮像部３１は、例えば入射する光を電気信号に変換する光電変換部３１１を有している。光電変換部３１１は例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成されている。また、撮像部３１は、光電変換部３１１から入力されるアナログの電気信号をデジタルの画像データに変換する信号変換部３１２を有している。信号変換部３１２は、光電変換部３１１から入力されるアナログの電気信号の信号増幅（ＡＧＣ）処理と、増幅した電気信号をデジタル信号に変換するアナログデジタル変換（ＡＤＣ）処理とを実行するように構成されている。撮像部３１は、信号変換部３１２から入力される画像データに対してデジタルゲインを施す増幅部３１３を有している。増幅部３１３は、デジタルゲインを施した画像データを送信部３２２に出力するように構成されている。
　映像送信装置３は、撮像部３１を制御したり所定の信号処理を制御したりする制御部３２を備えている。制御部３２は、センサＣＰＵ３２１と、送信部３２２と、検波部３２３とを有している。センサＣＰＵ３２１は、画像処理部１２０，１３０（図２参照）と同様の機能を発揮するように構成されている。送信部３２２は、送信部１４０（図２参照）と同様の機能を発揮するように構成されている。また、制御部３２において、センサＣＰＵ３２１を画像処理部１２０，１３０に置き換え、送信部３２２を送信部１４０に置き換えてもよい。
　検波部３２３は、信号変換部３１２及び増幅部３１３に接続されている。検波部３２３は、信号変換部３１２からデジタルの画像データを取得する。また、検波部３２３は、増幅部３１３からゲイン調整後の画像データを取得する。検波部３２３は、取得した画像データに基づいて、輝度及び色の情報と増幅部３１３で設定されたデジタルゲインの情報とを含む検波情報を生成し、制御部３２に出力するように構成されている。
　センサＣＰＵ３２１は、光電変換部３１１の露光条件を制御する露光制御部３２１ａを有している。露光制御部３２１ａは、検波部３２３から入力される検波情報に基づいて、露光条件を制御するように構成されている。また、センサＣＰＵ３２１は、ＲＯＩの画像データのハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する変換領域制御部（制御部の一例）３２１ｂを有している。変換領域制御部３２１ｂを有するセンサＣＰＵ３２１及び制御部３２はそれぞれ、注目領域ＲＯＩの画像データのハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部の一例に相当する。露光制御部３２１ａは、撮像部３１に対して露光条件を変更して撮像することを指示する場合は、露光状態が基準となる画像を撮像するために、自動露光にて決定した露光条件（基準露光条件）での撮像を指示するようになっている。
　変換領域制御部３２１ｂは、注目領域ＲＯＩのＨＤＲ情報を取得するように構成されている。複数の注目領域ＲＯＩが設定されている場合には、変換領域制御部３２１ｂは、注目領域ＲＯＩごとにＨＤＲ情報を取得するように構成されている。変換領域制御部３２１ｂは、注目領域ＲＯＩの端部の座標、大きさ及び露光情報のいずれかの１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報をＨＤＲ情報として取得するように構成されている。ＲＯＩの端部の座標は、上述の基準画素の座標に相当し、本実施形態ではＲＯＩの左上端部の画素の座標である。本実施形態では、注目領域ＲＯＩの端部として左上端部の座標を取得するように構成されているが、注目領域ＲＯＩの位置を特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。注目領域ＲＯＩの大きさの情報には、上述の注目領域ＲＯＩのＸ軸方向及びＹ軸方向のそれぞれの長さの情報が含まれる。
　ＨＤＲ合成処理には、異なる画像のそれぞれから切り出された注目領域ＲＯＩが用いられる。このため、変換領域制御部３２１ｂは、連続する２つのフレームの前記ハイダイナミックレンジ情報を取得するように構成されている。変換領域制御部３２１ｂは、フレームごとに複数の注目領域ＲＯＩのそれぞれに対応付けてＨＤＲ情報を取得する。変換領域制御部３２１ｂは、取得したＨＤＲ情報を送信部３２２に出力する。
　センサＣＰＵ３２１は、ＲＯＩ切り出し部１２１（図２参照）と同様に、切り出し対象の物体が矩形状でなくても、当該物体を含む最小の矩形を注目領域ＲＯＩとして設定する。また、センサＣＰＵ３２１は、ＲＯＩ解析部１２２（図２参照）と同様に、注目領域ＲＯＩの位置情報（左上端部、Ｘ軸方向の長さ、Ｙ軸方向の長さ）を導出し、映像受信装置４に送出するように構成されている。
　図１４に示すように、センサＣＰＵ３２１は、映像受信装置４に設けられたＣａｍＣＰＵ４１１（詳細は後述）が出力する撮影方法や露光条件などのパラメータが入力されるように構成されている。センサＣＰＵ３２１は、入力されるこれらの情報に基づいて露光制御部３２１ａを制御するように構成されている。
　映像送信装置３は、制御部３３と、不揮発性記憶部３４とを備えている。制御部３３は、映像送信装置３側で撮像対象を決定する場合などに、撮像対象の検出や画像認識など制御する。不揮発性記憶部３４は、映像送信装置３や映像受信装置４の初期調整データなどを記憶する。
　送信部３２２は、センサＣＰＵ３２１から入力される注目領域ＲＯＩの座標（切り出し座標）や大きさ及びＨＤＲ情報など、並びに撮像部３１から入力される画像データなどを含む伝送データ（図６及び図１２参照）を生成して映像受信装置４に送出する。ハイダイナミックレンジ情報は、ＲＯＩ情報に含められた送信部３２２から送出される。ＲＯＩ情報は、伝送データを構成するパケット領域のエンベデッドデータに含められて送信部３２２から送出される。したがって、本実施形態では、ＨＤＲ情報は、エンベデッドデータに含められて送信部３２２から送出される。
　このように、映像送信装置３は、エンベデッドデータ又はペイロードデータに含められたハイダイナミックレンジ情報を送信部３２２から送出する。より具体的には、映像送信装置３は、注目領域ＲＯＩの端部の座標、大きさ及び露光情報の情報をハイダイナミックレンジ情報として送信部３２２から送出する。さらに、映像送信装置３は、連続する２つのフレームのハイダイナミックレンジ情報を送信部３２２から送出する。
　図１４に示すように、映像送信装置３は、注目領域ＲＯＩの画像データをペイロードデータで送出するとともに、注目領域ＲＯＩについての情報をエンベデッドデータで送出する送信部３２２を備えている。送信部３２２は、注目領域ＲＯＩについての情報の１つとしてＨＤＲ情報をエンベデッドデータ又はペイロードデータ（本実施形態ではエンベデッドデータ）に含めて映像受信装置４に送出する。送信部３２２は、ＭＩＰＩ　Ｄ－ＰＨＹ規格、ＭＩＰＩ　Ｃ－ＰＨＹ規格又はＭＩＰＩ　ＣＳＩ－２規格でデモザイク情報などを含む伝送データを送出するように構成されている。
　図１４に示すように、映像受信装置４は、映像送信装置３から伝送された伝送データを用いて所定の信号処理を制御する制御部４１を備えている。制御部４１は、ＣａｍＣＰＵ４１１と、受信部４１２と、記憶部４１３と、エンベデッドデータ取得部４１４とを有している。ＣａｍＣＰＵ４１１は、情報抽出部２２１（図８参照）を除いて、情報処理部２２０（図８参照）と同様の機能を発揮するように構成されている。送信部３２２は、ＥＢＤ解釈部２１４（図８参照）を除いて、受信部２１０（図８参照）と同様の機能を発揮するように構成されている。映像受信装置４は、エンベデッドデータ取得部４１４がＥＢＤ解釈部２１４及び情報抽出部２２１と同様の機能を発揮するように構成されている。また、制御部４１において、受信部４１２およびエンベデッドデータ取得部４１４を受信部２１０に置き換えてもよい。この場合、エンベデッドデータ取得部４１４が発揮する情報抽出部２２１の機能は、受信部２２０で発揮されるようになる。
　図１４に示すように、映像受信装置４は、注目領域ＲＯＩの画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部４１２を備えている。受信部４１２は、映像送信装置３から入力される伝送データを受信するように構成されている。受信部４１２は、ＭＩＰＩ　Ｄ－ＰＨＹ規格、ＭＩＰＩ　Ｃ－ＰＨＹ規格又はＭＩＰＩ　ＣＳＩ－２規格で当該伝送データを受信する。受信部４１２は、入力される伝送データから種々のデータを生成し、ＣａｍＣＰＵ４１１、記憶部４１３及びエンベデッドデータ取得部４１４に出力するように構成されている。
　記憶部４１３は、注目領域ＲＯＩの画像データＲＯＩ　Ｒａｗを記憶するように構成されている。画像データＲＯＩ　Ｒａｗは、Ｒａｗデータ、Ｒａｗ画像あるいは未現像データなどと呼ばれる、光電変換部３１１で取得された未加工の画像データである。
　図１４に示すように、映像受信装置４は、注目領域ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を受信部４１２で受信した伝送信号（伝送データ）からの抽出を制御するエンベデッドデータ取得部（制御部の一例）４１４を備えている。エンベデッドデータ取得部４１４を有する制御部４１は、注目領域ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を受信部４１２で受信した伝送信号（伝送データ）からの抽出を制御する制御部の一例に相当する。エンベデッドデータ取得部４１４は、受信部４１２から入力される伝送信号（伝送データ）に含まれたＲＯＩ情報からハイダイナミックレンジ情報を抽出するように構成されている。エンベデッドデータ取得部４１４は、注目領域ＲＯＩの端部の座標、大きさ及び露光情報のいずれか１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報をハイダイナミックレンジ情報として抽出するように構成されている。受信部４１２が受信するＨＤＲ情報は、送信部３２２から送信される情報である。このため、受信部４１２が受信するＨＤＲ情報におけるＲＯＩの端部の座標は、上述の基準画素の座標に相当し、本実施形態ではＲＯＩの左上端部の画素の座標である。本実施形態では、注目領域ＲＯＩの端部として左上端部の座標を取得するように構成されているが、注目領域ＲＯＩの位置を特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。注目領域ＲＯＩの大きさの情報には、上述の注目領域ＲＯＩのＸ軸方向及びＹ軸方向のそれぞれの長さの情報が含まれる。エンベデッドデータ取得部４１４は、連続する２つのフレームのハイダイナミックレンジ情報を抽出する。
　エンベデッドデータ取得部４１４は、注目領域ＲＯＩの例えば左上端部の画素の座標と、当該注目領域ＲＯＩの大きさ（Ｘ軸方向の長さ及びＹ軸方向の長さ）の情報と、当該注目領域ＲＯＩの及び列情報とをフレームごとに取得して、ＣａｍＣＰＵ４１１に出力する。
　エンベデッドデータ取得部４１４は、ＨＤＲ情報の他にエンベデッドデータに含まれている各種情報（例えば注目領域ＲＯＩの数、注目領域ＲＯＩの領域番号及び優先度、注目領域ＲＯＩのデータ長並びに注目領域ＲＯＩの画像フォーマットなど）を取得する。エンベデッドデータ取得部４１４は、取得した各種情報もＣａｍＣＰＵ４１１に出力する。
　図１４に示すように、ＣａｍＣＰＵ４１１は、撮影方法や露光条件などのパラメータをセンサＣＰＵ３２１に送出するように構成されている。ＣａｍＣＰＵ４１１は、撮影方法として例えばＨＤＲ合成処理に用いるための撮影を指示する情報をセンサＣＰＵ３２１に送出する。
　また、ＣａｍＣＰＵ４１１は、ＲＯＩ一致判定部４１１ａを有している。ＲＯＩ一致判定部（制御部の一例）４１１ａは、注目領域ＲＯＩの識別情報が一致し且つ連続する２つのフレームのそれぞれの当該注目領域ＲＯＩの単独情報又は組み合わせ情報に基づいて、当該２つのフレームのそれぞれの当該注目領域ＲＯＩが一致しているか否かを判断するように構成されている。ＲＯＩ一致判定部４１１ａを有するＣａｍＣＰＵ４１１及びＣａｍＣＰＵ４１１を有する制御部４１はそれぞれ、目領域ＲＯＩの識別情報が一致し且つ連続する２つのフレームのそれぞれの当該注目領域ＲＯＩの単独情報又は組み合わせ情報に基づいて、当該２つのフレームのそれぞれの当該注目領域ＲＯＩが一致しているか否かを判断する制御部の一例に相当する。より具体的には、ＲＯＩ一致判定部４１１ａは、エンベデッドデータ取得部４１４から入力される各種情報に基づいて、異なるフレーム間での注目領域ＲＯＩの一致度を判定するように構成されている。すなわち、ＲＯＩ一致判定部４１１ａは、エンベデッドデータ取得部４１４から入力される各種情報に基づいて、異なるフレーム間での２つの注目領域ＲＯＩが上述の合成条件１～３を満たすか否かを判定する。ＲＯＩ一致判定部４１１ａは、１つのフレームにおいて複数の注目領域ＲＯＩに関する情報がエンベデッドデータ取得部４１４から入力された場合、注目領域ＲＯＩごとに他のフレームにおける注目領域ＲＯＩとの一致の有無を判定する。
　ＲＯＩ一致判定部４１１ａは、注目領域ＲＯＩに関する情報がエンベデッドデータ取得部４１４から入力された場合、ＨＤＲ合成を実行するか否かを決定するために、合成条件１～３を満たす注目領域ＲＯＩが存在するか否かを判定する。ＲＯＩ一致判定部４１１ａは、異なるフレーム間で合成条件１を満たす注目領域ＲＯＩが存在するか否かを判定する。ＲＯＩ一致判定部４１１ａは、合成条件１を満たす注目領域ＲＯＩが存在すると判定した場合、次に、当該注目領域ＲＯＩに対して合成条件２を満たすか否かを判定する。
　ＲＯＩ一致判定部４１１ａは、合成条件２を満たすか否かを判定するため、合成条件１を満たす（すなわち領域番号が一致する）例えば２つの注目領域ＲＯＩの基準画素の座標（単独情報の一例）が所定の一致性を有するか否かを判定する。ここで、ｉ－１フレーム（ｉは自然数）の注目領域ＲＯＩの基準画素のＸ座標を「Ｘｒ（ｉ－１）」とし、基準画素のＹ座標を「Ｙｒ（ｉ－１）」とする。また、ｉフレーム（ｉは自然数）の注目領域ＲＯＩの基準画素のＸ座標を「Ｘｒ（ｉ）」とし、基準画素のＹ座標を「Ｙｒ（ｉ）」とする。さらに、Ｘ座標の所定閾値としてＸ座標閾値を「Ｘｔｈ」とし、Ｙ座標の所定閾値としてＹ座標閾値を「Ｙｔｈ」とする。ＲＯＩ一致判定部４１１ａは、合成条件１を満たす２つの注目領域ＲＯＩの基準画素の座標が以下の式（１）及び式（２）の両方を満たすか否かを判定する。
　Ｘｒ（ｉ）－Ｘｒ（ｉ－１）≦Ｘｔｈ　・・・（１）
　Ｙｒ（ｉ）－Ｙｒ（ｉ－１）≦Ｙｔｈ　・・・（２）
　ＲＯＩ一致判定部４１１ａは、合成条件２を満たすと判定した場合、次に、合成条件２を満たす注目領域ＲＯＩに対して合成条件３を満たすか否かを判定する。ＲＯＩ一致判定部４１１ａは、合成条件３を満たすか否かを判定するため、合成条件２を満たす注目領域ＲＯＩの大きさ（単独情報の一例）が所定の一致性を有するか否かを判定する。ここで、ｉ－１フレーム（ｉは自然数）の注目領域ＲＯＩのＸ軸方向（横方向）の長さを「ＸＬ（ｉ－１）」とし、当該注目領域ＲＯＩのＹ軸方向（縦方向）の長さを「ＹＬ（ｉ－１）」とする。また、ｉフレーム（ｉは自然数）の注目領域ＲＯＩのＸ軸方向（横方向）の長さを「ＸＬ（ｉ）」とし、当該注目領域ＲＯＩのＹ軸方向（縦方向）の長さを「ＹＬ（ｉ）」とする。さらに、Ｘ軸方向（横方向）の所定閾値としてＸ方向閾値を「ＸＬｔｈ」とし、Ｙ軸方向（縦方向）の所定閾値としてＹ方向閾値を「ＹＬｔｈ」とする。ＲＯＩ一致判定部４１１ａは、合成条件２を満たす２つの注目領域ＲＯＩの大きさが以下の式（３）及び式（４）の両方を満たすか否かを判定する。
　ＸＬ（ｉ）－ＸＬ（ｉ－１）≦ＸＬｔｈ　・・・（３）
　ＹＬ（ｉ）－ＹＬ（ｉ－１）≦ＹＬｔｈ　・・・（４）
　Ｘ座標閾値、Ｙ座標閾値、Ｘ方向閾値及びＹ方向閾値は、撮像部３１の撮像領域の解像度や映像送信装置３、映像受信装置４及び映像伝送システム１０の用途などによって設定される。例えば、撮像部３１の撮像領域の解像度が高い程、それぞれの閾値が大きい値に設定される。撮像部３１の撮像領域の解像度が高いほど、２つの注目領域ＲＯＩの位置や大きさが多少ずれていても、ＨＤＲ合成後の画像において当該ずれの影響を視認することができず、実用上問題にならない。また、ＨＤＲ合成後の画像において当該ずれの影響に対して許容範囲が大きい用途では、Ｘ座標閾値、Ｙ座標閾値、Ｘ方向閾値及びＹ方向閾値は大きい値に設定してもよい。また、Ｘ座標閾値、Ｙ座標閾値、Ｘ方向閾値及びＹ方向閾値のうちの一部については大きい値（小さい値）に設定され、残余については当該一部よりも小さい値（大きい値）に設定されてもよい。
　このように、ＲＯＩ一致判定部４１１ａは、合成条件２及び合成条件３のそれぞれでは、単独情報に基づいてそれぞれの合成条件を満たすか否かを判断する。したがって、ＲＯＩ一致判定部４１１ａは、合成条件１から合成条件３の全体で見ると、２つの単独情報が組み合わされた組み合わせ情報に基づいて２つのフレームのそれぞれの当該注目領域ＲＯＩが一致しているか否かを判断する。合成条件２及び合成条件３の判定順序は、上述の順序に限られない。ＲＯＩ一致判定部４１１ａは、合成条件３を先に判定し、当該合成条件３を満たした場合に合成条件２を判定してもよい。また、ＲＯＩ一致判定部４１１ａは、一の合成条件が成立しない場合には残余の合成条件の判定を省略することにより、処理負荷を低減することができる。
　ＲＯＩ一致判定部４１１ａが、エンベデッドデータ取得部４１４から入力されるＨＤＲ情報に基づいて合成条件１～３を満たす注目領域ＲＯＩが存在すると判定した場合には、ＣａｍＣＰＵ４１１は、ＨＤＲ合成処理の実行条件を満たした注目領域ＲＯＩの領域番号と、ＨＤＲ合成処理の実行を指示する指示情報とを含むＨＤＲ指示信号をＨＤＲ合成部４２（詳細は後述）に出力する。一方、ＲＯＩ一致判定部４１１ａが、エンベデッドデータ取得部４１４から入力されるＨＤＲ情報に基づいて合成条件１～３を満たす注目領域ＲＯＩが存在しないと判定した場合には、ＣａｍＣＰＵ４１１は、ＨＤＲ合成処理を実行しないことを指示する指示情報を含むＨＤＲ指示信号をＨＤＲ合成部４２に出力する。
　図１４に示すように、映像受信装置４は、エンベデッドデータ取得部４１４で抽出されたハイダイナミックレンジ情報を用いて注目領域ＲＯＩの画像データのハイダイナミックレンジ合成を処理するＨＤＲ合成部（処理部の一例）４２を備えている。ＨＤＲ合成部４２は、ＨＤＲ合成処理の実行を指示する指示情報を含むＨＤＲ指示信号を受信した場合には、当該ＨＤＲ指示信号に含まれる注目領域ＲＯＩの領域番号の画像データを記憶部４１３から読み出し、読み出した画像データを用いてＨＤＲ合成画像を生成する。すなわち、注目領域ＲＯＩの領域番号（識別情報の一例）が一致し且つ連続する２つのフレームにおいて、当該注目領域ＲＯＩの端部の座標の差分及び当該注目領域ＲＯＩの大きさの差分のそれぞれが所定の閾値以下である場合に、ＨＤＲ合成部４２は、当該注目領域ＲＯＩの露光情報に基づいて当該注目領域ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行する。
　一方、ＨＤＲ合成部４２は、ＨＤＲ合成処理を実行しないことを指示する指示情報を含むＨＤＲ指示信号を受信した場合には、当該ＨＤＲ指示信号に含まれる注目領域ＲＯＩの領域番号の基準露光条件での画像データを記憶部４１３から読み出し、読み出した画像データをそのまま後段の装置に出力する。すなわち、注目領域ＲＯＩの領域番号（識別情報の一例）が一致し且つ連続する２つのフレームにおいて、当該注目領域ＲＯＩの端部の座標の差分及び当該注目領域ＲＯＩの大きさの差分の少なくとも一方が所定の閾値よりも大きい場合に、ＨＤＲ合成部４２は、当該注目領域ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行しない。
　映像受信装置４は、ＨＤＲ合成部４２の後段に画質調整部（不図示）を有していてもよい。画質調整部は、ＨＤＲ合成部４２から入力される画像データに対して、ガンマ補正やホワイトバランスを調整するＲＧＢ処理と、画質の濃淡や明るさを調整するＹＣ処理とを実行して画質を調整するように構成されていてもよい。画質調整部は、画質調整した画像を例えば表示装置（不図示）に出力するように構成されている。これにより、当該表示装置には、注目領域ＲＯＩに対応する箇所に必要に応じてＨＤＲ合成が施された画像が表示される。
（ハイダイナミックレンジ合成処理方法）
　次に、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理方法について図１４を参照しつつ図１５を用いて説明する。図１５は、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。
（ステップＳ３１）
　図１５に示すように、映像送信装置３に備えられたセンサＣＰＵ３２１は、フレーム開始トリガを検出し、ハイダイナミックレンジによる撮像が決定している場合には、まず、撮像部３１での露光を制御するために露光条件を設定し、ステップＳ３３の処理に移行する。センサＣＰＵ３２１は、検波部３２３から入力される検波情報に基づいて複数の露光条件を設定する。また、センサＣＰＵ３２１は、露光条件に基準露光条件も含めて設定する。
（ステップＳ３３）
　センサＣＰＵ３２１は、撮像部３１の撮像領域から画像を切り出す切り出し位置を決定し、ステップＳ３５の処理に移行する。ステップＳ３３において、センサＣＰＵ３２１は、切り出し位置、すなわち注目領域ＲＯＩの基準画素の座標（本実施形態では注目領域ＲＯＩの左上端部の座標）及び画像サイズ（Ｘ軸方向及びＹ軸方向の長さ）を決定する。また、センサＣＰＵ３２１は、決定した注目領域ＲＯＩの座標及び画像サイズと、当該注目領域ＲＯＩの露光条件及びデジタルゲインを当該注目領域ＲＯＩの領域番号と対応付けた情報をＨＤＲ情報としてエンベデッドデータに設定する。センサＣＰＵ３２１は、撮像部３１より入力されるフレームごとにＨＤＲ情報を取得してエンベデッドデータに設定する。
（ステップＳ３５）
　センサＣＰＵ３２１は、ＨＤＲ情報及びその他の種々の情報が設定されたエンベデッドデータを含む伝送データを送信部３２２に設定し、ＨＤＲ合成処理を終了する。
　ステップＳ３５において設定された伝送データは、ＭＩＰＩを用いたハードウェア（ＨＷ）による通信によって、映像送信装置３から映像受信装置４に送信される。
　映像受信装置４に備えられた受信部４１２は、受信した伝送データからエンベデッドデータを抽出してエンベデッドデータ取得部４１４に出力する。エンベデッドデータ取得部４１４は、受信部４１２から入力されたエンベデッドデータをデコードし、各種情報（例えば注目領域ＲＯＩの数、注目領域ＲＯＩの領域番号及び優先度、注目領域ＲＯＩのデータ長並びに注目領域ＲＯＩの画像フォーマットなど）を取得し、取得した当該各種情報をＣａｍＣＰＵ４１１に出力する。
（ステップＳ４１）
　ＣａｍＣＰＵ４１１は、エンベデッドデータ取得部４１４でエンベデッドデータがデコードされたタイミングをトリガとして、受信部４１２で受信した伝送データからエンベデッドデータ取得部４１４が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ＲＯＩの座標（位置及び大きさ）を取得して、ステップＳ４３の処理に移行する。また、ステップＳ４１においてＣａｍＣＰＵ４１１は、当該各種情報に含まれるＨＤＲ情報に基づいて、優先度が最も高い注目領域ＲＯＩの切り出し位置及びサイズ（すなわち基準画素の座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）をフレームごとに取得する。
（ステップＳ４３）
　ＣａｍＣＰＵ４１１は、取得した注目領域ＲＯＩのＨＤＲ情報に基づいて、フレーム間の注目領域ＲＯＩの切り出し位置とサイズが一致するか否かを判定する。ＣａｍＣＰＵ４１１は、ＲＯＩ一致判定部４１１ａにおける合成条件１～３の成立の有無に基づき、合成条件１～３の全てが成立していると判定した場合は、ステップＳ４５の処理に移行する。一方、ＣａｍＣＰＵ４１１は、合成条件１～３のうちの少なくとも１つが成立していないと判定した場合は、ステップＳ４７の処理に移行する。
（ステップＳ４５）
　ＣａｍＣＰＵ４１１は、ＨＤＲ合成処理の実行条件を満たした注目領域ＲＯＩの領域番号と、ＨＤＲ合成処理の実行を指示する指示情報とを含むＨＤＲ指示信号をＨＤＲ合成部４２に出力し、ステップＳ４７の処理に移行する。
　ＨＤＲ合成部４２は、ＣａｍＣＰＵ４１１から入力されたＨＤＲ指示信号に基づいて、記憶部４１３から所定の注目領域ＲＯＩの画像データを読み出して、ＨＤＲ合成処理を実行する。
（ステップＳ４７）
　ＣａｍＣＰＵ４１１は、エンベデッドデータ取得部４１４から入力された全ての注目領域ＲＯＩに対してステップＳ４１からステップＳ４５の処理を実行したか否かを判定する。ＣａｍＣＰＵ４１１は、全ての注目領域ＲＯＩに当該処理を実行したと判定した場合（Ｙｅｓ）には、ＨＤＲ合成処理を終了する。一方、ＣａｍＣＰＵ４１１は、全ての注目領域ＲＯＩに当該処理を実行していないと判定した場合（Ｎｏ）には、ステップＳ４１の処理に戻る。ＣａｍＣＰＵ４１１は、全ての注目領域ＲＯＩに対するＨＤＲ合成処理が完了するまで、ステップＳ４１からステップＳ４７の処理を繰り返す。
　以上説明したように、本実施形態による送信装置、受信装置及び伝送システムは、撮像画像から切り出した一部の注目領域（ＲＯＩ）に対しハイダイナミックレンジ合成処理を実現することができる。
　また、本実施形態による送信装置、受信装置及び伝送システムは、撮像した画像の全てを送信せずに、撮影対象として特定した物体を切り出した一部の画像に対してハイダイナミックレンジ合成を実行できる。これにより、本実施形態による送信装置、受信装置及び伝送システムは、ハイダイナミックレンジ合成における処理負荷を低減できるので、低消費電力化を図ることができる。また、本実施形態による送信装置、受信装置及び伝送システムにおける長短露光は、フリッカ対策にもなり得る。
（変形例１）
　上記第１実施形態の変形例１による送信装置、受信装置及び伝送システムについて図１４を参考にして説明する。本変形例による送信装置、受信装置及び伝送システムは、上記第１実施形態におけるＲＯＩ一致判定部４１１ａが映像受信装置４ではなく、映像送信装置３に設けられている点に特徴を有している。本変形例において以下、説明の便宜上、上記第１実施形態におけるＲＯＩ一致判定部４１１ａと同じ参照符号を用いて、本変形例におけるＲＯＩ一致判定部について説明する。
　本変形例におけるＲＯＩ一致判定部（制御部の一例）４１１ａは、例えば変換領域制御部３２１ｂに接続されてセンサＣＰＵ３２１に設けられる。これにより、ＲＯＩ一致判定部４１１ａには、注目領域ＲＯＩの端部の座標、大きさ及び露光情報のいずれか１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報が変換領域制御部３２１ｂから入力される。ＲＯＩ一致判定部４１１ａは、上記第１実施形態におけるＲＯＩ一致判定部４１１ａと同様の機能を発揮するように構成される。このため、ＲＯＩ一致判定部４１１ａは、注目領域ＲＯＩの識別情報が一致し且つ連続する２つのフレームのそれぞれの当該注目領域ＲＯＩの単独情報又は組み合わせ情報に基づいて、当該２つのフレームのそれぞれの当該注目領域ＲＯＩが一致しているか否かを判断することができる。
　したがって、本変形例におけるＲＯＩ一致判定部を有するセンサＣＰＵ３２１及びセンサＣＰＵ３２１を有する制御部３２は、当該単独情報又は当該組み合わせ情報に基づいて、２つのフレームのそれぞれの注目領域ＲＯＩが一致しているか否かを判断する制御部の一例に相当する。
　ＲＯＩ一致判定部４１１ａは、例えば送信部３２２に接続されている。このため、ＲＯＩ一致判定部４１１ａ、２つのフレームのそれぞれの注目領域ＲＯＩが一致しているか否かの判断結果の情報と、当該注目領域ＲＯＩの識別情報とが対応付けられた情報を送信部３２２に出力できる。これにより、送信部３２２は、変換領域制御部３２１ｂにおいて２つのフレームのそれぞれの注目領域ＲＯＩが一致しているか否かの判断結果の情報と当該注目領域ＲＯＩの識別情報とが対応付けられた情報及び欠陥画素の情報が含まれている単独情報又は組み合わせ情報をＲＯＩ情報に含めて映像受信装置４に備えられた受信部４１２に送出することができる。
　受信部４１２は、映像送信装置３における２つのフレームのそれぞれの注目領域ＲＯＩが一致しているか否かの判断結果の情報と当該注目領域ＲＯＩの識別情報とが対応付けられた情報及び欠陥画素の情報が含まれている単独情報又は組み合わせ情報を有するＲＯＩ情報を含む伝送信号を受信する。エンベデットデータ取得部４１４は、受信部４１２で受信されたＲＯＩ情報から、当該判断結果の情報及び注目領域ＲＯＩの識別情報並び欠陥画素の情報を取得できる。ＨＤＲ合成部４２は、エンベデットデータ取得部４１４で取得された当該判断結果の情報及び注目領域ＲＯＩの識別情報並びに欠陥画素の情報に基づいて、ＨＤＲ合成処理を実行することができる。
（変形例２）
　上記第１実施形態の変形例２による送信装置、受信装置及び伝送システムについて図１４を参考にして説明する。本変形例による送信装置、受信装置及び伝送システムは、上記変形例１におけるＨＤＲ合成部４２が映像受信装置４ではなく、映像送信装置３に設けられている点に特徴を有している。本変形例において以下、説明の便宜上、上記第１実施形態におけるＲＯＩ一致判定部４１１ａ及びＨＤＲ合成部４２と同じ参照符号を用いて、本変形例におけるＲＯＩ一致判定部及びＨＤＲ合成部４２について説明する。
　本変形例では、ＲＯＩ一致判定部４１１ａは、送信部３２２ではなく、例えばＨＤＲ合成部（処理部の一例）４２に接続される。また、変換領域制御部３２１ｂは、ＲＯＩ一致判定部４１１ａに加えて、ＨＤＲ合成部４２にも接続されている。これにより、ＨＤＲ合成部４２には、２つのフレームのそれぞれの注目領域ＲＯＩが一致しているか否かの判断結果の情報と当該注目領域ＲＯＩの識別情報とが対応付けられた情報及び欠陥画素の情報が入力される。
　このため、ＨＤＲ合成部４２は、ＲＯＩ一致判定部４１１ａにおいて２つのフレームのそれぞれの注目領域ＲＯＩが一致していると判断された場合に露光情報に基づいて当該注目領域ＲＯＩの画像データに対してハイダイナミックレンジ合成を処理することができる。一方、ＨＤＲ合成部４２は、ＲＯＩ一致判定部４１１ａにおいて２つのフレームのそれぞれの注目領域ＲＯＩが一致していないと判断された場合に当該注目領域ＲＯＩの画像データに対してハイダイナミックレンジ合成を処理しない。
　本変形例では、ＨＤＲ合成部４２は、送信部３２２に接続されている。このため、ＨＤＲ合成部４２は、ハイダイナミックレンジ合成を実行した場合、ハイダイナミックレンジ合成した画像データを送信部３２２に出力できる。送信部３２２は、ＨＤＲ合成部４２でハイダイナミックレンジ合成された画像データをＲＯＩ情報に含めて送出することができる。
　映像受信装置４は、ＨＤＲ合成処理された画像データが映像送信装置３から入力された場合、当該画像データに対して、例えばガンマ補正やホワイトバランスを調整するＲＧＢ処理と、画質の濃淡や明るさを調整するＹＣ処理とを実行して画質を調整してもよい。映像受信装置４は、画質調整した画像を例えば表示装置（不図示）に出力するように構成されている。これにより、当該表示装置には、注目領域ＲＯＩに対応する箇所に必要に応じてＨＤＲ合成が施された画像が表示される。
　以上説明したように、変形例１及び変形例２による送信装置、受信装置及び伝送システムにはそれぞれ、上記第１実施形態による送信装置、受信装置及び伝送システムと同様の効果が得られる。
〔第２実施形態〕
５．本開示の第２実施形態におけるハイダイナミックレンジ合成処理の原理：
　次に、本開示の実施形態におけるハイダイナミックレンジ合成処理の原理について図１６から図２１を用いて説明する。本実施形態におけるＨＤＲ合成処理は、１つの注目領域ＲＯＩに異なる露光条件で露光された画像が混在する場合に適用される点に特徴を有している。
　図１６は、本実施形態におけるハイダイナミックレンジ合成処理を模式的に示す図である。図１６中の太矢印の左側に示すように、注目領域ＲＯＩには、短露光の画像と長露光の画像が２行ずつ交互に並んでいる。このように、１つの注目領域ＲＯＩに異なる露光条件で制御された画素（すなわち光電変換素子）が混在する場合、本実施形態では、注目領域ＲＯＩの基準画素の座標と、短露光及び長露光を組み合わせた露光パターンとを特定することによって、注目領域ＲＯＩごとにＨＤＲ合成処理を実行するようになっている。これにより、図１６中の太矢印の右側に示すように、注目領域ＲＯＩにおけるＨＤＲ合成画像を生成することができる。
　ここで、露光パターンについて図１６を参照しつつ図１７から図１９を用いて説明する。図１７は、図１６中の太矢印の左側に示す撮像領域から切り出される撮像素子の露光パターンＰＡ１～ＰＡ４を示す図である。以下、図１６中の太矢印の左側に示す撮像領域の露光及び色を組み合わせた配列を「配列例Ａ」と称する。
　図１６中の太矢印の左側に示す撮像画像は、上述のとおり、短露光の画像と長露光の画像が２行ずつ交互に並んで配置されている。つまり、配列例１における撮像領域は、短露光の画素と長露光の画素が２行ずつ交互に並んで配置されている。また、配列例１における撮像領域は、左上端部に配置された赤色画素（以下、「Ｒ画素」と略記する）を有している。また、配列例１における撮像領域は、左端部がＲ画素であり、かつＲ画素及び緑色画素（以下、「Ｇ画素」と略記する）が交互に配置された奇数行と、左端部がＧ画素であり、かつＧ画素及び青色画素（以下、「Ｂ画素」と略記する）が交互に配置された偶数行とを有している。
　配列例Ａにおける撮像領域の全体の画素の色配列は確定されている。このため、配列例Ａにおける撮像領域から注目領域ＲＯＩを切り出す場合、切り出しの位置によって、図１７に示すように、注目領域ＲＯＩに含まれる露光及び色配列の組み合わせとして８つの露光パターンＰＡ１～ＰＡ８がある。
　図１７に示すように、基準画素を注目領域ＲＯＩの左上端部とすると、露光パターンＰＡ１での左上端部は、短露光のＲ画素に相当する。露光パターンＰＡ１での左上端部の座標は、Ｘ座標が「２×ｍ－１」で表され、Ｙ座標が「１＋（ｎ－１）×ｄ」で表される。ここで、ｍ及びｎは自然数である。ｄは、Ｙ軸方向（縦方向）における配列パターンの種類の個数であり、本例では「４」である。以下、ｍ、ｎ及びｄは、本実施形態における配列パターンにおいて同一の内容を意味する。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ１は、１行目が短露光の「Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素」となり、２行目が短露光の「Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素」となる。また、露光パターンＰＡ１は、３行目が長露光の「Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素」となり、４行目が長露光の「Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素」となる。さらに、露光パターンＰＡ１は、５行目の露光条件及び色配列が１行目と同一となる。
　図１７に示すように、露光パターンＰＡ２での左上端部は、短露光のＧ画素に相当する。露光パターンＰＡ２での左上端部の座標は、Ｘ座標が「２×ｍ」で表され、Ｙ座標が「１＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ２は、１行目が短露光の「Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素」となり、２行目が短露光の「Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素」となる。また、露光パターンＰＡ２は、３行目が長露光の「Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素」となり、４行目が長露光の「Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素」となる。さらに、露光パターンＰＡ２は、５行目の露光条件及び色配列が１行目と同一となる。
　図１７に示すように、露光パターンＰＡ３での左上端部は、短露光のＧ画素に相当する。露光パターンＰＡ３での左上端部の座標は、Ｘ座標が「２×ｍ－１」で表され、Ｙ座標が「２＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ３は、１行目が短露光の「Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素」となり、２行目が長露光の「Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素」となる。また、露光パターンＰＡ３は、３行目が長露光の「Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素」となり、４行目が短露光の「Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素」となる。さらに、露光パターンＰＡ３は、５行目の露光条件及び色配列が１行目と同一となる。
　図１７に示すように、露光パターンＰＡ４での左上端部は、短露光のＢ画素に相当する。露光パターンＰＡ４での左上端部の座標は、Ｘ座標が「２×ｍ」で表され、Ｙ座標が「２＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ４は、１行目が短露光の「Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素」となり、２行目が長露光の「Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素」となる。また、露光パターンＰＡ４は、３行目が長露光の「Ｂ画素、Ｇ画素、Ｂ画素、Ｇ画素、Ｂ画素」となり、４行目が短露光の「Ｇ画素、Ｒ画素、Ｇ画素、Ｒ画素、Ｇ画素」となる。さらに、露光パターンＰＡ４は、５行目の露光条件及び色配列が１行目と同一となる。
　図１７に示すように、露光パターンＰＡ５での左上端部は、長露光のＲ画素に相当する。露光パターンＰＡ５での左上端部の座標は、Ｘ座標が「２×ｍ－１」で表され、Ｙ座標が「３＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ５は、色配列が露光パターンＰＡ１と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１７に示すように、露光パターンＰＡ６での左上端部は、長露光のＧ画素に相当する。露光パターンＰＡ６での左上端部の座標は、Ｘ座標が「２×ｍ」で表され、Ｙ座標が「３＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ６は、色配列が露光パターンＰＡ２と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１７に示すように、露光パターンＰＡ７での左上端部は、長露光のＧ画素に相当する。露光パターンＰＡ７での左上端部の座標は、Ｘ座標が「２×ｍ－１」で表され、Ｙ座標が「４＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ７は、色配列が露光パターンＰＡ３と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１７に示すように、露光パターンＰＡ８での左上端部は、長露光のＢ画素に相当する。露光パターンＰＡ８での左上端部の座標は、Ｘ座標が「２×ｍ」で表され、Ｙ座標が「４＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＡ８は、色配列が露光パターンＰＡ４と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１８は、撮像部の撮像領域に設けられた撮像素子の露光条件及び色配列を組み合わせた配列例Ｂを模式的に示す図である。図１９は、図１８に示す配列例Ｂから切り出される撮像素子の露光パターンＰＢ１～ＰＢ１６を示す図である。
　図１８に示すように、配列例Ｂでは、奇数行にはＲ画素及びＧ画素が交互に並んで配置され、偶数行にはＧ画素及びＢ画素が交互に並んで配置されている。また、配列例Ｂでは、奇数行の左側端部にＲ画素が配置され、偶数行の左側端部にＧ画素が配置されている。さらに、配列例Ｂでは、Ｇ画素及び当該Ｇ画素の右側に隣接する画素を組として、当該組の露光条件が短露光及び長露光を交互に繰り返すように構成されている。また、配列例Ｂでは、１行目、４行目、５行目及び６行目の左側端部の露光条件が短露光であり、残余の行の左側端部の露光条件が長露光となっている。
　配列例Ｂにおける撮像領域の全体の画素の色配列は確定されている。このため、配列例Ｂにおける撮像領域から注目領域ＲＯＩを切り出す場合、切り出しの位置によって、図１９に示すように、注目領域ＲＯＩに含まれる露光及び色配列の組み合わせとして１６個の露光パターンＰＢ１～ＰＢ１６がある。
　図１９に示すように、基準画素を注目領域ＲＯＩの左上端部とすると、露光パターンＰＢ１での左上端部は、短露光のＲ画素に相当する。露光パターンＰＢ１での左上端部の座標は、Ｘ座標が「１＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「１＋（ｎ－１）×ｄｙ」で表される。ここで、ｄｘは、Ｘ軸方向（横方向）における配列パターンの種類の個数であり、本例では「４」である。ｄｙは、Ｙ軸方向（縦方向）における配列パターンの種類の個数であり、本例では「４」である。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１は、１行目が「短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素」となり、２行目が「長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素」となる。ここで、例えば「短露光Ｒ画素」は、露光条件が短露光のＲ画素であることを意味し、「長露光Ｒ画素」は、露光条件が長露光のＲ画素であることを意味している。また、その他の露光条件及び色画素の組み合わせについても、同様の表記がなされている。また、露光パターンＰＢ１は、３行目が「長露光Ｒ画素、短露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、長露光Ｒ画素」となり、４行目が「短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素」となる。さらに、露光パターンＰＢ１は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ２での左上端部は、長露光のＧ画素に相当する。露光パターンＰＢ２での左上端部の座標は、Ｘ座標が「２＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「１＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ２は、１行目が「長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素」となり、２行目が短露光の「長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素」となる。また、露光パターンＰＢ２は、３行目が「短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素」となり、４行目が「短露光Ｂ画素、短露光Ｇ画素、長露光Ｂ画素、長露光Ｇ画素、短露光Ｂ画素」となる。さらに、露光パターンＰＢ２は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ３での左上端部は、長露光のＲ画素に相当する。露光パターンＰＢ３での左上端部の座標は、Ｘ座標が「３＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「１＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ３は、１行目が「長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素」となり、２行目が「短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素」となる。また、露光パターンＰＢ３は、３行目が「短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素」となり、４行目が「長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素」となる。さらに、露光パターンＰＢ３は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ４での左上端部は、短露光のＧ画素に相当する。露光パターンＰＢ４での左上端部の座標は、Ｘ座標が「４＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「１＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ４は、１行目が「短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素」となり、２行目が「短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素」となる。また、露光パターンＰＢ５は、３行目が「長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素」となり、４行目が「長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素」となる。さらに、露光パターンＰＢ４は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ５での左上端部は、長露光のＧ画素に相当する。露光パターンＰＢ５での左上端部の座標は、Ｘ座標が「１＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「２＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１７に示すように、露光パターンＰＢ５は、１行目が「長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素」となり、２行目が「長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素」となる。また、露光パターンＰＢ５は、３行目が「短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素」となり、４行目が「短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素」となる。さらに、露光パターンＰＢ５は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ５での左上端部は、長露光のＧ画素に相当する。露光パターンＰＢ５での左上端部の座標は、Ｘ座標が「１＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「２＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ５は、１行目が「長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素」となり、２行目が「長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、短露光Ｒ画素」となる。また、露光パターンＰＢ５は、３行目が「短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素」となり、４行目が「短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素」となる。さらに、露光パターンＰＢ５は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ６での左上端部は、長露光のＢ画素に相当する。露光パターンＰＢ６での左上端部の座標は、Ｘ座標が「２＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「２＋（ｎ－１）×ｄ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ６は、１行目が「長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素」となり、２行目が「短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素」となる。また、露光パターンＰＢ６は、３行目が「短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素」となり、４行目が「長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素」となる。さらに、露光パターンＰＢ６は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ７での左上端部は、短露光のＧ画素に相当する。露光パターンＰＢ７での左上端部の座標は、Ｘ座標が「３＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「２＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ７は、１行目が「短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素」となり、２行目が「短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素」となる。また、露光パターンＰＢ７は、３行目が「長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素」となり、４行目が「長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素」となる。さらに、露光パターンＰＢ７は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ８での左上端部は、短露光のＢ画素に相当する。露光パターンＰＢ８での左上端部の座標は、Ｘ座標が「４＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「２＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ８は、１行目が「短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素」となり、２行目が「長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素」となる。また、露光パターンＰＢ８は、３行目が「長露光Ｂ画素、短露光Ｇ画素、短露光Ｂ画素、長露光Ｇ画素、長露光Ｂ画素」となり、４行目が「短露光Ｇ画素、短露光Ｒ画素、長露光Ｇ画素、長露光Ｒ画素、短露光Ｇ画素」となる。さらに、露光パターンＰＢ４は、５行目の露光条件及び色配列が１行目と同一となる。
　図１９に示すように、露光パターンＰＢ９での左上端部は、長露光のＲ画素に相当する。露光パターンＰＢ９での左上端部の座標は、Ｘ座標が「１＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「３＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ９は、色配列が露光パターンＰＢ１と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１９に示すように、露光パターンＰＢ１０での左上端部は、短露光のＧ画素に相当する。露光パターンＰＢ１０での左上端部の座標は、Ｘ座標が「２＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「３＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１０は、色配列が露光パターンＰＢ２と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１９に示すように、露光パターンＰＢ１１での左上端部は、短露光のＲ画素に相当する。露光パターンＰＢ１１での左上端部の座標は、Ｘ座標が「３＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「３＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１１は、色配列が露光パターンＰＢ３と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１９に示すように、露光パターンＰＢ１２での左上端部は、長露光のＧ画素に相当する。露光パターンＰＢ１２での左上端部の座標は、Ｘ座標が「４＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「３＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１２は、色配列が露光パターンＰＢ４と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１９に示すように、露光パターンＰＢ１３での左上端部は、短露光のＧ画素に相当する。露光パターンＰＢ１３での左上端部の座標は、Ｘ座標が「１＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「４＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１３は、色配列が露光パターンＰＢ５と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１９に示すように、露光パターンＰＢ１４での左上端部は、短露光のＢ画素に相当する。露光パターンＰＢ１４での左上端部の座標は、Ｘ座標が「２＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「４＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１４は、色配列が露光パターンＰＢ６と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１９に示すように、露光パターンＰＢ１５での左上端部は、長露光のＧ画素に相当する。露光パターンＰＢ１５での左上端部の座標は、Ｘ座標が「３＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「４＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１５は、色配列が露光パターンＰＢ７と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　図１９に示すように、露光パターンＰＢ１６での左上端部は、長露光のＢ画素に相当する。露光パターンＰＢ１６での左上端部の座標は、Ｘ座標が「４＋（ｍ－１）×ｄｘ」で表され、Ｙ座標が「４＋（ｎ－１）×ｄｙ」で表される。また、切り出される領域の大きさが５行５列であれば、図１９に示すように、露光パターンＰＢ１６は、色配列が露光パターンＰＢ８と同一であり、かつ短露光及び長露光が逆転したパターンを有している。
　このように、撮像領域全体の露光条件が既知である場合、注目領域ＲＯＩの例えば左上端部の画素の露光条件、座標及び切り出される領域の大きさの情報が得られることにより、注目領域ＲＯＩに含まれる画素の露光条件を確定することができる。このため、映像送信装置が注目領域ＲＯＩごとに画素の露光条件、座標及び大きさに関する情報をＨＤＲ情報として映像受信装置に伝送することにより、映像受信装置は、注目領域ＲＯＩに対してＨＤＲ合成処理を実行することができる。
　例えば、映像送信装置及び映像受信装置がそれぞれ、撮像部が配列例Ａの色配列を有する撮像領域を有している情報を不揮発性記憶素子に格納しており、映像送信装置から露光パターンＰＡ１における左上端部の情報及び注目領域ＲＯＩの大きさの情報がＨＤＲ情報として映像受信装置に伝送されたとする。映像受信装置は、当該ＨＤＲ情報に基づいて、注目領域ＲＯＩの露光条件が図１７に示す露光パターンＰＡ１～ＰＡ８のいずれであるかを判定できる。映像受信装置は、判定した注目領域ＲＯＩの露光条件に基づいて、ＨＤＲ合成処理を実行する。これにより、図１６中の太い矢印の右側に示すように、ＨＤＲ合成処理後のＨＤＲ合成画像が生成される。
６．本開示の第２実施形態による装置及びシステム：
　次に、本開示の第２実施形態による送信装置、受信装置及び伝送システムについて図２０及び図２１を用いて説明する。まず、本実施形態による送信装置、受信装置及び伝送システムの概略構成について図２０を用いて説明する。図２０は、本実施形態による映像送信装置５、映像受信装置６及び映像伝送システム２０の概略構成を示すブロック図である。なお、上記第１実施形態による映像送信装置３、映像受信装置４及び映像伝送システム１０と同一の作用・機能を奏する構成要素には同一の符号を付して説明は省略する。
　図２０に示すように、本実施形態による映像送信装置５は、エンベデッドデータに含められるＨＤＲ情報の内容が異なる点を除いて、上記第１実施形態による映像送信装置３と同様の構成を有している。映像送信装置５に設けられた変換領域制御部５２１ｂは、注目領域ＲＯＩのＨＤＲ情報を取得するように構成されている。複数の注目領域ＲＯＩが設定されている場合には、変換領域制御部５２１ｂは、注目領域ＲＯＩごとにＨＤＲ情報を取得するように構成されている。変換領域制御部５２１ｂは、注目領域ＲＯＩの基準画素の座標、大きさ及び露光情報のいずれか１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報をＨＤＲ情報として取得するように構成されている。注目領域ＲＯＩの大きさの情報には、上述の注目領域ＲＯＩのＸ軸方向及びＹ軸方向のそれぞれの長さの情報が含まれる。
　変換領域制御部５２１ｂは、露光情報として基準画素（本実施形態では注目領域ＲＯＩの左上端部の画素）の露光条件を取得するように構成されている。本実施形態では、注目領域ＲＯＩの基準画素として、当該注目領域ＲＯＩの左上端部の座標を取得するように構成されているが、注目領域ＲＯＩの位置及び当該注目領域ＲＯＩの露光パターンを特定できる情報であれば、四隅のいずれの端部であってもよく、その他の場所の情報であってもよい。つまり、露光情報となる基準画素は、撮像部３１の撮像領域の全画素の露光条件との対応付けを行ことができる画素であればよい。例えば、図１７及び図１９に示す露光パターンが注目領域ＲＯＩの右下端部を基準に作成されている場合は、当該右下端部の画素は、撮像部３１の撮像領域の全画素の露光条件との対応付けを行ことができる画素となる。このため、この場合には、変換領域制御部５２１ｂは、注目領域ＲＯＩの右下端部の画素を基準画素と判定し、当該画素の座標及び露光条件を取得する。
　変換領域制御部３２１ｂは、取得した注目領域ＲＯＩの大きさ、当該注目領域ＲＯＩの基準画素の座標、露光条件及び当該座標の画像データに施したデジタルゲインの値をＨＤＲ情報として当該注目領域ＲＯＩの領域番号に対応付けて送信部３２２に出力する。変換領域制御部３２１ｂは、複数の注目領域ＲＯＩが存在する場合には複数の注目領域ＲＯＩごとにＨＤＲ情報を取得して送信部３２２に出力する。送信部３２２は、変換領域制御部５２１ｂから入力されるＨＤＲ情報を含むＲＯＩ情報やその他の情報とともにエンベデットデータに含めた伝送データを作成して映像受信装置６に送出する。
　センサＣＰＵ５２１は、変換領域制御部５２１ｂの機能が異なる点を除いて、上記第１実施形態におけるセンサＣＰＵ３２１と同様の構成を有し、同様の機能を発揮するように構成されている。また、制御部５２は、変換領域制御部５２１ｂの機能が異なる点を除いて、上記第１実施形態における制御部３２と同様の構成を有し、同様の機能を発揮するように構成されている。このため、センサＣＰＵ５２１及び制御部５２の説明は省略する。
　図２０に示すように、映像受信装置６に備えられたＣａｍＣＰＵ６１１は、基準画素判定部６１１ａを有している。基準画素判定部６１１ａは、エンベデッドデータ取得部４１４から入力される各種情報に基づいて、注目領域ＲＯＩの基準画素（本実施形態では当該注目領域ＲＯＩの左上端部の画素の座標）の座標及び露光条件と、当該注目領域ＲＯＩの大きさ（Ｘ軸方向及びＹ軸方向のそれぞれの長さ）を取得し、当該注目領域ＲＯＩの画素パターン（すなわち露光パターン）を特定するように構成されている。例えばＣａｍＣＰＵ４１１の記憶領域には、図１７及び図１９において例示したような複数の露光パターンが格納されている。基準画素判定部６１１ａは、エンベデッドデータ取得部４１４から入力される各種情報から取得した注目領域ＲＯＩの基準画素の座標及び露光条件と、ＣａｍＣＰＵ４１１の記憶領域に格納された複数の露光パターンに基づいて、当該注目領域ＲＯＩの露光パターンを特定する。
　複数の露光パターンは、センサＣＰＵ５２１の記憶領域に格納されており、映像送信装置５は、ＨＤＲ情報とともに複数の露光パターンを映像受信装置６に送出するように構成されていてもよい。また、変換領域制御部５２１ｂは、注目領域ＲＯＩの基準画素の座標及び露光条件に基づいて露光パターンを選択するように構成されていてもよい。また、センサＣＰＵ５２１及びＣａｍＣＰＵ６１１はいずれも、パターン番号に対応付けて複数の露光パターンを有していてもよい。この場合、映像送信装置５は、変換領域制御部５２１ｂが注目領域ＲＯＩの基準画素の座標及び露光条件に基づいて選択した露光パターンのパターン番号を映像受信装置６に送出してもよい。
　基準画素判定部６１１ａが、エンベデッドデータ取得部４１４から入力されるＨＤＲ情報に基づいて判定した注目領域ＲＯＩの基準画素の座標及び露光条件、露光パターン並びに当該注目領域ＲＯＩの領域番号と、ＨＤＲ合成処理の実行を指示する指示情報とを含むＨＤＲ指示信号をＨＤＲ合成部４２に出力する。一方、基準画素判定部６１１ａが、エンベデッドデータ取得部４１４から入力されるＨＤＲ情報に基づいて注目領域ＲＯＩの基準画素の座標及び露光条件を判定できなかった場合には、ＣａｍＣＰＵ４１１は、ＨＤＲ合成処理を実行しないことを指示する指示情報を含むＨＤＲ指示信号をＨＤＲ合成部４２に出力する。
　ＨＤＲ合成部４２は、ＨＤＲ合成処理の実行を指示する指示情報を含むＨＤＲ指示信号を受信した場合には、当該ＨＤＲ指示信号に含まれる注目領域ＲＯＩの領域番号の画像データをＣａｍＣＰＵ６１１から読み出し、読み出した画像データを用いてＨＤＲ合成画像を生成する。
　ＣａｍＣＰＵ６１１は、基準画素判定部６１１ａを有している点を除いて、上記第１実施形態におけるＣａｍＣＰＵ４１１と同様の構成を有し、同様の機能を発揮するように構成されている。また、制御部６１は、ＣａｍＣＰＵ４１１に基準画素判定部６１１ａが設けられている点及び記憶部４１３を有していない点を除いて、上記第１実施形態における制御部４１と同様の構成を有し、同様の機能を発揮するように構成されている。このため、ＣａｍＣＰＵ６１１及び制御部６１の説明は省略する。
（ハイダイナミックレンジ合成処理方法）
　次に、本実施形態による送信装置、受信装置及び伝送システムにおけるデモザイク処理方法について図２０を参照しつつ図２１を用いて説明する。図２１は、本実施形態による送信装置、受信装置及び伝送システムにおけるハイダイナミックレンジ合成処理の流れの一例を示すフローチャートである。
（ステップＳ５１）
　図２１に示すように、映像送信装置５に備えられたセンサＣＰＵ５２１は、フレーム開始トリガを検出し、ハイダイナミックレンジによる撮像が決定している場合には、まず、撮像部３１での露光を制御するために露光条件を設定し、ステップＳ５３の処理に移行する。センサＣＰＵ５２１は、検波部３２３から入力される検波情報に基づいて複数の露光条件を設定する。また、センサＣＰＵ５２１は、露光条件に基準露光条件も含めて設定する。
（ステップＳ５３）
　センサＣＰＵ５２１は、撮像部３１の撮像領域から画像を切り出す切り出し位置を決定し、ステップＳ５５の処理に移行する。ステップＳ５３において、センサＣＰＵ５２１は、切り出し位置、すなわち注目領域ＲＯＩの基準画素の座標（本実施形態では注目領域ＲＯＩの左上端部の座標）及び画像サイズ（Ｘ軸方向及びＹ軸方向の長さ）を決定する。また、センサＣＰＵ５２１は、決定した注目領域ＲＯＩの基準画素の露光条件及びデジタルゲインを当該注目領域ＲＯＩの領域番号と対応付けた情報をＨＤＲ情報としてエンベデッドデータに設定する。センサＣＰＵ５２１は、撮像部３１より入力されるフレームごとにＨＤＲ情報を取得してエンベデッドデータに設定する。
（ステップＳ５５）
　センサＣＰＵ５２１は、ＨＤＲ情報及びその他の種々の情報が設定されたエンベデッドデータを含む伝送データを送信部３２２に設定し、ＨＤＲ合成処理を終了する。
　ステップＳ５５において設定された伝送データは、ＭＩＰＩを用いたハードウェア（ＨＷ）による通信によって、映像送信装置５から映像受信装置６に送信される。
　映像受信装置６に備えられた受信部４１２は、受信した伝送データからエンベデッドデータを抽出してエンベデッドデータ取得部４１４に出力する。エンベデッドデータ取得部４１４は、受信部４１２から入力されたエンベデッドデータをデコードし、各種情報（例えば注目領域ＲＯＩの数、注目領域ＲＯＩの領域番号及び優先度、注目領域ＲＯＩのデータ長並びに注目領域ＲＯＩの画像フォーマットなど）を取得し、取得した当該各種情報をＣａｍＣＰＵ６１１に出力する。
（ステップＳ６１）
　ＣａｍＣＰＵ６１１は、エンベデッドデータ取得部４１４でエンベデッドデータがデコードされたタイミングをトリガとして、受信部４１２で受信した伝送データからエンベデッドデータ取得部４１４が取得して入力される各種情報に基づいて、優先度が最も高い注目領域ＲＯＩの座標（位置及び大きさ）を取得して、ステップＳ６３の処理に移行する。また、ステップＳ６１においてＣａｍＣＰＵ６１１は、当該各種情報に含まれるＨＤＲ情報に基づいて、優先度が最も高い注目領域ＲＯＩの切り出し位置及びサイズ（すなわち基準画素の座標、Ｘ軸方向の長さ及びＹ軸方向の長さ）を取得する。
（ステップＳ６３）
　ＣａｍＣＰＵ６１１は、取得した注目領域ＲＯＩの基準画素の座標に基づいて、当該注目領域ＲＯＩの画素パターン（すなわち露光パターン）を判定し、ステップＳ６５の処理に移行する。
（ステップＳ６５）
　ＣａｍＣＰＵ６１１は、取得した注目領域ＲＯＩの領域番号と、当該注目領域ＲＯＩの基準画素の座標及び露光パターンと、デジタルゲインの値と、ＨＤＲ合成処理の実行を指示する指示情報とを含むＨＤＲ指示信号をＨＤＲ合成部４２に出力し、ステップＳ６７の処理に移行する。
　ＨＤＲ合成部４２は、ＣａｍＣＰＵ６１１から入力されたＨＤＲ指示信号に基づいて、ＣａｍＣＰＵ６１１から所定の注目領域ＲＯＩの画像データを読み出して、ＨＤＲ合成処理を実行する。
（ステップＳ６７）
　ＣａｍＣＰＵ６１１は、エンベデッドデータ取得部４１４から入力された全ての注目領域ＲＯＩに対してステップＳ６１からステップＳ６５の処理を実行したか否かを判定する。ＣａｍＣＰＵ６１１は、全ての注目領域ＲＯＩに当該処理を実行したと判定した場合（Ｙｅｓ）には、ＨＤＲ合成処理を終了する。一方、ＣａｍＣＰＵ６１１は、全ての注目領域ＲＯＩに当該処理を実行していないと判定した場合（Ｎｏ）には、ステップＳ６１の処理に戻る。ＣａｍＣＰＵ６１１は、全ての注目領域ＲＯＩに対するＨＤＲ合成処理が完了するまで、ステップＳ６１からステップＳ６７の処理を繰り返す。
　以上説明したように、本実施形態による送信装置、受信装置及び伝送システムは、撮像画像から切り出した一部の注目領域（ＲＯＩ）に対しハイダイナミックレンジ合成処理を実現することができる。
　また、本実施形態による送信装置、受信装置及び伝送システムは、撮像部の撮像領域を構成する画素に異なる露光条件が混在していても、注目領域ＲＯＩごとにハイダイナミックレンジ合成処理を実行することができる。
　また、本実施形態による送信装置、受信装置及び伝送システムは、撮像した画像の全てを送信せずに、撮影対象として特定した物体を切り出した一部の画像に対してハイダイナミックレンジ合成を実行できる。これにより、本実施形態による送信装置、受信装置及び伝送システムは、ハイダイナミックレンジ合成における処理負荷を低減できるので、低消費電力化を図ることができる。また、本実施形態による送信装置、受信装置及び伝送システムにおける長短露光は、フリッカ対策にもなり得る。
　詳細な説明は省略するが、本実施形態による送信装置、受信装置及び伝送システムは、上記変形例１及び変形例２と同様に、ＲＯＩ一致判定部４１１ａ及びＨＤＲ合成部４２の少なくとも一方を有することができる。これにより、本実施形態による送信装置、受信装置及び伝送システムは、上記変形例１及び変形例２による本実施形態による送信装置、受信装置及び伝送システムと同様の効果が得られる。
　本開示は、上記実施形態に限らず、種々の変形が可能である。
　上記第１実施形態による映像受信装置４は、フレーム間での注目領域ＲＯＩの一致判定をＣａｍＣＰＵ４１１に設けられたＲＯＩ一致判定部４１１ａで実行するように構成されているが、本開示はこれに限られない。例えば、ＲＯＩ一致判定部は、ハードウェアによって構成されていてもよい。
　上記第２実施形態による映像受信装置６は、注目領域ＲＯＩの基準画素の座標判定及び露光パターンの決定処理をＣａｍＣＰＵ６１１に設けられた基準画素判定部６１１ａで実行するように構成されているが、本開示はこれに限られない。例えば、基準画素判定部は、ハードウェアによって構成されていてもよい。
　上記第１及び第２実施形態では、切り出し対象の物体が矩形状である場合を例にとって説明したが、切り出し対象の物体が矩形状でない場合も本開示は適用できる。例えば映像送信装置３，５は、前提技術２のように、対象の物体の位置情報及びＨＤＲ情報を画素行ごとにペイロードデータに含めて映像受信装置４，６に送出するように構成されていてもよい。
　以上、前提技術、実施形態及びその変形例を挙げて本開示を説明したが、本開示は上記実施形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　ＲＯＩ（Region Of Interest）の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、
　前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部と
　を備える送信装置。
（２）
　前記ハイダイナミックレンジ情報は、ＲＯＩ情報に含められて前記送信部から送出される
　上記（１）に記載の送信装置。
（３）
　前記制御部は、前記ＲＯＩの端部の座標、大きさ及び露光情報のいずれかの１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として取得する
　上記（１）又は（２）に記載の送信装置。
（４）
　前記制御部は、連続する２つのフレームの前記ハイダイナミックレンジ情報を取得する
　上記（３）に記載の送信装置。
（５）
　前記制御部は、前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームのそれぞれの該ＲＯＩの前記単独情報又は組み合わせ情報に基づいて、前記２つのフレームのそれぞれの該ＲＯＩが一致しているか否かを判断する
　上記（４）に記載の送信装置。
（６）
　前記送信部は、前記制御部において前記２つのフレームのそれぞれの前記ＲＯＩが一致しているか否かの判断結果の情報と、該ＲＯＩの識別情報とが対応付けられた情報を前記ＲＯＩ情報に含めて送出する
　上記（５）に記載の送信装置。
（７）
　前記制御部において前記２つのフレームのそれぞれの前記ＲＯＩが一致していると判断された場合に前記露光情報に基づいて該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行し、前記制御部において前記２つのフレームのそれぞれの前記ＲＯＩが一致していないと判断された場合に該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行しないように処理する処理部を備え、
　前記送信部は、前記処理部でハイダイナミックレンジ合成された画像データを前記ＲＯＩ情報に含めて送出する
　上記（５）に記載の送信装置。
（８）
　前記送信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を送出する
　上記（１）から（７）までのいずれか一項に記載の送信装置。
（９）
　ＲＯＩ（Region Of Interest）の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
　前記ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
　前記制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ＲＯＩの画像データのハイダイナミックレンジ合成を処理する処理部と
　を備える受信装置。
（１０）
　前記制御部は、前記伝送信号に含まれた前記ＲＯＩ情報から前記ハイダイナミックレンジ情報を抽出する
　上記（９）に記載の受信装置。
（１１）
　前記制御部は、前記ＲＯＩの端部の座標、大きさ及び露光情報のいずれかの１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として抽出する
　上記（９）又は（１０）に記載の受信装置。
（１２）
　前記制御部は、連続する２つのフレームの前記ハイダイナミックレンジ情報を抽出する
　上記（１１）に記載の受信装置。
（１３）
　前記制御部は、前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームのそれぞれの該ＲＯＩの前記単独情報又は組み合わせ情報に基づいて、前記２つのフレームのそれぞれの該ＲＯＩが一致しているか否かを判断する
　上記（１２）に記載の受信装置。
（１４）
　前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームにおいて、該ＲＯＩの端部の座標の差分及び該ＲＯＩの大きさの差分のそれぞれが所定の閾値以下である場合に、前記合成部は、前記露光情報に基づいて該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行する
　上記（１２）に記載の受信装置。
（１５）
　前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームにおいて、該ＲＯＩの端部の座標の差分及び該ＲＯＩの大きさの差分の少なくとも一方が所定の閾値よりも大きい場合に、前記合成部は、該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行しない
　上記（１２）又は（１４）に記載の受信装置。
（１６）
　前記受信部は、前記２つのフレームのそれぞれの前記ＲＯＩが一致しているか否かの判断結果の情報と、該ＲＯＩの識別情報とが対応付けられた情報を有する前記ＲＯＩ情報を含む前記伝送信号を受信する
　上記（１３）に記載の受信装置。
（１７）
　前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を受信する
　上記（９）から（１６）までのいずれか一項に記載の受信装置。
（１８）
　ＲＯＩ（Region Of Interest）の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部、及び前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部とを有する送信装置と、
　ＲＯＩの画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び該制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ＲＯＩの画像データのハイダイナミックレンジ合成を処理する処理部を有する受信装置
　を備える伝送システム。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、及び変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。
１，１０，２０　映像伝送システム
３，５，１００　映像送信装置
４，６，２００　映像受信装置
３１，１１０　撮像部
３２，３３，４１，５２，６１　制御部
３４　不揮発性記憶部
４２　ＨＤＲ合成部
１００Ａ　ＣＳＩトランスミッタ
１００Ｂ　ＣＣＩスレーブ
１１１　撮像画像
１１２，１１２ａ１，１１２ａ２，１１２ａ３，１１２ａ４，１１２ｂ１，１１２ｂ４，１２３ａ４，２２３Ａ　ＲＯＩ画像
１１２ｂ　圧縮像データ
１１３，１１４　位置情報
１１５　優先度
１１６，１１６ａ１，１１６ａ２　伝送画像
１１８　画像
１２０，１３０　画像処理部
１２０Ａ，１２０Ａ１，１２０Ａ２，１３０Ａ，１４７Ｂ　圧縮像データ
１２０Ｂ　ＲＯＩ情報
１２０Ｃ　フレーム情報
１２１　ＲＯＩ切り出し部
１２２　ＲＯＩ解析部
１２３　検出部
１２４　優先度設定部
１２５，１３１　エンコード部
１２６　画像処理制御部
１４０　送信部
１４１　ＬＩＮＫ制御部
１４２　ＥＣＣ生成部
１４３　ＰＨ生成部
１４４　ＥＢＤバッファ
１４５　ＲＯＩデータバッファ
１４６　通常画像データバッファ
１４７　合成部
１４７Ａ　伝送データ
２００Ａ　ＣＳＩレシーバ
２００Ｂ　ＣＣＩマスター
２１０　受信部
２１１　ヘッダ分離部
２１２　ヘッダ解釈部
２１３　ペイロード分離部
２１４　ＥＢＤ解釈部
２１４Ａ　ＥＢＤデータ
２１５　ＲＯＩデータ分離部
２１５Ａ，２１５Ｂ　ペイロードデータ
２２０　情報処理部
２２１　情報抽出部
２２１Ａ　抽出情報
２２２　ＲＯＩデコード部
２２２Ａ　画像データ
２２３　ＲＯＩ画像生成部
２２４　通常画像デコード部
２２４Ａ　通常画像
３１１　光電変換部
３１２　信号変換部
３１３　増幅部
３２１，５２１　センサＣＰＵ
３２１ａ　露光制御部
３２１ｂ　変換領域制御部
３２２　送信部
４１１，６１１　ＣａｍＣＰＵ
４１１ａ　ＲＯＩ一致判定部
４１２　受信部
４１３　記憶部
４１４　エンベデッドデータ取得部
５２１　センサＣＰＵ
ＣＣＩ　カメラ制御インタフェース
ＣＬ　クロックレーン

Claims (18)

  1. 　ＲＯＩ（Region Of Interest）の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部と、
    　前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部と
    　を備える送信装置。
  2. 　前記ハイダイナミックレンジ情報は、ＲＯＩ情報に含められて前記送信部から送出される
    　請求項１に記載の送信装置。
  3. 　前記制御部は、前記ＲＯＩの端部の座標、大きさ及び露光情報のいずれかの１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として取得する
    　請求項１に記載の送信装置。
  4. 　前記制御部は、連続する２つのフレームの前記ハイダイナミックレンジ情報を取得する
    　請求項３に記載の送信装置。
  5. 　前記制御部は、前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームのそれぞれの該ＲＯＩの前記単独情報又は組み合わせ情報に基づいて、前記２つのフレームのそれぞれの該ＲＯＩが一致しているか否かを判断する
    　請求項４に記載の送信装置。
  6. 　前記送信部は、前記制御部において前記２つのフレームのそれぞれの前記ＲＯＩが一致しているか否かの判断結果の情報と、該ＲＯＩの識別情報とが対応付けられた情報を前記ＲＯＩ情報に含めて送出する
    　請求項５に記載の送信装置。
  7. 　前記制御部において前記２つのフレームのそれぞれの前記ＲＯＩが一致していると判断された場合に前記露光情報に基づいて該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行し、前記制御部において前記２つのフレームのそれぞれの前記ＲＯＩが一致していないと判断された場合に該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行しないように処理する処理部を備え、
    　前記送信部は、前記処理部でハイダイナミックレンジ合成された画像データを前記ＲＯＩ情報に含めて送出する
    　請求項５に記載の送信装置。
  8. 　前記送信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を送出する
    　請求項１に記載の送信装置。
  9. 　ＲＯＩ（Region Of Interest）の画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部と、
    　前記ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部と、
    　前記制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ＲＯＩの画像データのハイダイナミックレンジ合成を処理する処理部と
    　を備える受信装置。
  10. 　前記制御部は、前記伝送信号に含まれた前記ＲＯＩ情報から前記ハイダイナミックレンジ情報を抽出する
    　請求項９に記載の受信装置。
  11. 　前記制御部は、前記ＲＯＩの端部の座標、大きさ及び露光情報のいずれかの１つの単独情報又はいずれか２つ以上を組み合わせた組み合わせ情報を前記ハイダイナミックレンジ情報として抽出する
    　請求項９に記載の受信装置。
  12. 　前記制御部は、連続する２つのフレームの前記ハイダイナミックレンジ情報を抽出する
    　請求項１１に記載の受信装置。
  13. 　前記制御部は、前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームのそれぞれの該ＲＯＩの前記単独情報又は組み合わせ情報に基づいて、前記２つのフレームのそれぞれの該ＲＯＩが一致しているか否かを判断する
    　請求項１２に記載の受信装置。
  14. 　前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームにおいて、該ＲＯＩの端部の座標の差分及び該ＲＯＩの大きさの差分のそれぞれが所定の閾値以下である場合に、前記処理部は、前記露光情報に基づいて該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行する
    　請求項１２に記載の受信装置。
  15. 　前記ＲＯＩの識別情報が一致し且つ連続する２つのフレームにおいて、該ＲＯＩの端部の座標の差分及び該ＲＯＩの大きさの差分の少なくとも一方が所定の閾値よりも大きい場合に、前記処理部は、該ＲＯＩの画像データに対してハイダイナミックレンジ合成を実行しない
    　請求項１２に記載の受信装置。
  16. 　前記受信部は、前記２つのフレームのそれぞれの前記ＲＯＩが一致しているか否かの判断結果の情報と、該ＲＯＩの識別情報とが対応付けられた情報を有する前記ＲＯＩ情報を含む前記伝送信号を受信する
    　請求項１３に記載の受信装置。
  17. 　前記受信部は、ＭＩＰＩ(Mobile Industry Processor Interface) Ｄ－ＰＨＹ規格、ＭＩＰＩ Ｃ－ＰＨＹ規格又はＭＩＰＩ ＣＳＩ（Camera Serial Interface）－２規格で信号を受信する
    　請求項９に記載の受信装置。
  18. 　ＲＯＩ（Region Of Interest）の画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報の取得を制御する制御部、及び前記ＲＯＩの画像データをペイロードデータで送出するとともに、ＲＯＩ情報をエンベデッドデータで送出する送信部とを有する送信装置と、
    　ＲＯＩの画像データをペイロードデータに含むとともに、ＲＯＩ情報をエンベデッドデータに含む伝送信号を受信する受信部、前記ＲＯＩの画像データに対するハイダイナミックレンジ合成に用いられる情報であるハイダイナミックレンジ情報を前記受信部で受信した前記伝送信号からの抽出を制御する制御部、及び該制御部で抽出された前記ハイダイナミックレンジ情報を用いて前記ＲＯＩの画像データのハイダイナミックレンジ合成を処理する処理部を有する受信装置
    　を備える伝送システム。
PCT/JP2020/019709 2019-06-28 2020-05-19 送信装置、受信装置及び伝送システム WO2020261815A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP20832441.8A EP3993390A4 (en) 2019-06-28 2020-05-19 TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM
US17/609,628 US20220239825A1 (en) 2019-06-28 2020-05-19 Transmitting apparatus, receiving apparatus, and transmission system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019121342 2019-06-28
JP2019-121342 2019-06-28

Publications (1)

Publication Number Publication Date
WO2020261815A1 true WO2020261815A1 (ja) 2020-12-30

Family

ID=74061849

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/019709 WO2020261815A1 (ja) 2019-06-28 2020-05-19 送信装置、受信装置及び伝送システム

Country Status (3)

Country Link
US (1) US20220239825A1 (ja)
EP (1) EP3993390A4 (ja)
WO (1) WO2020261815A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114009007A (zh) * 2019-06-28 2022-02-01 索尼半导体解决方案公司 发送装置、接收装置和传输系统
US20240007771A1 (en) * 2022-07-01 2024-01-04 Meta Platforms Technologies, Llc Readout methods for foveated sensing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP2017531829A (ja) * 2014-10-06 2017-10-26 ライカ マイクロシステムズ （シュヴァイツ） アクチエンゲゼルシャフトＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ （Ｓｃｈｗｅｉｚ） ＡＧ 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法
WO2019092952A1 (ja) * 2017-11-10 2019-05-16 ソニーセミコンダクタソリューションズ株式会社 送信装置

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6936018B2 (ja) * 2017-02-21 2021-09-15 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
JP7007160B2 (ja) * 2017-11-10 2022-01-24 ソニーセミコンダクタソリューションズ株式会社 送信装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039170A (ja) * 2012-08-16 2014-02-27 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2017531829A (ja) * 2014-10-06 2017-10-26 ライカ マイクロシステムズ （シュヴァイツ） アクチエンゲゼルシャフトＬｅｉｃａ Ｍｉｃｒｏｓｙｓｔｅｍｓ （Ｓｃｈｗｅｉｚ） ＡＧ 対象物の高ダイナミックレンジ合成画像を取得するための顕微鏡および方法
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
WO2019092952A1 (ja) * 2017-11-10 2019-05-16 ソニーセミコンダクタソリューションズ株式会社 送信装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3993390A4

Also Published As

Publication number Publication date
EP3993390A1 (en) 2022-05-04
EP3993390A4 (en) 2022-08-31
US20220239825A1 (en) 2022-07-28

Similar Documents

Publication Publication Date Title
JP7163285B2 (ja) 映像送信装置および映像受信装置
WO2020261816A1 (ja) 送信装置、受信装置及び伝送システム
US8547451B2 (en) Apparatus and method for obtaining high dynamic range image
WO2020261813A1 (ja) 送信装置、受信装置及び伝送システム
JP6129119B2 (ja) 画像処理装置、画像処理システム、撮像装置、および画像処理方法
US10885610B2 (en) Image device, image processing device, and electronic apparatus
TWI542941B (zh) 用於照相機中之分佈式影像處理以使在拼接影像中之假影最小化之方法及設備
WO2020261815A1 (ja) 送信装置、受信装置及び伝送システム
JP6361931B2 (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
JP7357620B2 (ja) 画像処理装置、および画像処理システム
US20130215288A1 (en) Image capturing apparatus provided with a function of combining a plurality of captured images
JP2018186514A (ja) 画像処理装置及びこれを備えた撮像システムならびに画像処理方法
WO2020261814A1 (ja) 送信装置、受信装置及び伝送システム
JP7450704B2 (ja) 送信装置、受信装置及び伝送システム
US12028610B2 (en) Imaging device, image processing device, and electronic apparatus
CN113170044B (zh) 接收装置和发送装置
CN113170029A (zh) 图像处理装置和图像处理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20832441

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2020832441

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP