WO2021039012A1 - 撮像装置、データ伝送システム、及びデータ伝送方法 - Google Patents

撮像装置、データ伝送システム、及びデータ伝送方法 Download PDF

Info

Publication number
WO2021039012A1
WO2021039012A1 PCT/JP2020/022300 JP2020022300W WO2021039012A1 WO 2021039012 A1 WO2021039012 A1 WO 2021039012A1 JP 2020022300 W JP2020022300 W JP 2020022300W WO 2021039012 A1 WO2021039012 A1 WO 2021039012A1
Authority
WO
WIPO (PCT)
Prior art keywords
roi
image data
unit
data
image
Prior art date
Application number
PCT/JP2020/022300
Other languages
English (en)
French (fr)
Inventor
祐介 鈴木
隆浩 小山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Publication of WO2021039012A1 publication Critical patent/WO2021039012A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an imaging device, a data transmission system, and a data transmission method.
  • Patent Document 1 describes how to cut out a part of an image from a captured image.
  • the imaging device includes a generation unit, an extraction unit, and a correction unit.
  • the generation unit generates ROI position information in the image data obtained by imaging based on the external information input from the outside.
  • the extraction unit extracts ROI image data from the image data using the ROI position information.
  • the correction unit corrects the ROI position information so that the ROI image data includes the entire object or a predetermined ratio or more.
  • ROI image data is extracted from the image data obtained by imaging using the ROI position information.
  • the amount of data can be reduced by a method other than compression.
  • the amount of data can be reduced before the data is output according to the predetermined interface standard, data transmission can be performed even if the external device is a device that converts to a low-speed interface standard. The risk of disappearing can be reduced.
  • the first data transmission system includes an imaging device and an external device.
  • the image pickup apparatus has a generation unit, an extraction unit, a correction unit, and an output unit.
  • the generation unit generates ROI position information in the image data obtained by imaging based on the external information input from the outside.
  • the extraction unit extracts ROI image data from the image data using the ROI position information.
  • the correction unit corrects the ROI position information so that the ROI image data includes the entire object or a predetermined ratio or more.
  • the output unit outputs the ROI image data to an external device according to the first interface standard.
  • the external device has a reception unit and an interface conversion unit.
  • the reception unit accepts the input of ROI image data according to the first interface standard.
  • the interface conversion unit outputs the ROI image data received by the reception unit to the external system according to the second interface standard.
  • ROI image data is extracted from the image data obtained by imaging using the ROI position information.
  • the amount of data can be reduced by a method other than compression.
  • the amount of data can be reduced before the data is output by the first interface standard, data transmission may not be possible even if the second interface standard is a low-speed interface standard. Can be reduced.
  • the second data transmission system includes an imaging device and an external device.
  • the image pickup apparatus has an extraction unit and a first output unit.
  • the extraction unit uses the ROI position information to extract ROI image data from the image data obtained by imaging.
  • the first output unit outputs ROI image data to an external device according to the first interface standard.
  • the external device has a reception unit, a generation unit, a correction unit, a second output unit, and an interface conversion unit.
  • the reception unit accepts the input of the ROI image data in the first interface standard.
  • the generation unit generates ROI position information based on external information input from the outside.
  • the correction unit sets the ROI position so that the ROI image data includes the entire object or a predetermined ratio or more. Correct the information.
  • the second output unit outputs the ROI position information generated by the generation unit or the ROI position information obtained by the correction by the correction unit to the extraction unit.
  • the interface conversion unit outputs ROI image data to an external system according to the second interface standard.
  • the ROI image data is extracted from the image data obtained by imaging by using the ROI position information.
  • the amount of data can be reduced by a method other than compression.
  • the amount of data can be reduced before the data is output by the first interface standard, data transmission may not be possible even if the second interface standard is a low-speed interface standard. Can be reduced.
  • the data transmission method includes the following three. (1) Generate ROI position information based on external information input from the outside (2) Extract ROI image data from image data obtained by imaging using ROI position information (3) ROI If the image data does not include the entire object or a proportion of the object or more, correct the ROI position information so that the ROI image data includes the entire object or the proportion of the object or more.
  • ROI image data is extracted from the image data obtained by imaging using the ROI position information generated based on the external information input from the outside.
  • the amount of data can be reduced by a method other than compression.
  • the amount of data can be reduced before the data is output by the first interface standard, data transmission may not be possible even if the second interface standard is a low-speed interface standard. Can be reduced.
  • FIG. 1 It is a figure which shows the schematic configuration example of the embedded vision system. It is a figure which shows the example which applied the embedded vision system to a conveyor. It is a figure which shows the functional block example of an embedded vision system. It is a figure which shows an example of the combination of the operation content and the component element which executes the operation content. It is a figure which shows an example of the procedure of data transmission. It is a figure which shows one modification of the functional block of an embedded vision system. It is a figure which shows an example of the combination of the operation content and the component element which executes the operation content. It is a figure which shows one modification of the functional block of an embedded vision system. It is a figure which shows an example of the combination of the operation content and the component element which executes the operation content.
  • FIG. 1 shows a schematic configuration example of the embedded vision system 1000 according to the present embodiment.
  • the embedded vision system 1000 includes, for example, an image pickup apparatus 100, an embedded processor 200, and an external system 300, as shown in FIG.
  • the image pickup apparatus 100 and the embedded processor 200 are electrically connected by a transmission line 400.
  • the transmission line 400 is a signal transmission line that connects the image pickup apparatus 100 and the embedded processor 200.
  • Data (image data) indicating an image transmitted from the image pickup apparatus 100 is transmitted from the image pickup apparatus 100 to the embedded processor 200 via a transmission line 400.
  • the embedded processor 200 and the external system 300 are electrically connected by a transmission line 500.
  • the transmission line 500 is a signal transmission line that connects the embedded processor 200 and the external system 300.
  • Data (image data) indicating an image transmitted from the embedded processor 200 is transmitted from the embedded processor 200 to the external system 300 via a transmission line 500.
  • the image pickup device 100 has an image pickup function and a transmission function, and transmits image data generated by imaging.
  • the image pickup apparatus 100 serves as a transmission apparatus in the embedded vision system 1000.
  • the image pickup device 100 can generate an image such as "an image pickup device such as a digital still camera, a digital video camera, a stereo camera, or a polarized camera", an "infrared sensor", or a “distance image sensor”. It includes an image sensor device of the above method and has a function of transmitting the generated image.
  • the image generated by the image pickup apparatus 100 corresponds to data indicating a sensing result in the image pickup apparatus 100. An example of the configuration of the image pickup apparatus 100 will be described in detail later with reference to FIG.
  • the image pickup apparatus 100 transmits data corresponding to an area set for the image data (hereinafter, also referred to as "image data of the area”) by a transmission method described later.
  • the area set for the image is called ROI (Region Of Interest).
  • ROI Region Of Interest
  • the area set for the image will be referred to as “ROI”.
  • the image data of the area is referred to as "ROI image data”.
  • the image pickup apparatus 100 transmits ROI image data, that is, by transmitting a part of the image data, the amount of data related to transmission is smaller than that of transmitting the entire image data. Therefore, when the image pickup apparatus 100 transmits the ROI image data, the amount of data is reduced, for example, the transmission time is shortened, the load related to the transmission in the embedded vision system 1000 is reduced, and so on. Various effects are produced.
  • the image pickup apparatus 100 can also transmit the entire image data.
  • the embedded processor 200 receives the data transmitted from the image pickup apparatus 100 and processes the received data.
  • the embedded processor 200 serves as an interface conversion device in the embedded vision system 1000. An example of the configuration relating to the processing of the data transmitted from the image pickup apparatus 100 will be described in detail later with reference to FIG.
  • the embedded processor 200 is composed of, for example, one or more processors composed of arithmetic circuits such as MPUs (Micro Processing Units), various processing circuits, and the like.
  • the embedded processor 200 performs various processes such as a process related to interface conversion control.
  • the embedded processor 200 may control the function in the image pickup apparatus 100 by, for example, transmitting control information to the image pickup apparatus 100.
  • the embedded processor 200 can also control the data transmitted from the image pickup apparatus 100, for example, by transmitting the area designation information to the image pickup apparatus 100.
  • FIG. 2 shows an example in which the embedded vision system 1000 is applied to a conveyor.
  • the imaging device 100 is arranged so as to image a specific area, and images an object flowing on the conveyor at a predetermined cycle.
  • a plurality of trays are arranged side by side at equal intervals on the conveyor, and each object is arranged at a predetermined position on the tray.
  • Each object is arranged on the tray so that the coordinates in the direction orthogonal to the traveling direction of the conveyor are equal to each other.
  • One object is arranged on each tray.
  • the object f is projected as a subject in the image obtained by the image pickup apparatus 100, for example, as shown in the lower part of FIG.
  • the left-right direction corresponds to the traveling direction of the conveyor.
  • the Y coordinate of the object f is constant regardless of the exposure timing
  • the X coordinate of the object is It changes according to the speed of the conveyor. From this, the moving speed of the object in the X coordinate direction can be obtained by dividing the amount of deviation of the X coordinate between the frames of the object by the exposure period.
  • the Y coordinate of the object (coordinates in the direction orthogonal to the moving direction of the object) and the moving speed of the object in the X coordinate direction (moving direction of the object) are set by the user as external information Din. It may be input to the external system 300 manually or automatically from a system such as a conveyor. Further, in this example, the image pickup apparatus 100 (control unit 1114) may acquire the external information DIN by performing image analysis on a plurality of images obtained by the image pickup apparatus 100. At this time, the moving speed of the object in the X coordinate direction (moving direction of the object) included in the external information Din is generated based on the output of the external sensor 600.
  • the image pickup device 100 (control unit 1114), for example, performs image analysis on a plurality of images obtained by the image pickup device 100 to perform image analysis on the coordinates (X coordinate, Y coordinate) of the object f included in the plurality of images. Is detected, and the movement speed of the object in the X coordinate direction is obtained by dividing the amount of deviation of the X coordinate between the frames of the detected object f by the exposure cycle.
  • the image pickup apparatus 100 (control unit 1114) further uses, for example, the coordinates (Y coordinate) thus obtained and the moving speed in the X coordinate direction (moving direction of the object) as external information Din.
  • the Y coordinate of the object is, for example, a fixed value set by arranging the tray at a predetermined position on the conveyor.
  • the moving speed of the object in the X coordinate direction is, for example, a set value set on the conveyor as the speed of the conveyor.
  • the external system 300 receives the Y coordinate of the object and the moving speed of the object in the X coordinate direction as the external information Din.
  • the external system 300 sets the X coordinate of the object (coordinates in the direction parallel to the moving direction of the object) based on the received moving speed in the X coordinate direction.
  • the Y coordinate of the object may be set in the external system 300 in advance. In this case, the Y coordinate of the object may not be included in the external information DIN.
  • the vertical direction in the image obtained by the imaging device 100, the vertical direction may be the above-mentioned X coordinate and the left-right direction may be the above-mentioned Y coordinate.
  • FIG. 3 shows an example of the functional blocks of the embedded vision system 1000.
  • the image pickup apparatus 100 includes, for example, an image pickup element 110, a signal processing block 120, and a transmission line 130.
  • the image sensor 110 and the signal processing block 120 are electrically connected by a transmission line 130.
  • the transmission line 130 is a signal transmission line that connects the image sensor 110 and the signal processing block 120.
  • Data (image data) indicating an image transmitted from the image sensor 110 is transmitted from the image sensor 110 to the signal processing block 120 via the transmission line 130.
  • data transmission is performed using an interface standard common to that of the transmission line 400.
  • the image sensor 110 includes, for example, an image pickup unit 111, an ROI cutout unit 112, an ROI analysis unit 113, a control unit 114, an encoding unit 115, and a transmission unit 116.
  • the image pickup unit 111 converts an optical image signal obtained through, for example, an optical lens or the like into image data.
  • the image capturing unit 111 acquires the image data 111A by performing imaging at the exposure timing input from the control unit 114, for example.
  • the image data 111A is luminance data for each polarization direction.
  • the imaging unit 111 includes, for example, a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image pickup unit 111 has an analog-to-digital conversion circuit, and converts analog image data into digital image data.
  • the data format after conversion may be the YCbCr format in which the color of each pixel is represented by the luminance component Y and the color difference components Cb and Cr, or the RGB format.
  • the image capturing unit 111 outputs the image data 111A (digital image data) obtained by imaging to the ROI cutting unit 112.
  • the ROI cutting unit 112 is, for example, one or a plurality of objects (objects) to be imaged included in the image data 111A input from the imaging unit 111 when a control signal instructing the cutting out of the ROI is input from the control unit 114.
  • object is specified, and ROI is set for each specified object.
  • the ROI is, for example, a rectangular region containing the identified object.
  • the shape of the ROI is not limited to a square shape, and may be, for example, a circular shape, an elliptical shape, a polygonal shape, or an irregular shape.
  • the ROI cutting unit 112 sets one or more ROIs in the image data 111A input from the imaging unit 111, for example, based on the ROI information (for example, the position information of the ROI) input from the control unit 114. May be good.
  • the ROI cutting unit 112 cuts out one or a plurality of ROI image data (ROI image data 112A) from the image data 111A.
  • the ROI cutting unit 112 further assigns an area number as an identifier for each set ROI.
  • the ROI cutting unit 112 stores, for example, the assigned identifier (area number) in the storage unit.
  • the ROI cutting unit 112 stores, for example, one or a plurality of ROI image data 112A cut out from the image data 111A in the storage unit.
  • the ROI cutting unit 112 further stores, for example, an identifier (area number) assigned to one or a plurality of ROIs in the storage unit in association with the one or a plurality of ROI image data 112A.
  • the ROI cutting unit 112 performs predetermined processing on the image data 111A input from the imaging unit 111 when a control signal instructing the output of a normal image (whole image) is input from the control unit 114. , Thereby generating the whole image data 112B.
  • the ROI analysis unit 113 derives the position information of the ROI (ROI position information 113A) in the image data 111A for each ROI.
  • the ROI position information 113A is composed of, for example, the coordinates of the upper left end of the ROI, the length of the ROI in the X-axis direction, and the length of the ROI in the Y-axis direction.
  • the length of the ROI in the X-axis direction is, for example, the length of the physical region of the ROI in the X-axis direction.
  • the length of the ROI in the Y-axis direction is, for example, the length of the physical region of the ROI in the Y-axis direction.
  • the physical area length refers to the physical length (data length) of the ROI.
  • the ROI position information 113A the coordinates of a position different from the upper left end of the ROI may be included.
  • the ROI analysis unit 113 stores, for example, the derived ROI position information 113A in the storage unit.
  • the ROI analysis unit 113 stores, for example, the derived ROI position information 113A in the storage unit in association with the identifier (area number) assigned to the ROI.
  • the encoding unit 115 encodes one or more ROI image data 112A and one or more ROI position information 113A and outputs the encoding unit 116 to the transmitting unit 116.
  • the encoding unit 115 packs, for example, 10-bit RGB data as 16-bit or 32-bit alignment data of 30-bit data to reduce the data.
  • compression processing may be performed on one or more ROI image data 112A.
  • the control unit 114 controls the imaging unit 111 and the ROI cutting unit 112 based on the signal input from the signal processing block 120.
  • the control unit 114 instructs the imaging unit 111 to take an image at the exposure timing input from the signal processing block 120, for example.
  • the control unit 114 outputs, for example, the ROI information (for example, the position information of the ROI) input from the signal processing block 120 to the ROI cutting unit 112.
  • the transmission unit 116 is a circuit that generates and transmits transmission data 116A including data (one or more ROI image data 112A, one or more ROI position information 113A) input from the encoding unit 115.
  • the transmission unit 116 transmits, for example, one or a plurality of ROI position information 113A by the embedded data.
  • the transmission unit 116 further transmits, for example, one or more ROI image data 112A by PayloadData of LongPacket.
  • the transmission unit 116 transmits one or more ROI image data 112A by the image data frame, and transmits one or more ROI position information 113A by the header of the image data frame.
  • the transmission unit 116 generates and transmits the transmission data 116A according to the rules specified by the MIPI CSI-2 standard or the MIPI CSI-3 standard, for example.
  • the signal processing block 120 includes, for example, a receiving unit 121, a decoding unit 122, an information extraction unit 123, an ROI image generation unit 124, an image analysis unit 125, a control unit 126, an image processing unit 127, an encoding unit 128, and a transmitting unit 129. doing.
  • the receiving unit 121 has, for example, a header separation unit, a header interpretation unit, a payload separation unit, an EBD interpretation unit, and an ROI data separation unit.
  • the header separation unit receives the transmission data 116A via the transmission line 130.
  • the header separation unit receives, for example, transmission data 116A including one or more ROI position information 113A in Embedded Data and one or more ROI image data 112A in LongPacket's Payload Data.
  • the header separation unit separates the transmission data 116A according to the rules defined by, for example, the MIPI CSI-2 standard or the MIPI CSI-3 standard.
  • the header separation unit separates the received transmission data 116A into a header area and a packet area, for example.
  • the header interpreting unit specifies the position of the LongPacket PayloadData included in the packet area, for example, based on the data (specifically, EmbeddedData) contained in the header area.
  • the Payload separation unit separates the LongPacket PayloadData included in the packet area from the packet area, for example, based on the position of the LongPacket PayloadData specified by the header interpretation unit.
  • the EBD interpretation unit outputs, for example, Embedded Data as EBD data to the data separation unit.
  • the EBD interpreter further determines, for example, from the data type included in the Embedded Data, whether the image data contained in the LongPacket PayloadData is the ROI image data (ROI image data 112A).
  • the EBD interpretation unit outputs, for example, the determination result to the ROI data separation unit.
  • the ROI data separation unit When the image data included in the LongPacket PayloadData is the ROI image data (ROI image data 112A), the ROI data separation unit outputs, for example, the LongPacket PayloadData to the decoding unit 122 as the PayloadData.
  • the decoding unit 122 decodes, for example, EmbeddedData and PayloadData.
  • the information extraction unit 123 extracts, for example, the image data included in the decoded Payload Data, and extracts one or more ROI position information 113A from the decoded Embedded Data.
  • the ROI image generation unit 124 generates (restores) one or a plurality of ROI image data 112A based on, for example, the image data extracted from PayloadData and one or a plurality of ROI position information 113A extracted from the EmbeddedData. ..
  • the image analysis unit 125 analyzes one or more ROI image data 112A under the control of the embedded processor 200.
  • the image analysis unit 125 analyzes, for example, the ratio of color components such as RGB of the image and the brightness of the image, which are necessary for white balance, exposure compensation, and the like.
  • the image analysis unit 125 further analyzes, for example, whether or not one or more ROI image data 112A includes the entire object (object) as a subject or a ratio of a predetermined value or more (image deviation). Judgment).
  • the image analysis unit 125 corrects the exposure timing of the ROI position information 113A and the image pickup device 110 so that the entire ROI image data 112A includes the entire object or a ratio of a predetermined value or more.
  • the image analysis unit 125 outputs, for example, the corrected ROI position information 113A and the exposure timing of the image sensor 110 to the image sensor 110 via the control unit 126.
  • the image analysis unit 125 confirms, for example, whether or not all the ROI image data 112A included in the image data 111A have been acquired (confirmation of the completion of image acquisition).
  • the image analysis unit 125 receives, for example, one or more ROI image data 112A and one or more ROI position information 113A (or one or more corrected ROI position information 113A).
  • the data including the above is output to the image processing unit 127.
  • the control unit 126 transmits the ROI position information 113A corrected by the image analysis unit 125 and the exposure timing of the image sensor 110 to the image sensor 110.
  • the control unit 126 transmits the signal input from the signal processing block 120 to the image sensor 110.
  • the control unit 126 transmits, for example, the exposure timing input from the signal processing block 120 and ROI information (for example, ROI position information) to the image sensor 110.
  • the control unit 126 outputs the above-mentioned execution command for determining the image deviation and the above-mentioned execution command for confirming the completion of image acquisition, which are input from the signal processing block 120, to the image analysis unit 125.
  • the image processing unit 127 performs predetermined processing on one or more ROI image data 112A, and then performs one or more ROI image data 112A and one or more ROI position information 113A (or one after correction). Alternatively, data including a plurality of ROI position information 113A) is output to the encoding unit 128.
  • the image processing unit 127 includes, for example, digital gain, white balance, LUT, color matrix conversion, defect correction, shading correction, noise removal, image data sorting, ⁇ correction, and demosaic (for example, output from an image sensor in a Bayer array). Is returned to RGB.
  • the encoding unit 128 encodes one or more ROI image data 112A and one or more ROI position information 113A and outputs the encoding unit 128 to the transmitting unit 129.
  • the encoding unit 128 packs, for example, 10-bit RGB data as 16-bit or 32-bit alignment data of 30-bit data to reduce the data. Note that the encoding unit 128 may perform compression processing on one or more ROI image data 112A.
  • the transmission unit 129 is a circuit that generates and transmits transmission data 129A including various data (one or a plurality of ROI image data 112A, one or a plurality of ROI position information 113A) input from the encoding unit 128.
  • the transmission unit 129 transmits, for example, one or a plurality of ROI position information 113A by Embedded Data.
  • the transmission unit 129 further transmits, for example, one or more ROI image data 112A by PayloadData of LongPacket.
  • the transmission unit 129 transmits one or more ROI image data 112A by the image data frame, and transmits one or more ROI position information 113A by the header of the image data frame.
  • the transmitter 129 is, for example, MIPI. Transmission data 129A is generated and transmitted to the embedded processor 200 via the transmission line 400 according to the rules defined by the CSI-2 standard or the MIPI CSI-3 standard.
  • the embedded processor 200 has, for example, a receiving unit 210, a decoding unit 220, an image analysis unit 230, a control unit 240, an image processing unit 250, an encoding unit 260, and a transmitting unit 270.
  • the receiving unit 210 has, for example, a header separating unit, a header interpreting unit, a payload separating unit, an EBD interpreting unit, and an ROI data separating unit, and performs the same processing as the receiving unit 121 described above for the transmission data 129A. Execute.
  • the decoding unit 220 decodes, for example, EmbeddedData and PayloadData.
  • the image analysis unit 230 extracts, for example, the image data included in the decoded Payload Data, and extracts one or more ROI position information 113A from the decoded Embedded Data.
  • the image analysis unit 230 generates (restores) one or more ROI image data 112A based on, for example, the image data extracted from PayloadData and one or more ROI position information 113A extracted from EmbeddedData.
  • the image analysis unit 230 analyzes one or more ROI image data 112A according to the control by the control unit 240.
  • the image analysis unit 230 analyzes, for example, the ratio of color components such as RGB of the image necessary for white balance, exposure compensation, and the brightness of the image in one or more ROI image data 112A. Further, for example, when the image analysis unit 125 does not perform the above-mentioned image deviation determination, the image analysis unit 230 determines the above-mentioned image deviation for one or more ROI image data 112A.
  • the image analysis unit 230 controls the corrected ROI position information 113A and the exposure timing. It is output to the image sensor 110 via the unit 240 and the signal processing block 120.
  • the image analysis unit 230 confirms the above-mentioned image acquisition completion for one or a plurality of ROI image data 112A, for example, when the image analysis unit 125 has not confirmed the above-mentioned image acquisition completion.
  • the image analysis unit 230 outputs data including one or more ROI image data 112A and one or more ROI position information 113A to the image processing unit 250, for example.
  • the image analysis unit 230 outputs the corrected ROI position information 113A to the control unit 240.
  • the control unit 240 transmits the corrected ROI position information 113A to the signal processing block 120. That is, when the ROI position information 113A is corrected by the image analysis unit 230, the control unit 240 transmits the corrected ROI position information 113A to the image sensor 110 via the signal processing block 120.
  • the image processing unit 250 performs predetermined processing on one or more ROI image data 112A, and then encodes data including one or more ROI image data 112A and one or more ROI position information 113A. Output to unit 260.
  • the image processing unit 250 uses, for example, digital gain, white balance, LUT, color matrix conversion, defect correction, shading correction, noise removal, image data sorting, ⁇ correction, and demosaic (for example, output from an image sensor in a Bayer array). Is returned to RGB.
  • the encoding unit 260 encodes one or more ROI image data 112A and one or more ROI position information 113A and outputs them to the transmitting unit 270.
  • the encoding unit 260 packs, for example, 10-bit RGB data as 16-bit or 32-bit alignment data of 30-bit data to reduce the data.
  • the transmission unit 270 is a circuit that generates and transmits transmission data 270A including data (one or more ROI image data 112A, one or more ROI position information 113A) input from the encoding unit 260.
  • the transmission unit 270 generates transmission data 270A according to a rule defined by a transmission standard such as GigE, and transmits the transmission data 270A to the external system 300 via the transmission line 500.
  • FIG. 4 shows an example of a combination of a calculation content and a component that executes the calculation content in the embedded vision system 1000 according to the present embodiment.
  • FIG. 4 illustrates six combinations. For example, which of the six combinations is selected depends on the same signal processing block (specifically, the signal processing block 120 or the embedded processor 200) for determining the image deviation and confirming the completion of image acquisition. When executed in, it is determined whether or not a transfer speed higher than a predetermined frame rate can be realized.
  • the signal processing block specifically, the signal processing block 120 or the embedded processor 200
  • the control unit 240 when it is determined that a transfer speed equal to or higher than a predetermined frame rate cannot be realized, the control unit 240 causes the signal processing block 120 to determine the image deviation, and causes the embedded processor 200 to confirm the completion of image acquisition. Let it run. That is, in this case, the control unit 240 selects the leftmost combination or the second combination from the left in FIG. Further, for example, when it is determined that a transfer speed equal to or higher than a predetermined frame rate can be realized, the control unit 240 determines, for example, image misalignment and confirms the completion of image acquisition by the signal processing block 120 or the embedded processor 200. To execute. That is, in this case, the control unit 240 selects the third, fourth, fifth, or sixth combination from the left in FIG.
  • control unit 240 omits the execution instruction for the determination of the image deviation. It is possible.
  • FIG. 5 shows an example of a data transmission procedure in the embedded vision system 1000 according to the present embodiment.
  • the external system 300 manually acquires the external information Din from the user or automatically from the system such as the conveyor (step S101).
  • the external system 300 acquires at least one of the position information and the velocity information of the object as the external information Din, for example.
  • the position information of the object is, for example, the position coordinates within the coordinates of the captured image or the position information of the object itself (position information in the real space by GPS or the like).
  • the velocity information of the object is, for example, velocity information regarding the relative movement of the object, and is derived from the movement of the object itself or the movement of the camera itself.
  • the external system 300 outputs the acquired external information Din or the information generated based on the acquired external information Din to the signal processing block 120 via the embedded processor 200 or the embedded processor 200.
  • the embedded processor 200 or the signal processing block 120 is a row as a result of determining the external information Din (or information generated based on the external information Din) input from the external system 300 or the above-mentioned image deviation.
  • the information obtained by the corrected correction (ROI position information 113A after correction and exposure timing) is output to the image sensor 110 as ROI position information 113A and exposure timing after the next frame (step S102).
  • the image pickup device 100 (control unit 1114) may acquire the external information DIN by performing image analysis on a plurality of images obtained by the image pickup device 100.
  • the image pickup apparatus 100 (control unit 1114) is subjected to the obtained external information Din (or information generated based on the external information Din) or the correction performed as a result of the above-mentioned determination of the image deviation.
  • the obtained information (ROI position information 113A after correction and exposure timing) is used as ROI position information 113A and exposure timing after the next frame.
  • the embedded processor 200 or the signal processing block 120 may be used.
  • the corrected ROI position information 113A may be output to the image sensor 110 as the correction data of the ROI position in the image data 111A.
  • the image pickup unit 111 acquires the image data 111A by taking an image based on the determined exposure timing.
  • the ROI cutting unit 112 acquires image data (ROI image data 112A) of one or more ROIs from the image data 111A acquired by the image pickup unit 111 based on the determined position of the ROI (ROI image data 112A). Step S103).
  • the embedded processor 200 or the signal processing block 120 analyzes whether or not one or a plurality of ROI image data 112A includes the entire object (object) as a subject or a ratio of a predetermined value or more ( Image misalignment determination) (step S104).
  • the embedded processor 200 or the signal processing block 120 may include, for example, the entire object (object) as a subject or a ratio of a predetermined value or more in all ROI image data 112A.
  • the ROI position information 113A is corrected.
  • the embedded processor 200 or the signal processing block 120 outputs, for example, the corrected ROI position information 113A to the image sensor 110.
  • the embedded processor 200 or the signal processing block 120 confirms, for example, whether or not all the ROI image data 112A included in the image data 111A have been acquired (confirmation of the completion of image acquisition).
  • the embedded processor 200 transmits, for example, transmission data 270A including one or more ROI image data 112A and one or more ROI position information 113A within the transmission band of the transmission line 500.
  • the data is output to the transmission line 500 (step S105). In this way, data transmission is performed in the embedded vision system 1000 according to the present embodiment.
  • the ROI image data 112A is extracted from the image data 111A obtained by imaging using the ROI position information 113A.
  • the amount of data can be reduced by a method other than compression.
  • the amount of data can be reduced before the embedded processor 200 outputs data in the interface standard of the transmission line 500. Therefore, when the embedded processor 200 is a device that converts to a low-speed interface standard. Even if there is, it is possible to reduce the possibility that data transmission cannot be performed.
  • the position of the ROI is set based on the external information DIN including at least one of the position information and the speed information of the object.
  • the amount of signal processing can be reduced as compared with the case where the ROI position for each frame is automatically set without utilizing the external information DIN. As a result, it becomes easy to support high-speed data transmission.
  • the position of the ROI is set based on the external information Din including the moving speed of the moving direction of the object, with the coordinates in the direction orthogonal to the moving direction of the target as the speed information of the target. If so, the ROI position and exposure timing for each frame are set. As a result, the amount of signal processing can be reduced as compared with the case where the ROI position and the exposure timing for each frame are automatically set without utilizing the external information DIN. As a result, it becomes easy to support high-speed data transmission.
  • the image sensor 110 generates image data 111A by imaging, and one or more ROI image data 112A are extracted from the generated image data 111A.
  • the amount of data transferred to the subsequent stage can be reduced as compared with the case where the image data 111A itself is transmitted to the subsequent stage (signal processing block 120). As a result, it becomes easy to support high-speed data transmission.
  • an object (object) as a subject is included in at least one data of one or a plurality of ROI image data 112A, and at least a part of the object is determined. If it is not included, the exposure timing of the ROI position information 113A and the image sensor 110 is corrected so that the entire object or a predetermined ratio or more is included in all the ROI image data 112A. This makes it possible to transfer data meaningful to the external system 300 while reducing the amount of data transferred.
  • FIG. 6 shows a modified example of the functional block of the embedded vision system 1000 according to the above embodiment.
  • the ROI cutting unit 112 and the ROI analysis unit 113 are omitted in the image sensor 110, and the information extraction unit 123, the ROI image generation unit 124, the image analysis unit 125, and the image processing unit in the signal processing block 120. 127 is omitted.
  • the signal processing block 120 is provided with an ROI cutting unit 131 and an ROI analysis unit 132.
  • the ROI cutting unit 131 executes the same processing as the ROI cutting unit 112.
  • the ROI cutting unit 131 identifies one or more objects (objects) to be imaged included in the image data 111A input from the decoding unit 122, and sets the ROI for each specified object.
  • the ROI cutting unit 131 sets one or more ROIs in the image data 111A input from the decoding unit 122 based on the ROI information (for example, the position information of the ROI) input from the decoding unit 122, for example. May be good.
  • the ROI cutting unit 131 cuts out one or a plurality of ROI image data (ROI image data 112A) from the image data 111A.
  • the ROI cutting unit 131 further assigns an area number as an identifier for each set ROI.
  • the ROI cutting unit 131 stores, for example, the assigned identifier (area number) in the storage unit.
  • the ROI cutting unit 131 stores, for example, one or a plurality of ROI image data 112A cut out from the image data 111A in the storage unit.
  • the ROI cutting unit 131 further stores, for example, an identifier (area number) assigned to one or a plurality of ROIs in the storage unit in association with the one or a plurality of ROI image data 112A.
  • the ROI analysis unit 132 executes the same processing as the ROI analysis unit 113.
  • the ROI analysis unit 132 derives the position information of the ROI (ROI position information 113A) in the image data 111A for each ROI.
  • the ROI analysis unit 132 stores, for example, the derived ROI position information 113A in the storage unit.
  • the ROI analysis unit 132 stores, for example, the derived ROI position information 113A in the storage unit in association with the identifier (area number) assigned to the ROI.
  • FIG. 7 shows an example of a combination of a calculation content and a component that executes the calculation content in the embedded vision system 1000 according to this modification.
  • FIG. 7 illustrates six combinations. For example, which of the six combinations is selected depends on the same signal processing block (specifically, the signal processing block 120 or the embedded processor 200) for determining the image deviation and confirming the completion of image acquisition. When executed in, it is determined whether or not a transfer speed higher than a predetermined frame rate can be realized.
  • the signal processing block specifically, the signal processing block 120 or the embedded processor 200
  • the control unit 240 when it is determined that a transfer speed equal to or higher than a predetermined frame rate cannot be realized, the control unit 240 causes the signal processing block 120 to determine the image deviation, and causes the embedded processor 200 to confirm the completion of image acquisition. Let it run. That is, in this case, the control unit 240 selects the leftmost combination or the second combination from the left in FIG. 7. Further, for example, when it is determined that a transfer speed equal to or higher than a predetermined frame rate can be realized, the control unit 240 determines, for example, image misalignment and confirms the completion of image acquisition by the signal processing block 120 or the embedded processor 200. To execute. That is, in this case, the control unit 240 selects the third, fourth, fifth, or sixth combination from the left in FIG. 7.
  • control unit 240 omits the execution instruction for the determination of the image deviation. It is possible.
  • This modification is the same as the above embodiment except that the ROI cutting process is performed by the signal processing block. Therefore, the same effect can be obtained in the above embodiment within a range in which the load on the data transmission due to the ROI cutting process is allowed.
  • FIG. 8 shows a modified example of the functional block of the embedded vision system 1000 according to the above embodiment.
  • the information extraction unit 123, the ROI image generation unit 124, the image analysis unit 125, and the image processing unit 127 are omitted, and the ROI cutout unit 131 and the ROI analysis unit 132 are provided. There is.
  • FIG. 9 shows an example of a combination of a calculation content and a component that executes the calculation content in the embedded vision system 1000 according to this modification.
  • FIG. 9 illustrates six combinations. For example, which of the six combinations is selected depends on the same signal processing block (specifically, the signal processing block 120 or the embedded processor 200) for determining the image deviation and confirming the completion of image acquisition. When executed in, it is determined whether or not a transfer speed higher than a predetermined frame rate can be realized.
  • the signal processing block specifically, the signal processing block 120 or the embedded processor 200
  • the control unit 240 when it is determined that a transfer speed equal to or higher than a predetermined frame rate cannot be realized, the control unit 240 causes the signal processing block 120 to determine the image deviation, and causes the embedded processor 200 to confirm the completion of image acquisition. Let it run. That is, in this case, the control unit 240 selects the leftmost combination or the second combination from the left in FIG. Further, for example, when it is determined that a transfer speed equal to or higher than a predetermined frame rate can be realized, the control unit 240 determines, for example, image misalignment and confirms the completion of image acquisition by the signal processing block 120 or the embedded processor 200. To execute. That is, in this case, the control unit 240 selects the third, fourth, fifth, or sixth combination from the left in FIG.
  • control unit 240 omits the execution instruction for the determination of the image deviation. It is possible.
  • the ROI cutting process can be performed by the image sensor 110 or the signal processing block 120 while considering the load on the data transmission due to the ROI cutting process. Therefore, the ROI can be cut out while suppressing the influence on the data transmission.
  • FIG. 10 shows an example in which the embedded vision system 1000 is applied to a conveyor.
  • the embedded vision system 1000 includes an external sensor 600 that detects a position (Y coordinate) of an object flowing on the conveyor in a direction orthogonal to the traveling direction of the conveyor.
  • the external sensor 600 is configured to include, for example, a line sensor.
  • the external sensor 600 may be configured by an image sensor for position detection, GPS set on a tray, or the like.
  • the Y coordinate of the object included in the external information DIN is generated based on the output of the external sensor 600.
  • the external sensor 600 detects the Y coordinate of the object (coordinates in the direction orthogonal to the moving direction of the object) according to the control from the external system 300.
  • each object does not need to be arranged so that the coordinates in the direction orthogonal to the traveling direction of the conveyor are equal to each other.
  • the Y coordinate of the object obtained by the external sensor 600 is, for example, a control unit 126 via a GPIO (General-purpose input / output) 140 provided in the image pickup apparatus 100 as a part of the external information Din. Is entered in.
  • the GPIO 140 receives the Y coordinate of the object as a part of the external information Din, and outputs the received Y coordinate of the object to the control unit 126.
  • the external sensor 600 that detects the Y coordinate of the object is provided.
  • the size of the ROI can be reduced as compared with the case where the Y coordinate of the object is derived from the image data 111A without providing the external sensor 600. Therefore, the amount of data transmission can be reduced as compared with the case where the Y coordinate of the object is derived from the image data 111A.
  • FIG. 14 shows a modified example of the functional block of the embedded vision system 1000 according to the modified example C.
  • the embedded vision system 1000 may perform ROI cutting in the embedded processor 200.
  • the embedded processor 200 may further include an ROI cutting unit 280 and an ROI analysis unit 290, for example, as shown in FIG.
  • the ROI cutting unit 280 identifies one or more objects (objects) to be photographed included in the image data 111A obtained by the decoding unit 220, and sets the ROI for each specified object.
  • the ROI cutting unit 280 cuts out one or a plurality of ROI image data (ROI image data 112A) from the image data 111A.
  • the ROI cutting unit 280 further assigns an area number as an identifier for each set ROI.
  • the ROI cutting unit 280 stores, for example, the assigned identifier (area number) in the storage unit.
  • the ROI cutting unit 280 stores, for example, one or a plurality of ROI image data 112A cut out from the image data 111A in the storage unit.
  • the ROI cutting unit 280 further stores, for example, an identifier (area number) assigned to one or a plurality of ROIs in the storage unit in association with the one or a plurality of ROI image data 112A.
  • the ROI analysis unit 290 derives the position information of the ROI (ROI position information 113A) in the image data 111A for each ROI.
  • the ROI analysis unit 290 stores, for example, the derived ROI position information 113A in the storage unit.
  • the ROI analysis unit 290 stores, for example, the derived ROI position information 113A in the storage unit in association with the identifier (area number) assigned to the ROI.
  • the embedded processor 200 can perform the ROI cutting process.
  • the embedded processor 200 can perform the ROI cutting process while considering the load on the data transmission due to the ROI cutting process. Therefore, the ROI can be cut out while suppressing the influence on the data transmission.
  • FIG. 15 shows a modified example of the functional block of the embedded vision system 1000 according to the modified example C.
  • the external sensor 600 is attached to a moving body such as a soccer ball or a specific player.
  • the external sensor 600 is configured by a wireless device such as GPS.
  • the size of the ROI can be reduced as compared with the case where the position of the moving body is detected from the image data 111A without providing the external sensor 600. Therefore, the amount of data transmission can be reduced as compared with the case where the position of the moving body is detected from the image data 111A.
  • FIG. 17 shows an example in which the embedded vision system 1000 is applied to a conveyor.
  • the embedded vision system 1000 detects the position (Y coordinate) of the object flowing on the conveyor in the direction orthogonal to the traveling direction of the conveyor from the image data 111A.
  • the external sensor 600 or the like it is not necessary to newly add the external sensor 600 or the like as described above, so that the system configuration can be simplified.
  • FIG. 18 shows an example in which the embedded vision system 1000 is applied as a part of a road traffic system.
  • the image pickup device 100 is installed, for example, at a position and orientation capable of photographing a road including a plurality of lanes from a direction parallel to the traveling direction of the vehicle.
  • the image data 111A obtained by imaging includes, for example, the license plate of the vehicle traveling on the first lane or the license plate of the vehicle traveling on the second lane, as shown in FIG. It can be.
  • the X coordinate of the object is either the X coordinate corresponding to the vicinity of the center of the first lane or the X coordinate corresponding to the vicinity of the center of the second lane. It becomes one of the coordinates. Therefore, even in this case, since the X coordinate of the object is narrowed down to some extent, it is possible to reduce the size of the ROI as compared with the case where the position of the object moves randomly. Therefore, the amount of data transmission can be reduced as compared with the case where the position of the object moves randomly.
  • FIG. 20 shows an example in which the embedded vision system 1000 is applied to a drone (unmanned aerial vehicle).
  • the imaging device 100 and the embedded processor 200 are mounted on the drone, and the external system 300 is configured to be capable of wireless communication with the embedded processor 200 and is installed on the ground.
  • the ROI cutting units 112 and 131 may dynamically change the position of the ROI for each frame, for example, as shown in FIG.
  • the position of the ROI may be specified according to the polarization characteristics such as the degree of polarization and the polarization angle. In this case, it is possible to reduce the size of the ROI as compared with the case where the position of the ROI is changed for each of a plurality of frames. Therefore, the amount of data transmission can be reduced as compared with the case where the ROI position is changed for each of a plurality of frames.
  • the embedded vision system 1000 when the embedded vision system 1000 is applied to a drone (unmanned aerial vehicle), for example, as shown in FIG. 21, the camera mounted on the drone traveling in a straight line direction from left to right is a building on the ground. It is assumed that the ROI cutout process is performed on the object. In this case, the ROI image cut out before passing directly above the building is the image of the angle of view from the left side of the building, and the ROI image cut out after passing directly above the building is the image of the angle of view from the right side of the building. Become. Therefore, for example, the image processing unit 127 or the image processing unit 250 can obtain parallax data from these images. As a result, for example, the image processing unit 127 or the image processing unit 250 can generate three-dimensional data by using the parallax data.
  • FIG. 22 shows how a plurality of ROIs are included in one image data 111A.
  • the encoding units 115, 128, 260 encode each ROI, for example, as shown in FIG. 23, and the transmitting unit 116,
  • the 129 and 270 may send compressed image data 115A, 129A and 260A for each ROI.
  • the encoding units 115, 128, 260 may embed the three ROI image data 112A in the packet area of the data frame, for example, as shown in FIG. 26.
  • the data frame usually has a header area, a packet area, and a footer area.
  • the description of the footer region is omitted for convenience.
  • the packet area contains LongPacket's PayloadData for each line. Further, the packet area includes, for example, three ROI image data 112A as shown in FIG. 26. The PayloadData of the LongPacket of each line contains the imageData of one line in the three ROI image data 112A.
  • the header area includes Embedded Data. Embedded Data refers to additional information that can be embedded in the header or footer of a data frame. At this time, the Embedded Data includes the ROI position information 113A as metadata (metaData).
  • the metadata includes, for example, ROI ID, Upper Left Coordinate, Height, Wide, Exposure Time, Gain Setting, and the like.
  • the amount of transmitted data can be reduced as compared with the case where the image data 111A is embedded in the packet area of the data frame.
  • the encoding units 115, 128, 260 may pack 10-bit RGB image data as 30-bit data of 16-bit or 32-bit alignment data. Even in this case, the amount of transmitted data can be reduced.
  • the present disclosure may have the following structure.
  • a generator that generates ROI (Region Of Interest) position information in image data obtained by imaging based on external information input from the outside.
  • An extraction unit that extracts ROI image data from the image data using the ROI position information, When the ROI image data does not include the entire object or a predetermined ratio or more, the ROI position information is corrected so that the ROI image data includes the entire object or a predetermined ratio or more.
  • the correction unit corrects the ROI position information according to a determination result by the determination unit.
  • the correction unit takes the image so that the ROI image data includes the entire object or a predetermined ratio or more.
  • the image pickup apparatus according to any one of (1) to (4), which corrects the exposure timing of the element.
  • the external information includes a moving speed of the object in a moving direction as speed information of the object.
  • the external information includes coordinates in a direction orthogonal to the moving direction of the object as position information of the object.
  • Imaging device and Equipped with an external device The image pickup device A generator that generates ROI position information in image data obtained by imaging based on external information input from the outside, An extraction unit that extracts ROI image data from the image data using the ROI position information, When the ROI image data does not include the entire object or a predetermined ratio or more, the ROI position information is corrected so that the ROI image data includes the entire object or a predetermined ratio or more.
  • Department and It has an output unit that outputs the ROI image data to the external device according to the first interface standard.
  • the external device is A reception unit that accepts input of the ROI image data in the first interface standard, and A data transmission system having an interface conversion unit that outputs the ROI image data received by the reception unit to an external system according to a second interface standard.
  • the image pickup apparatus further includes a determination unit for determining whether or not the ROI image data includes the entire object or a predetermined ratio or more.
  • the correction unit corrects the ROI position information according to a determination result by the determination unit.
  • the image pickup device further includes an image pickup element that generates the image data by imaging. When the ROI image data does not include the entire object or a predetermined ratio or more, the correction unit performs the image pickup so that the ROI image data includes the entire object or a predetermined ratio or more.
  • the data transmission system according to any one of (8) to (11), which corrects the exposure timing of the element.
  • (13) Imaging device and Equipped with an external device The image pickup device An extraction unit that extracts ROI image data from image data obtained by imaging using ROI position information, It has a first output unit that outputs the ROI image data to the external device according to the first interface standard.
  • the external device is A reception unit that accepts input of the ROI image data in the first interface standard, and A generator that generates the ROI position information based on external information input from the outside, When the ROI image data received by the reception unit does not include the entire object or a predetermined ratio or more, the ROI position so that the ROI image data includes the entire object or a predetermined ratio or more.
  • the external information includes at least one of the position information and the speed information of the object.
  • the external device further includes a determination unit for determining whether or not the ROI image data includes the entire object or a predetermined ratio or more.
  • the correction unit corrects the ROI position information according to a determination result by the determination unit.
  • the image pickup device further includes an image pickup element that generates the image data by imaging.
  • the correction unit performs the image pickup so that the ROI image data includes the entire object or a predetermined ratio or more. Correct the exposure timing of the element and The data transmission system according to any one of (13) to (16), wherein the second output unit outputs the exposure timing obtained by the correction by the correction unit to the image pickup device.
  • the ROI image data is extracted from the image data obtained by imaging using the ROI position information, so that the amount of data can be reduced by a method other than compression. Furthermore, the amount of data can be reduced at a stage before data is output according to a predetermined interface standard. As a result, even if the external device is a device that converts to a low-speed interface standard, it is possible to reduce the possibility that data transmission cannot be performed. As a result, data transmission can be performed smoothly.
  • the ROI image data is extracted from the image data obtained by imaging by using the ROI position information, so that the data is extracted by a method other than compression.
  • the amount can be reduced, and further, the amount of data can be reduced before the data is output by the first interface standard.
  • the second interface standard is a low-speed interface standard, it is possible to reduce the possibility that data transmission cannot be performed. As a result, data transmission can be performed smoothly.
  • the ROI image data is extracted from the image data obtained by imaging by using the ROI position information, so that the data is extracted by a method other than compression.
  • the amount can be reduced, and further, the amount of data can be reduced before the data is output by the first interface standard.
  • the second interface standard is a low-speed interface standard, it is possible to reduce the possibility that data transmission cannot be performed. As a result, data transmission can be performed smoothly.
  • the ROI image data is extracted from the image data obtained by imaging by using the ROI position information generated based on the external information input from the outside. Therefore, the amount of data can be reduced by a method other than compression, and the amount of data can be reduced before the data is output by the first interface standard. As a result, even when the second interface standard is a low-speed interface standard, it is possible to reduce the possibility that data transmission cannot be performed. As a result, data transmission can be performed smoothly.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一実施形態に係る送信装置は、生成部と、抽出部と、補正部とを備えている。生成部は、外部から入力された外部情報に基づいて、撮像により得られた画像データにおけるＲＯＩ位置情報を生成する。抽出部は、ＲＯＩ位置情報を用いて画像データからＲＯＩ画像データを抽出する。補正部は、ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合にはＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれるようにＲＯＩ位置情報を補正する。

Description

撮像装置、データ伝送システム、及びデータ伝送方法
　本開示は、撮像装置、データ伝送システム、及びデータ伝送方法に関する。
　近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
　従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。なお、撮影した画像から一部の画像を切り出すことについては、例えば、下記の特許文献１に記載されている。
特開２０１８－１３７５６７号公報 特表２０１３－５３７３７６号公報
　マシンビジョンや車載等で使用される産業用インターフェースには、様々な方式（ＧｉｇＥ、ＵＳＢ３．０、ＣａｍｅｒａＬｉｎｋ、ＣｏａＸｐｒｅｓｓ、ＭＩＰＩ、ＳＬＶＳ、ＳＬＶＳｅｃ、ＧＭＳＬ、ＰＣＩｅ，Ｗｉｆｉ等の無線方式等）が存在している。そして、それぞれのインターフェースごとに“伝送帯域（伝送速度）”、“伝送距離”、“接続可能カメラ数”といった特徴に差がある。そのため、インターフェース変換によって複数のインターフェースを使用するにあたって、いくつかの課題が存在する。例えば、高速/近距離伝送インターフェース”から“低速/長距離伝送インターフェース”へ変換する場合、インターフェース変換が完了する前にいかにデータ量を削減できるかが課題となる。また、例えば、高精度の画像解析のために非圧縮のＲＡＷデータを伝送する場合、圧縮によってデータ量を削減できないという背景がある。この場合、データ量削減のためには圧縮以外の別の手段が求められる。なお、テレビジョン放送用途における長距離伝送を目的としたシステムにおいて、インターフェース変換によってデータの長距離伝送を実現する方法が、例えば、上記の特許文献２に記載されている。
　データ伝送を円滑に行うことを可能とする撮像装置、データ伝送システム、及びデータ伝送方法を提供することが望ましい。
　本開示の一実施形態に係る撮像装置は、生成部と、抽出部と、補正部とを備えている。生成部は、外部から入力された外部情報に基づいて、撮像により得られた画像データにおけるＲＯＩ位置情報を生成する。抽出部は、ＲＯＩ位置情報を用いて画像データからＲＯＩ画像データを抽出する。補正部は、ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合にはＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれるようにＲＯＩ位置情報を補正する。
　本開示の一実施形態に係る撮像装置では、ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データが抽出される。このように、本開示では、圧縮以外の方法でデータ量を削減することができる。また、所定のインターフェース規格でデータを出力する前の段階で、データ量を削減することができるので、外部装置が低速のインターフェース規格に変換する装置であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。
　本開示の一実施形態に係る第１のデータ伝送システムは、撮像装置と、外部装置とを備えている。撮像装置は、生成部と、抽出部と、補正部と、出力部とを有している。生成部は、外部から入力された外部情報に基づいて、撮像により得られた画像データにおけるＲＯＩ位置情報を生成する。抽出部は、ＲＯＩ位置情報を用いて画像データからＲＯＩ画像データを抽出する。補正部は、ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合にはＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれるようにＲＯＩ位置情報を補正する。出力部は、ＲＯＩ画像データを、第１インターフェース規格で外部装置に出力する。外部装置は、受付部と、インターフェース変換部とを有している。受付部は、第１インターフェース規格でＲＯＩ画像データの入力を受け付ける。インターフェース変換部は、受付部で受け付けたＲＯＩ画像データを、第２インターフェース規格で外部システムに出力する。
　本開示の一実施形態に係る第１のデータ伝送システムでは、ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データが抽出される。このように、本開示では、圧縮以外の方法でデータ量を削減することができる。また、第１インターフェース規格でデータを出力する前の段階で、データ量を削減することができるので、第２インターフェース規格が低速のインターフェース規格であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。
　本開示の一実施形態に係る第２のデータ伝送システムは、撮像装置と、外部装置とを備えている。撮像装置は、抽出部と、第１出力部とを有している。抽出部は、ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出する。第１出力部は、ＲＯＩ画像データを、第１インターフェース規格で外部装置に出力する。外部装置は、受付部と、生成部と、補正部と、第２出力部と、インターフェース変換部とを有している。受付部は、第１インターフェース規格で前記ＲＯＩ画像データの入力を受け付ける。生成部は、外部から入力された外部情報に基づいて、ＲＯＩ位置情報を生成する。補正部は、受付部で受け付けたＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合にはＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれるようにＲＯＩ位置情報を補正する。第２出力部は、生成部で生成されたＲＯＩ位置情報、または、補正部での補正により得られたＲＯＩ位置情報を抽出部に出力する。インターフェース変換部は、ＲＯＩ画像データを、第２インターフェース規格で外部システムに出力する。
　本開示の一実施形態に係る第２のデータ伝送システムでは、ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データが抽出される。このように、本開示では、圧縮以外の方法でデータ量を削減することができる。また、第１インターフェース規格でデータを出力する前の段階で、データ量を削減することができるので、第２インターフェース規格が低速のインターフェース規格であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。
　本開示の一実施形態に係るデータ伝送方法は、以下の３つを含む。
（１）外部から入力された外部情報に基づいて、ＲＯＩ位置情報を生成すること
（２）ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出すること
（３）ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合にはＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれるようにＲＯＩ位置情報を補正すること
　本開示の一実施形態に係るデータ伝送方法では、外部から入力された外部情報に基づいて生成されたＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データが抽出される。このように、本開示では、圧縮以外の方法でデータ量を削減することができる。また、第１インターフェース規格でデータを出力する前の段階で、データ量を削減することができるので、第２インターフェース規格が低速のインターフェース規格であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。
エンベデッドビジョンシステムの概略構成例を表す図である。 エンベデッドビジョンシステムをコンベアに適用した例を表す図である。 エンベデッドビジョンシステムの機能ブロック例を表す図である。 演算内容と、その演算内容を実行する構成要素の組み合わせの一例を表す図である。 データ伝送の手順の一例を表す図である。 エンベデッドビジョンシステムの機能ブロックの一変形例を表す図である。 演算内容と、その演算内容を実行する構成要素の組み合わせの一例を表す図である。 エンベデッドビジョンシステムの機能ブロックの一変形例を表す図である。 演算内容と、その演算内容を実行する構成要素の組み合わせの一例を表す図である。 エンベデッドビジョンシステムをコンベアに適用した例を表す図である。 エンベデッドビジョンシステムの機能ブロック例を表す図である。 エンベデッドビジョンシステムの機能ブロック例を表す図である。 エンベデッドビジョンシステムの機能ブロック例を表す図である。 エンベデッドビジョンシステムの機能ブロック例を表す図である。 エンベデッドビジョンシステムをサッカー競技に適用した例を表す図である。 フレーム画像の一例を表す図である。 エンベデッドビジョンシステムをコンベアに適用した例を表す図である。 エンベデッドビジョンシステムを交通管理に適用した例を表す図である。 フレーム画像の一例を表す図である。 エンベデッドビジョンシステムをドローンに適用した例を表す図である。 フレーム画像の一例を表す図である。 ＲＯＩの一例を表す図である。 ＲＯＩのデータ伝送の一例を表す図である。 パッキングされたＲＯＩのデータ伝送の一例を表す図である。 ＲＯＩの一例を表す図である。 データフレームの一例を表す図である。 図２６のデータフレームのヘッダに含まれるＲＯＩ位置情報の一例を表す図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
＜１．実施の形態＞
[構成]
　図１は、本実施の形態に係るエンベデッドビジョンシステム１０００の概略構成例を表したものである。エンベデッドビジョンシステム１０００は、例えば、図１に示したように、撮像装置１００、エンベデッドプロセッサ２００および外部システム３００を備えている。
　撮像装置１００とエンベデッドプロセッサ２００とは、伝送路４００により電気的に接続される。伝送路４００は、撮像装置１００とエンベデッドプロセッサ２００とを接続する、一の信号の伝送路である。撮像装置１００から送信される画像を示すデータ（画像データ）は、撮像装置１００からエンベデッドプロセッサ２００へと伝送路４００を介して伝送される。エンベデッドプロセッサ２００と外部システム３００とは、伝送路５００により電気的に接続される。伝送路５００は、エンベデッドプロセッサ２００と外部システム３００とを接続する、一の信号の伝送路である。エンベデッドプロセッサ２００から送信される画像を示すデータ（画像データ）は、エンベデッドプロセッサ２００から外部システム３００へと伝送路５００を介して伝送される。
　撮像装置１００は、撮像機能と送信機能とを有し、撮像により生成した画像データを送信する。撮像装置１００は、エンベデッドビジョンシステム１０００において送信装置の役目を果たす。撮像装置１００は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラ、偏光カメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。撮像装置１００において生成される画像は、撮像装置１００におけるセンシング結果を示すデータに該当する。撮像装置１００の構成の一例については、後に図３を用いて詳述する。
　撮像装置１００は、後述する送信方法により、画像データに対して設定される領域に対応するデータ（以下、「領域の画像データ」とも称する。）を送信する。画像に対して設定される領域は、ＲＯＩ（Region　Of　Interest）と呼ばれる。以下では、画像に対して設定される領域を、「ＲＯＩ」と称する。また、領域の画像データを、「ＲＯＩ画像データ」と称する。
　撮像装置１００は、ＲＯＩ画像データを送信すること、すなわち、画像データの一部を送信することによって、画像データ全体を伝送するよりも伝送に係るデータ量を小さくする。よって、撮像装置１００が、ＲＯＩ画像データを送信することによって、例えば、伝送時間が短縮される、エンベデッドビジョンシステム１０００における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。なお、撮像装置１００は、画像データ全体を送信することも可能である。
　エンベデッドプロセッサ２００は、撮像装置１００から送信されたデータを受信し、受信されたデータを処理する。エンベデッドプロセッサ２００は、エンベデッドビジョンシステム１０００においてインターフェース変換装置の役目を果たす。撮像装置１００から送信されたデータの処理に係る構成の一例については、後に図３を用いて詳述する。
　エンベデッドプロセッサ２００は、例えば、ＭＰＵ（Micro  Processing  Unit）など
の演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。エンベデッドプロセッサ２００は、例えば、記インターフェース変換制御に係る処理など、様々な処理を行う。エンベデッドプロセッサ２００は、例えば、撮像装置１００に対して制御情報を送信することによって、撮像装置１００における機能を制御してもよい。エンベデッドプロセッサ２００は、例えば、撮像装置１００に対して領域指定情報を送信することによって、撮像装置１００から送信されるデータを制御することも可能である。
　図２は、エンベデッドビジョンシステム１０００をコンベアに適用した例を表したものである。エンベデッドビジョンシステム１０００において、撮像装置１００は、特定の領域を撮像するように配置されており、コンベア上を流れてくる対象物を所定の周期で撮像する。例えば、図２に示したように、コンベアには、複数のトレーが等間隔で並んで配置されており、各対象物は、トレー上の所定の位置に配置されている。各対象物は、コンベアの進行方向と直交する方向の座標が互いに等しくなるように、トレー上に配置されている。各トレーには、対象物が１つずつ配置されている。
　この場合、撮像装置１００によって得られる画像には、例えば、図２の下段に示したように、対象物ｆが被写体として映し出される。なお、図２の下段には、露光タイミングの互いに異なる３枚の画像が例示されている。図２に示した各画像において、左右方向がコンベアの進行方向に対応している。図２に示した各画像において、左右方向をＸ座標とし、上下方向をＹ座標とすると、対象物ｆのＹ座標は、露光タイミングによらず一定となっており、対象物のＸ座標は、コンベアの速度に応じて変化している。このことから、対象物の、フレーム間のＸ座標のズレ量を露光周期で割ることにより、対象物の、Ｘ座標方向の移動速度が得られる。この例において、対象物のＹ座標（対象物の移動方向と直交する方向の座標）と、対象物の、Ｘ座標方向（対象物の移動方向）の移動速度が、外部情報Ｄｉｎとして、ユーザによって手動で、または、コンベアなどのシステムから自動的に、外部システム３００に入力されてもよい。また、この例において、撮像装置１００（制御部１１１４）が、撮像装置１００によって得られた複数の画像に対して画像解析を行うことにより外部情報Ｄｉｎを取得してもよい。このとき、外部情報Ｄｉｎに含まれる、対象物のＸ座標方向（対象物の移動方向）の移動速度は、外部センサ６００の出力に基づいて生成される。撮像装置１００（制御部１１１４）は、例えば、撮像装置１００によって得られた複数の画像に対して画像解析を行うことにより、複数の画像に含まれる対象物ｆの座標（Ｘ座標、Ｙ座標）を検出し、検出した対象物ｆの、フレーム間のＸ座標のズレ量を露光周期で割ることにより、対象物の、Ｘ座標方向の移動速度を得る。撮像装置１００（制御部１１１４）は、例えば、さらに、このようにして得られた座標（Ｙ座標）と、Ｘ座標方向（対象物の移動方向）の移動速度とを外部情報Ｄｉｎとする。
　対象物のＹ座標は、例えば、コンベア上にトレーが所定の位置に配置されることによって設定される固定値である。一方、対象物の、Ｘ座標方向の移動速度は、例えば、コンベアの速度としてコンベアに設定される設定値である。この場合、外部システム３００は、対象物のＹ座標と、対象物の、Ｘ座標方向の移動速度とを、外部情報Ｄｉｎとして受け付ける。外部システム３００は、受け付けた、Ｘ座標方向の移動速度に基づいて、対象物のＸ座標（対象物の移動方向と平行な方向の座標）を設定する。
　なお、対象物のＹ座標が固定値となっている場合、対象物のＹ座標があらかじめ、外部システム３００に設定されていてもよい。この場合、対象物のＹ座標は、外部情報Ｄｉｎには含まれていなくてもよい。なお、撮像方法によっては、撮像装置１００によって得られる画像において、上下方向が上述のＸ座標となり、左右方向が上述のＹ座標となる場合もある。
（撮像装置１００）
　図３は、エンベデッドビジョンシステム１０００の機能ブロックの一例を表したものである。撮像装置１００は、例えば、撮像素子１１０、信号処理ブロック１２０および伝送路１３０を有している。撮像素子１１０と信号処理ブロック１２０とは、伝送路１３０により電気的に接続される。伝送路１３０は、撮像素子１１０と信号処理ブロック１２０とを接続する、一の信号の伝送路である。撮像素子１１０から送信される画像を示すデータ（画像データ）は、撮像素子１１０から信号処理ブロック１２０へと伝送路１３０を介して伝送される。伝送路１３０では、例えば、伝送路４００と共通のインターフェース規格でデータ伝送が行われる。
　撮像素子１１０は、例えば、撮像部１１１、ＲＯＩ切り出し部１１２、ＲＯＩ解析部１１３、制御部１１４、エンコード部１１５および送信部１１６を有している。
　撮像部１１１は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部１１１は、例えば、制御部１１４から入力された露光タイミングで撮像を行うことにより、画像データ１１１Ａを取得する。撮像部１１１が偏光カメラの場合には、画像データ１１１Ａは、偏光方向毎の輝度データである。撮像部１１１は、例えば、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んで構成されている。撮像部１１１は、アナログ－デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙおよび色差成分Ｃｂ，Ｃｒで表現するＹＣｂＣｒ形式であってもよいし、ＲＧＢ形式などであってもよい。撮像部１１１は、撮像により得られた画像データ１１１Ａ（デジタルの画像データ）をＲＯＩ切り出し部１１２に出力する。
　ＲＯＩ切り出し部１１２は、例えば、ＲＯＩの切り出しを指示する制御信号が制御部１１４から入力された場合に、撮像部１１１から入力された画像データ１１１Ａに含まれる撮影対象の１または複数の物体（対象物）を特定し、特定した物体ごとにＲＯＩを設定する。ＲＯＩは、例えば、特定した物体を含む方形状の領域である。なお、ＲＯＩの形状は、方形状に限定されるものではなく、例えば、円形状、楕円形状、多角形状、または、不規則な形状となっていてもよい。ＲＯＩ切り出し部１１２は、例えば、制御部１１４から入力されたＲＯＩ情報（例えばＲＯＩの位置情報など）に基づいて、撮像部１１１から入力された画像データ１１１Ａにおいて、１または複数のＲＯＩを設定してもよい。
　ＲＯＩ切り出し部１１２は、画像データ１１１Ａから、１または複数のＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）を切り出す。ＲＯＩ切り出し部１１２は、さらに、設定したＲＯＩごとに、識別子として領域番号を付与する。ＲＯＩ切り出し部１１２は、例えば、付与した識別子（領域番号）を記憶部に格納する。ＲＯＩ切り出し部１１２は、例えば、画像データ１１１Ａから切り出した１または複数のＲＯＩ画像データ１１２Ａを記憶部に格納する。ＲＯＩ切り出し部１１２は、さらに、例えば、１または複数のＲＯＩに付与した識別子（領域番号）を、１または複数のＲＯＩ画像データ１１２Ａと関連づけて、記憶部に格納する。なお、ＲＯＩ切り出し部１１２は、通常画像（全体画像）の出力を指示する制御信号が制御部１１４から入力された場合に、撮像部１１１から入力された画像データ１１１Ａに対して所定の処理を行い、それにより全体画像データ１１２Ｂを生成する。
　ＲＯＩ解析部１１３は、ＲＯＩごとに、画像データ１１１ＡにおけるＲＯＩの位置情報（ＲＯＩ位置情報１１３Ａ）を導出する。ＲＯＩ位置情報１１３Ａは、例えば、ＲＯＩの左上端座標と、ＲＯＩのＸ軸方向の長さと、ＲＯＩのＹ軸方向の長さとによって構成されている。ＲＯＩのＸ軸方向の長さは、例えば、ＲＯＩのＸ軸方向の物理領域長さである。ＲＯＩのＹ軸方向の長さは、例えば、ＲＯＩのＹ軸方向の物理領域長さである。物理領域長さとは、ＲＯＩの物理的な長さ（データ長）を指している。ＲＯＩ位置情報１１３Ａにおいて、ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩ解析部１１３は、例えば、導出したＲＯＩ位置情報１１３Ａを記憶部に格納する。ＲＯＩ解析部１１３は、例えば、導出したＲＯＩ位置情報１１３Ａを、ＲＯＩに対して付与された識別子（領域番号）と関連づけて、記憶部に格納する。
　エンコード部１１５は、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａとをエンコードして、送信部１１６に出力する。エンコード部１１５は、例えば、１０ｂｉｔのＲＧＢデータを１６ｂｉｔもしくは３２ｂｉｔアライメントデータの３０ｂｉｔのデータとしてパッキングしてデータ削減する。なお、エンコード部１１５において、１または複数のＲＯＩ画像データ１１２Ａに対して圧縮処理がなされてもよい。
　制御部１１４は、信号処理ブロック１２０から入力される信号に基づいて、撮像部１１１やＲＯＩ切り出し部１１２を制御する。制御部１１４は、例えば、信号処理ブロック１２０から入力された露光タイミングで撮像部１１１に撮像を指示する。制御部１１４は、例えば、信号処理ブロック１２０から入力されたＲＯＩ情報（例えばＲＯＩの位置情報など）をＲＯＩ切り出し部１１２に出力する。
　送信部１１６は、エンコード部１１５から入力されたデータ（１または複数のＲＯＩ画像データ１１２Ａ、１または複数のＲＯＩ位置情報１１３Ａ）を含む伝送データ１１６Ａを生成し、送出する回路である。送信部１１６は、例えば、１または複数のＲＯＩ位置情報１１３ＡをＥｍｂｅｄｄｅｄＤａｔａで送出する。送信部１１６は、さらに、例えば、１または複数のＲＯＩ画像データ１１２ＡをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａで送出する。送信部１１６は、例えば、１または複数のＲＯＩ画像データ１１２Ａを画像データフレームによって送出するとともに、１または複数のＲＯＩ位置情報１１３Ａを画像データフレームのヘッダで送出する。送信部１１６は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で規定されたルールに従って、伝送データ１１６Ａを生成し、送信する。
　信号処理ブロック１２０は、例えば、受信部１２１、デコード部１２２、情報抽出部１２３、ＲＯＩ画像生成部１２４、画像解析部１２５、制御部１２６、画像処理部１２７、エンコード部１２８および送信部１２９を有している。
　受信部１２１は、例えば、ヘッダ分離部、ヘッダ解釈部、Ｐａｙｌｏａｄ分離部、ＥＢＤ解釈部およびＲＯＩデータ分離部を有している。
　ヘッダ分離部は、伝送データ１１６Ａを、伝送路１３０を介して受信する。ヘッダ分離部は、例えば、１または複数のＲＯＩ位置情報１１３ＡをＥｍｂｅｄｄｅｄＤａｔａに含むとともに、１または複数のＲＯＩ画像データ１１２ＡをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含む伝送データ１１６Ａを受信する。ヘッダ分離部は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で規定されたルールに従って、伝送データ１１６Ａを分離する。ヘッダ分離部は、例えば、受信した伝送データ１１６Ａをヘッダ領域とパケット領域とに分離する。
　ヘッダ解釈部は、例えば、ヘッダ領域に含まれるデータ（具体的にはＥｍｂｅｄｄｅｄＤａｔａ）に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置を特定する。Ｐａｙｌｏａｄ分離部は、例えば、ヘッダ解釈部によって特定されたＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａを、パケット領域から分離する。
　ＥＢＤ解釈部は、例えば、ＥｍｂｅｄｄｅｄＤａｔａをＥＢＤデータとして、データ分離部に出力する。ＥＢＤ解釈部は、さらに、例えば、ＥｍｂｅｄｄｅｄＤａｔａに含まれるデータタイプから、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）であるか否か判別する。ＥＢＤ解釈部は、例えば、その判別結果をＲＯＩデータ分離部に出力する。
　ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）である場合、ＲＯＩデータ分離部は、例えば、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａとして、デコード部１２２に出力する。
　デコード部１２２は、例えば、ＥｍｂｅｄｄｅｄＤａｔａおよびＰａｙｌｏａｄＤａｔａをデコードする。情報抽出部１２３は、例えば、デコードされたＰａｙｌｏａｄＤａｔａに含まれる画像データを抽出し、デコードされたＥｍｂｅｄｄｅｄＤａｔａから、１または複数のＲＯＩ位置情報１１３Ａを抽出する。ＲＯＩ画像生成部１２４は、例えば、ＰａｙｌｏａｄＤａｔａから抽出された画像データと、ＥｍｂｅｄｄｅｄＤａｔａから抽出された１または複数のＲＯＩ位置情報１１３Ａとに基づいて、１または複数のＲＯＩ画像データ１１２Ａを生成（復元）する。
　画像解析部１２５は、エンベデッドプロセッサ２００による制御に従って、１または複数のＲＯＩ画像データ１１２Ａについて解析を行う。画像解析部１２５は、例えば、ホワイトバランスや露出補正等に必要な画像のＲＧＢ等の色成分の比率や画像の明るさを解析する。画像解析部１２５は、さらに、例えば、１または複数のＲＯＩ画像データ１１２Ａにおいて、被写体としての物体（対象物）の全体もしくは所定以上の割合が含まれているか否かについての解析を行う（画像ズレの判定）。その結果、１または複数のＲＯＩ画像データ１１２Ａのうち少なくとも１つのデータにおいて、対象物の一部が欠けていた場合や、対象物の所定以上の割合が含まれていない場合には、画像解析部１２５は、例えば、全てのＲＯＩ画像データ１１２Ａにおいて、対象物の全体もしくは所定以上の割合が含まれるように、ＲＯＩ位置情報１１３Ａや撮像素子１１０の露光タイミングを補正する。画像解析部１２５は、例えば、補正後のＲＯＩ位置情報１１３Ａや撮像素子１１０の露光タイミングを、制御部１２６を介して撮像素子１１０に出力する。画像解析部１２５は、例えば、画像データ１１１Ａに含まれる全てのＲＯＩ画像データ１１２Ａの取得が完了したか否かについて確認を行う（画像取得完了の確認）。画像取得完了が確認されると、画像解析部１２５は、例えば、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａ（もしくは補正後の１または複数のＲＯＩ位置情報１１３Ａ）とを含むデータを画像処理部１２７に出力する。
　制御部１２６は、画像解析部１２５で補正されたＲＯＩ位置情報１１３Ａや撮像素子１１０の露光タイミングを撮像素子１１０に送信する。制御部１２６は、信号処理ブロック１２０から入力された信号を撮像素子１１０に送信する。制御部１２６は、例えば、信号処理ブロック１２０から入力された露光タイミングや、ＲＯＩ情報（例えばＲＯＩの位置情報など）を撮像素子１１０に送信する。制御部１２６は、例えば、信号処理ブロック１２０から入力された、上述の画像ズレの判定の実行指令や、上述の画像取得完了の確認の実行指令を画像解析部１２５に出力する。
　画像処理部１２７は、１または複数のＲＯＩ画像データ１１２Ａに対して所定の処理を行った上で、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａ（もしくは補正後の１または複数のＲＯＩ位置情報１１３Ａ）とを含むデータをエンコード部１２８に出力する。画像処理部１２７は、例えば、デジタルゲイン、ホワイトバランス、ＬＵＴ、カラーマトリクス変換、欠陥補正、シェーディング補正、ノイズ除去、画像データの並び替え、γ補正、デモザイク(例えば、Ｂａｙｅｒ配列の撮像素子
からの出力をＲＧＢの並びに戻す処理)を行う。エンコード部１２８は、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａとをエンコードして、送信部１２９に出力する。エンコード部１２８は、例えば、１０ｂｉｔのＲＧＢデータを１６ｂｉｔもしくは３２ｂｉｔアライメントデータの３０ｂｉｔのデータとしてパッキングしてデータ削減する。なお、エンコード部１２８において、１または複数のＲＯＩ画像データ１１２Ａに対して圧縮処理がなされてもよい。
　送信部１２９は、エンコード部１２８から入力された種々のデータ（１または複数のＲＯＩ画像データ１１２Ａ、１または複数のＲＯＩ位置情報１１３Ａ）を含む伝送データ１２９Ａを生成し、送出する回路である。送信部１２９は、例えば、１または複数のＲＯＩ位置情報１１３ＡをＥｍｂｅｄｄｅｄＤａｔａで送出する。送信部１２９は、さらに、例えば、１または複数のＲＯＩ画像データ１１２ＡをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａで送出する。送信部１２９は、例えば、１または複数のＲＯＩ画像データ１１２Ａを画像データフレームによって送出するとともに、１または複数のＲＯＩ位置情報１１３Ａを画像データフレームのヘッダで送出する。送信部１２９は、例えば、ＭＩＰＩ
ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で規定されたルールに従って、伝送データ１２９Ａを生成し、伝送路４００を介してエンベデッドプロセッサ２００に送信する。
　エンベデッドプロセッサ２００は、例えば、受信部２１０、デコード部２２０、画像解析部２３０、制御部２４０、画像処理部２５０、エンコード部２６０および送信部２７０を有している。
　受信部２１０は、例えば、ヘッダ分離部、ヘッダ解釈部、Ｐａｙｌｏａｄ分離部、ＥＢＤ解釈部およびＲＯＩデータ分離部を有しており、伝送データ１２９Ａに対して、上述の受信部１２１と同様の処理を実行する。
　デコード部２２０は、例えば、ＥｍｂｅｄｄｅｄＤａｔａおよびＰａｙｌｏａｄＤａｔａをデコードする。画像解析部２３０は、例えば、デコードされたＰａｙｌｏａｄＤａｔａに含まれる画像データを抽出し、デコードされたＥｍｂｅｄｄｅｄＤａｔａから、１または複数のＲＯＩ位置情報１１３Ａを抽出する。画像解析部２３０は、例えば、ＰａｙｌｏａｄＤａｔａから抽出された画像データと、ＥｍｂｅｄｄｅｄＤａｔａから抽出された１または複数のＲＯＩ位置情報１１３Ａとに基づいて、１または複数のＲＯＩ画像データ１１２Ａを生成（復元）する。
　画像解析部２３０は、制御部２４０による制御に従って、１または複数のＲＯＩ画像データ１１２Ａについて解析を行う。画像解析部２３０は、例えば、１または複数のＲＯＩ画像データ１１２Ａにおいて、ホワイトバランスや露出補正等に必要な画像のＲＧＢ等の色成分の比率や画像の明るさを解析する。画像解析部２３０は、さらに、例えば、画像解析部１２５において、上述の画像ズレの判定が行われていない場合には、１または複数のＲＯＩ画像データ１１２Ａについて、上述の画像ズレの判定を行う。画像解析部２３０は、上述の画像ズレの判定を行った結果、ＲＯＩ位置情報１１３Ａや撮像素子１１０の露光タイミングの補正を行った場合には、補正後のＲＯＩ位置情報１１３Ａや露光タイミングを、制御部２４０および信号処理ブロック１２０を介して撮像素子１１０に出力する。
　画像解析部２３０は、例えば、画像解析部１２５において、上述の画像取得完了の確認が行われていない場合には、１または複数のＲＯＩ画像データ１１２Ａについて、上述の画像取得完了の確認を行う。画像解析部２３０は、例えば、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａとを含むデータを画像処理部２５０に出力する。画像解析部２３０は、ＲＯＩ位置情報１１３Ａを補正した場合には、補正後の１または複数のＲＯＩ位置情報１１３Ａを制御部２４０に出力する。
　制御部２４０は、画像解析部２３０でＲＯＩ位置情報１１３Ａが補正された場合には、補正されたＲＯＩ位置情報１１３Ａを信号処理ブロック１２０に送信する。つまり、制御部２４０は、画像解析部２３０でＲＯＩ位置情報１１３Ａが補正された場合には、補正されたＲＯＩ位置情報１１３Ａを、信号処理ブロック１２０を介して撮像素子１１０に送信する。
　画像処理部２５０は、１または複数のＲＯＩ画像データ１１２Ａに対して所定の処理を行った上で、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａとを含むデータをエンコード部２６０に出力する。画像処理部２５０は、例えば、デジタルゲイン、ホワイトバランス、ＬＵＴ、カラーマトリクス変換、欠陥補正、シェーディング補正、ノイズ除去、画像データの並び替え、γ補正、デモザイク(例えば、Ｂａｙｅｒ配列の撮像素子からの出力をＲＧＢの並びに戻す処理)を行う。エンコード部２６０は、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａとをエンコードして、送信部２７０に出力する。エンコード部２６０は、例えば、１０ｂｉｔのＲＧＢデータを１６ｂｉｔもしくは３２ｂｉｔアライメントデータの３０ｂｉｔのデータとしてパッキングしてデータ削減する。
　送信部２７０は、エンコード部２６０から入力されたデータ（１または複数のＲＯＩ画像データ１１２Ａ、１または複数のＲＯＩ位置情報１１３Ａ）を含む伝送データ２７０Ａを生成し、送出する回路である。送信部２７０は、例えば、ＧｉｇＥなどの伝送規格で規定されたルールに従って、伝送データ２７０Ａを生成し、伝送路５００を介して外部システム３００に送信する。
　図４は、本実施の形態に係るエンベデッドビジョンシステム１０００において、演算内容と、その演算内容を実行する構成要素の組み合わせの一例を表したものである。図４には、６通りの組み合わせが例示されている。例えば、６通りの組み合わせのうちのいずれが選択されるかは、画像ズレの判定と、画像取得完了の確認とを同一の信号処理ブロック（具体的には、信号処理ブロック１２０またはエンベデッドプロセッサ２００）で実行した場合に、所定のフレームレート以上の転送速度が実現可能か否かで判断される。
　例えば、所定のフレームレート以上の転送速度が実現不能と判断した場合には、制御部２４０は、例えば、画像ズレの判定を信号処理ブロック１２０に実行させ、画像取得完了の確認をエンベデッドプロセッサ２００に実行させる。つまり、この場合は、制御部２４０は、図４の一番左側もしくは左から２番目の組み合わせを選択する。また、例えば、所定のフレームレート以上の転送速度が実現可能と判断した場合には、制御部２４０は、例えば、画像ズレの判定および画像取得完了の確認の双方を信号処理ブロック１２０またはエンベデッドプロセッサ２００に実行させる。つまり、この場合は、制御部２４０は、図４の左から３番目、４番目、５番目もしくは６番目の組み合わせを選択する。
　なお、例えば、コンベアの設定と、撮像装置１００の露光タイミングとが、画像ズレが生じないように予め設定されている場合には、制御部２４０は、画像ズレの判定についての実行指示を省略することが可能である。
（データ伝送）
　図５は、本実施の形態に係るエンベデッドビジョンシステム１０００における、データ伝送の手順の一例を表したものである。本実施の形態では、外部システム３００が、ユーザから手動で、または、コンベアなどのシステムから自動的に外部情報Ｄｉｎを取得する（ステップＳ１０１）。外部システム３００は、外部情報Ｄｉｎとして、例えば、対象物の位置情報および速度情報の少なくとも一方を取得する。対象物の位置情報は、例えば、撮像画像の座標内の位置座標、または、対象物自身の位置情報（ＧＰＳなどによる現実空間上の位置情報）である。対象物の速度情報は、例えば、対象物の相対的な移動に関する速度情報であり、対象物自身の移動やカメラ自身の移動に由来する。外部システム３００は、取得した外部情報Ｄｉｎ、または、取得した外部情報Ｄｉｎに基づいて生成した情報を、エンベデッドプロセッサ２００、または、エンベデッドプロセッサ２００を介して信号処理ブロック１２０に出力する。次に、エンベデッドプロセッサ２００または信号処理ブロック１２０は、外部システム３００から入力された外部情報Ｄｉｎ（もしくは、外部情報Ｄｉｎに基づいて生成された情報）、または、上述の画像ズレの判定の結果、行われた補正によって得られた情報（補正後のＲＯＩ位置情報１１３Ａや露光タイミング）を、次フレーム以降のＲＯＩ位置情報１１３Ａや露光タイミングとして、撮像素子１１０に出力する（ステップＳ１０２）。なお、撮像装置１００（制御部１１１４）が、撮像装置１００によって得られた複数の画像に対して画像解析を行うことにより外部情報Ｄｉｎを取得してもよい。この場合、撮像装置１００（制御部１１１４）は、得られた外部情報Ｄｉｎ（もしくは、外部情報Ｄｉｎに基づいて生成された情報）、または、上述の画像ズレの判定の結果、行われた補正によって得られた情報（補正後のＲＯＩ位置情報１１３Ａや露光タイミング）を、次フレーム以降のＲＯＩ位置情報１１３Ａや露光タイミングとする。
　なお、撮像素子１１０内に、上述の画像ズレの判定に用いた１または複数のＲＯＩ画像データ１１２Ａが抽出された画像データ１１１Ａが記憶されている場合には、エンベデッドプロセッサ２００または信号処理ブロック１２０は、当該画像データ１１１ＡにおけるＲＯＩの位置の修正データとして、補正後のＲＯＩ位置情報１１３Ａを撮像素子１１０に出力してもよい。
　撮像素子１１０において、撮像部１１１は、決定された露光タイミングに基づいて、撮像を行うことにより、画像データ１１１Ａを取得する。撮像素子１１０において、ＲＯＩ切り出し部１１２は、決定されたＲＯＩの位置に基づいて、撮像部１１１で取得した画像データ１１１Ａから、１または複数のＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）を取得する（ステップＳ１０３）。
　次に、エンベデッドプロセッサ２００または信号処理ブロック１２０は、１または複数のＲＯＩ画像データ１１２Ａにおいて、被写体としての物体（対象物）全体もしくは所定以上の割合が含まれているか否かについての解析を行う（画像ズレの判定）（ステップＳ１０４）。その結果、１または複数のＲＯＩ画像データ１１２Ａのうち少なくとも１つのデータにおいて、被写体としての物体（対象物）の一部が欠けていた場合、または、被写体としての物体（対象物）の所定以上の割合が含まれていない場合には、エンベデッドプロセッサ２００または信号処理ブロック１２０は、例えば、全てのＲＯＩ画像データ１１２Ａにおいて、被写体としての物体（対象物）全体もしくは所定以上の割合が含まれるように、ＲＯＩ位置情報１１３Ａを補正する。
エンベデッドプロセッサ２００または信号処理ブロック１２０は、例えば、補正後のＲＯＩ位置情報１１３Ａを、撮像素子１１０に出力する。エンベデッドプロセッサ２００または信号処理ブロック１２０は、例えば、画像データ１１１Ａに含まれる全てのＲＯＩ画像データ１１２Ａの取得が完了したか否かについて確認を行う（画像取得完了の確認）。
　画像取得完了が確認されると、エンベデッドプロセッサ２００は、例えば、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ位置情報１１３Ａとを含む伝送データ２７０Ａを、伝送路５００の伝送帯域内にバッファリング（伝送データレート変換）を行った上で伝送路５００に出力する（ステップＳ１０５）。このようにして、本実施の形態に係るエンベデッドビジョンシステム１０００においてデータ伝送が行われる。
[効果]

　次に、本実施の形態に係るエンベデッドビジョンシステム１０００の効果について説明する。
　近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
　従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。
　ところで、例えば、マシンビジョンや車載等で使用される産業用インターフェースには、様々な方式（ＧｉｇＥ、ＵＳＢ３．０、ＣａｍｅｒａＬｉｎｋ、ＣｏａＸｐｒｅｓｓ、ＭＩＰＩ、ＳＬＶＳ、ＳＬＶＳｅｃ、ＧＭＳＬ、ＰＣＩｅ，Ｗｉｆｉ等の無線方式等）が存在している。そして、それぞれのインターフェースごとに“伝送帯域（伝送速度）”、“伝送距離”、“接続可能カメラ数”といった特徴に差がある。そのため、インターフェース変換によって複数のインターフェースを使用するにあたって、いくつかの課題が存在する。例えば、“高速/近距離伝送インターフェース”から“低速/長距離伝送インターフェース”へ変換する場合、インターフェース変換が完了する前にいかにデータ量を削減できるかが課題となる。また、例えば、高精度の画像解析のために非圧縮のＲＡＷデータを伝送する場合、圧縮によってデータ量を削減できないという背景がある。この場合、データ量削減のためには圧縮以外の別の手段が求められる。
　一方、本実施の形態では、ＲＯＩ位置情報１１３Ａを用いて、撮像により得られた画像データ１１１ＡからＲＯＩ画像データ１１２Ａが抽出される。このように、本実施の形態では、圧縮以外の方法でデータ量を削減することができる。これにより、エンベデッドプロセッサ２００において伝送路５００のインターフェース規格でデータを出力する前の段階で、データ量を削減することができるので、エンベデッドプロセッサ２００が低速のインターフェース規格に変換する装置であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。
　また、本実施の形態では、対象物の位置情報および速度情報の少なくとも一方を含む外部情報Ｄｉｎに基づいて、ＲＯＩの位置が設定される。これにより、外部情報Ｄｉｎを活用せずに、フレームごとのＲＯＩの位置を自動的に設定するようにした場合と比べて、信号処理量を削減することができる。その結果、高速のデータ伝送にも対応することが容易となる。
　また、本実施の形態において、対象物の移動方向と直交する方向の座標が対象物の速度情報として、対象物の移動方向の移動速度を含む外部情報Ｄｉｎに基づいて、ＲＯＩの位置が設定される場合には、フレームごとのＲＯＩの位置や露光タイミングが設定される。これにより、外部情報Ｄｉｎを活用せずに、フレームごとのＲＯＩの位置や露光タイミングを自動的に設定するようにした場合と比べて、信号処理量を削減することができる。その結果、高速のデータ伝送にも対応することが容易となる。
　また、本実施の形態では、撮像素子１１０において、撮像により画像データ１１１Ａが生成されるとともに、生成した画像データ１１１Ａから１または複数のＲＯＩ画像データ１１２Ａが抽出される。これにより、画像データ１１１Ａそのものを後段（信号処理ブロック１２０）に伝送した場合と比べて、後段（信号処理ブロック１２０）へのデータ転送量を減らすことができる。その結果、高速のデータ伝送にも対応することが容易となる。
　また、本実施の形態では、１または複数のＲＯＩ画像データ１１２Ａのうち少なくとも１つのデータにおいて、被写体としての物体（対象物）が含まれているか否かが判定され、対象物の少なくとも一部が含まれていない場合には、全てのＲＯＩ画像データ１１２Ａにおいて、対象物全体もしくは所定以上の割合が含まれるように、ＲＯＩ位置情報１１３Ａや撮像素子１１０の露光タイミングが補正される。これにより、データ転送量を減らしつつ、外部システム３００にとって意味のあるデータを転送することが可能となる。
＜２．変形例＞
[変形例Ａ]
　図６は、上記実施の形態に係るエンベデッドビジョンシステム１０００の機能ブロックの一変形例を表したものである。本変形例では、撮像素子１１０において、ＲＯＩ切り出し部１１２およびＲＯＩ解析部１１３が省略されており、信号処理ブロック１２０において、情報抽出部１２３、ＲＯＩ画像生成部１２４、画像解析部１２５および画像処理部１２７が省略されている。さらに、本変形例では、信号処理ブロック１２０において、ＲＯＩ切り出し部１３１およびＲＯＩ解析部１３２が設けられている。
　ＲＯＩ切り出し部１３１は、ＲＯＩ切り出し部１１２と同様の処理を実行する。ＲＯＩ切り出し部１３１は、デコード部１２２から入力された画像データ１１１Ａに含まれる撮影対象の１または複数の物体（対象物）を特定し、特定した物体ごとにＲＯＩを設定する。ＲＯＩ切り出し部１３１は、例えば、デコード部１２２から入力されたＲＯＩ情報（例えばＲＯＩの位置情報など）に基づいて、デコード部１２２から入力された画像データ１１１Ａにおいて、１または複数のＲＯＩを設定してもよい。
　ＲＯＩ切り出し部１３１は、画像データ１１１Ａから、１または複数のＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）を切り出す。ＲＯＩ切り出し部１３１は、さらに、設定したＲＯＩごとに、識別子として領域番号を付与する。ＲＯＩ切り出し部１３１は、例えば、付与した識別子（領域番号）を記憶部に格納する。ＲＯＩ切り出し部１３１は、例えば、画像データ１１１Ａから切り出した１または複数のＲＯＩ画像データ１１２Ａを記憶部に格納する。ＲＯＩ切り出し部１３１は、さらに、例えば、１または複数のＲＯＩに付与した識別子（領域番号）を、１または複数のＲＯＩ画像データ１１２Ａと関連づけて、記憶部に格納する。
　ＲＯＩ解析部１３２は、ＲＯＩ解析部１１３と同様の処理を実行する。ＲＯＩ解析部１３２は、ＲＯＩごとに、画像データ１１１ＡにおけるＲＯＩの位置情報（ＲＯＩ位置情報１１３Ａ）を導出する。ＲＯＩ解析部１３２は、例えば、導出したＲＯＩ位置情報１１３Ａを記憶部に格納する。ＲＯＩ解析部１３２は、例えば、導出したＲＯＩ位置情報１１３Ａを、ＲＯＩに対して付与された識別子（領域番号）と関連づけて、記憶部に格納する。
　図７は、本変形例に係るエンベデッドビジョンシステム１０００において、演算内容と、その演算内容を実行する構成要素の組み合わせの一例を表したものである。図７には、６通りの組み合わせが例示されている。例えば、６通りの組み合わせのうちのいずれが選択されるかは、画像ズレの判定と、画像取得完了の確認とを同一の信号処理ブロック（具体的には、信号処理ブロック１２０またはエンベデッドプロセッサ２００）で実行した場合に、所定のフレームレート以上の転送速度が実現可能か否かで判断される。
　例えば、所定のフレームレート以上の転送速度が実現不能と判断した場合には、制御部２４０は、例えば、画像ズレの判定を信号処理ブロック１２０に実行させ、画像取得完了の確認をエンベデッドプロセッサ２００に実行させる。つまり、この場合は、制御部２４０は、図７の一番左側もしくは左から２番目の組み合わせを選択する。また、例えば、所定のフレームレート以上の転送速度が実現可能と判断した場合には、制御部２４０は、例えば、画像ズレの判定および画像取得完了の確認の双方を信号処理ブロック１２０またはエンベデッドプロセッサ２００に実行させる。つまり、この場合は、制御部２４０は、図７の左から３番目、４番目、５番目もしくは６番目の組み合わせを選択する。
　なお、例えば、コンベアの設定と、撮像装置１００の露光タイミングとが、画像ズレが生じないように予め設定されている場合には、制御部２４０は、画像ズレの判定についての実行指示を省略することが可能である。
　本変形例では、ＲＯＩの切り出し処理が信号処理ブロックで行われる以外は、上記実施の形態と同様である。従って、ＲＯＩの切り出し処理によるデータ伝送への負荷が許容される範囲内で、上記実施の形態で同様の効果が得られる。
[変形例Ｂ]
　図８は、上記実施の形態に係るエンベデッドビジョンシステム１０００の機能ブロックの一変形例を表したものである。本変形例では、信号処理ブロック１２０において、情報抽出部１２３、ＲＯＩ画像生成部１２４、画像解析部１２５および画像処理部１２７が省略されており、ＲＯＩ切り出し部１３１およびＲＯＩ解析部１３２が設けられている。
　図９は、本変形例に係るエンベデッドビジョンシステム１０００において、演算内容と、その演算内容を実行する構成要素の組み合わせの一例を表したものである。図９には、６通りの組み合わせが例示されている。例えば、６通りの組み合わせのうちのいずれが選択されるかは、画像ズレの判定と、画像取得完了の確認とを同一の信号処理ブロック（具体的には、信号処理ブロック１２０またはエンベデッドプロセッサ２００）で実行した場合に、所定のフレームレート以上の転送速度が実現可能か否かで判断される。
　例えば、所定のフレームレート以上の転送速度が実現不能と判断した場合には、制御部２４０は、例えば、画像ズレの判定を信号処理ブロック１２０に実行させ、画像取得完了の確認をエンベデッドプロセッサ２００に実行させる。つまり、この場合は、制御部２４０は、図９の一番左側もしくは左から２番目の組み合わせを選択する。また、例えば、所定のフレームレート以上の転送速度が実現可能と判断した場合には、制御部２４０は、例えば、画像ズレの判定および画像取得完了の確認の双方を信号処理ブロック１２０またはエンベデッドプロセッサ２００に実行させる。つまり、この場合は、制御部２４０は、図９の左から３番目、４番目、５番目もしくは６番目の組み合わせを選択する。
　なお、例えば、コンベアの設定と、撮像装置１００の露光タイミングとが、画像ズレが生じないように予め設定されている場合には、制御部２４０は、画像ズレの判定についての実行指示を省略することが可能である。
　本変形例では、撮像素子１１０だけでなく、信号処理ブロック１２０においても、ＲＯＩの切り出し処理を行うことが可能となっている。これにより、ＲＯＩの切り出し処理によるデータ伝送への負荷を考慮しながら、撮像素子１１０または信号処理ブロック１２０でＲＯＩの切り出し処理を行うことができる。従って、データ伝送への影響を抑えつつ、ＲＯＩの切り出し処理を行うことができる。
[変形例Ｃ]
　図１０は、エンベデッドビジョンシステム１０００をコンベアに適用した例を表したものである。本変形例では、エンベデッドビジョンシステム１０００は、コンベア上を流れてくる対象物の、コンベアの進行方向と直交する方向の位置（Ｙ座標）を検出する外部センサ６００を備えている。外部センサ６００は、例えば、ラインセンサを含んで構成されている。なお、外部センサ６００は、位置検知用の撮像素子や、トレーに設定されたＧＰＳなどによって構成されていてもよい。このとき、外部情報Ｄｉｎに含まれる、対象物のＹ座標は、外部センサ６００の出力に基づいて生成される。
　図１１、図１２、図１３は、上記実施の形態、変形例Ａおよび変形例Ｂに係るエンベデッドビジョンシステム１０００の機能ブロックの一変形例を表したものである。本変形例では、上述したように、外部センサ６００が設けられている。外部センサ６００は、外部システム３００からの制御に従って、対象物のＹ座標（対象物の移動方向と直交する方向の座標）を検知する。この場合、例えば、図１０に示したように、各対象物は、コンベアの進行方向と直交する方向の座標が互いに等しくなるように配置されている必要はない。外部センサ６００によって得られた、対象物のＹ座標は、例えば、外部情報Ｄｉｎの一部として、撮像装置１００内に設けられたＧＰＩＯ（General-purpose input/output）１４０を介して、制御部１２６に入力される。この場合、ＧＰＩＯ１４０は、対象物のＹ座標を外部情報Ｄｉｎの一部として受け付け、受け付けた対象物のＹ座標を制御部１２６に出力する。
　このように、本変形例では、対象物のＹ座標を検知する外部センサ６００が設けられている。これにより、外部センサ６００を設けずに、画像データ１１１Ａから、対象物のＹ座標を導出する場合と比べて、ＲＯＩの大きさを小さくすることが可能である。従って、画像データ１１１Ａから、対象物のＹ座標を導出する場合と比べて、データ伝送量を減らすことができる。
[変形例Ｄ]
　図１４は、上記変形例Ｃに係るエンベデッドビジョンシステム１０００の機能ブロックの一変形例を表したものである。本変形例では、エンベデッドビジョンシステム１０００は、エンベデッドプロセッサ２００において、ＲＯＩ切り出しを行ってもよい。このとき、エンベデッドプロセッサ２００は、例えば、図１４に示したように、ＲＯＩ切り出し部２８０およびＲＯＩ解析部２９０を更に備えていてもよい。
　ＲＯＩ切り出し部２８０は、デコード部２２０で得られた画像データ１１１Ａに含まれる撮影対象の１または複数の物体（対象物）を特定し、特定した物体ごとにＲＯＩを設定する。ＲＯＩ切り出し部２８０は、画像データ１１１Ａから、１または複数のＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）を切り出す。ＲＯＩ切り出し部２８０は、さらに、設定したＲＯＩごとに、識別子として領域番号を付与する。ＲＯＩ切り出し部２８０は、例えば、付与した識別子（領域番号）を記憶部に格納する。ＲＯＩ切り出し部２８０は、例えば、画像データ１１１Ａから切り出した１または複数のＲＯＩ画像データ１１２Ａを記憶部に格納する。ＲＯＩ切り出し部２８０は、さらに、例えば、１または複数のＲＯＩに付与した識別子（領域番号）を、１または複数のＲＯＩ画像データ１１２Ａと関連づけて、記憶部に格納する。
　ＲＯＩ解析部２９０は、ＲＯＩごとに、画像データ１１１ＡにおけるＲＯＩの位置情報（ＲＯＩ位置情報１１３Ａ）を導出する。ＲＯＩ解析部２９０は、例えば、導出したＲＯＩ位置情報１１３Ａを記憶部に格納する。ＲＯＩ解析部２９０は、例えば、導出したＲＯＩ位置情報１１３Ａを、ＲＯＩに対して付与された識別子（領域番号）と関連づけて、記憶部に格納する。
　本変形例では、エンベデッドプロセッサ２００において、ＲＯＩの切り出し処理を行うことが可能となっている。これにより、ＲＯＩの切り出し処理によるデータ伝送への負荷を考慮しながら、エンベデッドプロセッサ２００でＲＯＩの切り出し処理を行うことができる。従って、データ伝送への影響を抑えつつ、ＲＯＩの切り出し処理を行うことができる。
[変形例Ｅ]
　図１５は、上記変形例Ｃに係るエンベデッドビジョンシステム１０００の機能ブロックの一変形例を表したものである。本変形例では、外部センサ６００が、サッカーボールや特定の競技者などの移動体に取り付けられている。本変形例において、外部センサ６００は、例えば、ＧＰＳなどの無線デバイスによって構成されている。これにより、例えば、図１６に示したように、外部センサ６００を設けずに、画像データ１１１Ａから移動体の位置を検出する場合と比べて、ＲＯＩの大きさを小さくすることが可能である。従って、画像データ１１１Ａから移動体の位置を検出する場合と比べて、データ伝送量を減らすことができる。
[変形例Ｆ]
　図１７は、エンベデッドビジョンシステム１０００をコンベアに適用した例を表したものである。本変形例では、エンベデッドビジョンシステム１０００は、コンベア上を流れてくる対象物の、コンベアの進行方向と直交する方向の位置（Ｙ座標）が画像データ１１１Ａから検出される。このようにした場合には、上述したような外部センサ６００などを新たに追加する必要がないので、システム構成を簡素化することができる。
[変形例Ｇ]
　図１８は、エンベデッドビジョンシステム１０００を道路交通システムの一部として適用した例を表したものである。本変形例では、撮像装置１００は、例えば、複数のレーンを含む道路を、車の走行方向と平行な方向から撮影することの可能な位置および向きに設置される。このとき、撮像により得られる画像データ１１１Ａには、例えば、図１９に示したように、第１レーン上を走行する車のナンバープレート、または、第２レーン上を走行する車のナンバープレートが含まれ得る。このナンバープレートが、検出対象の物体（対象物）である場合、対象物のＸ座標は、第１レーンの中央付近に対応するＸ座標、および第２レーンの中央付近に対応するＸ座のいずれか一方の座標となる。従って、この場合にも、対象物のＸ座標はある程度絞られることから、対象物の位置がランダムに動く場合と比べて、ＲＯＩの大きさを小さくすることが可能である。従って、対象物の位置がランダムに動く場合と比べて、データ伝送量を減らすことができる。
[変形例Ｈ]
　図２０は、エンベデッドビジョンシステム１０００をドローン（無人移動飛行体）に適用した例を表したものである。本変形例では、撮像装置１００およびエンベデッドプロセッサ２００がドローンに搭載されており、外部システム３００は、エンベデッドプロセッサ２００と無線通信可能に構成されており、地上に設置されている。
　このとき、ＲＯＩ切り出し部１１２，１３１は、例えば、図２１に示したように、フレームごとにダイナミックに、ＲＯＩの位置を変更してもよい。対象物が何らかの偏光特性を持つ場合（例えば、鏡面反射する物体等である場合）、偏光度や偏光角度等の偏光特性に応じて、ＲＯＩの位置を指定してもよい。このようにした場合には、複数フレームごとにＲＯＩの位置を変更した場合と比べて、ＲＯＩの大きさを小さくすることが可能である。従って、複数フレームごとにＲＯＩの位置を変更した場合と比べて、データ伝送量を減らすことができる。
　また、エンベデッドビジョンシステム１０００をドローン（無人移動飛行体）に適用した場合に、例えば、図２１に示したように、左から右の直線方向に進むドローンに搭載されたカメラが地上の建造物などに対してＲＯＩ切り出し処理を行ったとする。この場合、建物の直上通過前に切り出されたＲＯＩ画像は建物の左側からの画角の画像となっており、建物の直上通過後に切り出されたＲＯＩ画像は建物の右側からの画角の画像となる。そのため、例えば、画像処理部１２７または画像処理部２５０は、これらの画像から視差データを得ることができる。その結果、例えば、画像処理部１２７または画像処理部２５０は、その視差データを利用して、３次元データを生成することができる。
[変形例Ｉ]
　図２２は、１つの画像データ１１１Ａに複数のＲＯＩが含まれている様子を表したものである。このように、１つの画像データ１１１Ａに複数のＲＯＩが含まれている場合、エンコード部１１５，１２８，２６０は、例えば、図２３に示したように、ＲＯＩごとにエンコードを行い、送信部１１６，１２９，２７０は、ＲＯＩごとに、圧縮画像データ１１５Ａ，１２９Ａ，２６０Ａを送出してもよい。
　ところで、例えば、図２４に示したようなパッキングされた複数のＲＯＩを含むデータをエンコードし、送出した場合には、図２２、図２４に記載のＸ，Ｘ，Ｙ，Ｚの領域のデータ分だけ、余分にデータ伝送を行うことになる。一方、上述したように、複数のＲＯＩをＲＯＩごとに送出した場合には、送出されるデータには、そのような余分なデータが含まれることがないので、余分なデータの分だけ、データ伝送量を減らすことができる。
[変形例Ｊ]
　上記実施の形態において、例えば、図２５に示したように、画像データ１１１Ａから３つのＲＯＩ画像データ１１２Ａが抽出されたとする。この場合、エンコード部１１５，１２８，２６０は、例えば、図２６に示したように、３つのＲＯＩ画像データ１１２Ａをデータフレームのパケット領域に埋め込んでもよい。ここで、データフレームは、通常、ヘッダ領域、パケット領域、およびフッタ領域を有している。図２５では、便宜的に、フッタ領域の記載が省略されている。
　データフレームにおいて、パケット領域には、１ラインごとに、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａが含まれている。また、パケット領域には、例えば、図２６に示したように、３つのＲＯＩ画像データ１１２Ａが含まれている。各ラインのＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａには、３つのＲＯＩ画像データ１１２Ａにおける１ライン分のｉｍａｇｅＤａｔａが含まれている。また、データフレームにおいて、ヘッダ領域には、ＥｍｂｅｄｄｅｄＤａｔａが含まれている。ＥｍｂｅｄｄｅｄＤａｔａとは、データフレームのヘッダもしくはフッタに埋め込むことの可能な追加情報を指している。このとき、ＥｍｂｅｄｄｅｄＤａｔａには、メタデータ（ｍｅｔａＤａｔａ）としてのＲＯＩ位置情報１１３Ａが含まれている。
　メタデータ（ｍｅｔａＤａｔａ）には、例えば、図２７に示したように、ＲＯＩ ＩＤ，Ｕｐｐｅｒ Ｌｅｆｔ Ｃｏｏｒｄｉｎａｔｅ，Ｈｅｉｇｈｔ，Ｗｉｄｔｈ，Ｅｘｐｏｓｕｒｅ Ｔｉｅｍ，Ｇａｉｎ Ｓｅｔｔｉｎｇなどが含まれている。
　このように、３つのＲＯＩ画像データ１１２Ａをデータフレームのパケット領域に埋め込むことにより、画像データ１１１Ａをデータフレームのパケット領域に埋め込む場合と比べて、伝送データ量を削減することができる。
　また、上記実施の形態において、エンコード部１１５，１２８，２６０は、１０ｂｉｔのＲＧＢ画像データを１６ｂｉｔまたは３２ｂｉｔのアライメントデータの３０ｂｉｔデータとしてパッキングしてもよい。このようにした場合にも、伝送データ量を削減することができる。
　以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　外部から入力された外部情報に基づいて、撮像により得られた画像データにおけるＲＯＩ（Region Of Interest）位置情報を生成する生成部と、
　前記ＲＯＩ位置情報を用いて前記画像データからＲＯＩ画像データを抽出する抽出部と、
　前記ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正する補正部と
　を備えた
　撮像装置。
（２）
　前記外部情報は、前記対象物の位置情報および速度情報の少なくとも一方を含む
　（１）に記載の撮像装置。
（３）
　前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれているか否かを判定する判定部を更に備えた
　（１）または（２）に記載の撮像装置。
（４）
　前記補正部は、前記判定部による判定結果に応じて前記ＲＯＩ位置情報を補正する
　（３）に記載の撮像装置。
（５）
　撮像により前記画像データを生成する撮像素子を更に備え、
　前記補正部は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正する
　（１）ないし（４）のいずれか１つに記載の撮像装置。
（６）
　前記外部情報は、前記対象物の速度情報として、前記対象物の移動方向の移動速度を含む
　（２）に記載の撮像装置。
（７）
　前記外部情報は、前記対象物の位置情報として、前記対象物の移動方向と直交する方向の座標を含む
　（６）に記載の撮像装置。
（８）
　撮像装置と、
　外部装置と
　を備え、
　前記撮像装置は、
　外部から入力された外部情報に基づいて、撮像により得られた画像データにおけるＲＯＩ位置情報を生成する生成部と、
　前記ＲＯＩ位置情報を用いて前記画像データからＲＯＩ画像データを抽出する抽出部と、
　前記ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正する補正部と、
　前記ＲＯＩ画像データを、第１インターフェース規格で前記外部装置に出力する出力部と
　を有し、
　前記外部装置は、
　前記第１インターフェース規格で前記ＲＯＩ画像データの入力を受け付ける受付部と、
　前記受付部で受け付けた前記ＲＯＩ画像データを、第２インターフェース規格で外部システムに出力するインターフェース変換部と
　を有する
　データ伝送システム。
（９）
　前記外部情報は、前記対象物の位置情報および速度情報の少なくとも一方を含む
　（８）に記載のデータ伝送システム。
（１０）
　前記撮像装置は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれているか否かを判定する判定部を更に備えた
　（８）または（９）に記載のデータ伝送システム。
（１１）
　前記補正部は、前記判定部による判定結果に応じて前記ＲＯＩ位置情報を補正する
　（１０）に記載のデータ伝送システム。
（１２）
　前記撮像装置は、撮像により前記画像データを生成する撮像素子を更に備え、
　前記補正部は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正する
　（８）ないし（１１）のいずれか１つに記載のデータ伝送システム。
（１３）
　撮像装置と、
　外部装置と
　を備え、
　前記撮像装置は、
　ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出する抽出部と、
　前記ＲＯＩ画像データを、第１インターフェース規格で前記外部装置に出力する第１出力部と
　を有し、
　前記外部装置は、
　前記第１インターフェース規格で前記ＲＯＩ画像データの入力を受け付ける受付部と、
　外部から入力された外部情報に基づいて、前記ＲＯＩ位置情報を生成する生成部と、
　前記受付部で受け付けたＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正する補正部と、
　前記生成部で生成された前記ＲＯＩ位置情報、または、前記補正部での補正により得られたＲＯＩ位置情報を前記抽出部に出力する第２出力部と、
　前記ＲＯＩ画像データを、第２インターフェース規格で外部システムに出力するインターフェース変換部と
　を有する
　データ伝送システム。
（１４）
　前記外部情報は、前記対象物の位置情報および速度情報の少なくとも一方を含む
　（１３）に記載のデータ伝送システム。
（１５）
　前記外部装置は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれているか否かを判定する判定部を更に備えた
　（１３）または（１４）に記載のデータ伝送システム。
（１６）
　前記補正部は、前記判定部による判定結果に応じて前記ＲＯＩ位置情報を補正する
　（１５）に記載のデータ伝送システム。
（１７）
　前記撮像装置は、撮像により前記画像データを生成する撮像素子を更に備え、
　前記補正部は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正し、
　前記第２出力部は、前記補正部での補正により得られた前記露光タイミングを前記撮像素子に出力する
　（１３）ないし（１６）のいずれか１つに記載のデータ伝送システム。
（１８）
　外部から入力された外部情報に基づいて、ＲＯＩ位置情報を生成することと、
　前記ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出することと、
　前記ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正することと
　を含む
　データ伝送方法。
（１９）
　前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正すること
　を更に含む
　（１８）に記載のデータ伝送方法。
　本開示の一実施形態に係る撮像装置によれば、ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出するようにしたので、圧縮以外の方法でデータ量を削減することができ、さらに、所定のインターフェース規格でデータを出力する前の段階で、データ量を削減することができる。これにより、外部装置が低速のインターフェース規格に変換する装置であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。その結果、データ伝送を円滑に行うことができる。
　本開示の一実施形態に係る第１のデータ伝送システムによれば、ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出するようにしたので、圧縮以外の方法でデータ量を削減することができ、さらに、第１インターフェース規格でデータを出力する前の段階で、データ量を削減することができる。これにより、第２インターフェース規格が低速のインターフェース規格であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。その結果、データ伝送を円滑に行うことができる。
　本開示の一実施形態に係る第２のデータ伝送システムによれば、ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出するようにしたので、圧縮以外の方法でデータ量を削減することができ、さらに、第１インターフェース規格でデータを出力する前の段階で、データ量を削減することができる。これにより、第２インターフェース規格が低速のインターフェース規格であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。その結果、データ伝送を円滑に行うことができる。
　本開示の一実施形態に係るデータ伝送方法によれば、外部から入力された外部情報に基づいて生成されたＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出するようにしたので、圧縮以外の方法でデータ量を削減することができ、さらに、第１インターフェース規格でデータを出力する前の段階で、データ量を削減することができる。これにより、第２インターフェース規格が低速のインターフェース規格であった場合であっても、データ伝送が行えなくなるおそれを低減することができる。その結果、データ伝送を円滑に行うことができる。
　本出願は、日本国特許庁において２０１９年８月３０日に出願された日本特許出願番号２０１９－１５８７８４を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (19)

  1. 　外部から入力された外部情報に基づいて、撮像により得られた画像データにおけるＲＯＩ（Region Of Interest）位置情報を生成する生成部と、
    　前記ＲＯＩ位置情報を用いて前記画像データからＲＯＩ画像データを抽出する抽出部と、
    　前記ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正する補正部と
    　を備えた
    　撮像装置。
  2. 　前記外部情報は、前記対象物の位置情報および速度情報の少なくとも一方を含む
    　請求項１に記載の撮像装置。
  3. 　前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれているか否かを判定する判定部を更に備えた
    　請求項１に記載の撮像装置。
  4. 　前記補正部は、前記判定部による判定結果に応じて前記ＲＯＩ位置情報を補正する
    　請求項３に記載の撮像装置。
  5. 　撮像により前記画像データを生成する撮像素子を更に備え、
    　前記補正部は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正する
    　請求項１に記載の撮像装置。
  6. 　前記外部情報は、前記対象物の速度情報として、前記対象物の移動方向の移動速度を含む
    　請求項２に記載の撮像装置。
  7. 　前記外部情報は、前記対象物の位置情報として、前記対象物の移動方向と直交する方向の座標を含む
    　請求項６に記載の撮像装置。
  8. 　撮像装置と、
    　外部装置と
    　を備え、
    　前記撮像装置は、
    　外部から入力された外部情報に基づいて、撮像により得られた画像データにおけるＲＯＩ位置情報を生成する生成部と、
    　前記ＲＯＩ位置情報を用いて前記画像データからＲＯＩ画像データを抽出する抽出部と、
    　前記ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正する補正部と、
    　前記ＲＯＩ画像データを、第１インターフェース規格で前記外部装置に出力する出力部と
    　を有し、
    　前記外部装置は、
    　前記第１インターフェース規格で前記ＲＯＩ画像データの入力を受け付ける受付部と、
    　前記受付部で受け付けた前記ＲＯＩ画像データを、第２インターフェース規格で外部システムに出力するインターフェース変換部と
    　を有する
    　データ伝送システム。
  9. 　前記外部情報は、画像解析によって、もしくはセンサ出力に基づいて生成される
    　請求項８に記載のデータ伝送システム。
  10. 　前記撮像装置は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれているか否かを判定する判定部を更に備えた
    　請求項８に記載のデータ伝送システム。
  11. 　前記補正部は、前記判定部による判定結果に応じて前記ＲＯＩ位置情報を補正する
    　請求項１０に記載のデータ伝送システム。
  12. 　前記撮像装置は、撮像により前記画像データを生成する撮像素子を更に備え、
    　前記補正部は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正する
    　請求項８に記載のデータ伝送システム。
  13. 　撮像装置と、
    　外部装置と
    　を備え、
    　前記撮像装置は、
    　ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出する抽出部と、
    　前記ＲＯＩ画像データを、第１インターフェース規格で前記外部装置に出力する第１出力部と
    　を有し、
    　前記外部装置は、
    　前記第１インターフェース規格で前記ＲＯＩ画像データの入力を受け付ける受付部と、
    　外部から入力された外部情報に基づいて、前記ＲＯＩ位置情報を生成する生成部と、
    　前記受付部で受け付けたＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正する補正部と、
    　前記生成部で生成された前記ＲＯＩ位置情報、または、前記補正部での補正により得られたＲＯＩ位置情報を前記抽出部に出力する第２出力部と、
    　前記ＲＯＩ画像データを、第２インターフェース規格で外部システムに出力するインターフェース変換部と
    　を有する
    　データ伝送システム。
  14. 　前記外部情報は、画像解析によって、もしくはセンサ出力に基づいて生成される
    　請求項１３に記載のデータ伝送システム。
  15. 　前記外部装置は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれているか否かを判定する判定部を更に備えた
    　請求項１３に記載のデータ伝送システム。
  16. 　前記補正部は、前記判定部による判定結果に応じて前記ＲＯＩ位置情報を補正する
    　請求項１５に記載のデータ伝送システム。
  17. 　前記撮像装置は、撮像により前記画像データを生成する撮像素子を更に備え、
    　前記補正部は、前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正し、
    　前記第２出力部は、前記補正部での補正により得られた前記露光タイミングを前記撮像素子に出力する
    　請求項１３に記載のデータ伝送システム。
  18. 　外部から入力された外部情報に基づいて、ＲＯＩ位置情報を生成することと、
    　前記ＲＯＩ位置情報を用いて、撮像により得られた画像データからＲＯＩ画像データを抽出することと、
    　前記ＲＯＩ画像データに対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記ＲＯＩ位置情報を補正することと
    　を含む
    　データ伝送方法。
  19. 　前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれていない場合には前記ＲＯＩ画像データに前記対象物の全体もしくは所定以上の割合が含まれるように前記撮像素子の露光タイミングを補正すること
    　を更に含む
    　請求項１８に記載のデータ伝送方法。
PCT/JP2020/022300 2019-08-30 2020-06-05 撮像装置、データ伝送システム、及びデータ伝送方法 WO2021039012A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-158784 2019-08-30
JP2019158784 2019-08-30

Publications (1)

Publication Number Publication Date
WO2021039012A1 true WO2021039012A1 (ja) 2021-03-04

Family

ID=74683607

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022300 WO2021039012A1 (ja) 2019-08-30 2020-06-05 撮像装置、データ伝送システム、及びデータ伝送方法

Country Status (1)

Country Link
WO (1) WO2021039012A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279568A (ja) * 2005-03-29 2006-10-12 Fujitsu Ltd 撮影装置
JP2008171141A (ja) * 2007-01-10 2008-07-24 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2010219581A (ja) * 2009-03-13 2010-09-30 Panasonic Corp 画像通信システム
JP2011234065A (ja) * 2010-04-27 2011-11-17 Nec Corp 動画像通信システム
JP2014039201A (ja) * 2012-08-17 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 複数カメラ利用時のｒｏｉを用いた遠隔制御の方法
JP2014160017A (ja) * 2013-02-20 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> 管理装置、方法及びプログラム
WO2018225449A1 (ja) * 2017-06-09 2018-12-13 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006279568A (ja) * 2005-03-29 2006-10-12 Fujitsu Ltd 撮影装置
JP2008171141A (ja) * 2007-01-10 2008-07-24 Omron Corp 画像処理装置および方法、並びに、プログラム
JP2010219581A (ja) * 2009-03-13 2010-09-30 Panasonic Corp 画像通信システム
JP2011234065A (ja) * 2010-04-27 2011-11-17 Nec Corp 動画像通信システム
JP2014039201A (ja) * 2012-08-17 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 複数カメラ利用時のｒｏｉを用いた遠隔制御の方法
JP2014160017A (ja) * 2013-02-20 2014-09-04 Nippon Telegr & Teleph Corp <Ntt> 管理装置、方法及びプログラム
WO2018225449A1 (ja) * 2017-06-09 2018-12-13 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Similar Documents

Publication Publication Date Title
KR102509132B1 (ko) 영상 송신 장치 및 영상 수신 장치
KR101512222B1 (ko) 다중 이미지 센서들로부터 데이터의 결합
KR20130028095A (ko) 다중 이미지 센서들로부터 데이터의 결합
TWI812609B (zh) 視訊傳輸裝置及視訊接收裝置
JP7007160B2 (ja) 送信装置
JP7357620B2 (ja) 画像処理装置、および画像処理システム
KR102641559B1 (ko) 송신 장치
JP2014222825A (ja) 映像処理装置および映像処理方法
US20220217310A1 (en) Transmitting apparatus, receiving apparatus, and transmission system
CN114846608A (zh) 包括图像传感器的电子设备及其操作方法
US20220279110A1 (en) Imaging device, processing device, data transmission system, and data transmission method
WO2021039012A1 (ja) 撮像装置、データ伝送システム、及びデータ伝送方法
JP7152475B2 (ja) 送信装置、受信装置、及び通信システム
TWI827725B (zh) 圖像處理裝置及圖像處理方法
JP7450704B2 (ja) 送信装置、受信装置及び伝送システム
US20220245828A1 (en) Transmitter, receiver, and communication system
WO2022063060A1 (zh) 双模态信号处理系统和方法
KR102471978B1 (ko) 이미지의 에러 데이터를 보정하여 압축하기 위한 장치 및 그에 관한 방법
US20210306624A1 (en) Electronic device for performing image compression and operating method of electronic device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20859345

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20859345

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP