WO2021039011A1 - 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法 - Google Patents

撮像装置、処理装置、データ伝送システム、及びデータ伝送方法 Download PDF

Info

Publication number
WO2021039011A1
WO2021039011A1 PCT/JP2020/022299 JP2020022299W WO2021039011A1 WO 2021039011 A1 WO2021039011 A1 WO 2021039011A1 JP 2020022299 W JP2020022299 W JP 2020022299W WO 2021039011 A1 WO2021039011 A1 WO 2021039011A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
transmission
data
unit
roi
Prior art date
Application number
PCT/JP2020/022299
Other languages
English (en)
French (fr)
Inventor
祐介 鈴木
隆浩 小山
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/637,026 priority Critical patent/US20220279110A1/en
Publication of WO2021039011A1 publication Critical patent/WO2021039011A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00209—Transmitting or receiving image data, e.g. facsimile data, via a computer, e.g. using e-mail, a computer network, the internet, I-fax
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an imaging device, a processing device, a data transmission system, and a data transmission method.
  • connection between devices such as connection between processor and sensor
  • Examples of the technology related to the connection between devices include the technology described in Patent Document 1 below.
  • some electronic devices equipped with processing devices such as processors are provided with a plurality of imaging devices.
  • output timing of each imaging device (hereinafter, simply referred to as “output timing of each imaging device”) is shifted, and the imaging device and the processing device are one-to-one.
  • the connection is realized. In such a one-to-one connection, there is a problem that it is difficult to control the output timing of each imaging device.
  • the imaging device includes an imaging unit, an encoding unit, and a transmitting unit.
  • the imaging unit acquires captured image data by imaging.
  • the encoding unit encodes a plurality of image data based on one or a plurality of captured image data acquired by the imaging unit as one transmission image data.
  • the transmission unit transmits the transmission image data generated by the encoding unit to an external device.
  • a plurality of image data based on one or a plurality of captured image data acquired by the imaging unit are encoded as one transmission image data, and the encoded transmission image data is externally encoded. Sent to the device.
  • the imaging device according to the embodiment of the present disclosure is connected to a common transmission line with another one or a plurality of imaging devices, the data output timing in the imaging device according to the embodiment of the present disclosure can be set. , It is also possible to control the timing appropriately in relation to the data output timing in another one or a plurality of imaging devices connected to a common transmission line.
  • the processing apparatus includes a receiving unit, a generating unit, and a transmitting unit.
  • the receiving unit sequentially receives transmission image data in which a plurality of image data are encoded from each of a plurality of imaging devices connected to a common transmission line via the transmission line.
  • the generation unit generates a control signal regarding the transmission timing of the image data for transmission based on the frame rate of the transmission line.
  • the transmission unit transmits the control signal generated by the generation unit to a plurality of imaging devices.
  • control signals regarding the transmission timing of image data for transmission are generated based on the frame rate of the transmission line to which a plurality of imaging devices are connected, and a plurality of control signals are generated via the transmission line. Is transmitted to the imaging device of. This makes it possible to control the timing of transmitting transmission image data from each imaging device to a common transmission line at an appropriate timing.
  • the data transmission system includes a plurality of imaging devices and external devices connected to a common transmission line.
  • Each imaging device has an imaging unit, an encoding unit, and a first transmitting unit.
  • the imaging unit acquires captured image data by imaging.
  • the encoding unit encodes a plurality of image data based on one or a plurality of captured image data obtained by the imaging unit as one transmission image data.
  • the transmission unit transmits the transmission image data generated by the encoding unit to the external device at a timing based on the control signal input from the external device.
  • the external device has a receiving unit, a generating unit, and a second transmitting unit.
  • the receiving unit sequentially receives transmission image data from each of the plurality of imaging devices via the transmission line.
  • the generation unit generates a control signal as a signal regarding the transmission timing of the image data for transmission based on the frame rate of the transmission line.
  • the second transmission unit transmits the control signal generated by the generation unit to a plurality of imaging devices.
  • a plurality of image data based on one or a plurality of captured image data obtained by the imaging unit are encoded as one transmission image data, and the encoded transmission image data. Is transmitted to the external device at a timing based on the control signal input from the external device.
  • the control signal is generated as a signal regarding the transmission timing of the image data for transmission based on the frame rate of the transmission line, and is transmitted from the external device to a plurality of imaging devices. This makes it possible to control the data transmission timing in each imaging device to an appropriate timing.
  • the data transmission method is a data transmission method in a plurality of imaging devices and an external device connected to a common transmission line, and includes the following three methods.
  • each imaging device after encoding a plurality of image data based on one or a plurality of captured image data obtained by imaging as one transmission image data, the transmission image data obtained by encoding is transmitted from an external device. Transmission to an external device via a transmission line at a timing based on the input control signal-In the external device, transmission image data is sequentially received from each of a plurality of imaging devices via the transmission line.
  • a control signal is generated as a signal about the transmission timing of image data for transmission based on the frame rate of the transmission line, and is transmitted to a plurality of imaging devices.
  • a plurality of image data based on one or a plurality of captured image data obtained by imaging are encoded as one transmission image data, and the encoded transmission image data is obtained. , It is transmitted to the external device at the timing based on the control signal input from the external device.
  • the control signal is generated as a signal regarding the transmission timing of the image data for transmission based on the frame rate of the transmission line, and is transmitted from the external device to a plurality of imaging devices. This makes it possible to control the data transmission timing in each imaging device to an appropriate timing.
  • FIG. 1 It is a figure which shows the schematic configuration example of the embedded vision system. It is a figure which shows the functional block example of an image pickup apparatus. It is a figure which shows the functional block example of an embedded vision system. It is a figure which shows an example of the data transmission procedure in an embedded vision system. It is a figure which shows typically the data generation and data transmission in each image pickup apparatus. It is a figure which shows an example of the image data obtained by each image pickup apparatus. It is a figure which shows an example of the image data obtained by one image pickup apparatus. It is a figure which shows an example of encoding of the image data of FIG. It is a figure which shows an example of the data included in the metadata of FIG. It is a figure which shows an example of the image data obtained by one image pickup apparatus.
  • FIG. 1 shows a schematic configuration example of the embedded vision system 1000 according to the present embodiment.
  • the embedded vision system 1000 includes, for example, a plurality of image pickup devices 100, an embedded processor 200, and an external system 300, as shown in FIG.
  • three image pickup devices 100 (100a, 100b, 100c) are exemplified as the plurality of image pickup devices 100.
  • the plurality of image pickup devices 100 and the embedded processor 200 are electrically connected by a common transmission line 400.
  • the transmission line 400 is a transmission line for one signal that connects the plurality of image pickup devices 100 and the embedded processor 200.
  • Data (image data) indicating an image transmitted from the image pickup apparatus 100 is transmitted from the image pickup apparatus 100 to the embedded processor 200 via a transmission line 400.
  • the embedded processor 200 and the external system 300 are electrically connected by a transmission line 500.
  • the transmission line 500 is a signal transmission line that connects the embedded processor 200 and the external system 300.
  • Data (image data) indicating an image transmitted from the embedded processor 200 is transmitted from the embedded processor 200 to the external system 300 via a transmission line 500.
  • the image pickup device 100 has an image pickup function and a transmission function, and transmits image data generated by imaging.
  • the image pickup apparatus 100 serves as a transmission apparatus in the embedded vision system 1000.
  • the image pickup device 100 can generate an image such as "an image pickup device such as a digital still camera, a digital video camera, a stereo camera, or a polarized camera", an "infrared sensor", or a “distance image sensor”. It includes an image sensor device of the above method and has a function of transmitting the generated image.
  • the image generated by the image pickup apparatus 100 corresponds to data indicating a sensing result in the image pickup apparatus 100. An example of the configuration of the image pickup apparatus 100 will be described in detail later with reference to FIGS. 2 and 3.
  • the image pickup apparatus 100 transmits data corresponding to an area set for the image data (hereinafter, also referred to as "image data of the area”) by a transmission method described later.
  • the area set for the image is called ROI (Region Of Interest).
  • ROI Region Of Interest
  • the area set for the image will be referred to as “ROI”.
  • the image data of the area is referred to as "ROI image data”.
  • the image pickup apparatus 100 transmits ROI image data, that is, by transmitting a part of the image data, the amount of data related to transmission is smaller than that of transmitting the entire image data. Therefore, when the image pickup apparatus 100 transmits the ROI image data, the amount of data is reduced, for example, the transmission time is shortened, the load related to the transmission in the embedded vision system 1000 is reduced, and so on. Various effects are produced.
  • the image pickup apparatus 100 can also transmit the entire image data.
  • the embedded processor 200 receives the data transmitted from the image pickup apparatus 100 and processes the received data.
  • the embedded processor 200 serves as an interface conversion device in the embedded vision system 1000. An example of the configuration relating to the processing of the data transmitted from the image pickup apparatus 100 will be described in detail later with reference to FIG.
  • the embedded processor 200 is composed of one or more processors composed of arithmetic circuits such as MPU (Micro Processing Unit), various processing circuits, and the like.
  • the embedded processor 200 performs various processes such as a process related to interface conversion control.
  • the embedded processor 200 may control the function in the image pickup apparatus 100 by, for example, transmitting control information to the image pickup apparatus 100.
  • the embedded processor 200 can also control the data transmitted from the image pickup apparatus 100, for example, by transmitting the area designation information to the image pickup apparatus 100.
  • FIG. 2 shows an example of a functional block of each imaging device.
  • FIG. 3 shows an example of the functional blocks of the embedded vision system 1000. In FIG. 3, only one of the plurality of imaging devices 100 is shown.
  • the image pickup apparatus 100 includes, for example, an image pickup unit 110, a signal processing block 120, and a transmission line 130.
  • the image pickup unit 110 and the signal processing block 120 are electrically connected by a transmission line 130.
  • the transmission line 130 is a signal transmission line that connects the imaging unit 110 and the signal processing block 120.
  • Data (image data) indicating an image transmitted from the image pickup unit 110 is transmitted from the image pickup unit 110 to the signal processing block 120 via the transmission line 130.
  • data transmission is performed using an interface standard common to that of the transmission line 400.
  • Data transmission may be performed in the transmission line 130 using an interface standard different from that of the transmission line 400.
  • the image pickup unit 110 includes, for example, an image pickup element 111, an ROI cutout unit 112, an ROI analysis unit 113, a control unit 114, an encoding unit 115, and a transmission unit 116.
  • the image sensor 111 converts an optical image signal obtained through, for example, an optical lens or the like into image data.
  • the image sensor 111 acquires image data 111A (image image data) by, for example, performing an image at the exposure timing input from the control unit 114.
  • image data 111A is luminance data for each polarization direction.
  • the image sensor 111 includes, for example, a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the image sensor 111 has an analog-to-digital conversion circuit, and converts analog image data into digital image data.
  • the data format after conversion may be the YCbCr format in which the color of each pixel is represented by the luminance component Y and the color difference components Cb and Cr, or the RGB format.
  • the image sensor 111 outputs the image data 111A (digital image data) obtained by imaging to the ROI cutting unit 112.
  • the ROI cutting unit 112 is, for example, one or a plurality of objects (objects) to be imaged included in the image data 111A input from the image sensor 111 when a control signal instructing the cutting out of the ROI is input from the control unit 114.
  • object is specified, and ROI is set for each specified object.
  • the ROI is, for example, a rectangular region containing the identified object.
  • the shape of the ROI is not limited to a square shape, and may be, for example, a circular shape, an elliptical shape, a polygonal shape, or an irregular shape.
  • the ROI cutting unit 112 sets one or more ROIs in the image data 111A input from the image pickup device 111 based on, for example, the ROI information (for example, the position information of the ROI) input from the control unit 114. May be good.
  • the ROI cutting unit 112 cuts out one or a plurality of ROI image data (ROI image data 112A) from the image data 111A.
  • the ROI cutting unit 112 further assigns a frame number d1 (frame identifier), an ROI number d2 (ROI identifier), and a camera number d3 (identifier of the imaging device 100) for each set ROI.
  • the frame number d1 is a frame number assigned to the image data 111A from which the ROI has been cut out.
  • the ROI number d2 is an identifier given to each ROI in each image data 111A.
  • the camera number d3 is an identifier assigned to each imaging device 100.
  • the ROI cutting unit 112 assigns "1" as the frame number d1 to the image data 111A acquired at a certain time t1, and the image acquired after a predetermined period has elapsed from the time t1 (time t2). “2” is assigned as the frame number d1 to the data 111A.
  • the ROI cutting unit 112 stores, for example, the assigned frame number d1 in the storage unit.
  • the ROI cutting unit 112 assigns "1" as the ROI number d2 to one ROI and the ROI number to the other ROI. "2" is given as d2.
  • the ROI cutting unit 112 stores, for example, the assigned ROI number d2 in the storage unit.
  • the ROI cutting unit 112 assigns "1" as the camera number d3 to the image data 111A acquired from the image pickup device 100a, and assigns "1" as the camera number d3 to the image data 111A acquired from the image pickup device 100b. 2 ”is assigned, and“ 3 ”is assigned as the camera number d3 to the image data 111A acquired from the image pickup apparatus 100c.
  • the ROI cutting unit 112 stores, for example, the assigned camera number d3 in the storage unit.
  • the ROI cutting unit 112 stores, for example, each ROI image data 112A cut out from the image data 111A in the storage unit.
  • the ROI cutting unit 112 further stores, for example, the frame numbers d1, ROI number d2, and camera number d3 assigned to each ROI in the storage unit in association with the ROI image data 112A.
  • a device position measuring device for measuring the position of the imaging device 100 is provided.
  • the ROI cutting unit 112 obtains the position data (camera position d4) of the imaging device 100 acquired from the storage unit or the position measuring device, together with the frame number d1, the ROI number d2, and the camera number d3, and the ROI image data. It is stored in the storage unit in association with 112A.
  • the ROI cutting unit 112 When the control signal instructing the output of the normal image (whole image) is input from the control unit 114, the ROI cutting unit 112 performs a predetermined process on the image data 111A input from the image sensor 111. , Thereby generating the entire image data 112B.
  • the ROI analysis unit 113 derives the position of the ROI (ROI position d5) in the image data 111A for each ROI.
  • the ROI position d5 is composed of, for example, the coordinates of the upper left end of the ROI, the length of the ROI in the X-axis direction, and the length of the ROI in the Y-axis direction.
  • the length of the ROI in the X-axis direction is, for example, the length of the physical region of the ROI in the X-axis direction.
  • the length of the ROI in the Y-axis direction is, for example, the length of the physical region of the ROI in the Y-axis direction.
  • the physical area length refers to the physical length (data length) of the ROI.
  • the coordinates of a position different from the upper left end of the ROI may be included.
  • the ROI analysis unit 113 stores, for example, the derived ROI position d5 in the storage unit.
  • the ROI analysis unit 113 assigns the frame number d1, the ROI number d2, and the camera number d3 to the ROI image data 112A, for example.
  • the ROI analysis unit 113 stores, for example, the derived ROI position d5, frame number d1, ROI number d2, and camera number d3 in the storage unit in association with the ROI image data 112A.
  • the ROI analysis unit 113 may store the derived ROI position d5, frame number d1, ROI number d2, camera number d3, and camera position d4 in the storage unit in association with the ROI image data 112A, for example.
  • auxiliary data 115B a series of data related to the ROI image data 112A (for example, frame number d1, ROI number d2, camera number d3, camera position d4 and ROI position d5) will be referred to as auxiliary data 115B.
  • the encoding unit 115 encodes, for example, one or a plurality of ROI image data 112A to generate the image data 115A.
  • Encoding refers to combining a plurality of data units (for example, a plurality of ROI image data 112A) into one data unit (for example, image data 115A).
  • the encoding unit 115 may output the input one ROI image data 112A as image data 115A without encoding.
  • the encoding unit 115 encodes, for example, 10-bit RGB data as 16-bit or 32-bit alignment data of 30-bit data to reduce the data.
  • compression processing may be performed on one or more ROI image data 112A.
  • the encoding unit 115 outputs, for example, the image data 115A and the auxiliary data 115B relating to the ROI image data 112A, which is the original data of the image data 115A, to the transmitting unit 116.
  • Auxiliary data 115B may include, for example, frame number d1, ROI number d2, camera number d3 and ROI position d5), frame number d1, ROI number d2, camera number d3, camera position d4 and ROI position d5). May include.
  • the encoding unit 115 may, for example, encode one or a plurality of whole image data 112B to generate image data 115A.
  • the encoding unit 115 outputs, for example, the image data 115A and the auxiliary data 115B to the transmitting unit 116.
  • the auxiliary data 115B includes, for example, a series of data (frame number d1 and camera number d3) corresponding to one or a plurality of overall image data 112B which are the original data of the image data 115A.
  • the auxiliary data 115B may include, for example, the frame number d1, the camera number d3, and the camera position d4 as the above series of data.
  • the control unit 114 controls the image sensor 111 and the ROI cutting unit 112 based on the signal input from the signal processing block 120.
  • the control unit 114 instructs the image sensor 111 to take an image at the exposure timing and frame rate input from the signal processing block 120, for example.
  • the control unit 114 outputs, for example, the ROI information (for example, the ROI position d5) input from the signal processing block 120 to the ROI cutting unit 112.
  • the transmission unit 116 is a circuit that generates and transmits transmission data 116A including data (image data 115A, auxiliary data 115B) input from the encoding unit 115.
  • the transmission unit 116 transmits, for example, auxiliary data 115B by Embedded Data.
  • the transmission unit 116 further transmits, for example, the image data 115A by PayloadData of LongPacket.
  • the transmission unit 116 transmits the image data 115A by the image data frame, and transmits the auxiliary data 115B by the header of the image data frame.
  • the transmission unit 116 generates and transmits the transmission data 116A according to the rules defined by the SROI (Smart Region Of Interest) in the MIPI CSI-2 standard or the MIPI CSI-3 standard, for example.
  • SROI Smart Region Of Interest
  • the signal processing block 120 includes, for example, a receiving unit 121, a decoding unit 122, an information extraction unit 123, an ROI image generation unit 124, an image analysis unit 125, a control unit 126, an image processing unit 127, an encoding unit 128, and a transmitting unit 129. doing.
  • the receiving unit 121 has, for example, a header separation unit, a header interpretation unit, a payload separation unit, an EBD interpretation unit, and an ROI data separation unit.
  • the header separation unit receives the transmission data 116A via the transmission line 130.
  • the header separation unit receives, for example, transmission data 116A including auxiliary data 115B in Embedded Data and image data 115A in Payload Data of LongPacket.
  • the header separation unit separates the transmission data 116A according to the rules defined by SROI (Smart Region Of Interest) in the MIPI CSI-2 standard or the MIPI CSI-3 standard, for example.
  • SROI Smart Region Of Interest
  • the header separation unit separates the received transmission data 116A into a header area and a packet area, for example.
  • the header interpreting unit specifies the position of the LongPacket PayloadData included in the packet area, for example, based on the data (specifically, EmbeddedData) contained in the header area.
  • the Payload separation unit separates the LongPacket PayloadData included in the packet area from the packet area, for example, based on the position of the LongPacket PayloadData specified by the header interpretation unit.
  • the EBD interpretation unit outputs, for example, Embedded Data as EBD data to the data separation unit.
  • the EBD interpreter further determines, for example, from the data type included in the Embedded Data, whether the image data contained in the LongPacket PayloadData is the image data 115A of the ROI image data (ROI image data 112A).
  • the EBD interpretation unit outputs, for example, the determination result to the ROI data separation unit.
  • the ROI data separation unit When the image data included in the LongPacket PayloadData is the image data 115A of the ROI image data (ROI image data 112A), the ROI data separation unit outputs, for example, the LongPacket PayloadData to the decoding unit 122 as the PayloadData.
  • the decoding unit 122 decodes the image data 115A to generate the image data 122A.
  • the decoding unit 122 decodes the image data 115A included in the Payload Data, for example, to generate the image data 122A.
  • the information extraction unit 123 extracts auxiliary data 115B from, for example, Embedded Data included in the EBD data. Decoding refers to extracting data before encoding (for example, image data 122A) from one data unit (for example, image data 115A).
  • the information extraction unit 123 When the original data of the image data 115A is one or more ROI image data 112A, the information extraction unit 123, for example, from the Embedded Data included in the EBD data, for example, the frame number d1, the ROI number d2, the camera number d3 and the ROI. Extract position d5.
  • the information extraction unit 123 can use, for example, from the Embedded Data included in the EBD data, for example, frame number d1, ROI number d2, camera number d3, camera. Position d4 and ROI position d5 may be extracted.
  • the information extraction unit 123 extracts, for example, the frame number d1 and the camera number d3 from the Embedded Data included in the EBD data.
  • the information extraction unit 123 extracts, for example, the frame number d1, the camera number d3, and the camera position d4 from the Embedded Data included in the EBD data. You may.
  • the ROI image generation unit 124 generates (restores) one or more ROI image data 112A or one or more total image data 112B based on, for example, the image data 122A obtained by decoding and the auxiliary data 115B. ).
  • the image analysis unit 125 analyzes the ROI image data 112A, for example, under the control of the embedded processor 200.
  • the image analysis unit 125 analyzes, for example, the ratio of color components such as RGB of the image and the brightness of the image, which are necessary for white balance, exposure compensation, and the like.
  • the image analysis unit 125 further analyzes, for example, whether or not the ROI image data 112A includes the entire object (object) as a subject or a ratio of a predetermined value or more (determination of image deviation).
  • the image analysis unit 125 may, for example, , The ROI position d5, the exposure timing and the frame rate of the imaging unit 110 are modified so that the entire object (object) as a subject or a ratio of a predetermined value or more is included in the ROI image data 112A.
  • the image analysis unit 125 outputs the corrected ROI position d5, the exposure timing and frame rate of the corrected image pickup unit 110 to the image pickup unit 110 via the control unit 126.
  • the image analysis unit 125 outputs data including, for example, ROI image data 112A and auxiliary data 115B (or auxiliary data 115B including the corrected ROI position d5) to the image processing unit 127.
  • the image analysis unit 125 outputs, for example, data including the entire image data 112B and the auxiliary data 115B to the image processing unit 127.
  • the control unit 126 transmits the ROI position d5 corrected by the image analysis unit 125 and the exposure timing and frame rate of the image pickup unit 110 corrected by the image analysis unit 125 to the image pickup unit 110.
  • the control unit 126 transmits the signal input from the embedded processor 200 to the imaging unit 110.
  • the control unit 126 transmits, for example, the ROI position d5 input from the embedded processor 200, the exposure timing and the frame rate input from the embedded processor 200 to the imaging unit 110.
  • the control unit 126 outputs, for example, an execution command for determining the image deviation described above, which is input from the embedded processor 200, to the image analysis unit 125.
  • the control unit 126 controls the image processing unit 127 and the transmission unit 129 based on, for example, a signal (first control signal) input from the embedded processor 200.
  • the control unit 126 outputs, for example, the data size (data capacity) included in the signal input from the embedded processor 200 to the image processing unit 127.
  • the control unit 126 causes the image processing unit 127 to perform the output data size adjustment described later.
  • the control unit 126 outputs, for example, the output timing of the transmission data 129A included in the signal input from the embedded processor 200 to the transmission unit 129.
  • the control unit 126 instructs the transmission unit 129 to output the transmission data 129A at the output timing of the output to the transmission unit 129.
  • the image processing unit 127 performs predetermined processing on one or more ROI image data 112A, and then one or more of one or more ROI image data 112A and one or more ROI image data 112A.
  • the data including the auxiliary data 115B of the above is output to the encoding unit 128.
  • the image processing unit 127 includes, for example, digital gain, white balance, LUT, color matrix conversion, defect correction, shading correction, noise removal, image data sorting, ⁇ correction, and demosaic (for example, output from an image sensor in a Bayer array). Is returned to RGB.
  • the image processing unit 127 has, for example, one or a plurality of image data 111A and one or a plurality of image data 111A input from the image analysis unit 125 so that a predetermined data size described later approaches the data size input from the control unit 126.
  • One or more image data 125A is selected from the ROI image data 112A (hereinafter, referred to as "a plurality of image data 125A input from the image analysis unit 125"). That is, the image processing unit 127 is input from the image analysis unit 125 so that, for example, the data size of one or more image data 125A output to the encoding unit 128 does not differ significantly each time the data size is output to the encoding unit 128.
  • One or a plurality of image data 125A is selected from the plurality of image data 125A.
  • the selection of one or more image data 125A by the image processing unit 127 will be referred to as “output data size adjustment”.
  • the "predetermined data size” refers to the data size of the image data 128A (described later) which is the image data for transmission, or the total data size of one or a plurality of image data included in the image data 128A. ..
  • examples of the "one or more image data 125A" selected by the image processing unit 127 include the following combinations.
  • the plurality of ROI image data 112A may be extracted from the same image data 111A, or a plurality of images obtained at different imaging timings. It may be extracted from the data 111A.
  • the image processing unit 127 outputs data including, for example, one or more selected image data 125A and one or more auxiliary data 115B related to the selected one or more image data 125A to the encoding unit 128.
  • the encoding unit 128 encodes one or more image data 125A to generate image data 128A.
  • the encoding unit 128 encodes, for example, 10-bit RGB data as 16-bit or 32-bit alignment data of 30-bit data to reduce the data.
  • the transmission unit 129 is a circuit that generates and transmits transmission data 129A including data input from the encoding unit 128.
  • the transmission unit 129 is, for example, one or a plurality of auxiliary data 115B relating to the image data 128A generated by encoding one or a plurality of image data 125A and the one or a plurality of image data 125A which is the original data of the image data 128A.
  • the transmission data 129A including the above is generated and sent to the embedded processor 200.
  • the transmission unit 129 transmits, for example, one or a plurality of auxiliary data 115B by Embedded Data.
  • the transmission unit 129 further transmits, for example, image data 128A by PayloadData of LongPacket.
  • the transmission unit 129 transmits the image data 128A by the data frame and the auxiliary data 115B by the header of the data frame.
  • the transmission unit 129 generates transmission data 129A according to the rules defined by the MIPI CSI-2 standard or the MIPI CSI-3 standard, and transmits the transmission data 129A to the embedded processor 200 via the transmission line 400, for example.
  • the MIPI CSI-2 standard or the MIPI CSI-3 standard is an interface standard that connects the image pickup apparatus 100 and the embedded processor 200 on a one-to-one basis.
  • the transmission unit 129 transmits the transmission data 129A to the embedded processor 200 via the transmission line 400 at a predetermined output timing.
  • the transmission unit 129 transmits the transmission data 129A to the embedded processor 200 via the transmission line 400, for example, at the output timing based on the signal (first control signal) input from the control unit 126.
  • the embedded processor 200 has, for example, a receiving unit 210, a decoding unit 220, an image analysis unit 230, a control unit 240, an image processing unit 250, an encoding unit 260, and a transmitting unit 270.
  • the receiving unit 210 is, for example, an image data 115A in which one or a plurality of image data 125A are encoded from each of a plurality of imaging devices 100 connected to a common transmission line 400, and 1 which is the original data of the image data 115A.
  • transmission data 129A including one or a plurality of auxiliary data 115B relating to the plurality of image data 125A is sequentially received via the transmission line 400.
  • the receiving unit 210 is, for example, an interface standard for connecting transmission data 129A (image data 115A) from each of the plurality of imaging devices 100 to one of the plurality of imaging devices 100 and the receiving unit 210 on a one-to-one basis. Receive with.
  • the receiving unit 210 has, for example, a header separating unit, a header interpreting unit, a payload separating unit, an EBD interpreting unit, and an ROI data separating unit, and performs the same processing as the receiving unit 121 described above for the transmission data 129A. Execute.
  • the decoding unit 220 generates one or more image data 125A by decoding the image data 128A included in the transmission data 129A.
  • the decoding unit 220 decodes the image data 128A included in the Payload Data, for example, to generate one or a plurality of image data 125A.
  • the one or more image data 125A obtained by decoding corresponds to any of the above (1) to (7).
  • the image analysis unit 230 analyzes one or more ROI image data 112A included in the data obtained by decoding under the control of the control unit 240.
  • the image analysis unit 230 analyzes, for example, the ratio of color components such as RGB of the image necessary for white balance, exposure compensation, and the brightness of the image in one or more ROI image data 112A. Further, for example, when the image analysis unit 125 does not perform the above-mentioned image deviation determination, the image analysis unit 230 determines the above-mentioned image deviation for each ROI image data 112A. As a result of determining the image deviation described above, the image analysis unit 230 corrects the ROI position d5, the exposure timing and frame rate of the imaging unit 110, the corrected ROI position d5, and the corrected exposure. The timing and frame rate are output to the image pickup unit 110 via the control unit 240 and the signal processing block 120.
  • the image analysis unit 230 outputs data including, for example, one or a plurality of image data 125A and one or a plurality of auxiliary data 115B relating to the one or a plurality of image data 125A to the image processing unit 250.
  • the image analysis unit 230 outputs the corrected ROI position d5 to the control unit 240.
  • the control unit 240 transmits the corrected ROI position d5 to the signal processing block 120 (imaging device 100). That is, when the ROI position d5 is corrected by the image analysis unit 230, the control unit 240 transmits the corrected ROI position d5 to the image pickup unit 110 via the signal processing block 120.
  • the control unit 240 generates a control signal regarding the transmission timing of the transmission data 129A (image data 128A) based on the frame rate of the transmission line 400.
  • the control unit 240 transmits the generated control signal regarding the transmission timing to the signal processing block 120 (imaging device 100).
  • the control unit 240 defines, for example, a transmission timing in which transmission data 129A (image data 128A) from each of the plurality of image pickup devices 100 can be sequentially received via the transmission line 400 as a control signal regarding the transmission timing. Generate a signal.
  • the control unit 240 generates a control signal for a data size as an index at the time of encoding based on the frame rate of the transmission line 400.
  • the control unit 240 transmits the generated control signal regarding the data size to the signal processing block 120 (imaging device 100).
  • the control unit 240 generates, for example, as a control signal for the data size, a signal defining a data size capable of receiving transmission data 129A (image data 128A) from each of the plurality of imaging devices 100 at a predetermined frame rate. ..
  • the image processing unit 250 performs predetermined processing on one or more image data 125A, and then inputs data including one or more image data 125A and one or more auxiliary data 115B to the encoding unit 260. Output.
  • the image processing unit 250 uses, for example, digital gain, white balance, LUT, color matrix conversion, defect correction, shading correction, noise removal, image data sorting, ⁇ correction, and demosaic (for example, output from an image sensor in a Bayer array). Is returned to RGB.
  • the encoding unit 260 encodes one or more image data 125A to generate image data 260A.
  • the encoding unit 260 encodes, for example, 10-bit RGB data as 16-bit or 32-bit alignment data of 30-bit data to reduce the data.
  • the transmission unit 270 is a circuit that generates and transmits transmission data 270A including data input from the encoding unit 260.
  • the transmission unit 270 generates and transmits, for example, transmission data 270A including image data 260A generated by encoding one or more image data 125A and one or more auxiliary data 115B.
  • the transmission unit 270 generates transmission data 270A according to a rule defined by a transmission standard such as GigE, and transmits the transmission data 270A to the external system 300 via the transmission line 500.
  • FIG. 4 shows an example of a data transmission procedure in the embedded vision system 1000 according to the present embodiment.
  • FIG. 5 schematically shows data generation and data transmission in each image pickup apparatus 100.
  • FIG. 6 shows an example of image data obtained by each image pickup apparatus 100.
  • FIG. 6A shows an example of image data obtained by the image pickup apparatus 100a at different imaging timings.
  • FIG. 6B shows an example of image data obtained by the image pickup apparatus 100b at different imaging timings.
  • FIG. 6C shows an example of image data obtained by the image pickup apparatus 100c at different imaging timings.
  • the imaging unit 110 acquires image data 111A by performing imaging based on a predetermined exposure timing and frame rate.
  • the image pickup unit 110 has one or more ROI image data (ROI images) from the image data 111A acquired by the image pickup device 111 based on the determined position of the ROI.
  • Data 112A) is acquired (step S101).
  • the imaging unit 110 further generates auxiliary data 115B for each ROI image data 112A (step S102).
  • the imaging unit 110 transmits the ROI image data 112A and the auxiliary data 115B relating to the ROI image data 112A to the signal processing block 120 (step S103).
  • three ROI image data a1, b1, c1 and three ROI image data a1 are obtained from three image data 111A (frame1, frame2, frame3) obtained at different imaging timings.
  • B1, c1 and auxiliary data d11, d12, d13 are obtained.
  • the ROI image data a1 is a part of the image data 111A of the frame1.
  • the ROI image data b1 is a part of the image data 111A of frame2.
  • the ROI image data c1 is a part of the image data 111A of frame3.
  • the imaging unit 110 of the imaging apparatus 100a may, for example, have a set of ROI image data a1 and auxiliary data d11, a set of ROI image data b1 and auxiliary data d12, and a set of ROI image data c1 and auxiliary data. d13 and d13 are sequentially transmitted to the signal processing block 120.
  • two ROI image data a2 and b2 and two ROI image data a2 and b2 are obtained from three image data 111A (frame1, frame2, frame3) obtained at different imaging timings. It is assumed that the auxiliary data d21 and d22 regarding the above are obtained.
  • the ROI image data a2 is a part of the image data 111A of frame1.
  • the ROI image data b2 is a part of the image data 111A of the frame3.
  • the imaging unit 110 of the imaging apparatus 100b sequentially transmits, for example, a set of ROI image data a2 and auxiliary data d21 and a set of ROI image data b2 and auxiliary data d22 to the signal processing block 120.
  • three ROI image data a3, b3, c3 and three ROI image data a3 are obtained from three image data 111A (frame1, frame2, frame3) obtained at different imaging timings. , B3, c3, and auxiliary data d31, d32, d33 are obtained.
  • the ROI image data a3 is a part of the image data 111A of frame1.
  • the ROI image data b3 is a part of the image data 111A of frame1.
  • the ROI image data c3 is a part of the image data 111A of frame2.
  • the imaging unit 110 of the imaging apparatus 100c is, for example, a set of ROI image data a3 and auxiliary data d31, a set of ROI image data b3 and auxiliary data d32, and a set of ROI image data c3 and auxiliary data.
  • the d33 and the d33 are sequentially transmitted to the signal processing block 120.
  • the signal processing block 120 receives the ROI image data 112A and the auxiliary data 115B related to the ROI image data 112A from the imaging unit 110 (step S104).
  • the signal processing block 120 adjusts the output data size described above, thereby selecting one or more image data 125A.
  • the signal processing block 120 further encodes one or more selected image data 125A as one transmission image data (transmission data 116A). That is, the signal processing block 120 generates the transmission data 116A by encoding (step S105).
  • the signal processing block 120 transmits the transmission data 129A to the embedded processor 200 via the transmission line 400 at the output timing instructed by the control unit 126.
  • the signal processing block 120 of the image pickup device 100a may, for example, transmit data 129A (image data p1, p1) at time t1.
  • Auxiliary data d14) is transmitted to the embedded processor 200 via the transmission line 400.
  • the image data p1 is data obtained by encoding the ROI image data a1, b1 and c1.
  • the auxiliary data d14 is data including auxiliary data d11, d12, and d13.
  • the signal processing block 120 of the image pickup apparatus 100b transmits transmission data 129A (image data p2, auxiliary data d23) to the embedded processor via the transmission line 400 at time t2, for example, when a predetermined time has elapsed from time t1.
  • the image data p2 is data obtained by encoding the ROI image data a2 and b2.
  • the auxiliary data d23 is data including auxiliary data d21 and d22.
  • the signal processing block 120 of the image pickup apparatus 100c transmits transmission data 129A (image data p3, auxiliary data d33) to the embedded processor via the transmission line 400 at time t3, for example, when a predetermined time has elapsed from time t2.
  • the image data p3 is data obtained by encoding the ROI image data a3, b3, and c3.
  • the auxiliary data d34 is data including auxiliary data d31, d32, and d33.
  • the embedded processor 200 receives transmission data 129A (image data p2, auxiliary data d23), transmission data 129A (image data p2, auxiliary data d23), and transmission data 129A from each imaging device 100 (100a, 100b, 100c). (Image data p3, auxiliary data d33) are sequentially received via the transmission line 400 (step S107).
  • the embedded processor 200 extracts auxiliary data from the received transmission data 129A (step S108). Further, the embedded processor 200 extracts image data from the received transmission data 129A (step S109). The embedded processor 200 decodes the image data and performs predetermined signal processing on the image data obtained by the decoding (step S110). In this way, data transmission in the embedded vision system 1000 according to the present embodiment is performed.
  • FIG. 7 shows an example of image data obtained by one imaging device 100.
  • FIG. 7 shows an example of image data obtained by the image pickup apparatus 100a at different imaging timings.
  • the ROI image data a1, the ROI image data b1 and the ROI image data c1 are positioned so as not to overlap each other.
  • FIG. 8 shows an example of encoding the image data of FIG. 7. Note that FIG. 8 shows an example of transmission data 129A when encoding is performed according to the rules defined by SROI (Smart Region Of Interest) in the MIPI CSI-2 standard or the MIPI CSI-3 standard. ..
  • SROI Smart Region Of Interest
  • the transmission data 129A is composed of, for example, a data frame as shown in FIG.
  • a data frame usually has a header area, a packet area, and a footer area. In FIG. 8, the description of the footer region is omitted for convenience.
  • the header area includes Embedded Data.
  • Embedded Data refers to additional information that can be embedded in the header or footer of a data frame.
  • the embedded data includes auxiliary data d14 as metadata (metaData).
  • the packet area in the data frame, includes the Payload Data of LongPacket for each line. Further, the packet area includes image data p1.
  • the PayloadData of the LongPacket of each line contains the imageData of one line in the image data p1.
  • FIG. 8 illustrates, in the image data p1, a portion corresponding to the ROI image data a1, a portion corresponding to the ROI image data b1, and a portion corresponding to the ROI image data c1.
  • the ROI image data a1 and the ROI image data c1 are located at positions where they do not overlap each other, in the image data p1, the portion corresponding to the ROI image data a1 and the ROI image data b1 The portion corresponding to and the portion corresponding to the ROI image data c1 do not overlap each other.
  • FIG. 9 shows an example of the data included in the metadata of FIG.
  • the auxiliary data d14 is configured to include auxiliary data d11, d12, and d13, for example.
  • auxiliary data d11 for example, "1" as the frame number d1, "2" as the ROI number d2, "(Xa1, Ya1) (XLa1, YLa1)” as the ROI position d5, and "1” as the camera number d3.
  • "(Xma1, Yma1, Zma1) is included as the camera position d4.
  • 2 as the frame number d1 and” 1 "as the ROI number d2 are included in the ROI position.
  • d5 “(Xa2, Ya2) (XLa2, YLa2)” is included as d5, “1” is included as camera number d3, and “(Xma1, Yma1, Zma1)” is included as camera position d4.
  • Auxiliary data d13 includes. For example, “3" as the frame number d1, "1” as the ROI number d2, “(Xa3, Ya3) (XLa3, YLa3)” as the ROI position d5, and “1” as the camera number d3, the camera position d4. As “(Xma1, Yma1, Zma1) are included respectively.
  • FIG. 10 shows an example of image data obtained by one imaging device 100.
  • FIG. 10 shows an example of image data obtained by the image pickup apparatus 100a at different imaging timings.
  • the ROI image data a1 and the ROI image data b1 are located at positions where they do not overlap each other, and the ROI image data b1 and the ROI image data c1 are located at positions where they do not overlap each other.
  • the ROI image data a1 and the ROI image data c1 are in positions where a part of each overlaps with each other.
  • FIG. 11 shows an example of encoding the image data of FIG. Note that FIG. 11 shows an example of transmission data 129A when encoding is performed according to the rules defined by SROI (Smart Region Of Interest) in the MIPI CSI-2 standard or the MIPI CSI-3 standard. ..
  • SROI Smart Region Of Interest
  • the transmission data 129A is composed of, for example, a data frame as shown in FIG.
  • a data frame usually has a header area, a packet area, and a footer area. In FIG. 11, the description of the footer region is omitted for convenience.
  • the header area includes Embedded Data.
  • the embedded data includes auxiliary data d14 as metadata (metaData).
  • the packet area includes the Payload Data of LongPacket for each line. Further, the packet area includes image data p1.
  • the PayloadData of the LongPacket of each line contains the imageData of one line in the image data p1.
  • FIG. 11 illustrates a case where the image data p1 is composed of the image data corresponding to the ROI image data a1, the image data corresponding to the ROI image data b1, and the image data corresponding to the ROI image data c1. Has been done.
  • the ROI image data a1 and the ROI image data c1 are in positions where a part of each overlaps with each other.
  • the ROI image data a1 and the ROI image data c1 have different imaging timings.
  • the image data ov1 of the portion of the ROI image data a1 that overlaps with the ROI image data c1 and the image data ov2 of the portion of the ROI image data c1 that overlaps with the ROI image data a1 completely match. do not do. Therefore, if either the image data ov1 or the image data ov2 is omitted in an attempt to reduce the amount of transmission data, either the ROI image data a1 or the ROI image data c1 cannot be restored.
  • both the image data ov1 and the image data ov2 are included in the image data frame without being omitted. That is, when the image processing unit 127 has an overlap in each ROI position d5 of the plurality of image data 125A selected by performing the output data size adjustment described above, the image data of the portion corresponding to the overlap is omitted. The included data is output to the encoding unit 260.
  • the image pickup apparatus 100 uses the image data 115A without omitting either the image data ov1 or the image data ov2.
  • the embedded processor 200 obtains ROI image data a1 and ROI image data c1 from the image data 115A received from the image pickup apparatus 100 by omitting either the image data ov1 or the image data ov2. It may be generated (restored).
  • FIG. 12 shows an example of image data obtained by one imaging device 100.
  • FIG. 12 illustrates three image data 111A (frame1, frame2, frame3) obtained at different imaging timings.
  • the six ROI image data a, b, c, d, e, and f are obtained from the three image data 111A (frame1, frame2, frame3) at positions where they do not overlap each other.
  • the ROI image data a is a part of the image data 111A of frame1.
  • the ROI image data b, c, and d are a part of the image data 111A of frame2.
  • the ROI image data e and f are a part of the image data 111A of frame3.
  • FIGS. 13 and 14 show an example of encoding the image data of FIG. 13 and 14 show an example of transmission data 129A when encoding is performed according to the rules defined by SROI (Smart Region Of Interest) in the MIPI CSI-2 standard or the MIPI CSI-3 standard. Has been done.
  • SROI Smart Region Of Interest
  • FIGS. 13 and 14 the three ROI image data a, b, and c and the three ROI image data d, e, and f are converted into separate transmission data 129A by adjusting the output data size described above. The assigned state is illustrated.
  • One transmission data 129A is, for example, as shown in FIG. 13, image data pa obtained by encoding three ROI image data a, b, c and three ROI image data a, b, c. Includes auxiliary data dx and.
  • the header area includes auxiliary data dx as metadata (metaData).
  • the packet area includes image data pa. Since the three ROI image data a, b, and c are located at positions where they do not overlap each other, in the image data pa, a portion corresponding to the ROI image data a, a portion corresponding to the ROI image data b, and a ROI The parts corresponding to the image data c do not overlap each other.
  • the other transmission data 129A is, for example, as shown in FIG. 14, the image data pb obtained by encoding the three ROI image data d, e, f and the three ROI image data d, e, f. Includes auxiliary data dy and.
  • the header area includes auxiliary data dy as metadata (metaData).
  • the packet area includes image data pb. Since the three ROI image data d, e, and f are located at positions that do not overlap each other, in the image data pb, a portion corresponding to the ROI image data d, a portion corresponding to the ROI image data e, and a ROI The parts corresponding to the image data f do not overlap each other.
  • FIG. 15 shows an example of the data included in the metadata of FIG.
  • the auxiliary data dx is configured to include auxiliary data da, db, and dc.
  • the auxiliary data da is auxiliary data related to the ROI image data a.
  • the auxiliary data db is auxiliary data related to the ROI image data b.
  • the auxiliary data dc is auxiliary data related to the ROI image data c.
  • "1" is set as the frame number d1
  • "1" is set as the ROI number d2
  • "(Xa1, Ya1) (XLa1, YLa1)" is set as the ROI position d5
  • "1" is set as the camera number d3.
  • auxiliary data db for example
  • 2 "as the frame number d1 and” 1 "as the ROI number d2 are included in the ROI position.
  • (Xa2, Ya2) (XLa2, YLa2)” is included as d5
  • “1” is included as camera number d3
  • “(Xma1, Yma1, Zma1)” is included as camera position d4.
  • the auxiliary data dc includes.
  • FIG. 16 shows an example of data included in the metadata of FIG.
  • the auxiliary data dy is configured to include auxiliary data dd, def, and df, for example.
  • the auxiliary data dd is auxiliary data related to the ROI image data d.
  • the auxiliary data de is auxiliary data related to the ROI image data e.
  • the auxiliary data df is auxiliary data related to the ROI image data f.
  • the auxiliary data dd includes, for example, "2" as the frame number d1, "3" as the ROI number d2, "(Xa4, Ya4) (XLa4, YLa4)" as the ROI position d5, and "1" as the camera number d3.
  • auxiliary data df includes.
  • FIGS. 17 and 18 show an example of encoding the image data of FIG.
  • FIGS. 17 and 18 show an example of transmission data 129A when encoding is performed according to the rules defined by the MIPI CSI-2 standard or the MIPI CSI-3 standard.
  • the ROI image data a, b, c and a part d1 of the ROI image data a, a part d2 of the ROI image data a, and the ROI image are shown by adjusting the output data size described above.
  • An example shows that the data d, e, and f are assigned to the separate transmission data 129A.
  • one image data 125A (for example, ROI image data 112A) is converted into two image data (for example, two partial ROI image data).
  • the data D1 containing one image data (for example, one partial ROI image data) and the data D2 containing the other image data (for example, one partial ROI image data) are separately encoded in the encoding unit 260.
  • the transmission unit 129 uses the image data obtained by encoding the data D1 to generate the transmission data 129A as shown in FIG.
  • the transmission unit 129 uses the image data obtained by encoding the data D2 to generate the transmission data 129A as shown in FIG.
  • FIG. 19 shows an example of the data included in the metadata of FIG.
  • the auxiliary data dx is configured to include auxiliary data da, db, dc, and dd1.
  • the auxiliary data dd1 is auxiliary data relating to the partial ROI image data which is a part of the ROI image data a.
  • auxiliary data dd1 for example, "2" as the frame number d1, "3" as the ROI number d2, "(Xa4, Ya4) (XLa7, YLa7)" as the ROI position d5, and "1" as the camera number d3.
  • "(Xma1, Yma1, Zma1) is included as the camera position d4, respectively.
  • FIG. 20 shows an example of data included in the metadata of FIG.
  • the auxiliary data dy includes auxiliary data dd2, de, and df.
  • the auxiliary data dd2 is auxiliary data relating to the partial ROI image data which is a part of the ROI image data a.
  • auxiliary data dd2 for example, "2" as the frame number d1, "3" as the ROI number d2, "(Xa8, Ya8) (XLa8, YLa8)" as the ROI position d5, and "1" as the camera number d3.
  • "(Xma1, Yma1, Zma1) is included as the camera position d4, respectively.
  • the image pickup apparatus 100 in the image pickup apparatus 100 according to the present embodiment, one or more image data 111A, and a plurality of ROI image data 112A extracted from one or more image data 111A.
  • the image data 122A is encoded as the image data 115A, and the encoded image data 115A is transmitted to the embedded processor 200.
  • the data output timing in the image pickup apparatus 100 is set to the other one connected to the common transmission path 400.
  • transmission data 129A (image data 128A) is transmitted to the embedded processor 200 at a timing based on the first control signal input from the embedded processor 200.
  • transmission data 129A image data 128A
  • the embedded processor 200 controls the data output timing in each imaging device 100 to an appropriate timing in relation to the data output timing in the other one or a plurality of imaging devices 100 connected to the common transmission line 400. ..
  • encoding is performed so that the above-mentioned predetermined data size approaches the data size input from the control unit 126. Thereby, it is possible to control the data output timing in each imaging device 100 to an appropriate timing in relation to the data output timing in the other one or a plurality of imaging devices 100 connected to the common transmission line 400. ..
  • auxiliary data 115B relating to one or a plurality of image data 125A is generated, and one or a plurality of auxiliary data 115B is transmitted to the embedded processor 200 together with the image data 128A.
  • Auxiliary data 115B includes, for example, frame number d1, ROI number d2, camera number d3 and ROI position d5.
  • the auxiliary data 115B includes the position data (camera position d4) of the image pickup apparatus 100.
  • image processing according to the position of the image pickup apparatus 100 becomes possible.
  • the image pickup apparatus 100 when there is an overlap in each ROI position d5 of the plurality of image data 125A selected by performing the output data size adjustment described above, the portion corresponding to the overlap.
  • the image data of is included without omission and encoded. As a result, all the image data 125A can be restored even when the imaging timings of the plurality of image data 125A are not all equal.
  • one image data 125A (for example, ROI image data 112A) becomes two image data (for example, two partial ROI images).
  • Data D1 that is divided into data) and includes one image data (for example, one partial ROI image data) and data D2 that includes the other image data (for example, one partial ROI image data) are separately encoded. It is output to 128.
  • the data size of one or more image data 125A output to the encoding unit 128 can be prevented from being significantly different each time the data is output to the encoding unit 128.
  • a control signal regarding the transmission timing of the transmission data 129A (image data 128A) is generated based on the frame rate of the transmission line 400 and transmitted to each imaging device 100.
  • This control signal is a signal that defines the transmission timing at which transmission data 129A (image data 128A) from each of the plurality of image pickup devices 100 can be sequentially received via the transmission line 400. Thereby, it is possible to control the data output timing in each imaging device 100 to an appropriate timing in relation to the data output timing in the other one or a plurality of imaging devices 100 connected to the common transmission line 400. ..
  • a control signal for a data size as an index at the time of encoding is generated based on the frame rate of the transmission line 400 and transmitted to each imaging device 100.
  • This control signal is a signal that defines a data size capable of receiving transmission data 129A (image data 128A) from each of the plurality of imaging devices 100 at a predetermined frame rate.
  • the transmission data 129A (image data 128A) from each of the plurality of imaging devices 100 is one-to-one between one of the plurality of imaging devices 100 and the embedded processor 200. It is received by the interface standard connected by. As a result, it is not necessary to provide a transmission line for each image pickup apparatus 100, so that the circuit scale of the embedded processor 200 can be minimized, and the embedded processor 200 can be miniaturized.
  • one or a plurality of image data 125A is acquired from the transmission data 129A (image data 128A) by decoding the received transmission data 129A (image data 128A). Further, one or more image data 125A acquired by decoding are encoded as image data 260A, and the image data 260A is transmitted to the external system 300 on a transmission line 500 having an interface standard different from that of the transmission line 400. As a result, two transmission lines 400 and 500 having different interface standards can be connected by the embedded processor 200.
  • FIG. 21 schematically shows data generation and data transmission in each image pickup apparatus 100.
  • FIG. 22 shows an example of image data obtained by each imaging device 100.
  • FIG. 22A shows an example of image data obtained by the image pickup apparatus 100a at different imaging timings.
  • FIG. 22B shows an example of image data obtained by the image pickup apparatus 100b at different imaging timings.
  • FIG. 22C shows an example of image data obtained by the image pickup apparatus 100c at different imaging timings.
  • At least one image pickup device 100 out of the plurality of image pickup devices 100 transmits transmission data 129A including image data 115A obtained by encoding the entire image data 112B. It may be transmitted to the embedded processor 200 via the road 400.
  • the transmission data 129A including the auxiliary data d21 related to the whole image data a2 which is the original data of the data p2 may be transmitted to the embedded processor 200 via the transmission line 400.
  • FIG. 23 schematically shows a modified example of the functional block of the embedded vision system 1000.
  • the bridge IC 600 may be provided on the transmission line 400.
  • the bridge IC 600 is provided between the plurality of image pickup devices 100 and the embedded processor 200.
  • the bridge IC 600 temporarily stores the transmission data 116A output from each of the plurality of imaging devices 100, and sequentially embeds the temporarily stored plurality of transmission data 116A via the transmission line 400 at a predetermined timing. Send to processor 200.
  • FIG. 24 shows an example of a data transmission procedure in the embedded vision system 1000 according to this modification.
  • FIG. 25 schematically shows data generation and data transmission in each image pickup apparatus 100.
  • the imaging unit 110 acquires image data 111A by performing imaging based on a predetermined exposure timing and frame rate.
  • the image pickup unit 110 has one or more ROI image data (ROI images) from the image data 111A acquired by the image pickup device 111 based on the determined position of the ROI.
  • Data 112A) is acquired (step S101).
  • the imaging unit 110 further generates auxiliary data 115B for each ROI image data 112A (step S102).
  • the imaging unit 110 transmits the ROI image data 112A and the auxiliary data 115B corresponding to the ROI image data 112A to the signal processing block 120 (step S103).
  • the signal processing block 120 receives the ROI image data 112A and the auxiliary data 115B corresponding to the ROI image data 112A from the imaging unit 110 (step S104). .. In each image pickup apparatus 100 (100a, 100b, 100c), the signal processing block 120 adjusts the output data size described above, thereby selecting one or more image data 125A. In each image pickup apparatus 100 (100a, 100b, 100c), the signal processing block 120 further encodes one or more selected image data 125A as one transmission image data (transmission data 116A). That is, the signal processing block 120 generates the transmission data 116A by encoding (step S105).
  • the signal processing block 120 transmits the transmission data 129A to the bridge IC 600 at the output timing instructed by the control unit 126 (step S106).
  • the signal processing block 120 of the imaging device 100a may, for example, transmit data 129A (image data p1) at a predetermined timing.
  • Auxiliary data d14) is transmitted to the bridge IC 600.
  • the signal processing block 120 of the image pickup apparatus 100b transmits transmission data 129A (image data p2, auxiliary data d23) to the bridge IC 600 at a predetermined timing, for example. Further, the signal processing block 120 of the image pickup apparatus 100c transmits transmission data 129A (image data p3, auxiliary data d33) to the bridge IC 600 at a predetermined timing, for example.
  • the bridge IC 600 receives the transmission data 129A from each imaging device 100 (100a, 100b, 100c) (step S111).
  • the bridge IC 600 sequentially transmits the transmission data 129A received from each image pickup apparatus 100 (100a, 100b, 100c) to the embedded processor 200 via the transmission line 400 (step S112).
  • the embedded processor 200 sequentially receives a plurality of transmission data 129A from the bridge IC 600 via the transmission line 400 (step S107).
  • the embedded processor 200 extracts auxiliary data from the received transmission data 129A (step S108). Further, the embedded processor 200 extracts image data from the received transmission data 129A (step S109).
  • the embedded processor 200 decodes the image data and performs predetermined signal processing on the image data obtained by the decoding (step S110). In this way, data transmission in the embedded vision system 1000 according to this modification is performed.
  • the bridge IC 600 is provided on the transmission line 400.
  • the bridge IC 600 can be made to multiplex the plurality of transmission data 129A output from the plurality of imaging devices 100 (100a, 100b, 100c).
  • the bridge IC 600 allows the plurality of image pickup devices 100 (100a, 100b). , 100c), a plurality of transmission data 129A output from the above can be multiplexed. Therefore, it is possible to control the data output timing in each imaging device 100 to an appropriate timing in relation to the data output timing in the other one or a plurality of imaging devices 100 connected to the common transmission line 400.
  • FIG. 26 shows an example in which the embedded vision system 1000 is applied as a part of a road traffic system.
  • each imaging device 100 is installed, for example, at a position and orientation capable of photographing a road including a plurality of lanes from a direction parallel to the traveling direction of the vehicle.
  • the auxiliary data 115B relating to the image data 125A is combined with the identifier of the image pickup device 100 (camera number d3).
  • the position of the image pickup apparatus 100 (camera position d4), the positional relationship between the plurality of image data 125A obtained at the same imaging timing, the camera number d3 or the camera position included in the auxiliary data 115B. It can be specified by d4.
  • the image data 111A as shown in FIG. 27 is obtained from two image pickup devices 100 (100a, 100b).
  • the encoding unit 128 corresponds the two ROI image data 112A obtained from the two imaging devices 100 (100a, 100b) to the camera number d3 or the camera position d4. It may be synthesized by the positional relationship.
  • the encoding units 128 and 260 decode the two ROI image data 112A obtained from the two imaging devices 100 (100a and 100b) into the two ROI image data 112A at the time of decoding. It may be synthesized by the positional relationship of.
  • FIG. 29 shows an example in which the embedded vision system 1000 is applied to a drone (unmanned aerial vehicle).
  • a plurality of image pickup devices 100 (100a, 100b) and an embedded processor 200 are mounted on the drone.
  • the image data 111A as shown in FIG. 30 is mounted on the plurality of image pickup devices 100 (100a, 100b).
  • the external system 300 is configured to be capable of wireless communication with the embedded processor 200, and is installed on the ground.
  • the ROI cutting unit 112 may divide a part of one or a plurality of ROI image data 112A cut out from the image data 111A into a plurality of parts.
  • the size of the image data 115A included in each transmission data 116A or the size of the image data 128A included in each transmission data 129A can be made more uniform as compared with the case where the division is not performed.
  • the ROI image generation unit 124 When the division is performed, the ROI image generation unit 124 generates (restores) the ROI image data 112A before the division by connecting the divided image data to each other. At this time, in order to avoid restoration failure due to data loss, it is preferable to perform the division process in the ROI cutting section 112 only when the position of the object hardly changes between frames.
  • the present disclosure may have the following structure.
  • An imaging unit that acquires captured image data by imaging
  • An encoding unit that encodes a plurality of image data based on one or a plurality of captured image data acquired by the imaging unit as one transmission image data.
  • An imaging device including a transmission unit that transmits the transmission image data generated by the encoding unit to an external device.
  • the plurality of image data includes one or a plurality of ROI (Region Of Interest) image data extracted from the one or a plurality of captured image data.
  • the transmission unit transmits the transmission image data to the external device at a timing based on a first control signal input from the external device.
  • the encoding unit encodes the image data for transmission or the plurality of image data so that the data size approaches the data size based on the second control signal input from the external device (1) to (3). ).
  • the imaging device according to any one of. (5)
  • a generation unit for generating auxiliary data related to the plurality of image data is further provided.
  • the auxiliary data includes a frame identifier, an ROI identifier, ROI position data, and an identifier of the imaging device (5). The imaging device described.
  • the imaging device wherein the auxiliary data further includes position data of the imaging device.
  • the encoding unit overlaps when the plurality of image data includes the plurality of ROI image data and when the ROI position data of each of the plurality of ROI image data overlaps.
  • the image pickup apparatus according to (6) or (7), wherein the image data of the portion corresponding to the above is included and encoded without omission.
  • the encoding unit divides one ROI image data of the plurality of ROI image data into two partial ROI image data.
  • One of the partial ROI image data is included in the first transmission image data for encoding, and the other partial ROI image data is included in the second transmission image data for encoding (6) to ( The image pickup apparatus according to any one of 8). (10) Described in any one of (1) to (9), wherein the transmission unit transmits the transmission image data to the external device with an interface standard for connecting the image pickup device and the external device on a one-to-one basis. Imaging device. (11) A receiving unit that sequentially receives first transmission image data in which a plurality of image data are encoded from each of a plurality of imaging devices connected to a common transmission line via the transmission line. A generation unit that generates a first control signal regarding the transmission timing of the first transmission image data based on the frame rate of the transmission line.
  • a processing device including a first transmission unit that transmits the first control signal generated by the generation unit to the plurality of imaging devices.
  • the generation unit generates a second control signal for a data size as an index at the time of encoding based on the frame rate of the transmission line.
  • the processing device according to (11), wherein the first transmission unit transmits the first control signal and the second control signal generated by the generation unit to the plurality of imaging devices.
  • the receiving unit receives the image data for the first transmission from each of the plurality of imaging devices by a first interface standard that connects one of the plurality of imaging devices and the receiving unit on a one-to-one basis.
  • the processing apparatus according to (11) or (12).
  • the generation unit As the first control signal, the generation unit generates a signal that defines a transmission timing in which the first transmission image data from each of the plurality of imaging devices can be sequentially received via the transmission path.
  • the processing apparatus according to any one of (11) to (13).
  • the generation unit As the second control signal, the generation unit generates a signal defining a data size capable of receiving the first transmission image data from each of the plurality of imaging devices at a predetermined frame rate (12). The processing device described.
  • a decoding unit that acquires the plurality of image data from the first transmission image data by decoding the first transmission image data received by the reception unit, and a decoding unit.
  • An encoding unit that encodes the plurality of image data acquired by the decoding unit as one image data for second transmission, and an encoding unit.
  • the processing apparatus further including a second transmission unit that transmits the image data for second transmission generated by the encoding unit to an external system with a second interface standard different from the first interface standard. .. (17)
  • the receiving unit receives auxiliary data related to the plurality of image data, and receives the auxiliary data.
  • the auxiliary data includes a frame identifier, an ROI identifier, ROI position data, and an identifier of the imaging device.
  • the encoding unit encodes a plurality of image data obtained from the transmission image data from each of the plurality of imaging devices based on the identifiers of the plurality of imaging devices. apparatus.
  • Each of the imaging devices An imaging unit that acquires captured image data by imaging, An encoding unit that encodes a plurality of image data based on one or a plurality of captured image data obtained by the imaging unit as one transmission image data. It has a first transmission unit that transmits the transmission image data generated by the encoding unit to the external device via the transmission line at a timing based on a first control signal input from the external device.
  • the external device is A receiving unit that sequentially receives the transmission image data from each of the plurality of imaging devices via the transmission path, and a receiving unit.
  • a generation unit that generates the first control signal as a signal regarding the transmission timing of the transmission image data based on the frame rate of the transmission line.
  • a data transmission system including a second transmission unit that transmits the first control signal generated by the generation unit to the plurality of imaging devices. (19) The generation unit generates a second control signal for a data size as an index at the time of encoding based on the frame rate of the transmission line. The second transmission unit transmits the first control signal and the second control signal generated by the generation unit to the plurality of imaging devices. The encoding unit encodes the transmission image data or the plurality of image data so that the data size approaches the data size based on the second control signal input from the external device (18). Data transmission system.
  • a data transmission method in multiple imaging devices and external devices connected to a common transmission line In each of the imaging devices, after encoding a plurality of image data based on one or a plurality of captured image data obtained by imaging as one transmission image data, the transmission image data obtained by the encoding is subjected to the external transmission image data. Transmission to the external device via the transmission line at a timing based on the first control signal input from the device, and In the external device, the transmission image data is sequentially received from each of the plurality of imaging devices via the transmission path. Data including the generation of the first control signal as a signal regarding the transmission timing of the transmission image data in the external device based on the frame rate of the transmission line and transmission to the plurality of image pickup devices. Transmission method.
  • a plurality of image data based on one or a plurality of captured image data acquired by the imaging unit are encoded as one transmission image data, and the encoded transmission image data is obtained. Since the data is transmitted to an external device, the output timing of each image pickup device connected to the common transmission line can be easily controlled.
  • a control signal regarding the transmission timing of image data for transmission is generated based on the frame rate of the transmission line to which a plurality of imaging devices are connected, and the control signal is generated via the transmission line. Since the data is transmitted to a plurality of imaging devices, the output timing of each imaging device connected to a common transmission line can be easily controlled.
  • a plurality of image data based on one or a plurality of captured image data obtained by the imaging unit are encoded as one transmission image data, and the encoded transmission image.
  • the data is transmitted to the external device at the timing based on the control signal input from the external device, and the control signal is generated as a signal about the transmission timing of the image data for transmission based on the frame rate of the transmission line, and externally. Since the data is transmitted from the device to a plurality of image pickup devices, it is possible to easily control the output timing of each image pickup device connected to the common transmission line.
  • a plurality of image data based on one or a plurality of captured image data obtained by imaging are encoded as one transmission image data, and the encoded transmission image data.
  • the control signal is generated as a signal regarding the transmission timing of the image data for transmission based on the frame rate of the transmission line, and the external device is used. Since the data is transmitted to a plurality of image pickup devices, the output timing of each image pickup device connected to a common transmission line can be easily controlled.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一実施形態に係る撮像装置は、撮像部と、エンコード部と、送信部とを備えている。撮像部は、撮像により撮像画像データを取得する。エンコード部は、撮像部で取得した１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードする。送信部は、エンコード部で生成された伝送用画像データを外部装置に送信する。

Description

撮像装置、処理装置、データ伝送システム、及びデータ伝送方法
　本開示は、撮像装置、処理装置、データ伝送システム、及びデータ伝送方法に関する。
　例えばプロセッサとセンサと間の接続などの、デバイス間の接続に係る技術が開発されている。デバイス間の接続に係る技術としては、例えば下記の特許文献１に記載の技術が挙げられる。
特開２０１７－２１２６９０号公報
　例えば、電子機器の高機能化、多機能化などに伴い、プロセッサなどの処理装置を備える電子機器の中には、複数の撮像装置を備えるものがある。例えば、特許文献１に記載の技術では、各撮像装置からの画像データの出力タイミング（以下、単に「各撮像装置の出力タイミング」と称する。）をずらし、撮像装置と処理装置との１対１接続が実現される。このような１対１接続において、各撮像装置の出力タイミングの制御が難しいという問題があった。
　本開示の一実施形態に係る撮像装置は、撮像部と、エンコード部と、送信部とを備えている。撮像部は、撮像により撮像画像データを取得する。エンコード部は、撮像部で取得した１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードする。送信部は、エンコード部で生成された伝送用画像データを外部装置に送信する。
　本開示の一実施形態に係る撮像装置では、撮像部で取得した１または複数の撮像画像データに基づく複数の画像データが１つの伝送用画像データとしてエンコードされ、エンコードされた伝送用画像データが外部装置に送信される。これにより、本開示の一実施形態に係る撮像装置が他の１または複数の撮像装置と共通の伝送路に接続されている場合に、本開示の一実施形態に係る撮像装置におけるデータ出力タイミングを、共通の伝送路に接続された他の１または複数の撮像装置におけるデータ出力タイミングとの関係で適切なタイミングに制御することも可能である。
　本開示の一実施形態に係る処理装置は、受信部と、生成部と、送信部とを備えている。受信部は、共通の伝送路に接続された複数の撮像装置の各々から、複数の画像データがエンコードされた伝送用画像データを、伝送路を介して順次、受信する。生成部は、伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての制御信号を生成する。送信部は、生成部で生成した制御信号を複数の撮像装置に送信する。
　本開示の一実施形態に係る処理装置では、複数の撮像装置が接続された伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての制御信号が生成され、伝送路を介して複数の撮像装置に送信される。これにより、各撮像装置から共通の伝送路へ伝送用画像データを送信するタイミングを適切なタイミングに制御することが可能である。
　本開示の一実施形態に係るデータ伝送システムは、共通の伝送路に接続された複数の撮像装置および外部装置を備えている。各撮像装置は、撮像部と、エンコード部と、第１送信部とを有している。撮像部は、撮像により撮像画像データを取得する。エンコード部は、撮像部により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードする。送信部は、エンコード部で生成された伝送用画像データを、外部装置から入力された制御信号に基づくタイミングで、外部装置に送信する。一方、外部装置は、受信部と、生成部と、第２送信部とを有している。受信部は、複数の撮像装置の各々から、伝送用画像データを、伝送路を介して順次、受信する。生成部は、伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての信号として、制御信号を生成する。第２送信部は、生成部で生成した制御信号を複数の撮像装置に送信する。
　本開示の一実施形態に係るデータ伝送システムでは、撮像部により得られた１または複数の撮像画像データに基づく複数の画像データが１つの伝送用画像データとしてエンコードされ、エンコードされた伝送用画像データが、外部装置から入力された制御信号に基づくタイミングで、外部装置に送信される。制御信号は、伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての信号として生成され、外部装置から複数の撮像装置に送信される。これにより、各撮像装置におけるデータ送信タイミングを適切なタイミングに制御することが可能である。
　本開示の一実施形態に係るデータ伝送方法は、共通の伝送路に接続された複数の撮像装置および外部装置におけるデータ伝送方法であって、以下の３つを含む。
・各撮像装置において、撮像により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードした後、エンコードにより得られた伝送用画像データを、外部装置から入力された制御信号に基づくタイミングで、伝送路を介して外部装置に送信すること
・外部装置において、複数の撮像装置の各々から、伝送用画像データを、伝送路を介して順次、受信すること
・外部装置において、伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての信号として、制御信号を生成し、複数の撮像装置に送信することと
　本開示の一実施形態に係るデータ伝送方法では、撮像により得られた１または複数の撮像画像データに基づく複数の画像データが１つの伝送用画像データとしてエンコードされ、エンコードされた伝送用画像データが、外部装置から入力された制御信号に基づくタイミングで、外部装置に送信される。制御信号は、伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての信号として生成され、外部装置から複数の撮像装置に送信される。これにより、各撮像装置におけるデータ送信タイミングを適切なタイミングに制御することが可能である。
エンベデッドビジョンシステムの概略構成例を表す図である。 撮像装置の機能ブロック例を表す図である。 エンベデッドビジョンシステムの機能ブロック例を表す図である。 エンベデッドビジョンシステムにおけるデータ伝送手順の一例を表す図である。 各撮像装置におけるデータ生成・データ伝送を模式的に表す図である。 各撮像装置で得られる画像データの一例を表す図である。 一の撮像装置で得られる画像データの一例を表す図である。 図７の画像データのエンコードの一例を表す図である。 図８のメタデータに含まれるデータの一例を表す図である。 一の撮像装置で得られる画像データの一例を表す図である。 図１０の画像データのエンコードの一例を表す図である。 一の撮像装置で得られる画像データの一例を表す図である。 図１２の画像データのエンコードの一例を表す図である。 図１２の画像データのエンコードの一例を表す図である。 図１３のメタデータに含まれるデータの一例を表す図である。 図１４のメタデータに含まれるデータの一例を表す図である。 図１２の画像データのエンコードの一例を表す図である。 図１２の画像データのエンコードの一例を表す図である。 図１７のメタデータに含まれるデータの一例を表す図である。 図１８のメタデータに含まれるデータの一例を表す図である。 各撮像装置におけるデータ生成・データ伝送を模式的に表す図である。 各撮像装置で得られる画像データの一例を表す図である。 エンベデッドビジョンシステムの機能ブロックの一変形例を表す図である。 エンベデッドビジョンシステムにおけるデータ伝送手順の一例を表す図である。 各撮像装置におけるデータ生成・データ伝送を模式的に表す図である。 エンベデッドビジョンシステムを交通管理に適用した例を表す図である。 フレーム画像の一例を表す図である。 フレーム画像の合成例を表す図である。 エンベデッドビジョンシステムをドローンに適用した例を表す図である。 フレーム画像の一例を表す図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
＜１．実施の形態＞
[構成]
　図１は、本実施の形態に係るエンベデッドビジョンシステム１０００の概略構成例を表したものである。エンベデッドビジョンシステム１０００は、例えば、図１に示したように、複数の撮像装置１００、エンベデッドプロセッサ２００および外部システム３００を備えている。図１には、複数の撮像装置１００として、３つの撮像装置１００（１００ａ，１００ｂ，１００ｃ）が例示されている。
　複数の撮像装置１００とエンベデッドプロセッサ２００とは、共通の伝送路４００により電気的に接続される。伝送路４００は、複数の撮像装置１００とエンベデッドプロセッサ２００とを接続する、一の信号の伝送路である。撮像装置１００から送信される画像を示すデータ（画像データ）は、撮像装置１００からエンベデッドプロセッサ２００へと伝送路４００を介して伝送される。エンベデッドプロセッサ２００と外部システム３００とは、伝送路５００により電気的に接続される。伝送路５００は、エンベデッドプロセッサ２００と外部システム３００とを接続する、一の信号の伝送路である。エンベデッドプロセッサ２００から送信される画像を示すデータ（画像データ）は、エンベデッドプロセッサ２００から外部システム３００へと伝送路５００を介して伝送される。
　撮像装置１００は、撮像機能と送信機能とを有し、撮像により生成した画像データを送信する。撮像装置１００は、エンベデッドビジョンシステム１０００において送信装置の役目を果たす。撮像装置１００は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラ、偏光カメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。撮像装置１００において生成される画像は、撮像装置１００におけるセンシング結果を示すデータに該当する。撮像装置１００の構成の一例については、後に図２、図３を用いて詳述する。
　撮像装置１００は、後述する送信方法により、画像データに対して設定される領域に対応するデータ（以下、「領域の画像データ」とも称する。）を送信する。画像に対して設定される領域は、ＲＯＩ（Region　Of　Interest）と呼ばれる。以下では、画像に対して設定される領域を、「ＲＯＩ」と称する。また、領域の画像データを、「ＲＯＩ画像データ」と称する。
　撮像装置１００は、ＲＯＩ画像データを送信すること、すなわち、画像データの一部を送信することによって、画像データ全体を伝送するよりも伝送に係るデータ量を小さくする。よって、撮像装置１００が、ＲＯＩ画像データを送信することによって、例えば、伝送時間が短縮される、エンベデッドビジョンシステム１０００における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。なお、撮像装置１００は、画像データ全体を送信することも可能である。
　エンベデッドプロセッサ２００は、撮像装置１００から送信されたデータを受信し、受信されたデータを処理する。エンベデッドプロセッサ２００は、エンベデッドビジョンシステム１０００においてインターフェース変換装置の役目を果たす。撮像装置１００から送信されたデータの処理に係る構成の一例については、後に図３を用いて詳述する。
　エンベデッドプロセッサ２００は、例えば、ＭＰＵ（Micro  Processing  Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。エンベデッドプロセッサ２００は、例えば、記インターフェース変換制御に係る処理など、様々な処理を行う。エンベデッドプロセッサ２００は、例えば、撮像装置１００に対して制御情報を送信することによって、撮像装置１００における機能を制御してもよい。エンベデッドプロセッサ２００は、例えば、撮像装置１００に対して領域指定情報を送信することによって、撮像装置１００から送信されるデータを制御することも可能である。
（撮像装置１００）
　図２は、各撮像装置の機能ブロックの一例を表したものである。図３は、エンベデッドビジョンシステム１０００の機能ブロックの一例を表したものである。図３には、複数の撮像装置１００のうちの１つだけが記載されている。撮像装置１００は、例えば、撮像部１１０、信号処理ブロック１２０および伝送路１３０を有している。撮像部１１０と信号処理ブロック１２０とは、伝送路１３０により電気的に接続される。伝送路１３０は、撮像部１１０と信号処理ブロック１２０とを接続する、一の信号の伝送路である。撮像部１１０から送信される画像を示すデータ（画像データ）は、撮像部１１０から信号処理ブロック１２０へと伝送路１３０を介して伝送される。伝送路１３０では、例えば、伝送路４００と共通のインターフェース規格でデータ伝送が行われる。伝送路１３０において、伝送路４００とは異なるインターフェース規格でデータ伝送が行われてもよい。
　撮像部１１０は、例えば、撮像素子１１１、ＲＯＩ切り出し部１１２、ＲＯＩ解析部１１３、制御部１１４、エンコード部１１５および送信部１１６を有している。
　撮像素子１１１は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像素子１１１は、例えば、制御部１１４から入力された露光タイミングで撮像を行うことにより、画像データ１１１Ａ（撮像画像データ）を取得する。撮像素子１１１が偏光カメラの場合には、画像データ１１１Ａは、偏光方向毎の輝度データである。撮像素子１１１は、例えば、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んで構成されている。撮像素子１１１は、アナログ－デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙおよび色差成分Ｃｂ，Ｃｒで表現するＹＣｂＣｒ形式であってもよいし、ＲＧＢ形式などであってもよい。撮像素子１１１は、撮像により得られた画像データ１１１Ａ（デジタルの画像データ）をＲＯＩ切り出し部１１２に出力する。
　ＲＯＩ切り出し部１１２は、例えば、ＲＯＩの切り出しを指示する制御信号が制御部１１４から入力された場合に、撮像素子１１１から入力された画像データ１１１Ａに含まれる撮影対象の１または複数の物体（対象物）を特定し、特定した物体ごとにＲＯＩを設定する。ＲＯＩは、例えば、特定した物体を含む方形状の領域である。なお、ＲＯＩの形状は、方形状に限定されるものではなく、例えば、円形状、楕円形状、多角形状、または、不規則な形状となっていてもよい。ＲＯＩ切り出し部１１２は、例えば、制御部１１４から入力されたＲＯＩ情報（例えばＲＯＩの位置情報など）に基づいて、撮像素子１１１から入力された画像データ１１１Ａにおいて、１または複数のＲＯＩを設定してもよい。
　ＲＯＩ切り出し部１１２は、画像データ１１１Ａから、１または複数のＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）を切り出す。ＲＯＩ切り出し部１１２は、さらに、設定したＲＯＩごとに、フレーム番号ｄ１（フレーム識別子）、ＲＯＩ番号ｄ２（ＲＯＩ識別子）、カメラ番号ｄ３（撮像装置１００の識別子）を付与する。フレーム番号ｄ１は、ＲＯＩが切り出された画像データ１１１Ａに付与されるフレーム番号である。ＲＯＩ番号ｄ２は、各画像データ１１１Ａにおいて、ＲＯＩごとに付与される識別子である。カメラ番号ｄ３は、撮像装置１００ごとに付与される識別子である。
　ＲＯＩ切り出し部１１２は、例えば、ある時刻ｔ１に取得した画像データ１１１Ａに対して、フレーム番号ｄ１として「１」を付与し、時刻ｔ１から所定の期間が経過した後（時刻ｔ２）に取得した画像データ１１１Ａに対して、フレーム番号ｄ１として「２」を付与する。ＲＯＩ切り出し部１１２は、例えば、付与したフレーム番号ｄ１を記憶部に格納する。ＲＯＩ切り出し部１１２は、例えば、画像データ１１１Ａにおいて、２つのＲＯＩを設定した場合には、一方のＲＯＩに対して、ＲＯＩ番号ｄ２として「１」を付与し、他方のＲＯＩに対して、ＲＯＩ番号ｄ２として「２」を付与する。ＲＯＩ切り出し部１１２は、例えば、付与したＲＯＩ番号ｄ２を記憶部に格納する。ＲＯＩ切り出し部１１２は、例えば、撮像装置１００ａから取得した画像データ１１１Ａに対して、カメラ番号ｄ３として「１」を付与し、撮像装置１００ｂから取得した画像データ１１１Ａに対して、カメラ番号ｄ３として「２」を付与し、撮像装置１００ｃから取得した画像データ１１１Ａに対して、カメラ番号ｄ３として「３」を付与する。ＲＯＩ切り出し部１１２は、例えば、付与したカメラ番号ｄ３を記憶部に格納する。
　ＲＯＩ切り出し部１１２は、例えば、画像データ１１１Ａから切り出した各ＲＯＩ画像データ１１２Ａを記憶部に格納する。ＲＯＩ切り出し部１１２は、さらに、例えば、各ＲＯＩに付与したフレーム番号ｄ１、ＲＯＩ番号ｄ２およびカメラ番号ｄ３を、ＲＯＩ画像データ１１２Ａと関連づけて、記憶部に格納する。なお、各撮像装置１００において、記憶部が撮像装置１００の位置データを記憶している場合や、各撮像装置１００に、撮像装置１００の位置を計測する装置（位置計測装置）が設けられている場合には、ＲＯＩ切り出し部１１２は、例えば、記憶部または位置計測装置から取得した撮像装置１００の位置データ（カメラ位置ｄ４）を、フレーム番号ｄ１、ＲＯＩ番号ｄ２およびカメラ番号ｄ３とともに、ＲＯＩ画像データ１１２Ａと関連づけて、記憶部に格納する。
　なお、ＲＯＩ切り出し部１１２は、通常画像（全体画像）の出力を指示する制御信号が制御部１１４から入力された場合に、撮像素子１１１から入力された画像データ１１１Ａに対して所定の処理を行い、それにより全体画像データ１１２Ｂを生成する。
　ＲＯＩ解析部１１３は、ＲＯＩごとに、画像データ１１１ＡにおけるＲＯＩの位置（ＲＯＩ位置ｄ５）を導出する。ＲＯＩ位置ｄ５は、例えば、ＲＯＩの左上端座標と、ＲＯＩのＸ軸方向の長さと、ＲＯＩのＹ軸方向の長さとによって構成されている。ＲＯＩのＸ軸方向の長さは、例えば、ＲＯＩのＸ軸方向の物理領域長さである。ＲＯＩのＹ軸方向の長さは、例えば、ＲＯＩのＹ軸方向の物理領域長さである。物理領域長さとは、ＲＯＩの物理的な長さ（データ長）を指している。ＲＯＩ位置ｄ５において、ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩ解析部１１３は、例えば、導出したＲＯＩ位置ｄ５を記憶部に格納する。
　ＲＯＩ解析部１１３は、例えば、ＲＯＩ画像データ１１２Ａに対して、フレーム番号ｄ１、ＲＯＩ番号ｄ２およびカメラ番号ｄ３を付与する。ＲＯＩ解析部１１３は、例えば、導出したＲＯＩ位置ｄ５、フレーム番号ｄ１、ＲＯＩ番号ｄ２およびカメラ番号ｄ３を、ＲＯＩ画像データ１１２Ａと関連づけて、記憶部に格納する。ＲＯＩ解析部１１３は、例えば、導出したＲＯＩ位置ｄ５、フレーム番号ｄ１、ＲＯＩ番号ｄ２、カメラ番号ｄ３およびカメラ位置ｄ４を、ＲＯＩ画像データ１１２Ａと関連づけて、記憶部に格納してもよい。以下では、ＲＯＩ画像データ１１２Ａに関する一連のデータ（例えば、フレーム番号ｄ１、ＲＯＩ番号ｄ２、カメラ番号ｄ３、カメラ位置ｄ４およびＲＯＩ位置ｄ５）を補助データ１１５Ｂと称する。
　エンコード部１１５は、例えば、１または複数のＲＯＩ画像データ１１２Ａをエンコードして、画像データ１１５Ａを生成する。エンコードとは、複数のデータ単位（例えば、複数のＲＯＩ画像データ１１２Ａ）を１つのデータ単位（例えば、画像データ１１５Ａ）にまとめることを指している。なお、エンコード部１１５に、１つのＲＯＩ画像データ１１２Ａが入力された場合には、エンコード部１１５は、入力された１つのＲＯＩ画像データ１１２Ａをエンコードせずに画像データ１１５Ａとして出力してもよい。エンコード部１１５は、例えば、１０ｂｉｔのＲＧＢデータを１６ｂｉｔもしくは３２ｂｉｔアライメントデータの３０ｂｉｔのデータとしてエンコードしてデータ削減する。なお、エンコード部１１５において、１または複数のＲＯＩ画像データ１１２Ａに対して圧縮処理がなされてもよい。エンコード部１１５は、例えば、画像データ１１５Ａと、画像データ１１５Ａの元データであるＲＯＩ画像データ１１２Ａに関する補助データ１１５Ｂとを送信部１１６に出力する。補助データ１１５Ｂは、例えば、フレーム番号ｄ１、ＲＯＩ番号ｄ２、カメラ番号ｄ３およびＲＯＩ位置ｄ５）を含んでいてもよいし、フレーム番号ｄ１、ＲＯＩ番号ｄ２、カメラ番号ｄ３、カメラ位置ｄ４およびＲＯＩ位置ｄ５を含んでいてもよい。
　エンコード部１１５は、例えば、１または複数の全体画像データ１１２Ｂをエンコードして、画像データ１１５Ａを生成してもよい。エンコード部１１５は、例えば、画像データ１１５Ａと、補助データ１１５Ｂとを送信部１１６に出力する。このとき、補助データ１１５Ｂは、例えば、画像データ１１５Ａの元データである１または複数の全体画像データ１１２Ｂに対応する一連のデータ（フレーム番号ｄ１およびカメラ番号ｄ３）を含んでいる。補助データ１１５Ｂは、例えば、上記の一連のデータとして、フレーム番号ｄ１、カメラ番号ｄ３およびカメラ位置ｄ４を含んでいてもよい。
　制御部１１４は、信号処理ブロック１２０から入力される信号に基づいて、撮像素子１１１やＲＯＩ切り出し部１１２を制御する。制御部１１４は、例えば、信号処理ブロック１２０から入力された露光タイミング、フレームレートでの撮像を撮像素子１１１に指示する。制御部１１４は、例えば、信号処理ブロック１２０から入力されたＲＯＩ情報（例えばＲＯＩ位置ｄ５など）をＲＯＩ切り出し部１１２に出力する。
　送信部１１６は、エンコード部１１５から入力されたデータ（画像データ１１５Ａ、補助データ１１５Ｂ）を含む伝送データ１１６Ａを生成し、送出する回路である。送信部１１６は、例えば、補助データ１１５ＢをＥｍｂｅｄｄｅｄＤａｔａで送出する。送信部１１６は、さらに、例えば、画像データ１１５ＡをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａで送出する。送信部１１６は、例えば、画像データ１１５Ａを画像データフレームによって送出するとともに、補助データ１１５Ｂを画像データフレームのヘッダで送出する。送信部１１６は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格におけるＳＲＯＩ(Smart Region Of Interest)で規定されたルールに従って、伝送データ１１６Ａを生成し、送信する。
　信号処理ブロック１２０は、例えば、受信部１２１、デコード部１２２、情報抽出部１２３、ＲＯＩ画像生成部１２４、画像解析部１２５、制御部１２６、画像処理部１２７、エンコード部１２８および送信部１２９を有している。
　受信部１２１は、例えば、ヘッダ分離部、ヘッダ解釈部、Ｐａｙｌｏａｄ分離部、ＥＢＤ解釈部およびＲＯＩデータ分離部を有している。
　ヘッダ分離部は、伝送データ１１６Ａを、伝送路１３０を介して受信する。ヘッダ分離部は、例えば、補助データ１１５ＢをＥｍｂｅｄｄｅｄＤａｔａに含むとともに、画像データ１１５ＡをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含む伝送データ１１６Ａを受信する。ヘッダ分離部は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格におけるＳＲＯＩ(Smart Region Of Interest)で規定されたルールに従って、伝送データ１１６Ａを分離する。ヘッダ分離部は、例えば、受信した伝送データ１１６Ａをヘッダ領域とパケット領域とに分離する。
　ヘッダ解釈部は、例えば、ヘッダ領域に含まれるデータ（具体的にはＥｍｂｅｄｄｅｄＤａｔａ）に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置を特定する。Ｐａｙｌｏａｄ分離部は、例えば、ヘッダ解釈部によって特定されたＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａを、パケット領域から分離する。
　ＥＢＤ解釈部は、例えば、ＥｍｂｅｄｄｅｄＤａｔａをＥＢＤデータとして、データ分離部に出力する。ＥＢＤ解釈部は、さらに、例えば、ＥｍｂｅｄｄｅｄＤａｔａに含まれるデータタイプから、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）の画像データ１１５Ａであるか否か判別する。ＥＢＤ解釈部は、例えば、その判別結果をＲＯＩデータ分離部に出力する。
　ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）の画像データ１１５Ａである場合、ＲＯＩデータ分離部は、例えば、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａとして、デコード部１２２に出力する。
　デコード部１２２は、画像データ１１５Ａをデコードして画像データ１２２Ａを生成する。デコード部１２２は、例えば、ＰａｙｌｏａｄＤａｔａに含まれる画像データ１１５Ａをデコードして画像データ１２２Ａを生成する。情報抽出部１２３は、例えば、ＥＢＤデータに含まれるＥｍｂｅｄｄｅｄＤａｔａから、補助データ１１５Ｂを抽出する。デコードとは、１つのデータ単位（例えば、画像データ１１５Ａ）から、エンコード前のデータ（例えば、画像データ１２２Ａ）を取り出すことを指している。
　画像データ１１５Ａの元データが１または複数のＲＯＩ画像データ１１２Ａである場合、情報抽出部１２３は、例えば、ＥＢＤデータに含まれるＥｍｂｅｄｄｅｄＤａｔａから、例えば、フレーム番号ｄ１、ＲＯＩ番号ｄ２、カメラ番号ｄ３およびＲＯＩ位置ｄ５を抽出する。画像データ１１５Ａの元データが１または複数のＲＯＩ画像データ１１２Ａである場合、情報抽出部１２３は、例えば、ＥＢＤデータに含まれるＥｍｂｅｄｄｅｄＤａｔａから、例えば、フレーム番号ｄ１、ＲＯＩ番号ｄ２、カメラ番号ｄ３、カメラ位置ｄ４およびＲＯＩ位置ｄ５を抽出してもよい。
　画像データ１１５Ａの元データが１または複数の全体画像データ１１２Ｂである場合、情報抽出部１２３は、例えば、ＥＢＤデータに含まれるＥｍｂｅｄｄｅｄＤａｔａから、例えば、フレーム番号ｄ１およびカメラ番号ｄ３を抽出する。画像データ１１５Ａの元データが１または複数の全体画像データ１１２Ｂである場合、情報抽出部１２３は、例えば、ＥＢＤデータに含まれるＥｍｂｅｄｄｅｄＤａｔａから、例えば、フレーム番号ｄ１、カメラ番号ｄ３およびカメラ位置ｄ４を抽出してもよい。
　ＲＯＩ画像生成部１２４は、例えば、デコードにより得られた画像データ１２２Ａと、補助データ１１５Ｂとに基づいて、１または複数のＲＯＩ画像データ１１２Ａ、または、１または複数の全体画像データ１１２Ｂを生成（復元）する。
　画像解析部１２５は、例えば、エンベデッドプロセッサ２００による制御に従って、ＲＯＩ画像データ１１２Ａについて解析を行う。画像解析部１２５は、例えば、ホワイトバランスや露出補正等に必要な画像のＲＧＢ等の色成分の比率や画像の明るさを解析する。画像解析部１２５は、さらに、例えば、ＲＯＩ画像データ１１２Ａにおいて、被写体としての物体（対象物）全体もしくは所定以上の割合が含まれているか否かについての解析を行う（画像ズレの判定）。その結果、ＲＯＩ画像データ１１２Ａにおいて、被写体としての物体（対象物）の一部が欠けていた場合や、対象物の所定以上の割合が含まれていない場合には、画像解析部１２５は、例えば、ＲＯＩ画像データ１１２Ａにおいて、被写体としての物体（対象物）全体もしくは所定以上の割合が含まれるように、ＲＯＩ位置ｄ５、撮像部１１０の露光タイミングやフレームレートを修正する。画像解析部１２５は、例えば、修正後のＲＯＩ位置ｄ５、修正後の撮像部１１０の露光タイミングやフレームレートを、制御部１２６を介して撮像部１１０に出力する。画像解析部１２５は、例えば、ＲＯＩ画像データ１１２Ａと、補助データ１１５Ｂ（もしくは修正後のＲＯＩ位置ｄ５を含む補助データ１１５Ｂ）とを含むデータを画像処理部１２７に出力する。画像解析部１２５は、例えば、全体画像データ１１２Ｂと、補助データ１１５Ｂとを含むデータを画像処理部１２７に出力する。
　制御部１２６は、画像解析部１２５で修正されたＲＯＩ位置ｄ５、画像解析部１２５で修正された撮像部１１０の露光タイミングやフレームレートを撮像部１１０に送信する。制御部１２６は、エンベデッドプロセッサ２００から入力された信号を撮像部１１０に送信する。制御部１２６は、例えば、エンベデッドプロセッサ２００から入力されたＲＯＩ位置ｄ５、エンベデッドプロセッサ２００から入力された露光タイミングやフレームレートを撮像部１１０に送信する。制御部１２６は、例えば、エンベデッドプロセッサ２００から入力された、上述の画像ズレの判定の実行指令を画像解析部１２５に出力する。
　制御部１２６は、例えば、エンベデッドプロセッサ２００から入力された信号（第１制御信号）に基づいて、画像処理部１２７や送信部１２９を制御する。制御部１２６は、例えば、エンベデッドプロセッサ２００から入力された信号に含まれるデータサイズ（データ容量）を画像処理部１２７に出力する。これにより、制御部１２６は、後述する出力データサイズ調整を画像処理部１２７に実行させる。制御部１２６は、例えば、エンベデッドプロセッサ２００から入力された信号に含まれる、伝送データ１２９Ａの出力タイミングを送信部１２９に出力する。これにより、制御部１２６は、送信部１２９に出力した出力タイミングで、伝送データ１２９Ａを出力することを送信部１２９に指示する。
　画像処理部１２７は、例えば、１または複数のＲＯＩ画像データ１１２Ａに対して所定の処理を行った上で、１または複数のＲＯＩ画像データ１１２Ａと、１または複数のＲＯＩ画像データ１１２Ａに関する１または複数の補助データ１１５Ｂとを含むデータをエンコード部１２８に出力する。画像処理部１２７は、例えば、デジタルゲイン、ホワイトバランス、ＬＵＴ、カラーマトリクス変換、欠陥補正、シェーディング補正、ノイズ除去、画像データの並び替え、γ補正、デモザイク(例えば、Ｂａｙｅｒ配列の撮像素子からの出力をＲＧＢの並びに戻す処理)を行う。画像処理部１２７は、例えば、後述する所定のデータサイズが、制御部１２６から入力されたデータサイズに近づくように、画像解析部１２５から入力された、１または複数の画像データ１１１Ａおよび１または複数のＲＯＩ画像データ１１２Ａ（以下、「画像解析部１２５から入力された複数の画像データ１２５Ａ」と称する。）の中から、１または複数の画像データ１２５Ａを選択する。つまり、画像処理部１２７は、例えば、エンコード部１２８に出力する１または複数の画像データ１２５Ａのデータサイズが、エンコード部１２８に出力する度に、大きく異ならないように、画像解析部１２５から入力された複数の画像データ１２５Ａの中から、１または複数の画像データ１２５Ａを選択する。以下では、画像処理部１２７による１または複数の画像データ１２５Ａの選択を「出力データサイズ調整」と称する。
　ここで、「所定のデータサイズ」とは、伝送用画像データである画像データ１２８Ａ（後述）のデータサイズ、もしくは、画像データ１２８Ａに含められる１または複数の画像データの合計データサイズを指している。また、画像処理部１２７によって選択される「１または複数の画像データ１２５Ａ」としては、以下の組み合わせが挙げられる。下記の（１）、（５）、（７）において、複数のＲＯＩ画像データ１１２Ａは、同一の画像データ１１１Ａから抽出されたものであってもよいし、異なる撮像タイミングで得られた複数の画像データ１１１Ａから抽出されたものであってもよい。
（１）複数のＲＯＩ画像データ１１２Ａ
（２）１つの全体画像データ１１２Ｂ
（３）複数の全体画像データ１１２Ｂ
（４）１つのＲＯＩ画像データ１１２Ａ＋１つの全体画像データ１１２Ｂ
（５）複数のＲＯＩ画像データ１１２Ａ＋１つの全体画像データ１１２Ｂ
（６）１つのＲＯＩ画像データ１１２Ａ＋複数の全体画像データ１１２Ｂ
（７）複数のＲＯＩ画像データ１１２Ａ＋複数の全体画像データ１１２Ｂ
　画像処理部１２７は、例えば、選択した１または複数の画像データ１２５Ａと、選択した１または複数の画像データ１２５Ａに関する１または複数の補助データ１１５Ｂとを含むデータをエンコード部１２８に出力する。
　エンコード部１２８は、１または複数の画像データ１２５Ａをエンコードして画像データ１２８Ａを生成する。エンコード部１２８は、例えば、１０ｂｉｔのＲＧＢデータを１６ｂｉｔもしくは３２ｂｉｔアライメントデータの３０ｂｉｔのデータとしてエンコードしてデータ削減する。
　送信部１２９は、エンコード部１２８から入力されたデータを含む伝送データ１２９Ａを生成し、送出する回路である。送信部１２９は、例えば、１または複数の画像データ１２５Ａをエンコードすることにより生成された画像データ１２８Ａと、画像データ１２８Ａの元データである１または複数の画像データ１２５Ａに関する１または複数の補助データ１１５Ｂとを含む伝送データ１２９Ａを生成し、エンベデッドプロセッサ２００に送出する。
　送信部１２９は、例えば、１または複数の補助データ１１５ＢをＥｍｂｅｄｄｅｄＤａｔａで送出する。送信部１２９は、さらに、例えば、画像データ１２８ＡをＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａで送出する。送信部１２９は、例えば、画像データ１２８Ａをデータフレームによって送出するとともに、補助データ１１５Ｂをデータフレームのヘッダで送出する。送信部１２９は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で規定されたルールに従って、伝送データ１２９Ａを生成し、伝送路４００を介してエンベデッドプロセッサ２００に送信する。ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格は、撮像装置１００とエンベデッドプロセッサ２００とを１対１で接続するインターフェース規格である。
　送信部１２９は、例えば、所定の出力タイミングで、伝送データ１２９Ａを、伝送路４００を介してエンベデッドプロセッサ２００に送信する。送信部１２９は、例えば、制御部１２６から入力された信号（第１制御信号）に基づく出力タイミングで、伝送データ１２９Ａを、伝送路４００を介してエンベデッドプロセッサ２００に送信する。
　エンベデッドプロセッサ２００は、例えば、受信部２１０、デコード部２２０、画像解析部２３０、制御部２４０、画像処理部２５０、エンコード部２６０および送信部２７０を有している。
　受信部２１０は、例えば、共通の伝送路４００に接続された複数の撮像装置１００の各々から、１または複数の画像データ１２５Ａがエンコードされた画像データ１１５Ａと、画像データ１１５Ａの元データである１または複数の画像データ１２５Ａに関する１または複数の補助データ１１５Ｂとを含む伝送データ１２９Ａを、伝送路４００を介して順次、受信する。受信部２１０は、例えば、複数の撮像装置１００の各々からの伝送データ１２９Ａ（画像データ１１５Ａ）を、複数の撮像装置１００のうちの１つと当該受信部２１０とを１対１で接続するインターフェース規格で受信する。このようなインターフェース規格は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格である。受信部２１０は、例えば、ヘッダ分離部、ヘッダ解釈部、Ｐａｙｌｏａｄ分離部、ＥＢＤ解釈部およびＲＯＩデータ分離部を有しており、伝送データ１２９Ａに対して、上述の受信部１２１と同様の処理を実行する。
　デコード部２２０は、伝送データ１２９Ａに含まれる画像データ１２８Ａをデコードすることにより、１または複数の画像データ１２５Ａを生成する。デコード部２２０は、例えば、ＰａｙｌｏａｄＤａｔａに含まれる画像データ１２８Ａをデコードして１または複数の画像データ１２５Ａを生成する。デコードにより得られた１または複数の画像データ１２５Ａは、上記の（１）～（７）のいずれかに該当する。
　画像解析部２３０は、制御部２４０による制御に従って、デコードにより得られたデータに含まれる１または複数のＲＯＩ画像データ１１２Ａについて解析を行う。画像解析部２３０は、例えば、１または複数のＲＯＩ画像データ１１２Ａにおいて、ホワイトバランスや露出補正等に必要な画像のＲＧＢ等の色成分の比率や画像の明るさを解析する。画像解析部２３０は、さらに、例えば、画像解析部１２５において、上述の画像ズレの判定が行われていない場合には、各ＲＯＩ画像データ１１２Ａについて、上述の画像ズレの判定を行う。画像解析部２３０は、上述の画像ズレの判定を行った結果、ＲＯＩ位置ｄ５、撮像部１１０の露光タイミングやフレームレートの修正を行った場合には、修正後のＲＯＩ位置ｄ５、修正後の露光タイミングやフレームレートを、制御部２４０および信号処理ブロック１２０を介して撮像部１１０に出力する。
　画像解析部２３０は、例えば、１または複数の画像データ１２５Ａと、１または複数の画像データ１２５Ａに関する１または複数の補助データ１１５Ｂとを含むデータを画像処理部２５０に出力する。画像解析部２３０は、ＲＯＩ位置ｄ５を修正した場合には、修正後のＲＯＩ位置ｄ５を制御部２４０に出力する。
　制御部２４０は、画像解析部２３０でＲＯＩ位置ｄ５が修正された場合には、修正されたＲＯＩ位置ｄ５を信号処理ブロック１２０（撮像装置１００）に送信する。つまり、制御部２４０は、画像解析部２３０でＲＯＩ位置ｄ５が修正された場合には、修正されたＲＯＩ位置ｄ５を、信号処理ブロック１２０を介して撮像部１１０に送信する。制御部２４０は、伝送路４００のフレームレートに基づいて、伝送データ１２９Ａ（画像データ１２８Ａ）の送信タイミングについての制御信号を生成する。制御部２４０は、生成した、送信タイミングについての制御信号を信号処理ブロック１２０（撮像装置１００）に送信する。制御部２４０は、例えば、送信タイミングについての制御信号として、複数の撮像装置１００の各々からの伝送データ１２９Ａ（画像データ１２８Ａ）を、伝送路４００を介して順次、受信し得る送信タイミングを規定した信号を生成する。制御部２４０は、伝送路４００のフレームレートに基づいて、エンコードの際の指標となるデータサイズについての制御信号を生成する。制御部２４０は、生成した、データサイズについての制御信号を信号処理ブロック１２０（撮像装置１００）に送信する。制御部２４０は、例えば、データサイズについての制御信号として、複数の撮像装置１００の各々からの伝送データ１２９Ａ（画像データ１２８Ａ）を所定のフレームレートで受信し得るデータサイズを規定した信号を生成する。
　画像処理部２５０は、１または複数の画像データ１２５Ａに対して所定の処理を行った上で、１または複数の画像データ１２５Ａと、１または複数の補助データ１１５Ｂとを含むデータをエンコード部２６０に出力する。画像処理部２５０は、例えば、デジタルゲイン、ホワイトバランス、ＬＵＴ、カラーマトリクス変換、欠陥補正、シェーディング補正、ノイズ除去、画像データの並び替え、γ補正、デモザイク(例えば、Ｂａｙｅｒ配列の撮像素子からの出力をＲＧＢの並びに戻す処理)を行う。
　エンコード部２６０は、１または複数の画像データ１２５Ａをエンコードして画像データ２６０Ａを生成する。エンコード部２６０は、例えば、１０ｂｉｔのＲＧＢデータを１６ｂｉｔもしくは３２ｂｉｔアライメントデータの３０ｂｉｔのデータとしてエンコードしてデータ削減する。
　送信部２７０は、エンコード部２６０から入力されたデータを含む伝送データ２７０Ａを生成し、送出する回路である。送信部２７０は、例えば、１または複数の画像データ１２５Ａをエンコードすることにより生成された画像データ２６０Ａと、１または複数の補助データ１１５Ｂとを含む伝送データ２７０Ａを生成し、送出する。送信部２７０は、例えば、ＧｉｇＥなどの伝送規格で規定されたルールに従って、伝送データ２７０Ａを生成し、伝送路５００を介して外部システム３００に送信する。
（データ伝送）
　図４は、本実施の形態に係るエンベデッドビジョンシステム１０００における、データ伝送の手順の一例を表したものである。図５は、各撮像装置１００におけるデータ生成・データ伝送を模式的に表したものである。図６は、各撮像装置１００で得られる画像データの一例を表したものである。図６（Ａ）には、異なる撮像タイミングで撮像装置１００ａで得られる画像データの一例が示されている。図６（Ｂ）には、異なる撮像タイミングで撮像装置１００ｂで得られる画像データの一例が示されている。図６（Ｃ）には、異なる撮像タイミングで撮像装置１００ｃで得られる画像データの一例が示されている。
　まず、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、所定の露光タイミングやフレームレートに基づいて撮像を行うことにより、画像データ１１１Ａを取得する。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、決定されたＲＯＩの位置に基づいて、撮像素子１１１で取得した画像データ１１１Ａから、１または複数のＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）を取得する（ステップＳ１０１）。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、さらに、ＲＯＩ画像データ１１２Ａごとに補助データ１１５Ｂを生成する（ステップＳ１０２）。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、ＲＯＩ画像データ１１２Ａと、ＲＯＩ画像データ１１２Ａに関する補助データ１１５Ｂとを信号処理ブロック１２０に送信する（ステップＳ１０３）。
　例えば、撮像装置１００ａの撮像部１１０において、異なる撮像タイミングで得られた３つの画像データ１１１Ａ（frame1,frame2,frame3）から、３つのＲＯＩ画像データａ１，ｂ１，ｃ１と、３つのＲＯＩ画像データａ１，ｂ１，ｃ１に関する補助データｄ１１，ｄ１２，ｄ１３とが得られたとする。ＲＯＩ画像データａ１は、frame1の画像データ１１１Ａの一部である。ＲＯＩ画像データｂ１は、frame2の画像データ１１１Ａの一部である。ＲＯＩ画像データｃ１は、frame3の画像データ１１１Ａの一部である。このとき、撮像装置１００ａの撮像部１１０は、例えば、一組のＲＯＩ画像データａ１および補助データｄ１１と、一組のＲＯＩ画像データｂ１および補助データｄ１２と、一組のＲＯＩ画像データｃ１および補助データｄ１３とを順次、信号処理ブロック１２０に送信する。
　例えば、撮像装置１００ｂの撮像部１１０において、異なる撮像タイミングで得られた３つの画像データ１１１Ａ（frame1,frame2,frame3）から、２つのＲＯＩ画像データａ２，ｂ２と、２つのＲＯＩ画像データａ２，ｂ２に関する補助データｄ２１，ｄ２２とが得られたとする。ＲＯＩ画像データａ２は、frame1の画像データ１１１Ａの一部である。ＲＯＩ画像データｂ２は、frame3の画像データ１１１Ａの一部である。このとき、撮像装置１００ｂの撮像部１１０は、例えば、一組のＲＯＩ画像データａ２および補助データｄ２１と、一組のＲＯＩ画像データｂ２および補助データｄ２２とを順次、信号処理ブロック１２０に送信する。
　例えば、撮像装置１００ｃの撮像部１１０において、異なる撮像タイミングで得られた３つの画像データ１１１Ａ（frame1,frame2,frame3）から、３つのＲＯＩ画像データａ３，ｂ３，ｃ３と、３つのＲＯＩ画像データａ３，ｂ３，ｃ３に関する補助データｄ３１，ｄ３２，ｄ３３とが得られたとする。ＲＯＩ画像データａ３は、frame1の画像データ１１１Ａの一部である。ＲＯＩ画像データｂ３は、frame1の画像データ１１１Ａの一部である。ＲＯＩ画像データｃ３は、frame2の画像データ１１１Ａの一部である。このとき、撮像装置１００ｃの撮像部１１０は、例えば、一組のＲＯＩ画像データａ３および補助データｄ３１と、一組のＲＯＩ画像データｂ３および補助データｄ３２と、一組のＲＯＩ画像データｃ３および補助データｄ３３とを順次、信号処理ブロック１２０に送信する。
　次に、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、ＲＯＩ画像データ１１２Ａと、ＲＯＩ画像データ１１２Ａに関する補助データ１１５Ｂとを撮像部１１０から受信する（ステップＳ１０４）。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、上述の出力データサイズ調整を行い、それにより１または複数の画像データ１２５Ａを選択する。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、さらに、選択した１または複数の画像データ１２５Ａを１つの伝送用画像データ（伝送データ１１６Ａ）としてエンコードする。つまり、信号処理ブロック１２０は、エンコードにより、伝送データ１１６Ａを生成する（ステップＳ１０５）。
　次に、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、制御部１２６から指示された出力タイミングで、伝送データ１２９Ａを、伝送路４００を介してエンベデッドプロセッサ２００に送信する（ステップＳ１０６）。ここで、伝送路４００に３つの撮像装置１００（１００ａ，１００ｂ，１００ｃ）が接続されている場合、撮像装置１００ａの信号処理ブロック１２０は、例えば、時刻ｔ１に、伝送データ１２９Ａ（画像データｐ１、補助データｄ１４）を、伝送路４００を介してエンベデッドプロセッサ２００に送信する。画像データｐ１は、ＲＯＩ画像データａ１，ｂ１，ｃ１をエンコードすることにより得られるデータである。補助データｄ１４は、補助データｄ１１，ｄ１２，ｄ１３を含むデータである。
　さらに、撮像装置１００ｂの信号処理ブロック１２０は、例えば、時刻ｔ１よりも所定の時間だけ経過した時刻ｔ２に、伝送データ１２９Ａ（画像データｐ２、補助データｄ２３）を、伝送路４００を介してエンベデッドプロセッサ２００に送信する。画像データｐ２は、ＲＯＩ画像データａ２，ｂ２をエンコードすることにより得られるデータである。補助データｄ２３は、補助データｄ２１，ｄ２２を含むデータである。さらに、撮像装置１００ｃの信号処理ブロック１２０は、例えば、時刻ｔ２よりも所定の時間だけ経過した時刻ｔ３に、伝送データ１２９Ａ（画像データｐ３、補助データｄ３３）を、伝送路４００を介してエンベデッドプロセッサ２００に送信する。画像データｐ３は、ＲＯＩ画像データａ３，ｂ３，ｃ３をエンコードすることにより得られるデータである。補助データｄ３４は、補助データｄ３１，ｄ３２，ｄ３３を含むデータである。
　次に、エンベデッドプロセッサ２００は、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）から、伝送データ１２９Ａ（画像データｐ２、補助データｄ２３）、伝送データ１２９Ａ（画像データｐ２、補助データｄ２３）および伝送データ１２９Ａ（画像データｐ３、補助データｄ３３）を順次、伝送路４００を介して受信する（ステップＳ１０７）。
　次に、エンベデッドプロセッサ２００は、受信した伝送データ１２９Ａから、補助データを抽出する（ステップＳ１０８）。さらに、エンベデッドプロセッサ２００は、受信した伝送データ１２９Ａから、画像データを抽出する（ステップＳ１０９）。エンベデッドプロセッサ２００は、画像データをデコードしたり、デコードにより得られた画像データに対して所定の信号処理を行ったりする（ステップＳ１１０）。このようにして、本実施の形態に係るエンベデッドビジョンシステム１０００におけるデータ伝送が行われる。
　図７は、一の撮像装置１００で得られる画像データの一例を表したものである。図７には、異なる撮像タイミングで撮像装置１００ａで得られる画像データの一例が示されている。図７に示したように、ＲＯＩ画像データａ１、ＲＯＩ画像データｂ１およびＲＯＩ画像データｃ１は、互いに重なり合わない位置となっている。図８は、図７の画像データのエンコードの一例を表したものである。なお、図８には、ＭＩＰＩ ＣＳＩ－２規格もし
くはＭＩＰＩ ＣＳＩ－３規格におけるＳＲＯＩ(Smart Region Of Interest)で規定され
たルールに従って、エンコードが行われたときの伝送データ１２９Ａの一例が示されている。
　伝送データ１２９Ａは、例えば、図８に示したようなデータフレームによって構成されている。データフレームは、通常、ヘッダ領域、パケット領域、およびフッタ領域を有している。図８では、便宜的に、フッタ領域の記載が省略されている。データフレームにおいて、ヘッダ領域には、ＥｍｂｅｄｄｅｄＤａｔａが含まれている。ＥｍｂｅｄｄｅｄＤａｔａとは、データフレームのヘッダもしくはフッタに埋め込むことの可能な追加情報を指している。このとき、ＥｍｂｅｄｄｅｄＤａｔａには、メタデータ（ｍｅｔａＤａｔａ）としての補助データｄ１４が含まれている。
　また、図８に示したように、データフレームにおいて、パケット領域には、１ラインごとに、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａが含まれている。また、パケット領域には、画像データｐ１が含まれている。各ラインのＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａには、画像データｐ１における１ライン分のｉｍａｇｅＤａｔａが含まれている。図８には、画像データｐ１において、ＲＯＩ画像データａ１に相当する箇所と、ＲＯＩ画像データｂ１に相当する箇所と、ＲＯＩ画像データｃ１に相当する箇所とが例示されている。ここで、ＲＯＩ画像データａ１、ＲＯＩ画像データｂ１およびＲＯＩ画像データｃ１は、互いに重なり合わない位置となっていることから、画像データｐ１において、ＲＯＩ画像データａ１に相当する箇所と、ＲＯＩ画像データｂ１に相当する箇所と、ＲＯＩ画像データｃ１に相当する箇所とは、互いに重なり合わない。
　図９は、図８のメタデータに含まれるデータの一例を表したものである。補助データｄ１４は、例えば、図９に示したように、補助データｄ１１，ｄ１２，ｄ１３を含んで構成されている。補助データｄ１１には、例えば、フレーム番号ｄ１として「１」が、ＲＯＩ番号ｄ２として「２」が、ＲＯＩ位置ｄ５として「（Ｘａ１，Ｙａ１）（ＸＬａ１，ＹＬａ１）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。補助データｄ１２には、例えば、フレーム番号ｄ１として「２」が、ＲＯＩ番号ｄ２として「１」が、ＲＯＩ位置ｄ５として「（Ｘａ２，Ｙａ２）（ＸＬａ２，ＹＬａ２）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。補助データｄ１３には、例えば、フレーム番号ｄ１として「３」が、ＲＯＩ番号ｄ２として「１」が、ＲＯＩ位置ｄ５として「（Ｘａ３，Ｙａ３）（ＸＬａ３，ＹＬａ３）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。
　図１０は、一の撮像装置１００で得られる画像データの一例を表したものである。図１０には、異なる撮像タイミングで撮像装置１００ａで得られる画像データの一例が示されている。図１０に示したように、ＲＯＩ画像データａ１とＲＯＩ画像データｂ１とは、互いに重なり合わない位置となっており、ＲＯＩ画像データｂ１とＲＯＩ画像データｃ１とは、互いに重なり合わない位置となっており、ＲＯＩ画像データａ１とＲＯＩ画像データｃ１とは、それぞれの一部が互いに重なり合う位置となっている。図１１は、図１０の画像データのエンコードの一例を表したものである。なお、図１１には、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格におけるＳＲＯＩ(Smart Region Of Interest)で規定されたルールに従って、エンコードが行われたときの伝送データ１２９Ａの一例が示されている。
　伝送データ１２９Ａは、例えば、図１１に示したようなデータフレームによって構成されている。データフレームは、通常、ヘッダ領域、パケット領域、およびフッタ領域を有している。図１１では、便宜的に、フッタ領域の記載が省略されている。データフレームにおいて、ヘッダ領域には、ＥｍｂｅｄｄｅｄＤａｔａが含まれている。ＥｍｂｅｄｄｅｄＤａｔａには、メタデータ（ｍｅｔａＤａｔａ）としての補助データｄ１４が含まれている。
　また、図１１に示したように、データフレームにおいて、パケット領域には、１ラインごとに、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａが含まれている。また、パケット領域には、画像データｐ１が含まれている。各ラインのＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａには、画像データｐ１における１ライン分のｉｍａｇｅＤａｔａが含まれている。図１１には、画像データｐ１が、ＲＯＩ画像データａ１に対応する画像データと、ＲＯＩ画像データｂ１に対応する画像データと、ＲＯＩ画像データｃ１に対応する画像データとによって構成されている場合が例示されている。
　ここで、ＲＯＩ画像データａ１およびＲＯＩ画像データｃ１は、それぞれの一部が互いに重なり合う位置となっている。しかし、ＲＯＩ画像データａ１とＲＯＩ画像データｃ１とでは、撮像タイミングが互いに異なる。このような場合、ＲＯＩ画像データａ１のうち、ＲＯＩ画像データｃ１と重なり合う部分の画像データｏｖ１と、ＲＯＩ画像データｃ１のうち、ＲＯＩ画像データａ１と重なり合う部分の画像データｏｖ２とは、完全には一致しない。そのため、伝送データ量を削減しようとして、画像データｏｖ１および画像データｏｖ２のいずれか一方を省略した場合には、ＲＯＩ画像データａ１およびＲＯＩ画像データｃ１のいずれかを復元することができなくなってしまう。そこで、本実施の形態では、画像データｏｖ１および画像データｏｖ２のいずれも省略せずに画像データフレームに含める。つまり、画像処理部１２７は、上述の出力データサイズ調整を行うことにより選択された複数の画像データ１２５Ａの各々のＲＯＩ位置ｄ５に重なりがあるときに、その重なりに対応する部分の画像データを省略せずに含めたデータをエンコード部２６０に出力する。
　なお、ＲＯＩ画像データａ１およびＲＯＩ画像データｃ１が、それぞれの一部が互いに重なり合う位置となっている場合、撮像装置１００は、画像データｏｖ１および画像データｏｖ２のいずれも省略せずに画像データ１１５Ａを生成し、エンベデッドプロセッサ２００に送信するとともに、エンベデッドプロセッサ２００は、撮像装置１００から受信した画像データ１１５Ａから、画像データｏｖ１および画像データｏｖ２のいずれかを省略したＲＯＩ画像データａ１およびＲＯＩ画像データｃ１を生成（復元）してもよい。
　図１２は、一の撮像装置１００で得られる画像データの一例を表したものである。図１２には、異なる撮像タイミングで得られた３つの画像データ１１１Ａ（frame1,frame2,frame3）が例示されている。図１２に示したように、３つの画像データ１１１Ａ（frame1,frame2,frame3）から、６つのＲＯＩ画像データａ，ｂ，ｃ，ｄ，ｅ，ｆが互いに重なり合わない位置で得られたとする。ＲＯＩ画像データａは、frame1の画像データ１１１Ａの一部である。ＲＯＩ画像データｂ，ｃ，ｄは、frame2の画像データ１１１Ａの一部である。ＲＯＩ画像データｅ，ｆは、frame3の画像データ１１１Ａの一部である。
　図１３、図１４は、図１２の画像データのエンコードの一例を表したものである。なお、図１３、図１４には、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格におけるＳＲＯＩ(Smart Region Of Interest)で規定されたルールに従って、エンコードが行われたときの伝送データ１２９Ａの一例が示されている。図１３、図１４には、上述の出力データサイズ調整がなされることにより、３つのＲＯＩ画像データａ，ｂ，ｃと、３つのＲＯＩ画像データｄ，ｅ，ｆとが別々の伝送データ１２９Ａに割り当てられた様子が例示されている。
　一方の伝送データ１２９Ａは、例えば、図１３に示したように、３つのＲＯＩ画像データａ，ｂ，ｃをエンコードすることにより得られた画像データｐａと、３つのＲＯＩ画像データａ，ｂ，ｃに関する補助データｄｘとを含んでいる。ヘッダ領域には、メタデータ（ｍｅｔａＤａｔａ）としての補助データｄｘが含まれている。パケット領域には、画像データｐａが含まれている。３つのＲＯＩ画像データａ，ｂ，ｃは、互いに重なり合わない位置となっていることから、画像データｐａにおいて、ＲＯＩ画像データａに相当する箇所と、ＲＯＩ画像データｂに相当する箇所と、ＲＯＩ画像データｃに相当する箇所とは、互いに重なり合わない。
　他方の伝送データ１２９Ａは、例えば、図１４に示したように、３つのＲＯＩ画像データｄ，ｅ，ｆをエンコードすることにより得られた画像データｐｂと、３つのＲＯＩ画像データｄ，ｅ，ｆに関する補助データｄｙとを含んでいる。ヘッダ領域には、メタデータ（ｍｅｔａＤａｔａ）としての補助データｄｙが含まれている。パケット領域には、画像データｐｂが含まれている。３つのＲＯＩ画像データｄ，ｅ，ｆは、互いに重なり合わない位置となっていることから、画像データｐｂにおいて、ＲＯＩ画像データｄに相当する箇所と、ＲＯＩ画像データｅに相当する箇所と、ＲＯＩ画像データｆに相当する箇所とは、互いに重なり合わない。
　図１５は、図１３のメタデータに含まれるデータの一例を表したものである。補助データｄｘは、例えば、図１５に示したように、補助データｄａ，ｄｂ，ｄｃを含んで構成されている。補助データｄａは、ＲＯＩ画像データａに関する補助データである。補助データｄｂは、ＲＯＩ画像データｂに関する補助データである。補助データｄｃは、ＲＯＩ画像データｃに関する補助データである。補助データｄａには、例えば、フレーム番号ｄ１として「１」が、ＲＯＩ番号ｄ２として「１」が、ＲＯＩ位置ｄ５として「（Ｘａ１，Ｙａ１）（ＸＬａ１，ＹＬａ１）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。補助データｄｂには、例えば、フレーム番号ｄ１として「２」が、ＲＯＩ番号ｄ２として「１」が、ＲＯＩ位置ｄ５として「（Ｘａ２，Ｙａ２）（ＸＬａ２，ＹＬａ２）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。補助データｄｃには、例えば、フレーム番号ｄ１として「２」が、ＲＯＩ番号ｄ２として「２」が、ＲＯＩ位置ｄ５として「（Ｘａ３，Ｙａ３）（ＸＬａ３，ＹＬａ３）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。
　図１６は、図１４のメタデータに含まれるデータの一例を表したものである。補助データｄｙは、例えば、図１６に示したように、補助データｄｄ，ｄｅ，ｄｆを含んで構成されている。補助データｄｄは、ＲＯＩ画像データｄに関する補助データである。補助データｄｅは、ＲＯＩ画像データｅに関する補助データである。補助データｄｆは、ＲＯＩ画像データｆに関する補助データである。補助データｄｄには、例えば、フレーム番号ｄ１として「２」が、ＲＯＩ番号ｄ２として「３」が、ＲＯＩ位置ｄ５として「（Ｘａ４，Ｙａ４）（ＸＬａ４，ＹＬａ４）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。補助データｄｅには、例えば、フレーム番号ｄ１として「３」が、ＲＯＩ番号ｄ２として「１」が、ＲＯＩ位置ｄ５として「（Ｘａ５，Ｙａ５）（ＸＬａ５，ＹＬａ５）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。補助データｄｆには、例えば、フレーム番号ｄ１として「３」が、ＲＯＩ番号ｄ２として「２」が、ＲＯＩ位置ｄ５として「（Ｘａ６，Ｙａ６）（ＸＬａ６，ＹＬａ６）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。
　図１７、図１８は、図１２の画像データのエンコードの一例を表したものである。なお、図１７、図１８には、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で規定されたルールに従って、エンコードが行われたときの伝送データ１２９Ａの一例が示されている。図１７、図１８には、上述の出力データサイズ調整がなされることにより、ＲＯＩ画像データａ，ｂ，ｃおよびＲＯＩ画像データａの一部ｄ１と、ＲＯＩ画像データａの一部ｄ２およびＲＯＩ画像データｄ，ｅ，ｆとが別々の伝送データ１２９Ａに割り当てられた様子が例示されている。
　つまり、この例では、画像処理部１２７は、上述の出力データサイズ調整を行う際に、１つの画像データ１２５Ａ（例えば、ＲＯＩ画像データ１１２Ａ）を２つの画像データ（例えば、２つの部分ＲＯＩ画像データ）に分割し、一方の画像データ（例えば、一方の部分ＲＯＩ画像データ）を含むデータＤ１と、他方の画像データ（例えば、一方の部分ＲＯＩ画像データ）を含むデータＤ２とを別々にエンコード部２６０に出力する。送信部１２９は、データＤ１をエンコードすることにより得られた画像データを用いて、図１７に記載のような伝送データ１２９Ａを生成する。送信部１２９は、データＤ２をエンコードすることにより得られた画像データを用いて、図１８に記載のような伝送データ１２９Ａを生成する。
　図１９は、図１７のメタデータに含まれるデータの一例を表したものである。補助データｄｘは、例えば、図１９に示したように、補助データｄａ，ｄｂ，ｄｃ，ｄｄ１を含んで構成されている。補助データｄｄ１は、ＲＯＩ画像データａの一部である部分ＲＯＩ画像データに関する補助データである。補助データｄｄ１には、例えば、フレーム番号ｄ１として「２」が、ＲＯＩ番号ｄ２として「３」が、ＲＯＩ位置ｄ５として「（Ｘａ４，Ｙａ４）（ＸＬａ７，ＹＬａ７）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。
　図２０は、図１８のメタデータに含まれるデータの一例を表したものである。補助データｄｙは、例えば、図２０に示したように、補助データｄｄ２，ｄｅ，ｄｆを含んで構成されている。補助データｄｄ２は、ＲＯＩ画像データａの一部である部分ＲＯＩ画像データに関する補助データである。補助データｄｄ２には、例えば、フレーム番号ｄ１として「２」が、ＲＯＩ番号ｄ２として「３」が、ＲＯＩ位置ｄ５として「（Ｘａ８，Ｙａ８）（ＸＬａ８，ＹＬａ８）」が、カメラ番号ｄ３として「１」が、カメラ位置ｄ４として「（Ｘｍａ１，Ｙｍａ１，Ｚｍａ１）がそれぞれ含まれている。
[効果]
　次に、本実施の形態に係るエンベデッドビジョンシステム１０００の効果について説明する。
　例えばプロセッサとセンサと間の接続などの、デバイス間の接続に係る技術が開発されている。例えば、電子機器の高機能化、多機能化などに伴い、プロセッサなどの処理装置を備える電子機器の中には、複数の撮像装置を備えるものがある。例えば、特許文献１に記載の技術では、各撮像装置からの画像データの出力タイミング（以下、単に「各撮像装置の出力タイミング」と称する。）をずらし、処理装置にて信号を多重化することによって、撮像装置と処理装置との１対１接続が実現される。このような１対１接続において、例えば、各撮像装置から出力される画像データのサイズや、各撮像装置のフレームレート、各撮像装置の露光タイミングなどが撮像装置ごとに異なる場合、単純に、各撮像装置の出力タイミングをずらしただけでは、各撮像装置の出力タイミングの制御が難しいという問題があった。
　一方、本実施の形態に係る撮像装置１００では、１または複数の画像データ１１１Ａ、および１または複数の画像データ１１１Ａから抽出された１または複数のＲＯＩ画像データ１１２Ａのうちの一部である複数の画像データ１２２Ａが画像データ１１５Ａとしてエンコードされ、エンコードされた画像データ１１５Ａがエンベデッドプロセッサ２００に送信される。これにより、撮像装置１００が他の１または複数の撮像装置と共通の伝送路４００に接続されている場合に、撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
　また、本実施の形態に係る撮像装置１００では、エンベデッドプロセッサ２００から入力された第１制御信号に基づくタイミングで、伝送データ１２９Ａ（画像データ１２８Ａ）がエンベデッドプロセッサ２００に送信される。これにより、各撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置１００におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
　また、本実施の形態に係る撮像装置１００では、上述の所定のデータサイズが、制御部１２６から入力されたデータサイズに近づくように、エンコードが行われる。これにより、各撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置１００におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
　また、本実施の形態に係る撮像装置１００では、１または複数の画像データ１２５Ａに関する１または複数の補助データ１１５Ｂが生成され、画像データ１２８Ａとともに、１または複数の補助データ１１５Ｂがエンベデッドプロセッサ２００に送信される。補助データ１１５Ｂには、例えば、フレーム番号ｄ１、ＲＯＩ番号ｄ２、カメラ番号ｄ３およびＲＯＩ位置ｄ５が含まれる。これにより、各撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置１００におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
　また、本実施の形態に係る撮像装置１００では、補助データ１１５Ｂには、撮像装置１００の位置データ（カメラ位置ｄ４）が含まれている。これにより、例えば、撮像装置１００の位置に応じた画像処理が可能となる。
　また、本実施の形態に係る撮像装置１００では、上述の出力データサイズ調整を行うことにより選択された複数の画像データ１２５Ａの各々のＲＯＩ位置ｄ５に重なりがあるときに、その重なりに対応する部分の画像データを省略せずに含めてエンコードが行われる。これにより、複数の画像データ１２５Ａの撮像タイミングが全て等しくなっていない場合であっても、全ての画像データ１２５Ａを復元することができる。
　また、本実施の形態に係る撮像装置１００では、上述の出力データサイズ調整を行う際に、１つの画像データ１２５Ａ（例えば、ＲＯＩ画像データ１１２Ａ）が２つの画像データ（例えば、２つの部分ＲＯＩ画像データ）に分割され、一方の画像データ（例えば、一方の部分ＲＯＩ画像データ）を含むデータＤ１と、他方の画像データ（例えば、一方の部分ＲＯＩ画像データ）を含むデータＤ２とが別々にエンコード部１２８に出力される。これにより、エンコード部１２８に出力する１または複数の画像データ１２５Ａのデータサイズが、エンコード部１２８に出力する度に、大きく異ならないように、することができる。その結果、各撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置１００におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
　また、本実施の形態に係るエンベデッドプロセッサ２００では、伝送路４００のフレームレートに基づいて、伝送データ１２９Ａ（画像データ１２８Ａ）の送信タイミングについての制御信号が生成され、各撮像装置１００に送信される。この制御信号は、複数の撮像装置１００の各々からの伝送データ１２９Ａ（画像データ１２８Ａ）を、伝送路４００を介して順次、受信し得る送信タイミングを規定した信号である。これにより、各撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置１００におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
　また、本実施の形態に係るエンベデッドプロセッサ２００では、伝送路４００のフレームレートに基づいて、エンコードの際の指標となるデータサイズについての制御信号が生成され、各撮像装置１００に送信される。この制御信号は、複数の撮像装置１００の各々からの伝送データ１２９Ａ（画像データ１２８Ａ）を所定のフレームレートで受信し得るデータサイズを規定した信号である。これにより、各撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置１００におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
　また、本実施の形態に係るエンベデッドプロセッサ２００では、複数の撮像装置１００の各々からの伝送データ１２９Ａ（画像データ１２８Ａ）が、複数の撮像装置１００のうちの１つとエンベデッドプロセッサ２００とを１対１で接続するインターフェース規格で受信される。これにより、撮像装置１００ごとに伝送路を設けなくて済むので、エンベデッドプロセッサ２００の回路規模を最小限に抑えることができ、エンベデッドプロセッサ２００を小型化することができる。
　また、本実施の形態に係るエンベデッドプロセッサ２００では、受信した伝送データ１２９Ａ（画像データ１２８Ａ）をデコードすることにより、伝送データ１２９Ａ（画像データ１２８Ａ）から１または複数の画像データ１２５Ａが取得される。さらに、デコードにより取得した１または複数の画像データ１２５Ａが画像データ２６０Ａとしてエンコードされ、画像データ２６０Ａが伝送路４００のインターフェース規格とは異なるインターフェース規格の伝送路５００で外部システム３００に送信される。これにより、インターフェース規格の互いに異なる２つの伝送路４００，５００をエンベデッドプロセッサ２００によって接続することができる。
＜２．変形例＞
[変形例Ａ]
　図２１は、各撮像装置１００におけるデータ生成・データ伝送を模式的に表したものである。図２２は、各撮像装置１００で得られる画像データの一例を表したものである。図２２（Ａ）には、異なる撮像タイミングで撮像装置１００ａで得られる画像データの一例が示されている。図２２（Ｂ）には、異なる撮像タイミングで撮像装置１００ｂで得られる画像データの一例が示されている。図２２（Ｃ）には、異なる撮像タイミングで撮像装置１００ｃで得られる画像データの一例が示されている。
　上記実施の形態に係るエンベデッドビジョンシステム１０００において、複数の撮像装置１００のうち少なくとも１つの撮像装置１００が、全体画像データ１１２Ｂをエンコードすることにより得られた画像データ１１５Ａを含む伝送データ１２９Ａを、伝送路４００を介して、エンベデッドプロセッサ２００に伝送してもよい。例えば、図２１、図２２に示したように、３つの撮像装置１００ａ，１００ｂ，１００ｃのうちの１つの撮像装置１００ｂが、全体画像データａ２をエンコードすることにより得られた画像データｐ２と、画像データｐ２の元データである全体画像データａ２に関する補助データｄ２１とを含む伝送データ１２９Ａを、伝送路４００を介して、エンベデッドプロセッサ２００に伝送してもよい。
[変形例Ｂ] 
　図２３は、エンベデッドビジョンシステム１０００の機能ブロックの一変形例を模式的に表したものである。上記実施の形態およびその変形例に係るエンベデッドビジョンシステム１０００において、伝送路４００上にブリッジＩＣ６００が設けられていてもよい。
　ブリッジＩＣ６００は、複数の撮像装置１００と、エンベデッドプロセッサ２００との間に設けられている。ブリッジＩＣ６００は、複数の撮像装置１００の各々から出力された伝送データ１１６Ａを一時的に保存し、一次的に保存された複数の伝送データ１１６Ａを所定のタイミングで順次、伝送路４００を介してエンベデッドプロセッサ２００に送信する。
（データ伝送）
　図２４は、本変形例に係るエンベデッドビジョンシステム１０００における、データ伝送の手順の一例を表したものである。図２５は、各撮像装置１００におけるデータ生成・データ伝送を模式的に表したものである。
　まず、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、所定の露光タイミングやフレームレートに基づいて撮像を行うことにより、画像データ１１１Ａを取得する。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、決定されたＲＯＩの位置に基づいて、撮像素子１１１で取得した画像データ１１１Ａから、１または複数のＲＯＩの画像データ（ＲＯＩ画像データ１１２Ａ）を取得する（ステップＳ１０１）。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、さらに、ＲＯＩ画像データ１１２Ａごとに補助データ１１５Ｂを生成する（ステップＳ１０２）。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、撮像部１１０は、ＲＯＩ画像データ１１２Ａと、ＲＯＩ画像データ１１２Ａに対応する補助データ１１５Ｂとを信号処理ブロック１２０に送信する（ステップＳ１０３）。
　次に、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、ＲＯＩ画像データ１１２Ａと、ＲＯＩ画像データ１１２Ａに対応する補助データ１１５Ｂとを撮像部１１０から受信する（ステップＳ１０４）。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、上述の出力データサイズ調整を行い、それにより１または複数の画像データ１２５Ａを選択する。各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、さらに、選択した１または複数の画像データ１２５Ａを１つの伝送用画像データ（伝送データ１１６Ａ）としてエンコードする。つまり、信号処理ブロック１２０は、エンコードにより、伝送データ１１６Ａを生成する（ステップＳ１０５）。
　次に、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）において、信号処理ブロック１２０は、制御部１２６から指示された出力タイミングで、伝送データ１２９ＡをブリッジＩＣ６００に送信する（ステップＳ１０６）。ここで、伝送路４００に３つの撮像装置１００（１００ａ，１００ｂ，１００ｃ）が接続されている場合、撮像装置１００ａの信号処理ブロック１２０は、例えば、所定のタイミングで、伝送データ１２９Ａ（画像データｐ１、補助データｄ１４）をブリッジＩＣ６００に送信する。
　さらに、撮像装置１００ｂの信号処理ブロック１２０は、例えば、所定のタイミングで、伝送データ１２９Ａ（画像データｐ２、補助データｄ２３）をブリッジＩＣ６００に送信する。さらに、撮像装置１００ｃの信号処理ブロック１２０は、例えば、所定のタイミングで、伝送データ１２９Ａ（画像データｐ３、補助データｄ３３）をブリッジＩＣ６００に送信する。
　次に、ブリッジＩＣ６００は、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）から、伝送データ１２９Ａを受信する（ステップＳ１１１）。ブリッジＩＣ６００は、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）から受信した伝送データ１２９Ａを順次、伝送路４００を介して、エンベデッドプロセッサ２００に送信する（ステップＳ１１２）。
　次に、エンベデッドプロセッサ２００は、ブリッジＩＣ６００から、複数の伝送データ１２９Ａを順次、伝送路４００を介して受信する（ステップＳ１０７）。エンベデッドプロセッサ２００は、受信した伝送データ１２９Ａから、補助データを抽出する（ステップＳ１０８）。さらに、エンベデッドプロセッサ２００は、受信した伝送データ１２９Ａから、画像データを抽出する（ステップＳ１０９）。エンベデッドプロセッサ２００は、画像データをデコードしたり、デコードにより得られた画像データに対して所定の信号処理を行ったりする（ステップＳ１１０）。このようにして、本変形例に係るエンベデッドビジョンシステム１０００におけるデータ伝送が行われる。
　本変形例では、伝送路４００上にブリッジＩＣ６００が設けられている。これにより、複数の撮像装置１００（１００ａ，１００ｂ，１００ｃ）から出力された複数の伝送データ１２９Ａの多重化をブリッジＩＣ６００に担わせることができる。その結果、例えば、各撮像装置１００（１００ａ，１００ｂ，１００ｃ）からの、伝送データ１２９Ａの出力タイミングが互いに等しくなっている場合であっても、ブリッジＩＣ６００によって、複数の撮像装置１００（１００ａ，１００ｂ，１００ｃ）から出力された複数の伝送データ１２９Ａの多重化を行うことができる。従って、各撮像装置１００におけるデータ出力タイミングを、共通の伝送路４００に接続された他の１または複数の撮像装置１００におけるデータ出力タイミングとの関係で適切なタイミングに制御することが可能である。
[変形例Ｃ]
　図２６は、エンベデッドビジョンシステム１０００を道路交通システムの一部として適用した例を表したものである。本変形例では、各撮像装置１００は、例えば、複数のレーンを含む道路を、車の走行方向と平行な方向から撮影することの可能な位置および向きに設置される。このとき、例えば、図２６に示したように、複数の撮像装置１００がレーンごとに１台ずつ設けられている場合に、画像データ１２５Ａに関する補助データ１１５Ｂに、撮像装置１００の識別子（カメラ番号ｄ３）または撮像装置１００の位置（カメラ位置ｄ４）が含まれているときには、互いに等しい撮像タイミングで得られた複数の画像データ１２５Ａ同士の位置関係を、補助データ１１５Ｂに含まれるカメラ番号ｄ３またはカメラ位置ｄ４によって特定することができる。
　本変形例において、例えば、図２７に示したような画像データ１１１Ａが２つの撮像装置１００（１００ａ，１００ｂ）から得られたとする。このとき、エンコード部１２８は、例えば、図２８に示したように、２つの撮像装置１００（１００ａ，１００ｂ）から得られた２つのＲＯＩ画像データ１１２Ａを、カメラ番号ｄ３またはカメラ位置ｄ４に応じた位置関係で合成してもよい。また、エンコード部１２８，２６０は、例えば、図２８に示したように、２つの撮像装置１００（１００ａ，１００ｂ）から得られた２つのＲＯＩ画像データ１１２Ａを、デコード時の２つのＲＯＩ画像データ１１２Ａの位置関係で合成してもよい。このようにした場合には、エンコードの際に、カメラ番号ｄ３やカメラ位置ｄ４についての情報を省略することが可能となる。従って、カメラ番号ｄ３やカメラ位置ｄ４についての情報を画像データ１２８Ａ，２６０Ａに含めた場合と比べて、伝送路４００，５００上のデータ伝送量を減らすことができる。
[変形例Ｄ]
　図２９は、エンベデッドビジョンシステム１０００をドローン（無人移動飛行体）に適用した例を表したものである。本変形例では、複数の撮像装置１００（１００ａ，１００ｂ）およびエンベデッドプロセッサ２００がドローンに搭載されており、例えば、図３０に示したような画像データ１１１Ａが複数の撮像装置１００（１００ａ，１００ｂ）から得られる。外部システム３００は、エンベデッドプロセッサ２００と無線通信可能に構成されており、地上に設置されている。
　ここで、ドローンが空中で静止している場合や、空中において低速で移動している場合であって、かつ、対象物の位置がフレーム間でほとんど変化しないか、または、わずかしか変化しないとする。このような場合には、ＲＯＩ切り出し部１１２は、画像データ１１１Ａから切り出した１または複数のＲＯＩ画像データ１１２Ａの一部を、複数に分割してもよい。この場合、分割を行わない場合と比べて、各伝送データ１１６Ａに含める画像データ１１５Ａのサイズ、または、各伝送データ１２９Ａに含める画像データ１２８Ａのサイズを、より均一化することが可能である。
　なお、分割を行った場合、ＲＯＩ画像生成部１２４は、分割した画像データ同士をつなぎ合わせることにより、分割前のＲＯＩ画像データ１１２Ａを生成（復元）する。このとき、データロスによる復元不良を避けるため、対象物の位置がフレーム間でほとんど変化しない場合に限り、ＲＯＩ切り出し部１１２における分割処理を行うことが好ましい。
　ドローンが空中で静止している場合や、空中において低速で移動している場合であっても、対象物が高速に移動している場合には、対象物の位置が、フレーム間で大きく変化する。このような場合には、データロスによる復元不良を避けるため、ＲＯＩ切り出し部１１２における分割処理を行わないことが好ましい。
　以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　撮像により撮像画像データを取得する撮像部と、
　前記撮像部で取得した１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードするエンコード部と、
　前記エンコード部で生成された前記伝送用画像データを外部装置に送信する送信部と
　を備えた
　撮像装置。
（２）
　前記複数の画像データは、前記１または複数の撮像画像データから抽出された１または複数のＲＯＩ（Region　Oｆ　Interest）画像データを含む
　（１）に記載の撮像装置。
（３）
　前記送信部は、前記外部装置から入力された第１制御信号に基づくタイミングで、前記伝送用画像データを前記外部装置に送信する
　（１）または（２）に記載の撮像装置。
（４）
　前記エンコード部は、前記伝送用画像データもしくは前記複数の画像データのデータサイズが、前記外部装置から入力された第２制御信号に基づくデータサイズに近づくように、エンコードを行う
　（１）ないし（３）のいずれか１つに記載の撮像装置。
（５）
　前記複数の画像データに関する補助データを生成する生成部を更に備え、

　前記送信部は、前記伝送用画像データとともに、前記補助データを前記外部装置に送信する
　（１）ないし（４）のいずれか１つに記載の撮像装置。
（６）
　前記複数の画像データに、前記１または複数のＲＯＩ画像データが含まれる場合には、前記補助データには、フレーム識別子、ＲＯＩ識別子、ＲＯＩ位置データおよび当該撮像装置の識別子が含まれる
　（５）に記載の撮像装置。
（７）
　前記補助データには、さらに、当該撮像装置の位置データが含まれる
　（６）に記載の撮像装置。
（８）
　前記エンコード部は、前記複数の画像データに、前記複数のＲＯＩ画像データが含まれる場合であって、かつ、前記複数のＲＯＩ画像データの各々の前記ＲＯＩ位置データに重なりがあるときに、その重なりに対応する部分の画像データを省略せずに含めてエンコードを行う
　（６）または（７）に記載の撮像装置。
（９）
　前記エンコード部は、前記複数の画像データに、前記複数のＲＯＩ画像データが含まれている場合に、前記複数のＲＯＩ画像データのうちの１つのＲＯＩ画像データを２つの部分ＲＯＩ画像データに分割し、一方の前記部分ＲＯＩ画像データを第１の伝送用画像データに含めてエンコードを行うとともに、他方の前記部分ＲＯＩ画像データを第２の伝送用画像データに含めてエンコードを行う
　（６）ないし（８）のいずれか１つに記載の撮像装置。
（１０）
　前記送信部は、前記伝送用画像データを、当該撮像装置と前記外部装置とを１対１で接続するインターフェース規格で前記外部装置に送信する
　（１）ないし（９）のいずれか１つに記載の撮像装置。
（１１）
　共通の伝送路に接続された複数の撮像装置の各々から、複数の画像データがエンコードされた第１伝送用画像データを、前記伝送路を介して順次、受信する受信部と、
　前記伝送路のフレームレートに基づいて、前記第１伝送用画像データの送信タイミングについての第１制御信号を生成する生成部と、
　前記生成部で生成した前記第１制御信号を前記複数の撮像装置に送信する第１送信部と
　を備えた
　処理装置。
（１２）
　前記生成部は、前記伝送路のフレームレートに基づいて、エンコードの際の指標となるデータサイズについての第２制御信号を生成し、
　前記第１送信部は、前記生成部で生成した前記第１制御信号および前記第２制御信号を前記複数の撮像装置に送信する
　（１１）に記載の処理装置。
（１３）
　前記受信部は、前記複数の撮像装置の各々からの前記第１伝送用画像データを、前記複数の撮像装置のうちの１つと当該受信部とを１対１で接続する第１インターフェース規格で受信する
　（１１）または（１２）に記載の処理装置。
（１４）
　前記生成部は、前記第１制御信号として、前記複数の撮像装置の各々からの前記第１伝送用画像データを、前記伝送路を介して順次、受信し得る送信タイミングを規定した信号を生成する
　（１１）ないし（１３）のいずれか１つに記載の処理装置。
（１５）
　前記生成部は、前記第２制御信号として、前記複数の撮像装置の各々からの前記第１伝送用画像データを所定のフレームレートで受信し得るデータサイズを規定した信号を生成する
　（１２）に記載の処理装置。
（１６）
　前記受信部で受信した前記第１伝送用画像データをデコードすることにより、前記第１伝送用画像データから前記複数の画像データを取得するデコード部と、
　前記デコード部で取得した前記複数の画像データを１つの第２伝送用画像データとしてエンコードするエンコード部と、
　前記エンコード部で生成した前記第２伝送用画像データを、前記第１インターフェース規格とは異なる第２インターフェース規格で外部システムに送信する第２送信部と
　を更に備えた
　（１３）に記載の処理装置。
（１７）
　前記受信部は、前記複数の画像データに関する補助データを受信し、
　前記複数の画像データに、前記１または複数のＲＯＩ画像データが含まれている場合には、前記補助データには、フレーム識別子、ＲＯＩ識別子、ＲＯＩ位置データおよび前記撮像装置の識別子が含まれ、
　前記エンコード部は、前記複数の撮像装置の各々からの前記伝送用画像データから得られた複数の画像データを、前記複数の撮像装置の各々の識別子に基づいてエンコードする
　（１６）に記載の処理装置。
（１８）
　共通の伝送路に接続された複数の撮像装置および外部装置を備え、
　各前記撮像装置は、
　撮像により撮像画像データを取得する撮像部と、
　前記撮像部により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードするエンコード部と、
　前記エンコード部で生成された前記伝送用画像データを、前記外部装置から入力された第１制御信号に基づくタイミングで、前記伝送路を介して前記外部装置に送信する第１送信部と
　を有し、
　前記外部装置は、
　前記複数の撮像装置の各々から、前記伝送用画像データを、前記伝送路を介して順次、受信する受信部と、
　前記伝送路のフレームレートに基づいて、前記伝送用画像データの送信タイミングについての信号として、前記第１制御信号を生成する生成部と、
　前記生成部で生成した前記第１制御信号を前記複数の撮像装置に送信する第２送信部と
　を有する
　データ伝送システム。
（１９）
　前記生成部は、前記伝送路のフレームレートに基づいて、エンコードの際の指標となるデータサイズについての第２制御信号を生成し、
　前記第２送信部は、前記生成部で生成した前記第１制御信号および前記第２制御信号を前記複数の撮像装置に送信し、
　前記エンコード部は、前記伝送用画像データもしくは前記複数の画像データのデータサイズが、前記外部装置から入力された前記第２制御信号に基づくデータサイズに近づくように、エンコードを行う
　（１８）に記載のデータ伝送システム。
（２０）
　共通の伝送路に接続された複数の撮像装置および外部装置におけるデータ伝送方法であって、
　各前記撮像装置において、撮像により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードした後、エンコードにより得られた前記伝送用画像データを、前記外部装置から入力された第１制御信号に基づくタイミングで、前記伝送路を介して前記外部装置に送信することと、
　前記外部装置において、前記複数の撮像装置の各々から、前記伝送用画像データを、前記伝送路を介して順次、受信することと、
　前記外部装置において、前記伝送路のフレームレートに基づいて、前記伝送用画像データの送信タイミングについての信号として、前記第１制御信号を生成し、前記複数の撮像装置に送信することと
　を含む
　データ伝送方法。
　本開示の一実施形態に係る撮像装置によれば、撮像部で取得した１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードし、エンコードした伝送用画像データを外部装置に送信するようにしたので、共通の伝送路に接続された各撮像装置の出力タイミングの制御を容易に行うことができる。
　本開示の一実施形態に係る処理装置によれば、複数の撮像装置が接続された伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての制御信号を生成し、伝送路を介して複数の撮像装置に送信するようにしたので、共通の伝送路に接続された各撮像装置の出力タイミングの制御を容易に行うことができる。
　本開示の一実施形態に係るデータ伝送システムによれば、撮像部により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードし、エンコードした伝送用画像データを、外部装置から入力された制御信号に基づくタイミングで、外部装置に送信し、制御信号を、伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての信号として生成し、外部装置から複数の撮像装置に送信するようにしたので、共通の伝送路に接続された各撮像装置の出力タイミングの制御を容易に行うことができる。
　本開示の一実施形態に係るデータ伝送方法によれば、撮像により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードし、エンコードした伝送用画像データを、外部装置から入力された制御信号に基づくタイミングで、外部装置に送信し、制御信号を、伝送路のフレームレートに基づいて、伝送用画像データの送信タイミングについての信号として生成し、外部装置から複数の撮像装置に送信するようにしたので、共通の伝送路に接続された各撮像装置の出力タイミングの制御を容易に行うことができる。
　本出願は、日本国特許庁において２０１９年８月３０日に出願された日本特許出願番号２０１９－１５８６３５号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (20)

  1. 　撮像により撮像画像データを取得する撮像部と、
    　前記撮像部で取得した１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードするエンコード部と、
    　前記エンコード部で生成された前記伝送用画像データを外部装置に送信する送信部と
    　を備えた
    　撮像装置。
  2. 　前記複数の画像データは、前記１または複数の撮像画像データから抽出された１または複数のＲＯＩ（Region　Oｆ　Interest）画像データを含む
    　請求項１に記載の撮像装置。
  3. 　前記送信部は、前記外部装置から入力された第１制御信号に基づくタイミングで、前記伝送用画像データを前記外部装置に送信する
    　請求項１に記載の撮像装置。
  4. 　前記エンコード部は、前記伝送用画像データもしくは前記複数の画像データのデータサイズが、前記外部装置から入力された第２制御信号に基づくデータサイズに近づくように、エンコードを行う
    　請求項３に記載の撮像装置。
  5. 　前記複数の画像データに関する補助データを生成する生成部を更に備え、
    　前記送信部は、前記伝送用画像データとともに、前記補助データを前記外部装置に送信する
    　請求項１に記載の撮像装置。
  6. 　前記複数の画像データに、前記１または複数のＲＯＩ画像データが含まれる場合には、前記補助データには、フレーム識別子、ＲＯＩ識別子、ＲＯＩ位置データおよび当該撮像装置の識別子が含まれる
    　請求項５に記載の撮像装置。
  7. 　前記補助データには、さらに、当該撮像装置の位置データが含まれる
    　請求項６に記載の撮像装置。
  8. 　前記エンコード部は、前記複数の画像データに、前記複数のＲＯＩ画像データが含まれる場合であって、かつ、前記複数のＲＯＩ画像データの各々の前記ＲＯＩ位置データに重なりがあるときに、その重なりに対応する部分の画像データを省略せずに含めてエンコードを行う
    　請求項６に記載の撮像装置。
  9. 　前記エンコード部は、前記複数の画像データに、前記複数のＲＯＩ画像データが含まれている場合に、前記複数のＲＯＩ画像データのうちの１つのＲＯＩ画像データを２つの部分ＲＯＩ画像データに分割し、一方の前記部分ＲＯＩ画像データを第１の伝送用画像データに含めてエンコードを行うとともに、他方の前記部分ＲＯＩ画像データを第２の伝送用画像データに含めてエンコードを行う
    　請求項６に記載の撮像装置。
  10. 　前記送信部は、前記伝送用画像データを、当該撮像装置と前記外部装置とを１対１で接続するインターフェース規格で前記外部装置に送信する
    　請求項１に記載の撮像装置。
  11. 　共通の伝送路に接続された複数の撮像装置の各々から、複数の画像データがエンコードされた第１伝送用画像データを、前記伝送路を介して順次、受信する受信部と、
    　前記伝送路のフレームレートに基づいて、前記第１伝送用画像データの送信タイミングについての第１制御信号を生成する生成部と、
    　前記生成部で生成した前記第１制御信号を前記複数の撮像装置に送信する第１送信部と
    　を備えた
    　処理装置。
  12. 　前記生成部は、前記伝送路のフレームレートに基づいて、エンコードの際の指標となるデータサイズについての第２制御信号を生成し、
    　前記第１送信部は、前記生成部で生成した前記第１制御信号および前記第２制御信号を前記複数の撮像装置に送信する
    　請求項１１に記載の処理装置。
  13. 　前記受信部は、前記複数の撮像装置の各々からの前記第１伝送用画像データを、前記複数の撮像装置のうちの１つと当該受信部とを１対１で接続する第１インターフェース規格で受信する
    　請求項１１に記載の処理装置。
  14. 　前記生成部は、前記第１制御信号として、前記複数の撮像装置の各々からの前記第１伝送用画像データを、前記伝送路を介して順次、受信し得る送信タイミングを規定した信号を生成する
    　請求項１１に記載の処理装置。
  15. 　前記生成部は、前記第２制御信号として、前記複数の撮像装置の各々からの前記第１伝送用画像データを所定のフレームレートで受信し得るデータサイズを規定した信号を生成する
    　請求項１２に記載の処理装置。
  16. 　前記受信部で受信した前記第１伝送用画像データをデコードすることにより、前記第１伝送用画像データから前記複数の画像データを取得するデコード部と、
    　前記デコード部で取得した前記複数の画像データを１つの第２伝送用画像データとしてエンコードするエンコード部と、
    　前記エンコード部で生成した前記第２伝送用画像データを、前記第１インターフェース規格とは異なる第２インターフェース規格で外部システムに送信する第２送信部と
    　を更に備えた
    　請求項１３に記載の処理装置。
  17. 　前記受信部は、前記複数の画像データに関する補助データを受信し、
    　前記複数の画像データに、前記１または複数のＲＯＩ画像データが含まれている場合には、前記補助データには、フレーム識別子、ＲＯＩ識別子、ＲＯＩ位置データおよび前記撮像装置の識別子が含まれ、
    　前記エンコード部は、前記複数の撮像装置の各々からの前記伝送用画像データから得られた複数の画像データを、前記複数の撮像装置の各々の識別子に基づいてエンコードする
    　請求項１６に記載の処理装置。
  18. 　共通の伝送路に接続された複数の撮像装置および外部装置を備え、
    　各前記撮像装置は、
    　撮像により撮像画像データを取得する撮像部と、
    　前記撮像部により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードするエンコード部と、
    　前記エンコード部で生成された前記伝送用画像データを、前記外部装置から入力された第１制御信号に基づくタイミングで、前記伝送路を介して前記外部装置に送信する第１送信部と
    　を有し、
    　前記外部装置は、
    　前記複数の撮像装置の各々から、前記伝送用画像データを、前記伝送路を介して順次、受信する受信部と、
    　前記伝送路のフレームレートに基づいて、前記伝送用画像データの送信タイミングについての信号として、前記第１制御信号を生成する生成部と、
    　前記生成部で生成した前記第１制御信号を前記複数の撮像装置に送信する第２送信部と
    　を有する
    　データ伝送システム。
  19. 　前記生成部は、前記伝送路のフレームレートに基づいて、エンコードの際の指標となるデータサイズについての第２制御信号を生成し、
    　前記第２送信部は、前記生成部で生成した前記第１制御信号および前記第２制御信号を前記複数の撮像装置に送信し、
    　前記エンコード部は、前記伝送用画像データもしくは前記複数の画像データのデータサイズが、前記外部装置から入力された前記第２制御信号に基づくデータサイズに近づくように、エンコードを行う
    　請求項１８に記載のデータ伝送システム。
  20. 　共通の伝送路に接続された複数の撮像装置および外部装置におけるデータ伝送方法であって、
    　各前記撮像装置において、撮像により得られた１または複数の撮像画像データに基づく複数の画像データを１つの伝送用画像データとしてエンコードした後、エンコードにより得られた前記伝送用画像データを、前記外部装置から入力された第１制御信号に基づくタイミングで、前記伝送路を介して前記外部装置に送信することと、
    　前記外部装置において、前記複数の撮像装置の各々から、前記伝送用画像データを、前記伝送路を介して順次、受信することと、
    　前記外部装置において、前記伝送路のフレームレートに基づいて、前記伝送用画像データの送信タイミングについての信号として、前記第１制御信号を生成し、前記複数の撮像装置に送信することと
    　を含む
    　データ伝送方法。
PCT/JP2020/022299 2019-08-30 2020-06-05 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法 WO2021039011A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/637,026 US20220279110A1 (en) 2019-08-30 2020-06-05 Imaging device, processing device, data transmission system, and data transmission method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-158635 2019-08-30
JP2019158635 2019-08-30

Publications (1)

Publication Number Publication Date
WO2021039011A1 true WO2021039011A1 (ja) 2021-03-04

Family

ID=74683603

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/022299 WO2021039011A1 (ja) 2019-08-30 2020-06-05 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法

Country Status (2)

Country Link
US (1) US20220279110A1 (ja)
WO (1) WO2021039011A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230239245A1 (en) * 2020-06-26 2023-07-27 Sony Group Corporation Network control method and data processing system

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11893786B1 (en) * 2021-08-17 2024-02-06 Amazon Technologies, Inc. Scan-free barcode reading

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094939A (ja) * 1999-09-24 2001-04-06 Victor Co Of Japan Ltd ディジタル信号記録装置
JP2007013697A (ja) * 2005-06-30 2007-01-18 Victor Co Of Japan Ltd 画像受信装置及び画像受信方法
JP2018137567A (ja) * 2017-02-21 2018-08-30 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
WO2018225449A1 (ja) * 2017-06-09 2018-12-13 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3545686B1 (en) * 2017-03-20 2021-09-22 Samsung Electronics Co., Ltd. Methods and apparatus for generating video content

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001094939A (ja) * 1999-09-24 2001-04-06 Victor Co Of Japan Ltd ディジタル信号記録装置
JP2007013697A (ja) * 2005-06-30 2007-01-18 Victor Co Of Japan Ltd 画像受信装置及び画像受信方法
JP2018137567A (ja) * 2017-02-21 2018-08-30 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置
WO2018225449A1 (ja) * 2017-06-09 2018-12-13 ソニーセミコンダクタソリューションズ株式会社 映像送信装置および映像受信装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230239245A1 (en) * 2020-06-26 2023-07-27 Sony Group Corporation Network control method and data processing system
US11997017B2 (en) * 2020-06-26 2024-05-28 Sony Group Corporation Network control method and data processing system

Also Published As

Publication number Publication date
US20220279110A1 (en) 2022-09-01

Similar Documents

Publication Publication Date Title
US11252345B2 (en) Dual-spectrum camera system based on a single sensor and image processing method
US8098941B2 (en) Method and apparatus for parallelization of image compression encoders
US8416303B2 (en) Imaging apparatus and imaging method
KR102509132B1 (ko) 영상 송신 장치 및 영상 수신 장치
US8976260B2 (en) Image processing apparatus and image processing method
US11323617B2 (en) Video transmission apparatus and video reception apparatus
US9854167B2 (en) Signal processing device and moving image capturing device
WO2021039011A1 (ja) 撮像装置、処理装置、データ伝送システム、及びデータ伝送方法
WO2020168465A1 (zh) 一种图像处理的装置和方法
US11871008B2 (en) Transmitting apparatus, receiving apparatus, and transmission system
JP7357620B2 (ja) 画像処理装置、および画像処理システム
US11347978B2 (en) Image processing apparatus, image processing method, and image processing system
CN114009006A (zh) 传输装置、接收装置和传输系统
US11823422B2 (en) Image processing apparatus, control method of the same, and storage medium
WO2020261815A1 (ja) 送信装置、受信装置及び伝送システム
WO2021039012A1 (ja) 撮像装置、データ伝送システム、及びデータ伝送方法
US11297279B2 (en) Transmission device, reception device, and communication system
CN114009007A (zh) 发送装置、接收装置和传输系统
US20220245828A1 (en) Transmitter, receiver, and communication system
JP7410748B2 (ja) 撮像装置及びその制御方法及びプログラム
US20240015409A1 (en) Imaging device and image processing system
WO2020116292A1 (ja) 画像処理装置及び画像処理方法
WO2019017562A1 (ko) 이미지의 에러 데이터를 보정하여 압축하기 위한 장치 및 그에 관한 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20859344

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20859344

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP