WO2021020214A1 - 送信装置、受信装置及び通信システム - Google Patents

送信装置、受信装置及び通信システム Download PDF

Info

Publication number
WO2021020214A1
WO2021020214A1 PCT/JP2020/028115 JP2020028115W WO2021020214A1 WO 2021020214 A1 WO2021020214 A1 WO 2021020214A1 JP 2020028115 W JP2020028115 W JP 2020028115W WO 2021020214 A1 WO2021020214 A1 WO 2021020214A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
roi
information
unit
motion information
Prior art date
Application number
PCT/JP2020/028115
Other languages
English (en)
French (fr)
Inventor
直樹 吉持
泰史 佐藤
宏介 長野
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to EP20846096.4A priority Critical patent/EP4007263A4/en
Priority to KR1020227001995A priority patent/KR20220037445A/ko
Priority to CN202080053495.8A priority patent/CN114175664A/zh
Priority to JP2021536964A priority patent/JPWO2021020214A1/ja
Priority to US17/625,944 priority patent/US20220245828A1/en
Publication of WO2021020214A1 publication Critical patent/WO2021020214A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4545—Input to filtering algorithms, e.g. filtering a region of the image
    • H04N21/45452—Input to filtering algorithms, e.g. filtering a region of the image applied to an object-based stream, e.g. MPEG-4 streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8146—Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection

Definitions

  • the present disclosure relates to a transmitting device, a receiving device and a communication system.
  • Japanese Unexamined Patent Publication No. 2016-201756 Japanese Unexamined Patent Publication No. 2014-39219 Japanese Unexamined Patent Publication No. 2013-164834 Japanese Unexamined Patent Publication No. 2012-209831
  • ROI transmission is based on the premise that the imaging device is in a stationary state. Therefore, when the image pickup apparatus moves, the positional relationship between the original overall image and the ROI image changes with the movement of the image pickup apparatus, and it becomes difficult to properly transmit the ROI. It is desirable to provide a transmitting device, a receiving device, and a communication system capable of appropriately transmitting the ROI even when the imaging device is moving.
  • the transmission device includes a detection unit, a generation unit, and a transmission unit.
  • the detection unit detects the ROI image data based on the ROI (Region Of Interest) instruction information.
  • the generation unit generates ROI information from the ROI image data detected by the detection unit.
  • the transmission unit transmits the ROI image data and the ROI information to the external device.
  • the detection unit detects motion information of the detected ROI image data based on any one of a plurality of image data obtained by different imaging timings and a plurality of ROI image data obtained by different imaging timings.
  • the first communication system includes a transmitting device and a receiving device.
  • the transmitting device has a first transmitting unit that selectively transmits the first image data obtained by imaging and the ROI image data extracted from the second image data obtained by imaging to the receiving device.
  • the receiving device includes a first generation unit that generates motion information based on any one of a plurality of first image data obtained by different imaging timings and a plurality of ROI image data obtained by different imaging timings, and a second generation unit. It has a second generation unit that generates ROI information in image data, and a second transmission unit that transmits motion information and ROI information to a transmission device.
  • the transmission device further has an extraction unit that extracts ROI image data from the second image data using motion information and ROI information.
  • the first image data obtained by imaging and the ROI image data extracted from the second image data obtained by imaging are selectively transmitted from the transmitting device. It is sent to the receiving device.
  • the motion information generated based on any of the plurality of first image data obtained by different imaging timings and the plurality of ROI image data obtained by different imaging timings, and the ROI information in the second image data are received by the receiving device. Is transmitted to the transmitter.
  • one or a plurality of ROI image data are extracted from the second image data by using the motion information and the ROI information.
  • the second communication system includes a transmitting device and a receiving device.
  • the transmitting device has a first transmitting unit that selectively transmits the first image data obtained by imaging and the ROI image data extracted from the second image data obtained by imaging to the receiving device. ..
  • the receiving device uses a first generation unit that generates motion information based on any of a plurality of first image data having different imaging timings and a plurality of ROI image data obtained by different imaging timings, and motion information. It has a second generation unit that generates ROI information in the second image data, and a second transmission unit that transmits ROI information to the transmission device.
  • the transmitting device uses the ROI information to extract the ROI image data from the second image data.
  • the first image data obtained by imaging and one or more ROI image data extracted from the second image data obtained by imaging are selectively selected. Is transmitted from the transmitting device to the receiving device.
  • the third communication system includes a transmitting device and a receiving device.
  • the transmitting device has a first transmitting unit that transmits the ROI image data extracted from the image data obtained by imaging to the receiving device.
  • the receiving device has a generation unit that generates ROI information in image data, a second transmitting unit that transmits motion information of the transmitting device obtained by the sensor, and ROI information to the transmitting device.
  • the transmission device further has an extraction unit that extracts ROI image data from the image data by using the motion information and the ROI information.
  • the ROI image data extracted from the image data obtained by imaging is transmitted from the transmitting device to the receiving device.
  • the motion information of the transmitting device obtained by the sensor and the ROI information in the image data are transmitted from the receiving device to the transmitting device.
  • the ROI image data is extracted from the image data by using the motion information and the ROI information.
  • the fourth communication system includes a transmitting device and a receiving device.
  • the transmitting device has a first transmitting unit that transmits the ROI image data extracted from the image data obtained by imaging to the receiving device.
  • the receiving device has a second generation unit that generates ROI information in image data using motion information of the transmitting device obtained by the sensor, and a second transmitting unit that transmits ROI information to the transmitting device. ..
  • the transmitting device uses the ROI information to extract the ROI image data from the image data.
  • the ROI image data extracted from the image data obtained by imaging is transmitted from the transmitting device to the receiving device.
  • ROI information in the image data is generated using the motion information of the transmitting device obtained by the sensor, and is transmitted from the receiving device to the transmitting device.
  • the transmission device the ROI image data is extracted from the image data by using the ROI information.
  • the receiving device includes a receiving unit, a detecting unit, a generating unit, and a transmitting unit.
  • the receiving unit receives the image data.
  • the detection unit detects ROI image data from the received image data.
  • the generation unit generates ROI instruction information from the ROI image data detected by the detection unit.
  • the transmission unit transmits ROI instruction information.
  • the detection unit detects motion information of the detected ROI image data based on any of a plurality of image data obtained by different imaging timings and a plurality of ROI image data obtained by different imaging timings.
  • ROI instruction information is generated and transmitted from the ROI image data detected from the received image data. Further, motion information of the detected ROI image data is detected based on any of a plurality of image data obtained by different imaging timings and a plurality of ROI image data obtained by different imaging timings. Thereby, for example, even when the transmitting device moves, ROI image data in consideration of the movement of the transmitting device can be obtained.
  • FIG. It is a figure which shows an example of the procedure following FIG. It is a figure which shows one modification of the schematic structure of the image sensor. It is a figure which shows an example of the state of setting an ROI image following the movement of an object, and detecting the movement of a camera. It is a figure which shows an example of the procedure which can be replaced with S102 in the procedure described in FIG. It is a figure which shows one modification of the schematic structure of the image sensor. It is a figure which shows one modification of the schematic structure of the image sensor. It is a figure which shows one modification of the schematic structure of the image sensor. It is a figure which shows an example of the schematic structure of the processor in the communication system provided with the image sensor of FIG. It is a figure which shows one modification of the schematic structure of the image sensor.
  • FIG. 17 It is a figure which shows an example of the schematic structure of the processor in the communication system provided with the image sensor of FIG. It is a figure which shows an example of the procedure of data transmission in the communication system provided with the image sensor of FIG. 17 and the processor of FIG. It is a figure which shows an example of the procedure following FIG. It is a figure which shows an example of the procedure which can be replaced with S201 in the procedure described in FIG. It is a figure which shows one modification of the schematic structure of a processor. It is a figure which shows one modification of the schematic structure of the communication system of FIG. It is a figure which shows the installation example of the in-vehicle camera to which the said communication system is applied. It is a figure which shows one configuration example which applied the said communication system to an in-vehicle camera.
  • FIG. 1 shows a schematic configuration example of the communication system 1000 according to the present embodiment.
  • the communication system 1000 is applied to the transmission of data signals, clock signals and control signals, and includes an image sensor 100 (transmitting device) and a processor 200 (receiving device).
  • the image sensor 100 and the processor 200 are electrically connected by the data bus B1.
  • the data bus B1 is a signal transmission line that connects the image sensor 100 and the processor 200.
  • Data indicating an image transmitted from the image sensor 100 (hereinafter, referred to as “image data”) is transmitted from the image sensor 100 to the processor 200 via the data bus B1.
  • the image sensor 100 and the processor 200 may be electrically connected by a bus (control bus B2).
  • the control bus B2 is a transmission line for another signal that connects the image sensor 100 and the processor 200, and is a transmission line different from the data bus B1.
  • the control data transmitted from the processor 200 is transmitted from the processor 200 to the image sensor 100 via the control bus B2.
  • the image sensor 100 has an image pickup function and a transmission function, and transmits image data generated by imaging.
  • the image sensor 100 serves as a transmitter in the communication system 1000.
  • the image sensor 100 is of any type capable of generating an image, such as an "imaging device such as a digital still camera, a digital video camera, or a stereo camera", an "infrared sensor", or a “distance image sensor”. It includes an image sensor device and has the function of transmitting the generated image.
  • the image generated by the image sensor 100 corresponds to data indicating the sensing result of the image sensor 100. An example of the configuration of the image sensor 100 will be described in detail later with reference to FIG.
  • the image sensor 100 transmits data corresponding to an area set for the image data (hereinafter, also referred to as "image data of the area”) by a transmission method described later.
  • the control related to the transmission of the image data of the region is performed by, for example, a component (described later) that functions as an image processing unit in the image sensor 100.
  • the area set for the image is called ROI (Region Of Interest).
  • ROI Region Of Interest
  • the area set for the image will be referred to as “ROI”.
  • the image data of the area is referred to as "ROI image data”.
  • Examples of the process related to the setting of the area for the image include "a process of detecting an object from the image and setting an area including the detected object” and "a process of setting an area specified by an operation on an arbitrary operation device".
  • An arbitrary process or an arbitrary process capable of cutting out a part of the area from the image) such as “processing” that can specify a part of the area in the image can be mentioned.
  • the image sensor 100 transmits the image data of the ROI, that is, by transmitting a part of the image data, the amount of data related to the transmission is smaller than that of transmitting the entire image data. Therefore, when the image sensor 100 transmits the image data of the ROI, for example, the transmission time is shortened, the load related to the transmission in the communication system 1000 is reduced, and the amount of data is reduced. Various effects are produced.
  • the image sensor 100 can extract image data of one or more ROIs from the image data and transmit the extracted image data of one or more ROIs regardless of whether the image sensor 100 is moved or not. is there.
  • the image sensor 100 can also transmit the entire image data.
  • the processor 200 receives the data transmitted from the image sensor 100 and processes the received data.
  • the processor 200 serves as a receiver in the communication system 1000.
  • An example of a configuration related to processing of data transmitted from the image sensor 100 (configuration for serving as a receiving device) will be described in detail later with reference to FIG.
  • the processor 200 is composed of one or more processors composed of arithmetic circuits such as MPU (Micro Processing Unit), various processing circuits, and the like.
  • the processor 200 performs various processes such as a process related to recording control of image data on a recording medium, a process related to image display control on a display screen of a display device, and a process of executing arbitrary application software.
  • Examples of the process related to recording control include "a process of transmitting control data including a recording instruction and data to be recorded on a recording medium to a recording medium".
  • examples of the process related to the display control include "a process of transmitting control data including a display command and data to be displayed on the display screen to the display device".
  • the processor 200 may control the function of the image sensor 100 by, for example, transmitting control information to the image sensor 100.
  • the processor 200 can also control the data transmitted from the image sensor 100, for example, by transmitting the area designation information to the image sensor 100.
  • Packet structure Next, an example of a packet structure used for transmitting an image from the image sensor 100 to the processor 200 in the communication system 1000 will be described.
  • the image data captured by the image sensor 100 is divided into line-by-line partial image data, and the line-by-line partial image data is transmitted using one or more packets. This also applies to the image data of ROI.
  • FIG. 4 shows an example of the structure of a packet used for transmitting image data in the communication system 1000.
  • FIG. 4 shows an example of the packet structure used when transmitting image data according to the MIPI CSI-2 standard or the MIPI CSI-3 standard.
  • 5 and 6 show an example of transmission data 130A transmitted from the image sensor 100 to the processor 200 in the communication system 1000.
  • 5 and 6 show an example of transmission data 130A used when transmitting image data according to the MIPI CSI-2 standard or the MIPI CSI-3 standard.
  • a packet used for transmitting image data is defined as a series of data in a data stream that starts in low power mode LP and ends in low power mode LP. Further, the packet includes the packet header PH, the payload data (PayloadData), and the packet footer PF arranged in this order.
  • the payload data (hereinafter, also simply referred to as “payload”) includes pixel data of a partial image in units of lines.
  • the packet header PH is, for example, a packet header of Payload Data of LongPacket.
  • the LongPacket refers to a packet arranged between the packet head PH and the packet footer PF.
  • LongPacket's Payload Data refers to the main data transmitted between the devices.
  • the packet header PH includes, for example, DI, WC and ECC.
  • DI is an area for storing a data identifier.
  • the DI contains a VC (virtual channel) number and a DataType (data type for each ROI).
  • VC is a concept introduced for packet flow control and is a mechanism for supporting multiple independent data streams that share the same link.
  • the WC is an area for indicating the end of the packet to the processor 200 by the number of words.
  • the WC includes, for example, the Payload length.
  • the Payload length is, for example, the number of bytes included in the LongPacket Payload, for example, the number of bytes for each ROI.
  • ECC is an area for storing a value for correcting a bit error.
  • ECC includes an error correction code.
  • the transmission data 130A is composed of, for example, image data frames as shown in FIGS. 5 and 6.
  • the image data frame usually has a header area, a packet area, and a footer area. In FIGS. 5 and 6, the description of the footer region is omitted for convenience.
  • the header area R1 includes Embedded Data.
  • Embedded Data refers to additional information that can be embedded in the header or footer of an image data frame. At this time, the embedded data includes the frame number, the number of ROIs, and the ROI information.
  • the frame number is an identifier of the transmission data 130A.
  • the number of ROIs is the total number of ROIs included in the transmission data 130A.
  • the ROI information is information about the ROI provided for each ROI included in the transmission data 130A.
  • the ROI information includes, for example, the area number (or priority) of one or more ROIs included in the image data, and the position information of one or more ROIs in the image data.
  • the area number of the ROI is an identifier assigned to each ROI.
  • the priority of the ROI is an identifier given for each ROI, and is discriminating information capable of determining which of the plurality of ROIs in the image data the overlapping region has been omitted.
  • the position information of the ROI includes, for example, the upper left end coordinates (Xa, Ya) of the ROI, the length of the ROI in the X-axis direction, and the length of the ROI in the Y-axis direction.
  • the length of the ROI in the X-axis direction is, for example, the physical region length XLa of the ROI in the X-axis direction.
  • the length of the ROI in the Y-axis direction is, for example, the physical region length YLa of the ROI in the Y-axis direction.
  • the physical area length refers to the physical length (data length) of the ROI.
  • the coordinates of the position different from the upper left end of the ROI may be included.
  • the position information of the ROI further includes, for example, the output region length XLc of the ROI in the X-axis direction and the output region length YLc of the ROI in the Y-axis direction.
  • the output area length is, for example, the physical length (data length) of the ROI after the resolution has been changed by thinning out processing, pixel addition, or the like.
  • the ROI information may further include, for example, sensing information, exposure information, gain information, AD (Analog-Digital) word length, image format, etc., in addition to position information for each ROI.
  • the sensing information refers to the calculation content of the object included in the ROI, supplementary information for subsequent signal processing on the image data of the ROI, and the like.
  • the exposure information refers to the exposure time of the ROI.
  • the gain information refers to the gain information of ROI.
  • the AD word length refers to the word length of data per pixel that has been AD-converted in the ROI.
  • the image format refers to the format of the ROI image.
  • the packet area R2 includes the LongPacket PayloadData for each line, and further, the packet header PH and the packet header PH and the position sandwiching the LongPacket PayloadData.
  • a packet footer PF is included.
  • a low power mode LP is included at a position where the packet header PH and the packet footer PF are sandwiched.
  • the packet area R2 includes the compressed image data 126A.
  • the compressed image data 126A is composed of one compressed image data or a plurality of compressed image data.
  • the Payload Data of LongPacket of each line contains pixel data for one line in the compressed image data 126A.
  • FIG. 2 shows an example of the configuration of the image sensor 100.
  • the configuration shown in FIG. 2 corresponds to a specific example of a CSI transmitter.
  • the image sensor 100 has, for example, an image pickup unit 110, an image processing unit 120, and a transmission unit 130.
  • the image sensor 100 transmits the transmission data 130A generated by performing a predetermined process on the image data 110A obtained by the image pickup unit 110 to the processor 200 via the data bus B1.
  • the image pickup unit 110 converts, for example, an optical image signal obtained through an optical lens or the like into image data.
  • the imaging unit 110 includes, for example, a CCD (Charge Coupled Device) image sensor and a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • the imaging unit 110 has an analog-to-digital conversion circuit, and converts analog image data into digital image data.
  • the data format after conversion may be the YCbCr format in which the color of each pixel is represented by the luminance component Y and the color difference components Cb and Cr, or the RGB format.
  • the image capturing unit 110 outputs the image data 110A (digital image data) obtained by imaging to the image processing unit 120.
  • the image processing unit 120 has, for example, a switch unit 121, an ROI detection unit 122, a motion detection unit 123, a control unit 124, an ROI cutting unit 125, and a switch unit 126.
  • the switch unit 121 controls the output of the image data 110A obtained by the imaging unit 110 to the switch unit 126 in the subsequent stage based on the control signal 124D input from the control unit 124.
  • the control signal 124D is a signal that controls the timing of acquiring the image data 110A, and is a signal that controls the update timing of the ROI information 122A, the motion information 124B, and the control signal 124C, which will be described later.
  • the switch unit 121 outputs the image data 110A in a predetermined period T1 in response to the input of the control signal 124D, for example.
  • the ROI detection unit 122 detects a region (ROI) of one or more objects included in the image data 110A.
  • the ROI detection unit 122 detects ROI (ROI image data) by using techniques such as motion detection and face detection, for example.
  • motion detection two classes, "moving" and “not moving", are defined.
  • motion detection a feature amount is derived from the brightness difference between two image data 110A having different imaging timings, and depending on whether the size of the derived feature amount exceeds a predetermined threshold value, it is classified into any class. It is judged whether it belongs.
  • face detection two classes of "face” and “not face” are defined. In face detection, for example, it is determined which class the image data 110A belongs to depending on whether or not the magnitude of the Har-Like feature amount exceeds a predetermined threshold value.
  • the ROI detection unit 122 generates ROI information 122A based on the ROI (ROI image data) obtained by the detection, and outputs the generated ROI information 122A to the control unit 124.
  • the ROI information 122A is composed of, for example, the coordinates of the upper left end of the ROI, the length of the ROI in the X-axis direction, and the length of the ROI in the Y-axis direction.
  • the length of the ROI in the X-axis direction is, for example, the length of the physical region of the ROI in the X-axis direction.
  • the length of the ROI in the Y-axis direction is, for example, the length of the physical region of the ROI in the Y-axis direction.
  • the physical area length refers to the physical length (data length) of the ROI.
  • the ROI information 122A may include coordinates at a position different from the upper left corner of the ROI.
  • the ROI detection unit 122 may, for example, output the generated ROI information 122A to the control unit 124 in association with the identifier (area number) assigned to the ROI.
  • the motion detection unit 123 generates motion information 123A based on a plurality of image data 110A obtained by different imaging timings.
  • the motion detection unit 123 generates motion information 123A based on the difference that occurs between a plurality of image data 110A having different imaging timings as the image sensor 100 moves.
  • the motion detection unit 123 takes the difference between the two image data 110A input from the switch unit 121, for example, within the period corresponding to the acquisition cycle of the two image data 110A in the background of the image data 110A.
  • the amount of movement (Mx, My) is derived.
  • the motion detection unit 123 outputs the motion amount (Mx, My) derived in this way to the control unit 124 as motion information 123A.
  • the control unit 124 controls the acquisition timing (imaging cycle) of the image data 110A based on the ROI information 122A input from the ROI detection unit 122 and the motion information 123A input from the motion detection unit 123. To generate. For example, when the movement amount (Mx, My) exceeds a predetermined threshold value (Thx, Thy) generated from the ROI information 122A, the control unit 124 sets the movement amount (Mx, My) and the threshold value (Thx, Thy). A correction amount Tc corresponding to the difference between the above and the above is calculated, and the calculated correction amount Tc is used to generate (correct) the period T1.
  • the control unit 124 outputs the control signal 124D to the switch unit 121 at a timing based on the corrected period T1, for example.
  • the control unit 124 controls the cycle T1 so that, for example, the cycle T1 is longer than the imaging cycle of the image data 110A used when cutting out the ROI image data 125A.
  • the control unit 124 corrects (updates) the ROI information 122A input from the ROI detection unit 122 based on the motion information 123A input from the motion detection unit 123.
  • the control unit 124 corrects (updates) the ROI information 122A from the ROI image data 125A detected by the tracking of the ROI cutting unit 125.
  • the control unit 124 for example, when the amount of movement (Mx, My) is equal to or less than a predetermined threshold value (Thx, Thy) generated from the ROI information 122A before correction (that is, when the period T1 is not changed).
  • the correction amount (Cx, Cy) according to the difference between the movement amount (Mx, My) and the threshold value (Thx, Thy) is calculated, and the calculated correction amount (Cx, Cy) is used to obtain the ROI information 122A. to correct.
  • the control unit 124 outputs the corrected ROI information 122A to the ROI cutting unit 125, for example, at a timing based on the corrected cycle T1.
  • the control unit 124 further outputs the ROI information 122A (corrected ROI information 122A) input from the ROI detection unit 122 to the transmission unit 130 as ROI information 124A.
  • the control unit 124 further outputs the motion information 123A input from the motion detection unit 123 to the transmission unit 130 as motion information 124B.
  • the ROI cutting unit 125 cuts out one or a plurality of ROI image data 125A from the image data 110A input from the imaging unit 110, for example, based on the ROI information 122A input from the control unit 124.
  • the ROI cutting unit 125 tracks the ROI image data 125A based on, for example, the motion information 123A.
  • the ROI information 122A includes an identifier (area number) assigned to the ROI
  • the ROI cutting unit 125 assigns an identifier (area number) to, for example, the cut out ROI image data 125A. ..
  • the ROI cutting unit 125 stores, for example, one or a plurality of ROI image data 125A cut out from the image data 110A in the storage unit.
  • the ROI cutting unit 125 further stores, for example, an identifier (area number) in the storage unit in association with the ROI image data 125A.
  • the ROI cutting unit 125 outputs one or more cut out ROI image data 125A to the switch unit 126.
  • the size of the ROI image data 125A is the same as or larger than the size corresponding to the position information of the ROI.
  • the length XLb of the ROI image data 125A in the X-axis direction is equal to or larger than the physical region length XLa of the ROI in the X-axis direction.
  • the length YLb of the ROI image data 125A in the Y-axis direction is equal to or larger than the physical region length YLa of the ROI in the Y-axis direction.
  • the ROI cutting unit 125 sets the size of the ROI image data 125A based on the ROI information 122A.
  • the switch unit 126 selects the image data 110A output from the imaging unit 110 and one or more ROI image data 125A output from the ROI cutting unit 125 based on the control signal 124C input from the control unit 124. Is transmitted to the transmission unit 130. At this time, the switch unit 126 encodes, for example, the image data to be transmitted (image data 110A or one or more ROI image data 125A) to generate compressed image data 126A. The switch unit 126 compresses image data in, for example, a compression format conforming to the JPEG standard. The switch unit 126 transmits, for example, the compressed image data 126A to the transmission unit 130.
  • the transmission unit 130 is a circuit that generates and transmits transmission data 130A including image data (compressed image data 126A) input from the switch unit 126 and ROI information 122A and motion information 124B input from the control unit 124. is there. That is, the transmission unit 130 selectively transmits the image data 110A and one or more ROI image data 125A to the processor 200 in a compressed state.
  • the transmission unit 130 transmits, for example, the ROI information 122A and the motion information 124B by the embedded data.
  • the transmission unit 130 may transmit the ROI information 122A and the motion information 124B to the processor 200 via the control bus B2, for example.
  • the transmission unit 130 further transmits, for example, the image data (compressed image data 126A) input from the switch unit 126 by the Payload Data of LongPacket.
  • the transmission unit 130 transmits the image data (compressed image data 126A) input from the switch unit 126 by the image data frame, and transmits the ROI information 122A and the motion information 124B by the header of the image data frame.
  • the transmission unit 130 generates transmission data 130A according to the rules defined by, for example, the MIPI CSI-2 standard or the MIPI CSI-3 standard, and transmits the transmission data 130A to the processor 200 via the data bus B1.
  • the transmission unit 130 transmits a plurality of compressed image data 126A obtained by compressing the image data 110A in a cycle T1. Further, for example, as shown in FIG. 7, the transmission unit 130 transmits a plurality of compressed image data 126A obtained by compressing one or a plurality of ROI image data 125A in a cycle shorter than the cycle T1. Further, for example, as shown in FIG. 7, the transmission unit 130 transmits a plurality of compressed image data 126A obtained by compressing the image data 110A, and then compresses one or a plurality of ROI image data 125A.
  • the invalid frame 110C may be transmitted during a predetermined period until the compressed image data 126A obtained by the above is transmitted.
  • FIG. 3 shows an example of the configuration of the processor 200.
  • the configuration shown in FIG. 3 corresponds to a specific example of a CSI transmitter.
  • the processor 200 has, for example, a receiving unit 210, an ROI restoration unit 220, and an image processing unit 230.
  • the processor 200 performs a predetermined process on the transmission data 130A transmitted from the image sensor 100.
  • the receiving unit 210 has, for example, a header separation unit, a header interpretation unit, a payload separation unit, an EBD interpretation unit, an ROI data separation unit, a decoding unit, and an information extraction unit.
  • the header separation unit receives the transmission data 130A via the data bus B1.
  • the header separation unit receives, for example, transmission data 130A including ROI information 122A and motion information 124B in Embedded Data and image data (compressed image data 126A) in Payload Data of LongPacket.
  • the header separation unit separates the transmission data 130A according to the rules defined by, for example, the MIPI CSI-2 standard or the MIPI CSI-3 standard.
  • the header separation unit separates the received transmission data 130A into a header area and a packet area, for example.
  • the header interpreting unit specifies the position of the LongPacket PayloadData included in the packet area, for example, based on the data (specifically, EmbeddedData) contained in the header area.
  • the Payload separation unit separates the LongPacket PayloadData included in the packet area from the packet area, for example, based on the position of the LongPacket PayloadData specified by the header interpretation unit.
  • the EBD interpretation unit outputs, for example, Embedded Data as EBD data to the data separation unit.
  • the EBD interpreter further determines, for example, from the data type included in the Embedded Data, whether the image data contained in the LongPacket Payload Data is the compressed image data 126A of the ROI image data.
  • the EBD interpretation unit outputs, for example, the determination result to the ROI data separation unit.
  • the ROI data separation unit When the image data included in the LongPacket PayloadData is the compressed image data 126A of the ROI image data, the ROI data separation unit outputs, for example, the LongPacket PayloadData to the decoding unit as PayloadDataD1.
  • the ROI data separation unit When the image data included in the PayloadData is the compressed image data 126A of the normal image data (image data 110A), the ROI data separation unit outputs the PayloadData of the LongPacket as the PayloadDataD2 to the decoding unit.
  • the decoding unit decodes the compressed image data 126A to generate image data.
  • the decoding unit decodes the compressed image data 126A included in the PayloadDataD1 and generates the ROI image data 210D, for example.
  • the decoding unit decodes the compressed image data 126A included in PayloadDataD2, for example, to generate the entire image data 210B.
  • the information extraction unit extracts ROI information 122A and motion information 124B from, for example, Embedded Data included in the EBD data.
  • the information extraction unit extracts, for example, the number of ROIs included in the image data 111A, the area number of each ROI, the data length of each ROI, and the image format of each ROI from the Embedded Data included in the EBD data.
  • the receiving unit 210 outputs, for example, the obtained motion information 124B to the image processing unit 230 as motion information 210A.
  • the receiving unit 210 outputs, for example, the obtained overall image data 210B to the image processing unit 230.
  • the receiving unit 210 outputs, for example, the obtained ROI information 122A to the ROI restoration unit 220 as ROI information 210C.
  • the receiving unit 210 outputs, for example, the obtained ROI image data 210D to the ROI restoring unit 220.
  • the ROI restoration unit 220 generates (restores) one or a plurality of ROI image data 125A included in the image data 110A based on, for example, the ROI image data 210D obtained by decoding and the ROI information 210C and the like.
  • the ROI restoration unit 220 outputs, for example, one or more ROI image data 125A obtained by generation (restoration) to the image processing unit 230 as ROI image data 220A.
  • the image processing unit 230 performs predetermined processing using the motion information 210A and the entire image data 210B input from the receiving unit and the ROI image data 220A input from the ROI restoration unit 220.
  • FIG. 8 shows an example of how the ROI image is set and the movement of the camera is detected following the movement of the object.
  • 9 and 10 show an example of a data transmission procedure in the communication system 1000.
  • the overall image acquisition interval Fi is a parameter corresponding to the above-mentioned period T1.
  • the image sensor 100 acquires image data 110A, which is the entire image (step S103).
  • the image data 110A at this time is, for example, the image data of Frame # 0 in the upper left of FIG. 8 or the image data of Frame # 0 in the upper right of FIG.
  • the image sensor 100 outputs the image data 110A from the switch unit 121 by outputting the control signal 124D from the control unit 124 to the switch unit 121.
  • the image sensor 100 detects one or more objects (objects) included in the image data 110A (step S104). Specifically, the image sensor 100 detects a region (ROI) of one or more objects included in the image data 110A.
  • ROI region
  • the image sensor 100 calculates ROI information (step S105). Specifically, the image sensor 100 calculates the position information of the ROI (ROI information 122A) obtained by the detection. Next, the image sensor 100 acquires the ROI image (step S106). Specifically, the image sensor 100 cuts out one or a plurality of ROI image data 125A from the image data 110A input from the imaging unit 110 based on the acquired ROI information 122A. The image sensor 100 transmits the acquired ROI image to the processor 200 (step S107).
  • the processor 200 receives the ROI image from the image sensor 100 (step S108). At this time, the processor 200 determines whether or not the instruction to complete the shooting has been input (step S109). When the instruction to complete the shooting is input, the processor 200 ends the operation. If the instruction to complete the photographing is not input, the processor 200 again requests the image sensor 100 to transmit the ROI image data (step S110).
  • the image sensor 100 increments the frame counter Fc by one (step S111).
  • the image sensor 100 determines whether or not the frame counter Fc is equal to or greater than the overall image acquisition interval Fi (step S112).
  • the image sensor 100 resets the frame counter Fc to 0 (step S113). At this time, the image sensor 100 shifts to step S103.
  • the image sensor 100 compares the ROI images (step S114).
  • the image sensor 100 in two image data 110A having different imaging timings, between two ROI image data 125A (two ROI image data 125A in which ROI information is equal to each other) in which a common object is reflected. Determine if there is any difference that occurs or if it is within the specified range.
  • the ROI image data 125A at this time is, for example, the image data of Frames # 2 and 3 on the left side of FIG. 8 or the image data of Frame # 2 and 3 on the right side of FIG.
  • the image sensor 100 determines that the ROI images match each other, and sets the overall image acquisition interval Fi from the current value. Is also changed to a large value (step S115). At this time, the image sensor 100 shifts to step S106. On the other hand, when the above difference is out of the predetermined range, the image sensor 100 determines that there is a difference between the ROIs, and proceeds to the motion determination (step S116).
  • the image sensor 100 corresponds to the acquisition cycle of the two image data 110A in the background of the image data 110A by, for example, taking the difference between the two image data 110A input from the switch unit 121.
  • the amount of movement (Mx, My) within the period is derived.
  • the image data 110A at this time is, for example, the image data of Frames # 1 and 4 on the left side of FIG. 8 or the image data of Frames # 1 and 4 on the right side of FIG.
  • the derived motion amount (Mx, My) is large, specifically, the motion amount (Mx, My) exceeds a predetermined threshold value (Thx, Thy) generated from the ROI information 122A.
  • the frame counter Fc is reset to 0, and the overall image acquisition interval Fi is changed to a value smaller than the current value (step S117). At this time, the image sensor 100 shifts to step S103.
  • the image sensor 100 specifically determines that the motion amount (Mx, My) is a predetermined threshold value (Thx, Thy) generated from the ROI information 122A. ) Is not exceeded, the ROI information is updated (step S118). At this time, the image sensor 100 shifts to step S106.
  • the image sensor 100 for example, when the amount of movement (Mx, My) is equal to or less than a predetermined threshold value (Thx, Thy) generated from the ROI information 122A before correction (that is, the change of the entire image acquisition interval Fi).
  • the ROI is calculated by calculating the correction amount (Cx, Cy) according to the difference between the movement amount (Mx, My) and the threshold value (Thx, Thy), and using the calculated correction amount (Cx, Cy).
  • Information 122A is corrected.
  • the image sensor 100 shifts to step S106.
  • the period T1 and the ROI information 122A are corrected (updated) in this way.
  • ROI transmission is based on the premise that the imaging device is in a stationary state. Therefore, when the image pickup apparatus moves, the positional relationship between the original overall image and the ROI image changes with the movement of the image pickup apparatus, and it becomes difficult to properly transmit the ROI.
  • motion information 124B is detected based on a plurality of image data 110A obtained by different imaging timings.
  • the ROI image data 125A in consideration of the movement of the image sensor 100 can be obtained. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted.
  • the motion information 124B is detected based on the difference that occurs between the plurality of image data 110A as the image sensor 100 moves.
  • the ROI image data 125A in consideration of the movement of the image sensor 100 can be obtained. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted.
  • the motion information 124B is generated by using the image data 110A used when the ROI image data 125A is generated. As a result, the motion information 124B can be generated more accurately than the case where the motion information of the image sensor 100 is generated using the ROI image data 125A.
  • the imaging cycle (cycle T1) of the image data 110A is controlled based on the motion information 124B.
  • the motion information 124B it is possible to prevent at least a part of the object from being missing from the ROI image data 125A. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted.
  • the cycle T1 is controlled so that the cycle T1 is longer than the imaging cycle of the image data 110A used when cutting out the ROI image data 125A.
  • the image data 110A as the entire image is not required for each frame, the amount of transferred data and the amount of calculation can be reduced as compared with the case where the period T1 is controlled for each frame.
  • the size of the ROI image data 125A is set based on the ROI information 122A.
  • the size of the ROI image data 125A is usually the same as or slightly larger than the size corresponding to the position information of the ROI.
  • the ROI cutting unit 125 determines, for example, the size of the ROI image data 125A according to the amount of movement of the object (for example, the amount of movement of the object in the period T1). May be changed.
  • the output of the switch unit 126 may be input to the ROI detection unit 122 and the motion detection unit 123, for example, as shown in FIG.
  • the ROI detection unit 122 detects a region (ROI) of one or a plurality of objects included in either one of the image data 110A and the ROI image data 125A.
  • the motion detection unit 123 generates motion information 123A based on one of a plurality of image data 110A having different imaging timings and a plurality of ROI image data 125A having different imaging timings.
  • the motion detection unit 123 is based on the difference that occurs between the plurality of ROI image data 125A having different imaging timings and the plurality of ROI image data 125A having different imaging timings as the image sensor 100 moves. , Generates motion information 123A.
  • the ROI cutting unit 125 may make the size of the ROI image data 125A larger than the size in the above embodiment.
  • the image sensor 100 may replace step S102 in FIG. 8 with step S119 shown in FIG. 13 and then execute a series of procedures for data transmission in the communication system 1000.
  • step S119 the image sensor 100 executes the procedure described in step S102 and sets the size ratio s of the object and the ROI image.
  • the image sensor 100 may increase the overall image acquisition interval Fi and decrease the size ratio s.
  • the image sensor 100 may reduce the overall image acquisition interval Fi and increase the size ratio s.
  • the size of the ROI image data 125A is controlled. As a result, it is possible to prevent at least a part of the object from being missing from the ROI image data 125A. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted.
  • the ROI image data 125A is tracked based on the motion information 123A, and the ROI information 122A is corrected (updated) from the ROI image data 125A detected by the tracking.
  • the ROI image data 125A in consideration of the movement of the image sensor 100 can be obtained. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted.
  • the image sensor 100 may have the sensor 140 instead of the motion detection unit 123, for example, as shown in FIG.
  • the sensor 140 is a device capable of detecting the movement of the image sensor 100 and thereby generating the movement information 123A, and includes, for example, a gyro sensor, an angular velocity sensor, a GPS receiver, and the like.
  • the sensor 140 outputs the generated motion information 123A as an output 140A to the transmission unit 130.
  • the transmission unit 130 generates and transmits the transmission data 130A including the output 140A instead of the motion information 124B.
  • the output 140A is transmitted to the processor 200 by the transmission of the transmission data 130A, so that the image processing unit 230 can perform processing in consideration of the output 140A.
  • the senor 140 is provided instead of the motion detection unit 123. Even in this case, the same effect as that of the above embodiment can be obtained.
  • the ROI detection unit 122 and the motion detection unit 123 may be omitted, and a sensor 140 may be provided. Further, in the above embodiment and the modified example A, the ROI detection unit 240 may be provided, for example, as shown in FIG.
  • the ROI detection unit 240 detects a region (ROI) of one or more objects included in the entire image data 210B.
  • the ROI detection unit 240 detects ROI (for example, ROI image data) by using a technique such as motion detection or face detection.
  • motion detection two classes, "moving" and “not moving", are defined.
  • motion detection a feature amount is derived by the brightness difference between two image data 210B having different imaging timings, and which class is used depending on whether the size of the derived feature amount exceeds a predetermined threshold value. It is judged whether it belongs to.
  • face detection two classes of "face” and “not face” are defined. In face detection, for example, which class belongs to is determined depending on whether or not the magnitude of the Har-Like feature amount in the entire image data 210B exceeds a predetermined threshold value.
  • the ROI detection unit 240 calculates the ROI information 122A based on the ROI (for example, ROI image data) obtained by the detection, and outputs the calculated ROI information 122A to the image processing unit 230 as the ROI information 240A.
  • the ROI detection unit 240 may, for example, output the ROI information 240A to the image processing unit 230 in association with the identifier (area number) assigned to the ROI.
  • the ROI detection unit 240 generates acquisition timing information (cycle T1) of image data 110A based on the ROI information 122A and the motion information 210A input from the reception unit 210.
  • the ROI detection unit 240 tracks the ROI image data 125A based on the motion information 210A.
  • the ROI detection unit 240 for example, when the movement amount (Mx, My) exceeds a predetermined threshold value (Thx, Thy) generated from the ROI information 122A, the movement amount (Mx, My) and the threshold value (Thx, Thy) ),
  • the correction amount Tc is calculated, and the calculated correction amount Tc is used to correct the period T1.
  • the ROI detection unit 240 further generates (corrects) ROI information 122A using the motion information 210A.
  • the ROI detection unit 240 further outputs the corrected ROI information 122A (ROI information 240A) and the acquisition timing information (cycle T1) of the image data 110A to the image processing unit 230.
  • the image processing unit 230 outputs the data (ROI information 240A, period T1) input from the ROI detection unit 240 as control data 230A to the control unit 124 of the image sensor 100 via the control bus B2.
  • the control unit 124 receives the control data 230A from the processor 200, and receives the control signal 124D included in the received control data 230A and controls the acquisition timing of the image data 110A based on the period T1. Generate.
  • the control unit 124 further outputs the ROI information 240A to the ROI cutting unit 125.
  • the ROI cutting unit 125 cuts out one or a plurality of ROI image data 125A from the image data 110A based on the ROI information 240A input from the control unit 124.
  • the image processing unit 230 further outputs the ROI information 240A as the ROI information 230B to the ROI restoration unit 220.
  • the ROI detection unit 240 may output the ROI information 240A, the acquisition timing information (cycle T1) of the image data 110A, and the motion information 210A to the image processing unit 230.
  • the image processing unit 230 uses the data (ROI information 240A, period T1, motion information 210A) input from the ROI detection unit 240 as control data 230A, and uses the control unit 124 of the image sensor 100 via the control bus B2. Output to.
  • the control unit 124 receives the control data 230A from the processor 200, and receives the control signal 124D that controls the acquisition timing of the image data 110A based on the period T1 included in the received control data 230A. Generate.
  • the control unit 124 further corrects the ROI information 240A based on the motion information 210A, and outputs the corrected ROI information 240A to the ROI cutting unit 125.
  • the ROI cutting unit 125 extracts one or a plurality of ROI image data 125A from the image data 110A by using the ROI information 240A input from the control unit 124. That is, in the image sensor 100, the control unit 124 and the ROI cutting unit 125 extract one or a plurality of ROI image data 125A from the image data 110A by using the motion information 210A and the ROI information 240A.
  • the image processing unit 230 further outputs the ROI information 240A as the ROI information 230B to the ROI restoration unit 220.
  • the ROI restoration unit 220 includes one or a plurality of ROI image data 125A included in the image data 110A based on, for example, the ROI image data 210D obtained by decoding and the ROI information 230B input from the image processing unit 230. Is generated (restored).
  • the ROI restoration unit 220 outputs, for example, one or more ROI image data 125A obtained by generation (restoration) to the image processing unit 230 as ROI image data 220A.
  • ROI detection is performed by the processor 200. Even in this case, the same effect as that of the above embodiment can be obtained.
  • the compressed image data 126A obtained by compressing one or more ROI image data 125A after the plurality of compressed image data 126A obtained by compressing the image data 110A is sent out.
  • the invalid frame 110C may be transmitted during a predetermined period until the is transmitted (that is, a certain period after receiving the ROI instruction information (ROI information 240A, period T1) from the processor 200). In this case, for example, it is possible to adjust the timing of transmitting the compressed image data 126A.
  • a time measuring unit 150 may be provided instead of the sensor 140.
  • a motion detection unit 250 may be provided.
  • the timekeeping unit 150 generates time data 150A and outputs it to the transmission unit 130. At this time, the timekeeping unit 150 generates and transmits the transmission data 130A including the time data 150A instead of the motion information 124B. As a result, the time data 150A is transmitted to the processor 200 by the transmission of the transmission data 130A.
  • the receiving unit 210 receives the time data 150A in the processor 200, the receiving unit 210 outputs the received time data 150A as the time data 210E to the image processing unit 230.
  • the image processing unit 230 can perform processing in consideration of the time data 150A.
  • the motion detection unit 250 generates motion information 250A based on a plurality of overall image data 210B having different imaging timings obtained by imaging.
  • the motion detection unit 250 generates motion information 250A based on the difference that occurs between a plurality of overall image data 210B having different imaging timings as the image sensor 100 moves.
  • the motion detection unit 250 corresponds to the acquisition cycle of the two total image data 210B in the background of the total image data 210B by, for example, taking the difference between the two total image data 210B input from the reception unit 210.
  • the amount of movement (Mx, My) within the period is derived.
  • the motion detection unit 250 outputs the motion amount (Mx, My) derived in this way to the image processing unit 230 as motion information 250A.
  • the image processing unit 230 generates acquisition timing information (cycle T1) of image data 110A based on the ROI information 240A and the motion information 250A input from the motion detection unit 250.
  • the image processing unit 230 for example, when the movement amount (Mx, My) exceeds a predetermined threshold value (Thx, Thy) generated from the ROI information 240A, the movement amount (Mx, My) and the threshold value (Thx, Thy) ),
  • the correction amount Tc is calculated, and the calculated correction amount Tc is used to correct the period T1.
  • the image processing unit 230 generates the cycle T1 so that the cycle T1 is longer than the imaging cycle of the image data 110A used when cutting out the ROI image data 125A, for example.
  • the image processing unit 230 further generates ROI information 240A using, for example, motion information 250A.
  • the image processing unit 230 further corrects (updates) the ROI information 240A based on, for example, the motion information 250A.
  • the image processing unit 230 corrects (updates) the ROI information 240A from the ROI image data 220A.
  • the image processing unit 230 does not change the period T1 when, for example, the amount of movement (Mx, My) is equal to or less than a predetermined threshold value (Thx, Thy) generated from the ROI information 240A before correction (that is, the period T1 is not changed).
  • the correction amount (Cx, Cy) corresponding to the difference between the movement amount (Mx, My) and the threshold value (Thx, Thy) is calculated, and the calculated correction amount (Cx, Cy) is used to calculate the ROI information 240A.
  • the image processing unit 230 uses the data including the corrected ROI information 240A and the acquisition timing information (cycle T1) of the image data 110A as the control data 230A as the control data 230A, and the control unit of the image sensor 100 via the control bus B2. Output to 124.
  • the image processing unit 230 further outputs the ROI information 240A as the ROI information 230B to the ROI restoration unit 220.
  • the control unit 124 receives the control data 230A and generates a control signal 124D for controlling the acquisition timing of the image data 110A based on the cycle T1 included in the received control data 230A. Further, in the image sensor 100, the control unit 124 obtains the ROI information 240A (corrected ROI information 240A) included in the received control data 230A at the timing based on the cycle T1 included in the received control data 230A, for example. Output to the cutting section 125.
  • the ROI cutting unit 125 uses, for example, the ROI information 240A (corrected ROI information 240A) input from the control unit 124 to obtain one or more ROI image data 125A from the image data 110A input from the imaging unit 110. Extract.
  • the image processing unit 230 uses, for example, data including ROI information 240A, motion information 250A, and acquisition timing information (cycle T1) of image data 110A as control data 230A, and uses the image sensor via the control bus B2. It may be output to the control unit 124 of 100.
  • the control unit 124 receives the control data 230A and generates a control signal 124D for controlling the acquisition timing of the image data 110A based on the cycle T1 included in the received control data 230A. Further, in the image sensor 100, the control unit 124 corrects (updates) the ROI information 240A included in the received control data 230A based on the motion information 123A included in the received control data 230A.
  • the control unit 124 outputs the corrected (updated) ROI information 240A to the ROI cutting unit 125 at a timing based on the cycle T1 included in the received control data 230A, for example.
  • the ROI cutting unit 125 uses, for example, the ROI information 240A (corrected ROI information 240A) input from the control unit 124 to obtain one or more ROI image data 125A from the image data 110A input from the imaging unit 110. Extract.
  • the processor 200 Requests the image sensor 100 to transmit ROI image data (step S202).
  • the image sensor 100 acquires the image data 110A which is the entire image (step S203).
  • the image data 110A at this time is, for example, the image data of Frame # 0 in the upper left of FIG. 8 or the image data of Frame # 0 in the upper right of FIG.
  • the image sensor 100 outputs the image data 110A from the switch unit 121 by outputting the control signal 124D from the control unit 124 to the switch unit 121.
  • the image sensor 100 transmits the image data 110A, which is the entire image, to the processor 200 (step S204).
  • the processor 200 receives the entire image data 210B (step S205). Next, the processor 200 detects one or more objects (objects) included in the whole image data 210B (step S206). Specifically, the processor 200 detects a region (ROI) of one or more objects included in the overall image data 210B.
  • objects objects included in the whole image data 210B
  • ROI region
  • the processor 200 calculates the ROI information (step S207). Specifically, the image sensor 100 calculates the position information (ROI information 240A) based on the ROI obtained by the detection. Next, the processor 200 requests the image sensor 100 to transmit the ROI image (step S208).
  • the image sensor 100 acquires the ROI image (step S209). Specifically, the image sensor 100 cuts out one or a plurality of ROI image data 125A from the image data 110A input from the imaging unit 110 based on the acquired ROI information 240A. The image sensor 100 transmits the acquired ROI image to the processor 200 (step S210).
  • the processor 200 receives the ROI image from the image sensor 100 (step S211). Then, the processor 200 increments the frame counter Fc by one (step S212). Next, the processor 200 determines whether or not the frame counter Fc is equal to or greater than the overall image acquisition interval Fi (step S213). When the frame counter Fc becomes equal to or greater than the overall image acquisition interval Fi, the processor 200 resets the frame counter Fc to 0 (step S214). At this time, the processor 200 shifts to step S202.
  • the processor 200 compares the ROI images (step S215).
  • the processor 200 receives two ROI image data 220A (two ROI image data 220A having the same ROI information) on which an object common to each other is reflected in two whole image data 210B having different imaging timings. Determine if there is any difference that occurs or if it is within the specified range.
  • the ROI image data 220A at this time is, for example, the image data of Frames # 2 and 3 on the left side of FIG. 8 or the image data of Frame # 2 and 3 on the right side of FIG.
  • the processor 200 determines that the ROI images match each other, and sets the overall image acquisition interval Fi to be larger than the current value. Change to a larger value (step S216). At this time, the processor 200 shifts to step S208.
  • the processor 200 determines that there is a difference between the ROIs, and proceeds to the motion determination (step S217).
  • the processor 200 sets the acquisition cycle of the two total image data 210B in the background of the total image data 210B by, for example, taking the difference between the two total image data 210B input from the receiving unit 210.
  • the amount of movement (Mx, My) within the corresponding period is derived.
  • the entire image data 210B at this time is, for example, the image data of Frames # 1 and 4 on the left side of FIG. 8 or the image data of Frames # 1 and 4 on the right side of FIG.
  • the processor 200 when the derived motion amount (Mx, My) is large, specifically, when the motion amount (Mx, My) exceeds a predetermined threshold value (Thx, Thy) generated from the ROI information 240A.
  • the frame counter Fc is reset to 0, and the overall image acquisition interval Fi is changed to a value smaller than the current value (step S218). At this time, the processor 200 shifts to step S202.
  • the processor 200 specifically determines that the motion amount (Mx, My) is a predetermined threshold value (Thx, Thy) generated from the ROI information 240A. If it does not exceed, the ROI information is updated (step S219). At this time, the processor 200 shifts to step S208.
  • the processor 200 changes, for example, when the amount of movement (Mx, My) is equal to or less than a predetermined threshold value (Thx, Thy) generated from the ROI information 240A before correction (that is, the change of the entire image acquisition interval Fi). (When not), the correction amount (Cx, Cy) according to the difference between the movement amount (Mx, My) and the threshold value (Thx, Thy) is calculated, and the calculated correction amount (Cx, Cy) is used for ROI information. Correct 240A. At this time, the processor 200 shifts to step S106. In this modification, for example, the period T1 and the ROI information 240A are corrected (updated) in this way.
  • ROI detection and motion detection are performed by the processor 200, and ROI instruction information (ROI information 240A, period T1) is transmitted from the processor 200 (image processing unit 230) to the image sensor 100 (control unit 124). ..
  • ROI instruction information ROI information 240A, period T1
  • the compressed image data 126A obtained by compressing one or more ROI image data 125A after the plurality of compressed image data 126A obtained by compressing the image data 110A is sent out.
  • a predetermined period until is sent that is, while receiving the same ROI instruction information (ROI information 240A, period T1) from the processor 200 during the detection of ROI image data 125A
  • an invalid frame When 110C is transmitted, for example, it is possible to adjust the timing of transmitting the compressed image data 126A.
  • the ROI image data 125A is updated while the same ROI instruction information (ROI information 240A, period T1) as the previous time is received from the processor 200, and the processor 200 Continues to be sent to.
  • ROI instruction information ROI information 240A, period T1
  • the ROI image data 125A in consideration of the movement of the image sensor 100 can be obtained. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted while reducing the amount of data processed by the image sensor 100.
  • the size of the ROI image data 220A is set based on the ROI information 240A.
  • the size of the ROI image data 220A is usually the same as or slightly larger than the size corresponding to the position information of the ROI.
  • the ROI cutting unit 125 determines, for example, the size of the ROI image data 220A according to the size of the movement amount of the object (for example, the size of the movement amount of the object in the period T1). May be changed.
  • the ROI cutting unit 125 may make the size of the ROI image data 220A larger than the size in the above embodiment.
  • the processor 200 may execute a series of procedures for data transmission in the communication system 1000 after replacing step S201 in FIG. 19 with step S220 shown in FIG.
  • the processor 200 executes the procedure described in step S201 and sets the size ratio s of the object and the ROI image.
  • the processor 200 may increase the overall image acquisition interval Fi and decrease the size ratio s.
  • the processor 200 may further reduce the overall image acquisition interval Fi and increase the size ratio s.
  • the size of the ROI image data 220A is controlled. As a result, it is possible to prevent at least a part of the object from being missing from the ROI image data 220A. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted.
  • the image processing unit 230 contains the ROI information 240A and the data including the motion information 210A or the motion information 250A. May be output to the control unit 124 of the image sensor 100 via the control bus B2 as the control data 230A.
  • the control unit 124 obtains the acquisition timing information (cycle T1) of the image data 110A based on the motion information 210A or the motion information 250A and the ROI information 240A included in the received control data 230A. It may be generated.
  • the image processing unit 230 for example, when the movement amount (Mx, My) exceeds a predetermined threshold value (Thx, Thy) generated from the ROI information 240A, the movement amount (Mx, My) and the threshold value (Thx, Thy) ),
  • the correction amount Tc may be calculated, and the calculated correction amount Tc may be used to correct the period T1.
  • the image sensor 100 generates the acquisition timing information (cycle T1) of the image data 110A. Even in this case, the same effect as that of the above modified examples C, D, and E can be obtained.
  • Modification example G In the modified examples D and E and the modified examples F of the modified examples D and E, for example, as shown in FIG. 22, as input data to the ROI detection unit 240, the entire image data 210B and the ROI image data 220A A switch unit 260 for selecting either one may be provided. Further, in the modified examples D and E and the modified example F of the modified examples D and E, a switch unit that selects either the entire image data 210B or the ROI image data 220A as input data to the motion detection unit 250. 270 may be provided.
  • the motion detection unit 250 when the ROI image data 220A is input to the motion detection unit 250, the motion detection unit 250 generates motion information 250A based on a plurality of ROI image data 220A obtained by different imaging timings. You may. In this case, the motion detection unit 250 generates motion information 250A based on the difference that occurs between the plurality of ROI image data 220A having different imaging timings as the image sensor 100 moves. Thereby, for example, even when the image sensor 100 moves, the ROI image data 125A in consideration of the movement of the image sensor 100 can be obtained. Therefore, even when the image sensor 100 moves, the ROI can be appropriately transmitted.
  • the ROI image data 220A is selected as the input data to the ROI detection unit 240 and the motion detection unit 250, so that the entire image data 210B is always input to the ROI detection unit 240 and the motion detection unit 250. Compared with the case, the amount of arithmetic processing in the ROI detection unit 240 and the motion detection unit 250 can be reduced.
  • the inputs of the ROI detection unit 240 and the motion detection unit 250 are connected to the output of the switch unit 126, and the output of the timekeeping unit 150 is connected to the image processing unit 230. Even in this case, the same effect as that of the above embodiment can be obtained.
  • FIG. 24 and 25 show a configuration example of an in-vehicle camera as an application example of the communication system 1000.
  • FIG. 24 shows an example of installation of the in-vehicle camera
  • FIG. 25 shows an example of the internal configuration of the in-vehicle camera.
  • an in-vehicle camera 401 is installed in the front (front) of the vehicle 301, in-vehicle cameras 402 and 403 are installed on the left and right, and an in-vehicle camera 404 is installed in the rear (rear).
  • the in-vehicle cameras 401 to 404 are each connected to the ECU 302 (Electrical Control Unit) via the in-vehicle network.
  • the image capture angle of the in-vehicle camera 401 mounted on the front of the vehicle 301 is, for example, the range shown by a in FIG. 24.
  • the image capture angle of the in-vehicle camera 402 is, for example, the range shown by b in FIG. 24.
  • the image capture angle of the in-vehicle camera 403 is, for example, the range shown by c in FIG. 24.
  • the image capture angle of the in-vehicle camera 404 is, for example, the range shown by d in FIG. 24.
  • Each of the in-vehicle cameras 401 to 404 outputs the captured image to the ECU 302. As a result, 360-degree (omnidirectional) images of the front, left, right, and rear of the vehicle 301 can be captured by the ECU 302.
  • the in-vehicle cameras 401 to 404 each have an image sensor 431, a DSP (Digital Signal Processing) circuit 432, a selector 433, and a SerDes (SERializer / DE Serializer) circuit 434, respectively. ing.
  • the DSP circuit 432 performs various image signal processing on the image pickup signal output from the image sensor 431.
  • the SerDes circuit 434 performs serial / parallel conversion of signals, and is composed of an in-vehicle interface chip such as FPD-Link III.
  • the selector 433 selects whether to output the image pickup signal output from the image sensor 431 via the DSP circuit 432 or not via the DSP circuit 432.
  • the communication system 1000 according to the above embodiment and its modification can be applied to the connection interface 441 between the image sensor 431 and the DSP circuit 432.
  • the present disclosure may have the following structure.
  • a detector that detects ROI image data based on ROI (Region Of Interest) instruction information
  • a generation unit that generates ROI information from the ROI image data detected by the detection unit
  • It is provided with a transmission unit that transmits the ROI image data and the ROI information to an external device.
  • the detection unit is a transmission device that detects motion information of the detected ROI image data based on any one of a plurality of image data obtained by different imaging timings and a plurality of ROI image data obtained by different imaging timings. ..
  • the detection unit is based on either the difference that occurs between the plurality of image data due to the movement of the transmission device and the difference that occurs between the plurality of ROI image data due to the movement of the transmission device.
  • the transmission device which detects the motion information.
  • the transmission device further comprising a control unit that controls an imaging cycle of the image data based on the motion information.
  • the control unit calculates the amount of movement of the object based on the plurality of ROI image data in which the imaging timings are different from each other and the objects common to each other are reflected.
  • the transmission device according to any one of (1) to (3), wherein the detection unit controls the size of the ROI image data according to the magnitude of the movement amount calculated by the control unit.
  • the transmission device receives the ROI instruction information from the external device.
  • the transmission device transmits an invalid frame to the external device for a certain period of time after receiving the ROI instruction information from the external device.
  • the detection unit tracks the ROI image data based on the motion information.
  • the transmission device according to any one of (1) to (6), wherein the generation unit updates the ROI information from the ROI image data detected by the tracking of the detection unit.
  • the generation unit updates the ROI image data and continues to transmit the ROI image data to the external device while receiving the same ROI instruction information as the previous time from the external device (1) to (1).
  • the transmitter according to any one of 7).
  • the transmitting device selectively transmits the first image data obtained by imaging and the ROI (Region Of Interest) image data extracted from the second image data obtained by imaging to the receiving device.
  • has a transmitter and The receiving device is A first generation unit that generates motion information based on any of the plurality of first image data obtained by different imaging timings and the plurality of ROI image data obtained by different imaging timings.
  • a second generation unit that generates ROI information in the second image data, It has a second transmitter that transmits the motion information and the ROI information to the transmitter.
  • the transmission device is a communication system further including an extraction unit that extracts the ROI image data from the second image data by using the motion information and the ROI information.
  • the second transmission unit transmits the imaging cycle information of the first image data generated based on the motion information to the transmission device.
  • the transmission device further includes a control unit that controls an image pickup cycle of the first image data based on the image pickup cycle information input from the receiver device, according to any one of (9) to (11). Communication system.
  • the transmitter is A fourth generation unit that generates imaging cycle information of the first image data based on the motion information
  • the communication system according to any one of (9) to (11), further comprising a control unit that controls an imaging cycle of the first image data based on the imaging cycle information.
  • the receiving device generates imaging cycle information of the first image data based on the motion information, and makes the imaging cycle of the first image data longer than the imaging cycle of the second image data.
  • the transmitting device selectively transmits the first image data obtained by imaging and the ROI (Region Of Interest) image data extracted from the second image data obtained by imaging to the receiving device.
  • the receiving device has a transmitter and The receiving device is A first generation unit that generates motion information based on any of the plurality of first image data obtained by different imaging timings and the plurality of ROI image data obtained by different imaging timings.
  • a second generation unit that generates ROI information in the second image data using the motion information, It has a second transmitter that transmits the ROI information to the transmitter.
  • the transmission device is a communication system that extracts the ROI image data from the second image data by using the ROI information.
  • the second transmission unit transmits the imaging cycle information of the first image data generated based on the motion information to the transmission device.
  • the transmission device further includes a control unit that controls an image pickup cycle of the first image data based on the image pickup cycle information input from the receiver device, according to any one of (15) to (17). Communication system.
  • the receiving device generates the imaging cycle information of the first image data based on the motion information, and makes the imaging cycle of the first image data longer than the imaging cycle of the second image data.
  • the transmitting device has a first transmitting unit that transmits ROI (Region Of Interest) image data extracted from image data obtained by imaging to the receiving device.
  • the receiving device is A generator that generates ROI information in the image data, It has a motion information of the transmitting device obtained by the sensor and a second transmitting unit that transmits the ROI information to the transmitting device.
  • the transmission device is a communication system further including an extraction unit that extracts the ROI image data from the image data by using the motion information and the ROI information. (21) Equipped with a transmitter and a receiver
  • the transmitting device has a first transmitting unit that transmits ROI (Region Of Interest) image data extracted from image data obtained by imaging to the receiving device.
  • the receiving device is A second generation unit that generates ROI information in the image data using the motion information of the transmission device obtained by the sensor, and It has a second transmitter that transmits the ROI information to the transmitter.
  • the transmission device is a communication system that extracts the ROI image data from the image data by using the ROI information.
  • a receiver that receives image data and A detector that detects ROI (Region Of Interest) image data from the received image data, A generation unit that generates ROI instruction information from the ROI image data detected by the detection unit, and a generation unit. It is provided with a transmitter for transmitting the ROI instruction information.
  • the detection unit is a receiving device that detects motion information of the detected ROI image data based on any one of a plurality of image data obtained by different imaging timings and a plurality of ROI image data obtained by different imaging timings. .. (23) The detection unit tracks the ROI image data based on the motion information.
  • the receiving device according to (22), wherein the generating unit updates the ROI instruction information from the ROI image data detected by the tracking of the detecting unit.
  • a transmission device according to an embodiment of the present disclosure, a first communication system according to an embodiment of the present disclosure, a second communication system according to an embodiment of the present disclosure, and a third communication according to an embodiment of the present disclosure.
  • the fourth communication system according to the embodiment of the present disclosure, and the receiving device according to the embodiment of the present disclosure, the ROI can be properly transmitted even when the transmitting device moves. it can.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Databases & Information Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)

Abstract

本開示の一実施形態に係る送信装置は、検出部、生成部および送信部を備えている。検出部は、ＲＯＩ指示情報に基づいて、ＲＯＩ画像データを検出する。生成部は、検出部により検出されたＲＯＩ画像データからＲＯＩ情報を生成する。送信部は、ＲＯＩ画像データおよびＲＯＩ情報を外部装置に送信する。検出部は、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出したＲＯＩ画像データの動き情報を検出する。

Description

送信装置、受信装置及び通信システム
　本開示は、送信装置、受信装置及び通信システムに関する。
　近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
　従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。なお、撮影した画像から一部の画像を切り出すことについては、例えば、下記の特許文献に記載されている。
特開２０１６－２０１７５６号公報 特開２０１４－３９２１９号公報 特開２０１３－１６４８３４号公報 特開２０１２－２０９８３１号公報
　通常、ＲＯＩ伝送では、撮像装置が静止状態であることが前提となっている。そのため、撮像装置が移動する場合には、元の全体画像とＲＯＩ画像との位置関係が撮像装置の移動に伴って変化してしまい、ＲＯＩを適切に伝送することが困難になってしまう。撮像装置が移動する場合であっても、ＲＯＩを適切に伝送することの可能な送信装置、受信装置及び通信システムを提供することが望ましい。
　本開示の一実施形態に係る送信装置は、検出部、生成部および送信部を備えている。検出部は、ＲＯＩ（Region Of Interest）指示情報に基づいて、ＲＯＩ画像データを検出する。生成部は、検出部により検出されたＲＯＩ画像データからＲＯＩ情報を生成する。送信部は、ＲＯＩ画像データおよびＲＯＩ情報を外部装置に送信する。検出部は、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出したＲＯＩ画像データの動き情報を検出する。
　本開示の一実施形態に係る送信装置では、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出した前記ＲＯＩ画像データの動き情報が検出される。これにより、例えば、送信装置が移動する場合であっても、送信装置の移動が考慮されたＲＯＩ画像データを得ることができる。
　本開示の一実施形態に係る第１の通信システムは、送信装置と、受信装置とを備えている。送信装置は、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出されたＲＯＩ画像データとを選択的に受信装置に送信する第１送信部を有している。受信装置は、異なる撮像タイミングにより得られた複数の第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、動き情報を生成する第１生成部と、第２画像データにおけるＲＯＩ情報を生成する第２生成部と、動き情報およびＲＯＩ情報を送信装置に送信する第２送信部とを有している。送信装置は、動き情報およびＲＯＩ情報を用いて、第２画像データからＲＯＩ画像データを抽出する抽出部を更に有している。
　本開示の一実施形態に係る第１の通信システムでは、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出されたＲＯＩ画像データとが選択的に送信装置から受信装置に送信される。異なる撮像タイミングにより得られた複数の第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて生成された動き情報と、第２画像データにおけるＲＯＩ情報とが受信装置から送信装置に送信される。そして、送信装置において、動き情報およびＲＯＩ情報を用いて、第２画像データから１または複数のＲＯＩ画像データが抽出される。これにより、例えば、送信装置が移動する場合であっても、送信装置の移動が考慮されたＲＯＩ画像データを得ることができる。
　本開示の一実施形態に係る第２の通信システムは、送信装置と、受信装置とを備えている。送信装置は、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出されたＲＯＩ画像データとを選択的に受信装置に送信する第１送信部を有している。受信装置は、撮像タイミングの互いに異なる複数の第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、動き情報を生成する第１生成部と、動き情報を用いて、第２画像データにおけるＲＯＩ情報を生成する第２生成部と、ＲＯＩ情報を送信装置に送信する第２送信部とを有している。送信装置は、ＲＯＩ情報を用いて、第２画像データからＲＯＩ画像データを抽出する。
　本開示の一実施形態に係る第２の通信システムでは、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出された１または複数のＲＯＩ画像データとが選択的に送信装置から受信装置に送信される。撮像タイミングの互いに異なる複数の第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて生成された動き情報を用いて生成された、第２画像データにおけるＲＯＩ情報が受信装置から送信装置に送信される。そして、送信装置において、ＲＯＩ情報を用いて、第２画像データからＲＯＩ画像データが抽出される。これにより、例えば、送信装置が移動する場合であっても、送信装置の移動が考慮されたＲＯＩ画像データを得ることができる。
　本開示の一実施形態に係る第３の通信システムは、送信装置と、受信装置とを備えている。送信装置は、撮像により得られた画像データから抽出されたＲＯＩ画像データを受信装置に送信する第１送信部を有している。受信装置は、画像データにおけるＲＯＩ情報を生成する生成部と、センサによって得られた送信装置の動き情報と、ＲＯＩ情報とを送信装置に送信する第２送信部とを有している。送信装置は、動き情報と、ＲＯＩ情報とを用いて、画像データからＲＯＩ画像データを抽出する抽出部を更に有している。
　本開示の一実施形態に係る第３の通信システムでは、撮像により得られた画像データから抽出されたＲＯＩ画像データが送信装置から受信装置に送信される。センサによって得られた送信装置の動き情報と、画像データにおけるＲＯＩ情報とが受信装置から送信装置に送信される。そして、送信装置において、動き情報およびＲＯＩ情報を用いて、画像データからＲＯＩ画像データが抽出される。これにより、例えば、送信装置が移動する場合であっても、送信装置の移動が考慮されたＲＯＩ画像データを得ることができる。
　本開示の一実施形態に係る第４の通信システムは、送信装置と、受信装置とを備えている。送信装置は、撮像により得られた画像データから抽出されたＲＯＩ画像データを受信装置に送信する第１送信部を有している。受信装置は、センサによって得られた送信装置の動き情報を用いて、画像データにおけるＲＯＩ情報を生成する第２生成部と、ＲＯＩ情報を送信装置に送信する第２送信部とを有している。送信装置は、ＲＯＩ情報を用いて、画像データからＲＯＩ画像データを抽出する。
　本開示の一実施形態に係る第４の通信システムでは、撮像により得られた画像データから抽出されたＲＯＩ画像データが送信装置から受信装置に送信される。センサによって得られた送信装置の動き情報を用いて、画像データにおけるＲＯＩ情報が生成され、受信装置から送信装置に送信される。そして、送信装置において、ＲＯＩ情報を用いて、画像データからＲＯＩ画像データが抽出される。これにより、例えば、送信装置が移動する場合であっても、送信装置の移動が考慮されたＲＯＩ画像データを得ることができる。
　本開示の一実施形態に係る受信装置は、受信部と、検出部と、生成部と、送信部とを備えている。受信部は、画像データを受信する。検出部は、受信した画像データからＲＯＩ画像データを検出する。生成部は、検出部により検出されたＲＯＩ画像データからＲＯＩ指示情報を生成する。送信部は、ＲＯＩ指示情報を送信する。ここで、検出部は、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出したＲＯＩ画像データの動き情報を検出する。
　本開示の一実施形態に係る受信装置では、受信した画像データから検出されたＲＯＩ画像データから、ＲＯＩ指示情報が生成され、送信される。さらに、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出したＲＯＩ画像データの動き情報が検出される。これにより、例えば、送信装置が移動する場合であっても、送信装置の移動が考慮されたＲＯＩ画像データを得ることができる。
通信システムの概略構成例を表す図である。 画像センサの概略構成例を表す図である。 プロセッサの概略構成例を表す図である。 ＭＩＰＩで利用されるパケットの構成例を表す図である。 ＭＩＰＩで利用される伝送データの構成例を表す図である。 ＭＩＰＩで利用される伝送データの構成例を表す図である。 伝送データの構成例を表す図である。 対象物の動きに追従してＲＯＩ画像を設定したり、カメラの動きを検出したりする様子の一例を表す図である。 図２の画像センサおよび図３のプロセッサを備えた通信システムにおけるデータ伝送の手順の一例を表す図である。 図９に続く手順の一例を表す図である。 画像センサの概略構成の一変形例を表す図である。 対象物の動きに追従してＲＯＩ画像を設定したり、カメラの動きを検出したりする様子の一例を表す図である。 図９に記載の手順において、Ｓ１０２に置き換え可能な手順の一例を表す図である。 画像センサの概略構成の一変形例を表す図である。 画像センサの概略構成の一変形例を表す図である。 図１５の画像センサを備えた通信システムにおけるプロセッサの概略構成の一例を表す図である。 画像センサの概略構成の一変形例を表す図である。 図１７の画像センサを備えた通信システムにおけるプロセッサの概略構成の一例を表す図である。 図１７の画像センサおよび図１６のプロセッサを備えた通信システムにおけるデータ伝送の手順の一例を表す図である。 図１９に続く手順の一例を表す図である。 図１９に記載の手順において、Ｓ２０１に置き換え可能な手順の一例を表す図である。 プロセッサの概略構成の一変形例を表す図である。 図１の通信システムの概略構成の一変形例を表す図である。 上記通信システムが適用された車載用カメラの設置例を表す図である。 車載用カメラに上記通信システムを適用した一構成例を表す図である。
　以下、本開示を実施するための形態について、図面を参照して詳細に説明する。以下の説明は本開示の一具体例であって、本開示は以下の態様に限定されるものではない。
＜１．実施の形態＞
[構成]
　図１は、本実施の形態に係る通信システム１０００の概略構成例を表したものである。通信システム１０００は、データ信号、クロック信号および制御信号の伝送に適用されるものであり、画像センサ１００（送信装置）およびプロセッサ２００（受信装置）を備えている。
　画像センサ１００とプロセッサ２００とは、データバスＢ１により電気的に接続される。データバスＢ１は、画像センサ１００とプロセッサ２００とを接続する、一の信号の伝送路である。画像センサ１００から送信される画像を示すデータ（以下、「画像データ」と称する。）は、画像センサ１００からプロセッサ２００へとデータバスＢ１を介して伝送される。画像センサ１００とプロセッサ２００とはバス（制御バスＢ２）により電気的に接続されていてもよい。制御バスＢ２は、画像センサ１００とプロセッサ２００とを接続する、他の一の信号の伝送路であり、データバスＢ１とは異なる伝送路である。プロセッサ２００から送信される制御データが、プロセッサ２００から画像センサ１００へと制御バスＢ２を介して伝送される。
　画像センサ１００は、撮像機能と送信機能とを有し、撮像により生成した画像データを送信する。画像センサ１００は、通信システム１０００において送信装置の役目を果たす。画像センサ１００は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。画像センサ１００において生成される画像は、画像センサ１００におけるセンシング結果を示すデータに該当する。画像センサ１００の構成の一例については、後に図２を用いて詳述する。
　画像センサ１００は、後述する送信方法により、画像データに対して設定される領域に対応するデータ（以下、「領域の画像データ」とも称する。）を送信する。領域の画像データの送信に係る制御は、例えば、画像センサ１００における画像処理部として機能する構成要素（後述する）により行われる。画像に対して設定される領域は、ＲＯＩ（Region　Of　Interest）と呼ばれる。以下では、画像に対して設定される領域を、「ＲＯＩ」と称する。また、領域の画像データを、「ＲＯＩの画像データ」と称する。
　画像に対する領域の設定に係る処理としては、例えば、「画像から物体を検出し、検出された物体を含む領域を設定する処理」、「任意の操作デバイスに対する操作などにより指定された領域を設定する処理」など、画像における一部の領域を特定することが可能な任意の処理（または、画像から一部の領域を切り出すことが可能な任意の処理）が、挙げられる。
　画像センサ１００は、ＲＯＩの画像データを送信すること、すなわち、画像データの一部を送信することによって、画像データ全体を伝送するよりも伝送に係るデータ量を小さくする。よって、画像センサ１００が、ＲＯＩの画像データを送信することによって、例えば、伝送時間が短縮される、通信システム１０００における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。なお、画像センサ１００は、画像センサ１００の移動の有無にかかわらず、画像データから１または複数のＲＯＩの画像データを抽出し、抽出した１または複数のＲＯＩの画像データを送信することが可能である。また、画像センサ１００は、画像データ全体を送信することも可能である。
　プロセッサ２００は、画像センサ１００から送信されたデータを受信し、受信されたデータを処理する。プロセッサ２００は、通信システム１０００において受信装置の役目を果たす。画像センサ１００から送信されたデータの処理に係る構成（受信装置の役目を果たすための構成）の一例については、後に図３を用いて詳述する。
　プロセッサ２００は、例えば、ＭＰＵ（Micro Processing Unit）などの演算回路で構成される、１または２以上のプロセッサや、各種処理回路などで構成される。プロセッサ２００は、例えば、記録媒体への画像データの記録制御に係る処理、表示デバイスの表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行う。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを表示デバイスに伝達する処理”が、挙げられる。プロセッサ２００は、例えば、画像センサ１００に対して制御情報を送信することによって、画像センサ１００における機能を制御してもよい。プロセッサ２００は、例えば、画像センサ１００に対して領域指定情報を送信することによって、画像センサ１００から送信されるデータを制御することも可能である。
（パケットの構造）
　次に、通信システム１０００において、画像センサ１００からプロセッサ２００への画像の送信に利用されるパケットの構造の一例について説明する。通信システム１０００では、画像センサ１００により撮像された画像データが行単位の部分画像データに分割され、行ごとの部分画像データが１以上のパケットを利用して送信される。これは、ＲＯＩの画像データについても同様である。
　図４は、通信システム１０００において画像データの送信に利用されるパケット（Packet）の構造の一例を表したものである。図４には、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で画像データを送信する際に利用されるパケットの構造の一例が示されている。図５、図６は、通信システム１０００において画像センサ１００からプロセッサ２００に送信される伝送データ１３０Ａの一例を表したものである。図５、図６には、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で画像データを送信する際に利用される伝送データ１３０Ａの一例が示されている。
　図４に示すように、画像データの送信に利用されるパケットは、データストリーム中において、ローパワーモードＬＰで開始され、ローパワーモードＬＰで終了する一連のデータとして規定される。また、当該パケットには、パケットヘッダＰＨと、ペイロードデータ（Payload Data）と、パケットフッタＰＦとがこの順に配列されて含まれる。ペイロードデータ（以下、単に「ペイロード」とも称する）には、行単位の部分画像のピクセルデータが含まれる。
　パケットヘッダＰＨは、例えば、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａのパケットヘッダである。ＬｏｎｇＰａｃｋｅｔとは、パケットヘッドＰＨとパケットフッタＰＦとの間に配置されるパケットを指している。ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａとは、装置間で伝送される主要なデータを指している。パケットヘッダＰＨには、例えば、ＤＩ、ＷＣおよびＥＣＣが含まれている。ＤＩは、データ識別子を格納する領域である。ＤＩには、ＶＣ（バーチャルチャネル）の番号およびＤａｔａＴｙｐｅ（各ＲＯＩのデータタイプ）が含まれている。ＶＣは、パケットのフロー制御のために導入された概念であり、同一のリンクを共用する複数の独立したデータストリームをサポートするためのメカニズムである。ＷＣは、プロセッサ２００に対してパケットの終わりをワード数で示すための領域である。ＷＣには、例えば、Ｐａｙｌｏａｄ長が含まれている。Ｐａｙｌｏａｄ長は、例えば、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄに含まれるバイト数であり、例えば、ＲＯＩごとのバイト数である。ＥＣＣは、ビットエラーを修正するための値を格納する領域である。ＥＣＣには、誤り訂正符号が含まれている。
　伝送データ１３０Ａは、例えば、図５、図６に示したような画像データフレームによって構成されている。画像データフレームは、通常、ヘッダ領域、パケット領域、およびフッタ領域を有している。図５、図６では、便宜的に、フッタ領域の記載が省略されている。画像データフレームにおいて、ヘッダ領域Ｒ１には、ＥｍｂｅｄｄｅｄＤａｔａが含まれている。ＥｍｂｅｄｄｅｄＤａｔａとは、画像データフレームのヘッダもしくはフッタに埋め込むことの可能な追加情報を指している。このとき、ＥｍｂｅｄｄｅｄＤａｔａには、フレーム番号と、ＲＯＩ数と、ＲＯＩ情報が含まれている。
　フレーム番号は、伝送データ１３０Ａの識別子である。ＲＯＩ数は、伝送データ１３０Ａに含まれるＲＯＩの総数である。ＲＯＩ情報は、伝送データ１３０Ａに含まれるＲＯＩごとに設けられた、ＲＯＩについての情報である。
　ＲＯＩ情報は、例えば、画像データに含まれる１または複数のＲＯＩの領域番号（もしくは優先度）と、画像データにおける１または複数のＲＯＩの位置情報とを含んでいる。ＲＯＩの領域番号は、ＲＯＩごとに付与された識別子である。ＲＯＩの優先度は、ＲＯＩごとに付与された識別子であり、画像データにおける複数のＲＯＩのいずれに対して重なり領域の割愛が行われたかを判別することの可能な判別情報である。
　ＲＯＩの位置情報は、例えば、ＲＯＩの左上端座標（Ｘａ，Ｙａ）と、ＲＯＩのＸ軸方向の長さと、ＲＯＩのＹ軸方向の長さとを含んでいる。ＲＯＩのＸ軸方向の長さは、例えば、ＲＯＩのＸ軸方向の物理領域長さＸＬａである。ＲＯＩのＹ軸方向の長さは、例えば、ＲＯＩのＹ軸方向の物理領域長さＹＬａである。物理領域長さとは、ＲＯＩの物理的な長さ（データ長）を指している。ＲＯＩの位置情報において、ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩの位置情報は、例えば、さらに、ＲＯＩのＸ軸方向の出力領域長さＸＬｃや、ＲＯＩのＹ軸方向の出力領域長さＹＬｃを含んでいる。出力領域長さとは、例えば、ＲＯＩに対して間引き処理や画素加算などによる解像度変更がなされた後のＲＯＩの物理的な長さ（データ長）である。
　ＲＯＩ情報は、さらに、ＲＯＩごとに、位置情報の他に、例えば、センシングインフォメーション、露光情報、ゲイン情報、ＡＤ（Analog-Digital）語長、画像フォーマットなどを含んでいてもよい。センシングインフォメーションとは、ＲＯＩに含まれる物体についての演算内容や、ＲＯＩの画像データに対する後段信号処理のための補足情報などを指している。露光情報とは、ＲＯＩの露光時間を指している。ゲイン情報とは、ＲＯＩのゲイン情報を指している。ＡＤ語長とは、ＲＯＩ内でＡＤ変換された１画素あたりのデータの語長を指している。画像フォーマットとは、ＲＯＩの画像のフォーマットを指している。
　また、図５、図６に示したように、データフレームにおいて、パケット領域Ｒ２には、１ラインごとに、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａが含まれており、さらに、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａを挟み込む位置にパケットヘッダＰＨおよびパケットフッタＰＦが含まれている。さらに、パケットヘッダＰＨとパケットフッタＰＦを挟み込む位置にローパワーモードＬＰが含まれている。
　また、パケット領域Ｒ２には、圧縮画像データ１２６Ａが含まれている。圧縮画像データ１２６Ａは、１つの圧縮画像データ、もしくは複数の圧縮画像データによって構成されている。各ラインのＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａには、圧縮画像データ１２６Ａにおける１ライン分のピクセルデータが含まれている。
（画像センサ１００）
　図２は、画像センサ１００の構成の一例を表したものである。図２に記載の構成は、ＣＳＩトランスミッタの一具体例に相当する。画像センサ１００は、例えば、撮像部１１０、画像処理部１２０および送信部１３０を有している。画像センサ１００は、撮像部１１０で得られた画像データ１１０Ａに対して所定の処理を行うことにより生成した伝送データ１３０Ａを、データバスＢ１を介してプロセッサ２００に送信する。
　撮像部１１０は、例えば、光学レンズなどを通して得られた光学的な画像信号を画像データに変換する。撮像部１１０は、例えば、ＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含んで構成されている。撮像部１１０は、アナログ－デジタル変換回路を有しており、アナログの画像データをデジタルの画像データに変換する。変換した後のデータ形式は、各画素の色を輝度成分Ｙおよび色差成分Ｃｂ，Ｃｒで表現するＹＣｂＣｒ形式であってもよいし、ＲＧＢ形式などであってもよい。撮像部１１０は、撮像により得られた画像データ１１０Ａ（デジタルの画像データ）を画像処理部１２０に出力する。
　画像処理部１２０は、例えば、スイッチ部１２１、ＲＯＩ検出部１２２、動き検出部１２３、制御部１２４、ＲＯＩ切り出し部１２５およびスイッチ部１２６を有している。
　スイッチ部１２１は、制御部１２４から入力される制御信号１２４Ｄに基づいて、撮像部１１０で得られた画像データ１１０Ａの、後段のスイッチ部１２６への出力を制御する。制御信号１２４Ｄは、画像データ１１０Ａを取得するタイミングを制御する信号であり、また、後述のＲＯＩ情報１２２Ａ、動き情報１２４Ｂおよび制御信号１２４Ｃの更新タイミングを制御する信号である。スイッチ部１２１は、例えば、制御信号１２４Ｄの入力に応じて、所定の周期Ｔ１で画像データ１１０Ａを出力する。
　ＲＯＩ検出部１２２は、画像データ１１０Ａに含まれる１または複数の対象物の領域（ＲＯＩ）を検出する。ＲＯＩ検出部１２２は、例えば、動体検出や顔検出などの技術を用いてＲＯＩ（ＲＯＩ画像データ）を検出する。動体検出では、「動体である」「動体でない」の２クラスが定義される。動体検出では、撮像タイミングの互いに異なる２枚の画像データ１１０Ａの間の輝度差によって特徴量が導出され、導出された特徴量の大きさが所定の閾値を超えるか否かで、いずれのクラスに属するかが判断される。一方、顔検出では、「顔である」「顔でない」の２クラスが定義される。顔検出では、例えば、画像データ１１０ＡにおけるＨａａｒ－Ｌｉｋｅ特徴量の大きさが所定の閾値を超えるか否かで、いずれのクラスに属するかが判断される。
　ＲＯＩ検出部１２２は、検出により得られたＲＯＩ（ＲＯＩ画像データ）に基づいて、ＲＯＩ情報１２２Ａを生成し、生成したＲＯＩ情報１２２Ａを制御部１２４に出力する。ＲＯＩ情報１２２Ａは、例えば、ＲＯＩの左上端座標と、ＲＯＩのＸ軸方向の長さと、ＲＯＩのＹ軸方向の長さとによって構成されている。ＲＯＩのＸ軸方向の長さは、例えば、ＲＯＩのＸ軸方向の物理領域長さである。ＲＯＩのＹ軸方向の長さは、例えば、ＲＯＩのＹ軸方向の物理領域長さである。物理領域長さとは、ＲＯＩの物理的な長さ（データ長）を指している。ＲＯＩ情報１２２Ａにおいて、ＲＯＩの左上端とは異なる位置の座標が含まれていてもよい。ＲＯＩ検出部１２２は、例えば、生成したＲＯＩ情報１２２Ａを、ＲＯＩに対して付与された識別子（領域番号）と関連づけて、制御部１２４に出力してもよい。
　動き検出部１２３は、異なる撮像タイミングにより得られた複数の画像データ１１０Ａに基づいて、動き情報１２３Ａを生成する。動き検出部１２３は、画像センサ１００の移動に伴って、撮像タイミングの互いに異なる複数の画像データ１１０Ａの間で生じる差異に基づいて、動き情報１２３Ａを生成する。動き検出部１２３は、例えば、スイッチ部１２１から入力された２枚の画像データ１１０Ａの差分をとることにより、画像データ１１０Ａの背景の、２枚の画像データ１１０Ａの取得周期に対応する期間内の動き量（Ｍｘ，Ｍｙ）を導出する。動き検出部１２３は、例えば、このようにして導出した動き量（Ｍｘ，Ｍｙ）を動き情報１２３Ａとして制御部１２４に出力する。
　制御部１２４は、ＲＯＩ検出部１２２から入力されたＲＯＩ情報１２２Ａと、動き検出部１２３から入力された動き情報１２３Ａとに基づいて、画像データ１１０Ａの取得タイミング（撮像周期）を制御する制御信号１２４Ｄを生成する。制御部１２４は、例えば、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報１２２Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えたとき、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量Ｔｃを算出し、算出した補正量Ｔｃを用いて、周期Ｔ１を生成（補正）する。制御部１２４は、例えば、補正後の周期Ｔ１に基づくタイミングで、制御信号１２４Ｄをスイッチ部１２１に出力する。制御部１２４は、例えば、周期Ｔ１がＲＯＩ画像データ１２５Ａを切り出す際に用いられる画像データ１１０Ａの撮像周期よりも長くなるように、周期Ｔ１を制御する。
　制御部１２４は、動き検出部１２３から入力された動き情報１２３Ａに基づいて、ＲＯＩ検出部１２２から入力されたＲＯＩ情報１２２Ａを補正（更新）する。制御部１２４は、ＲＯＩ切り出し部１２５の追跡により検出されたＲＯＩ画像データ１２５ＡからＲＯＩ情報１２２Ａを補正（更新）する。制御部１２４は、例えば、動き量（Ｍｘ，Ｍｙ）が、補正前のＲＯＩ情報１２２Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）以下となっているとき（つまり、周期Ｔ１の変更をしないとき）、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量（Ｃｘ，Ｃｙ）を算出し、算出した補正量（Ｃｘ，Ｃｙ）を用いて、ＲＯＩ情報１２２Ａを補正する。制御部１２４は、例えば、補正後の周期Ｔ１に基づくタイミングで、補正後のＲＯＩ情報１２２ＡをＲＯＩ切り出し部１２５に出力する。
　制御部１２４は、さらに、ＲＯＩ検出部１２２から入力されたＲＯＩ情報１２２Ａ（補正後のＲＯＩ情報１２２Ａ）をＲＯＩ情報１２４Ａとして、送信部１３０に出力する。制御部１２４は、さらに、動き検出部１２３から入力された動き情報１２３Ａを動き情報１２４Ｂとして、送信部１３０に出力する。
　ＲＯＩ切り出し部１２５は、例えば、制御部１２４から入力されたＲＯＩ情報１２２Ａに基づいて、撮像部１１０から入力された画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを切り出す。ＲＯＩ切り出し部１２５は、例えば、動き情報１２３Ａに基づいて、ＲＯＩ画像データ１２５Ａを追跡する。ＲＯＩ情報１２２Ａに、ＲＯＩに対して付与された識別子（領域番号）が含まれている場合には、ＲＯＩ切り出し部１２５は、例えば、切り出したＲＯＩ画像データ１２５Ａに、識別子（領域番号）を付与する。ＲＯＩ切り出し部１２５は、例えば、画像データ１１０Ａから切り出した１または複数のＲＯＩ画像データ１２５Ａを記憶部に格納する。ＲＯＩ切り出し部１２５は、さらに、例えば、識別子（領域番号）を、ＲＯＩ画像データ１２５Ａと関連づけて、記憶部に格納する。ＲＯＩ切り出し部１２５は、切り出した１または複数のＲＯＩ画像データ１２５Ａをスイッチ部１２６に出力する。
　ここで、ＲＯＩ画像データ１２５Ａのサイズは、ＲＯＩの位置情報に対応するサイズと同じか、または、それよりも大きくなっている。ＲＯＩ画像データ１２５ＡのＸ軸方向の長さＸＬｂは、ＲＯＩのＸ軸方向の物理領域長さＸＬａと同じか、またはそれよりも大きな値となっている。ＲＯＩ画像データ１２５ＡのＹ軸方向の長さＹＬｂは、ＲＯＩのＹ軸方向の物理領域長さＹＬａと同じか、またはそれよりも大きな値となっている。ＲＯＩ切り出し部１２５は、ＲＯＩ画像データ１２５Ａのサイズを、ＲＯＩ情報１２２Ａに基づいて設定している。
　スイッチ部１２６は、制御部１２４から入力される制御信号１２４Ｃに基づいて、撮像部１１０から出力された画像データ１１０Ａと、ＲＯＩ切り出し部１２５から出力された１または複数のＲＯＩ画像データ１２５Ａとを選択的に送信部１３０に送信する。このとき、スイッチ部１２６は、例えば、送信する画像データ（画像データ１１０Ａ、または、１または複数のＲＯＩ画像データ１２５Ａ）をエンコードして、圧縮画像データ１２６Ａを生成する。スイッチ部１２６は、例えば、ＪＰＥＧ規格に準拠した圧縮形式等により画像データを圧縮する。スイッチ部１２６は、例えば、圧縮画像データ１２６Ａを送信部１３０に送信する。
　送信部１３０は、スイッチ部１２６から入力された画像データ（圧縮画像データ１２６Ａ）と、制御部１２４から入力されたＲＯＩ情報１２２Ａおよび動き情報１２４Ｂとを含む伝送データ１３０Ａを生成し、送出する回路である。つまり、送信部１３０は、画像データ１１０Ａと、１または複数のＲＯＩ画像データ１２５Ａとを圧縮した状態で、選択的にプロセッサ２００に送信する。送信部１３０は、例えば、ＲＯＩ情報１２２Ａおよび動き情報１２４ＢをＥｍｂｅｄｄｅｄＤａｔａで送出する。送信部１３０は、例えば、ＲＯＩ情報１２２Ａおよび動き情報１２４Ｂを制御バスＢ２経由でプロセッサ２００に送信してもよい。
　送信部１３０は、さらに、例えば、スイッチ部１２６から入力された画像データ（圧縮画像データ１２６Ａ）をＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａで送出する。送信部１３０は、例えば、スイッチ部１２６から入力された画像データ（圧縮画像データ１２６Ａ）を画像データフレームによって送出するとともに、ＲＯＩ情報１２２Ａおよび動き情報１２４Ｂを画像データフレームのヘッダで送出する。送信部１３０は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で規定されたルールに従って、伝送データ１３０Ａを生成し、データバスＢ１経由でプロセッサ２００に送信する。
　送信部１３０は、例えば、図７に示したように、画像データ１１０Ａを圧縮することにより得られた複数の圧縮画像データ１２６Ａを周期Ｔ１で送出する。送信部１３０は、さらに、例えば、図７に示したように、１または複数のＲＯＩ画像データ１２５Ａを圧縮することにより得られた複数の圧縮画像データ１２６Ａを周期Ｔ１よりも短い周期で送出する。送信部１３０は、さらに、例えば、図７に示したように、画像データ１１０Ａを圧縮することにより得られた複数の圧縮画像データ１２６Ａを送出してから、１または複数のＲＯＩ画像データ１２５Ａを圧縮することにより得られた圧縮画像データ１２６Ａを送出するまでの所定の期間の間に、無効なフレーム１１０Ｃを送出してもよい。
（プロセッサ２００）
　図３は、プロセッサ２００の構成の一例を表したものである。図３に記載の構成は、ＣＳＩトランスミッタの一具体例に相当する。プロセッサ２００は、例えば、受信部２１０、ＲＯＩ復元部２２０および画像処理部２３０を有している。プロセッサ２００は、画像センサ１００から送信されてきた伝送データ１３０Ａに対して所定の処理を行う。
　受信部２１０は、例えば、ヘッダ分離部、ヘッダ解釈部、Ｐａｙｌｏａｄ分離部、ＥＢＤ解釈部、ＲＯＩデータ分離部、デコード部および情報抽出部を有している。
　ヘッダ分離部は、伝送データ１３０Ａを、データバスＢ１を介して受信する。ヘッダ分離部は、例えば、ＲＯＩ情報１２２Ａおよび動き情報１２４ＢをＥｍｂｅｄｄｅｄＤａｔａに含むとともに、画像データ（圧縮画像データ１２６Ａ）をＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含む伝送データ１３０Ａを受信する。ヘッダ分離部は、例えば、ＭＩＰＩ ＣＳＩ－２規格もしくはＭＩＰＩ ＣＳＩ－３規格で規定されたルールに従って、伝送データ１３０Ａを分離する。ヘッダ分離部は、例えば、受信した伝送データ１３０Ａをヘッダ領域とパケット領域とに分離する。
　ヘッダ解釈部は、例えば、ヘッダ領域に含まれるデータ（具体的にはＥｍｂｅｄｄｅｄＤａｔａ）に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置を特定する。Ｐａｙｌｏａｄ分離部は、例えば、ヘッダ解釈部によって特定されたＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａの位置に基づいて、パケット領域に含まれるＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａを、パケット領域から分離する。
　ＥＢＤ解釈部は、例えば、ＥｍｂｅｄｄｅｄＤａｔａをＥＢＤデータとして、データ分離部に出力する。ＥＢＤ解釈部は、さらに、例えば、ＥｍｂｅｄｄｅｄＤａｔａに含まれるデータタイプから、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データの圧縮画像データ１２６Ａであるか否か判別する。ＥＢＤ解釈部は、例えば、その判別結果をＲＯＩデータ分離部に出力する。
　ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａに含まれる画像データがＲＯＩの画像データの圧縮画像データ１２６Ａである場合、ＲＯＩデータ分離部は、例えば、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａＤ１として、デコード部に出力する。ＰａｙｌｏａｄＤａｔａに含まれる画像データが通常画像データ（画像データ１１０Ａ）の圧縮画像データ１２６Ａである場合、ＲＯＩデータ分離部は、ＬｏｎｇＰａｃｋｅｔのＰａｙｌｏａｄＤａｔａをＰａｙｌｏａｄＤａｔａＤ２として、デコード部に出力する。
　デコード部は、圧縮画像データ１２６Ａをデコードして画像データを生成する。デコード部は、例えば、ＰａｙｌｏａｄＤａｔａＤ１に含まれる圧縮画像データ１２６Ａをデコードして、ＲＯＩ画像データ２１０Ｄを生成する。デコード部は、例えば、ＰａｙｌｏａｄＤａｔａＤ２に含まれる圧縮画像データ１２６Ａをデコードして、全体画像データ２１０Ｂを生成する。
　情報抽出部は、例えば、ＥＢＤデータに含まれるＥｍｂｅｄｄｅｄＤａｔａから、ＲＯＩ情報１２２Ａおよび動き情報１２４Ｂを抽出する。情報抽出部は、例えば、ＥＢＤデータに含まれるＥｍｂｅｄｄｅｄＤａｔａから、例えば、画像データ１１１Ａに含まれるＲＯＩの数、各ＲＯＩの領域番号、各ＲＯＩのデータ長、および各ＲＯＩの画像フォーマットを抽出する。
　受信部２１０は、例えば、得られた動き情報１２４Ｂを、動き情報２１０Ａとして画像処理部２３０に出力する。受信部２１０は、例えば、得られた全体画像データ２１０Ｂを画像処理部２３０に出力する。受信部２１０は、例えば、得られたＲＯＩ情報１２２Ａを、ＲＯＩ情報２１０ＣとしてＲＯＩ復元部２２０に出力する。受信部２１０は、例えば、得られたＲＯＩ画像データ２１０ＤをＲＯＩ復元部２２０に出力する。
　ＲＯＩ復元部２２０は、例えば、デコードにより得られたＲＯＩ画像データ２１０Ｄと、ＲＯＩ情報２１０Ｃ等とに基づいて、画像データ１１０Ａに含まれる１または複数のＲＯＩ画像データ１２５Ａを生成（復元）する。ＲＯＩ復元部２２０は、例えば、生成（復元）により得られた１または複数のＲＯＩ画像データ１２５Ａを、ＲＯＩ画像データ２２０Ａとして画像処理部２３０に出力する。
　画像処理部２３０は、受信部から入力された動き情報２１０Ａおよび全体画像データ２１０Ｂと、ＲＯＩ復元部２２０から入力されたＲＯＩ画像データ２２０Ａとを用いて、所定の処理を行う。
[動作]
　次に、通信システム１０００におけるデータ伝送の手順について説明する。図８は、対象物の動きに追従してＲＯＩ画像を設定したり、カメラの動きを検出したりする様子の一例を表したものである。図９、図１０は、通信システム１０００におけるデータ伝送の手順の一例を表したものである。
　まず、プロセッサ２００がＲＯＩ画像データの送信を画像センサ１００に要求する（ステップＳ１０１）。すると、画像センサ１００は、全体画像データを取得する間隔（全体画像取得間隔Ｆｉ）を初期値に設定し、さらに、フレームカウンタＦｃを初期化する（Ｆｃ＝０）（ステップＳ１０２）。全体画像取得間隔Ｆｉは、上述の周期Ｔ１に対応するパラメータである。
　次に、画像センサ１００は、全体画像である画像データ１１０Ａを取得する（ステップＳ１０３）。このときの画像データ１１０Ａは、例えば、図８左上のFrame#0の画像データ、または、図８右上のFrame#0の画像データである。画像センサ１００は、例えば、制御部１２４から制御信号１２４Ｄをスイッチ部１２１に出力することにより、スイッチ部１２１から画像データ１１０Ａを出力させる。次に、画像センサ１００は、画像データ１１０Ａに含まれる１または複数の物体（対象物）を検出する（ステップＳ１０４）。具体的には、画像センサ１００は、画像データ１１０Ａに含まれる１または複数の対象物の領域（ＲＯＩ）を検出する。
　次に、画像センサ１００は、ＲＯＩ情報を算出する（ステップＳ１０５）。具体的には、画像センサ１００は、検出により得られたＲＯＩの位置情報（ＲＯＩ情報１２２Ａ）を算出する。次に、画像センサ１００は、ＲＯＩ画像を取得する（ステップＳ１０６）。具体的には、画像センサ１００は、取得したＲＯＩ情報１２２Ａに基づいて、撮像部１１０から入力された画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを切り出す。画像センサ１００は、取得したＲＯＩ画像をプロセッサ２００に送信する（ステップＳ１０７）。
　プロセッサ２００は、画像センサ１００からＲＯＩ画像を受信する（ステップＳ１０８）。このとき、プロセッサ２００は、撮影を完了する指示が入力されたか否かを判断する（ステップＳ１０９）。撮影を完了する指示が入力された場合には、プロセッサ２００は、動作を終了する。撮影を完了する指示が入力されていない場合には、プロセッサ２００は、再び、ＲＯＩ画像データの送信を画像センサ１００に要求する（ステップＳ１１０）。
　すると、画像センサ１００は、フレームカウンタＦｃを１つ、インクリメントする（ステップＳ１１１）。次に、画像センサ１００は、フレームカウンタＦｃが全体画像取得間隔Ｆｉ以上となったか否かを判定する（ステップＳ１１２）。フレームカウンタＦｃが全体画像取得間隔Ｆｉ以上となった場合には、画像センサ１００は、フレームカウンタＦｃを０にリセットする（ステップＳ１１３）。このとき、画像センサ１００は、ステップＳ１０３に移行する。
　一方、フレームカウンタＦｃが全体画像取得間隔Ｆｉ以上となっていない場合には、画像センサ１００は、ＲＯＩ画像の比較を行う（ステップＳ１１４）。画像センサ１００は、撮像タイミングの互いに異なる２枚の画像データ１１０Ａにおいて、互いに共通の対象物が映り込む２枚のＲＯＩ画像データ１２５Ａ（ＲＯＩ情報の互いに等しい２枚のＲＯＩ画像データ１２５Ａ）の間で生じる差異が無いか、または、所定の範囲内に収まっているか否かを判断する。このときのＲＯＩ画像データ１２５Ａは、例えば、図８左側のFrame#2,3の画像データ、または、図８右側のFrame#2,3の画像データである。その結果、上記の差異が無いか、または、所定の範囲内に収まっている場合、画像センサ１００は、ＲＯＩ画像同士が一致していると判断し、全体画像取得間隔Ｆｉを、現在の値よりも大きな値に変更する（ステップＳ１１５）。このとき、画像センサ１００は、ステップＳ１０６に移行する。一方、上記の差異が所定の範囲内から外れている場合、画像センサ１００は、ＲＯＩ同士に差分があると判断し、動き判定に移行する（ステップＳ１１６）。
　画像センサ１００は、動き判定において、例えば、スイッチ部１２１から入力された２枚の画像データ１１０Ａの差分をとることにより、画像データ１１０Ａの背景の、２枚の画像データ１１０Ａの取得周期に対応する期間内の動き量（Ｍｘ，Ｍｙ）を導出する。このときの画像データ１１０Ａは、例えば、図８左側のFrame#1,4の画像データ、または、図８右側のFrame#1,4の画像データである。画像センサ１００は、導出した動き量（Ｍｘ，Ｍｙ）が大きい場合、具体的には、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報１２２Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えた場合、フレームカウンタＦｃを０にリセットし、全体画像取得間隔Ｆｉを、現在の値よりも小さな値に変更する（ステップＳ１１７）。このとき、画像センサ１００は、ステップＳ１０３に移行する。一方、画像センサ１００は、動き判定において、動き量（Ｍｘ，Ｍｙ）が小さい場合、具体的には、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報１２２Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えない場合、ＲＯＩ情報を更新する（ステップＳ１１８）。このとき、画像センサ１００は、ステップＳ１０６に移行する。
　画像センサ１００は、例えば、動き量（Ｍｘ，Ｍｙ）が、補正前のＲＯＩ情報１２２Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）以下となっているとき（つまり、全体画像取得間隔Ｆｉの変更をしないとき）、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量（Ｃｘ，Ｃｙ）を算出し、算出した補正量（Ｃｘ，Ｃｙ）を用いて、ＲＯＩ情報１２２Ａを補正する。このとき、画像センサ１００は、ステップＳ１０６に移行する。本実施の形態では、例えば、このようにして、周期Ｔ１や、ＲＯＩ情報１２２Ａの補正（更新）がなされる。
[効果]
　次に、本実施の形態に係る通信システム１０００の効果について説明する。
　近年、データ量の大きなデータを大量に送信する用途が増えてきている。伝送システムに大きな負荷がかかりやすく、最悪の場合には、伝送システムがダウンし、データ伝送が行えなくなるおそれがある。
　従来では、伝送システムのダウンを避けるために、例えば、撮影した画像を全て送信するのではなく、撮影対象の物体を特定し、特定した物体を切り出した一部の画像だけを送信することが行われている。
　通常、ＲＯＩ伝送では、撮像装置が静止状態であることが前提となっている。そのため、撮像装置が動く場合には、元の全体画像とＲＯＩ画像との位置関係が撮像装置の動きに伴って変化してしまい、ＲＯＩを適切に伝送することが困難になってしまう。
　一方、本実施の形態に係る画像センサ１００では、異なる撮像タイミングにより得られた複数の画像データ１１０Ａに基づいて動き情報１２４Ｂが検出される。これにより、例えば、画像センサ１００が移動する場合であっても、画像センサ１００の移動が考慮されたＲＯＩ画像データ１２５Ａを得ることができる。従って、画像センサ１００が移動する場合であっても、ＲＯＩを適切に伝送することができる。
　また、本実施の形態に係る画像センサ１００では、画像センサ１００の移動に伴って複数の画像データ１１０Ａの間で生じる差異に基づいて、動き情報１２４Ｂが検出される。これにより、例えば、画像センサ１００が移動する場合であっても、画像センサ１００の移動が考慮されたＲＯＩ画像データ１２５Ａを得ることができる。従って、画像センサ１００が移動する場合であっても、ＲＯＩを適切に伝送することができる。
　また、本実施の形態に係る画像センサ１００では、動き情報１２４Ｂは、ＲＯＩ画像データ１２５Ａの生成の際に用いられる画像データ１１０Ａを用いて生成される。これにより、画像センサ１００の動き情報を、ＲＯＩ画像データ１２５Ａを用いて生成した場合と比べて、精度よく動き情報１２４Ｂを生成することができる。
　また、本実施の形態に係る画像センサ１００では、動き情報１２４Ｂに基づいて、画像データ１１０Ａの撮像周期（周期Ｔ１）が制御される。これにより、対象物の少なくとも一部がＲＯＩ画像データ１２５Ａから欠けてしまうことを抑えることができる。従って、画像センサ１００が移動する場合であっても、ＲＯＩを適切に伝送することができる。
　また、本実施の形態に係る画像センサ１００では、周期Ｔ１がＲＯＩ画像データ１２５Ａを切り出す際に用いられる画像データ１１０Ａの撮像周期よりも長くなるように、周期Ｔ１が制御される。これにより、全体画像としての画像データ１１０Ａをフレームごとに必要としないので、フレームごとに周期Ｔ１を制御する場合と比べて、転送データ量や演算量を減らすことができる。
＜２．変形例＞
[変形例Ａ]
　上記実施の形態では、ＲＯＩ画像データ１２５Ａのサイズは、ＲＯＩ情報１２２Ａに基づいて設定されていた。ここで、ＲＯＩ画像データ１２５Ａのサイズがあまりに大きい場合、ＲＯＩ画像データ１２５Ａのデータサイズも大きくなってしまう。そのため、通常、ＲＯＩ画像データ１２５Ａのサイズは、ＲＯＩの位置情報に対応するサイズと同じか、または、それよりも若干大きな値となる。
　しかし、上記実施の形態において、対象物の移動量が大きく、次に全体画像（画像データ１１０Ａ）を取得するまでの間に、対象物の少なくとも一部がＲＯＩ画像データ１２５Ａから欠けてしまう場合がある。このような場合には、ＲＯＩ切り出し部１２５は、例えば、ＲＯＩ画像データ１２５Ａのサイズを、対象物の移動量の大きさ（例えば、対象物の、周期Ｔ１内の移動量の大きさ）に応じて変更してもよい。
　本変形例において、ＲＯＩ検出部１２２および動き検出部１２３には、例えば、図１１に示したように、スイッチ部１２６の出力が入力されてもよい。このとき、ＲＯＩ検出部１２２は、画像データ１１０ＡおよびＲＯＩ画像データ１２５Ａのいずれか一方に含まれる１または複数の対象物の領域（ＲＯＩ）を検出する。動き検出部１２３は、撮像タイミングの互いに異なる複数の画像データ１１０Ａおよび撮像タイミングの互いに異なる複数のＲＯＩ画像データ１２５Ａのいずれか一方に基づいて、動き情報１２３Ａを生成する。動き検出部１２３は、画像センサ１００の移動に伴って、撮像タイミングの互いに異なる複数のＲＯＩ画像データ１２５Ａおよび撮像タイミングの互いに異なる複数のＲＯＩ画像データ１２５Ａのいずれか一方の間で生じる差異に基づいて、動き情報１２３Ａを生成する。
　ＲＯＩ切り出し部１２５は、例えば、図１２に示したように、ＲＯＩ画像データ１２５Ａのサイズを、上記実施の形態におけるサイズよりも大きくしてもよい。このとき、画像センサ１００は、図８のステップＳ１０２を、図１３に記載のステップＳ１１９に置き換えた上で、通信システム１０００におけるデータ伝送の一連の手順を実行してもよい。画像センサ１００は、ステップＳ１１９において、ステップＳ１０２に記載の手順を実行するとともに、対象物とＲＯＩ画像のサイズ比ｓを設定する。画像センサ１００は、さらに、図１０のステップＳ１１５において、全体画像取得間隔Ｆｉを大きくするとともに、サイズ比ｓを小さくしてもよい。画像センサ１００は、さらに、図１０のステップＳ１１７において、全体画像取得間隔Ｆｉを小さくするとともに、サイズ比ｓを大きくしてもよい。
　このように、本変形例では、ＲＯＩ画像データ１２５Ａのサイズが制御される。これにより、対象物の少なくとも一部がＲＯＩ画像データ１２５Ａから欠けてしまうことを抑えることができる。従って、画像センサ１００が移動する場合であっても、ＲＯＩを適切に伝送することができる。
　また、本変形例では、動き情報１２３Ａに基づいて、ＲＯＩ画像データ１２５Ａが追跡され、追跡により検出されたＲＯＩ画像データ１２５ＡからＲＯＩ情報１２２Ａが補正（更新）される。これにより、例えば、画像センサ１００が移動する場合であっても、画像センサ１００の移動が考慮されたＲＯＩ画像データ１２５Ａを得ることができる。従って、画像センサ１００が移動する場合であっても、ＲＯＩを適切に伝送することができる。
[変形例Ｂ]
　上記実施の形態および変形例Ａにおいて、画像センサ１００が、例えば、図１４に示したように、動き検出部１２３の代わりに、センサ１４０を有していてもよい。センサ１４０は、画像センサ１００の動きを検出し、それにより、動き情報１２３Ａを生成することの可能なデバイスであり、例えば、ジャイロセンサ、角速度センサ、ＧＰＳ受信機などを含んで構成されている。
　センサ１４０は、生成した動き情報１２３Ａを出力１４０Ａとして送信部１３０に出力する。このとき、送信部１３０は、動き情報１２４Ｂの代わりに出力１４０Ａを含む伝送データ１３０Ａを生成し、送出する。これにより、出力１４０Ａは、伝送データ１３０Ａの伝送によって、プロセッサ２００に伝達されるので、画像処理部２３０は、出力１４０Ａを考慮した処理を行うことができる。
　本変形例では、動き検出部１２３の代わりにセンサ１４０が設けられている。このようにした場合であっても、上記の実施の形態と同様の効果を得ることができる。
[変形例Ｃ]
　上記実施の形態および変形例Ａにおいて、例えば、図１５に示したように、ＲＯＩ検出部１２２および動き検出部１２３が省略され、センサ１４０が設けられていてもよい。さらに、上記実施の形態および変形例Ａにおいて、例えば、図１６に示したように、ＲＯＩ検出部２４０が設けられていてもよい。
　ＲＯＩ検出部２４０は、全体画像データ２１０Ｂに含まれる１または複数の対象物の領域（ＲＯＩ）を検出する。ＲＯＩ検出部２４０は、例えば、動体検出や顔検出などの技術を用いてＲＯＩ（例えばＲＯＩ画像データ）を検出する。動体検出では、「動体である」「動体でない」の２クラスが定義される。動体検出では、撮像タイミングの互いに異なる２枚の全体画像データ２１０Ｂの間の輝度差によって特徴量が導出され、導出された特徴量の大きさが所定の閾値を超えるか否かで、いずれのクラスに属するかが判断される。一方、顔検出では、「顔である」「顔でない」の２クラスが定義される。顔検出では、例えば、全体画像データ２１０ＢにおけるＨａａｒ－Ｌｉｋｅ特徴量の大きさが所定の閾値を超えるか否かで、いずれのクラスに属するかが判断される。
　ＲＯＩ検出部２４０は、検出により得られたＲＯＩ（例えばＲＯＩ画像データ）に基づいて、ＲＯＩ情報１２２Ａを算出し、算出したＲＯＩ情報１２２ＡをＲＯＩ情報２４０Ａとして画像処理部２３０に出力する。ＲＯＩ検出部２４０は、例えば、ＲＯＩ情報２４０Ａを、ＲＯＩに対して付与された識別子（領域番号）と関連づけて、画像処理部２３０に出力してもよい。
　ＲＯＩ検出部２４０は、ＲＯＩ情報１２２Ａと、受信部２１０から入力された動き情報２１０Ａとに基づいて、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）を生成する。ＲＯＩ検出部２４０は、動き情報２１０Ａに基づいて、ＲＯＩ画像データ１２５Ａを追跡する。ＲＯＩ検出部２４０は、例えば、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報１２２Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えたとき、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量Ｔｃを算出し、算出した補正量Ｔｃを用いて、周期Ｔ１を補正する。
　ＲＯＩ検出部２４０は、さらに、動き情報２１０Ａを用いて、ＲＯＩ情報１２２Ａを生成（補正）する。ＲＯＩ検出部２４０は、さらに、補正後のＲＯＩ情報１２２Ａ（ＲＯＩ情報２４０Ａ）と、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）とを画像処理部２３０に出力する。画像処理部２３０は、ＲＯＩ検出部２４０から入力されたデータ（ＲＯＩ情報２４０Ａ、周期Ｔ１）を制御データ２３０Ａとして、制御バスＢ２を介して、画像センサ１００の制御部１２４に出力する。この場合、画像センサ１００において、制御部１２４は、制御データ２３０Ａをプロセッサ２００から受信し、受信した制御データ２３０Ａに含まれ周期Ｔ１に基づいて、画像データ１１０Ａの取得タイミングを制御する制御信号１２４Ｄを生成する。制御部１２４は、さらに、ＲＯＩ情報２４０ＡをＲＯＩ切り出し部１２５に出力する。ＲＯＩ切り出し部１２５は、制御部１２４から入力されたＲＯＩ情報２４０Ａに基づいて、画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを切り出す。画像処理部２３０は、さらに、ＲＯＩ情報２４０ＡをＲＯＩ情報２３０Ｂとして、ＲＯＩ復元部２２０に出力する。
　ＲＯＩ検出部２４０は、ＲＯＩ情報２４０Ａと、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）と、動き情報２１０Ａとを画像処理部２３０に出力してもよい。この場合、画像処理部２３０は、ＲＯＩ検出部２４０から入力されたデータ（ＲＯＩ情報２４０Ａ、周期Ｔ１、動き情報２１０Ａ）を制御データ２３０Ａとして、制御バスＢ２を介して、画像センサ１００の制御部１２４に出力する。この場合、画像センサ１００において、制御部１２４は、制御データ２３０Ａをプロセッサ２００から受信し、受信した制御データ２３０Ａに含まれる周期Ｔ１に基づいて、画像データ１１０Ａの取得タイミングを制御する制御信号１２４Ｄを生成する。制御部１２４は、さらに、動き情報２１０Ａに基づいて、ＲＯＩ情報２４０Ａを補正し、補正後のＲＯＩ情報２４０ＡをＲＯＩ切り出し部１２５に出力する。ＲＯＩ切り出し部１２５は、制御部１２４から入力されたＲＯＩ情報２４０Ａを用いて、画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを抽出する。つまり、画像センサ１００において、制御部１２４およびＲＯＩ切り出し部１２５は、動き情報２１０Ａと、ＲＯＩ情報２４０Ａとを用いて、画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを抽出する。画像処理部２３０は、さらに、ＲＯＩ情報２４０ＡをＲＯＩ情報２３０Ｂとして、ＲＯＩ復元部２２０に出力する。
　ＲＯＩ復元部２２０は、例えば、デコードにより得られたＲＯＩ画像データ２１０Ｄと、画像処理部２３０から入力されたＲＯＩ情報２３０Ｂ等とに基づいて、画像データ１１０Ａに含まれる１または複数のＲＯＩ画像データ１２５Ａを生成（復元）する。ＲＯＩ復元部２２０は、例えば、生成（復元）により得られた１または複数のＲＯＩ画像データ１２５Ａを、ＲＯＩ画像データ２２０Ａとして画像処理部２３０に出力する。
　本変形例では、ＲＯＩ検出がプロセッサ２００で行われる。このようにした場合であっても、上記の実施の形態と同様の効果を得ることができる。
　また、本変形例において、画像データ１１０Ａを圧縮することにより得られた複数の圧縮画像データ１２６Ａが送出されてから、１または複数のＲＯＩ画像データ１２５Ａを圧縮することにより得られた圧縮画像データ１２６Ａが送出されるまでの所定の期間の間（つまり、ＲＯＩ指示情報（ＲＯＩ情報２４０Ａ、周期Ｔ１）をプロセッサ２００から受信してから一定期間）、無効なフレーム１１０Ｃが送出されてもよい。このようにした場合には、例えば、圧縮画像データ１２６Ａを送出するタイミングを調整することが可能となる。
[変形例Ｄ]
　上記変形例Ｃにおいて、例えば、図１７に示したように、センサ１４０の代わりに、計時部１５０が設けられていてもよい。さらに、上記変形例Ｃにおいて、例えば、図１８に示したように、動き検出部２５０が設けられていてもよい。
　計時部１５０は、時間データ１５０Ａを生成し、送信部１３０に出力する。このとき、計時部１５０は、動き情報１２４Ｂの代わりに時間データ１５０Ａを含む伝送データ１３０Ａを生成し、送出する。これにより、時間データ１５０Ａは、伝送データ１３０Ａの伝送によって、プロセッサ２００に伝達される。プロセッサ２００において、受信部２１０は、時間データ１５０Ａを受信すると、受信した時間データ１５０Ａを時間データ２１０Ｅとして画像処理部２３０に出力する。これにより、画像処理部２３０は、時間データ１５０Ａを考慮した処理を行うことができる。
　動き検出部２５０は、撮像により得られた、撮像タイミングの互いに異なる複数の全体画像データ２１０Ｂに基づいて、動き情報２５０Ａを生成する。動き検出部２５０は、画像センサ１００の移動に伴って、撮像タイミングの互いに異なる複数の全体画像データ２１０Ｂの間で生じる差異に基づいて、動き情報２５０Ａを生成する。動き検出部２５０は、例えば、受信部２１０から入力された２枚の全体画像データ２１０Ｂの差分をとることにより、全体画像データ２１０Ｂの背景の、２枚の全体画像データ２１０Ｂの取得周期に対応する期間内の動き量（Ｍｘ，Ｍｙ）を導出する。動き検出部２５０は、例えば、このようにして導出した動き量（Ｍｘ，Ｍｙ）を動き情報２５０Ａとして画像処理部２３０に出力する。
　画像処理部２３０は、ＲＯＩ情報２４０Ａと、動き検出部２５０から入力された動き情報２５０Ａとに基づいて、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）を生成する。画像処理部２３０は、例えば、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報２４０Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えたとき、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量Ｔｃを算出し、算出した補正量Ｔｃを用いて、周期Ｔ１を補正する。画像処理部２３０は、例えば、周期Ｔ１がＲＯＩ画像データ１２５Ａを切り出す際に用いられる画像データ１１０Ａの撮像周期よりも長くなるように、周期Ｔ１を生成する。
　画像処理部２３０は、さらに、例えば、動き情報２５０Ａを用いて、ＲＯＩ情報２４０Ａを生成する。画像処理部２３０は、さらに、例えば、動き情報２５０Ａに基づいて、ＲＯＩ情報２４０Ａを補正（更新）する。画像処理部２３０は、ＲＯＩ画像データ２２０ＡからＲＯＩ情報２４０Ａを補正（更新）する。画像処理部２３０は、例えば、動き量（Ｍｘ，Ｍｙ）が、補正前のＲＯＩ情報２４０Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）以下となっているとき（つまり、周期Ｔ１の変更をしないとき）、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量（Ｃｘ，Ｃｙ）を算出し、算出した補正量（Ｃｘ，Ｃｙ）を用いて、ＲＯＩ情報２４０Ａを補正する。画像処理部２３０は、例えば、補正後のＲＯＩ情報２４０Ａと、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）とを含むデータを制御データ２３０Ａとして、制御バスＢ２を介して、画像センサ１００の制御部１２４に出力する。画像処理部２３０は、さらに、ＲＯＩ情報２４０ＡをＲＯＩ情報２３０Ｂとして、ＲＯＩ復元部２２０に出力する。この場合、画像センサ１００において、制御部１２４は、制御データ２３０Ａを受信し、受信した制御データ２３０Ａに含まれる周期Ｔ１に基づいて、画像データ１１０Ａの取得タイミングを制御する制御信号１２４Ｄを生成する。また、画像センサ１００において、制御部１２４は、例えば、受信した制御データ２３０Ａに含まれる周期Ｔ１に基づくタイミングで、受信した制御データ２３０Ａに含まれるＲＯＩ情報２４０Ａ（補正後のＲＯＩ情報２４０Ａ）をＲＯＩ切り出し部１２５に出力する。ＲＯＩ切り出し部１２５は、例えば、制御部１２４から入力されたＲＯＩ情報２４０Ａ（補正後のＲＯＩ情報２４０Ａ）を用いて、撮像部１１０から入力された画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを抽出する。
　なお、画像処理部２３０は、例えば、ＲＯＩ情報２４０Ａと、動き情報２５０Ａと、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）とを含むデータを制御データ２３０Ａとして、制御バスＢ２を介して、画像センサ１００の制御部１２４に出力してもよい。この場合、画像センサ１００において、制御部１２４は、制御データ２３０Ａを受信し、受信した制御データ２３０Ａに含まれる周期Ｔ１に基づいて、画像データ１１０Ａの取得タイミングを制御する制御信号１２４Ｄを生成する。また、画像センサ１００において、制御部１２４は、受信した制御データ２３０Ａに含まれる動き情報１２３Ａに基づいて、受信した制御データ２３０Ａに含まれるＲＯＩ情報２４０Ａを補正（更新）する。制御部１２４は、例えば、受信した制御データ２３０Ａに含まれる周期Ｔ１に基づくタイミングで、補正（更新）後のＲＯＩ情報２４０ＡをＲＯＩ切り出し部１２５に出力する。ＲＯＩ切り出し部１２５は、例えば、制御部１２４から入力されたＲＯＩ情報２４０Ａ（補正後のＲＯＩ情報２４０Ａ）を用いて、撮像部１１０から入力された画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを抽出する。
[動作]
　次に、本変形例に係る通信システム１０００におけるデータ伝送の手順について説明する。図１９、図２０は、本変形例に係る通信システム１０００におけるデータ伝送の手順の一例を表したものである。
　まず、プロセッサ２００が、全体画像データを取得する間隔（全体画像取得間隔Ｆｉ）を初期値に設定し、さらに、フレームカウンタＦｃを初期化する（Ｆｃ＝０）（ステップＳ２０１）次に、プロセッサ２００は、ＲＯＩ画像データの送信を画像センサ１００に要求する（ステップＳ２０２）。
　すると、画像センサ１００は、全体画像である画像データ１１０Ａを取得する（ステップＳ２０３）。このときの画像データ１１０Ａは、例えば、図８左上のFrame#0の画像データ、または、図８右上のFrame#0の画像データである。画像センサ１００は、例えば、制御部１２４から制御信号１２４Ｄをスイッチ部１２１に出力することにより、スイッチ部１２１から画像データ１１０Ａを出力させる。次に、画像センサ１００は、全体画像である画像データ１１０Ａをプロセッサ２００に送信する（ステップＳ２０４）。
　プロセッサ２００は、全体画像データ２１０Ｂを受信する（ステップＳ２０５）。次に、プロセッサ２００は、全体画像データ２１０Ｂに含まれる１または複数の物体（対象物）を検出する（ステップＳ２０６）。具体的には、プロセッサ２００は、全体画像データ２１０Ｂに含まれる１または複数の対象物の領域（ＲＯＩ）を検出する。
　次に、プロセッサ２００は、ＲＯＩ情報を算出する（ステップＳ２０７）。具体的には、画像センサ１００は、検出により得られたＲＯＩに基づいて、位置情報（ＲＯＩ情報２４０Ａ）を算出する。次に、プロセッサ２００は、ＲＯＩ画像の送信を画像センサ１００に要求する（ステップＳ２０８）。
　すると、画像センサ１００は、ＲＯＩ画像を取得する（ステップＳ２０９）。具体的には、画像センサ１００は、取得したＲＯＩ情報２４０Ａに基づいて、撮像部１１０から入力された画像データ１１０Ａから１または複数のＲＯＩ画像データ１２５Ａを切り出す。画像センサ１００は、取得したＲＯＩ画像をプロセッサ２００に送信する（ステップＳ２１０）。
　プロセッサ２００は、画像センサ１００からＲＯＩ画像を受信する（ステップＳ２１１）。すると、プロセッサ２００は、フレームカウンタＦｃを１つ、インクリメントする（ステップＳ２１２）。次に、プロセッサ２００は、フレームカウンタＦｃが全体画像取得間隔Ｆｉ以上となったか否かを判定する（ステップＳ２１３）。フレームカウンタＦｃが全体画像取得間隔Ｆｉ以上となった場合には、プロセッサ２００は、フレームカウンタＦｃを０にリセットする（ステップＳ２１４）。このとき、プロセッサ２００は、ステップＳ２０２に移行する。
　一方、フレームカウンタＦｃが全体画像取得間隔Ｆｉ以上となっていない場合には、プロセッサ２００は、ＲＯＩ画像の比較を行う（ステップＳ２１５）。プロセッサ２００は、撮像タイミングの互いに異なる２枚の全体画像データ２１０Ｂにおいて、互いに共通の対象物が映り込む２枚のＲＯＩ画像データ２２０Ａ（ＲＯＩ情報の互いに等しい２枚のＲＯＩ画像データ２２０Ａ）の間で生じる差異が無いか、または、所定の範囲内に収まっているか否かを判断する。このときのＲＯＩ画像データ２２０Ａは、例えば、図８左側のFrame#2,3の画像データ、または、図８右側のFrame#2,3の画像データである。その結果、上記の差異が無いか、または、所定の範囲内に収まっている場合、プロセッサ２００は、ＲＯＩ画像同士が一致していると判断し、全体画像取得間隔Ｆｉを、現在の値よりも大きな値に変更する（ステップＳ２１６）。このとき、プロセッサ２００は、ステップＳ２０８に移行する。一方、上記の差異が所定の範囲内から外れている場合、プロセッサ２００は、ＲＯＩ同士に差分があると判断し、動き判定に移行する（ステップＳ２１７）。
　プロセッサ２００は、動き判定において、例えば、受信部２１０から入力された２枚の全体画像データ２１０Ｂの差分をとることにより、全体画像データ２１０Ｂの背景の、２枚の全体画像データ２１０Ｂの取得周期に対応する期間内の動き量（Ｍｘ，Ｍｙ）を導出する。このときの全体画像データ２１０Ｂは、例えば、図８左側のFrame#1,4の画像データ、または、図８右側のFrame#1,4の画像データである。プロセッサ２００は、導出した動き量（Ｍｘ，Ｍｙ）が大きい場合、具体的には、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報２４０Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えた場合、フレームカウンタＦｃを０にリセットし、全体画像取得間隔Ｆｉを、現在の値よりも小さな値に変更する（ステップＳ２１８）。このとき、プロセッサ２００は、ステップＳ２０２に移行する。一方、プロセッサ２００は、動き判定において、動き量（Ｍｘ，Ｍｙ）が小さい場合、具体的には、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報２４０Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えない場合、ＲＯＩ情報を更新する（ステップＳ２１９）。このとき、プロセッサ２００は、ステップＳ２０８に移行する。
　プロセッサ２００は、例えば、動き量（Ｍｘ，Ｍｙ）が、補正前のＲＯＩ情報２４０Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）以下となっているとき（つまり、全体画像取得間隔Ｆｉの変更をしないとき）、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量（Ｃｘ，Ｃｙ）を算出し、算出した補正量（Ｃｘ，Ｃｙ）を用いて、ＲＯＩ情報２４０Ａを補正する。このとき、プロセッサ２００は、ステップＳ１０６に移行する。本変形例では、例えば、このようにして、周期Ｔ１や、ＲＯＩ情報２４０Ａの補正（更新）がなされる。
　本変形例では、ＲＯＩ検出および動き検出がプロセッサ２００で行われ、ＲＯＩ指示情報（ＲＯＩ情報２４０Ａ、周期Ｔ１）がプロセッサ２００（画像処理部２３０）から画像センサ１００（制御部１２４）へ送信される。これにより、画像センサ１００においてＲＯＩ検出および動き検出を行う必要がないので、画像センサ１００におけるデータ処理量を減らすことができる。その結果、高速のデータ伝送にも対応することが容易となる。
　また、本変形例において、画像データ１１０Ａを圧縮することにより得られた複数の圧縮画像データ１２６Ａが送出されてから、１または複数のＲＯＩ画像データ１２５Ａを圧縮することにより得られた圧縮画像データ１２６Ａが送出されるまでの所定の期間の間（つまり、ＲＯＩ画像データ１２５Ａの検出中において、プロセッサ２００から前回と同じＲＯＩ指示情報（ＲＯＩ情報２４０Ａ、周期Ｔ１）を受信する間）に、無効なフレーム１１０Ｃが送出される場合には、例えば、圧縮画像データ１２６Ａを送出するタイミングを調整することが可能となる。
　また、本変形例において、ＲＯＩ画像データ１２５Ａの検出中において、プロセッサ２００から前回と同じＲＯＩ指示情報（ＲＯＩ情報２４０Ａ、周期Ｔ１）を受信する間は、ＲＯＩ画像データ１２５Ａが更新されて、プロセッサ２００に送信され続ける。このようにした場合であっても、例えば、画像センサ１００が移動する場合に、画像センサ１００の移動が考慮されたＲＯＩ画像データ１２５Ａを得ることができる。従って、画像センサ１００が移動する場合であっても、画像センサ１００におけるデータ処理量を減らしつつ、ＲＯＩを適切に伝送することができる。
[変形例Ｅ] 
　上記変形例Ｄでは、ＲＯＩ画像データ２２０Ａのサイズは、ＲＯＩ情報２４０Ａに基づいて設定されていた。ここで、ＲＯＩ画像データ２２０Ａのサイズがあまりに大きい場合、ＲＯＩ画像データ２２０Ａのデータサイズも大きくなってしまう。そのため、通常、ＲＯＩ画像データ２２０Ａのサイズは、ＲＯＩの位置情報に対応するサイズと同じか、または、それよりも若干大きな値となる。
　しかし、上記変形例Ｄにおいて、対象物の移動量が大きく、次に全体画像データ２１０Ｂを取得するまでの間に、対象物の少なくとも一部がＲＯＩ画像データ２２０Ａから欠けてしまう場合がある。このような場合には、ＲＯＩ切り出し部１２５は、例えば、ＲＯＩ画像データ２２０Ａのサイズを、対象物の移動量の大きさ（例えば、対象物の、周期Ｔ１内の移動量の大きさ）に応じて変更してもよい。
　ＲＯＩ切り出し部１２５は、例えば、図１２に示したように、ＲＯＩ画像データ２２０Ａのサイズを、上記実施の形態におけるサイズよりも大きくしてもよい。このとき、プロセッサ２００は、図１９のステップＳ２０１を、図２１に記載のステップＳ２２０に置き換えた上で、通信システム１０００におけるデータ伝送の一連の手順を実行してもよい。プロセッサ２００は、ステップＳ２２０において、ステップＳ２０１に記載の手順を実行するとともに、対象物とＲＯＩ画像のサイズ比ｓを設定する。プロセッサ２００は、さらに、図２０のステップＳ２１６において、全体画像取得間隔Ｆｉを大きくするとともに、サイズ比ｓを小さくしてもよい。プロセッサ２００は、さらに、図２０のステップＳ２１８において、全体画像取得間隔Ｆｉを小さくするとともに、サイズ比ｓを大きくしてもよい。
　このように、本変形例では、ＲＯＩ画像データ２２０Ａのサイズが制御される。これにより、対象物の少なくとも一部がＲＯＩ画像データ２２０Ａから欠けてしまうことを抑えることができる。従って、画像センサ１００が移動する場合であっても、ＲＯＩを適切に伝送することができる。
[変形例Ｆ]
　上記変形例Ｃ，Ｄ，Ｅにおいて、動き情報２１０Ａ，２５０Ａが画像処理部２３０に入力される場合には、画像処理部２３０は、ＲＯＩ情報２４０Ａと、動き情報２１０Ａもしくは動き情報２５０Ａとを含むデータを制御データ２３０Ａとして、制御バスＢ２を介して、画像センサ１００の制御部１２４に出力してもよい。この場合、画像センサ１００において、制御部１２４は、受信した制御データ２３０Ａに含まれる動き情報２１０Ａもしくは動き情報２５０Ａと、ＲＯＩ情報２４０Ａとに基づいて、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）を生成してもよい。画像処理部２３０は、例えば、動き量（Ｍｘ，Ｍｙ）が、ＲＯＩ情報２４０Ａから生成された所定の閾値（Ｔｈｘ，Ｔｈｙ）を超えたとき、動き量（Ｍｘ，Ｍｙ）と閾値（Ｔｈｘ，Ｔｈｙ）との差分に応じた補正量Ｔｃを算出し、算出した補正量Ｔｃを用いて、周期Ｔ１を補正してもよい。
　本変形例では、画像データ１１０Ａの取得タイミング情報（周期Ｔ１）の生成が画像センサ１００で行われる。このようにした場合であっても、上記変形例Ｃ，Ｄ，Ｅと同様の効果を得ることができる。
[変形例Ｇ]
　上記変形例Ｄ，Ｅ、および上記変形例Ｄ，Ｅの変形例Ｆにおいて、例えば、図２２に示したように、ＲＯＩ検出部２４０への入力データとして、全体画像データ２１０ＢおよびＲＯＩ画像データ２２０Ａのいずれか一方を選択するスイッチ部２６０が設けられていてもよい。また、上記変形例Ｄ，Ｅ、および上記変形例Ｄ，Ｅの変形例Ｆにおいて、動き検出部２５０への入力データとして、全体画像データ２１０ＢおよびＲＯＩ画像データ２２０Ａのいずれか一方を選択するスイッチ部２７０が設けられていてもよい。
　本変形例において、ＲＯＩ画像データ２２０Ａが動き検出部２５０に入力される場合には、動き検出部２５０は、異なる撮像タイミングにより得られた複数のＲＯＩ画像データ２２０Ａに基づいて、動き情報２５０Ａを生成してもよい。この場合、動き検出部２５０は、画像センサ１００の移動に伴って、撮像タイミングの互いに異なる複数のＲＯＩ画像データ２２０Ａの間で生じる差異に基づいて、動き情報２５０Ａを生成する。これにより、例えば、画像センサ１００が移動する場合であっても、画像センサ１００の移動が考慮されたＲＯＩ画像データ１２５Ａを得ることができる。従って、画像センサ１００が移動する場合であっても、ＲＯＩを適切に伝送することができる。
　本変形例では、ＲＯＩ検出部２４０および動き検出部２５０への入力データとしてＲＯＩ画像データ２２０Ａが選択されることにより、ＲＯＩ検出部２４０および動き検出部２５０へ全体画像データ２１０Ｂが常に入力されている場合と比べて、ＲＯＩ検出部２４０および動き検出部２５０における演算処理量を削減することができる。
[変形例Ｈ]
　上記変形例Ｄ，Ｅ，Ｆ，Ｇにおいて、画像センサ１００およびプロセッサ２００の間をつなぐインターフェース（データバスＢ１，制御バスＢ２）、送信部１３０、受信部２１０およびＲＯＩ復元部２２０が省略され、画像センサ１００およびプロセッサ２００がワンチップ化されてもよい。この場合、通信システム１０００は、例えば、図２３に示したように、撮像部１１０、画像処理部１２０、ＲＯＩ検出部２４０、動き検出部２５０、画像処理部２３０および計時部１５０を備えていてもよい。
　本変形例において、ＲＯＩ検出部２４０および動き検出部２５０の入力が、スイッチ部１２６の出力に接続されており、計時部１５０の出力が画像処理部２３０に接続されている。このようにした場合であっても、上記実施の形態と同様の効果を得ることができる。
＜３．適用例＞
　以下に、上記実施の形態およびその変形例に係る通信システム１０００の適用例について説明する。
　図２４および図２５に、通信システム１０００の適用例として、車載用カメラの構成例を示す。図２４は車載用カメラの設置例の一例を示し、図２５は車載用カメラの内部構成例を示している。
　例えば、図２４に示したように、車両３０１のフロント（前方）に車載用カメラ４０１、左右に車載用カメラ４０２，４０３、さらにリア（後方）に車載用カメラ４０４が設置される。車載用カメラ４０１～４０４はそれぞれ、車内ネットワークを介してＥＣＵ３０２（Electrical Control Unit；電子制御ユニット）に接続されている。
　車両３０１のフロントに備え付けられた車載用カメラ４０１の画像取り込み角度は、例えば図２４にａで示す範囲である。車載用カメラ４０２の画像取り込み角度は、例えば図２４にｂで示す範囲である。車載用カメラ４０３の画像取り込み角度は、例えば図２４にｃで示す範囲である。車載用カメラ４０４の画像取り込み角度は、例えば図２４にｄで示す範囲である。車載用カメラ４０１～４０４はそれぞれ、取り込んだ画像をＥＣＵ３０２に出力する。この結果、車両３０１の前方、左右、後方の３６０度（全方位）の画像をＥＣＵ３０２において取り込むことができる。
　例えば、図２５に示したように、車載用カメラ４０１～４０４はそれぞれ、イメージセンサ４３１と、ＤＳＰ（Digital Signal Processing）回路４３２と、セレクタ４３３と、ＳｅｒＤｅｓ（SERializer/DESerializer）回路４３４とを有している。
　ＤＳＰ回路４３２は、イメージセンサ４３１から出力された撮像信号に対して各種の画像信号処理を行うものである。ＳｅｒＤｅｓ回路４３４は、信号のシリアル／パラレル変換を行うものであり、例えばＦＰＤ－Ｌｉｎｋ　ＩＩＩ等の車載インタフェースチップで構成されている。
　セレクタ４３３は、イメージセンサ４３１から出力された撮像信号を、ＤＳＰ回路４３２を介して出力するか、ＤＳＰ回路４３２を介さずに出力するかを選択するものである。
　イメージセンサ４３１とＤＳＰ回路４３２との間の接続インタフェース４４１に、例えば、上記実施の形態およびその変形例に係る通信システム１０００が適用可能である。
　以上、実施の形態およびその変形例を挙げて本開示を説明したが、本開示は上記実施の形態等に限定されるものではなく、種々変形が可能である。なお、本明細書中に記載された効果は、あくまで例示である。本開示の効果は、本明細書中に記載された効果に限定されるものではない。本開示が、本明細書中に記載された効果以外の効果を持っていてもよい。
　また、例えば、本開示は以下のような構成を取ることができる。
（１）
　ＲＯＩ（Region Of Interest）指示情報に基づいて、ＲＯＩ画像データを検出する検出部と、
　前記検出部により検出された前記ＲＯＩ画像データからＲＯＩ情報を生成する生成部と、
　前記ＲＯＩ画像データおよび前記ＲＯＩ情報を外部装置に送信する送信部と
　を備え、
　前記検出部は、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出した前記ＲＯＩ画像データの動き情報を検出する
　送信装置。
（２）
　前記検出部は、当該送信装置の移動に伴って前記複数の画像データの間で生じる差異および当該送信装置の移動に伴って前記複数のＲＯＩ画像データの間で生じる差異のいずれかに基づいて、前記動き情報を検出する
　（１）に記載の送信装置。
（３）
　前記動き情報に基づいて、前記画像データの撮像周期を制御する制御部を更に備えた
　（１）または（２）に記載の送信装置。
（４）
　前記制御部は、撮像タイミングが互いに異なるとともに、互いに共通の対象物が映り込む前記複数のＲＯＩ画像データに基づいて、前記対象物の移動量を算出し、
　前記検出部は、前記制御部によって算出された前記移動量の大きさに応じて、前記ＲＯＩ画像データのサイズを制御する
　（１）ないし（３）のいずれか１つに記載の送信装置。
（５）
　前記検出部は、前記ＲＯＩ指示情報を前記外部装置から受信する
　（１）ないし（４）のいずれか１つに記載の送信装置。
（６）
　前記送信部は、前記ＲＯＩ指示情報を前記外部装置から受信してから一定期間、無効なフレームを前記外部装置に送信する
　（５）に記載の送信装置。
（７）
　前記検出部は、前記動き情報に基づいて、前記ＲＯＩ画像データを追跡し、
　前記生成部は、前記検出部の追跡により検出された前記ＲＯＩ画像データから前記ＲＯＩ情報を更新する
　（１）ないし（６）のいずれか１つに記載の送信装置。
（８）
　前記生成部は、前記ＲＯＩ画像データの検出中において、前記外部装置から前回と同じＲＯＩ指示情報を受信する間は、前記ＲＯＩ画像データを更新して前記外部装置に送信し続ける
　（１）ないし（７）のいずれか１つに記載の送信装置。
（９）
　送信装置と、受信装置とを備え、
　前記送信装置は、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出されたＲＯＩ（Region Of Interest）画像データとを選択的に前記受信装置に送信する第１送信部を有し、
　前記受信装置は、
　異なる撮像タイミングにより得られた複数の前記第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、動き情報を生成する第１生成部と、
　前記第２画像データにおけるＲＯＩ情報を生成する第２生成部と、
　前記動き情報と、前記ＲＯＩ情報とを前記送信装置に送信する第２送信部と
　を有し、
　前記送信装置は、前記動き情報と、前記ＲＯＩ情報とを用いて、前記第２画像データから前記ＲＯＩ画像データを抽出する抽出部を更に有する
　通信システム。
（１０）
　前記第１生成部は、当該送信装置の移動に伴って前記複数の第１画像データの間で生じる差異に基づいて、前記動き情報を生成する
　（９）に記載の通信システム。
（１１）
　前記第１生成部は、前記第１画像データとして前記第２画像データを用いることにより、前記動き情報を生成する
　（９）または（１０）に記載の通信システム。
（１２）
　前記第２送信部は、前記動き情報に基づいて生成された、前記第１画像データの撮像周期情報を前記送信装置に送信し、
　前記送信装置は、前記受信装置から入力された前記撮像周期情報に基づいて、前記第１画像データの撮像周期を制御する制御部を更に有する
　（９）ないし（１１）のいずれか１つに記載の通信システム。
（１３）
　前記送信装置は、
　前記動き情報に基づいて、前記第１画像データの撮像周期情報を生成する第４生成部と、
　前記撮像周期情報に基づいて、前記第１画像データの撮像周期を制御する制御部と
　を更に有する
　（９）ないし（１１）のいずれか１つに記載の通信システム。
（１４）
　前記受信装置は、前記動き情報に基づいて、前記第１画像データの撮像周期情報を生成するとともに、前記第１画像データの撮像周期が前記第２画像データの撮像周期よりも長くなるように、前記第１画像データの撮像周期を生成する第３生成部を更に有する
　（１２）または（１３）に記載の送通信システム。
（１５）
　送信装置と、受信装置とを備え、
　前記送信装置は、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出されたＲＯＩ（Region Of Interest）画像データとを選択的に前記受信装置に送信する第１送信部を有し、
　前記受信装置は、
　異なる撮像タイミングにより得られた複数の前記第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、動き情報を生成する第１生成部と、
　前記動き情報を用いて、前記第２画像データにおけるＲＯＩ情報を生成する第２生成部と、
　前記ＲＯＩ情報を前記送信装置に送信する第２送信部と
　を有し、
　前記送信装置は、前記ＲＯＩ情報を用いて、前記第２画像データから前記ＲＯＩ画像データを抽出する
　通信システム。
（１６）
　前記第１生成部は、当該送信装置の移動に伴って前記複数の第１画像データの間で生じる差異に基づいて、前記動き情報を生成する
　（１５）に記載の通信システム。
（１７）
　前記第１生成部は、前記第１画像データとして前記第２画像データを用いることにより、前記動き情報を生成する
　（１５）または（１６）に記載の通信システム。
（１８）
　前記第２送信部は、前記動き情報に基づいて生成された、前記第１画像データの撮像周期情報を前記送信装置に送信し、
　前記送信装置は、前記受信装置から入力された前記撮像周期情報に基づいて、前記第１画像データの撮像周期を制御する制御部を更に有する
　（１５）ないし（１７）のいずれか１つに記載の通信システム。
（１９）
　前記受信装置は、前記動き情報に基づいて、前記第１画像データの撮像周期情報を生成するとともに、前記第１画像データの撮像周期が前記第２画像データの撮像周期よりも長くなるように、前記第１画像データの撮像周期を生成する第３生成部を更に有する
　（１８）に記載の通信システム。
（２０）
　送信装置と、受信装置とを備え、
　前記送信装置は、撮像により得られた画像データから抽出されたＲＯＩ（Region Of Interest）画像データを前記受信装置に送信する第１送信部を有し、
　前記受信装置は、
　前記画像データにおけるＲＯＩ情報を生成する生成部と、
　センサによって得られた前記送信装置の動き情報と、前記ＲＯＩ情報とを前記送信装置に送信する第２送信部と
　を有し、
　前記送信装置は、前記動き情報と、前記ＲＯＩ情報とを用いて、前記画像データから前記ＲＯＩ画像データを抽出する抽出部を更に有する
　通信システム。
（２１）
　送信装置と、受信装置とを備え、
　前記送信装置は、撮像により得られた画像データから抽出されたＲＯＩ（Region Of Interest）画像データを前記受信装置に送信する第１送信部を有し、
　前記受信装置は、
　センサによって得られた前記送信装置の動き情報を用いて、前記画像データにおけるＲＯＩ情報を生成する第２生成部と、
　前記ＲＯＩ情報を前記送信装置に送信する第２送信部と
　を有し、
　前記送信装置は、前記ＲＯＩ情報を用いて、前記画像データから前記ＲＯＩ画像データを抽出する
　通信システム。
（２２）
　画像データを受信する受信部と、
　受信した前記画像データからＲＯＩ（Region Of Interest）画像データを検出する検出部と、
　前記検出部により検出された前記ＲＯＩ画像データからＲＯＩ指示情報を生成する生成部と、
　前記ＲＯＩ指示情報を送信する送信部と
　を備え、
　前記検出部は、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出した前記ＲＯＩ画像データの動き情報を検出する
　受信装置。
（２３）
　前記検出部は、前記動き情報に基づいて、前記ＲＯＩ画像データを追跡し、
　前記生成部は、前記検出部の追跡により検出された前記ＲＯＩ画像データから前記ＲＯＩ指示情報を更新する
　（２２）に記載の受信装置。
　本開示の一実施形態に係る送信装置、本開示の一実施形態に係る第１の通信システム、本開示の一実施形態に係る第２通信システム、本開示の一実施形態に係る第３の通信システム、本開示の一実施形態に係る第４の通信システム、および本開示の一実施形態に係る受信装置によれば、送信装置が移動する場合であっても、ＲＯＩを適切に伝送することができる。
　本出願は、日本国特許庁において２０１９年７月３１日に出願された日本特許出願番号２０１９－１４１２４８号を基礎として優先権を主張するものであり、この出願のすべての内容を参照によって本出願に援用する。
　当業者であれば、設計上の要件や他の要因に応じて、種々の修正、コンビネーション、サブコンビネーション、および変更を想到し得るが、それらは添付の請求の範囲やその均等物の範囲に含まれるものであることが理解される。

Claims (23)

  1. 　ＲＯＩ（Region Of Interest）指示情報に基づいて、ＲＯＩ画像データを検出する検出部と、
    　前記検出部により検出された前記ＲＯＩ画像データからＲＯＩ情報を生成する生成部と、
    　前記ＲＯＩ画像データおよび前記ＲＯＩ情報を外部装置に送信する送信部と
    　を備え、
    　前記検出部は、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出した前記ＲＯＩ画像データの動き情報を検出する
    　送信装置。
  2. 　前記検出部は、当該送信装置の移動に伴って前記複数の画像データの間で生じる差異および当該送信装置の移動に伴って前記複数のＲＯＩ画像データの間で生じる差異のいずれかに基づいて、前記動き情報を検出する
    　請求項１に記載の送信装置。
  3. 　前記動き情報に基づいて、前記画像データの撮像周期を制御する制御部を更に備えた
    　請求項１に記載の送信装置。
  4. 　前記制御部は、撮像タイミングが互いに異なるとともに、互いに共通の対象物が映り込む前記複数のＲＯＩ画像データに基づいて、前記対象物の移動量を算出し、
    　前記検出部は、前記制御部によって算出された前記移動量の大きさに応じて、前記ＲＯＩ画像データのサイズを制御する
    　請求項１に記載の送信装置。
  5. 　前記検出部は、前記ＲＯＩ指示情報を前記外部装置から受信する
    　請求項１に記載の送信装置。
  6. 　前記送信部は、前記ＲＯＩ指示情報を前記外部装置から受信してから一定期間、無効なフレームを前記外部装置に送信する
    　請求項５に記載の送信装置。
  7. 　前記検出部は、前記動き情報に基づいて、前記ＲＯＩ画像データを追跡し、
    　前記生成部は、前記検出部の追跡により検出された前記ＲＯＩ画像データから前記ＲＯＩ情報を更新する
    　請求項１に記載の送信装置。
  8. 　前記生成部は、前記ＲＯＩ画像データの検出中において、前記外部装置から前回と同じＲＯＩ指示情報を受信する間は、前記ＲＯＩ画像データを更新して前記外部装置に送信し続ける
    　請求項１に記載の送信装置。
  9. 　送信装置と、受信装置とを備え、
    　前記送信装置は、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出されたＲＯＩ（Region Of Interest）画像データとを選択的に前記受信装置に送信する第１送信部を有し、
    　前記受信装置は、
    　異なる撮像タイミングにより得られた複数の前記第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、動き情報を生成する第１生成部と、
    　前記ＲＯＩ画像データのＲＯＩ情報を生成する第２生成部と、
    　前記動き情報と、前記ＲＯＩ情報とを前記送信装置に送信する第２送信部と
    　を有し、
    　前記送信装置は、前記動き情報と、前記ＲＯＩ情報とを用いて、前記第２画像データから前記ＲＯＩ画像データを抽出する抽出部を更に有する
    　通信システム。
  10. 　前記第１生成部は、当該送信装置の移動に伴って前記複数の第１画像データの間で生じる差異に基づいて、前記動き情報を生成する
    　請求項９に記載の通信システム。
  11. 　前記第１生成部は、前記第１画像データとして前記第２画像データを用いることにより、前記動き情報を生成する
    　請求項９に記載の通信システム。
  12. 　前記第２送信部は、前記動き情報に基づいて生成された、前記第１画像データの撮像周期情報を前記送信装置に送信し、
    　前記送信装置は、前記受信装置から入力された前記撮像周期情報に基づいて、前記第１画像データの撮像周期を制御する制御部を更に有する
    　請求項９に記載の通信システム。
  13. 　前記送信装置は、
    　前記動き情報に基づいて、前記第１画像データの撮像周期情報を生成する第４生成部と、
    　前記撮像周期情報に基づいて、前記第１画像データの撮像周期を制御する制御部と
    　を更に有する
    　請求項９に記載の通信システム。
  14. 　前記受信装置は、前記動き情報に基づいて、前記第１画像データの撮像周期情報を生成するとともに、前記第１画像データの撮像周期が前記第２画像データの撮像周期よりも長くなるように、前記第１画像データの撮像周期を生成する第３生成部を更に有する
    　請求項１２に記載の送通信システム。
  15. 　送信装置と、受信装置とを備え、
    　前記送信装置は、撮像により得られた第１画像データと、撮像により得られた第２画像データから抽出されたＲＯＩ（Region Of Interest）画像データとを選択的に前記受信装置に送信する第１送信部を有し、
    　前記受信装置は、
    　異なる撮像タイミングにより得られた複数の前記第１画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、動き情報を生成する第１生成部と、
    　前記動き情報を用いて、前記ＲＯＩ画像データのＲＯＩ情報を生成する第２生成部と、
    　前記ＲＯＩ情報を前記送信装置に送信する第２送信部と
    　を有し、
    　前記送信装置は、前記ＲＯＩ情報を用いて、前記第２画像データから前記ＲＯＩ画像データを抽出する
    　通信システム。
  16. 　前記第１生成部は、当該送信装置の移動に伴って前記複数の第１画像データの間で生じる差異に基づいて、前記動き情報を生成する
    　請求項１５に記載の通信システム。
  17. 　前記第１生成部は、前記第１画像データとして前記第２画像データを用いることにより、前記動き情報を生成する
    　請求項１５に記載の通信システム。
  18. 　前記第２送信部は、前記動き情報に基づいて生成された、前記第１画像データの撮像周期情報を前記送信装置に送信し、
    　前記送信装置は、前記受信装置から入力された前記撮像周期情報に基づいて、前記第１画像データの撮像周期を制御する制御部を更に有する
    　請求項１５に記載の通信システム。
  19. 　前記受信装置は、前記動き情報に基づいて、前記第１画像データの撮像周期情報を生成するとともに、前記第１画像データの撮像周期が前記第２画像データの撮像周期よりも長くなるように、前記第１画像データの撮像周期を生成する第３生成部を更に有する
    　請求項１８に記載の通信システム。
  20. 　送信装置と、受信装置とを備え、
    　前記送信装置は、撮像により得られた画像データから抽出されたＲＯＩ（Region Of Interest）画像データを前記受信装置に送信する第１送信部を有し、
    　前記受信装置は、
    　前記画像データにおけるＲＯＩ情報を生成する生成部と、
    　センサによって得られた前記送信装置の動き情報と、前記ＲＯＩ情報とを前記送信装置に送信する第２送信部と
    　を有し、
    　前記送信装置は、前記動き情報と、前記ＲＯＩ情報とを用いて、前記画像データから前記ＲＯＩ画像データを抽出する抽出部を更に有する
    　通信システム。
  21. 　送信装置と、受信装置とを備え、
    　前記送信装置は、撮像により得られた画像データから抽出されたＲＯＩ（Region Of Interest）画像データを前記受信装置に送信する第１送信部を有し、
    　前記受信装置は、
    　センサによって得られた前記送信装置の動き情報を用いて、前記画像データにおけるＲＯＩ情報を生成する第２生成部と、
    　前記ＲＯＩ情報を前記送信装置に送信する第２送信部と
    　を有し、
    　前記送信装置は、前記ＲＯＩ情報を用いて、前記画像データから前記ＲＯＩ画像データを抽出する
    　通信システム。
  22. 　画像データを受信する受信部と、
    　受信した前記画像データからＲＯＩ（Region Of Interest）画像データを検出する検出部と、
    　前記検出部により検出された前記ＲＯＩ画像データからＲＯＩ指示情報を生成する生成部と、
    　前記ＲＯＩ指示情報を送信する送信部と
    　を備え、
    　前記検出部は、異なる撮像タイミングにより得られた複数の画像データおよび異なる撮像タイミングにより得られた複数のＲＯＩ画像データのいずれかに基づいて、検出した前記ＲＯＩ画像データの動き情報を検出する
    　受信装置。
  23. 　前記検出部は、前記動き情報に基づいて、前記ＲＯＩ画像データを追跡し、
    　前記生成部は、前記検出部の追跡により検出された前記ＲＯＩ画像データから前記ＲＯＩ指示情報を更新する
    　請求項２２に記載の受信装置。
PCT/JP2020/028115 2019-07-31 2020-07-20 送信装置、受信装置及び通信システム WO2021020214A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP20846096.4A EP4007263A4 (en) 2019-07-31 2020-07-20 TRANSMITTING DEVICE, RECEIVING DEVICE AND COMMUNICATION SYSTEM
KR1020227001995A KR20220037445A (ko) 2019-07-31 2020-07-20 송신 장치, 수신 장치 및 통신 시스템
CN202080053495.8A CN114175664A (zh) 2019-07-31 2020-07-20 发送装置、接收装置和通信系统
JP2021536964A JPWO2021020214A1 (ja) 2019-07-31 2020-07-20
US17/625,944 US20220245828A1 (en) 2019-07-31 2020-07-20 Transmitter, receiver, and communication system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-141248 2019-07-31
JP2019141248 2019-07-31

Publications (1)

Publication Number Publication Date
WO2021020214A1 true WO2021020214A1 (ja) 2021-02-04

Family

ID=74229594

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028115 WO2021020214A1 (ja) 2019-07-31 2020-07-20 送信装置、受信装置及び通信システム

Country Status (7)

Country Link
US (1) US20220245828A1 (ja)
EP (1) EP4007263A4 (ja)
JP (1) JPWO2021020214A1 (ja)
KR (1) KR20220037445A (ja)
CN (1) CN114175664A (ja)
TW (1) TW202107892A (ja)
WO (1) WO2021020214A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003023629A (ja) * 2001-07-10 2003-01-24 Sony Corp 画像処理装置及び画像処理方法
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2014204342A (ja) * 2013-04-05 2014-10-27 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP2019091967A (ja) * 2017-11-10 2019-06-13 ソニーセミコンダクタソリューションズ株式会社 送信装置
JP2019141248A (ja) 2018-02-19 2019-08-29 ホシザキ株式会社 洗浄機

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427538B2 (en) * 2004-04-30 2013-04-23 Oncam Grandeye Multiple view and multiple object processing in wide-angle video camera
KR101384332B1 (ko) * 2012-09-06 2014-04-10 현대모비스 주식회사 차량 영상처리 장치 및 방법과 이를 이용한 차량 영상처리 시스템
US11039092B2 (en) * 2017-11-15 2021-06-15 Nvidia Corporation Sparse scanout for image sensors
CN108307113B (zh) * 2018-01-26 2020-10-09 北京图森智途科技有限公司 图像采集方法、图像采集控制方法及相关装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003023629A (ja) * 2001-07-10 2003-01-24 Sony Corp 画像処理装置及び画像処理方法
JP2012209831A (ja) 2011-03-30 2012-10-25 Panasonic Corp 画像データ制御装置
JP2013164834A (ja) 2012-01-13 2013-08-22 Sony Corp 画像処理装置および方法、並びにプログラム
JP2014039219A (ja) 2012-08-20 2014-02-27 Nippon Telegr & Teleph Corp <Ntt> 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法
JP2014204342A (ja) * 2013-04-05 2014-10-27 株式会社Ｊｖｃケンウッド 撮像装置及び撮像方法
JP2016201756A (ja) 2015-04-14 2016-12-01 ソニー株式会社 画像処理装置、画像処理方法、および画像処理システム
JP2019091967A (ja) * 2017-11-10 2019-06-13 ソニーセミコンダクタソリューションズ株式会社 送信装置
JP2019141248A (ja) 2018-02-19 2019-08-29 ホシザキ株式会社 洗浄機

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4007263A4

Also Published As

Publication number Publication date
KR20220037445A (ko) 2022-03-24
EP4007263A1 (en) 2022-06-01
US20220245828A1 (en) 2022-08-04
EP4007263A4 (en) 2022-10-19
CN114175664A (zh) 2022-03-11
JPWO2021020214A1 (ja) 2021-02-04
TW202107892A (zh) 2021-02-16

Similar Documents

Publication Publication Date Title
TWI829638B (zh) 影像傳送裝置及影像接收裝置
US7304681B2 (en) Method and apparatus for continuous focus and exposure in a digital imaging device
US20100141770A1 (en) Imaging apparatus and imaging method
US20030052987A1 (en) Image sensor based optical defect correction
TWI812609B (zh) 視訊傳輸裝置及視訊接收裝置
CN108401110B (zh) 图像的获取方法、装置、存储介质及电子设备
WO2020261816A1 (ja) 送信装置、受信装置及び伝送システム
WO2021020224A1 (ja) 送信装置、受信装置、及び通信システム
US8090149B2 (en) Image capturing device and usage method thereof
WO2021020214A1 (ja) 送信装置、受信装置及び通信システム
JP2007251532A (ja) 撮像装置及び顔領域抽出方法
US20220279110A1 (en) Imaging device, processing device, data transmission system, and data transmission method
EP3780629A1 (en) Transmission device, reception device, and communication system
WO2021199944A1 (ja) 送信装置、受信装置及び伝送システム
JP2000244796A (ja) カメラシステム
WO2021039012A1 (ja) 撮像装置、データ伝送システム、及びデータ伝送方法
JP7414733B2 (ja) 受信装置および送信装置
WO2022063060A1 (zh) 双模态信号处理系统和方法
TWI827725B (zh) 圖像處理裝置及圖像處理方法
CN116668837B (zh) 显示缩略图像的方法和电子设备
JP7193359B2 (ja) 画像処理システムおよびカメラシステム
JPH0969980A (ja) カメラ装置
JP2022095312A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20846096

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021536964

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020846096

Country of ref document: EP

Effective date: 20220228