WO2019092952A1 - 送信装置 - Google Patents
送信装置 Download PDFInfo
- Publication number
- WO2019092952A1 WO2019092952A1 PCT/JP2018/031565 JP2018031565W WO2019092952A1 WO 2019092952 A1 WO2019092952 A1 WO 2019092952A1 JP 2018031565 W JP2018031565 W JP 2018031565W WO 2019092952 A1 WO2019092952 A1 WO 2019092952A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- area
- information
- data
- image
- packet
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/167—Position within a video image, e.g. region of interest [ROI]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/96—Management of image or video recognition tasks
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
- H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
- H04N21/2356—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages by altering the spatial resolution
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/23605—Creation or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4343—Extraction or processing of packetized elementary streams [PES]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/38—Transmitter circuitry for the transmission of television signals according to analogue transmission standards
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
Definitions
- the present disclosure relates to a transmitter.
- a technology has been developed for cutting out a partial area of an image captured by an imaging device and transmitting data of the cut-out area.
- the technique of the following patent document 1 is mentioned, for example.
- the techniques described in the following Patent Documents 2 to 4 can be mentioned.
- the cut-out area is a rectangular area, and transmission of data in areas of other shapes is not particularly considered. Also in the technique of cutting out a partial region of the image described in Patent Documents 2 to 4, the cutout region is a rectangular region. Therefore, even if the existing techniques of Patent Documents 1 to 4 are used, it is difficult to transmit data of an area of an arbitrary shape set for an image.
- the present disclosure proposes a new and improved transmitter capable of transmitting data of an area of an arbitrary shape set for an image.
- area information corresponding to an area set for an image is set for each line in the image, and the set area information and area data corresponding to the area are transmitted for each line.
- the image processing unit sets the area by analyzing the image or based on area designation information acquired from the outside, and the position of the line is set in the area information.
- a transmitting apparatus is provided, which includes information indicating. And information indicating the position of a column of the area included in a row.
- data of an area of an arbitrary shape set for an image can be transmitted.
- Transmission method according to the present embodiment [1] Configuration of communication system to which transmission method according to the present embodiment can be applied [2] Application example of communication system according to the present embodiment [3] transmission according to the present embodiment Method [4] An example of the effect achieved by using the transmission method according to the present embodiment.
- the communication method between devices constituting the communication system according to the present embodiment is a communication method in accordance with the MIPI (Mobile Industry Processor Interface) and CSI-2 (Camera Serial Interface 2) standards will be described as an example.
- the communication method between devices constituting the communication system according to the present embodiment is not limited to the communication method conforming to the MIPI CSI-2 standard.
- communication between devices constituting the communication system according to the present embodiment is established in the MIPI Alliance, such as a communication method conforming to the MIPI CSI-3 standard, a communication method conforming to the MIPI DSI (Display Serial Interface), etc. It may be another standard.
- the communication method to which the transmission method according to the present embodiment is applicable is not limited to the communication method according to the standard formulated in the MIPI Alliance.
- FIG. 1 is an explanatory view showing an example of the configuration of a communication system 1000 according to the present embodiment.
- the communication system 1000 may be, for example, a communication device such as a smartphone, a drone (a device capable of performing an operation by remote control or an autonomous operation), a mobile body such as an automobile, and the like.
- the application example of the communication system 1000 is not limited to the example described above. Another application example of the communication system 1000 will be described later.
- the communication system 1000 includes, for example, an image sensor 100, a processor 200, a memory 300, and a display device 400.
- the image sensor 100 has an imaging function and a transmission function, and transmits data indicating an image generated by imaging.
- the processor 200 receives data transmitted from the image sensor 100 and processes the received data. That is, in the communication system 1000, the image sensor 100 acts as a transmitter, and the processor 200 acts as a receiver.
- FIG. 1 shows a communication system 1000 having one image sensor 100
- the number of image sensors 100 in the communication system according to the present embodiment is not limited to the example shown in FIG.
- the communication system according to the present embodiment may have two or more image sensors 100.
- FIG. 1 shows the communication system 1000 having one processor 200
- the number of processors 200 included in the communication system according to the present embodiment is not limited to the example shown in FIG.
- the communication system according to the present embodiment may have two or more processors 200.
- the image sensor 100 and the processor 200 may correspond to each other one by one, or one processor 200 may correspond to the plurality of image sensors 100. . Further, in a communication system having a plurality of image sensors 100 and a plurality of processors 200, a plurality of processors 200 may correspond to one image sensor 100.
- the image sensor 100 and the processor 200 are electrically connected by a data bus B1.
- the data bus B1 is a signal transmission path that connects the image sensor 100 and the processor 200.
- image data data representing an image transmitted from the image sensor 100 (hereinafter sometimes referred to as “image data”) is transmitted from the image sensor 100 to the processor 200 via the data bus B1.
- a signal transmitted by the data bus B1 in the communication system 1000 is transmitted by a communication method in accordance with a predetermined standard such as, for example, the MIPI CSI-2 standard.
- FIG. 2 and 3 are explanatory diagrams showing the format of a packet defined in the MIPI CSI-2 standard.
- FIG. 2 shows the format of a short packet defined in the MIPI CSI-2 standard
- FIG. 3 shows the format of a long packet defined in the MIPI CSI-2 standard. It shows.
- the long packet is data including a packet header ("PH" shown in FIG. 3), a payload ("Payload Data” shown in FIG. 3), and a packet footer ("PF" shown in FIG. 3).
- the short packet is data having the same structure as the packet header ("PH" shown in FIG. 3) as shown in FIG.
- VC Virtual Channel
- a DT (Data Type) value ("Data Type" shown in FIGS. 2 and 3) is recorded in the header portion. Therefore, as with the VC number, it is also possible to handle packets to which the same DT value is assigned as packets belonging to the same image data.
- the end of the packet is recorded in word count in Word Count of the header portion of the long packet.
- An error correcting code (Error Correcting Code) is recorded in the ECC of the header portion of the short packet and the long packet.
- a high-speed differential signal is used in a period of transmitting a data signal, and a low power signal is used in a blanking period of the data signal. Further, a period in which a high-speed differential signal is used is called a period of HPS (High Speed State), and a period in which a low power signal is used is called a period of LPS (Low Power State).
- HPS High Speed State
- LPS Low Power State
- FIG. 4 is an explanatory view showing an example of a signal waveform related to transmission of a packet in the MIPI CSI-2 standard.
- FIG. 4A shows an example of packet transmission
- FIG. 4B shows another example of packet transmission.
- ST, "ET”, “PH”, “PF”, “SP” and "PS” shown in FIG. 4 mean the following, respectively.
- ET End of Transmission
- PH Packet Header
- PF Packet Footer
- SP Short Packet
- PS Packet Spacing
- the amplitude of the differential signal between the differential signal (“LPS” shown in FIG. 4) in the period of LPS and the differential signal (other than “LPS” shown in FIG. 4) in the period of HPS are different. Therefore, from the viewpoint of improving transmission efficiency, it is desirable that the period of LPS not be included as much as possible.
- the image sensor 100 and the processor 200 are electrically connected by, for example, a control bus B2 different from the data bus B1.
- the control bus B2 is a transmission path of another signal that connects the image sensor 100 and the processor 200.
- control information output from the processor 200 is transmitted from the processor 200 to the image sensor 100 via the control bus B2.
- the control information includes, for example, information for control and a processing instruction.
- information for control for example, one or more of data indicating an image size, data indicating a frame rate, and data indicating an output delay amount from the reception of an image output command to the output of an image , And data for controlling functions in the image sensor 100.
- the control information may also include identification information indicating the image sensor 100.
- identification information arbitrary data which can specify image sensor 100, such as ID set to image sensor 100, are mentioned, for example.
- the information transmitted from the processor 200 to the image sensor 100 via the control bus B2 is not limited to the example described above.
- the processor 200 may transmit area specification information specifying an area in an image via the control bus B2.
- the area specification information may be any format that can specify an area, such as data indicating the position of a pixel included in the area (eg, coordinate data in which the position of a pixel included in the area is represented by coordinates). Data is included.
- FIG. 1 shows an example in which the image sensor 100 and the processor 200 are electrically connected by the control bus B2, the image sensor 100 and the processor 200 may not be connected by the control bus B2.
- the image sensor 100 and the processor 200 may transmit and receive control information and the like by wireless communication of any communication scheme.
- the memory 300 is a recording medium that the communication system 1000 has. Examples of the memory 300 include volatile memory such as random access memory (RAM) and non-volatile memory such as flash memory.
- RAM random access memory
- non-volatile memory such as flash memory.
- the memory 300 operates with power supplied from an internal power supply (not shown) such as a battery or the like constituting the communication system 1000 or power supplied from an external power supply of the communication system 1000.
- the memory 300 stores, for example, an image output from the image sensor 100. Recording of the image in the memory 300 is controlled by the processor 200, for example.
- the display device 400 is a display device that the communication system 1000 has.
- Examples of the display device 400 include a liquid crystal display and an organic EL display (Organic Electro-Luminescence Display. Also referred to as an OLED display (Organic Light Emitting Diode Display)).
- the display device 400 operates with power supplied from an internal power supply (not shown) such as a battery or the like constituting the communication system 1000 or power supplied from an external power supply of the communication system 1000.
- various images and screens such as an image output from the image sensor 100, a screen related to an application executed by the processor 200, a screen related to a UI (User Interface), etc. are displayed. Ru.
- the display of an image or the like on the display screen of the display device 400 is controlled by the processor 200, for example.
- Processor 200 receives data transmitted from the image sensor 100 and processes the received data. As mentioned above, the processor 200 acts as a receiver in the communication system 1000. An example of a configuration related to processing of data transmitted from the image sensor 100 (a configuration for fulfilling the role of a receiving device) will be described later.
- the processor 200 includes, for example, one or more processors including various processing circuits such as an arithmetic circuit such as a micro processing unit (MPU).
- the processor 200 operates with power supplied from an internal power supply (not shown) such as a battery or the like constituting the communication system 1000, or power supplied from an external power supply of the communication system 1000.
- the processor 200 performs various processes, such as processing related to recording control of image data on a recording medium such as the memory 300, processing related to display control of an image on a display screen of the display device 400, processing to execute arbitrary application software, Process.
- Examples of the process relating to the recording control include “a process of transmitting control data including a recording instruction and data to be recorded on the recording medium to a recording medium such as the memory 300”.
- a process of transmitting control data including a display instruction and data to be displayed on a display screen to a display device such as the display device 400” may be mentioned.
- the processor 200 may control functions in the image sensor 100 by, for example, transmitting control information to the image sensor 100.
- the processor 200 can also control data transmitted from the image sensor 100, for example, by transmitting area designation information to the image sensor 100.
- Image sensor 100 (transmitter)
- the image sensor 100 has an imaging function and a transmission function, and transmits data indicating an image generated by imaging. As described above, the image sensor 100 serves as a transmitter in the communication system 1000.
- the image sensor 100 may be, for example, an imaging device such as “digital still camera, digital video camera, stereo camera,” “infrared sensor”, “distance image sensor”, or any other method capable of generating an image. It includes an image sensor device, and has a function of transmitting a generated image. The image generated by the image sensor 100 corresponds to data indicating the sensing result of the image sensor 100. An example of the configuration of the image sensor 100 will be described later.
- the image sensor 100 transmits data (hereinafter, referred to as “area data”) corresponding to the area set for the image by a transmission method according to the present embodiment described later. Control relating to transmission of region data is performed by, for example, a component (described later) that functions as an image processing unit in the image sensor 100.
- the region set for the image may be called ROI (Region Of Interest).
- ROI Region Of Interest
- processing concerning setting of a region to an image for example, “a process of detecting an object from the image and setting a region including the detected object”, “setting a region designated by an operation on an arbitrary operation device or the like” Any process that can specify a partial area in an image (or any process that can cut out a partial area from an image) such as “process” may be mentioned.
- the process relating to the setting of the region for the image may be performed by the image sensor 100 or may be performed by an external device such as the processor 200.
- the image sensor 100 performs the process related to the setting of the area of the image
- the image sensor 100 identifies the area according to the result of the process of the setting of the area of the image.
- the image sensor 100 specifies the area based on the area designation information acquired from the external device.
- the image sensor 100 can acquire area designation information from the processor 200 via the control bus B2. Further, the processor 200 corresponds to a receiving apparatus of a transmission destination of area data transmitted by the image sensor 100 in the communication system 1000. That is, the image sensor 100 can specify the area based on the area specification information acquired from the receiving apparatus of the transmission destination of the area data.
- the image sensor 100 transmits area data, that is, transmits a part of data of the image, the amount of data related to transmission is smaller than that of transmitting the entire image. Therefore, when the image sensor 100 transmits area data, various effects can be achieved by reducing the amount of data, for example, the transmission time can be shortened, the load for transmission in the communication system 1000 can be reduced, etc. Effect is achieved.
- the image sensor 100 can also transmit data indicating the entire image.
- the image sensor 100 When the image sensor 100 has a function of transmitting area data and a function of transmitting data indicating the entire image, the image sensor 100 transmits the area data and transmits data indicating the entire image. It is possible to switch selectively.
- the image sensor 100 transmits region data or transmits data indicating the entire image, for example, according to the set operation mode.
- the setting of the operation mode is performed, for example, by an operation on any operation device.
- the image sensor 100 may selectively switch between transmitting the area data and transmitting the data indicating the entire image based on the area designation information acquired from the external device. For example, when the area designation information is acquired from the external device, the image sensor 100 transmits the area data of the area corresponding to the area designation information, and when the area designation information is not acquired from the external device, the entire image is displayed. Send the data shown.
- the communication system 1000 has, for example, the configuration shown in FIG.
- the configuration of the communication system according to the present embodiment is not limited to the example shown in FIG.
- the image sensor 100 is taken as an example of an apparatus serving as a transmitter, but an apparatus serving as a transmitter is not limited to the image sensor 100.
- the communication system according to the present embodiment is configured to have an image sensor device such as an imaging device and a transmitter electrically connected to the image sensor device, the transmitter functions as a transmitter. You may play.
- the processor 200 is exemplified as an apparatus serving as a receiving apparatus, but an apparatus serving as a receiving apparatus is not limited to the processor 200.
- any device having a function of receiving data can serve as a receiving device.
- the communication system may not have the memory 300.
- the communication system according to the present embodiment can have a configuration without the display device 400 shown in FIG.
- the communication system according to the present embodiment may have any configuration according to the function of the electronic device to which the communication system according to the present embodiment described later is applied.
- the communication system has been described above as the present embodiment, but the present embodiment is not limited to such a form.
- a communication device such as a smartphone, a drone (a device capable of remote operation or autonomous operation), a mobile such as an automobile, a computer such as a PC (Personal Computer), a tablet type
- the present invention can be applied to various electronic devices such as devices, game machines and the like.
- FIG. 5 is an explanatory view showing an example of an area set for an image.
- four regions of region 1, region 2, region 3 and region 4 are shown as an example of the region. It goes without saying that the area set for the image is not limited to the example shown in FIG.
- a row in an image means that y coordinates are the same when the position of a pixel is represented by two-dimensional plane coordinates (x, y).
- the image sensor 100 sets area information corresponding to the area set for the image for each row in the image.
- the image sensor 100 transmits the set area information and the area data corresponding to the area for each row.
- the image sensor 100 transmits the area information and the area data for each row in a predetermined order such as, for example, an ascending order or a descending order of y coordinate values. Also, the image sensor 100 may transmit the area information and the area data for each row in a random order.
- the area information according to the present embodiment is data (data group) for specifying the area set for the image on the receiving device side.
- the area information includes, for example, information indicating the position of the row, identification information of the region included in the row, information indicating the position of the column of the region included in the row, and information indicating the size of the region included in the row. included.
- the information included in the area information may vary depending on the transmission method described later.
- the second transmission scheme and the third transmission scheme described later one or both of identification information of the area included in the row and information indicating the size of the area included in the row are not included. It is also good.
- the VC numbers may serve as identification information of the areas included in the row.
- the payload length can be substituted as information indicating the size of the area included in the row in the second transmission scheme and the third transmission scheme described later.
- region information information indicating the position of the row, identification information of the region included in the row, information indicating the position of the column of the region included in the row, and information indicating the size of the region included in the row are "If it is included" as an example.
- the information indicating the position of the row for example, data indicating the y coordinate number or data indicating the y coordinate value calculated by incrementing the initial value (for example, "0" (zero)) is specified. Any data that can be raised is mentioned. Below, the information which shows the position of a line may be shown as "Y.”
- identification information of the area examples include any data that can uniquely identify the area, such as data indicating the ID of the area such as a number assigned to the area.
- identification information of the region may be indicated as “ROI ID” or “I”.
- Examples of the information indicating the position of the line of the region include any data that can specify the line, such as data indicating the number of the x coordinate.
- region may be shown as "ROI X" or "X.”
- the information indicating the size of the area may be any data that can specify the size of the area in the row, such as data indicating the number of pixels in the area in the row.
- the size of the region in the row may be indicated as “ROI length”, “ROI LEN”, or “L”.
- the area information is received by setting the information indicating the position of the row, the identification information of the area, the information indicating the position of the column of the area, and the information indicating the size of the area in the area information.
- the receiving apparatus can identify the region, locate the region, and identify the ROI length.
- specifying the area, specifying the position of the area, and specifying the ROI length, in the row it is possible to uniquely specify at which position and at which ROI length the area is set. It is.
- the communication system 1000 is configured by setting the information indicating the position of the row, the identification information of the area, the information indicating the position of the column of the area, and the information indicating the size of the area in the area information.
- the communication system 1000 is configured by setting the information indicating the position of the row, the identification information of the area, the information indicating the position of the column of the area, and the information indicating the size of the area in the area information.
- area data of a rectangular area such as area 1 of “1” and “area data of an area of any shape other than a rectangle such as area 2, 3 and 4 of FIG. 5” can do.
- the image sensor 100 may set information included in the area information as area information collectively for each area included in a row.
- the image sensor 100 sets region identification information, information indicating the position of the column of the region, and information indicating the size of the region in the region information collectively for each region included in the row.
- Setting the area information together for each area means, for example, a group of area identification information, information indicating the position of the line of the area, and information indicating the size of the area (an example of information included in the area information). It means setting to area information as data.
- the image sensor 100 sets region information for each row, the position of the row is constant even if a plurality of regions are included. Therefore, the image sensor 100 sets one piece of information indicating the position of the row in the area information. Note that the image sensor 100 collectively sets information indicating the position of the row, identification information of the region, information indicating the position of the column of the region, and information indicating the size of the region for each region included in the row. It goes without saying that is possible.
- the area information is received by setting the identification information of the area, the information indicating the position of the column of the area, and the information indicating the size of the area collectively for each area included in the row.
- the receiving apparatus can more easily identify the region, locate the region, and identify the ROI length for each region.
- by specifying the area, specifying the position of the area, and specifying the ROI length it is possible to uniquely specify which area, which position, and which ROI length are set in the row. It is possible.
- the communication system 1000 is configured such that the identification information of the region, the information indicating the position of the column of the region, and the information indicating the size of the region are collectively set for each region included in the row.
- the identification information of the region the information indicating the position of the column of the region
- the information indicating the size of the region are collectively set for each region included in the row.
- transmission of region data "and" set regions such as region 3 and region 4 in FIG. In this case, it is possible to correspond to "transmission of area data".
- the image sensor 100 overlaps the data of the overlapping portion. It may be determined whether to transmit.
- the image sensor 100 determines, for example, whether overlapping data is to be transmitted redundantly for each set of regions in which the overlapping portion exists. Then, when determining whether data of the overlapping portion is to be transmitted redundantly, the image sensor 100 causes the data of the overlapping portion to be redundantly transmitted when it is determined that the data of the overlapping portion is to be transmitted redundantly.
- overlappingly transmitting the data of the overlapping portion means, for example, “transmitting the data of the overlapping portion in the region data corresponding to each of a plurality of regions where the overlapping portion exists”.
- a specific example of overlappingly transmitting the overlapping data will be described later.
- the receiving apparatus that has received the area information and the area data can uniquely specify the area data corresponding to the area by the area information. It is possible.
- the image sensor 100 may use a header or the like that indicates a delimiter of data so that separation of the area data corresponding to each of the plurality of areas becomes easier on the receiving device side. You may add it.
- the image sensor 100 determines, for example, based on the number of columns (the number of pixels) of the row including the overlapping portion, whether to overlap and transmit data of the overlapping portion. More specifically, the image sensor 100 determines, for example, the number of columns in the case where overlapping data of overlapping portions are transmitted in a row including the overlapping portions. Then, the image sensor 100 determines that the data of the overlapping portion is to be transmitted in duplicate when the calculated number of columns is equal to or less than the set threshold (or when the calculated number of columns is smaller than the threshold). Do. In addition, when the number of columns obtained is larger than the set threshold (or when the number of columns calculated is equal to or more than the threshold), the image sensor 100 transmits overlapping data in duplicate. Do not judge.
- the threshold value related to the transmission determination of the data of the overlapping portion may be a fixed value set in advance, or may be a variable value that can be changed by control by the processor 200 via the control bus B2.
- the image sensor 100 determines whether the overlapping data is to be redundantly transmitted based on “the number of columns in the case where the overlapping data is redundantly transmitted”. It is possible to automatically switch between transmitting the data in duplicate and not transmitting the data in the overlapping portion in duplicate according to the set area.
- the image sensor 100 receives the data by overlappingly transmitting the data of the overlapping portion and not transmitting the data of the overlapping portion in an overlapping manner according to the set area. Data can be transmitted that does not exceed the processing capabilities of the device.
- the method of determining whether to transmit overlapping data is not limited to the method using the number of rows in the row including the overlapping portion.
- the image sensor 100 can also determine whether to transmit overlapping data in duplicate based on the set operation mode.
- the image sensor 100 determines that the data of the overlapping portion is to be redundantly transmitted, for example, when the operation mode is an operation mode in which the data of the overlapping portion is redundantly transmitted. Further, for example, when the image sensor 100 is an operation mode in which the data of the overlapping portion is not transmitted redundantly, the image sensor 100 does not determine to transmit the data of the overlapping portion redundantly.
- the operation mode of the image sensor 100 is set, for example, by control by the processor 200 via the control bus B2.
- the image sensor 100 may set area information as many as there exist.
- the image sensor 100 is, for example, the identification information of the region, information indicating the position of the column of the region, and information indicating the size of the region, Set to information.
- area information can be set by setting the area identification information, the information indicating the position of the area column, and the information indicating the size of the area in the area information as many as there are a plurality of identical areas in one row.
- the receiving apparatus that has received can perform identification of the region, identification of the position of the region, and identification of the ROI length for each of the plurality of identical regions.
- the communication system 1000 can cope with the transmission of the area data of the area 2 in FIG. 5 by setting the area information as many as the same area exists in one row.
- the receiving device that has received the area information can uniquely specify the area set in the row.
- the information included in the area information is not limited to the example described above.
- the region information may include other data such as data indicating the number of regions included in a row (hereinafter, may be indicated as “Num of ROI”). Specific examples of the information included in the area information will be described later.
- the amount of data of the area information can be further reduced by not transmitting the information that does not change from the information included in the area information of the row to be transmitted one before.
- the reduction of the data amount of the area information contributes to shortening of transmission time and reduction of load related to transmission in the communication system 1000.
- the image sensor 100 when setting the information indicating the position of the column of the area in the area information, the image sensor 100 sets the identification information of the area in the area information. Further, for example, when setting the information indicating the size of the area in the area information, the image sensor 100 sets the identification information of the area in the area information in the area information. That is, when one or both of the x coordinate of the region and the ROI length are changed from the content included in the region information of the row to be transmitted one before, the image sensor 100 sets the region identification information to the region information. .
- the image sensor 100 sets the identification information of the area as the area information, so that the receiving device that has received the area information corresponds to the changed content.
- the area can be uniquely identified.
- the image sensor 100 can transmit area information and area data for each row according to a predetermined order. At this time, if the line for transmitting the area information and the area data is a line according to a predetermined order, the image sensor 100 may not set information indicating the position of the line in the area information.
- the receiving apparatus follows the predetermined order, so that the area in which the received area information and the area data are included is included in which line Can be identified.
- the image sensor 100 may, for example, “a basic process shown in the above [3-1]” or “a basic process shown in the above [3-1], and the above The area information and the area data are transmitted for each line by performing the exception process shown in [3-2]. Next, a transmission method for transmitting area information and area data will be described.
- a transmission method of area information and area data for example, a first transmission method shown in (1) below, a second transmission method shown in (2) below, and a third transmission method shown in (3) below Transmission scheme.
- the image sensor 100 stores the area information and the area data in the payload of the packet and transmits them on a row-by-row basis.
- FIG. 6 is an explanatory view showing an example of data transmitted by the first transmission method according to the transmission method according to the present embodiment. 6 stores the region information and region data corresponding to region 1, region 2, region 3 and region 4 shown in FIG. 5 in the payload of the MIPI long packet shown in FIG. An example to be transmitted is shown.
- FS shown in FIG. 6 is an FS (Frame Start) packet in the MIPI CSI-2 standard
- FE FE (Frame End) packet in the MIPI CSI-2 standard (others) The same applies to the figures).
- Embedded Data shown in FIG. 6 is data that can be embedded in the header or footer of data to be transmitted. Examples of “Embedded Data” include additional information that the image sensor 100 additionally transmits. Below, Embedded Data may be shown as "EBD.”
- Examples of the additional information according to the present embodiment include one or more of information indicating the data amount of the area, information indicating the size of the area, and information indicating the priority of the area.
- the information indicating the data amount of the region is, for example, any data that can specify the data amount of the region, such as “data indicating the number of pixels included in the region (or the data amount of the region) and the data amount of the header”. Data in the form of is mentioned.
- the receiving apparatus can specify the data amount of each area. That is, by transmitting information indicating the data amount of the area as “Embedded Data” shown in FIG. 6, the receiving apparatus does not have a function of calculating the data amount of each area based on the area information. Even if there is, the amount of data in the area can be specified by the receiving device.
- the information indicating the size of the area is, for example, “data indicating a rectangular area including the area (for example, data indicating the number of pixels in the horizontal direction and the number of pixels in the vertical direction in the rectangular area)” Any form of data whose size can be identified is mentioned.
- the information indicating the priority of the area is, for example, data used in processing of data of the area.
- the priority indicated by the information indicating the priority of the region is, for example, the order in which the regions are processed, or the processing in the case where the set regions such as region 3 and region 4 in FIG. , Is used.
- the additional information according to the present embodiment is not limited to the example described above.
- various data such as exposure information indicating an exposure value or the like in the image sensor device, gain information indicating a gain in the image sensor device, and the like can be mentioned.
- the exposure value indicated by the exposure information and the gain indicated by the gain information are set in the image sensor device by control by the processor 200 via the control bus B2.
- FIG. 7 is an explanatory diagram for describing an example of Embedded Data transmitted by the first transmission method according to the transmission method according to the present embodiment.
- 7 shows an example in which information indicating the size of the area is transmitted as “Embedded Data” shown in FIG. 6, and the information indicating the size of the area to be transmitted is data indicating the smallest rectangular area including the area. Is shown. Further, FIG. 7 shows an example in which four areas of area 1, area 2, area 3 and area 4 are set as in FIG.
- the receiving apparatus By transmitting the information indicating the size of the area as “Embedded Data” shown in FIG. 6, the receiving apparatus is the smallest rectangular area including the area 1 shown in R1 in FIG. 7 and the area shown in R2 in FIG. A smallest rectangular area including two, a smallest rectangular area including area 3 illustrated in R3 of FIG. 7, and a smallest rectangular area including area 4 illustrated in R4 of FIG. 7 can be identified. That is, by transmitting information indicating the size of the area as “Embedded Data” shown in FIG. 6, the receiving apparatus has a function of specifying the smallest rectangular area including each area based on the area information. Even if not, the receiving apparatus can be made to specify the smallest rectangular area including each area based on the area information. Needless to say, the information indicating the size of the area is not limited to data indicating the smallest rectangular area including each area.
- information indicating the priority of the area for example, specify the priority of the area, such as data in which the ROI IDs are arranged in descending order of priority, or data in which the ROI IDs are arranged in ascending order of priority.
- the receiving apparatus can specify, for example, the processing order of the areas and which area should be preferentially processed. it can. That is, by transmitting information indicating the priority of the area as “Embedded Data” shown in FIG. 6, it is possible to control processing on the area in the receiving apparatus.
- Examples of the information indicating the data amount of the area, the information indicating the size of the area, and the information indicating the priority of the area transmitted as “Embedded Data” shown in FIG. 6 are limited to the examples described above. Needless to say, it is impossible.
- “PH” shown in FIG. 6 is a packet header of a long packet.
- the packet header of the long packet according to the first transmission method is data (change information) indicating whether the information included in the area information has changed from the area information included in the packet to be transmitted one before. And may function. That is, it can be said that “PH” shown in FIG. 6 is one data indicating the data type of the long packet.
- the image sensor 100 sets “PH” to “0x38” when the information included in the area information is changed from the area information included in the packet to be transmitted one before. In this case, the image sensor 100 stores the area information in the payload of the long packet.
- the image sensor 100 sets “PH” to “0x39” when the information included in the area information has not changed from the area information included in the packet to be transmitted one before. In this case, the image sensor 100 does not store the area information in the payload of the long packet. That is, when the information included in the area information does not change from the area information included in the packet to be transmitted one before, the image sensor 100 does not transmit the area information.
- “Info” shown in FIG. 6 is area information stored in the payload (the same applies to other figures). As shown in FIG. 6, the area information is stored at the beginning of the payload. Below, area
- Each of “1”, “2”, “3”, and “4” shown in FIG. 6 indicates the area data of area 1, the area data of area 2, the area data of area 3, and the area 4 stored in the payload. This corresponds to the area data of (the same applies to other figures). Although each area data is shown separately in FIG. 6, this is a representation of the break for the sake of convenience, and there is no break in the data stored in the payload (the same applies to other figures). . Below, area
- FIG. 8 is an explanatory view showing an example of the configuration of a long packet transmitted by the first transmission method according to the transmission method according to the present embodiment.
- ROI Info Type shown in FIG. 8 is data indicating a transmission format of “ROI Info Parameter”. By setting the “ROI Info Type”, the receiving apparatus that has received the region information can uniquely identify the content of the “ROI Info Parameter”.
- ROI Info Type corresponds to other data indicating a long packet data type. That is, in the long packet according to the first transmission method, two “PH” and “ROI Info Type” are defined as data types of the long packet.
- ROI Info Type is, for example, 1 [byte] data, and has the following meaning when expressed in Verilog-HDL notation. Needless to say, the “ROI Info Type” is not limited to data of 1 [byte]. ⁇ [7: 4] ... Reserved ⁇ [3] ⁇ ⁇ ⁇ “1 'b1”: Transmit Y, “1' b0”: Do not transmit Y.
- a flag indicating that both the x coordinate of the area and the ROI length have not changed from the area information included in the packet to be transmitted one before ( , “NO CHANGE flag” may be included. If it is indicated that the NO CHANGE flag has not changed (for example, if the NO CHANGE flag is 1'b1), the above [1] and the above [0] of the "ROI Info Type" may be omitted.
- the NO CHANGE flag includes, for example, the MSB (Most Significant Bit) of the ROI ID.
- the NO CHANGE flag may be data separate from the ROI ID.
- FIG. 9 is an explanatory view showing an example of data transmitted by the first transmission method according to the transmission method according to the present embodiment, and the data shown in FIG. 6 are specifically illustrated according to the configuration of the long packet shown in FIG. FIG.
- area information and area data corresponding to each of area 1, area 2, area 3 and area 4 shown in FIG. 5 are stored in the payload of the MIPI long packet as shown in FIG. 9, for example. Being sent line by line.
- the image sensor 100 may display one or more of the information indicating the data amount of the area, the information indicating the size of the area, and the information indicating the priority of the area (an example of the additional information). It is possible to transmit as "Embedded Data" shown in 6.
- the image sensor 100 determines whether to overlap and transmit data of the overlapping portion.
- the data of the overlapping portion may be transmitted redundantly according to the determination result.
- FIG. 10 is an explanatory view showing an example of data transmitted by the first transmission method according to the transmission method of the present embodiment.
- a of FIG. 10 shows an example of the case where the image sensor 100 does not transmit overlapping data in the areas 3 and 4 of FIG. 5 in an overlapping manner.
- B of FIG. 10 illustrates an example of the case where the image sensor 100 causes overlapping data of overlapping portions in the areas 3 and 4 of FIG. 5 to be transmitted.
- the part represented by symbol D in B of FIG. 10 corresponds to the data of the overlapping part in the area 3 and the area 4.
- FIG. 11 is an explanatory view showing another example of data transmitted by the first transmission method according to the transmission method according to the present embodiment.
- a frame is divided into, for example, a frame header area, a packet area, and a frame footer area.
- the frame header area contains a frame number which serves as an identifier of the frame.
- the frame header area may include the number of areas set in the image and additional information. That is, in the first transmission scheme, the additional information is not limited to being transmitted by “Embedded Data”.
- FIG. 11 shows an example in which the following information is transmitted as the additional information.
- Physical area length For example, the number of pixels of the image sensor device
- Output area length For example, the number of pixels of the image output from the image sensor device (length on the image)
- Total amount of data For example, amount of data in packet area
- Priority Priority of area Sensing information: For example, data for processing an image corresponding to an area, such as calculation content of an object included in the area
- Word length information Word length in exposure, exposure information, gain information in ADC
- the frame footer area may include data similar to the frame header area, such as additional information.
- area information and area data can be transmitted for each row, as in the example shown in FIG. 11.
- the first transmission method according to the transmission method according to the present embodiment has, for example, the following characteristics. Needless to say, the features of the first transmission method according to the transmission method according to the present embodiment are not limited to the examples shown below.
- -Send additional information by EBD and send area information corresponding to the set area by payload-Send only information corresponding to the change point among the information contained in the area information-Area of any shape Can respond to
- the area information stored and transmitted at the beginning of the payload has, for example, the following characteristics. It is needless to say that the feature of the area information related to the first transmission method is not limited to the example shown below.
- -Two long packet data types are defined for area transmission-One is used when transmitting area information (for example, data indicating "0x38") ⁇
- the other is used when the area information is the same as the area information included in the packet to be transmitted one before (for example, data indicating “0x39”) -Unlike the short packet related to the second transmission method described later, since there is no break, the parameter transmission format is transmitted.
- the first transmission scheme has, for example, the following advantages. ⁇ High transmission efficiency ⁇ Backward compatible with already defined CSI-2 standard ⁇ Can transmit arbitrary region (ROI) shape
- FIG. 12 shows the configuration of the image sensor 100 corresponding to the first transmission method according to the transmission method of the present embodiment.
- FIG. 6 is a hardware block diagram showing an example of FIG.
- the image sensor 100 includes, for example, an image sensor device 102 and an IC chip 104.
- the image sensor 100 illustrated in FIG. 12 operates with power supplied from an internal power supply (not shown) such as a battery or the like constituting the communication system 1000 or power supplied from an external power supply of the communication system 1000.
- the image sensor device 102 is, for example, an image sensor device of any method capable of generating an image, such as an “imaging device such as a digital still camera”, an “infrared sensor”, and a “distance image sensor”.
- an imaging device functioning as an image sensor device 102 is configured to include a lens / imaging element and a signal processing circuit.
- the lens / imaging device includes, for example, a lens of an optical system and an image sensor using a plurality of imaging devices such as a complementary metal oxide semiconductor (CMOS) and a charge coupled device (CCD).
- CMOS complementary metal oxide semiconductor
- CCD charge coupled device
- the signal processing circuit includes, for example, an AGC (Automatic Gain Control) circuit and an ADC (Analog to Digital Converter), and converts an analog signal generated by the imaging device into a digital signal (image data).
- the signal processing circuit performs various processes related to, for example, RAW development.
- the signal processing circuit may perform various signal processing such as white balance correction processing, color tone correction processing, gamma correction processing, YCbCr conversion processing, edge enhancement processing, and the like.
- the signal processing circuit may perform processing relating to setting of a region for an image, and transmit region designation information to the IC chip 104. Furthermore, the signal processing circuit may transmit various data such as exposure information and gain information to the IC chip 104.
- a signal indicating the image generated by the image sensor device 102 is transmitted to the IC chip 104.
- the IC chip 104 converts the analog signal into a digital signal by, for example, the included ADC and obtains the digital signal. Process the processed image data.
- image data is transmitted from the image sensor device 102 to the IC chip 104 will be described as an example.
- the IC chip 104 is an IC (Integrated Circuit) in which a circuit related to a data transmission function according to the first transmission method is integrated is formed in a chip shape, and processes image data transmitted from the image sensor device 102 And transmit data corresponding to the generated image.
- Data corresponding to an image is image data transmitted from the image sensor device 102 (that is, data indicating the entire image), or area information and area data.
- the circuit related to the data transmission function according to the first transmission scheme is not limited to being realized in the form of one IC chip, and may be formed of a plurality of IC chips.
- the IC chip 104 includes, for example, an image processing circuit 106, a LINK control circuit 108, an ECC generation circuit 110, a PH generation circuit 112, an EBD buffer 114, an image data buffer 116, a synthesis circuit 118, and a transmission circuit. And 120.
- the image processing circuit 106 is a circuit having a function of performing processing related to the transmission method according to the present embodiment.
- the image processing circuit 106 sets area information for each row in the image, and sets the set area information and the area data corresponding to the area to the LINK control circuit 108.
- the ECC generation circuit 110, the PH generation circuit 112, the EBD buffer 114, the image data buffer 116, the synthesis circuit 118, and the transmission circuit 120 transmit the data for each row according to the first transmission method.
- the image processing circuit 106 can also transmit image data (that is, data indicating the entire image) transmitted from the image sensor device 102 row by row.
- Examples of the image processing circuit 106 include a processor such as an MPU.
- the image processing circuit 106 includes, for example, a region clipping unit 122, an image processing control unit 124, and an encoding unit 126.
- the region clipping unit 122 plays a role of performing processing relating to setting of a region to an image, and sets a region (ROI) to an image represented by image data transmitted from the image sensor device 102.
- the region clipping unit 122 performs processing relating to setting of a region for an image, for example, according to the set operation mode. For example, when the operation mode is an operation mode for transmitting area data, the area clipping unit 122 performs processing relating to setting of the area for the image. In addition, when the operation mode is an operation mode for transmitting data indicating the entire image, the region clipping unit 122 does not perform processing relating to setting of the region for the image.
- the region clipping unit 122 performs an arbitrary object detection process on an image to detect an object, and sets a region including the detected object for each detected object.
- the area cutout unit 122 may set an area designated by an operation on an arbitrary operation device or the like.
- As the area set by the area clipping unit 122 for example, a rectangular area as shown in area 1 shown in FIG. 5 and an image as shown as area 2, area 3 and area 4 in FIG. 5 are set. An area of any shape other than a rectangle may be included.
- the region clipping unit 122 transmits, for example, region designation information indicating the set region to the image processing control unit 124. In addition, when the area is not set, the area clipping unit 122 does not transmit the area designation information to the image processing control unit 124.
- the region cutout unit 122 transmits the image data transmitted from the image sensor device 102 to the encoding unit 126.
- the image processing control unit 124 plays a role of performing processing related to the transmission method according to the present embodiment, sets area information for each row in an image, and sets the set area information to the encoding unit 126 and the PH generation circuit 112. Transmit to
- the image processing control unit 124 specifies the area included in each row in the image based on, for example, the area specification information acquired from the area cutout unit 122 or the area specification information (not shown) acquired from the external device. Do. Then, the image processing control unit 124 sets area information for each row based on the identified area. At this time, the image processing control unit 124 does not have to set, in the area information, information that does not change from the information included in the area information of the line to be transmitted immediately before, as shown in the exception process described above.
- the image processing control unit 124 does not set the area information.
- the process in the image processing control unit 124 is not limited to the example described above.
- the image processing control unit 124 may generate, for example, frame information and transmit the generated frame information to the LINK control circuit 108.
- the frame information includes, for example, the number of VC assigned to each frame.
- the frame information may also include data indicating a data type such as YUV data, RGB data, or RAW data.
- the image processing control unit 124 may perform processing for setting additional information, and transmit the set additional information to the EBD buffer 114.
- Examples of the process of setting the additional information include a process of generating the additional information.
- the processing for generating additional information includes, for example, processing for generating information indicating the data amount of the area, processing for generating information indicating the size of the area, and processing for generating information indicating the priority of the area. One or more may be mentioned.
- the process of setting the additional information is not limited to the process of generating the additional information.
- the image processing control unit 124 may set information acquired from the image sensor device 102 such as exposure information and gain information as additional information.
- the image processing control unit 124 adds data relating to various areas, such as data indicating the physical area length, data indicating the output area length, data indicating the image format, data indicating the total amount of data, etc. It may be set as
- the encoding unit 126 encodes, for example, the image data transmitted from the image sensor device 102 according to a predetermined method such as a method corresponding to the JPEG (Joint Photographic Experts Group) standard.
- a predetermined method such as a method corresponding to the JPEG (Joint Photographic Experts Group) standard.
- the encoding unit 126 transmits the encoded image data to the image data buffer 116.
- encoded image data that is, data indicating the entire encoded image may be referred to as “ordinary data”.
- the encoding unit 126 transmits the acquired area information and the encoded area data corresponding to the area to the image data buffer 116.
- the image processing circuit 106 performs processing relating to the transmission method according to the present embodiment, for example, by including the region clipping unit 122, the image processing control unit 124, and the encoding unit 126.
- the functional blocks of the image processing circuit 106 shown in FIG. 12 are obtained by dividing the functions of the image processing circuit 106 for the sake of convenience, and the method of separating the functions in the image processing circuit 106 is not limited to the example shown in FIG. .
- the LINK control circuit 108 transmits, for example, frame information to the ECC generation circuit 110, the PH generation circuit 112, and the combining circuit 118 row by row.
- the ECC generation circuit 110 sets an error correction code for each row.
- the ECC generation circuit 110 generates an error correction code of the row based on, for example, one row of data (for example, VC number, data type, etc.) in the frame information.
- the ECC generation circuit 110 is connected to, for example, the PH generation circuit 112, the EBD buffer 114, the image data buffer 116, and the combining circuit 118. Then, the ECC generation circuit 110 transmits the generated error correction code to each of the PH generation circuit 112, the EBD buffer 114, the image data buffer 116, and the combining circuit 118. Also, the ECC generation circuit 110 may generate an error correction code in cooperation with the PH generation circuit 112 and the like.
- the PH generation circuit 112 generates a packet header for each row using the frame information.
- the PH generation circuit 112 may generate a packet header based on the area information transmitted from the image processing circuit 106 (the image processing control unit 124 in the example of FIG. 12). Specifically, the PH generation circuit 112 indicates, based on the area information, whether or not the information contained in the “area information as described above has changed from the area information contained in the packet to be transmitted immediately before. Data "(change information) is set in the packet header.
- the EBD buffer 114 is a buffer that temporarily holds additional information transmitted from the image processing circuit 106 (the image processing control unit 124 in the example of FIG. 12).
- the EBD buffer 114 outputs the additional information as "EmbeddedData" to the combining circuit 118 at a predetermined timing. Note that “EmbeddedData” output from the EBD buffer 114 may be transmitted to the combining circuit 118 via an image data buffer 116 described later.
- the image data buffer 116 is a buffer that temporarily holds data (normal data or area information and area data) transmitted from the image processing circuit 106 (in the example of FIG. 12, the encoding unit 126).
- the image data buffer 116 outputs the held data to the combining circuit 118 for each row at a predetermined timing.
- the synthesizing circuit 118 generates a packet to be transmitted, for example, based on data acquired from each of the ECC generation circuit 110, the PH generation circuit 112, the EBD buffer 114, and the image data buffer 116.
- the transmission circuit 120 transmits the packets transmitted from the combining circuit 118, row by row, via the data bus B1 (an example of a signal transmission path; hereinafter the same applies). For example, the transmission circuit 120 transmits a packet by a high-speed differential signal as shown in FIG.
- the transmission circuit 120 sets the area information and the area data corresponding to the area as shown in FIG. Send in long packets for each row.
- the transmission circuit 120 transmits long packets in which data corresponding to each row is stored in the payload for each row. . Also in this case, the transmission circuit 120 can transmit the additional information as “EmbeddedData”.
- the image sensor 100 corresponding to the first transmission method has, for example, a hardware configuration shown in FIG. It goes without saying that the hardware configuration of the image sensor 100 corresponding to the first transmission method is not limited to the example shown in FIG.
- FIG. 13 shows an example of the configuration of the processor 200 corresponding to the first transmission method according to the transmission method of the present embodiment. It is a functional block diagram showing. In FIG. 13, only the image sensor 100 is shown together for convenience.
- the processor 200 includes, for example, a header separation unit 202, a header interpretation unit 204, a payload separation unit 206, an image processing unit 208, an operation unit 210, and a transmission unit 212.
- the header separation unit 202 separates header data corresponding to the header portion and payload data corresponding to the payload portion from the received data.
- the header separation unit 202 separates header data from the received data according to, for example, a rule defined in advance in a standard or the like. Also, the header separation unit 202 may separate payload data from received data according to, for example, a rule prescribed in advance by a standard or the like, or from data received based on the result of processing of the header interpretation unit 204. Payload data may be separated.
- the header interpreting unit 204 interprets the content indicated by the header data.
- the header interpreting unit 204 interprets that the information included in the area information has changed from the area information included in the packet to be transmitted one before. Also, in this case, the header interpreting unit 204 may interpret that the payload data includes the area information.
- the header interpreting unit 204 determines that the information included in the region information has not changed from the region information included in the packet to be transmitted one before. Interpret. Also, in this case, the header interpreting unit 204 may interpret that the payload data does not include the area information.
- the example of the process in the header interpretation part 204 is not restricted to the example shown above.
- the header interpreting unit 204 may specify the position of the payload data, and may transmit the specified position to the header separating unit 202. Also, the header interpreting unit 204 can interpret whether the payload data is “Embedded Data”.
- the payload separation unit 206 adds additional information, area information, and image data (normal data or area data; hereinafter the same applies in the description of FIG. 13) from the payload data based on the interpretation result in the header interpretation unit 204. Separate.
- the payload separation unit 206 uses the payload data as the additional information.
- the payload separating unit 206 separates the area information and the image data from the payload data. For example, as described with reference to FIG. 6, FIG. 8, and FIG. 9, the area information and the area data are stored in the payload, and the area information is stored at the beginning of the payload. Further, when normal data is transmitted from the image sensor 100, no area information is stored in the payload. Therefore, the payload separation unit 206 can separate the area information and the image data by processing the payload from the beginning.
- the image processing unit 208 processes the image data for each row based on the additional information, the area information, and the image data transmitted from the payload separation unit 206, and indicates data indicating the image corresponding to the area or the entire image. Get the data shown.
- the image processing unit 208 determines whether the data acquired via the data bus B1 is data representing an image corresponding to the area or the entire image. It may be determined whether it is data to be shown, and processing may be performed in a processing mode according to the determination result.
- the image processing unit 208 when the image processing unit 208 performs processing for an image of a certain frame for the first time (that is, when processing for the first row is performed), the data bus B1 is output. It is determined that the data acquired via the data indicates the image corresponding to the area. Then, the image processing unit 208 shifts to a processing mode for processing the area data, and obtains data indicating an image corresponding to the area based on the area information and the area data for each row.
- the image processing unit 208 when the image processing unit 208 does not transmit area information when the processing for an image of a certain frame is initially performed, the data acquired via the data bus B1 is data indicating the entire image. It is determined that Then, the image processing unit 208 shifts to a normal processing mode (a processing mode for processing normal data), and obtains data indicating the entire image based on the normal data for each row.
- a normal processing mode a processing mode for processing normal data
- the determination method of data acquired via the data bus B1 is not limited to the example described above.
- the image processing unit 208 adds information on the area (for example, one or more of the information indicating the data amount of the area, the information indicating the size of the area, and the information indicating the priority of the area).
- information on the area for example, one or more of the information indicating the data amount of the area, the information indicating the size of the area, and the information indicating the priority of the area.
- the image processing unit 208 includes, for example, a decoding unit 214 and an image generation unit 216.
- the decoding unit 214 decodes the image data, for example, in a predetermined method corresponding to the encoding in the image sensor 100. At this time, the decoding unit 214 may change the content of the process based on the additional information.
- the image generation unit 216 generates data indicating an image corresponding to the area or data indicating the entire image from the image data for each row decoded by the decoding unit 214 based on the area information.
- the image generation unit 216 determines that the image data transmitted from the decoding unit 214 is the region data when the region information is transmitted when the processing for an image of a certain frame is first performed. When it is determined that the data is area data, the image generation unit 216 divides the area data for each row into areas based on the area information.
- the region information used by the image generation unit 216 for processing may include region information corresponding to the row to be processed and region information corresponding to the row that has already been processed.
- the region information basically includes information indicating the position of the row, identification information of the region included in the row, information indicating the position of the column of the region included in the row, and the size of the region included in the row
- the image generation unit 216 can uniquely identify region data included in each row. Therefore, the image generation unit 216 can generate data indicating an image corresponding to the area set in the image of a certain frame for each area.
- the image generation unit 216 determines that the image data to be transmitted is the normal data, when the area information is not transmitted when the processing for the image of a certain frame is first performed. If it is determined that the data is normal data, the image generation unit 216 generates data indicating the entire image from the image data of each row transmitted from the decoding unit 214.
- the image processing unit 208 includes, for example, the decoding unit 214 and the image generation unit 216 to obtain data indicating an image corresponding to the area or data indicating the entire image.
- the arithmetic unit 210 performs, for example, processing based on the image data obtained by the image processing unit 208.
- Examples of the image data obtained by the image processing unit 208 include image data indicating the entire image, image data indicating the image corresponding to the area, or image data indicating the image obtained by reducing the entire image. .
- processing based on image data obtained by the image processing unit 208 for example, processing relating to control of recording of image data on a recording medium such as the memory 300, and control of display of an image on a display screen of the display device 400. Processing etc. are mentioned.
- the process in the calculating part 210 is not restricted to the example shown above.
- the computing unit 210 can perform various processing such as processing relating to setting of a region for an image.
- the computing unit 210 performs computation relating to feature point extraction, computation relating to motion extraction on image data obtained by the image processing unit 208, An area is set by performing various operations such as an operation by machine learning.
- the calculation unit 210 generates area designation information corresponding to the set area. It goes without saying that the example of the process related to the setting of the region to the image in the arithmetic unit 210 is not limited to the example shown above.
- the transmission unit 212 transmits various data (for example, image data, control information, etc.) to an external device via the control bus B2, various signal lines, and the like.
- various data for example, image data, control information, etc.
- an external device via the control bus B2, various signal lines, and the like.
- a communication device conforming to a predetermined standard such as I2C (Inter Integrated Circuits) or I3C (Improved Inter Integrated Circuits) included in the processor 200 can be mentioned.
- the communication in the transmission unit 212 is controlled by, for example, the calculation unit 210.
- recording of the image data on a recording medium such as the memory 300 and display of the image on the display screen of the display device 400 are realized by the calculation unit 210 transmitting the image data to the transmission unit 212.
- a region indicating a set region for image sensor 100 by causing operation unit 210 to cause transmission unit 212 to transmit control information including region designation information to image sensor 100 via control bus B1. Transmission of specification information is realized.
- the processor 200 includes, for example, a header separation unit 202, a header interpretation unit 204, a payload separation unit 206, an image processing unit 208, an arithmetic unit 210, and a transmission unit 212, based on data received from the image sensor 100. Data indicating an image corresponding to the area or data indicating an entire image can be obtained.
- the functional blocks of the processor 200 shown in FIG. 13 are obtained by dividing the functions of the processor 200 for the sake of convenience, and the method of separating the functions in the processor 200 is not limited to the example shown in FIG. Further, in the case where the processor 200 does not have a function of transmitting various data to the external device, the processor 200 may not have the transmitter 212.
- Second Transmission Method (2-1) Process Related to Second Transmission Method The image sensor 100 stores the area data in the payload of the first packet, and the information included in the area information is the first information. Are stored in different second packets. Then, the image sensor 100 transmits the first packet and the second packet row by row.
- the first packet according to the second transmission method may be a long packet of MIPI
- the second packet according to the second transmission method may be a short packet of MIPI.
- the examples of the first packet and the second packet according to the present embodiment are not limited to the examples shown above. Another example of the first packet and the second packet according to the present embodiment will be described in a third transmission scheme to be described later.
- the case where the first packet is a MIPI long packet and the second packet is a MIPI short packet will be described as an example.
- FIG. 14 is an explanatory view showing an example of data transmitted by the second transmission method according to the transmission method of the present embodiment.
- FIG. 14 “each of the information included in the area information corresponding to each of the area 1, the area 2, the area 3 and the area 4 shown in FIG. 5 is transmitted row by row by the MIPI short packet An example is shown.
- FIG. 14 “The area data corresponding to each of the area 1, area 2, area 3 and area 4 shown in FIG. 5 is stored in the payload of the MIPI long packet shown in FIG. An example is shown.
- “Y” shown in FIG. 14 indicates a short packet in which information indicating the position of the row is stored.
- “I1”, “I2”, “I3” and “I4” shown in FIG. 14 store identification information of the regions corresponding to region 1, region 2, region 3 and region 4 shown in FIG. It shows a short packet.
- “X1”, “X2”, “X3” and “X4” shown in FIG. 14 are information indicating the positions of the columns of the regions corresponding to region 1, region 2, region 3 and region 4 shown in FIG. Indicates a short packet to be stored.
- “L1”, “L2”, “L3” and “L4” shown in FIG. 14 store information indicating the sizes of the regions corresponding to region 1, region 2, region 3 and region 4 shown in FIG. Indicates a short packet.
- the area information and the area data are stored in the payload of one packet such as a long packet of MIPI, for example. Sent to
- the area information and the area data are stored separately in different packets, and are transmitted for each row.
- “Embedded Data” can be transmitted as in the case where the first transmission method is used. That is, the image sensor 100 shows one or two or more of the information indicating the data amount of the area, the information indicating the size of the area, and the information indicating the priority of the area (an example of the additional information). It can be sent as "Embedded Data”.
- the image sensor 100 determines whether the overlapping data is to be transmitted redundantly, as in the case where the first transmission method is used, and according to the determination result.
- the overlapping data may be transmitted redundantly.
- the second transmission method according to the transmission method of the present embodiment has, for example, the following characteristics. Needless to say, the features of the second transmission method according to the transmission method of the present embodiment are not limited to the examples shown below.
- the area information transmitted by the short packet has, for example, the following features. It is needless to say that the feature possessed by the area information related to the second transmission scheme is not limited to the example shown below.
- the second transmission scheme has, for example, the following advantages. -Error correction of area information is possible-It is backward compatible with the already prescribed CSI-2 standard-It is possible to transmit the shape of any area (ROI)
- FIG. 15 shows the configuration of the image sensor 100 corresponding to the second transmission method according to the transmission method of the present embodiment.
- FIG. 6 is a hardware block diagram showing an example of FIG.
- the image sensor 100 includes, for example, an image sensor device 102 and an IC chip 150. Similar to the image sensor 100 shown in FIG. 12, the image sensor 100 shown in FIG. 15 operates with the power supplied from the internal power supply (not shown) constituting the communication system 1000.
- the image sensor device 102 shown in FIG. 15 has the same function and configuration as the image sensor device 102 shown in FIG.
- the IC chip 150 is a chip in which an IC in which a circuit related to a data transmission function according to the second transmission method is integrated is formed in a chip shape, and is generated by processing image data transmitted from the image sensor device 102 Data corresponding to the selected image.
- the circuit related to the data transmission function according to the second transmission method is not limited to being realized in the form of one IC chip, and may be formed of a plurality of IC chips.
- the IC chip 150 includes, for example, an image processing circuit 152, a LINK control circuit 108, an ECC generation circuit 110, a PH generation circuit 154, an EBD buffer 114, an image data buffer 116, a synthesis circuit 156, and a transmission circuit. And 120.
- the LINK control circuit 108, the ECC generation circuit 110, the EBD buffer 114, the image data buffer 116, and the transmission circuit 120 shown in FIG. 15 correspond to the LINK control circuit 108, the ECC generation circuit 110, and the EBD buffer 114 shown in FIG. It has the same function and configuration as the image data buffer 116 and the transmission circuit 120.
- the image processing circuit 152 is a circuit having a function of performing processing related to the transmission method according to the present embodiment.
- the image processing circuit 152 sets area information for each row in the image, and sets the set area information and the area data corresponding to the area to the LINK control circuit 108.
- the ECC generation circuit 110, the PH generation circuit 154, the EBD buffer 114, the image data buffer 116, the synthesis circuit 156, and the transmission circuit 120 transmit the data in the second transmission scheme for each row.
- the image processing circuit 152 can also transmit image data transmitted from the image sensor device 102 (that is, data indicating the entire image) row by row.
- Examples of the image processing circuit 152 include a processor such as an MPU.
- the image processing circuit 152 includes, for example, a region clipping unit 122, an image processing control unit 124, and an encoding unit 158.
- region clipping unit 122 and the image processing control unit 124 shown in FIG. 15 are similar to those of the region clipping unit 122 and the image processing control unit 124 shown in FIG.
- the encoding unit 158 encodes the image data transmitted from the image sensor device 102 according to a predetermined method.
- the encoding unit 158 transmits the encoded image data to the image data buffer 116, as in the encoding unit 126 illustrated in FIG.
- the encoding unit 158 specifies an area based on the acquired area information, and the encoded area data corresponding to the specified area is converted to an image data buffer. Transfer to 116.
- the image processing circuit 152 performs processing relating to the transmission method according to the present embodiment by, for example, including the region clipping unit 122, the image processing control unit 124, and the encoding unit 158.
- the functional blocks of the image processing circuit 152 shown in FIG. 15 are obtained by dividing the functions of the image processing circuit 152 for the sake of convenience, and the method of separating the functions in the image processing circuit 152 is not limited to the example shown in FIG. .
- the PH generation circuit 154 generates a short packet in which each piece of information included in the area information is stored, based on the area information transmitted from the image processing circuit 152 (in the example of FIG. 15, the image processing control unit 124).
- the PH generation circuit 154 generates a packet header of a long packet for each row, using the frame information, similarly to the PH generation circuit 112 shown in FIG.
- the synthesizing circuit 156 selects “short packet in which area information is stored” and “each row based on data acquired from each of the ECC generation circuit 110, the PH generation circuit 154, the EBD buffer 114, and the image data buffer 116.
- a long packet in which the image data (normal data or area data) is stored in the payload is generated as a packet to be transmitted.
- the transmitting circuit 120 transmits the packets transmitted from the combining circuit 156 row by row via the data bus B1.
- the transmission circuit 120 stores each of the information included in the area information in the short packet as shown in FIG.
- the data is stored in the long packet payload and sent line by line.
- the transmission circuit 120 stores the data corresponding to each row in the payload as in the transmission circuit 120 shown in FIG. Send the long packets that have been sent, line by line. Also in this case, the transmission circuit 120 can transmit the additional information as "EmbeddedData", as in the transmission circuit 120 shown in FIG.
- the image sensor 100 corresponding to the second transmission method has, for example, a hardware configuration shown in FIG. It goes without saying that the hardware configuration of the image sensor 100 corresponding to the second transmission method is not limited to the example shown in FIG.
- FIG. 16 shows an example of the configuration of the processor 200 corresponding to the second transmission method according to the transmission method of this embodiment. It is a functional block diagram showing. In FIG. 16, only the image sensor 100 is shown together for convenience.
- the processor 200 transmits, for example, a packet separation unit 250, a short packet interpretation unit 252, a long packet separation unit 254, a header interpretation unit 256, a payload interpretation unit 258, an image processing unit 208, an arithmetic unit 210, and And a part 212.
- the packet separation unit 250 separates the short packet and the long packet from the received data.
- the packet separation unit 250 separates a short packet and a long packet, for example, by detecting a break of the short packet.
- the short packet interpretation unit 252 extracts various types of information constituting the area information from the short packet transmitted from the packet separation unit 250, and transmits the area information to the image processing unit 208.
- the long packet separation unit 254 separates header data corresponding to the header portion and payload data corresponding to the payload portion from the long packet transmitted from the packet separation unit 250. Do.
- the header interpreting unit 256 interprets the content indicated by the header data. For example, the header interpreting unit 256 interprets whether the payload data is "Embedded Data". Also, the header interpreting unit 256 may specify the position of the payload data, and may transmit the specified position to the long packet separation unit 254.
- the payload interpretation unit 258 extracts additional information or image data (ordinary data or area data; hereinafter the same in the description of FIG. 16) from the payload data based on the interpretation result in the header interpretation unit 256. .
- the payload interpretation unit 258 uses the payload data as the additional information.
- the payload interpretation unit 258 uses the payload data as image data.
- the image processing unit 208 shown in FIG. 16 processes the image data for each row based on the additional information, the area information, and the image data, similarly to the image processing unit 208 shown in FIG. Obtain data to indicate or indicate the entire image.
- the operation unit 210 shown in FIG. 16 performs various processes such as a process based on image data obtained by the image processing unit 208 and a process related to setting an area for an image. Do.
- the transmission unit 212 shown in FIG. 16 transmits various data (for example, image data, control information, etc.) to an external device via the control bus B2, various signal lines, etc. Do.
- the processor 200 includes, for example, a packet separation unit 250, a short packet interpretation unit 252, a long packet separation unit 254, a header interpretation unit 256, a payload interpretation unit 258, an image processing unit 208, an arithmetic unit 210, and a transmission unit 212.
- a packet separation unit 250 Based on the data received from the image sensor 100, data indicating an image corresponding to the area or data indicating an entire image can be obtained.
- the functional blocks of the processor 200 shown in FIG. 16 are obtained by dividing the functions of the processor 200 for the sake of convenience, and the method of separating the functions in the processor 200 is not limited to the example shown in FIG. Further, as in the processor 200 illustrated in FIG. 13, in the case where the processor 200 does not have a function of transmitting various data to an external device, the processor 200 may not include the transmitter 212.
- the image sensor 100 transmits the area data to the payload of the first packet. And the information contained in the area information is stored in a second packet different from the first packet. Then, the image sensor 100 transmits the first packet and the second packet row by row.
- the first packet according to the third transmission method may be a MIPI long packet
- the second packet according to the third transmission method may be a packet header. That is, in the second transmission method, for example, the area information is transmitted in the short packet of MIPI, whereas in the third transmission method, the area information is transmitted in the packet header.
- the image sensor 100 using the third transmission method can transmit the area information and the area data row by row, similarly to the image sensor 100 using the second transmission method shown in the above (2).
- the image sensor 100 using the third transmission method determines whether overlapping data is to be transmitted redundantly, similarly to the image sensor 100 using the first transmission method shown in the above (1). Depending on the determination result, overlapping data may be redundantly transmitted.
- the second packet related to the third transmission scheme is not limited to the packet header having the same structure as the packet header shown in FIG.
- the second packet according to the third transmission method has a packet header having a structure in which “Data Field” shown in FIG. 2 is expanded (for example, “Data Field” is 2 bytes to 3 bytes or more)
- the packet header may be extended to If the second packet according to the third transmission scheme is a packet header having the expanded structure, information included in the area information may be stored in one second packet.
- the area in which the information included in the area information is stored may be part of the first packet. That is, in the third transmission method, it is possible to think that the first packet and the second packet are one packet.
- the third transmission method according to the transmission method of the present embodiment has the same characteristics as the second transmission method shown in the above (2).
- the third transmission scheme has, for example, the following advantages. ⁇ High transmission efficiency ⁇ Error correction of area information is possible ⁇ The shape of arbitrary area (ROI) can be transmitted
- the image sensor 100 corresponding to the third transmission method is, for example, an image sensor 100 corresponding to the second transmission method shown in the above (2) shown in FIG.
- the same configuration (including the modification) is taken.
- the processor 200 corresponding to the third transmission method has, for example, the same configuration (including the modification) as the processor 200 corresponding to the second transmission method shown in the above (2) shown in FIG.
- -It can correspond to an area of arbitrary shape such as a rectangle, an ellipse, a donut shape etc.-Even if the areas set as area 3 and area 4 in FIG. 5 overlap, the data of the area Can be transmitted.
- the region information is stored in the payload of the packet and transmitted, so transmission of the region information does not increase the period of the LPS. Therefore, when the first transmission scheme is used, the possibility that area information affects transmission efficiency is low.
- a program for causing a computer to function as a transmission device according to the present embodiment (for example, a program that causes a computer to execute the processing according to the transmission method according to the present embodiment) is executed by a processor or the like in the computer Data of an area of an arbitrary shape set for an image can be transmitted.
- the program for causing a computer to function as a transmission device according to the present embodiment is executed by a processor or the like in the computer, thereby achieving the effects achieved by using the transmission method according to the present embodiment described above. , Can play.
- the present embodiment further includes a recording medium storing the above program. Can also be provided.
- the image processing unit is configured to set area information corresponding to an area set for an image for each line in the image, and transmit the set area information and area data corresponding to the area for each line.
- the image processing unit sets the area by analyzing the image or based on area designation information acquired from the outside.
- the transmitting device wherein the area information includes information indicating a position of a row and information indicating a position of a column of the region included in the row.
- the image processing unit When there is an overlapping portion in which a plurality of the regions overlap, it is determined whether data of the overlapping portion is to be transmitted in duplicate by the region data corresponding to each of the plurality of regions, The transmitting device according to (1) or (2), wherein when it is determined to transmit in duplicate, the data in the overlapping portion is transmitted in duplicate. (4) The transmission device according to (3), wherein the image processing unit determines whether to transmit in duplicate based on the number of columns of the row including the overlapping portion. (5) The transmission device according to (3), wherein the image processing unit determines whether to transmit in duplicate based on a set operation mode.
- the area information further includes identification information of the area included in the row, and information indicating the size of the area included in the row, according to any one of (1) to (5). Transmitter. (7) The transmission device according to any one of (1) to (6), wherein the image processing unit collectively sets information included in the area information for each area in the area information. (8) The transmission device according to (7), wherein the image processing unit sets the area information by the number of existing areas when a plurality of the same areas exist in one row. (9) The transmission according to any one of (1) to (8), wherein the image processing unit does not set, in the area information, information which does not change from the information included in the area information of the row to be transmitted one before. apparatus.
- the image processing unit When setting information indicating the position of the column of the area in the area information, identification information of the area is set in the area information; The transmitter according to (9), wherein when the information indicating the size of the area is set in the area information, identification information of the area is set in the area information. (11) The image processing unit Transmitting the area information and the area data for each row in a predetermined order; If the line for transmitting the area information and the area data is a line according to the predetermined order, information indicating the position of the line is not set in the area information, (9) or (10) The transmitter according to.
- the transmitting device according to any one of (1) to (11), wherein the image processing unit stores the area information and the area data in a payload of a packet and transmits the packet.
- the transmission device wherein the area information is stored at the beginning of the payload.
- the image processing unit further transmits, for each line, change information indicating whether or not the information contained in the area information has changed from the area information contained in the packet to be transmitted one before. Or the transmitter as described in (13).
- the transmission device according to (14), wherein the image processing unit does not transmit the area information when the information contained in the area information does not change from the area information contained in the packet to be transmitted one before.
- the image processing unit further transmits one or more of information indicating the data amount of the area, information indicating the size of the area, and information indicating the priority of the area (12).
- the transmitter according to any one of (15) to (15).
- the image processing unit Storing the region data in the payload of the first packet; Each of the information included in the area information is stored in a second packet different from the first packet, The transmitting device according to any one of (1) to (11), wherein the first packet and the second packet are transmitted row by row.
- the first packet is a MIPI long packet
- the transmitter according to (18), wherein the second packet is a MIPI short packet.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Editing Of Facsimile Originals (AREA)
- Facsimiles In General (AREA)
Abstract
画像に対して設定される領域に対応する領域情報を画像における行ごとに設定し、設定された領域情報と領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、画像処理部は、画像を解析することによって、または、外部から取得される領域指定情報に基づいて、領域を設定し、領域情報には、行の位置を示す情報、および行に含まれる領域の列の位置を示す情報が、含まれる、送信装置が、提供される。
Description
本開示は、送信装置に関する。
撮像デバイスにより撮像された画像の一部の領域を切り出し、切り出された領域のデータを伝送する技術が開発されている。上記技術としては、例えば下記の特許文献1に記載の技術が挙げられる。また、画像の一部の領域を切り出す技術としては、例えば下記の特許文献2~4に記載の技術が挙げられる。
例えば特許文献1に記載の技術が用いられる場合には、画像から一部の領域を切り出し、切り出された領域のデータを伝送することが可能である。よって、特許文献1に記載の技術を用いて切り出された領域の画像を伝送する場合には、画像全体を伝送するよりも伝送に係るデータ量が小さくなるので、伝送時間が短縮されるなどの利点がある。
しかしながら、特許文献1に記載の技術において切り出す領域は矩形の領域であり、他の形状の領域のデータを伝送することについては、特に考慮がされていない。また、特許文献2~4に記載の画像の一部の領域を切り出す技術においても、切り出す領域は矩形の領域である。そのため、特許文献1~4の既存の技術を用いたとしても、画像に対して設定される任意の形状の領域のデータを伝送することは、困難である。
本開示では、画像に対して設定される任意の形状の領域のデータを送信することが可能な、新規かつ改良された送信装置を提案する。
本開示によれば、画像に対して設定される領域に対応する領域情報を上記画像における行ごとに設定し、設定された上記領域情報と上記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、上記画像処理部は、上記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、上記領域を設定し、上記領域情報には、行の位置を示す情報、および行に含まれる上記領域の列の位置を示す情報が、含まれる、送信装置が、提供される。
本開示によれば、画像に対して設定される任意の形状の領域のデータを送信することができる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握されうる他の効果が奏されてもよい。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下では、下記に示す順序で説明を行う。
1.本実施形態に係る送信方法
[1]本実施形態に係る送信方法を適用することが可能な通信システムの構成
[2]本実施形態に係る通信システムの適用例
[3]本実施形態に係る送信方法
[4]本実施形態に係る送信方法が用いられることにより奏される効果の一例
2.本実施形態に係るプログラム
1.本実施形態に係る送信方法
[1]本実施形態に係る送信方法を適用することが可能な通信システムの構成
[2]本実施形態に係る通信システムの適用例
[3]本実施形態に係る送信方法
[4]本実施形態に係る送信方法が用いられることにより奏される効果の一例
2.本実施形態に係るプログラム
(本実施形態に係る送信方法)
[1]本実施形態に係る送信方法を適用することが可能な通信システムの構成
まず、本実施形態に係る送信方法を適用することが可能な通信システムの構成の一例を説明する。
[1]本実施形態に係る送信方法を適用することが可能な通信システムの構成
まず、本実施形態に係る送信方法を適用することが可能な通信システムの構成の一例を説明する。
以下では、本実施形態に係る通信システムを構成する装置間の通信方式が、MIPI(Mobile Industry Processor Interface) CSI-2(Camera Serial Interface 2)規格に則った通信方式である場合を例に挙げる。なお、本実施形態に係る通信システムを構成する装置間の通信方式は、MIPI CSI-2規格に則った通信方式に限られない。例えば、本実施形態に係る通信システムを構成する装置間の通信は、MIPI CSI-3規格に則った通信方式や、MIPI DSI(Display Serial Interface)に則った通信方式など、MIPIアライアンスにおいて策定された他の規格であってもよい。また、本実施形態に係る送信方法が適用可能な通信方式が、MIPIアライアンスにおいて策定された規格に係る通信方式に限られないことは、言うまでもない。
図1は、本実施形態に係る通信システム1000の構成の一例を示す説明図である。通信システム1000としては、例えば、スマートフォンなどの通信装置や、ドローン(遠隔操作による動作、または、自律的な動作が可能な機器)、自動車などの移動体などが挙げられる。なお、通信システム1000の適用例は、上記に示す例に限られない。通信システム1000の他の適用例については、後述する。
通信システム1000は、例えば、画像センサ100と、プロセッサ200と、メモリ300と、表示デバイス400とを有する。
画像センサ100は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。プロセッサ200は、画像センサ100から送信されたデータを受信し、受信されたデータを処理する。つまり、通信システム1000において、画像センサ100は送信装置の役目を果たし、プロセッサ200は受信装置の役目を果たす。
なお、図1では、1つの画像センサ100を有する通信システム1000を示しているが、本実施形態に係る通信システムが有する画像センサ100の数は、図1に示す例に限られない。例えば、本実施形態に係る通信システムは、2つ以上の画像センサ100を有していてもよい。
また、図1では、1つのプロセッサ200を有する通信システム1000を示しているが、本実施形態に係る通信システムが有するプロセッサ200の数は、図1に示す例に限られない。例えば、本実施形態に係る通信システムは、2つ以上のプロセッサ200を有していてもよい。
画像センサ100およびプロセッサ200それぞれを複数有する通信システムでは、画像センサ100とプロセッサ200とが一対一に対応していてもよいし、1つのプロセッサ200に複数の画像センサ100が対応していてもよい。また、画像センサ100およびプロセッサ200それぞれを複数有する通信システムでは、1つの画像センサ100に複数のプロセッサ200が対応していてもよい。
画像センサ100およびプロセッサ200それぞれを複数有する通信システムにおいても、図1に示す通信システム1000と同様に、画像センサ100とプロセッサ200との間で通信が行われる。
画像センサ100とプロセッサ200とは、データバスB1により電気的に接続される。データバスB1は、画像センサ100とプロセッサ200とを接続する、一の信号の伝送路である。例えば、画像センサ100から送信される画像を示すデータ(以下、「画像データ」と示す場合がある。)は、画像センサ100からプロセッサ200へとデータバスB1を介して伝送される。
通信システム1000においてデータバスB1により伝送される信号は、例えば、MIPI CSI-2規格などの所定の規格に則った通信方式で伝送される。
図2、図3は、MIPI CSI-2規格において定められるパケットのフォーマットを示す説明図である。図2は、MIPI CSI-2規格において定められているショートパケット(Short Packet)のフォーマットを示しており、図3は、MIPI CSI-2規格において定められているロングパケット(Long Packet)のフォーマットを示している。
ロングパケットは、パケットヘッダ(図3に示す“PH”)、ペイロード(図3に示す“Payload Data”)、およびパケットフッタ(図3に示す“PF”)からなるデータである。ショートパケットは、図2に示すようにパケットヘッダ(図3に示す“PH”)と同様の構造を有するデータである。
ショートパケットとロングパケットとには、いずれもヘッダ部分にVC(Virtual Channel)番号(図2、図3に示す“VC”。VC値)が記録され、パケットごとに任意のVC番号が付与されうる。同一のVC番号が付与されたパケットは、同じ画像データに属するパケットとして扱われる。
また、ショートパケットとロングパケットとには、いずれもヘッダ部分にDT(Data Type)値(図2、図3に示す“Data Type”)が記録される。そのため、VC番号と同様に、同一のDT値が付与されたパケットを、同じ画像データに属するパケットとして取り扱うことも可能である。
ロングパケットのヘッダ部分のWord Countには、パケットの終わりがワード数で記録される。ショートパケットとロングパケットとのヘッダ部分のECCには、誤り訂正符号(Error Correcting Code)が記録される。
MIPI CSI-2規格では、データ信号を伝送する期間では高速差動信号が用いられ、また、データ信号のブランキング期間では低電力信号が用いられる。また、高速差動信号が用いられる期間は、HPS(High Speed State)の期間と呼ばれ、低電力信号が用いられる期間は、LPS(Low Power State)の期間と呼ばれる。
図4は、MIPI CSI-2規格におけるパケットの送信に係る信号波形の一例を示す説明図である。図4のAは、パケットの伝送の一例を示しており、図4のBは、パケットの伝送の他の例を示している。図4に示す“ST”、“ET”、“PH”、“PF”、“SP”、“PS”は、それぞれ下記を意味する。
・ST:Start of Transmission
・ET:End of Transmission
・PH:Packet Header
・PF:Packet Footer
・SP:Short Packet
・PS:Packet Spacing
・ST:Start of Transmission
・ET:End of Transmission
・PH:Packet Header
・PF:Packet Footer
・SP:Short Packet
・PS:Packet Spacing
図4に示すように、LPSの期間における差動信号(図4に示す“LPS”)と、HPSの期間における差動信号(図4に示す“LPS”以外)とでは、差動信号の振幅が異なることが分かる。そのため、伝送効率を向上させる観点からは、できる限りLPSの期間が入らないことが望ましい。
画像センサ100とプロセッサ200とは、例えば、データバスB1とは異なる制御バスB2により電気的に接続される。制御バスB2は、画像センサ100とプロセッサ200とを接続する、他の信号の伝送路である。例えば、プロセッサ200から出力される制御情報が、プロセッサ200から画像センサ100へと制御バスB2を介して伝送される。
制御情報には、例えば、制御のための情報と処理命令とが含まれる。制御のための情報としては、例えば、画像サイズを示すデータ、フレームレートを示すデータ、画像の出力命令が受信されてから画像を出力するまでの出力遅延量を示すデータのうちの1または2以上など、画像センサ100における機能を制御するためのデータが、挙げられる。また、制御情報には、画像センサ100を示す識別情報が含まれていてもよい。識別情報としては、例えば、画像センサ100に設定されているIDなどの、画像センサ100を特定することが可能な任意のデータが挙げられる。
なお、制御バスB2を介してプロセッサ200から画像センサ100へと伝送される情報は、上記に示す例に限られない。例えば、プロセッサ200は、画像における領域を指定する領域指定情報を、制御バスB2を介して伝送してもよい。領域指定情報としては、領域に含まれる画素の位置を示すデータ(例えば、領域に含まれる画素の位置が座標で表される座標データなど)など、領域を特定することが可能な任意の形式のデータが、挙げられる。
図1では、画像センサ100とプロセッサ200とが制御バスB2により電気的に接続されている例を示しているが、画像センサ100とプロセッサ200とは、制御バスB2で接続されていなくてもよい。例えば、画像センサ100とプロセッサ200とは、任意の通信方式の無線通信によって、制御情報などを送受信してもよい。
以下、図1に示す通信システム1000を構成する各装置について、説明する。
[1-1]メモリ300
メモリ300は、通信システム1000が有する記録媒体である。メモリ300としては、例えば、RAM(Random Access Memory)などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。メモリ300は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
メモリ300は、通信システム1000が有する記録媒体である。メモリ300としては、例えば、RAM(Random Access Memory)などの揮発性メモリや、フラッシュメモリなどの不揮発性メモリなどが挙げられる。メモリ300は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
メモリ300には、例えば、画像センサ100から出力された画像が記憶される。メモリ300への画像の記録は、例えばプロセッサ200により制御される。
[1-2]表示デバイス400
表示デバイス400は、通信システム1000が有する表示デバイスである。表示デバイス400としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。表示デバイス400は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
表示デバイス400は、通信システム1000が有する表示デバイスである。表示デバイス400としては、例えば、液晶ディスプレイや有機ELディスプレイ(Organic Electro-Luminescence Display。または、OLEDディスプレイ(Organic Light Emitting Diode Display)ともよばれる。)などが挙げられる。表示デバイス400は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
表示デバイス400の表示画面には、例えば、画像センサ100から出力された画像や、プロセッサ200において実行されるアプリケーションに係る画面、UI(User Interface)に係る画面など、様々な画像や画面が表示される。表示デバイス400の表示画面への画像などの表示は、例えばプロセッサ200により制御される。
[1-3]プロセッサ200(受信装置)
プロセッサ200は、画像センサ100から送信されたデータを受信し、受信されたデータを処理する。上述したように、プロセッサ200は、通信システム1000において受信装置の役目を果たす。画像センサ100から送信されたデータの処理に係る構成(受信装置の役目を果たすための構成)の一例については、後述する。
プロセッサ200は、画像センサ100から送信されたデータを受信し、受信されたデータを処理する。上述したように、プロセッサ200は、通信システム1000において受信装置の役目を果たす。画像センサ100から送信されたデータの処理に係る構成(受信装置の役目を果たすための構成)の一例については、後述する。
プロセッサ200は、例えば、MPU(Micro Processing Unit)などの演算回路で構成される、1または2以上のプロセッサや、各種処理回路などで構成される。プロセッサ200は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
プロセッサ200は、例えば、メモリ300などの記録媒体への画像データの記録制御に係る処理、表示デバイス400の表示画面への画像の表示制御に係る処理、任意のアプリケーションソフトウェアを実行する処理など、様々な処理を行う。記録制御に係る処理としては、例えば“記録命令を含む制御データと記録媒体に記録させるデータとを、メモリ300などの記録媒体に伝達する処理”が、挙げられる。また、表示制御に係る処理としては、例えば“表示命令を含む制御データと表示画面に表示させるデータとを、表示デバイス400などの表示デバイスに伝達する処理”が、挙げられる。
また、プロセッサ200は、例えば、画像センサ100に対して制御情報を送信することによって、画像センサ100における機能を制御してもよい。プロセッサ200は、例えば、画像センサ100に対して領域指定情報を送信することによって、画像センサ100から送信されるデータを制御することも可能である。
[1-4]画像センサ100(送信装置)
画像センサ100は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。上述したように、画像センサ100は、通信システム1000において送信装置の役目を果たす。
画像センサ100は、撮像機能と送信機能とを有し、撮像により生成した画像を示すデータを送信する。上述したように、画像センサ100は、通信システム1000において送信装置の役目を果たす。
画像センサ100は、例えば、“デジタルスチルカメラやデジタルビデオカメラ、ステレオカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスを含み、生成された画像を送信する機能を有する。画像センサ100において生成される画像は、画像センサ100におけるセンシング結果を示すデータに該当する。画像センサ100の構成の一例については、後述する。
画像センサ100は、後述する本実施形態に係る送信方法により、画像に対して設定される領域に対応するデータ(以下、「領域データ」と示す。)を送信する。領域データの送信に係る制御は、例えば、画像センサ100における画像処理部として機能する構成要素(後述する)により行われる。画像に対して設定される領域は、ROI(Region Of Interest)と呼ばれる場合がある。以下では、画像に対して設定される領域を「ROI」と示す場合がある。
画像に対する領域の設定に係る処理としては、例えば、“画像から物体を検出し、検出された物体を含む領域を設定する処理”、“任意の操作デバイスに対する操作などにより指定された領域を設定する処理”など、画像における一部の領域を特定することが可能な任意の処理(または、画像から一部の領域を切り出すことが可能な任意の処理)が、挙げられる。
画像に対する領域の設定に係る処理は、画像センサ100が行ってもよいし、プロセッサ200などの外部装置において行われてもよい。画像センサ100が画像に対する領域の設定に係る処理を行う場合、画像センサ100は、画像に対する領域の設定に係る処理の結果に従って領域を特定する。また、例えば、画像に対する領域の設定に係る処理が外部装置において行われる場合、画像センサ100は、外部装置から取得される領域指定情報に基づいて、領域を特定する。
上述したように、画像センサ100は、領域指定情報を制御バスB2を介してプロセッサ200から取得することが可能である。また、プロセッサ200は、通信システム1000において、画像センサ100が送信する領域データの送信先の受信装置に該当する。つまり、画像センサ100は、領域データの送信先の受信装置から取得される領域指定情報に基づいて、領域を特定することが可能である。
画像センサ100が、領域データを送信すること、すなわち、画像の一部のデータを送信することによって、画像全体を伝送するよりも伝送に係るデータ量が小さくなる。よって、画像センサ100が、領域データを送信することによって、例えば、伝送時間が短縮される、通信システム1000における伝送に係る負荷が低減されるなど、データ量が低減されることにより奏される様々な効果が、奏される。
なお、画像センサ100は、画像全体を示すデータを送信することも可能である。
画像センサ100が、領域データを送信する機能、および画像全体を示すデータを送信する機能を有している場合、画像センサ100は、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えて行うことが可能である。
画像センサ100は、例えば、設定されている動作モードによって、領域データを送信し、または、画像全体を示すデータを送信する。動作モードの設定は、例えば、任意の操作デバイスに対する操作などにより行われる。
また、画像センサ100は、外部装置から取得される領域指定情報に基づいて、領域データを送信することと、画像全体を示すデータを送信することとを、選択的に切り替えてもよい。画像センサ100は、例えば、外部装置から領域指定情報が取得されたときに、当該領域指定情報に対応する領域の領域データを送信し、外部装置から領域指定情報が取得されないときに、画像全体を示すデータを送信する。
通信システム1000は、例えば図1に示す構成を有する。なお、本実施形態に係る通信システムの構成は、図1に示す例に限られない。
例えば、図1では、送信装置の役目を果たす装置として画像センサ100を例に挙げたが、送信装置の役目を果たす装置は、画像センサ100に限られない。例えば、本実施形態に係る通信システムが、撮像デバイスなどの画像センサデバイスと、画像センサデバイスと電気的に接続されている送信器とを有する構成である場合、当該送信器が送信装置の役目を果たしていてもよい。
また、図1では、受信装置の役目を果たす装置として、プロセッサ200を例に挙げたが、受信装置の役目を果たす装置は、プロセッサ200に限られない。例えば、本実施形態に係る通信システムでは、データを受信する機能を有する任意のデバイスが、受信装置の役目を果たすことが可能である。
また、通信システムの外部の記録媒体に画像センサ100から送信される画像が記憶される場合、画像センサ100から送信される画像がプロセッサ200が備えるメモリに記憶される場合、あるいは、画像センサ100から送信される画像が記録されない場合などには、本実施形態に係る通信システムは、メモリ300を有していなくてもよい。
また、本実施形態に係る通信システムは、図1に示す表示デバイス400を有さない構成をとることが可能である。
さらに、本実施形態に係る通信システムは、後述する本実施形態に係る通信システムが適用される電子機器が有する機能に応じた、任意の構成を有していてもよい。
[2]本実施形態に係る通信システムの適用例
以上、本実施形態として、通信システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン(遠隔操作による動作、または、自律的な動作が可能な機器)、自動車などの移動体、PC(Personal Computer)などのコンピュータ、タブレット型の装置、ゲーム機など、様々な電子機器に適用することができる。
以上、本実施形態として、通信システムを挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、スマートフォンなどの通信装置や、ドローン(遠隔操作による動作、または、自律的な動作が可能な機器)、自動車などの移動体、PC(Personal Computer)などのコンピュータ、タブレット型の装置、ゲーム機など、様々な電子機器に適用することができる。
[3]本実施形態に係る送信方法
次に、本実施形態に係る送信方法を説明する。以下では、本実施形態に係る送信方法が、図1に示す画像センサ100(本実施形態に係る送信装置)に適用される場合を、例に挙げる。画像センサ100において本実施形態に係る送信方法に係る処理は、例えば、画像処理部として機能するICチップ(後述する)により、行われる。なお、画像センサ100では、画像処理部として機能する他の構成要素によって、本実施形態に係る送信方法に係る処理が行われてもよい。
次に、本実施形態に係る送信方法を説明する。以下では、本実施形態に係る送信方法が、図1に示す画像センサ100(本実施形態に係る送信装置)に適用される場合を、例に挙げる。画像センサ100において本実施形態に係る送信方法に係る処理は、例えば、画像処理部として機能するICチップ(後述する)により、行われる。なお、画像センサ100では、画像処理部として機能する他の構成要素によって、本実施形態に係る送信方法に係る処理が行われてもよい。
図5は、画像に対して設定される領域の一例を示す説明図である。図5では、領域の例として、領域1、領域2、領域3、および領域4という4つの領域を示している。なお、画像に対して設定される領域が、図5に示す例に限られないことは、言うまでもない。
上述したように、既存の技術を用いる場合には、図5の領域1のような矩形の領域のデータを伝送することは、可能である。
しかしながら、上述したように、既存の技術を用いたとしても、図5の領域2、領域3、および領域4のような、画像に対して設定される矩形以外の任意の形状の領域のデータを伝送することは、困難である。また、既存の技術を用いたとしても、図5の領域1および領域2のような1つの行に複数の領域が設定されている場合、および図5の領域3および領域4のような設定されている領域が重なっている場合に、領域のデータを伝送することは困難である。ここで、画像における行とは、画素の位置を二次元平面座標(x,y)で表すとき、y座標が同一であることをいう。
[3-1]基本処理
そこで、画像センサ100は、画像に対して設定される領域に対応する領域情報を、画像における行ごとに設定する。
そこで、画像センサ100は、画像に対して設定される領域に対応する領域情報を、画像における行ごとに設定する。
そして、画像センサ100は、設定された領域情報と、領域に対応する領域データとを、行ごとに送信させる。画像センサ100は、例えばy座標の値の昇順または降順など、所定の順序に従って、行ごとの領域情報と領域データとを送信させる。また、画像センサ100は、ランダムな順序で、行ごとの領域情報と領域データとを送信させてもよい。
本実施形態に係る領域情報とは、画像に対して設定される領域を、受信装置側で特定するためのデータ(データ群)である。領域情報には、例えば、行の位置を示す情報、行に含まれる領域の識別情報、行に含まれる領域の列の位置を示す情報、および行に含まれる領域の大きさを示す情報が、含まれる。
なお、領域情報に含まれる情報は、後述する送信方式によって変わりうる。例えば、後述する第2の送信方式および第3の送信方式では、行に含まれる領域の識別情報と、行に含まれる領域の大きさを示す情報との一方または双方が、含まれていなくてもよい。例えば、VC番号で領域が分けられる場合、後述する第2の送信方式および第3の送信方式では、VC番号が、行に含まれる領域の識別情報の役目を果たしてもよい。また、VC番号で領域が分けられる場合、後述する第2の送信方式および第3の送信方式では、ペイロード長を、行に含まれる領域の大きさを示す情報として代用することが可能である。以下では、“領域情報に、行の位置を示す情報、行に含まれる領域の識別情報、行に含まれる領域の列の位置を示す情報、および行に含まれる領域の大きさを示す情報が、含まれる場合”を例に挙げる。
行の位置を示す情報としては、例えば、y座標の番号を示すデータや、初期値(例えば“0”(ゼロ))がインクリメントされて算出されるy座標の値を示すデータなど、行を特定することが可能な任意のデータが、挙げられる。以下では、行の位置を示す情報を「Y」と示す場合がある。
領域の識別情報としては、例えば、領域に付された番号などの領域のIDを示すデータなど、領域を一意に特定することが可能な任意のデータが、挙げられる。以下では、領域の識別情報を、「ROI ID」または「I」と示す場合がある。
領域の列の位置を示す情報としては、例えば、x座標の番号を示すデータなど、列を特定することが可能な任意のデータが、挙げられる。以下では、領域の列の位置を示す情報を、「ROI X」または「X」と示す場合がある。
領域の大きさを示す情報としては、行における領域の画素数を示すデータなど、行における領域の大きさを特定することが可能な任意のデータが、挙げられる。以下では、行における領域の大きさを、「ROI長」、「ROI LEN」、あるいは「L」と示す場合がある。
例えば上記のように、行の位置を示す情報、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、領域情報に設定されることによって、領域情報を受信した受信装置は、領域の特定、領域の位置の特定、およびROI長の特定を行うことができる。また、領域の特定、領域の位置の特定、およびROI長の特定が行われることによって、行において、領域が、どの位置に、どのROI長で設定されているかを、一意に特定することが可能である。
よって、行の位置を示す情報、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、領域情報に設定されることによって、通信システム1000は、“図5の領域1のような、矩形の領域の領域データ”、および“図5の領域2、領域3、および領域4のような、矩形以外の任意の形状の領域の領域データ”それぞれの伝送に対応することができる。
また、画像センサ100は、領域情報に含まれる情報を、行に含まれる領域ごとにまとめて領域情報に設定してもよい。画像センサ100は、例えば、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報を、行に含まれる領域ごとにまとめて領域情報に設定する。領域ごとにまとめて領域情報に設定するとは、例えば、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報(領域情報に含まれる情報の一例)を、一群のデータとして領域情報に設定することをいう。
ここで、画像センサ100は、行ごとに領域情報を設定するので、複数の領域が含まれていたとしても、行の位置は一定である。よって、画像センサ100は、行の位置を示す情報を領域情報に1つ設定する。なお、画像センサ100が、行の位置を示す情報、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報を、行に含まれる領域ごとにまとめて設定することが可能であることは、言うまでもない。
例えば上記のように、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、行に含まれる領域ごとにまとめて設定されることによって、領域情報を受信した受信装置は、領域の特定、領域の位置の特定、およびROI長の特定を、領域ごとに、より容易に行うことができる。また、領域の特定、領域の位置の特定、およびROI長の特定が行われることによって、行において、どの領域が、どの位置に、どのROI長で設定されているかを、一意に特定することが可能である。
よって、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が、行に含まれる領域ごとにまとめて設定されることによって、通信システム1000は、“図5の領域1および領域2のような1つの行に複数の領域が設定されている場合における、領域データの伝送”、および“図5の領域3および領域4のような設定されている領域が重なっている場合における、領域データの伝送”に、対応することができる。
また、図5の領域3および領域4のように設定されている領域が重なっている場合、すなわち、複数の領域が重なる重なり部分が存在する場合、画像センサ100は、重なり部分のデータを重複して送信させるかを判定してもよい。画像センサ100は、例えば重なり部分が存在する領域の組ごとに、重なり部分のデータを重複して送信させるかを判定する。そして、重なり部分のデータを重複して送信させるかを判定するときには、画像センサ100は、重なり部分のデータを重複して送信させると判定した場合に、重なり部分のデータを重複して送信させる。
ここで、重なり部分のデータを重複して送信させるとは、例えば、“重なり部分のデータを、重なり部分が存在する複数の領域それぞれに対応する領域データに含めて送信させること”をいう。重なり部分のデータを重複して送信させる具体例については、後述する。
画像センサ100が、重なり部分のデータを重複して送信させる場合であっても、領域情報および領域データを受信した受信装置は、領域情報によって、領域に対応する領域データを一意に特定することが可能である。また、重なり部分のデータを重複して送信させる場合、画像センサ100は、受信装置側で複数の領域それぞれに対応する領域データの分離がより容易となるように、データの区切りを示すヘッダなどを追加してもよい。
重なり部分のデータが重複して送信されることによって、“プロセッサ200などの領域データを受信した受信装置において、受信された領域データを用いた処理がより行い易くなるという利点”が、ある。
画像センサ100は、例えば、重なり部分を含む行の列数(画素数)に基づいて、重なり部分のデータを重複して送信させるかを判定する。より具体的には、画像センサ100は、例えば、重なり部分を含む行において重なり部分のデータを重複して送信させる場合における列数を、求める。そして、画像センサ100は、求められた列数が設定されている閾値以下の場合(または、求められた列数が当該閾値より小さい場合)に、重なり部分のデータを重複して送信させると判定する。また、画像センサ100は、求められた列数が設定されている閾値よりも大きい場合(または、求められた列数が当該閾値以上の場合)に、重なり部分のデータを重複して送信させると判定しない。上記重なり部分のデータの送信判定に係る閾値は、予め設定されている固定値であってもよいし、制御バスB2を介したプロセッサ200による制御などによって変更可能な可変値であってもよい。
例えば上記のように、“重なり部分のデータを重複して送信させる場合における列数”に基づき重なり部分のデータを重複して送信させるかが判定されることによって、画像センサ100は、重なり部分のデータを重複して送信することと、重なり部分のデータを重複して送信しないこととを、設定される領域に応じて自動的に切り替えることができる。また、重なり部分のデータを重複して送信することと、重なり部分のデータを重複して送信しないこととが、設定される領域に応じて自動的に切り替えられることによって、画像センサ100は、受信装置の処理能力を超えないデータを送信することができる。
なお、重なり部分のデータを重複して送信させるかを判定する方法は、重なり部分を含む行の列数を用いる方法に限られない。
例えば、画像センサ100は、設定されている動作モードに基づいて、重なり部分のデータを重複して送信させるかを判定することも可能である。画像センサ100は、例えば、画像センサ100は、動作モードが重なり部分のデータを重複して送信する動作モードである場合に、重なり部分のデータを重複して送信させると判定する。また、画像センサ100は、例えば、画像センサ100は、動作モードが重なり部分のデータを重複して送信しない動作モードである場合には、重なり部分のデータを重複して送信させると判定しない。画像センサ100における動作モードは、例えば制御バスB2を介したプロセッサ200による制御などによって設定される。
また、例えば図5の領域2に示すように、設定される領域によっては、1つの行に同一の領域が複数存在しうる。そこで、画像センサ100は、1つの行に同一の領域が複数存在する場合、存在する数分、領域情報を設定してもよい。1つの行に同一の領域が複数存在する場合、画像センサ100は、例えば、存在する数分、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報を、領域情報に設定する。
例えば、1つの行に同一の領域が複数存在する数分、領域の識別情報、領域の列の位置を示す情報、および領域の大きさを示す情報が領域情報に設定されることによって、領域情報を受信した受信装置は、領域の特定、領域の位置の特定、およびROI長の特定を、複数存在する同一の領域ごとに行うことができる。
よって、1つの行に同一の領域が複数存在する数分、領域情報が設定されることによって、通信システム1000は、図5の領域2の領域データの伝送に対応することができる。
したがって、例えば上記のような各種情報が含まれる領域情報が行ごとに設定されることによって、領域情報を受信した受信装置は、行に設定されている領域を一意に特定することができる。
なお、領域情報に含まれる情報は、上記に示す例に限られない。例えば、領域情報には、行に含まれる領域数を示すデータ(以下、「Num of ROI」と示す場合がある。)など、他のデータが含まれていてもよい。領域情報に含まれる情報の具体例については、後述する。
[3-2]例外処理
なお、本実施形態に係る送信方法に係る処理は、上記基本処理に限られない。
なお、本実施形態に係る送信方法に係る処理は、上記基本処理に限られない。
(a)例外処理の第1の例
例えば、画像センサ100は、領域情報に含まれる情報のうち、1つ前に送信させる行の領域情報に含まれる情報から変化しない情報は、領域情報に設定しなくてもよい。つまり、画像センサ100は、1つ前に領域情報を送信させる行から変化した情報を含む領域情報を、送信させる。
例えば、画像センサ100は、領域情報に含まれる情報のうち、1つ前に送信させる行の領域情報に含まれる情報から変化しない情報は、領域情報に設定しなくてもよい。つまり、画像センサ100は、1つ前に領域情報を送信させる行から変化した情報を含む領域情報を、送信させる。
上記のように、1つ前に送信させる行の領域情報に含まれる情報から変化しない情報が送信されないことによって、領域情報のデータ量をより低減させることができる。領域情報のデータ量が低減することは、伝送時間の短縮や、通信システム1000における伝送に係る負荷の低減に寄与する。
なお、1つ前に送信させる行の領域情報に含まれる情報から変化しない情報であっても、他の情報の変化に伴い領域情報に設定される情報があってもよい。
例えば、画像センサ100は、領域の列の位置を示す情報を領域情報に設定するときには、領域情報に領域の識別情報を設定する。また、例えば、画像センサ100は、領域の大きさを示す情報を領域情報に設定するときには、領域情報に領域の識別情報を領域情報に設定する。つまり、領域のx座標およびROI長の一方または双方が、1つ前に送信させる行の領域情報に含まれる内容から変更される場合、画像センサ100は、領域の識別情報を領域情報に設定する。
領域のx座標およびROI長の一方または双方が変更される場合に、画像センサ100が、領域の識別情報を領域情報に設定することによって、領域情報を受信した受信装置は、変更内容に対応する領域を一意に特定することができる。
(b)例外処理の第2の例
上述したように、画像センサ100は、所定の順序に従って行ごとの領域情報と領域データとを、送信させることが可能である。このとき、領域情報と領域データとを送信させる行が、所定の順序に従った行である場合には、画像センサ100は、領域情報に行の位置を示す情報を設定しなくてもよい。
上述したように、画像センサ100は、所定の順序に従って行ごとの領域情報と領域データとを、送信させることが可能である。このとき、領域情報と領域データとを送信させる行が、所定の順序に従った行である場合には、画像センサ100は、領域情報に行の位置を示す情報を設定しなくてもよい。
画像センサ100が、領域情報に行の位置を示す情報を設定しない場合であっても、受信装置は、所定の順序に従うことによって、受信された領域情報および領域データが、どの行に含まれる領域のデータであるのかを、特定することができる。
[3-3]領域情報と領域データとの送信方式
画像センサ100は、例えば、“上記[3-1]に示す基本処理”、または、“上記[3-1]に示す基本処理、および上記[3-2]に示す例外処理”を行うことによって、領域情報と領域データとを行ごとに送信する。次に、領域情報と領域データとを送信する送信方式について、説明する。
画像センサ100は、例えば、“上記[3-1]に示す基本処理”、または、“上記[3-1]に示す基本処理、および上記[3-2]に示す例外処理”を行うことによって、領域情報と領域データとを行ごとに送信する。次に、領域情報と領域データとを送信する送信方式について、説明する。
領域情報と領域データとの送信方式としては、例えば、下記の(1)に示す第1の送信方式、下記の(2)に示す第2の送信方式、および下記の(3)に示す第3の送信方式が挙げられる。
(1)第1の送信方式
(1-1)第1の送信方式に係る処理
画像センサ100は、領域情報と領域データとを、パケットのペイロードに格納して、行ごとに送信させる。
(1-1)第1の送信方式に係る処理
画像センサ100は、領域情報と領域データとを、パケットのペイロードに格納して、行ごとに送信させる。
図6は、本実施形態に係る送信方法に係る第1の送信方式により送信されるデータの一例を示す説明図である。図6は、“図5に示す領域1、領域2、領域3、および領域4それぞれに対応する領域情報および領域データが、図3に示すMIPIのロングパケットのペイロードに格納して、行ごとに送信される例”を示している。
図6に示す“FS”は、MIPI CSI-2規格におけるFS(Frame Start)パケットであり、図6に示す“FE”は、MIPI CSI-2規格におけるFE(Frame End)パケットである(他の図においても同様である)。
図6に示す“Embedded Data”は、送信されるデータのヘッダ、または、フッタに埋め込むことの可能なデータである。“Embedded Data”としては、例えば、画像センサ100が付加的に送信する付加情報が挙げられる。以下では、Embedded Dataを「EBD」と示す場合がある。
本実施形態に係る付加情報としては、例えば、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの、1または2以上が、挙げられる。
領域のデータ量を示す情報としては、例えば“領域に含まれる画素数(または領域のデータ量)と、ヘッダのデータ量とを示すデータ”など、領域のデータ量を特定することが可能な任意の形式のデータが、挙げられる。図6に示す“Embedded Data”として領域のデータ量を示す情報が送信されることによって、受信装置は、各領域のデータ量を特定することができる。つまり、図6に示す“Embedded Data”として領域のデータ量を示す情報が送信されることによって、受信装置が、領域情報に基づいて各領域のデータ量を算出する機能を有していない場合であっても、受信装置に領域のデータ量を特定させることができる。
領域の大きさを示す情報としては、例えば“領域を含む矩形の領域を示すデータ(例えば、当該矩形の領域における、水平方向の画素数および垂直方向の画素数を示すデータ)”など、領域の大きさを特定することが可能な任意の形式のデータが、挙げられる。
領域の優先度を示す情報は、例えば、領域のデータの処理において用いられるデータである。一例を挙げると、領域の優先度を示す情報が示す優先度は、領域を処理する順序や、図5の領域3および領域4のような設定されている領域が重なっている場合における処理などに、利用される。
なお、本実施形態に係る付加情報は、上記に示す例に限られない。例えば、本実施形態に係る付加情報としては、画像センサデバイスにおける露出値などを示す露光情報、画像センサデバイスにおけるゲインを示すゲイン情報などの、様々なデータが、挙げられる。露光情報が示す露光値、およびゲイン情報が示すゲインそれぞれは、制御バスB2を介したプロセッサ200による制御によって画像センサデバイスに設定される。
図7は、本実施形態に係る送信方法に係る第1の送信方式により送信されるEmbedded Dataの一例を説明するための説明図である。図7は、図6に示す“Embedded Data”として領域の大きさを示す情報が送信され、送信される領域の大きさを示す情報が、領域を含む最小の矩形の領域を示すデータである例を、示している。また、図7は、図5と同様に、領域1、領域2、領域3、および領域4という4つの領域が設定されている例を示している。
図6に示す“Embedded Data”として領域の大きさを示す情報が送信されることによって、受信装置は、図7のR1に示す領域1を含む最小の矩形の領域、図7のR2に示す領域2を含む最小の矩形の領域、図7のR3に示す領域3を含む最小の矩形の領域、および図7のR4に示す領域4を含む最小の矩形の領域を、特定することができる。つまり、図6に示す“Embedded Data”として領域の大きさを示す情報が送信されることによって、受信装置が、領域情報に基づいて各領域を含む最小の矩形の領域を特定する機能を有していない場合であっても、受信装置に、領域情報に基づいて各領域を含む最小の矩形の領域を特定させることができる。なお、領域の大きさを示す情報が、各領域を含む最小の矩形の領域を示すデータに限られないことは、言うまでもない。
領域の優先度を示す情報としては、例えば、優先度が高い順にROI IDが並べられているデータや、優先度が低い順にROI IDが並べられているデータなど、領域の優先度を特定することが可能な任意の形式のデータが、挙げられる。図6に示す“Embedded Data”として領域の優先度を示す情報が送信されることによって、受信装置は、例えば、領域の処理順序や、どの領域を優先的に処理するかを、特定することができる。つまり、図6に示す“Embedded Data”として領域の優先度を示す情報が送信されることによって、受信装置における領域に対する処理を制御することができる。
なお、図6に示す“Embedded Data”として送信される、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報それぞれの例が、上記に示す例に限られないことは、言うまでもない。
図6に示す“PH”は、ロングパケットのパケットヘッダである。ここで、第1の送信方式に係るロングパケットのパケットヘッダは、領域情報に含まれる情報が1つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ(変化情報)として、機能してもよい。つまり、図6に示す“PH”は、ロングパケットのデータタイプを示す一のデータであるといえる。
一例を挙げると、画像センサ100は、領域情報に含まれる情報が1つ前に送信させるパケットに含まれる領域情報から変化している場合、“PH”に“0x38”を設定する。この場合、画像センサ100は、領域情報をロングパケットのペイロードに格納する。
他の例を挙げると、画像センサ100は、領域情報に含まれる情報が1つ前に送信させるパケットに含まれる領域情報から変化していない場合、“PH”に“0x39”を設定する。この場合、画像センサ100は、領域情報をロングパケットのペイロードに格納しない。つまり、領域情報に含まれる情報が1つ前に送信させるパケットに含まれる領域情報から変化していない場合、画像センサ100は、領域情報を送信させない。
なお、“PH”に設定されるデータが、上記に示す例に限られないことは、言うまでもない。
図6に示す“Info”は、ペイロードに格納される領域情報である(他の図においても同様である)。図6に示すように、領域情報は、ペイロードの先頭部分に格納される。以下では、領域情報を「ROI Info」と示す場合がある。
図6に示す“1”、“2”、“3”、および“4”それぞれは、ペイロードに格納される、領域1の領域データ、領域2の領域データ、領域3の領域データ、および領域4の領域データに該当する(他の図においても同様である)。なお、図6では、各領域データが区切られて示されているが、これは便宜上区切りを表したものであり、ペイロードに格納されるデータに区切りはない(他の図においても同様である)。以下では、領域データを「ROI DATA」と示す場合がある。
図8は、本実施形態に係る送信方法に係る第1の送信方式により送信されるロングパケットの構成の一例を示す説明図である。
図8に示す“ROI Info Type”は、“ROI Info Parameter”の伝送形式を示すデータである。“ROI Info Type”が設定されることによって、領域情報を受信した受信装置は、“ROI Info Parameter”の内容を一意に特定することが可能となる。
また、“ROI Info Type”は、ロングパケットのデータタイプを示す他のデータに該当する。つまり、第1の送信方式に係るロングパケットでは、“PH”および“ROI Info Type”という2つが、ロングパケットのデータタイプとして定義される。
“ROI Info Type”は、例えば1[byte]のデータであり、Verilog-HDL表記で表すと下記のような意味をもつ。なお、“ROI Info Type”が1[byte]のデータに限られないことは、言うまでもない。
・ [7:4]・・・Reserved
・[3]・・・「1’b1」:Yを伝送する,「1’b0」:Yを伝送しない
・[2]・・・「1’b1」:ROI IDを伝送する,「1’b0」:ROI IDを伝送しない
・[1]・・・「1’b1」:Xを伝送する,「1’b0」:Xを伝送しない
・[0]・・・「1’b1」:ROI長を伝送する,「1’b0」:ROI長を伝送しない
・ [7:4]・・・Reserved
・[3]・・・「1’b1」:Yを伝送する,「1’b0」:Yを伝送しない
・[2]・・・「1’b1」:ROI IDを伝送する,「1’b0」:ROI IDを伝送しない
・[1]・・・「1’b1」:Xを伝送する,「1’b0」:Xを伝送しない
・[0]・・・「1’b1」:ROI長を伝送する,「1’b0」:ROI長を伝送しない
また、図8に示す“ROI Info Parameter”には、“ROI Info Type”に応じたデータが格納される。
なお、第1の送信方式に係る領域情報には、例えば、領域のx座標およびROI長の双方が、1つ前に送信させるパケットに含まれる領域情報から変化していないことを示すフラグ(以下、「NO CHANGEフラグ」と示す。)が、含まれていてもよい。NO CHANGEフラグが変化していないことを示す場合(例えば、NO CHANGEフラグが1’b1の場合)、“ROI Info Type”の上記[1]および上記[0]は、省略されてもよい。
NO CHANGEフラグとしては、例えば、ROI IDのMSB(Most Significant Bit)が挙げられる。なお、NO CHANGEフラグは、ROI IDとは別体のデータであってもよい。
図9は、本実施形態に係る送信方法に係る第1の送信方式により送信されるデータの一例を示す説明図であり、図8に示すロングパケットの構成に従って図6に示すデータを具体的に示した図である。
第1の送信方式では、図5に示す領域1、領域2、領域3、および領域4それぞれに対応する領域情報および領域データは、例えば図9に示すように、MIPIのロングパケットのペイロードに格納されて、行ごとに送信される。
上述したように、画像センサ100は、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの1または2以上(付加情報の一例)を、図6に示す“Embedded Data”として送信することが可能である。
また、上述したように、図5の領域3および領域4のような複数の領域が重なる重なり部分が存在する場合、画像センサ100は、重なり部分のデータを重複して送信させるかを判定して、判定結果に応じて重なり部分のデータを重複して送信させてもよい。
図10は、本実施形態に係る送信方法に係る第1の送信方式により送信されるデータの一例を示す説明図である。図10のAは、画像センサ100が、図5の領域3および領域4における重なり部分のデータを重複して送信させない場合の一例を示している。また、図10のBは、画像センサ100が、図5の領域3および領域4における重なり部分のデータを重複して送信させる場合の一例を示している。図10のBにおいて符号Dで表される部分が、領域3および領域4における重なり部分のデータに該当する。
なお、第1の送信方式により送信されるデータの例は、図6に示す例に限られない。図11は、本実施形態に係る送信方法に係る第1の送信方式により送信されるデータの他の例を示す説明図である。
フレームは、例えば、フレームヘッダ領域と、パケット領域と、フレームフッタ領域とに分けられる。
フレームヘッダ領域には、フレームの識別子の役目を果たすフレーム番号が含まれる。また、フレームヘッダ領域には、画像に設定される領域数と、付加情報とが含まれていてもよい。つまり、第1の送信方式では、付加情報は、“Embedded Data”で送信されることに限られない。図11では、付加情報として下記の情報が送信される例を示している。
・物理領域長さ:例えば、画像センサデバイスの画素数
・出力領域長さ:例えば、画像センサデバイスから出力される画像の画素数(画像上の長さ)
・総データ量:例えば、パケット領域のデータ量
・優先度:領域の優先度
・センシング情報:例えば、領域に含まれる物体についての演算内容など、領域に対応する画像を処理するためのデータ
・AD語長の情報:ADCにおける語長
・露光情報
・ゲイン情報
・物理領域長さ:例えば、画像センサデバイスの画素数
・出力領域長さ:例えば、画像センサデバイスから出力される画像の画素数(画像上の長さ)
・総データ量:例えば、パケット領域のデータ量
・優先度:領域の優先度
・センシング情報:例えば、領域に含まれる物体についての演算内容など、領域に対応する画像を処理するためのデータ
・AD語長の情報:ADCにおける語長
・露光情報
・ゲイン情報
パケット領域では、図6と同様に、領域情報および領域データが行ごとに送信される。
フレームフッタ領域には、付加情報など、フレームヘッダ領域と同様のデータが含まれうる。
図11に示す例においても、図6に示す例と同様に、領域情報と領域データとを行ごとに伝送することができる。
(1-2)第1の送信方式の特徴、利点
本実施形態に係る送信方法に係る第1の送信方式は、例えば下記に示す特徴を有する。なお、本実施形態に係る送信方法に係る第1の送信方式が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・EBDによって付加情報を送信し、ペイロードによって、設定された領域に対応する領域情報を送信する
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信する
・任意の形状の領域に対応することができる
本実施形態に係る送信方法に係る第1の送信方式は、例えば下記に示す特徴を有する。なお、本実施形態に係る送信方法に係る第1の送信方式が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・EBDによって付加情報を送信し、ペイロードによって、設定された領域に対応する領域情報を送信する
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信する
・任意の形状の領域に対応することができる
また、第1の送信方式では、ペイロードの先頭部分に格納されて送信される領域情報は、例えば下記のような特徴を有する。なお、第1の送信方式に係る領域情報が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・ロングパケットのデータタイプが、領域伝送用に2つ定義される
・一方は、領域情報の伝送時に用いられる(例えば、“0x38”を示すデータ)
・他方は、領域情報が1つ前に送信させるパケットに含まれる領域情報と同一の場合に用いられる(例えば、“0x39”を示すデータ)
・後述する第2の送信方式に係るショートパケットと異なり、区切りがないので、パラメータ伝送形式を送信する
・1つの行に同一の領域が複数存在する場合、存在する数分、同一の領域の識別情報を送信することによって、1つの行に複数存在する同一の領域の情報を、伝送する
・行の位置を示す情報(Y)
・初期値0(ゼロ)でインクリメントされる
・所定の順序に従って送信されないとき(例えば間引かれるとき)に送信される
・NO CHANGEフラグ
・領域の識別情報(ROI ID)のMSBを利用して送信する
・領域の識別情報(I)
・領域が増減するときに送信される
・領域の列の位置、ROI長が変更される場合に送信する
・領域の列の位置を示す情報(X)
・初期値0(ゼロ)
・変更するときに送信される
・領域の識別情報とセットで送信される
・領域の大きさを示す情報(L)
・最初に送信される行では、必ず設定される
・変更されるときに送信される
・領域の識別情報とセットで送信される
・ロングパケットのデータタイプが、領域伝送用に2つ定義される
・一方は、領域情報の伝送時に用いられる(例えば、“0x38”を示すデータ)
・他方は、領域情報が1つ前に送信させるパケットに含まれる領域情報と同一の場合に用いられる(例えば、“0x39”を示すデータ)
・後述する第2の送信方式に係るショートパケットと異なり、区切りがないので、パラメータ伝送形式を送信する
・1つの行に同一の領域が複数存在する場合、存在する数分、同一の領域の識別情報を送信することによって、1つの行に複数存在する同一の領域の情報を、伝送する
・行の位置を示す情報(Y)
・初期値0(ゼロ)でインクリメントされる
・所定の順序に従って送信されないとき(例えば間引かれるとき)に送信される
・NO CHANGEフラグ
・領域の識別情報(ROI ID)のMSBを利用して送信する
・領域の識別情報(I)
・領域が増減するときに送信される
・領域の列の位置、ROI長が変更される場合に送信する
・領域の列の位置を示す情報(X)
・初期値0(ゼロ)
・変更するときに送信される
・領域の識別情報とセットで送信される
・領域の大きさを示す情報(L)
・最初に送信される行では、必ず設定される
・変更されるときに送信される
・領域の識別情報とセットで送信される
また、第1の送信方式は、例えば下記に示す利点を有する。
・伝送効率が高い
・既に規定されているCSI-2規格と後方互換性がある
・任意の領域(ROI)の形状を伝送可能である
・伝送効率が高い
・既に規定されているCSI-2規格と後方互換性がある
・任意の領域(ROI)の形状を伝送可能である
(1-3)第1の送信方式に係る構成例
次に、上述した第1の送信方式に対応する画像センサ100の構成の一例と、第1の送信方式に対応するプロセッサ200の構成の一例(画像センサ100から送信されたデータの処理に係る構成の一例)とを示す。
次に、上述した第1の送信方式に対応する画像センサ100の構成の一例と、第1の送信方式に対応するプロセッサ200の構成の一例(画像センサ100から送信されたデータの処理に係る構成の一例)とを示す。
(1-3-1)第1の送信方式に対応する画像センサ100(送信装置)の構成
図12は、本実施形態に係る送信方法に係る第1の送信方式に対応する画像センサ100の構成の一例を示すハードウェアブロック図である。画像センサ100は、例えば、画像センサデバイス102と、ICチップ104とを備える。図12に示す画像センサ100は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
図12は、本実施形態に係る送信方法に係る第1の送信方式に対応する画像センサ100の構成の一例を示すハードウェアブロック図である。画像センサ100は、例えば、画像センサデバイス102と、ICチップ104とを備える。図12に示す画像センサ100は、バッテリなどの通信システム1000を構成する内部電源(図示せず)から供給される電力、または、通信システム1000の外部電源から供給される電力によって、動作する。
画像センサデバイス102は、例えば、“デジタルスチルカメラなどの撮像デバイス”や、“赤外線センサ”、“距離画像センサ”などの、画像を生成することが可能な任意の方式の画像センサデバイスである。
一例を挙げると、画像センサデバイス102として機能する撮像デバイスは、レンズ/撮像素子と信号処理回路とを含んで構成される。
レンズ/撮像素子は、例えば、光学系のレンズと、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を複数用いたイメージセンサとで構成される。
信号処理回路は、例えば、AGC(Automatic Gain Control)回路やADC(Analog to Digital Converter)を備え、撮像素子により生成されたアナログ信号をデジタル信号(画像データ)に変換する。また、信号処理回路は、例えばRAW現像に係る各種処理を行う。さらに、信号処理回路は、例えば、White Balance補正処理や、色調補正処理、ガンマ補正処理、YCbCr変換処理、エッジ強調処理など各種信号処理を行ってもよい。
また、信号処理回路は、画像に対する領域の設定に係る処理を行い、領域指定情報をICチップ104へ伝達してもよい。さらに、信号処理回路は、露光情報やゲイン情報などの様々なデータを、ICチップ104へ伝達してもよい。
画像センサデバイス102により生成された画像を示す信号は、ICチップ104へ伝達される。なお、画像センサデバイス102からICチップ104へ伝達される画像を示す信号がアナログ信号である場合、ICチップ104は、例えば、備えているADCにてアナログ信号をデジタル信号に変換し、変換により得られた画像データを処理する。以下では、画像センサデバイス102からICチップ104へ画像データが伝達される場合を例に挙げる。
ICチップ104は、第1の送信方式によるデータの送信機能に係る回路が集積されたIC(Integrated Circuit)がチップ状に形成されたものであり、画像センサデバイス102から伝達される画像データを処理し、生成された画像に対応するデータを送信する。画像に対応するデータとは、画像センサデバイス102から伝達される画像データ(すなわち、画像全体を示すデータ)、または、領域情報および領域データである。なお、第1の送信方式によるデータの送信機能に係る回路は、1つのICチップの形態で実現されることに限られず、複数のICチップで形成されていてもよい。
ICチップ104は、例えば、画像処理回路106と、LINK制御回路108と、ECC生成回路110と、PH生成回路112と、EBD用バッファ114と、画像データバッファ116と、合成回路118と、送信回路120とを備える。
画像処理回路106は、本実施形態に係る送信方法に係る処理を行う機能を有する一の回路である。本実施形態に係る送信方法に係る処理を行う場合、画像処理回路106は、領域情報を画像における行ごとに設定し、設定された領域情報と領域に対応する領域データとを、LINK制御回路108、ECC生成回路110、PH生成回路112、EBD用バッファ114、画像データバッファ116、合成回路118、送信回路120により、行ごとに第1の送信方式にて送信させる。また、画像処理回路106は、画像センサデバイス102から伝達される画像データ(すなわち、画像全体を示すデータ)を、行ごとに送信させることも可能である。
画像処理回路106としては、例えばMPUなどのプロセッサが、挙げられる。
画像処理回路106が有する機能を、機能ブロックに分けて説明する。図12に示すように、画像処理回路106は、例えば、領域切り出し部122と、画像処理制御部124と、エンコード部126とを有する。
領域切り出し部122は、画像に対する領域の設定に係る処理を行う役目を果たし、画像センサデバイス102から伝達される画像データが示す画像に対して、領域(ROI)を設定する。領域切り出し部122は、例えば、設定されている動作モードに応じて、画像に対する領域の設定に係る処理を行う。例えば、領域切り出し部122は、動作モードが領域データを送信する動作モードである場合に、画像に対する領域の設定に係る処理を行う。また、領域切り出し部122は、動作モードが画像全体を示すデータを送信する動作モードである場合には、画像に対する領域の設定に係る処理を行わない。
領域切り出し部122は、例えば、画像に対して任意の物体検出処理を行って物体を検出し、検出された物体ごとに、検出された物体を含む領域を設定する。また、領域切り出し部122は、任意の操作デバイスに対する操作などにより指定された領域を、設定してもよい。領域切り出し部122が設定する領域としては、例えば、図5に示す領域1に示すような矩形の領域と、図5の領域2、領域3、および領域4のような、画像に対して設定される矩形以外の任意の形状の領域とが、含まれうる。
領域が設定された場合、領域切り出し部122は、例えば、設定された領域を示す領域指定情報を、画像処理制御部124へ伝達する。また、領域が設定されない場合、領域切り出し部122は、領域指定情報を画像処理制御部124へ伝達しない。
また、領域切り出し部122は、画像センサデバイス102から伝達される画像データを、エンコード部126へ伝達する。
画像処理制御部124は、本実施形態に係る送信方法に係る処理を行う役目を果たし、領域情報を画像における行ごとに設定し、設定された領域情報を、エンコード部126とPH生成回路112とへ伝達する。
画像処理制御部124は、例えば、領域切り出し部122から取得される領域指定情報、または、外部装置から取得される領域指定情報(図示せず)に基づいて、画像における各行に含まれる領域を特定する。そして、画像処理制御部124は、特定された領域に基づいて、行ごとに領域情報を設定する。このとき、画像処理制御部124は、上述した例外処理に示すように、1つ前に送信させる行の領域情報に含まれる情報から変化しない情報は、領域情報に設定しなくてよい。
また、領域指定情報が取得されない場合、画像処理制御部124は、領域情報を設定しない。
なお、画像処理制御部124における処理は、上記に示す例に限られない。
例えば、画像処理制御部124は、例えば、フレーム情報を生成し、生成したフレーム情報をLINK制御回路108へ伝達してもよい。フレーム情報としては、例えば、フレームごとに付与されるVCの番号が挙げられる。また、フレーム情報には、YUVデータ、RGBデータまたはRAWデータなどのデータタイプを示すデータが含まれていてもよい。
また、例えば、画像処理制御部124は、付加情報を設定する処理を行い、設定された付加情報をEBD用バッファ114へ伝達してもよい。
付加情報を設定する処理としては、例えば付加情報を生成する処理が挙げられる。付加情報を生成する処理としては、例えば、領域のデータ量を示す情報を生成する処理、領域の大きさを示す情報を生成する処理、および領域の優先度を示す情報を生成する処理のうちの1または2以上が、挙げられる。
なお、付加情報を設定する処理は、付加情報を生成する処理に限られない。例えば、画像処理制御部124は、露光情報やゲイン情報などの画像センサデバイス102から取得された情報を、付加情報として設定してもよい。また、画像処理制御部124は、例えば、物理領域長さを示すデータ、出力領域長さを示すデータ、画像フォーマットを示すデータ、データ総量を示すデータなどの、様々な領域に関するデータを、付加情報として設定してもよい。
エンコード部126は、例えば、画像センサデバイス102から伝達される画像データを、例えばJPEG(Joint Photographic Experts Group)規格に対応する方式などの所定の方式でエンコードする。
画像処理制御部124から領域情報が取得されない場合、エンコード部126は、エンコードされた画像データを、画像データバッファ116へ伝達する。以下では、エンコードされた画像データ、すなわち、エンコードされた画像全体を示すデータを「通常データ」と示す場合がある。
また、画像処理制御部124から領域情報が取得される場合、エンコード部126は、取得された領域情報と、領域に対応するエンコードされた領域データとを、画像データバッファ116へ伝達する。
画像処理回路106は、例えば、領域切り出し部122、画像処理制御部124、およびエンコード部126を有することによって、本実施形態に係る送信方法に係る処理を行う。なお、図12に示す画像処理回路106の機能ブロックは、画像処理回路106が有する機能を便宜上切り分けたものであり、画像処理回路106における機能の切り分け方は、図12に示す例に限られない。
LINK制御回路108は、例えば、フレーム情報を、行ごとにECC生成回路110、PH生成回路112、および合成回路118に伝達する。
ECC生成回路110は、行ごとに誤り訂正符号を設定する。ECC生成回路110は、例えば、フレーム情報における1行のデータ(例えば、VCの番号、データタイプなど)に基づいて、その行の誤り訂正符号を生成する。ECC生成回路110は、例えば、PH生成回路112、EBD用バッファ114、画像データバッファ116、および合成回路118それぞれと接続される。そして、ECC生成回路110は、生成した誤り訂正符号を、PH生成回路112、EBD用バッファ114、画像データバッファ116、および合成回路118それぞれに伝達する。また、ECC生成回路110は、PH生成回路112などと連携して誤り訂正符号を生成してもよい。
PH生成回路112は、フレーム情報を用いて、行ごとにパケットヘッダを生成する。
PH生成回路112は、画像処理回路106(図12の例では、画像処理制御部124)から伝達される領域情報に基づいて、パケットヘッダを生成してもよい。具体的には、PH生成回路112は、領域情報に基づいて、上述したような“領域情報に含まれる情報が1つ前に送信させるパケットに含まれる領域情報から変化しているか否かを示すデータ”(変化情報)を、パケットヘッダに設定する。
EBD用バッファ114は、画像処理回路106(図12の例では、画像処理制御部124)から伝達される付加情報を一時的に保持するバッファである。EBD用バッファ114は、所定のタイミングで付加情報を“EmbeddedData”として合成回路118に出力する。なお、EBD用バッファ114から出力される“EmbeddedData”は、後述する画像データバッファ116を経由して合成回路118に伝達されてもよい。
画像データバッファ116は、画像処理回路106(図12の例では、エンコード部126)から伝達されるデータ(通常データ、または、領域情報および領域データ)を一時的に保持するバッファである。画像データバッファ116は、保持していているデータを、所定のタイミングで行ごとに合成回路118に出力する。
合成回路118は、例えば、ECC生成回路110、PH生成回路112、EBD用バッファ114、および画像データバッファ116それぞれから取得されるデータに基づいて、伝送するパケットを生成する。
送信回路120は、合成回路118から伝達されるパケットを、行ごとにデータバスB1(信号の伝送路の一例。以下、同様とする。)を介して送信する。例えば送信回路120は、図4に示すような高速差動信号によりパケットを送信する。
例えば図5に示す領域1、領域2、領域3、および領域4が設定された場合、送信回路120は、図9に示すように、設定された領域情報と領域に対応する領域データとを、行ごとにロングパケットで送信する。
また、領域が設定されない場合、すなわち、画像データバッファ116から通常データが出力される場合には、送信回路120は、各行に対応するデータがペイロードに格納されたロングパケットを、行ごとに送信する。なお、この場合においても、送信回路120は、付加情報を“EmbeddedData”として送信することが可能である。
第1の送信方式に対応する画像センサ100は、例えば図12に示すハードウェア構成を有する。なお、第1の送信方式に対応する画像センサ100のハードウェア構成が、図12に示す例に限られないことは、言うまでもない。
(1-3-2)第1の送信方式に対応するプロセッサ200(受信装置)の構成
図13は、本実施形態に係る送信方法に係る第1の送信方式に対応するプロセッサ200の構成の一例を示す機能ブロック図である。図13では、便宜上、画像センサ100のみを併せて示している。プロセッサ200は、例えば、ヘッダ分離部202と、ヘッダ解釈部204と、ペイロード分離部206と、画像処理部208と、演算部210と、送信部212とを有する。
図13は、本実施形態に係る送信方法に係る第1の送信方式に対応するプロセッサ200の構成の一例を示す機能ブロック図である。図13では、便宜上、画像センサ100のみを併せて示している。プロセッサ200は、例えば、ヘッダ分離部202と、ヘッダ解釈部204と、ペイロード分離部206と、画像処理部208と、演算部210と、送信部212とを有する。
ヘッダ分離部202は、受信されたデータから、ヘッダ部分に対応するヘッダデータと、ペイロード部分に対応するペイロードデータとを分離する。ヘッダ分離部202は、例えば、規格などで予め規定されたルールに従って、受信されたデータからヘッダデータを分離する。また、ヘッダ分離部202は、例えば、規格などで予め規定されたルールに従って、受信されたデータからペイロードデータを分離してもよいし、ヘッダ解釈部204の処理の結果に基づき受信されたデータからペイロードデータを分離してもよい。
ヘッダ解釈部204は、ヘッダデータが示す内容を解釈する。
一例を挙げると、ヘッダ解釈部204は、例えば、ヘッダデータが“0x38”を示す場合、領域情報に含まれる情報が1つ前に送信させるパケットに含まれる領域情報から変化していると解釈する。また、この場合、ヘッダ解釈部204は、ペイロードデータに領域情報が含まれていると解釈してもよい。
他の例を挙げると、ヘッダ解釈部204は、例えば、ヘッダデータが“0x39”を示す場合、領域情報に含まれる情報が1つ前に送信させるパケットに含まれる領域情報から変化していないと解釈する。また、この場合、ヘッダ解釈部204は、ペイロードデータに領域情報が含まれてないと解釈してもよい。
なお、ヘッダ解釈部204における処理の例は、上記に示す例に限られない。例えば、ヘッダ解釈部204は、ペイロードデータの位置を特定し、特定した位置をヘッダ分離部202へ伝達してもよい。また、ヘッダ解釈部204は、ペイロードデータが“Embedded Data”であるかを解釈することも可能である。
ペイロード分離部206は、ヘッダ解釈部204における解釈結果に基づいて、ペイロードデータから、付加情報、領域情報、および画像データ(通常データまたは領域データ。以下、図13の説明においては同様とする。)を分離する。
例えば、ヘッダ解釈部204においてペイロードデータが“Embedded Data”であると解釈された場合、ペイロード分離部206は、ペイロードデータを付加情報とする。
また、ヘッダ解釈部204においてペイロードデータが“Embedded Data”であると解釈されない場合、ペイロード分離部206は、ペイロードデータから、領域情報と画像データとを分離する。例えば図6、図8、図9を参照して説明したように、領域情報と領域データとはペイロードに格納され、かつ、領域情報は、ペイロードの先頭部分に格納される。また、画像センサ100から通常データが送信される場合、ペイロードには領域情報は格納されない。よって、ペイロード分離部206は、ペイロードを先頭部分から処理することによって、領域情報と画像データとを分離することができる。
画像処理部208は、ペイロード分離部206から伝達される付加情報、領域情報、および画像データに基づいて、行ごとの画像データを処理し、領域に対応する画像を示すデータ、または、画像全体を示すデータを得る。
画像処理部208は、例えば、ペイロード分離部206から伝達される情報に基づいて、データバスB1を介して取得されたデータが、領域に対応する画像を示すデータであるか、または、画像全体を示すデータであるかを判定し、判定結果に応じた処理モードで処理を行ってもよい。
例えば、画像処理部208は、あるフレームの画像を対象とする処理を最初に行うとき(すなわち、最初の行に対応する処理を行うとき)に領域情報が伝達される場合に、データバスB1を介して取得されたデータが、領域に対応する画像を示すデータであると判定する。そして、画像処理部208は、領域データを処理する処理モードに移行して、行ごとの領域情報および領域データに基づいて、領域に対応する画像を示すデータを得る。
例えば、画像処理部208は、あるフレームの画像を対象とする処理を最初に行うときに領域情報が伝達されない場合に、データバスB1を介して取得されたデータが、画像全体を示すデータであると判定する。そして、画像処理部208は、通常の処理モード(通常データを処理する処理モード)に移行して、行ごとの通常データに基づいて、画像全体を示すデータを得る。
なお、データバスB1を介して取得されたデータの判定方法は、上記に示す例に限られない。例えば、画像処理部208は、領域に関する情報(例えば、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの、1または2以上)が、付加情報として伝達された場合に、データバスB1を介して取得されたデータが、領域に対応する画像を示すデータであると判定してもよい。
画像処理部208は、例えば、デコード部214と、画像生成部216とを有する。
デコード部214は、例えば、画像センサ100におけるエンコードに対応する所定の方式で、画像データをデコードする。このとき、デコード部214は、付加情報に基づいて処理の内容を変えてもよい。
画像生成部216は、領域情報に基づいて、デコード部214によりデコードされた行ごとの画像データから、領域に対応する画像を示すデータ、または、画像全体を示すデータを生成する。
例えば、画像生成部216は、あるフレームの画像を対象とする処理を最初に行うときに領域情報が伝達される場合に、デコード部214から伝達される画像データが領域データであると判定する。そして、領域データであると判定された場合には、画像生成部216は、領域情報に基づいて行ごとの領域データを、領域ごとに分ける。ここで、画像生成部216が処理に用いる領域情報には、処理対象の行に対応する領域情報と、既に処理を行った行に対応する領域情報とが含まれうる。
ここで、領域情報には、基本的に、行の位置を示す情報、行に含まれる領域の識別情報、行に含まれる領域の列の位置を示す情報、および行に含まれる領域の大きさを示す情報が含まれるので、画像生成部216は、各行に含まれる領域データを一意に特定することができる。よって、画像生成部216は、あるフレームの画像に設定された領域に対応する画像を示すデータを、領域ごとに生成することができる。
また、画像生成部216は、あるフレームの画像を対象とする処理を最初に行うときに領域情報が伝達されない場合には、伝達される画像データが通常データであると判断する。通常データであると判定された場合、画像生成部216は、デコード部214から伝達される行ごとの画像データから、画像全体を示すデータを生成する。
画像処理部208は、例えばデコード部214と画像生成部216とを有することによって、領域に対応する画像を示すデータ、または、画像全体を示すデータを得る。
演算部210は、例えば、画像処理部208において得られた画像データに基づく処理を行う。画像処理部208において得られた画像データとしては、例えば、画像全体を示す画像データ、領域に対応する画像を示す画像データ、あるいは、画像全体が縮小された画像を示す画像データなどが、挙げられる。
画像処理部208において得られた画像データに基づく処理としては、例えば、メモリ300などの記録媒体への画像データの記録制御に係る処理や、表示デバイス400の表示画面への画像の表示制御に係る処理などが、挙げられる。
なお、演算部210における処理は、上記に示す例に限られない。例えば上述したように、演算部210は、画像に対する領域の設定に係る処理など、様々な処理を行うことが可能である。
演算部210における画像に対する領域の設定に係る処理の一例を挙げると、演算部210は、画像処理部208において得られた画像データに対して、特徴点抽出に係る演算、動き抽出に係る演算、機械学習による演算などの、様々な演算を行うことによって、領域を設定する。また、演算部210は、設定した領域に対応する領域指定情報を生成する。なお、演算部210における画像に対する領域の設定に係る処理の例が、上記に示す例に限られないことは、言うまでもない。
送信部212は、各種データ(例えば、画像データ、制御情報など)を、制御バスB2や各種信号線などを介して、外部装置へ送信する。送信部212としては、例えば、プロセッサ200が備えるI2C(Inter Integrated Circuits)やI3C(Improved Inter Integrated Circuits)など所定の規格に則った通信デバイスが、挙げられる。
送信部212における通信は、例えば演算部210により制御される。演算部210が、送信部212に画像データを送信させることによって、例えば、メモリ300などの記録媒体への画像データの記録、表示デバイス400の表示画面への画像の表示が、実現される。また、演算部210が、送信部212に、領域指定情報を含む制御情報を、制御バスB1を介して画像センサ100に対して送信させることによって、画像センサ100への設定された領域を示す領域指定情報の送信が、実現される。
プロセッサ200は、例えば、ヘッダ分離部202、ヘッダ解釈部204、ペイロード分離部206、画像処理部208、演算部210、および送信部212を有することによって、画像センサ100から受信したデータに基づいて、領域に対応する画像を示すデータ、または、画像全体を示すデータを得ることができる。なお、図13に示すプロセッサ200の機能ブロックは、プロセッサ200が有する機能を便宜上切り分けたものであり、プロセッサ200における機能の切り分け方は、図13に示す例に限られない。また、外部装置に各種データを送信する機能を有さない場合、プロセッサ200は、送信部212を有していなくてもよい。
(2)第2の送信方式
(2-1)第2の送信方式に係る処理
画像センサ100は、領域データを第1のパケットのペイロードに格納し、領域情報に含まれる情報それぞれを、第1のパケットと異なる第2のパケットにそれぞれ格納する。そして、画像センサ100は、第1のパケットおよび第2のパケットを、行ごとに送信させる。
(2-1)第2の送信方式に係る処理
画像センサ100は、領域データを第1のパケットのペイロードに格納し、領域情報に含まれる情報それぞれを、第1のパケットと異なる第2のパケットにそれぞれ格納する。そして、画像センサ100は、第1のパケットおよび第2のパケットを、行ごとに送信させる。
第2の送信方式に係る第1のパケットとしては、MIPIのロングパケットが挙げられ、第2の送信方式に係る第2のパケットとしては、MIPIのショートパケットが挙げられる。なお、本実施形態に係る第1のパケットおよび第2のパケットの例は、上記に示す例に限られない。本実施形態に係る第1のパケットおよび第2のパケットの他の例については、後述する第3の送信方式にて示す。以下に示す第2の送信方式では、第1のパケットがMIPIのロングパケットであり、第2のパケットがMIPIのショートパケットである場合を例に挙げる。
図14は、本実施形態に係る送信方法に係る第2の送信方式により送信されるデータの一例を示す説明図である。図14は、“図5に示す領域1、領域2、領域3、および領域4それぞれに対応する領域情報に含まれる情報それぞれが、図2に示すMIPIのショートパケットによって、行ごとに送信される例”を示している。また、図14は、“図5に示す領域1、領域2、領域3、および領域4それぞれに対応する領域データが、図3に示すMIPIのロングパケットのペイロードに格納して、行ごとに送信される例”を示している。
図14に示す“Y”は、行の位置を示す情報が格納されるショートパケットを示している。図14に示す“I1”、“I2”、“I3”、“I4”は、図5に示す領域1、領域2、領域3、および領域4それぞれに対応する領域の識別情報が格納される、ショートパケットを示している。図14に示す“X1”、“X2”、“X3”、“X4”は、図5に示す領域1、領域2、領域3、および領域4それぞれに対応する領域の列の位置を示す情報が格納される、ショートパケットを示している。図14に示す“L1”、“L2”、“L3”、“L4”は、図5に示す領域1、領域2、領域3、および領域4それぞれに対応する領域の大きさを示す情報が格納される、ショートパケットを示している。
図6に示すように上述した上記(1)に示す第1の送信方式が用いられる場合、領域情報と領域データとは、例えばMIPIのロングパケットなどの1つのパケットのペイロードに格納され、行ごとに送信される。
これに対して、図14に示すように第2の送信方式が用いられる場合、領域情報と領域データとは異なるパケットに分けて格納され、行ごとに送信される。
また、図14に示すように、第2の送信方式が用いられる場合においても、第1の送信方式が用いられる場合と同様に、“Embedded Data”を送信することが可能である。つまり、画像センサ100は、領域のデータ量を示す情報、領域の大きさを示す情報、および領域の優先度を示す情報のうちの1または2以上(付加情報の一例)を、図14に示す“Embedded Data”として送信することができる。
また、第2の送信方式が用いられる場合、画像センサ100は、第1の送信方式が用いられる場合と同様に、重なり部分のデータを重複して送信させるかを判定して、判定結果に応じて重なり部分のデータを重複して送信させてもよい。
(2-2)第2の送信方式の特徴、利点
本実施形態に係る送信方法に係る第2の送信方式は、例えば下記に示す特徴を有する。なお、本実施形態に係る送信方法に係る第2の送信方式が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・EBDによって付加情報を送信し、ショートパケットによって、設定された領域に対応する領域情報を送信する
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信する
・任意の形状の領域に対応することができる
本実施形態に係る送信方法に係る第2の送信方式は、例えば下記に示す特徴を有する。なお、本実施形態に係る送信方法に係る第2の送信方式が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・EBDによって付加情報を送信し、ショートパケットによって、設定された領域に対応する領域情報を送信する
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信する
・任意の形状の領域に対応することができる
また、第2の送信方式では、ショートパケットにより送信される領域情報は、例えば下記のような特徴を有する。なお、第2の送信方式に係る領域情報が有する特徴が、下記に示す例に限られないことは、言うまでもない。
・1つの行に同一の領域が複数存在する場合、存在する数分、同一の領域の識別情報を送信することによって、1つの行に複数存在する同一の領域の情報を、伝送する
・行の位置を示す情報(Y)
・初期値0(ゼロ)でインクリメントされる
・所定の順序に従って送信されないとき(例えば間引かれるとき)に送信される
・領域の識別情報(I)
・領域が増減するときに送信される
・領域の列の位置、ROI長が変更される場合に送信する
・領域の列の位置を示す情報(X)
・初期値0(ゼロ)
・変更するときに送信される
・領域の識別情報とセットで送信される
・領域の大きさを示す情報(L)
・最初に送信される行では、必ず設定される
・変更されるときに送信される
・領域の識別情報とセットで送信される
・変更があっても1行に1つしか領域がない場合は、省略されてもよい(ロングパケットのペイロード長が、ROI長と同一となるため)
・1つの行に同一の領域が複数存在する場合、存在する数分、同一の領域の識別情報を送信することによって、1つの行に複数存在する同一の領域の情報を、伝送する
・行の位置を示す情報(Y)
・初期値0(ゼロ)でインクリメントされる
・所定の順序に従って送信されないとき(例えば間引かれるとき)に送信される
・領域の識別情報(I)
・領域が増減するときに送信される
・領域の列の位置、ROI長が変更される場合に送信する
・領域の列の位置を示す情報(X)
・初期値0(ゼロ)
・変更するときに送信される
・領域の識別情報とセットで送信される
・領域の大きさを示す情報(L)
・最初に送信される行では、必ず設定される
・変更されるときに送信される
・領域の識別情報とセットで送信される
・変更があっても1行に1つしか領域がない場合は、省略されてもよい(ロングパケットのペイロード長が、ROI長と同一となるため)
また、第2の送信方式は、例えば下記に示す利点を有する。
・領域情報の誤り訂正が可能である
・既に規定されているCSI-2規格と後方互換性がある
・任意の領域(ROI)の形状を伝送可能である
・領域情報の誤り訂正が可能である
・既に規定されているCSI-2規格と後方互換性がある
・任意の領域(ROI)の形状を伝送可能である
(2-3)第2の送信方式に係る構成例
次に、上述した第2の送信方式に対応する画像センサ100の構成の一例と、第2の送信方式に対応するプロセッサ200の構成の一例(画像センサ100から送信されたデータの処理に係る構成の一例)とを示す。
次に、上述した第2の送信方式に対応する画像センサ100の構成の一例と、第2の送信方式に対応するプロセッサ200の構成の一例(画像センサ100から送信されたデータの処理に係る構成の一例)とを示す。
(2-3-1)第2の送信方式に対応する画像センサ100(送信装置)の構成
図15は、本実施形態に係る送信方法に係る第2の送信方式に対応する画像センサ100の構成の一例を示すハードウェアブロック図である。画像センサ100は、例えば、画像センサデバイス102と、ICチップ150とを備える。図15に示す画像センサ100は、図12に示す画像センサ100と同様に、通信システム1000を構成する内部電源(図示せず)から供給される電力などによって、動作する。
図15は、本実施形態に係る送信方法に係る第2の送信方式に対応する画像センサ100の構成の一例を示すハードウェアブロック図である。画像センサ100は、例えば、画像センサデバイス102と、ICチップ150とを備える。図15に示す画像センサ100は、図12に示す画像センサ100と同様に、通信システム1000を構成する内部電源(図示せず)から供給される電力などによって、動作する。
図15に示す画像センサデバイス102は、図12に示す画像センサデバイス102と同様の機能、構成を有する。
ICチップ150は、第2の送信方式によるデータの送信機能に係る回路が集積されたICがチップ状に形成されたものであり、画像センサデバイス102から伝達される画像データを処理し、生成された画像に対応するデータを送信する。なお、第2の送信方式によるデータの送信機能に係る回路は、1つのICチップの形態で実現されることに限られず、複数のICチップで形成されていてもよい。
ICチップ150は、例えば、画像処理回路152と、LINK制御回路108と、ECC生成回路110と、PH生成回路154と、EBD用バッファ114と、画像データバッファ116と、合成回路156と、送信回路120とを備える。
図15に示すLINK制御回路108、ECC生成回路110、EBD用バッファ114、画像データバッファ116、および送信回路120それぞれは、図12に示すLINK制御回路108、ECC生成回路110、EBD用バッファ114、画像データバッファ116、および送信回路120と同様の機能、構成を有する。
画像処理回路152は、本実施形態に係る送信方法に係る処理を行う機能を有する一の回路である。本実施形態に係る送信方法に係る処理を行う場合、画像処理回路152は、領域情報を画像における行ごとに設定し、設定された領域情報と領域に対応する領域データとを、LINK制御回路108、ECC生成回路110、PH生成回路154、EBD用バッファ114、画像データバッファ116、合成回路156、送信回路120により、行ごとに第2の送信方式にて送信させる。また、画像処理回路152は、画像センサデバイス102から伝達される画像データ(すなわち、画像全体を示すデータ)を、行ごとに送信させることも可能である。
画像処理回路152としては、例えばMPUなどのプロセッサが、挙げられる。
画像処理回路152が有する機能を、機能ブロックに分けて説明する。図15に示すように、画像処理回路152は、例えば、領域切り出し部122と、画像処理制御部124と、エンコード部158とを有する。
図15に示す領域切り出し部122および画像処理制御部124の機能は、図12に示す領域切り出し部122および画像処理制御部124と同様である。
エンコード部158は、図12に示すエンコード部126と同様に、画像センサデバイス102から伝達される画像データを、所定の方式でエンコードする。
画像処理制御部124から領域情報が取得されない場合、エンコード部158は、図12に示すエンコード部126と同様に、エンコードされた画像データを、画像データバッファ116へ伝達する。
また、画像処理制御部124から領域情報が取得される場合、エンコード部158は、取得された領域情報に基づき領域を特定し、特定された領域に対応するエンコードされた領域データを、画像データバッファ116へ伝達する。
画像処理回路152は、例えば、領域切り出し部122、画像処理制御部124、およびエンコード部158を有することによって、本実施形態に係る送信方法に係る処理を行う。なお、図15に示す画像処理回路152の機能ブロックは、画像処理回路152が有する機能を便宜上切り分けたものであり、画像処理回路152における機能の切り分け方は、図15に示す例に限られない。
PH生成回路154は、画像処理回路152(図15の例では、画像処理制御部124)から伝達される領域情報に基づいて、領域情報に含まれる情報それぞれが格納されるショートパケットを生成する。
また、PH生成回路154は、図12に示すPH生成回路112と同様に、フレーム情報を用いて、行ごとにロングパケットのパケットヘッダを生成する。
合成回路156は、ECC生成回路110、PH生成回路154、EBD用バッファ114、および画像データバッファ116それぞれから取得されるデータに基づいて、“領域情報が格納されるショートパケット”、および“行ごとの画像データ(通常データまたは領域データ)がペイロードに格納されるロングパケット”を、伝送するパケットとして生成する。
送信回路120は、合成回路156から伝達されるパケットを、行ごとにデータバスB1を介して送信する。
例えば図5に示す領域1、領域2、領域3、および領域4が設定された場合、送信回路120は、図14に示すように、領域情報に含まれる情報それぞれをショートパケットに格納し、領域データをロングパケットのペイロードに格納して、行ごとに送信させる。
また、領域が設定されない場合、すなわち、画像データバッファ116から通常データが出力される場合には、送信回路120は、図12に示す送信回路120と同様に、各行に対応するデータがペイロードに格納されたロングパケットを、行ごとに送信する。なお、この場合においても、送信回路120は、図12に示す送信回路120と同様に、付加情報を“EmbeddedData”として送信することが可能である。
第2の送信方式に対応する画像センサ100は、例えば図15に示すハードウェア構成を有する。なお、第2の送信方式に対応する画像センサ100のハードウェア構成が、図15に示す例に限られないことは、言うまでもない。
(2-3-2)第2の送信方式に対応するプロセッサ200(受信装置)の構成
図16は、本実施形態に係る送信方法に係る第2の送信方式に対応するプロセッサ200の構成の一例を示す機能ブロック図である。図16では、便宜上、画像センサ100のみを併せて示している。プロセッサ200は、例えば、パケット分離部250と、ショートパケット解釈部252と、ロングパケット分離部254と、ヘッダ解釈部256と、ペイロード解釈部258と、画像処理部208と、演算部210と、送信部212とを有する。
図16は、本実施形態に係る送信方法に係る第2の送信方式に対応するプロセッサ200の構成の一例を示す機能ブロック図である。図16では、便宜上、画像センサ100のみを併せて示している。プロセッサ200は、例えば、パケット分離部250と、ショートパケット解釈部252と、ロングパケット分離部254と、ヘッダ解釈部256と、ペイロード解釈部258と、画像処理部208と、演算部210と、送信部212とを有する。
パケット分離部250は、受信されたデータから、ショートパケットとロングパケットとを分離する。パケット分離部250は、例えば、ショートパケットの区切りを検出することにより、ショートパケットとロングパケットとを分離する。
ショートパケット解釈部252は、パケット分離部250から伝達されるショートパケットから、領域情報を構成する各種情報を取り出し、領域情報を画像処理部208へ伝達する。
ロングパケット分離部254は、図13に示すヘッダ分離部202と同様に、パケット分離部250から伝達されるロングパケットから、ヘッダ部分に対応するヘッダデータと、ペイロード部分に対応するペイロードデータとを分離する。
ヘッダ解釈部256は、ヘッダデータが示す内容を解釈する。例えば、ヘッダ解釈部256は、ペイロードデータが“Embedded Data”であるかを解釈する。また、ヘッダ解釈部256は、ペイロードデータの位置を特定し、特定した位置をロングパケット分離部254へ伝達してもよい。
ペイロード解釈部258は、ヘッダ解釈部256における解釈結果に基づいて、ペイロードデータから、付加情報、または、画像データ(通常データまたは領域データ。以下、図16の説明においては同様とする。)を取り出す。
例えば、ヘッダ解釈部256においてペイロードデータが“Embedded Data”であると解釈された場合、ペイロード解釈部258は、ペイロードデータを付加情報とする。
また、ヘッダ解釈部256においてペイロードデータが“Embedded Data”であると解釈されない場合、ペイロード解釈部258は、ペイロードデータを画像データとする。
図16に示す画像処理部208は、図13に示す画像処理部208と同様に、付加情報、領域情報、および画像データに基づいて、行ごとの画像データを処理し、領域に対応する画像を示すデータ、または、画像全体を示すデータを得る。
図16に示す演算部210は、図13に示す演算部210と同様に、画像処理部208において得られた画像データに基づく処理や、画像に対する領域の設定に係る処理などの、様々な処理を行う。
図16に示す送信部212は、図13に示す送信部212と同様に、各種データ(例えば、画像データ、制御情報など)を、制御バスB2や各種信号線などを介して、外部装置へ送信する。
プロセッサ200は、例えば、パケット分離部250、ショートパケット解釈部252、ロングパケット分離部254、ヘッダ解釈部256、ペイロード解釈部258、画像処理部208、演算部210、および送信部212を有することによって、画像センサ100から受信したデータに基づいて、領域に対応する画像を示すデータ、または、画像全体を示すデータを得ることができる。なお、図16に示すプロセッサ200の機能ブロックは、プロセッサ200が有する機能を便宜上切り分けたものであり、プロセッサ200における機能の切り分け方は、図16に示す例に限られない。また、図13に示すプロセッサ200と同様に、外部装置に各種データを送信する機能を有さない場合、プロセッサ200は、送信部212を有していなくてもよい。
(3)第3の送信方式
(3-1)第3の送信方式に係る処理
画像センサ100は、上記(2)に示す第2の送信方式と同様に、領域データを第1のパケットのペイロードに格納し、領域情報に含まれる情報を、第1のパケットと異なる第2のパケットに格納する。そして、画像センサ100は、第1のパケットおよび第2のパケットを、行ごとに送信させる。
(3-1)第3の送信方式に係る処理
画像センサ100は、上記(2)に示す第2の送信方式と同様に、領域データを第1のパケットのペイロードに格納し、領域情報に含まれる情報を、第1のパケットと異なる第2のパケットに格納する。そして、画像センサ100は、第1のパケットおよび第2のパケットを、行ごとに送信させる。
第3の送信方式に係る第1のパケットとしては、MIPIのロングパケットが挙げられ、第3の送信方式に係る第2のパケットとしては、パケットヘッダが挙げられる。つまり、第2の送信方式では、例えばMIPIのショートパケットで領域情報を送信したのに対して、第3の送信方式では、パケットヘッダで領域情報を送信する。
ここで、図2、図3に示すように、ショートパケットとパケットヘッダとは、同様の構造を有する。よって、第3の送信方式を用いる画像センサ100は、上記(2)に示す第2の送信方式を用いる画像センサ100と同様に、領域情報と領域データとを行ごとに送信することができる。
また、第3の送信方式を用いる画像センサ100は、上記(1)に示す第1の送信方式を用いる画像センサ100と同様に、重なり部分のデータを重複して送信させるかを判定して、判定結果に応じて重なり部分のデータを重複して送信させてもよい。
なお、第3の送信方式に係る第2のパケットは、図3に示すパケットヘッダと同様の構造を有するパケットヘッダに限られない。例えば、第3の送信方式に係る第2のパケットは、図2に示す“Data Field”が拡張された構造を有するパケットヘッダ(例えば、“Data Field”を2[byte]から3[byte]以上に拡張したパケットヘッダ)であってもよい。第3の送信方式に係る第2のパケットが、上記拡張された構造を有するパケットヘッダである場合、領域情報に含まれる情報は、1つの第2のパケットに格納されうる。
また、第3の送信方式において、領域情報に含まれる情報が格納される領域は、第1のパケットの一部であってもよい。つまり、第3の送信方式では、上記第1のパケットと上記第2のパケットとが1つのパケットであると捉えることも可能である。
(3-2)第3の送信方式の特徴、利点
本実施形態に係る送信方法に係る第3の送信方式は、上記(2)に示す第2の送信方式と同様の特徴を有する。
本実施形態に係る送信方法に係る第3の送信方式は、上記(2)に示す第2の送信方式と同様の特徴を有する。
また、第3の送信方式は、例えば下記に示す利点を有する。
・伝送効率が高い
・領域情報の誤り訂正が可能である
・任意の領域(ROI)の形状を伝送可能である
・伝送効率が高い
・領域情報の誤り訂正が可能である
・任意の領域(ROI)の形状を伝送可能である
(3-3)第3の送信方式に係る構成例
第3の送信方式に対応する画像センサ100は、例えば図14に示す上記(2)に示す第2の送信方式に対応する画像センサ100と同様の構成(変形例も含む。)をとる。また、第3の送信方式に対応するプロセッサ200は、例えば図15に示す上記(2)に示す第2の送信方式に対応するプロセッサ200と同様の構成(変形例も含む。)をとる。
第3の送信方式に対応する画像センサ100は、例えば図14に示す上記(2)に示す第2の送信方式に対応する画像センサ100と同様の構成(変形例も含む。)をとる。また、第3の送信方式に対応するプロセッサ200は、例えば図15に示す上記(2)に示す第2の送信方式に対応するプロセッサ200と同様の構成(変形例も含む。)をとる。
[4]本実施形態に係る送信方法が用いられることにより奏される効果の一例
本実施形態に係る送信方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る送信方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・画像に対して設定される領域(ROI)のデータを伝送する際に、領域ごとにVCを分ける必要はない。
・画像に対して設定される領域(ROI)のデータを伝送する際に、同一の行に含まれる領域それぞれのデータを、まとめて送信することができる。
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信することが可能であり、領域情報のデータ量をより小さくすることができる(すなわち、最小限の領域情報の伝送が可能である)。
・矩形、楕円、ドーナツ形状などの任意の形状の領域に対応することができる
・図5の領域3、領域4のように設定されている領域が重なっている場合であっても、領域のデータを伝送することができる。
・第1の送信方式が用いられる場合、領域情報はパケットのペイロードに格納して送信されるので、領域情報の送信によりLPSの期間が増えることはない。よって、第1の送信方式が用いられる場合、領域情報が伝送効率に影響を及ぼす可能性は低い。
本実施形態に係る送信方法が用いられることによって、例えば下記に示す効果が奏される。なお、本実施形態に係る送信方法が用いられることにより奏される効果が、下記に示す例に限られないことは、言うまでもない。
・画像に対して設定される領域(ROI)のデータを伝送する際に、領域ごとにVCを分ける必要はない。
・画像に対して設定される領域(ROI)のデータを伝送する際に、同一の行に含まれる領域それぞれのデータを、まとめて送信することができる。
・領域情報に含まれる情報のうち、変化点に対応する情報だけを送信することが可能であり、領域情報のデータ量をより小さくすることができる(すなわち、最小限の領域情報の伝送が可能である)。
・矩形、楕円、ドーナツ形状などの任意の形状の領域に対応することができる
・図5の領域3、領域4のように設定されている領域が重なっている場合であっても、領域のデータを伝送することができる。
・第1の送信方式が用いられる場合、領域情報はパケットのペイロードに格納して送信されるので、領域情報の送信によりLPSの期間が増えることはない。よって、第1の送信方式が用いられる場合、領域情報が伝送効率に影響を及ぼす可能性は低い。
(本実施形態に係るプログラム)
コンピュータを、本実施形態に係る送信装置として機能させるためのプログラム(例えば、本実施形態に係る送信方法に係る処理を、コンピュータに実行させるプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、画像に対して設定される任意の形状の領域のデータを送信することができる。
コンピュータを、本実施形態に係る送信装置として機能させるためのプログラム(例えば、本実施形態に係る送信方法に係る処理を、コンピュータに実行させるプログラム)が、コンピュータにおいてプロセッサなどにより実行されることによって、画像に対して設定される任意の形状の領域のデータを送信することができる。
また、コンピュータを、本実施形態に係る送信装置として機能させるためのプログラムが、コンピュータにおいてプロセッサなどにより実行されることによって、上述した本実施形態に係る送信方法が用いられることにより奏される効果を、奏することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記では、コンピュータを、本実施形態に係る送信装置として機能させるためのプログラム(コンピュータプログラム)が提供されることを示したが、本実施形態は、さらに、上記プログラムを記憶させた記録媒体も併せて提供することができる。
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、
前記画像処理部は、前記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、前記領域を設定し、
前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる、送信装置。
(2)
前記領域指定情報は、前記領域データの送信先の受信装置から取得される、(1)に記載の送信装置。
(3)
前記画像処理部は、
複数の前記領域が重なる重なり部分が存在する場合、前記重なり部分のデータを、複数の前記領域それぞれに対応する前記領域データにより重複して送信させるかを判定し、
重複して送信させると判定した場合に、前記重なり部分のデータを重複して送信させる、(1)または(2)に記載の送信装置。
(4)
前記画像処理部は、前記重なり部分を含む行の列数に基づいて、重複して送信させるかを判定する、(3)に記載の送信装置。
(5)
前記画像処理部は、設定されている動作モードに基づいて、重複して送信させるかを判定する、(3)に記載の送信装置。
(6)
前記領域情報には、さらに、行に含まれる前記領域の識別情報、および行に含まれる前記領域の大きさを示す情報が、含まれる、(1)~(5)のいずれか1つに記載の送信装置。
(7)
前記画像処理部は、前記領域情報に含まれる情報を、前記領域ごとにまとめて前記領域情報に設定する、(1)~(6)のいずれか1つに記載の送信装置。
(8)
前記画像処理部は、1つの行に同一の前記領域が複数存在する場合、存在する数分、前記領域情報を設定する、(7)に記載の送信装置。
(9)
前記画像処理部は、1つ前に送信させる行の前記領域情報に含まれる情報から変化しない情報は、前記領域情報に設定しない、(1)~(8)のいずれか1つに記載の送信装置。
(10)
前記画像処理部は、
前記領域の列の位置を示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定し、
前記領域の大きさを示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定する、(9)に記載の送信装置。
(11)
前記画像処理部は、
所定の順序に従って、行ごとの前記領域情報と前記領域データとを送信させ、
前記領域情報と前記領域データとを送信させる行が、前記所定の順序に従った行である場合には、前記領域情報に前記行の位置を示す情報を設定しない、(9)または(10)に記載の送信装置。
(12)
前記画像処理部は、前記領域情報と前記領域データとを、パケットのペイロードに格納して送信させる、(1)~(11)のいずれか1つに記載の送信装置。
(13)
前記領域情報は、前記ペイロードの先頭部分に格納される、(12)に記載の送信装置。
(14)
前記画像処理部は、さらに、前記領域情報に含まれる情報が1つ前に送信させるパケットに含まれる前記領域情報から変化しているか否かを示す変化情報を、行ごとに送信させる、(12)または(13)に記載の送信装置。
(15)
前記領域情報に含まれる情報が1つ前に送信させるパケットに含まれる前記領域情報から変化していない場合、前記画像処理部は、前記領域情報を送信させない、(14)に記載の送信装置。
(16)
前記画像処理部は、さらに、前記領域のデータ量を示す情報、前記領域の大きさを示す情報、および前記領域の優先度を示す情報のうちの1または2以上を、送信させる、(12)~(15)のいずれか1つに記載の送信装置。
(17)
前記パケットは、MIPIのロングパケットである、(12)~(16)のいずれか1つに記載の送信装置。
(18)
前記画像処理部は、
前記領域データを第1のパケットのペイロードに格納し、
前記領域情報に含まれる情報それぞれを、前記第1のパケットと異なる第2のパケットにそれぞれ格納し、
前記第1のパケットおよび前記第2のパケットを、行ごとに送信させる、(1)~(11)のいずれか1つに記載の送信装置。
(19)
前記第1のパケットは、MIPIのロングパケットであり、
前記第2のパケットは、MIPIのショートパケットである、(18)に記載の送信装置。
(1)
画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、
前記画像処理部は、前記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、前記領域を設定し、
前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる、送信装置。
(2)
前記領域指定情報は、前記領域データの送信先の受信装置から取得される、(1)に記載の送信装置。
(3)
前記画像処理部は、
複数の前記領域が重なる重なり部分が存在する場合、前記重なり部分のデータを、複数の前記領域それぞれに対応する前記領域データにより重複して送信させるかを判定し、
重複して送信させると判定した場合に、前記重なり部分のデータを重複して送信させる、(1)または(2)に記載の送信装置。
(4)
前記画像処理部は、前記重なり部分を含む行の列数に基づいて、重複して送信させるかを判定する、(3)に記載の送信装置。
(5)
前記画像処理部は、設定されている動作モードに基づいて、重複して送信させるかを判定する、(3)に記載の送信装置。
(6)
前記領域情報には、さらに、行に含まれる前記領域の識別情報、および行に含まれる前記領域の大きさを示す情報が、含まれる、(1)~(5)のいずれか1つに記載の送信装置。
(7)
前記画像処理部は、前記領域情報に含まれる情報を、前記領域ごとにまとめて前記領域情報に設定する、(1)~(6)のいずれか1つに記載の送信装置。
(8)
前記画像処理部は、1つの行に同一の前記領域が複数存在する場合、存在する数分、前記領域情報を設定する、(7)に記載の送信装置。
(9)
前記画像処理部は、1つ前に送信させる行の前記領域情報に含まれる情報から変化しない情報は、前記領域情報に設定しない、(1)~(8)のいずれか1つに記載の送信装置。
(10)
前記画像処理部は、
前記領域の列の位置を示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定し、
前記領域の大きさを示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定する、(9)に記載の送信装置。
(11)
前記画像処理部は、
所定の順序に従って、行ごとの前記領域情報と前記領域データとを送信させ、
前記領域情報と前記領域データとを送信させる行が、前記所定の順序に従った行である場合には、前記領域情報に前記行の位置を示す情報を設定しない、(9)または(10)に記載の送信装置。
(12)
前記画像処理部は、前記領域情報と前記領域データとを、パケットのペイロードに格納して送信させる、(1)~(11)のいずれか1つに記載の送信装置。
(13)
前記領域情報は、前記ペイロードの先頭部分に格納される、(12)に記載の送信装置。
(14)
前記画像処理部は、さらに、前記領域情報に含まれる情報が1つ前に送信させるパケットに含まれる前記領域情報から変化しているか否かを示す変化情報を、行ごとに送信させる、(12)または(13)に記載の送信装置。
(15)
前記領域情報に含まれる情報が1つ前に送信させるパケットに含まれる前記領域情報から変化していない場合、前記画像処理部は、前記領域情報を送信させない、(14)に記載の送信装置。
(16)
前記画像処理部は、さらに、前記領域のデータ量を示す情報、前記領域の大きさを示す情報、および前記領域の優先度を示す情報のうちの1または2以上を、送信させる、(12)~(15)のいずれか1つに記載の送信装置。
(17)
前記パケットは、MIPIのロングパケットである、(12)~(16)のいずれか1つに記載の送信装置。
(18)
前記画像処理部は、
前記領域データを第1のパケットのペイロードに格納し、
前記領域情報に含まれる情報それぞれを、前記第1のパケットと異なる第2のパケットにそれぞれ格納し、
前記第1のパケットおよび前記第2のパケットを、行ごとに送信させる、(1)~(11)のいずれか1つに記載の送信装置。
(19)
前記第1のパケットは、MIPIのロングパケットであり、
前記第2のパケットは、MIPIのショートパケットである、(18)に記載の送信装置。
100 画像センサ
102 画像センサデバイス
104、150 ICチップ
106、152 画像処理回路
108 LINK制御回路
110 ECC生成回路
112、154 PH生成回路
114 EBD用バッファ
116 画像データバッファ
118、156 合成回路
120 送信回路
122 領域切り出し部
124 画像処理制御部
126、158 エンコード部
200 プロセッサ
202 ヘッダ分離部
204 ヘッダ解釈部
206 ペイロード分離部
208 画像処理部
210 演算部
212 送信部
214 デコード部
216 画像生成部
250 パケット分離部
252 ショートパケット解釈部
254 ロングパケット分離部
256 ヘッダ解釈部
258 ペイロード解釈部
300 メモリ
400 表示デバイス
1000 通信システム
B1 データバス
B2 制御バス
102 画像センサデバイス
104、150 ICチップ
106、152 画像処理回路
108 LINK制御回路
110 ECC生成回路
112、154 PH生成回路
114 EBD用バッファ
116 画像データバッファ
118、156 合成回路
120 送信回路
122 領域切り出し部
124 画像処理制御部
126、158 エンコード部
200 プロセッサ
202 ヘッダ分離部
204 ヘッダ解釈部
206 ペイロード分離部
208 画像処理部
210 演算部
212 送信部
214 デコード部
216 画像生成部
250 パケット分離部
252 ショートパケット解釈部
254 ロングパケット分離部
256 ヘッダ解釈部
258 ペイロード解釈部
300 メモリ
400 表示デバイス
1000 通信システム
B1 データバス
B2 制御バス
Claims (19)
- 画像に対して設定される領域に対応する領域情報を前記画像における行ごとに設定し、設定された前記領域情報と前記領域に対応する領域データとを、行ごとに送信させる画像処理部を備え、
前記画像処理部は、前記画像を解析することによって、または、外部から取得される領域指定情報に基づいて、前記領域を設定し、
前記領域情報には、行の位置を示す情報、および行に含まれる前記領域の列の位置を示す情報が、含まれる、送信装置。 - 前記領域指定情報は、前記領域データの送信先の受信装置から取得される、請求項1に記載の送信装置。
- 前記画像処理部は、
複数の前記領域が重なる重なり部分が存在する場合、前記重なり部分のデータを、複数の前記領域それぞれに対応する前記領域データにより重複して送信させるかを判定し、
重複して送信させると判定した場合に、前記重なり部分のデータを重複して送信させる、請求項1に記載の送信装置。 - 前記画像処理部は、前記重なり部分を含む行の列数に基づいて、重複して送信させるかを判定する、請求項3に記載の送信装置。
- 前記画像処理部は、設定されている動作モードに基づいて、重複して送信させるかを判定する、請求項3に記載の送信装置。
- 前記領域情報には、さらに、行に含まれる前記領域の識別情報、および行に含まれる前記領域の大きさを示す情報が、含まれる、請求項1に記載の送信装置。
- 前記画像処理部は、前記領域情報に含まれる情報を、前記領域ごとにまとめて前記領域情報に設定する、請求項1に記載の送信装置。
- 前記画像処理部は、1つの行に同一の前記領域が複数存在する場合、存在する数分、前記領域情報を設定する、請求項7に記載の送信装置。
- 前記画像処理部は、1つ前に送信させる行の前記領域情報に含まれる情報から変化しない情報は、前記領域情報に設定しない、請求項1に記載の送信装置。
- 前記画像処理部は、
前記領域の列の位置を示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定し、
前記領域の大きさを示す情報を前記領域情報に設定するときには、前記領域情報に前記領域の識別情報を設定する、請求項9に記載の送信装置。 - 前記画像処理部は、
所定の順序に従って、行ごとの前記領域情報と前記領域データとを送信させ、
前記領域情報と前記領域データとを送信させる行が、前記所定の順序に従った行である場合には、前記領域情報に前記行の位置を示す情報を設定しない、請求項9に記載の送信装置。 - 前記画像処理部は、前記領域情報と前記領域データとを、パケットのペイロードに格納して送信させる、請求項1に記載の送信装置。
- 前記領域情報は、前記ペイロードの先頭部分に格納される、請求項12に記載の送信装置。
- 前記画像処理部は、さらに、前記領域情報に含まれる情報が1つ前に送信させるパケットに含まれる前記領域情報から変化しているか否かを示す変化情報を、行ごとに送信させる、請求項12に記載の送信装置。
- 前記領域情報に含まれる情報が1つ前に送信させるパケットに含まれる前記領域情報から変化していない場合、前記画像処理部は、前記領域情報を送信させない、請求項14に記載の送信装置。
- 前記画像処理部は、さらに、前記領域のデータ量を示す情報、前記領域の大きさを示す情報、および前記領域の優先度を示す情報のうちの1または2以上を、送信させる、請求項12に記載の送信装置。
- 前記パケットは、MIPI(Mobile Industry Processor Interface Alliance)のロングパケットである、請求項12に記載の送信装置。
- 前記画像処理部は、
前記領域データを第1のパケットのペイロードに格納し、
前記領域情報に含まれる情報それぞれを、前記第1のパケットと異なる第2のパケットにそれぞれ格納し、
前記第1のパケットおよび前記第2のパケットを、行ごとに送信させる、請求項1に記載の送信装置。 - 前記第1のパケットは、MIPI(Mobile Industry Processor Interface Alliance)のロングパケットであり、
前記第2のパケットは、MIPIのショートパケットである、請求項18に記載の送信装置。
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880071046.9A CN111295885B (zh) | 2017-11-10 | 2018-08-27 | 发送器 |
US16/761,136 US11606527B2 (en) | 2017-11-10 | 2018-08-27 | Transmitter |
EP18875615.9A EP3709662A4 (en) | 2017-11-10 | 2018-08-27 | TRANSMISSION DEVICE |
KR1020207010595A KR102641559B1 (ko) | 2017-11-10 | 2018-08-27 | 송신 장치 |
JP2019551892A JP7277373B2 (ja) | 2017-11-10 | 2018-08-27 | 送信装置 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017-217833 | 2017-11-10 | ||
JP2017217833 | 2017-11-10 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019092952A1 true WO2019092952A1 (ja) | 2019-05-16 |
Family
ID=66439147
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2018/031565 WO2019092952A1 (ja) | 2017-11-10 | 2018-08-27 | 送信装置 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11606527B2 (ja) |
EP (1) | EP3709662A4 (ja) |
JP (1) | JP7277373B2 (ja) |
KR (1) | KR102641559B1 (ja) |
CN (1) | CN111295885B (ja) |
TW (1) | TW201924324A (ja) |
WO (1) | WO2019092952A1 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020261815A1 (ja) * | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
EP3993392A1 (en) * | 2019-06-28 | 2022-05-04 | Sony Semiconductor Solutions Corporation | Transmission device, reception device, and transport system |
EP3993389A1 (en) * | 2019-06-28 | 2022-05-04 | Sony Semiconductor Solutions Corporation | Transmission device, reception device, and transport system |
EP3993435A4 (en) * | 2019-06-28 | 2022-08-31 | Sony Semiconductor Solutions Corporation | SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112766265B (zh) * | 2021-01-27 | 2023-11-14 | 厦门树冠科技有限公司 | 一种任意形状roi截取方法、系统、介质及设备 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005142654A (ja) * | 2003-11-04 | 2005-06-02 | Matsushita Electric Ind Co Ltd | 映像送信装置および映像受信装置 |
US20090097704A1 (en) * | 2007-10-10 | 2009-04-16 | Micron Technology, Inc. | On-chip camera system for multiple object tracking and identification |
JP2012209831A (ja) | 2011-03-30 | 2012-10-25 | Panasonic Corp | 画像データ制御装置 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2014039219A (ja) | 2012-08-20 | 2014-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法 |
JP2015216558A (ja) * | 2014-05-13 | 2015-12-03 | 富士機械製造株式会社 | 画像転送方法および画像転送装置 |
JP2016504890A (ja) * | 2013-01-25 | 2016-02-12 | イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・(アナフォーカス)Innovaciones Microelectronicas S.L.(Anafocus) | 画像センサ用の高度の関心領域機能 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3197894B2 (ja) | 1989-05-22 | 2001-08-13 | 株式会社リコー | 画像伝送装置 |
GB0416496D0 (en) * | 2004-07-23 | 2004-08-25 | Council Of The Central Lab Of | Imaging device |
JP2006109001A (ja) * | 2004-10-04 | 2006-04-20 | Toshiba Teli Corp | 撮像装置及び画像データ伝送処理装置及び画像データ受信装置 |
JP2012150152A (ja) | 2011-01-17 | 2012-08-09 | Renesas Electronics Corp | データ処理装置及び半導体装置 |
EP2708019B1 (en) * | 2011-05-11 | 2019-10-16 | FotoNation Limited | Systems and methods for transmitting and receiving array camera image data |
JP5932376B2 (ja) * | 2012-02-08 | 2016-06-08 | 富士機械製造株式会社 | 画像転送方法および画像転送装置 |
US20150049098A1 (en) * | 2013-08-13 | 2015-02-19 | Mediatek Inc. | Data processing apparatus for transmitting/receiving compressed pixel data groups via multiple display ports of display interface and related data processing method |
US9258485B2 (en) * | 2014-03-24 | 2016-02-09 | Omnivision Technologies, Inc. | Image sensor cropping images in response to cropping coordinate feedback |
US10009544B2 (en) * | 2014-09-02 | 2018-06-26 | Canon Kabushiki Kaisha | Image capturing apparatus, control method of the same and image sensor |
KR102386385B1 (ko) * | 2017-07-21 | 2022-04-15 | 삼성전자주식회사 | 전자 장치 및 전자 장치의 이미지 압축 방법 |
-
2018
- 2018-08-27 WO PCT/JP2018/031565 patent/WO2019092952A1/ja unknown
- 2018-08-27 CN CN201880071046.9A patent/CN111295885B/zh active Active
- 2018-08-27 US US16/761,136 patent/US11606527B2/en active Active
- 2018-08-27 KR KR1020207010595A patent/KR102641559B1/ko active IP Right Grant
- 2018-08-27 JP JP2019551892A patent/JP7277373B2/ja active Active
- 2018-08-27 EP EP18875615.9A patent/EP3709662A4/en active Pending
- 2018-09-18 TW TW107132737A patent/TW201924324A/zh unknown
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005142654A (ja) * | 2003-11-04 | 2005-06-02 | Matsushita Electric Ind Co Ltd | 映像送信装置および映像受信装置 |
US20090097704A1 (en) * | 2007-10-10 | 2009-04-16 | Micron Technology, Inc. | On-chip camera system for multiple object tracking and identification |
JP2012209831A (ja) | 2011-03-30 | 2012-10-25 | Panasonic Corp | 画像データ制御装置 |
JP2013164834A (ja) | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2014039219A (ja) | 2012-08-20 | 2014-02-27 | Nippon Telegr & Teleph Corp <Ntt> | 映像復号装置、映像送受信システム、映像復号方法及び映像送受信方法 |
JP2016504890A (ja) * | 2013-01-25 | 2016-02-12 | イノバシオネス・ミクロエレクトロニカス・ソシエダッド・リミターダ・(アナフォーカス)Innovaciones Microelectronicas S.L.(Anafocus) | 画像センサ用の高度の関心領域機能 |
JP2015216558A (ja) * | 2014-05-13 | 2015-12-03 | 富士機械製造株式会社 | 画像転送方法および画像転送装置 |
JP2016201756A (ja) | 2015-04-14 | 2016-12-01 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理システム |
Non-Patent Citations (1)
Title |
---|
See also references of EP3709662A4 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020261815A1 (ja) * | 2019-06-28 | 2020-12-30 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
EP3993392A1 (en) * | 2019-06-28 | 2022-05-04 | Sony Semiconductor Solutions Corporation | Transmission device, reception device, and transport system |
EP3993389A1 (en) * | 2019-06-28 | 2022-05-04 | Sony Semiconductor Solutions Corporation | Transmission device, reception device, and transport system |
EP3993389A4 (en) * | 2019-06-28 | 2022-08-17 | Sony Semiconductor Solutions Corporation | TRANSMITTER, RECEIVER AND TRANSPORT SYSTEM |
EP3993392A4 (en) * | 2019-06-28 | 2022-08-24 | Sony Semiconductor Solutions Corporation | TRANSMITTER, RECEIVER AND COMMUNICATION SYSTEM |
EP3993435A4 (en) * | 2019-06-28 | 2022-08-31 | Sony Semiconductor Solutions Corporation | SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM |
US11695883B2 (en) | 2019-06-28 | 2023-07-04 | Sony Semiconductor Solutions Corporation | Transmitting apparatus, receiving apparatus, and transmission system |
US11871008B2 (en) | 2019-06-28 | 2024-01-09 | Sony Semiconductor Solutions Corporation | Transmitting apparatus, receiving apparatus, and transmission system |
JP7499765B2 (ja) | 2019-06-28 | 2024-06-14 | ソニーセミコンダクタソリューションズ株式会社 | 送信装置、受信装置及び伝送システム |
US12041344B2 (en) | 2019-06-28 | 2024-07-16 | Sony Semiconductor Solutions Corporation | Transmitting apparatus, receiving apparatus, and transmission system |
Also Published As
Publication number | Publication date |
---|---|
CN111295885B (zh) | 2023-05-30 |
EP3709662A1 (en) | 2020-09-16 |
JP7277373B2 (ja) | 2023-05-18 |
KR102641559B1 (ko) | 2024-02-28 |
CN111295885A (zh) | 2020-06-16 |
US20200275046A1 (en) | 2020-08-27 |
JPWO2019092952A1 (ja) | 2020-11-19 |
US11606527B2 (en) | 2023-03-14 |
TW201924324A (zh) | 2019-06-16 |
KR20200087751A (ko) | 2020-07-21 |
EP3709662A4 (en) | 2020-12-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019092952A1 (ja) | 送信装置 | |
JP7007160B2 (ja) | 送信装置 | |
JP7163285B2 (ja) | 映像送信装置および映像受信装置 | |
JP7357620B2 (ja) | 画像処理装置、および画像処理システム | |
JP7152475B2 (ja) | 送信装置、受信装置、及び通信システム | |
JP7414733B2 (ja) | 受信装置および送信装置 | |
TWI827725B (zh) | 圖像處理裝置及圖像處理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18875615 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2019551892 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2018875615 Country of ref document: EP Effective date: 20200610 |