WO2019021793A1 - 画像処理装置および撮像装置 - Google Patents
画像処理装置および撮像装置 Download PDFInfo
- Publication number
- WO2019021793A1 WO2019021793A1 PCT/JP2018/025840 JP2018025840W WO2019021793A1 WO 2019021793 A1 WO2019021793 A1 WO 2019021793A1 JP 2018025840 W JP2018025840 W JP 2018025840W WO 2019021793 A1 WO2019021793 A1 WO 2019021793A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image processing
- unit
- input
- output
- pipeline
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
- G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
- G06F13/20—Handling requests for interconnection or transfer for access to input/output bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F15/00—Digital computers in general; Data processing equipment in general
- G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
- G06F15/163—Interprocessor communication
- G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/21—Intermediate information storage
- H04N1/2104—Intermediate information storage for one or a few pictures
- H04N1/2112—Intermediate information storage for one or a few pictures using still video cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Definitions
- the present invention relates to an image processing apparatus and an imaging apparatus.
- the present application claims priority based on PCT Patent Application No. PCT / JP2017 / 026672 filed July 24, 2017, the contents of which are incorporated herein by reference.
- an imaging device such as a still image camera, a moving image camera, a medical endoscope camera, or an industrial endoscope camera
- various image processing is performed by an image processing device such as a system LSI mounted. Therefore, it is desirable that the image processing apparatus be provided with an image processing function for realizing the function installed in the imaging apparatus.
- a display device for displaying an image captured by an imaging device has been advanced.
- an image having a resolution of full HD size (1920 ⁇ 1080) compatible with high definition television (HDTV) or a resolution of 4K size (3840 ⁇ 2160) compatible with ultra high definition television (UHDTV) You can display the image you have.
- a plurality of processing blocks incorporated to realize an image processing function are one DRAM (Dynamic Random Access Memory) connected to the image processing apparatus.
- the shared configuration is adopted.
- a plurality of built-in processing blocks are connected to an internal data bus of the image processing apparatus, and each processing block is connected by DMA (Direct Memory Access) via the data bus. Access the DRAM. Therefore, in the image processing apparatus, the amount of data handled in the image processing, that is, the bus bandwidth required for each processing block to access the DRAM changes depending on the resolution and frame rate of the image to be subjected to the image processing. .
- the image processing apparatus is provided with an image processing function corresponding to a high resolution image or a high frame rate image, the amount of data handled in the image processing increases, and the necessary DRAM bus bandwidth also increases. Further, in an image processing apparatus corresponding to a high resolution image or a high frame rate image, each of a plurality of built-in processing blocks also needs to operate at high speed.
- an image processing unit that performs a series of image processing in the imaging apparatus is a processing block configured to perform pipeline processing.
- high speed processing of a series of image processing in the imaging device is realized by pipeline processing in an image processing unit in which a plurality of image processing modules for performing respective image processing are connected in series. it can.
- the image processing apparatus having such a configuration, since the image processing modules that perform pipeline processing do not access the DRAM except for the processing modules on the data input side and the output side provided in the image processing unit, the image It is possible to avoid the compression of the bus band of the DRAM at the time of processing and to reduce the power consumption of the image processing apparatus.
- Patent Document 1 discloses a technology for realizing various image processing apparatuses having different functions by a plurality of ASICs. More specifically, in Patent Document 1, a low-function image processing apparatus is realized at optimum cost using only a basic function ASIC having a minimum function necessary for image processing, and many basic function ASICs A technology for realizing a multifunctional high-performance image processing apparatus using a high-performance ASIC having the functions of (1) and (2) has been disclosed. Therefore, by applying the technology disclosed in Patent Document 1 to an imaging device, it is considered that various types of imaging devices can be developed. In other words, by mounting only the low-performance image processing device, a low-cost imaging device is realized, and by mounting both the low-performance image processing device and the high-performance image processing device, high-performance imaging It is believed that the device can be realized.
- Patent Document 1 is a technology for extending the function of an image processing apparatus by connecting a high function ASIC to a basic function ASIC, it is required in a high-performance image processing apparatus There is no disclosure of a technology relating to securing of a DRAM DRAM bus bandwidth. That is, in the case of connecting a high function ASIC to a basic function ASIC, Patent Document 1 discloses a technology for securing a bus band of DRAM and reducing the bus band which can be increased to realize each function. Has not been disclosed.
- the image processing function can be expanded by applying the technology disclosed in Patent Document 1 in the imaging device, the bus band of DRAM required in the image processing device mounted in the imaging device is secured. It is conceivable that a configuration can not be realized which achieves the high processing power (processing speed) required to cope with high resolution images and high frame rate images.
- the present invention is made based on the above problem recognition, and each processing block provided in the image processing apparatus can secure a bus bandwidth necessary for accessing the shared DRAM.
- An object of the present invention is to provide an image processing apparatus and an imaging apparatus.
- the image processing apparatus is connected to a common data bus, and predetermined for data read from the data storage unit connected to the data bus via the data bus.
- An image processing apparatus having a plurality of processing units for performing the processing, wherein at least one of the processing units includes a plurality of processing modules for performing predetermined processing on input data, and the data bus
- An input / output module that operates as the processing module that inputs and outputs data directly to and from the outside without changing the connection, and a connection switching unit that switches the connection between the processing modules according to the input settings and changes the configuration of the pipeline
- An image processing unit that performs pipeline processing by each of the processing modules that make up the pipeline, The input / output position determination for determining the configuration of the pipeline in the image processing unit based on the operation detection unit that detects the operation of the processing unit and the information on the operation of the processing unit detected by the operation detection unit And an information output unit that outputs information on the configuration of the pipeline determined by the input / output position determination unit to the outside; and an information input unit that
- the operation detection unit is an operation involving access to the data storage unit by the respective processing units via the data bus. Is detected as the operation of each of the processing units, and the input / output position determination unit determines the bandwidth of the data bus required when each of the processing units accesses the data storage unit via the data bus.
- the configuration of the pipeline for dividing pipeline processing to be applied in the image processing unit may be determined in order to bring the sum within the maximum band in the data storage unit connected to the data bus.
- the input / output position determination unit is configured in the image processing unit to divide pipeline processing to be performed in the image processing unit.
- the position of the input / output module to be incorporated in the pipeline may be determined.
- the imaging device comprises a plurality of the image processing devices of the second aspect, and each of the image processing devices comprises the input / output module provided in the image processing device of the preceding stage
- the connection switching unit in the image processing unit connected to each other by connecting the output of the image processing apparatus and the input of the input / output module provided in the image processing apparatus in the subsequent stage,
- the connection between the processing modules in the pipeline configured in the image processing unit is switched according to the information of the configuration of the pipeline determined by the input / output position determination unit provided in any one of the image processing apparatuses.
- the input / output position determination unit provided in any one of the image processing devices is detected by the corresponding operation detection unit
- the input / output module incorporated in the pipeline configured in each of the image processing units in order to share the pipeline processing in each of the image processing units based on the information of the operation of each of the processing units Determining the configuration of the pipeline including the position of the information processing unit, and the information output unit provided in any one of the image processing devices, the information of the configuration of the pipeline determined by the input / output position determination unit
- the connection switching unit in the image processing unit provided in each of the image processing apparatuses outputs the information to the information input unit provided in the image processing apparatus;
- the input / output module is incorporated in the position of the input / output module included in the information of the configuration of the pipeline determined by the corresponding unit or received by the corresponding information input unit, and the image processing unit is configured
- the connection between the processing modules in the pipeline may be switched.
- the input / output position determination unit provided in any one of the image processing devices performs processing in each of the image processing devices
- the total bandwidth of the data bus required for accessing the data storage unit via the corresponding data bus by each of the processing units to be applied is the maximum in the data storage unit connected to the corresponding data bus
- the position of the input / output module incorporated in the pipeline configured in each of the image processing units may be determined in order to be within the band of
- an output of the input / output module provided in the image processing apparatus of the final stage connected to the beaded string and the image of the first stage is connected to connect all the image processing devices in an annular shape, and the data processed by each of the image processing devices is any one of the above-described ones
- the data may be collected in the data storage unit connected to the data bus of the image processing apparatus.
- the imaging device comprises a plurality of the image processing devices of the second aspect, and each of the image processing devices comprises the input / output module provided in the image processing device of the preceding stage. And the input of the input / output module provided in the image processing apparatus in the subsequent stage are connected via an external image processing apparatus that performs other image processing, and the images provided in each of the image processing apparatuses
- the connection switching unit in the processing unit is configured in the image processing unit in accordance with the information on the configuration of the pipeline determined by the input / output position determining unit provided in any one of the image processing devices. Switch the connection between processing modules.
- FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus provided with an image processing apparatus according to an embodiment of the present invention. It is the figure which showed typically the flow of the data in the imaging device provided with the image processing apparatus of embodiment of this invention. It is the figure which showed typically the flow of the data in the imaging device of the structure provided with two or more image processing apparatuses of embodiment of this invention. It is the figure which showed typically the flow of the data in the imaging device of another structure which equipped with multiple image processing apparatuses of embodiment of this invention. It is the figure which showed typically the flow of the data in the imaging device of another structure which equipped with multiple image processing apparatuses of embodiment of this invention.
- FIG. 1 is a block diagram showing a schematic configuration of an imaging apparatus provided with an image processing apparatus according to an embodiment of the present invention.
- the image processing apparatus 10 illustrated in FIG. 1 includes a DMA (Direct Memory Access) bus 110, an imager interface (I / F) unit 120, an imaging processing unit 130, a CPU (Central Processing Unit) 140, and an image processing unit. 150, an external input interface (I / F) unit 161, an external output interface (I / F) unit 162, an operation detection unit 170, an input / output position determination unit 180, and a communication interface (I / F) unit 191.
- DMA Direct Memory Access
- the image processing unit 150 further includes a connection switching unit 151, an input DMA module 152, three image processing modules 153-1 to 153-3, an input / output module 154, and an output DMA module 155. Is equipped.
- the DRAM 70 is shown as a component in the imaging device 1 related to the image processing apparatus 10 according to the embodiment of the present invention, and illustration of other components provided in the imaging device 1 is omitted.
- a solid-state imaging device (hereinafter, also referred to as an "imager") that photoelectrically converts an optical image of an object or an optical image of the object is formed on an imager.
- an imager a solid-state imaging device that photoelectrically converts an optical image of an object or an optical image of the object is formed on an imager.
- a lens a recording medium such as a memory card for recording data of an image subjected to image processing by the image processing apparatus 10
- a display device such as a display device for displaying an image subjected to image processing by the image processing apparatus 10.
- the other components included in the imaging device 1 described above may be configured to be removable from the imaging device 1.
- a system control device for controlling the image processing device 10 or the other components described above may be included.
- the DRAM 70 is a data storage unit connected to the DMA bus 110 in the image processing apparatus 10 and storing various data processed in the imaging device 1.
- the DRAM 70 stores still image data output from an imager (not shown) provided in the imaging device 1.
- image processing is performed on the still image data stored in the DRAM 70.
- the image processing apparatus 10 performs image processing on still image data stored in the DRAM 70
- the image processing apparatus 10 performs image processing on each still image of one frame, that is, the entire still image of one frame.
- the data of one frame of the still image stored in the DRAM 70 may be divided into a plurality of predetermined small blocks, and image processing may be performed for each block.
- the image processing apparatus 10 does not distinguish the image processing method, and still image data of one frame stored in the DRAM 70 (hereinafter simply referred to as “image data” Will be described as being configured to perform image processing.
- the DMA bus 110 is a data bus for the connected components to access the DRAM 70 by DMA.
- the CPU 140 is a control unit that controls the entire image processing apparatus 10 by controlling the respective components provided in the image processing apparatus 10.
- the CPU 140 controls the entire image processing apparatus 10 in accordance with a program or data for controlling each component.
- the program and data for the CPU 140 to control the entire image processing apparatus 10 may be stored in the DRAM 70 connected to the DMA bus 110. In this case, the CPU 140 controls the entire image processing apparatus 10 by reading and executing programs and data stored in the DRAM 70.
- the imager interface unit 120 is an interface unit with an imager (not shown) provided in the imaging device 1.
- the imager interface unit 120 receives signals of respective pixels (hereinafter referred to as “pixel signals”) representing an optical image of an object output from an imager (not shown) based on settings from the CPU 140, and receives the received pixel signals. It outputs (transmits) to the imaging processing unit 130.
- the imager interface unit 120 converts the analog pixel signal output from the imager (not shown) into a digital pixel signal.
- a digital signal (hereinafter referred to as “pixel data”) may be output to the imaging processing unit 130.
- the imager interface unit 120 is often used in a solid-state imaging device (imager), for example, a differential interface method.
- the transmission method according to the Low Voltage Differential Signaling (LVDS) method may be configured to receive a pixel signal (pixel data) output from an imager (not shown).
- the transmission method for the imager interface unit 120 to receive the pixel signal (pixel data) output from the imager (not shown) is not limited to the above-described transmission method.
- the imaging processing unit 130 performs various processes on the pixel data output from the imager interface unit 120 based on the setting from the CPU 140. Examples of processing that the imaging processing unit 130 applies to pixel data include shading correction that corrects the brightness of the entire image represented by the pixel data, black level correction that corrects the fluctuation of the black level of the entire image, and an imager (not shown). Pre-processing such as pixel defect correction for replacing pixel data corresponding to a defective pixel included in.
- the imaging processing unit 130 writes (stores) the image data including the preprocessed pixel data in the DRAM 70 by DMA via the DMA bus 110.
- the imaging processing unit 130 performs auto exposure (Auto Exposure: AE), auto focus (AF), auto white balance (Auto White Balance: based on preprocessed pixel data and image data).
- a function such as AE / AF detection processing for generating an evaluation value for controlling photographing of a subject in the imaging device 1 may be provided, such as AWB).
- the imaging processing unit 130 writes (stores) the data of the evaluation value generated by the AE / AF detection processing in the DRAM 70 by the DMA via the DMA bus 110 as data obtained by detecting the AE / AF.
- the image processing unit 150 performs various predetermined image processing on the input image data.
- the image processing unit 150 is a pipeline processing unit configured to perform a series of image processing predetermined in the image processing apparatus 10. More specifically, the image processing unit 150 performs image processing by pipeline processing in which the input DMA module 152, the image processing module 153-1 to the image processing module 153-3, and the output DMA module 155 are connected in series. In step 10, a predetermined series of image processing is sequentially performed.
- the image processing module 153-1 to the image processing module 153-3 are referred to as "image processing module 153" when they are referred to without distinction.
- the image processing unit 150 has a function of selecting image processing included in pipeline processing, and a function of changing the order of image processing to be performed by pipeline processing. That is, the image processing unit 150 has a function of changing the configuration of the pipeline.
- the image processing unit 150 can configure a pipeline that sequentially performs image processing by each of the image processing module 153-1 to the image processing module 153-3.
- the image processing unit 150 can configure a pipeline for performing image processing by changing the order of the image processing module 153-1 to the image processing module 153-3.
- the image processing unit 150 can configure a pipeline that performs image processing by one or more of the image processing module 153-1 to the image processing module 153-3.
- the configuration of the pipeline in the image processing unit 150 is changed (set) by an input / output position determination unit 180 described later.
- the configuration of the pipeline in the image processing unit 150 can also be changed (set) from the outside of the image processing apparatus 10 (for example, a system control apparatus or the like) via the communication interface unit 191 described later.
- the image processing unit 150 also has a function of performing image processing on image data input from the outside of the image processing apparatus 10 by each of the image processing module 153-1 to the image processing module 153-3. Further, the image processing unit 150 has a function of outputting the image data subjected to the image processing by each of the image processing module 153-1 to the image processing module 153-3 to the outside of the image processing apparatus 10. In other words, the image processing unit 150 has a function of directly inputting / outputting image data to / from another image processing apparatus or the like provided outside the image processing apparatus 10 as another component of the imaging apparatus 1. There is.
- the image processing unit 150 performs the image data processing module 153-1 to the image processing module 153-provided outside the image processing apparatus 10 by the function of directly inputting and outputting the image data to and from the outside of the image processing apparatus 10. Image processing different from the image processing applied by each of the three can be incorporated into pipeline processing. That is, the image processing unit 150 can incorporate image processing, which is not performed in any of the image processing modules 153 of the image processing module 153-1 to the image processing module 153-3, into pipeline processing.
- the imaging apparatus 1 is provided with a plurality of image processing apparatuses 10
- the part 150 can share and give.
- the imaging device 1 has a configuration including two image processing devices 10
- the image processing unit 150 provided in each of the two image processing devices 10 shares pipeline processing to be performed as a series of image processing. Can.
- the image processing unit 150 has a function of directly inputting and outputting image data to and from the outside of the image processing apparatus 10, a function of incorporating different image processing into pipeline processing, This function is realized by incorporating an input / output module 154 described later into the pipeline configuration of the image processing module 153-1 to the image processing module 153-3.
- the configuration of the pipeline in the image processing unit 150 is the setting from the input / output position determination unit 180 described later, or the outside of the image processing apparatus 10 input via the communication interface unit 191 described later. It is changed (set) by control from. Therefore, in the image processing unit 150, setting as to whether or not the input / output module 154 is to be incorporated into the pipeline, setting of a position to incorporate the input / output module 154 into the pipeline, etc. It is set together with the setting of the function for changing the configuration of the above-mentioned pipeline by setting or control from the outside (for example, a system control device etc.) of the image processing apparatus 10 inputted via the communication interface unit Ru.
- any one image processing device 10 changes (sets) the pipeline configuration in each of the image processing units 150 together with the setting of the function for changing the configuration of the pipeline described above.
- the outside of each of the image processing devices 10 passes through each communication interface unit 191 described later.
- the pipeline configuration in each image processing unit 150 may be changed (set).
- the input / output module 154 is incorporated at the position between the image processing module 153-2 and the image processing module 153-3 in the image processing unit 150. It shows. However, as described above, the position where the input / output module 154 is incorporated in the pipeline in the image processing unit 150 is input via the setting from the input / output position determination unit 180 described later or the communication interface unit 191 described later. It is changed (set) by control from the outside of the image processing apparatus 10. Therefore, the position where the input / output module 154 is incorporated in the pipeline in the image processing unit 150 is not limited to the position shown in FIG. 1, and may be incorporated in any position in the pipeline configuration in the image processing unit 150. Can. That is, in the image processing unit 150, the input / output module 154 can be incorporated at any position such as the top, middle, or tail of the pipeline.
- connection switching unit 151 is provided in the image processing unit 150 according to the setting from the input / output position determination unit 180 described later and the control from the outside of the image processing apparatus 10 input via the communication interface unit 191 described later. Switches the output destination of the image data output by the processing module. That is, the connection switching unit 151 switches the connection between the processing modules provided in the image processing unit 150. More specifically, the connection switching unit 151 controls the image according to the setting from the input / output position determination unit 180 described later and the control from the outside of the image processing apparatus 10 input via the communication interface unit 191 described later.
- the output destination of the image data output from each of the input DMA module 152, the image processing module 153-1, the image processing module 153-3, the input / output module 154, and the output DMA module 155 provided in the processing unit 150 is switched.
- the function of selecting the image processing included in the pipeline processing, the function of changing the order of the image processing to be performed by the pipeline processing, and the outside of the image processing apparatus 10 are described.
- a function of changing the configuration of the pipeline such as a function of directly inputting and outputting image data (a function of incorporating different image processing into pipeline processing and a function of sharing pipeline processing) is realized.
- the image processing unit 150 performs image processing of only the image processing module 153-2.
- the connection switching unit 151 connects the output terminal of the input DMA module 152 and the input terminal of the image processing module 153-2 and outputs the output terminal of the image processing module 153-2 and the input terminal of the output DMA module 155. Switch the connection of each component to connect.
- the image processing unit 150 performs image processing in the order of the image processing module 153-3 and the image processing module 153-1.
- connection switching unit 151 connects the output terminal of the input DMA module 152 and the input terminal of the image processing module 153-3, and the output terminal of the image processing module 153-3 and the input terminal of the image processing module 153-1. To connect the output terminal of the image processing module 153-1 to the input terminal of the output DMA module 155, switching the connection of each component. Further, for example, it is assumed that the image processing unit 150 performs image processing outside the image processing apparatus 10 subsequently to the image processing module 153-2. In this case, the connection switching unit 151 connects the output terminal of the input DMA module 152 to the input terminal of the image processing module 153-2, and the output terminal of the image processing module 153-2 and the input terminal of the input / output module 154. To connect the output terminals of the input / output module 154 and the input terminals of the output DMA module 155, switching the connection of each component.
- the image processing unit 150 included in one of the image processing devices 10 performs image processing of only the image processing module 153-2, and A case where image processing of only the image processing module 153-3 is performed by the image processing unit 150 provided in 10 will be considered.
- the connection switching unit 151 provided in one image processing apparatus 10 connects the output terminal of the input DMA module 152 and the input terminal of the image processing module 153-2, and In order to connect to the input terminal of the input / output module 154, the connection of each component is switched.
- connection switching unit 151 provided in the other image processing apparatus 10 connects the output terminal of the input / output module 154 to the input terminal of the image processing module 153-3, and In order to connect to the input terminal of the output DMA module 155, the connection of each component is switched.
- the input / output module 154 can be incorporated at any position such as the top, middle, or tail of the pipeline.
- the connection switching unit 151 connects the output terminal of the input DMA module 152 to the input terminal of the input / output module 154, and outputs the output terminal of the input / output module 154 and the input terminal of the image processing module 153-1.
- connection switching unit 151 connects the output terminal of the input DMA module 152 to the input terminal of the image processing module 153-2, and the output terminal of the image processing module 153-2 and the input terminal of the input / output module 154.
- connection switching unit 151 connects the output terminal of the input DMA module 152 to the input terminal of the image processing module 153-3, and the output terminal of the image processing module 153-3 and the input terminal of the input / output module 154.
- image processing outside the image processing apparatus 10 should be considered as image processing (pipeline processing) performed by the image processing unit 150 provided in another image processing apparatus 10 in the imaging apparatus 1 provided with a plurality of image processing apparatuses 10 You can also.
- the image processing unit 150 included in one of the image processing apparatuses 10 performs the image processing of the image processing module 153-1
- the other image processing apparatus 10 is The image processing unit 150 performs the image processing of only the image processing module 153-2, and the image processing unit 150 included in one of the image processing apparatuses 10 performs the image processing of the image processing module 153-3 again. It can also be done.
- connection switching unit 151 provided in one image processing apparatus 10 connects the output terminal of the input DMA module 152 to the input terminal of the image processing module 153-1, and outputs the output terminal of the image processing module 153-1. In order to connect to the input terminal of the input / output module 154, the connection of each component is switched. Further, the connection switching unit 151 provided in one image processing apparatus 10 connects the output terminal of the input / output module 154 and the input terminal of the image processing module 153-3, and outputs the output terminal of the image processing module 153-3. In order to connect to the input terminal of the output DMA module 155, the connection of each component is switched.
- connection switching unit 151 provided in the other image processing apparatus 10 connects the output terminal of the input / output module 154 and the input terminal of the image processing module 153-2 and outputs the output terminal of the image processing module 153-2. In order to connect to the input terminal of the input / output module 154, the connection of each component is switched.
- the image processing unit 150 can incorporate only the input / output module 154 into the pipeline. That is, the image processing unit 150 can output the image data stored in the DRAM 70 to the outside, and store the image data input from the outside in the DRAM 70 again. More specifically, the connection switching unit 151 connects the output terminal of the input DMA module 152 to the input terminal of the input / output module 154, and the output terminal of the input / output module 154 and the input terminal of the output DMA module 155. Switch the connection of each component to connect. Accordingly, the image processing unit 150 can perform only the input / output module 154, that is, only the image processing by the outside of the image processing apparatus 10 as pipeline processing.
- the image processing unit 150 provided in one image processing device 10 does not perform image processing, that is, one image processing device 10 to the other image
- a case is considered in which image processing is performed by the image processing unit 150 provided in the other image processing apparatus 10 only by transferring the image data to the processing apparatus 10.
- the connection switching unit 151 provided in one image processing apparatus 10 switches the connection of each component.
- the connection switching unit 151 provided in the other image processing apparatus 10 connects the output terminal of the input / output module 154 and the input terminal of the image processing module 153 that performs image processing, and performs the image processing module 153 that performs image processing. In order to connect the output terminal of and the input terminal of the output DMA module 155, the connection of each component is switched.
- the connection switching unit 151 included in the other image processing apparatus 10 is an output terminal of the input / output module 154.
- the connection of each component can also be switched to connect with the input terminal of the output DMA module 155. In this case, the image data is transferred from the DRAM 70 connected to one image processing apparatus 10 to the DRAM 70 connected to the other image processing apparatus 10.
- the input DMA module 152 reads the image data stored in the DRAM 70 by DMA, and the processing module of the connection destination whose connection is switched by the connection switching unit 151 as a processing module that performs image processing next. Processing module for outputting to More specifically, the input DMA module 152 reads the image data stored in the DRAM 70 by the DMA via the DMA bus 110 based on the setting from the CPU 140. Then, the input DMA module 152 sends the read image data to any of the image processing module 153 and the input / output module 154 connected as a processing module that performs image processing next via the connection switching unit 151. Output.
- the input DMA module 152 may be configured to include a data buffer capable of temporarily storing a predetermined number of pixel data (pixel data subjected to preprocessing) included in image data.
- the input DMA module 152 temporarily stores each of a predetermined number of pixel data included in the image data read from the DRAM 70 via the DMA bus 110 in the data buffer. Then, the input DMA module 152 processes, as the respective pixel data included in the image data read from the DRAM 70, the respective pixel data temporarily stored in the data buffer, the image processing of the connection destination in which the connection is switched by the connection switching unit 151.
- the data is output to one of the module 153 and the input / output module 154.
- Each of the image processing module 153-1 to the image processing module 153-3 is a processing module for performing various predetermined digital image processing on image data input via the connection switching unit 151. is there. More specifically, each of the image processing module 153-1 to the image processing module 153-3 is an input DMA module of the connection destination to which the connection is switched by the connection switching unit 151 as a processing module that has been subjected to image processing previously. Image data to be subjected to image processing is input from any of the other image processing modules 153 and the input / output module 154 via the connection switching unit 151. Each of the image processing module 153-1 to the image processing module 153-3 performs predetermined image processing on the image data input via the connection switching unit 151 based on the setting from the CPU 140.
- the image processing performed by the image processing module 153 includes, for example, YC processing for generating Y (luminance) signals and C (color) signals corresponding to respective pixel data included in the image data, and is included in each pixel data
- YC processing for generating Y (luminance) signals and C (color) signals corresponding to respective pixel data included in the image data
- Noise reduction processing to reduce noise, LPF processing to suppress high frequency components in the image represented by each pixel data, edge enhancement processing to emphasize the outline of the subject included in the image represented by each pixel data, etc. include.
- an image according to the input image data that is, an image for displaying an image captured by the imaging device 1 on a display device (not shown) is generated.
- Image processing image processing for generating an image for recording an image captured by the imaging device 1 on a recording medium (not shown), processing for transmitting input image data to another device, and the like are also included.
- Each of the image processing module 153-1 to the image processing module 153-3 performs connection switching on image data obtained by performing the above-described image processing on image data input via the connection switching unit 151. It is output to any of the other image processing module 153, the input / output module 154, or the output DMA module 155 of the connection destination whose connection has been switched by 151.
- Each of the image processing module 153-1 to the image processing module 153-3 may also be configured to include a data buffer capable of temporarily storing a predetermined number of pixel data included in image data. .
- each of the image processing module 153-1 to the image processing module 153-3 performs a data buffer for each of a predetermined number of pixel data included in image data input via the connection switching unit 151. Temporarily store in Then, each of the image processing module 153-1 to the image processing module 153-3 performs image processing on each pixel data temporarily stored in the data buffer.
- each of the image processing module 153-1 to the image processing module 153-3 switches the connection by the connection switching unit 151 as each pixel data subjected to the image processing as each pixel data included in the image data.
- the image data is output to one of the other image processing module 153, the input / output module 154, or the output DMA module 155, which is the connection destination.
- each of the image processing module 153-1 to the image processing module 153-3 performs image processing on the image data input via the connection switching unit 151, and temporarily stores the image data in the data buffer.
- the image data temporarily stored in may be output to the connection destination whose connection has been switched by the connection switching unit 151.
- the configuration of the image processing unit 150 including the three image processing modules 153 of the image processing module 153-1 to the image processing module 153-3 is shown.
- the number of image processing modules 153 provided in the processing unit 150 is not limited to three as shown in FIG. That is, the image processing unit 150 may be configured to include more image processing modules 153.
- processing image data when the image data subjected to the image processing by one of the image processing modules 153 is to be distinguished from the image data to be subjected to the image processing stored in the DRAM 70 It is called "processed image data".
- the input / output module 154 directly inputs image data from the outside of the image processing apparatus 10 to the image processing unit 150, and directly outputs the image data subjected to image processing by the image processing unit 150 to the outside of the image processing apparatus 10. It is an interface module.
- the input / output module 154 is an image outside the image processing apparatus 10, such as another image processing apparatus (may be the other image processing apparatus 10) provided as another component in the imaging apparatus 1.
- the interface module is an interface module for incorporating image processing (hereinafter referred to as “external image processing”) performed in a processing apparatus (hereinafter referred to as “external image processing apparatus”) into pipeline processing in the image processing unit 150.
- the input / output module 154 has a configuration in which the imaging device 1 includes a plurality of image processing devices 10, pipeline processing is divided into the image processing units 150 included in the respective image processing devices 10.
- Interface module More specifically, the input / output module 154 receives the image data that the connected external input interface unit 161 receives from the external image processing apparatus or another image processing apparatus 10 based on the setting from the CPU 140 and outputs it. Are output directly to either the image processing module 153 or the output DMA module 155 of the connection destination whose connection has been switched by the connection switching unit 151 without passing through the DMA bus 110.
- the input / output module 154 receives the connection switching unit 151 from either the input DMA module 152 or the image processing module 153 of the connection destination whose connection is switched by the connection switching unit 151 based on the setting from the CPU 140.
- the input image data is output to the external image processing apparatus or another image processing apparatus 10 by outputting the image data directly to the connected external output interface unit 162 without passing through the DMA bus 110.
- the input / output module 154 can also temporarily store a predetermined number of pixel data included in image data directly input from an external image processing apparatus or output directly to an external image processing apparatus.
- the configuration may include a buffer.
- the input / output module 154 temporarily stores each of a predetermined number of pixel data included in the image data that the external input interface unit 161 receives and outputs from the external image processing apparatus in the data buffer.
- the connection switching unit 151 switches the connection of each of the pixel data temporarily stored in the data buffer as each pixel data included in the image data directly input from the external image processing apparatus.
- the image data is output to either the image processing module 153 or the output DMA module 155 of the connection destination.
- the input / output module 154 is included in the image data input via the connection switching unit 151 from either the input DMA module 152 or the image processing module 153 of the connection destination whose connection has been switched by the connection switching unit 151.
- Each of the predetermined number of pixel data to be stored is temporarily stored in the data buffer.
- the input / output module 154 transmits the respective pixel data temporarily stored in the data buffer to the external output interface unit 162 connected as the respective pixel data included in the image data to be directly output to the external image processing apparatus. Output.
- the configuration of the image processing unit 150 provided with one input / output module 154 is shown, but the number of input / output modules 154 provided in the image processing unit 150 is However, it is not limited to one as shown in FIG. That is, the image processing unit 150 includes more input / output modules 154, incorporates a plurality of external image processing into the pipeline processing in the image processing unit 150, or performs a plurality of image processing in the pipeline processing in the image processing unit 150. It may be a configuration that can be shared by the device 10.
- image processing directly stored in the image processing apparatus 10 that is, the image processing unit 150
- image processing stored in the DRAM 70 When it is distinguished from the target image data and the image data (processed image data) subjected to the image processing by any of the image processing modules 153, it is referred to as "externally processed image data".
- the output DMA module 155 DMA stores the image data output from any of the processing modules of the connection destination switched by the connection switching unit 151 as the processing module subjected to the image processing in the DRAM 70 by DMA. It is a processing module. More specifically, the output DMA module 155 receives processed image data after image processing is performed by the image processing module 153 of the connection destination whose connection is switched by the connection switching unit 151, or external to the input / output module 154. Externally processed image data directly input from the image processing apparatus is input via the connection switching unit 151. The output DMA module 155 outputs the processed image data or externally processed image data input via the connection switching unit 151 to the DRAM 70 by DMA via the DMA bus 110 and writes the data based on the setting from the CPU 140 ( Remember).
- the output DMA module 155 may also be configured to include a data buffer capable of temporarily storing a predetermined number of pixel data included in the processed image data and the externally processed image data.
- the output DMA module 155 temporarily stores, in the data buffer, each of the predetermined number of pixel data included in the processed image data or externally processed image data input via the connection switching unit 151. Then, the output DMA module 155 passes each pixel data temporarily stored in the data buffer via the DMA bus 110 as each piece of pixel data included in the processed image data to be written (stored) in the DRAM 70 or stored in the externally processed image data. Output to the DRAM 70.
- Each of the external input interface unit 161 and the external output interface unit 162 is an external image processing apparatus (may be another image processing apparatus 10) provided outside the image processing apparatus 10 and connected in the imaging apparatus 1. And the interface between Note that the external image processing apparatus connected to the external input interface unit 161 and the external image processing apparatus connected to the external output interface unit 162 may be the same external image processing apparatus, or different external image processing apparatuses It may be
- the external input interface unit 161 receives externally processed image data output from the connected external image processing apparatus, and the externally processed image data received is directly provided to the image processing unit 150 without passing through the DMA bus 110. It outputs (transmits) to the input / output module 154. Also, the external output interface unit 162 directly outputs the processed image data output from the input / output module 154 provided in the image processing unit 150 to the connected external image processing apparatus without passing through the DMA bus 110. (Transmit)
- the transmission method of processed image data between the external input interface unit 161 and the external output interface unit 162 with the external image processing apparatus is various existing data transmission methods used for data transmission among a plurality of system LSIs. Specifications and methods can be used.
- PCI-Express Peripheral Component Interconnect-Express
- USB Universal
- a transmission scheme conforming to various predetermined high-speed serial bus specifications such as Serial Bus (registered trademark) may be used.
- a transmission method for transmitting processed image data between the external input interface unit 161 and the external output interface unit 162 with the external image processing apparatus a transmission method in accordance with the AXI (Advanced eXtensible Interface) specification is used. It is also good.
- the specification and transmission method for transmitting processed image data between the external input interface unit 161 and the external output interface unit 162 with the external image processing apparatus are not limited to the above specifications and transmission method.
- Each of the external input interface unit 161 and the external output interface unit 162 corresponds to a plurality of specifications and transmission methods used for data transmission among a plurality of system LSIs, and is connected to an external image processing apparatus.
- the specification and the transmission method used when transferring processed image data with the external image processing apparatus may be changed. Therefore, in the present invention, the specification and transmission method for transmitting processed image data between the external input interface unit 161 and the external output interface unit 162 with the external image processing apparatus are not particularly defined.
- each of the external input interface unit 161 and the external output interface unit 162 has a format of processed image data handled by the input / output module 154 when the processed image data is exchanged with the external image processing apparatus, and A function may be provided to match the format of image data handled by the image processing apparatus, that is, the format of processed image data to be exchanged with an external image processing apparatus.
- the input / output module 154 handles the externally processed image data output in a format handled by the external image processing apparatus, That is, the image processing module 153 may have a function to continue image processing or a function to convert the connection switching unit 151 into a format to be output to the DRAM 70 and then output to the input / output module 154.
- the external output interface unit 162 handles the format of the processed image data output from the input / output module 154 in the external image processing apparatus. It may have a function of converting to a format and outputting (transmitting) to an external image processing apparatus.
- each of the external input interface unit 161 and the external output interface unit 162 is not limited to a configuration provided exclusively for passing externally processed image data to and from an external image processing apparatus. That is, the external input interface unit 161 is exclusively provided to receive the externally processed image data output from the connected external image processing apparatus, and the external output interface unit 162 is connected to the connected external image processing apparatus.
- the present invention is not limited to the configuration provided exclusively for outputting (transmitting) processed image data.
- the external input interface unit 161 is configured to use a transmission method according to the LVDS method as a transmission method of externally processed image data to and from the external image processing apparatus, so that an imager (not shown) outputs May be configured together with the imager interface unit 120 configured to receive a pixel signal.
- the external output interface unit 162 outputs data of an image to be displayed on a display device (not shown) or the like which is described later
- the video interface unit 220 may be configured together with a configuration that uses a transmission scheme according to the same transmission scheme as the data transmission scheme in use. Therefore, in the present invention, the respective configurations of the external input interface unit 161 and the external output interface unit 162 are not particularly defined.
- the digital signal processor 200 is a signal processing unit that performs various predetermined digital signal processing (image processing) on image data (including processed image data and externally processed image data) stored in the DRAM 70. is there. More specifically, the digital signal processor 200 reads image data stored in the DRAM 70 by DMA via the DMA bus 110 based on settings from the CPU 140, for example. Then, the digital signal processor 200 performs image processing on the read image data.
- the image processing performed by the digital signal processor 200 is not performed in any of the image processing modules 153 of the image processing module 153-1 to the image processing module 153-3 included in the image processing unit 150 (hereinafter referred to as “image processing module DSP image processing).
- the digital signal processor 200 performs DSP image processing different from the series of image processing performed by the image processing unit 150 on the read image data.
- the digital signal processor 200 performs, as DSP image processing, processing using a learning function such as image recognition for detecting a movement or a face of a subject included in an image represented by image data.
- the digital signal processor 200 also performs, for example, image interpolation processing involving conversion of the position (coordinates) of the pixel corresponding to each pixel data included in the image data as DSP image processing.
- the digital signal processor 200 For image interpolation processing that the digital signal processor 200 performs as DSP image processing, for example, resizing processing that changes (enlarges or reduces) the size (size) of the image, correction of distortion such as magnification chromatic aberration or distortion included in the image And various processing such as shape correction processing for correcting the shape of the image such as trapezoidal correction.
- the digital signal processor 200 writes (stores) the image data after DSP image processing to the DRAM 70 again by DMA via the DMA bus 110.
- image data to be subjected to image processing stored in the DRAM 70 or image data to be subjected to image processing by any of the image processing modules 153 is subjected to image processing after DSP image processing has been performed.
- the external image processing apparatus performs external image processing and distinguishes it from external processing image data directly input via the input / output module 154, it is referred to as “DSP processing image data”.
- processed image data after image processing has been performed by one of the image processing modules 153, and externally processed image data directly input from an external image processing apparatus via the input / output module 154.
- the digital signal processor 200 represents DSP-processed image data subjected to DSP image processing without distinction, it is simply referred to as “processed image data”.
- the display processing unit 210 performs predetermined display processing on the display image data stored in the DRAM 70 based on the setting from the CPU 140, and an image corresponding to the display image data is not shown.
- a display image to be displayed on a display device is generated. That is, the display processing unit 210 performs a predetermined display process on the image data of the image to be displayed on the display device (not shown) and generated by the image processing unit 150 and stored in the DRAM 70.
- the display image for displaying on the display apparatus not shown such as a liquid crystal display (LCD: Liquid Crystal Display), etc. is produced
- LCD liquid crystal display
- the display processing to be performed on the image data when the display processing unit 210 generates a display image includes, for example, an on-screen display for displaying various information related to a photographed still image such as photographing date and time by the imaging device 1
- On Screen Display (OSD) includes OSD superposition processing for superposing an image.
- the display processing unit 210 outputs data of the generated display image (hereinafter referred to as “display image data”) to the video interface unit 220, and causes the display device (not shown) to display the display image.
- the display apparatus on which the image of various sizes (resolution) is displayed can be considered.
- a display device an EVF (Electronic View Finder: electronic view finder) for confirming an object to be photographed in the imaging device 1 or a TFT (thin film) operating as a viewfinder for confirming an object to be photographed
- Transistor There is a small display device mounted on the imaging device 1 such as a thin film transistor) liquid crystal display and displaying a relatively low resolution image.
- a configuration that can be attached to and detached from the imaging device 1 such as a TFT liquid crystal display that displays an image having a resolution of XGA size (1024 ⁇ 768)
- Some medium-sized display devices display images.
- a display device (not shown) configured to be attachable to and detachable from the imaging device 1 an image having resolution of full HD size (1920 ⁇ 1080) compatible with HDTV (High Definition TeleVision), UHDTV (Ultra).
- HDTV High Definition TeleVision
- UHDTV Ultra
- display devices that display high-resolution images, such as images with 4K size (3840 ⁇ 2160) resolution compatible with High Definition TeleVision.
- the display processing unit 210 generates a display image according to the size (resolution) of an image that can be displayed by a display device (not shown) provided in the imaging device 1 and outputs the generated display image to the video interface unit 220. Therefore, in the present invention, the display processing to be performed on the image data for display when the display processing unit 210 generates a display image is not particularly defined.
- the video interface unit 220 is an interface unit with a display device (not shown) provided in the imaging device 1.
- the video interface unit 220 outputs (transmits) the display image data output from the display processing unit 210 to a display device (not shown) based on the setting from the CPU 140, and displays an image according to the display image data.
- the video interface unit 220 is, for example, a transmission system conforming to the MIPI (registered trademark) (Mobile Industry Processor Interface) system, which is a differential interface system, which is adopted in the display device, for example
- the display image data according to the output may be output (transmitted) to a display device (not shown).
- the transmission method for the video interface unit 220 to output (transmit) display image data to a display device (not shown) is not limited to the above-described transmission method.
- the memory card interface unit 230 is an interface unit with a recording medium (not shown) provided in the imaging device 1.
- the memory card interface unit 230 performs image processing and generation of the image processing unit 150 based on the setting from the CPU 140 and stores the image data for recording (hereinafter referred to as “recording image data”) stored in the DRAM 70, not shown. Output (transmit) and record on a recording medium.
- the transmission method when the memory card interface unit 230 causes the recording medium (not shown) to record the recorded image data is a transmission method adopted for the recording medium (not shown).
- the high-speed serial interface unit 240 is an interface unit for transmitting image data stored in the DRAM 70 at high speed to another device (not shown).
- the high-speed serial interface unit 240 stores image data (including processed image data, externally processed image data, DSP processed image data) and recorded image data (display image data) stored in the DRAM 70 based on settings from the CPU 140. Output (transmit) to another device (not shown).
- an external storage device for storing the image data and the recorded image data So-called storage devices can be considered.
- the high-speed serial interface unit 240 transmits the image data and the recorded image data stored in the DRAM 70 at high speed
- a cloud for storing the image data and the recorded image data on the Internet
- the transmission method used when the high-speed serial interface unit 240 outputs (transmits) image data and recorded image data to another device (not shown) is a transmission method employed in other devices (not shown).
- the operation detection unit 170 detects an operation involving access to the DRAM 70 by each component provided in the image processing apparatus 10. That is, the operation detection unit 170 detects an operation of processing using the bus band of the DMA bus 110 for each component included in the image processing apparatus 10. More specifically, the motion detection unit 170 includes an operation related to imaging in the image processing apparatus 10, an operation related to display in the image processing apparatus 10, and an operation related to image processing in the image processing apparatus 10.
- the operation detection unit 170 controls the operation of the imager interface unit 120 and the imaging processing unit 130 related to the imaging operation in the image processing apparatus 10 and the display processing unit related to the display operation in the image processing apparatus 10 Each of the operation of the video interface unit 210 and the video interface unit 220 and the operation of the image processing unit 150 related to the operation of image processing in the image processing apparatus 10 are detected.
- the operation detection unit 170 terminates the size of the imager (not shown) (number of pixels in horizontal direction, number of pixels in vertical direction, etc.), frame rate, exposure in imaging After that, the output time required to complete the output of the pixel signal (pixel data) for one frame, the bit length of the pixel signal (pixel data), and the like are detected.
- These pieces of information can be obtained from setting values and the like set by the CPU 140 for each of the imager interface unit 120 and the imaging processing unit 130 related to the imaging operation in the image processing apparatus 10.
- the operation detection unit 170 superimposes the resolution, frame rate, display image data format (format), and the like of an image (display image) displayed by a display device (not shown).
- the number of on-screen display images, the number of channels for outputting display image data (such as the number of simultaneously outputting display image data), and the like are detected. These pieces of information can be obtained from setting values and the like set by the CPU 140 for each of the display processing unit 210 and the video interface unit 220 related to the display operation in the image processing apparatus 10.
- the operation detection unit 170 performs the processing content of the image processing to be applied to the image data, the size of the image to be subjected to the image processing (the number of pixels of the image data, the processed image data The number of pixels, etc.). It is to be noted that these pieces of information are the image processing unit 150 related to the image processing operation in the image processing apparatus 10, the input DMA module 152 provided in the image processing unit 150, the image processing module 153-1 to the image processing module 153-3. , The input / output module 154, and the output DMA module 155, etc.
- the operation detection unit 170 also detects the processing content of DSP image processing to be performed in the digital signal processor 200 as an operation related to image processing in the image processing apparatus 10. This information can be obtained from the setting value etc. which CPU140 sets with respect to the digital signal processor 200.
- the operation detection unit 170 outputs, to the input / output position determination unit 180, information (hereinafter referred to as “operation information”) of the operation in each component provided in the detected image processing apparatus 10. That is, the operation detection unit 170 outputs, to the input / output position determination unit 180, information related to each operation of the imaging operation, the display operation, and the image processing operation in the image processing apparatus 10.
- the input / output position determination unit 180 determines the configuration of the pipeline in the image processing unit 150 based on the operation information output from the operation detection unit 170. More specifically, the input / output position determination unit 180 determines the type and order of image processing to be performed by pipeline processing configured in the image processing unit 150. Further, the input / output position determination unit 180 determines whether or not the external image processing apparatus connected to the image processing apparatus 10 incorporates the external image processing into the pipeline or the position to incorporate the external image processing into the pipeline. The presence or absence of incorporation of the input / output module 154 and the location of incorporation are determined.
- the input / output position determination unit 180 performs input / output in the presence / absence of sharing of pipeline processing in a plurality of image processing apparatuses 10 and the position at which pipeline processing is divided, that is, in the pipeline configured in each image processing unit 150. It determines the presence or absence of incorporation of the module 154 and the location of incorporation.
- the input / output position determination unit 180 is the total of the bus bandwidths of the DMA bus 110 (hereinafter also referred to as “bus bandwidth of the DRAM 70”) required when each component provided to the image processing apparatus 10 accesses the DRAM 70.
- the configuration of the pipeline in the image processing unit 150 is determined in order to make it within the maximum band where the DRAM 70 can be accessed. That is, since the series of image processing in the image processing unit 150 squeezes the bus band of the DMA bus 110 and does not cause a decrease in the overall processing capability (speed) of the imaging device 1, the input / output position determination unit 180 The pipeline processing to be performed in the processing unit 150 is changed.
- the input / output position determination unit 180 squeezes the bus band of the DRAM 70 and If the processing capacity (speed) of the image processing unit 150 is reduced, the pipeline processing may be determined by dividing the pipeline processing performed by the image processing unit 150 in order to avoid compression of the bus band of the DRAM 70. . At this time, the input / output position determination unit 180 may determine the configuration of the pipeline in which the bus bandwidth of the DRAM 70 in each of the divided pipeline processes is equal.
- the input / output position determination unit 180 sets the determined configuration of the pipeline in the connection switching unit 151 provided in the image processing unit 150. Thereby, in the image processing apparatus 10, among the image processing modules 153 included in the image processing unit 150, a configuration of a pipeline in which only a series of image processing performed in the image processing unit 150 is connected in series is set (changed). be able to.
- the input / output position determination unit 180 outputs the information on the determined configuration of the pipeline to the communication interface unit 192.
- the image processing unit 150 included in each of the image processing devices 10 determined by the input / output position determination unit 180 can be set in the image processing unit 150 provided in the image processing apparatus 10 in the latter stage.
- each image processing of a series of image processing In the imaging apparatus 1 configured to be shared by the apparatus 10, an image provided in each of the image processing apparatuses 10 in the subsequent stage, the configuration of the pipeline determined by the input / output position determination unit 180 provided in the image processing apparatus 10 in the previous stage. It can be set in the processing unit 150.
- the input / output position determination unit 180 determines the bus band of the DRAM 70 required when the image processing apparatus 10 at the front stage performs image processing, and the bus band of the DRAM 70 required when the image processing apparatus 10 at the rear stage performs image processing.
- the configuration of the pipeline to be equivalent may be determined and set in the image processing unit 150 provided in each of the image processing apparatuses 10 in the subsequent stage.
- the determination of the configuration of the pipeline in the image processing unit 150 by the input / output position determination unit 180 is not limited to only the viewpoint of the bus bandwidth of the DMA bus 110 described above.
- the configuration of the pipeline in the image processing unit 150 may be determined from the viewpoint of power consumption in the imaging device 1.
- the necessary pipeline configuration may be another image even if the operation of any of the image processing devices 10 is stopped. In some cases, it can be configured by the image processing unit 150 provided in the processing device 10.
- the input / output position determination unit 180 stops the operation of the image processing apparatus 10 that can be stopped, and the image processing unit 150 provided in another image processing apparatus 10 configures a necessary pipeline.
- the configuration of the pipeline by the image processing unit 150 provided in each image processing apparatus 10 is determined.
- the communication interface unit 192 is an interface unit for outputting (transmitting) information on the configuration of the pipeline determined by the input / output position determination unit 180 to another image processing apparatus 10 provided in the imaging device 1. Further, the communication interface unit 191 is a pipeline configuration determined by the input / output position determination unit 180 provided in the other image processing apparatus 10 provided in the imaging device 1 and output (transmitted) via the communication interface unit 192. Interface unit for receiving setting information of the control unit, and control information (for example, information for changing (setting) the configuration of the pipeline of the image processing unit 150) output from the image processing apparatus 10 such as a system control apparatus It is.
- the transmission method for transmitting information with which the communication interface unit 191 and the communication interface unit 192 each change (set) the configuration of the pipeline to / from the outside is the transmission of data among a plurality of system LSIs.
- Various existing specifications and methods to be used can be used.
- a universal asynchronous receiver-transmitter (UART), I2C (I2C), or the like may be used as a transmission method for transmitting to the outside the information for changing (setting) the configuration of the pipeline in the communication interface 191 and the communication
- UART universal asynchronous receiver-transmitter
- I2C I2C
- a transmission method for transmitting information with the outside for changing (setting) the configuration of the pipeline in the communication interface unit 191 and the communication interface unit 192 for example, PCI-Express or USB (registered trademark)
- a transmission scheme conforming to various high-speed serial bus specifications defined in advance may be used.
- the specification and transmission method for transmitting information for changing (setting) the configuration of the pipeline between the communication interface unit 191 and the communication interface unit 192 are limited to the above-described specification and transmission method. It is not a thing.
- each of the communication interface unit 191 and the communication interface unit 192 changes (sets) the configuration of the pipeline in accordance with a plurality of specifications and transmission methods used for transmission of data among a plurality of system LSIs.
- a specification and a transmission method for transmitting information for changing (setting) the configuration of the pipeline between the communication interface unit 191 and the communication interface unit 192 with the outside are particularly defined. do not do.
- the image processing apparatus 10 causes the DRAM 70 to store image data processed by the imaging processing unit 130 with respect to a pixel signal (pixel data) output from an imager (not shown) provided in the imaging apparatus 1. Thereafter, in the image processing apparatus 10, the image processing unit 150 subjects the pixel data stored in the DRAM 70 to a series of image processing by pipeline processing, and stores the pixel data in the DRAM 70 again. At this time, the image processing unit 150 incorporates the input / output module 154 into the pipeline configuration so that it is not performed in any of the image processing modules 153 provided in the image processing unit 150, which is external to the image processing apparatus 10. External image processing by an external image processor can be incorporated into pipeline processing.
- pipeline processing in the image processing unit 150 can be expanded.
- the display processing unit 210 generates display image data according to the display image data stored in the DRAM 70, and causes the display device (not shown) provided in the imaging device 1 to display the display image data.
- the recording image data (recording image data) stored in the DRAM 70 is recorded on a recording medium (not shown) provided in the imaging apparatus 1 via the memory card interface unit 230.
- the image processing apparatus 10 also outputs (transmits) the image data stored in the DRAM 70 to another device (not shown) via the high-speed serial interface unit 240.
- the operation detection unit 170 detects the operation of each component provided in the image processing apparatus 10. Then, in the image processing apparatus 10, the input / output position determination unit 180 uses the DMA bus when each component provided in the image processing apparatus 10 accesses the DRAM 70 based on the operation information output from the operation detection unit 170.
- the configuration of the pipeline in the image processing unit 150 for making the bus band 110 within the maximum bandwidth is determined, and the pipeline processing performed in the image processing unit 150 is changed.
- compression of the bus band of the DMA bus 110 due to pipeline processing performed in the image processing unit 150 can be avoided.
- each component provided in the image processing apparatus 10 can secure a bus band necessary for accessing the DRAM 70.
- the overall processing capability of the imaging apparatus 1 caused by the compression of the bus band of the DMA bus 110 by the image processing unit 150 included in the image processing apparatus 10 Speed can be avoided.
- the input / output position determination unit 180 included in the image processing device 10 in the previous stage generates an image based on the operation information output from the operation detection unit 170.
- the configuration of the pipeline in the image processing unit 150 is determined by dividing the pipeline processing in the processing unit 150 by the image processing unit 150 provided in each of the plurality of image processing apparatuses 10. Then, the input / output position determination unit 180 provided in the image processing apparatus 10 at the front stage outputs information on the determined configuration of the pipeline to the image processing apparatus 10 at the rear stage.
- the image processing unit 150 provided in the image processing device 10 in the subsequent stage shares a part of pipeline processing performed by the image processing device 10 in the previous stage.
- the configuration of the pipeline can be changed.
- a series of image processing in pipeline processing is shared by the plurality of image processing devices 10 without causing a decrease in the overall processing capacity (speed). Can be applied.
- the load of pipeline processing in the image processing unit 150 provided in each of the image processing apparatuses 10 can be reduced.
- the operation detection unit 170 and the input / output position determination unit 180 are provided independently, and the pipeline configuration determined by the input / output position determination unit 180 is set in the connection switching unit 151. The case was described. In this configuration, as described above, the operation information in each component provided in the image processing apparatus 10 detected by the operation detection unit 170 can be obtained from the setting value etc. set for each component by the CPU 140 .
- the CPU 140 detects that the operation mode of the imaging device 1 has been changed, for example, by an operation performed on switches and buttons provided as a user interface in the imaging device 1, for example, the imaging device 1
- the setting value to be set for each component is acquired from the memory (ROM (Read Only Memory), flash memory (Flash Memory), etc.) in which the setting value is stored for each operation mode, and the acquired setting value is It sets to each component with which the image processing apparatus 10 was equipped. Therefore, when the CPU 140 detects a change in the operation mode of the imaging device 1 and acquires setting values to be set for the respective components from the memory, the CPU 140 is provided in the image processing apparatus 10 detected by the operation detection unit 170. It can be said that it already has motion information on each component.
- the CPU 140 may implement the function of the operation detection unit 170. Further, the CPU 140 sets the acquired set value in each component provided in the image processing apparatus 10 and controls each component. Therefore, in the image processing apparatus 10, the CPU 140 may perform the function of the input / output position determination unit 180. Therefore, in the image processing apparatus 10, instead of separately providing the operation detection unit 170 and the input / output position determination unit 180, the CPU 140 implements the respective functions of the operation detection unit 170 and the input / output position determination unit 180. It is also good.
- the image processing apparatus 10 performs pipeline processing in the imaging apparatus 1 having the configuration including one image processing apparatus 10 shown in FIG. 1.
- the flow of data in the case of application will be described.
- external image processing to be performed outside the image processing apparatus 10 can be performed in the pipeline by incorporating the input / output module 154 in the pipeline configured in the image processing unit 150. It can be incorporated.
- a case will be described in which external image processing is not incorporated in the pipeline configured in the image processing unit 150, that is, image processing is performed using only the components provided in the image processing apparatus 10.
- FIG. 2 is a diagram schematically showing the flow of data in the imaging device 1 provided with the image processing device 10 according to the embodiment of the present invention.
- each component provided in the image processing device 10 performs the respective image processing in parallel, so that the entire image processing in the image processing device 10 is smoothly performed. That is, in the imaging device 1, in the image processing device 10, the preprocessing by the imaging processing unit 130, the pipeline processing by the image processing unit 150, and the display processing by the display processing unit 210 are performed in parallel at the same time. .
- the flow of data will be described focusing on image data of one frame in order to facilitate the description.
- processing is performed in the following flow.
- the imager interface unit 120 receives a pixel signal output from an imager (not shown) and outputs (transmits) it to the imaging processing unit 130. Then, the imaging processing unit 130 subjects the pixel data output from the imager interface unit 120 to preprocessing, and the image data including each pixel data subjected to preprocessing is DMAed via the DMA bus 110. Write (store) in the DRAM 70.
- the input DMA module 152 provided in the image processing unit 150 reads the image data stored in the DRAM 70 by DMA via the DMA bus 110. Then, the input DMA module 152 outputs the read image data to the image processing module 153-1 of the connection destination to which the image processing is to be performed next via the connection switching unit 151.
- the image processing module 153-1 performs predetermined image processing on the image data output from the input DMA module 152 of the connection destination via the connection switching unit 151, and performs image processing The processed image data after the image processing is output via the connection switching unit 151 to the image processing module 153-2 of the connection destination to which the image processing is to be performed next.
- the image processing module 153-2 performs predetermined image processing on the processed image data output from the image processing module 153-1 of the connection destination via the connection switching unit 151.
- the processed image data after the image processing is further output, via the connection switching unit 151, to the image processing module 153-3 of the connection destination to which the image processing is to be performed next.
- the image processing module 153-3 performs predetermined image processing on processed image data output from the image processing module 153-2 of the connection destination via the connection switching unit 151.
- the processed image data after the image processing is further output to the output DMA module 155 via the connection switching unit 151.
- the image processing module 153-3 performs image processing for generating display image data according to the processed image data output from the image processing module 153-2. Accordingly, the image processing module 153-3 outputs the image data for display to the output DMA module 155 via the connection switching unit 151.
- the output DMA module 155 transfers the processed image data (image data for display) output from the image processing module 153-3 of the connection destination via the connection switching unit 151 to the DMA bus 110.
- the display processing unit 210 reads out the display image data stored in the DRAM 70 by DMA via the DMA bus 110. Then, the display processing unit 210 performs a predetermined display process on the read image data for display, and generates display image data according to the image data for display. Thereafter, the display processing unit 210 outputs the generated display image data to the video interface unit 220. Thus, the display device (not shown) displays a display image according to the display image data output from the display processing unit 210 via the video interface unit 220.
- the image processing apparatus 10 As shown in the first operation example, with respect to pixel signals output from an imager (not shown) provided in the imaging apparatus 1, preprocessing by the imaging processing unit 130 and The pipeline processing by the image processing unit 150 and the display processing by the display processing unit 210 are performed, and a display image corresponding to the display image data is displayed on a display device (not shown).
- the entire processing in the imaging device 1 is performed while storing the image data of each stage in the DRAM 70 by the DMA via the DMA bus 110.
- the display device (not shown) included in the imaging device 1 there are various types from a small display device that displays an image of relatively low resolution to a large display device that displays an image of high resolution. . Then, the image displayed by a display device (not shown) provided in the imaging device 1 is further refined. Further, it is conceivable to further increase the number of pixels in an imager (not shown) provided in the imaging device 1. For this reason, it is assumed that a lot of image processing is performed as the entire processing in the imaging device 1. Then, it is considered that it is difficult for one image processing apparatus 10 to cope with many assumed image processing.
- one image processing apparatus 10 it is difficult for each component provided in the image processing apparatus 10 to secure the bus band of the DMA bus 110 necessary for performing many image processing in the imaging apparatus 1.
- one image processing apparatus 10 can configure the imaging apparatus 1 corresponding to an image having a resolution of full HD size (1920 ⁇ 1080), an image having a resolution of 4K size (3840 ⁇ 2160)
- the image processing apparatus 10 has a function of directly inputting and outputting image data to and from the outside of the image processing apparatus 10 without passing through the DMA bus 110 in the image processing unit 150 which performs pipeline processing.
- An output module 154 is provided. More specifically, in the image processing apparatus 10, an image is exchanged with another image processing apparatus or the like provided outside the image processing apparatus 10 through the external input interface unit 161 and the external output interface unit 162.
- An input / output module 154 is provided to realize a function to directly input / output data.
- the function for directly inputting / outputting image data to / from the outside of the image processing apparatus 10 by the input / output module 154 can be performed by each of the image processing modules 153-1 to 153-3 provided in the image processing unit 150.
- the function of the input / output module 154 for directly inputting / outputting image data to / from the outside of the image processing apparatus 10 can be realized by using an external image processing apparatus as another image processing apparatus 10 as described above.
- the series of image processing in the pipeline processing can be utilized in a configuration to be shared and performed by the image processing unit 150 provided in each of the plurality of image processing apparatuses 10.
- the imaging device 1 is configured to include a plurality of image processing devices 10 from the beginning, when it is assumed in advance that a large number of image processings are to be performed as the entire processing, To realize a configuration for performing a lot of image processing by using the function of directly inputting and outputting image data between the In the case of this configuration, the pipeline configured by the image processing unit 150 included in each image processing apparatus 10 dynamically changes the configuration of the pipeline according to the content of the entire processing performed by the imaging device 1 (setting )can do.
- FIG. 3 is a diagram schematically showing the flow of data in the imaging device 2 configured to include a plurality of image processing devices 10 according to the embodiment of the present invention.
- the imaging device 2 illustrated in FIG. 3 includes two image processing devices 10 having the same configuration.
- image processing apparatus 10 a In the imaging apparatus 2 shown in FIG. 3, in order to distinguish each of the two image processing apparatuses 10, the image processing apparatus 10 on the side that receives the pixel signal output from the imager (not shown) is “image processing apparatus 10 a”.
- the image processing apparatus 10 on the side of displaying a display image on a display device (not shown) is referred to as an "image processing apparatus 10b". Then, in the image pickup apparatus 2 shown in FIG.
- pipeline processing is shared by connecting the external output interface unit 162a included in the image processing apparatus 10a and the external input interface unit 161b included in the image processing apparatus 10b.
- the configuration to be applied is realized.
- the communication interface unit 192 a included in the image processing apparatus 10 a and the communication interface unit 191 b included in the image processing apparatus 10 b are connected to each other to include the image processing apparatus 10 a.
- a configuration is realized in which a pipeline configuration for sharing pipeline processing is set between the image processing unit 150a and the image processing unit 150b provided in the image processing apparatus 10b.
- the operation detection unit 170a included in the image processing device 10a connects the image processing device 10a and the image processing device 10b
- the operation of each component is To detect.
- the operation detection unit 170a is an imager interface set corresponding to an imager (not shown) having a large number of pixels (large size) operating at a high frame rate.
- the operations of the unit 120a and the imaging processing unit 130a are detected.
- the operation detection unit 170a is a display processing unit 210b set corresponding to one (one-channel output) display device (not shown) for displaying a low resolution image as a display operation in the image processing apparatus 10b.
- the operation of the video interface unit 220b is detected.
- the operation detection unit 170a also performs an input DMA module 152, an image processing module 153-1 to an image processing module 153-3, as an operation of image processing in the image processing unit 150 provided in the image processing apparatus 10a and the image processing apparatus 10b.
- the operation of the input / output module 154 and the output DMA module 155 is detected.
- the operation detection unit 170a includes the input DMA module 152, the image processing module 153-1 to the image processing module 153-3, the input / output module 154, and the output DMA module 155 in the image processing apparatus 10a. It is not determined whether the component is a component or a component provided in the image processing apparatus 10b.
- the operation detection unit 170a outputs the operation information of each of the detected components to the input / output position determination unit 180a included in the image processing apparatus 10a (path C11).
- the input / output position determination unit 180a determines the configuration of a pipeline that shares pipeline processing between the image processing unit 150a and the image processing unit 150b based on the operation information output from the operation detection unit 170a.
- the imager (not shown) provided in the imaging device 2 is an imager with a large number of pixels (large size) operating at a high frame rate, and thus the image processing device It represents that the DMA bus 110a in 10a requires many bus bandwidths.
- the display device (not shown) provided in the imaging device 2 is a single (one-channel output) display device that displays an image of low resolution.
- the input / output position determination unit 180a reduces the image processing performed in the image processing unit 150a included in the image processing apparatus 10a, and performs more image processing in the image processing unit 150b included in the image processing apparatus 10b.
- the configuration of the pipeline in the image processing unit 150a and the image processing unit 150b is determined. More specifically, in the flow of the image data shown in FIG. 3, the input / output position determination unit 180a performs the image processing by the image processing module 153-1a in the image processing unit 150a. It has decided the composition of the line. Further, in the image data flow diagram shown in FIG. 3, the input / output position determination unit 180 a performs image processing by the image processing module 153-2 b and the image processing module 153-3 b in the image processing unit 150 b. The configuration of the pipeline in the processing unit 150b is determined.
- the input / output position determination unit 180a sets the pipeline configuration determined for the image processing unit 150a in the connection switching unit 151a included in the image processing unit 150a (path C12). Further, the input / output position determination unit 180a outputs the information of the determined pipeline configuration to the image processing unit 150b to the communication interface unit 192a, and the image via the communication interface unit 192a and the communication interface unit 191b It sets to the connection switching part 151b with which the process part 150b was equipped (path
- each component performs image processing with the configuration of the pipeline set by the input / output position determination unit 180a.
- the respective components provided in the image processing device 10 a and the image processing device 10 b perform the respective image processing in parallel, whereby the entire image processing in the imaging device 2 is smoothly performed. That is, in the imaging device 2, preprocessing by the imaging processing unit 130a included in the image processing device 10a, pipeline processing shared by the image processing unit 150 included in each of the image processing device 10a and the image processing device 10b, The display processing by the display processing unit 210b provided in the image processing apparatus 10b is performed in parallel at the same time.
- the flow of data will be described focusing on image data of one frame in order to facilitate the description. In the flow of image data shown in FIG. 3, processing is performed in the following flow.
- the imager interface unit 120a included in the image processing apparatus 10a receives a pixel signal output from an imager (not shown) and outputs (transmits) it to the imaging processing unit 130a. Then, the imaging processing unit 130a performs preprocessing on pixel data output from the imager interface unit 120a, and performs image processing including the pixel data subjected to the preprocessing by DMA via the DMA bus 110a. Write (store) in the DRAM 70a.
- the input DMA module 152a in the image processing unit 150a included in the image processing apparatus 10a reads the image data stored in the DRAM 70a by DMA via the DMA bus 110a. Then, the input DMA module 152a outputs the read image data to the image processing module 153-1a of the connection destination to which image processing is to be performed next via the connection switching unit 151a.
- the image processing module 153-1a performs predetermined image processing on the image data output from the input DMA module 152a of the connection destination via the connection switching unit 151a, and performs image processing The processed image data subjected to the processing is output to the input / output module 154a via the connection switching unit 151a.
- the external output interface unit 162a sends the processed image data output from the input / output module 154a, that is, the processed image data processed by the image processing module 153-1a to the image processing apparatus 10b. It outputs (transmits) to the provided external input interface unit 161b.
- the external input interface unit 161b receives the processed image data output (transmitted) from the external output interface unit 162a, that is, the processed image data processed by the image processing module 153-1a, The received processed image data is output (transmitted) directly to the input / output module 154 b provided in the image processing unit 150 b without passing through the DMA bus 110 b.
- the input / output module 154b is a connection destination to which the processed image data output (transmitted) from the external input interface unit 161b is subjected to image processing next via the connection switching unit 151b. Output to the image processing module 153-2b.
- the image processing module 153-2b performs predetermined image processing on processed image data output from the input / output module 154b of the connection destination via the connection switching unit 151b.
- the processed image data subjected to the image processing is output to the image processing module 153-3 b of the connection destination to which the image processing is to be performed next via the connection switching unit 151 b.
- the image processing module 153-3b performs predetermined image processing on processed image data output from the image processing module 153-2b of the connection destination via the connection switching unit 151b.
- the processed image data after the image processing is further output to the output DMA module 155b via the connection switching unit 151b.
- the image processing module 153-3b performs image processing for generating display image data according to the processed image data output from the image processing module 153-2b. Therefore, the image processing module 153-3b outputs the image data for display to the output DMA module 155b via the connection switching unit 151b.
- the output DMA module 155b transfers the processed image data (image data for display) output from the image processing module 153-3b of the connection destination via the connection switching unit 151b to the DMA bus 110b. Are written (stored) in the DRAM 70b by DMA via
- the display processing unit 210b reads out the display image data stored in the DRAM 70b by DMA via the DMA bus 110b. Then, the display processing unit 210b performs predetermined display processing on the read image data for display, and generates display image data according to the image data for display. Thereafter, the display processing unit 210b outputs the generated display image data to the video interface unit 220b.
- the display device (not shown) displays a display image according to the display image data output from the display processing unit 210b via the video interface unit 220b.
- the image processing unit 150 a included in the image processing device 10 a and the image processing device 10 b are configured by the operation detection unit 170 a included in the image processing device 10 a and the input / output position determination unit 180 a.
- the imaging device 2 is provided in the image processing apparatus 10a in a pipeline configuration set by the configuration of the operation detection unit 170a and the input / output position determination unit 180a.
- the image processing unit 150 a and the image processing unit 150 b provided in the image processing apparatus 10 b share and perform pipeline processing.
- the image processing device 10a performs preprocessing and pipeline processing by the imaging processing unit 130a on pixel signals output from an imager (not shown) provided in the imaging device 2.
- image processing by the image processing module 153-1a provided in the image processing unit 150a is performed.
- image processing by the image processing module 153-1b and the image processing module 153-3b included in the image processing unit 150b and display processing by the display processing unit 210b are performed.
- a display image corresponding to the display image data is displayed on a display device (not shown).
- the image data corresponding to the pixel signal output from the imager is written (stored) in the DRAM 70 by providing the imager with a medium pixel count (size) and a high frame rate. From the DRAM 70 of image data for display, by providing a function of three-channel output to simultaneously display images on three display devices including a display device that displays a high resolution image, although it does not require much bus bandwidth.
- the image pickup apparatus 1 having a configuration that requires more bus bandwidth by reading out will be considered.
- the imaging device 1 having the configuration including one image processing device 10 shown in FIG. 1 and the imaging device 2 shown in FIG.
- the imaging device 1 of a structure is called "the imaging device 3".
- FIG. 4 is a diagram schematically showing the flow of data in an imaging device 3 of another configuration provided with a plurality of image processing devices 10 according to the embodiment of the present invention.
- the imaging device 3 illustrated in FIG. 4 also includes two image processing devices 10 having the same configuration.
- the configuration of the imaging device 3 shown in FIG. 4 is the same as that of the imaging device 2 shown in FIG. 3 except that the imager (not shown) and the display device (not shown) are different. Therefore, also in the imaging device 3 shown in FIG. 4, the respective components are distinguished based on the same idea as the imaging device 2 shown in FIG. 3. That is, also in the image pickup apparatus 3 shown in FIG.
- image processing apparatus 10a the image processing apparatus 10 on the side of receiving the pixel signal output from the imager (not shown) is referred to as “image processing apparatus 10a”, and By giving “a”, it represents that it is a component relevant to the image processing apparatus 10a. Also in the image pickup apparatus 3 shown in FIG. 4, the image processing apparatus 10 on the side of displaying a display image on a display device (not shown) is referred to as “image processing apparatus 10 b”. By giving “”, it represents that it is a component relevant to the image processing apparatus 10b. In the following description, in the case where it is not distinguished whether it is a component related to the image processing apparatus 10a or a component related to the image processing apparatus 10b, "a” or "b” is not given.
- the imaging device 3 shown in FIG. 4 also includes the external output interface unit 162a included in the image processing device 10a and the external input interface portion 161b included in the image processing device 10b.
- the connection realizes a configuration in which pipeline processing is shared and performed.
- the configuration for setting the configuration of the pipeline for sharing pipeline processing between the image processing unit 150a included in the image processing apparatus 10a and the image processing unit 150b included in the image processing apparatus 10b is realized. ing.
- the operation detection unit 170a included in the image processing device 10a connects the image processing device 10a and the image processing device 10b, Detect the movement of each component. More specifically, as the imaging operation in the image processing apparatus 10a, the operation detection unit 170a is an imager interface unit set corresponding to an imager (not shown) having a medium pixel count (size) and a high frame rate. The operation of the imaging processing unit 130a is detected. Further, the operation detection unit 170a is set corresponding to each of three (three-channel output) unshown display devices including a display device for displaying an image of high resolution as a display operation in the image processing device 10b.
- the operation of the display processing unit 210b and the video interface unit 220b is detected.
- the operation detection unit 170a also performs an input DMA module 152, an image processing module 153-1 to an image processing module 153-3, as an operation of image processing in the image processing unit 150 provided in the image processing apparatus 10a and the image processing apparatus 10b.
- the operation of the input / output module 154 and the output DMA module 155 is detected.
- the operation detection unit 170a like the imaging device 2, includes the input DMA module 152, the image processing module 153-1 to the image processing module 153-3, the input / output module 154, and the output DMA module 155.
- the operation detection unit 170a outputs the operation information of each of the detected components to the input / output position determination unit 180a included in the image processing apparatus 10a (path C41).
- the input / output position determination unit 180a determines the configuration of a pipeline that shares pipeline processing between the image processing unit 150a and the image processing unit 150b based on the operation information output from the operation detection unit 170a.
- the imager (not shown) provided in the imaging device 3 is an imager having a medium number of pixels (size) and a high frame rate, so the image processing device 10a It indicates that the DMA bus 110a does not require much bus bandwidth.
- the operation information output from the operation detection unit 170 a is a three (three-channel output) display device including a display device (not shown) provided in the imaging device 3 that displays an image of high resolution.
- the input / output position determination unit 180a performs more image processing in the image processing unit 150a included in the image processing apparatus 10a, and reduces the image processing performed in the image processing unit 150b included in the image processing apparatus 10b.
- the configuration of the pipeline in the image processing unit 150a and the image processing unit 150b is determined. More specifically, in the flow of image data shown in FIG. 4, the input / output position determination unit 180a performs image processing by the image processing module 153-1a and the image processing module 153-2a in the image processing unit 150a. The configuration of the pipeline in the image processing unit 150a is determined. Further, in the image data flow diagram shown in FIG. 4, the input / output position determination unit 180a performs the image processing by the image processing module 153-3b in the image processing unit 150b, and the pipeline configuration in the image processing unit 150b is It is decided.
- the input / output position determination unit 180a sets the pipeline configuration determined for the image processing unit 150a in the connection switching unit 151a included in the image processing unit 150a (path C42). Further, the input / output position determination unit 180a outputs the information on the determined configuration of the pipeline to the image processing unit 150b to the communication interface unit 192a, and the image via the communication interface unit 192a and the communication interface unit 191b. It sets to the connection switching part 151b with which the process part 150b was equipped (path
- each component performs image processing with the configuration of the pipeline set by the input / output position determination unit 180a.
- the respective components provided in the image processing device 10 a and the image processing device 10 b perform the respective image processing in parallel, so that the entire image processing in the imaging device 3 is performed. It will be implemented smoothly. That is, in the imaging device 3 as well as the imaging device 2, the preprocessing by the imaging processing unit 130a included in the image processing device 10a and the image processing unit 150 included in each of the image processing device 10a and the image processing device 10b
- the shared pipeline processing and the display processing by the display processing unit 210b provided in the image processing apparatus 10b are performed in parallel at the same time.
- processing is performed in the following flow.
- the imager interface unit 120a included in the image processing apparatus 10a receives a pixel signal output from an imager (not shown) and outputs (transmits) it to the imaging processing unit 130a. Then, the imaging processing unit 130a performs preprocessing on pixel data output from the imager interface unit 120a, and performs image processing including the pixel data subjected to the preprocessing by DMA via the DMA bus 110a. Write (store) in the DRAM 70a.
- the input DMA module 152a in the image processing unit 150a included in the image processing apparatus 10a reads the image data stored in the DRAM 70a by DMA via the DMA bus 110a. Then, the input DMA module 152a outputs the read image data to the image processing module 153-1a of the connection destination to which image processing is to be performed next via the connection switching unit 151a.
- the image processing module 153-1a performs predetermined image processing on the image data output from the input DMA module 152a of the connection destination via the connection switching unit 151a, and performs image processing The processed image data after the image processing is output via the connection switching unit 151a to the image processing module 153-2a of the connection destination to which the image processing is to be performed next.
- the image processing module 153-2a performs predetermined image processing on the processed image data output from the image processing module 153-1a of the connection destination via the connection switching unit 151a.
- the processed image data after the image processing is further output to the input / output module 154a via the connection switching unit 151a.
- the external output interface unit 162a sends the processed image data output from the input / output module 154a, that is, the processed image data processed by the image processing module 153-2a to the image processing apparatus 10b. It outputs (transmits) to the provided external input interface unit 161b.
- the external input interface unit 161b receives the processed image data output (transmitted) from the external output interface unit 162a, that is, the processed image data processed by the image processing module 153-2a, The received processed image data is output (transmitted) directly to the input / output module 154 b provided in the image processing unit 150 b without passing through the DMA bus 110 b.
- the input / output module 154b is a connection destination to which the processed image data output (transmitted) from the external input interface unit 161b is subjected to image processing next via the connection switching unit 151b. Output to the image processing module 153-3b.
- the image processing module 153-3b performs predetermined image processing on the processed image data output from the input / output module 154b of the connection destination via the connection switching unit 151b. Processed image data after image processing is output to the output DMA module 155b via the connection switching unit 151b.
- the image processing module 153-3 b performs image processing for generating display image data according to the processed image data output from the input / output module 154 b. Therefore, the image processing module 153-3b outputs the image data for display to the output DMA module 155b via the connection switching unit 151b.
- the output DMA module 155b transfers the processed image data (image data for display) output from the image processing module 153-3b of the connection destination via the connection switching unit 151b to the DMA bus 110b. Are written (stored) in the DRAM 70b by DMA via
- the display processing unit 210b reads out the display image data stored in the DRAM 70b by DMA via the DMA bus 110b. Then, the display processing unit 210b performs predetermined display processing on the read image data for display, and generates display image data according to the image data for display.
- the imaging device 3 has a function of three-channel output for simultaneously displaying an image on three display devices including a display device for displaying an image of high resolution
- the display processing unit 210b has three channels. That is, three types of display image data are generated. Thereafter, the display processing unit 210b outputs each of the generated three types of display image data to the video interface unit 220b. As a result, each of the three display devices (not shown) displays a display image corresponding to the corresponding display image data output from the display processing unit 210b via the video interface unit 220b.
- the imaging device 3 as well as the imaging device 2, the image processing unit included in the image processing device 10a by the configuration of the operation detection unit 170a included in the image processing device 10a and the input / output position determination unit 180a.
- the configuration of a pipeline for performing pipeline processing shared by the image processing unit 150b provided in the image processing apparatus 10b is set.
- the imaging apparatus 3 also includes the pipeline configuration set by the configuration of the operation detection unit 170a and the input / output position determination unit 180a in the image processing apparatus 10a.
- the image processing unit 150 a and the image processing unit 150 b provided in the image processing apparatus 10 b share and perform pipeline processing.
- the image processing device 10 a performs preprocessing and pipeline processing by the imaging processing unit 130 a on pixel signals output from an imager (not shown) provided in the imaging device 3.
- image processing is performed by the image processing module 153-1a and the image processing module 153-2a provided in the image processing unit 150a.
- image processing by the image processing module 153-3 b provided in the image processing unit 150 b and display processing by the display processing unit 210 b are performed as part of pipeline processing, according to display image data. The displayed image is displayed on each display device (not shown).
- the image processing apparatus 10 includes a plurality of image processing in the pipeline processing included in the entire processing performed by the imaging device by being provided in plural in the imaging device, in each of the plurality of image processing devices 10
- the configuration can be shared by the image processing unit 150.
- the configuration of the pipeline in the image processing unit 150 provided in each image processing apparatus 10 is It can be dynamically changed (set) according to the content of the entire processing performed by the imaging device.
- a plurality of image processing apparatuses may be considered even when it is considered difficult to secure the bus bandwidth of the DMA bus 110 necessary for performing a large number of image processing in the imaging apparatus.
- the imaging device 2 illustrated in the second operation example and the imaging device 3 illustrated in the third operation example the case where two image processing devices 10 having the same configuration are provided has been described.
- the number of image processing apparatuses 10 constituting the imaging apparatus is not limited to two shown in the second operation example and the third operation example. That is, the imaging device may be provided with more image processing devices 10.
- all the image processing apparatuses 10 are connected in series (for example, in a chain of beads) as in the imaging apparatus 2 illustrated in the second operation example and the imaging apparatus 3 illustrated in the third operation example. Do.
- pipeline processing can be shared and performed by the image processing unit 150 provided in each of the image processing apparatuses 10 provided in the imaging device.
- the configuration has been described in which the image processing device 10 b has a function of three-channel output that causes images to be simultaneously displayed on three display devices (not illustrated).
- the function of displaying an image on each display device can also be configured to be divided into a plurality of image processing devices 10.
- three image processing apparatuses 10b are connected, and the respective image processing apparatuses 10b are connected in parallel to the image processing apparatus 10a. It can also be That is, three image processing apparatuses 10b can be connected to the image processing apparatus 10a in a tree shape.
- the image processing device 10a outputs the processed image data after the image processing module 153-2a has performed the image processing in parallel to the respective image processing devices 10b. Then, in each of the image processing devices 10b, the image processing module 153-3b writes (stores) the display image data after image processing to the corresponding DRAM 70b. Thereafter, the display processing unit 210 provided in each of the image processing devices 10b generates display image data according to the display image data stored in the corresponding DRAM 70b, and the display device is connected to a display device (not shown). , Display a display image according to the display image data. As a result, each image processing apparatus 10b can realize the same function as the imaging apparatus 3 shown in the third operation example, only by providing the function of one-channel output.
- the imaging device of this configuration is provided with a component for selecting a display device (not shown) for outputting display image data (select one or more), images are simultaneously displayed on three display devices (not shown). Not only the display image but also a display image corresponding to the display image data can be displayed on the selected one or more display devices (not shown).
- the image processing device 10a receives the pixel signal output from the imager (not shown), and the image processing device 10b
- the configuration has been described in which the display image is displayed on the display device (not shown).
- the image processing apparatus 10 connecting an imager (not shown) and the image processing apparatus 10 connecting a display apparatus (not shown) are limited to different image processing apparatuses 10. It is not something to be done.
- the image processing apparatus 10 connecting an imager (not shown) and the image processing apparatus 10 connecting a display apparatus (not shown) are the same image processing apparatus 10. May be In this case, in the image pickup apparatus, all the image processing apparatuses 10 are connected in series (for example, in a series connection), and further, all image processing apparatuses 10 are connected with the image processing apparatus 10 in the last stage.
- the image processing apparatus 10 is connected in an annular shape (ring shape).
- pipeline processing is shared by the image processing unit 150 provided in each of the image processing apparatuses 10 provided in the imaging apparatus, and the processed image data subjected to image processing in the imaging apparatus corresponds to one image processing apparatus 10
- the DRAMs 70 (the DRAMs 70 connected to the DMA bus 110 in one image processing apparatus 10) can be collected (aggregated).
- the image processing apparatus 10 performs processing in the imaging apparatus 1 as a fourth operation example of still another operation of each of the image processing apparatuses 10.
- the flow of data in the case of sharing and giving will be described.
- writing (storage) of image data to the DRAM 70 according to the pixel signal output from the imager does not require a large bus bandwidth, and further reading of the image data for display from the DRAM 70 Does not require much bus bandwidth, but instead of the image processing module 153-2 in pipeline processing, the imaging device 1 configured to incorporate DSP image processing by the digital signal processor 200 requiring many bus bandwidths. Think.
- imaging device 4 In the following description, in order to distinguish from the imaging device 1 having the configuration including one image processing device 10 shown in FIG. 1, the imaging device 2 shown in FIG. 3, and the imaging device 3 shown in FIG.
- imaging device 4 The imaging device 1 having the configuration of the fourth operation example described above is referred to as “imaging device 4”.
- FIG. 5 is a diagram schematically showing the flow of data in an imaging device 4 of another configuration provided with a plurality of image processing devices 10 according to the embodiment of the present invention.
- the imaging device 4 shown in FIG. 5 also includes two image processing devices 10 having the same configuration.
- the configuration of the imaging device 4 shown in FIG. 5 is the same as the configuration of the imaging device 2 shown in FIG. 3 and the imaging device 3 shown in FIG. It is. Therefore, also in the imaging device 4 shown in FIG. 5, the respective constituent elements are distinguished based on the same idea as the imaging device 2 shown in FIG. 3 and the imaging device 3 shown in FIG.
- both the imager (not shown) and the display device (not shown) are connected to the same image processing apparatus 10a. That is, in the imaging device 4 shown in FIG. 5, the image processing device 10 on the side receiving the pixel signal output from the imager (not shown), and the image processing device 10 on the side displaying the display image on the display device (not shown) Is the image processing apparatus 10a. Then, in the imaging device 4 shown in FIG. 5, the external output interface unit 162a included in the image processing apparatus 10a and the external input interface unit 161b included in the image processing apparatus 10b are connected, and included in the image processing apparatus 10b.
- a configuration is realized in which DSP image processing is incorporated into pipeline processing.
- the image processing apparatus 10a is equipped with the communication interface unit 192a provided in the image processing apparatus 10a and the communication interface unit 191b provided in the image processing apparatus 10b.
- a configuration is realized in which the pipeline configuration for incorporating DSP image processing by the digital signal processor 200 into pipeline processing to be shared between the image processing unit 150a and the image processing unit 150b included in the image processing apparatus 10b is set. doing.
- the motion detection unit 170 a provided in the image processing device 10 a first connects the image processing device 10 a and the image processing device 10 b as in the imaging device 2 and the imaging device 3.
- the operation of each component is detected. More specifically, as the imaging operation in the image processing apparatus 10a, the operation detection unit 170a is an imager interface unit set corresponding to an imager (not shown) having a medium pixel count (size) and a high frame rate. The operation of the imaging processing unit 130a is detected.
- the operation detection unit 170a sets a display processing unit 210a set corresponding to one (one-channel output) display device (not shown) that displays an image of low resolution.
- the operation of the video interface unit 220a is detected.
- the operation detection unit 170a also performs an input DMA module 152, an image processing module 153-1 to an image processing module 153-3, as an operation of image processing in the image processing unit 150 provided in the image processing apparatus 10a and the image processing apparatus 10b.
- the operation of the input / output module 154, the output DMA module 155, and the digital signal processor 200 is detected.
- the operation detection unit 170a like the imaging device 2 and the imaging device 3, at this stage, the input DMA module 152, the image processing module 153-1 to the image processing module 153-3, the input / output module 154, and the output DMA
- the module 155 and the digital signal processor 200 do not determine whether they are components included in the image processing apparatus 10a or components included in the image processing apparatus 10b.
- the operation detection unit 170a outputs the operation information of each of the detected components to the input / output position determination unit 180a included in the image processing apparatus 10a (path C71).
- the input / output position determination unit 180a performs the pipeline processing shared by the image processing unit 150a and the image processing unit 150b based on the operation information output from the operation detection unit 170a by the digital signal processor 200. Determine the pipeline configuration to incorporate DSP image processing.
- the imager (not shown) provided in the imaging device 4 is an imager having a medium number of pixels (size) and a high frame rate, so the image processing device 10a It indicates that the DMA bus 110a does not require much bus bandwidth.
- the display device (not shown) provided in the imaging device 4 is a single (one-channel output) display device that displays a low-resolution image.
- the DMA bus 110a in the device 10a does not need much bus bandwidth.
- the configuration of the pipeline in the image processing unit 150a and the image processing unit 150b is determined, which incorporates the DSP image processing according to the above. More specifically, in the flow of the image data shown in FIG. 5, the input / output position determination unit 180a performs the image processing by the image processing module 153-1a in the image processing unit 150a. It has decided the composition of the line. Furthermore, in the image data flow diagram shown in FIG. 5, the input / output position determination unit 180a performs the image processing by the image processing module 153-3a in the image processing unit 150a, and the pipeline configuration in the image processing unit 150a is It is decided. Further, in the image data flow diagram shown in FIG. 5, the input / output position determination unit 180a performs DSP image processing by the digital signal processor 200b instead of the image processing module 153-2b in the image processing unit 150b. The configuration of the pipeline in the processing unit 150b is determined.
- the input / output position determination unit 180a sets the pipeline configuration determined for the image processing unit 150a in the connection switching unit 151a included in the image processing unit 150a (path C72). Further, the input / output position determination unit 180a outputs the information on the determined configuration of the pipeline to the image processing unit 150b to the communication interface unit 192a, and the image via the communication interface unit 192a and the communication interface unit 191b. It sets to the connection switching part 151b with which the process part 150b was equipped (path
- each component performs image processing with the configuration of the pipeline set by the input / output position determination unit 180a.
- the respective components provided in the image processing device 10 a and the image processing device 10 b perform the respective image processing in parallel, so that the entire imaging device 4 is completed. Image processing is performed smoothly.
- the preprocessing performed by the imaging processing unit 130 a included in the image processing device 10 a and the image included in each of the image processing device 10 a and the image processing device 10 b The pipeline processing shared by the processing unit 150 and the display processing by the display processing unit 210 a included in the image processing apparatus 10 a are performed in parallel at the same time.
- processing is performed in the following flow.
- the imager interface unit 120a included in the image processing apparatus 10a receives a pixel signal output from an imager (not shown), and outputs (transmits) it to the imaging processing unit 130a. Then, the imaging processing unit 130a performs preprocessing on pixel data output from the imager interface unit 120a, and performs image processing including the pixel data subjected to the preprocessing by DMA via the DMA bus 110a. Write (store) in the DRAM 70a.
- the input DMA module 152a in the image processing unit 150a included in the image processing apparatus 10a reads the image data stored in the DRAM 70a by DMA via the DMA bus 110a. Then, the input DMA module 152a outputs the read image data to the image processing module 153-1a of the connection destination to which image processing is to be performed next via the connection switching unit 151a.
- the image processing module 153-1a performs predetermined image processing on the image data output from the input DMA module 152a of the connection destination via the connection switching unit 151a, and performs image processing The processed image data subjected to the processing is output to the input / output module 154a via the connection switching unit 151a.
- the external output interface unit 162a sends the processed image data output from the input / output module 154a, that is, the processed image data processed by the image processing module 153-1a to the image processing apparatus 10b. It outputs (transmits) to the provided external input interface unit 161b.
- the external input interface unit 161b receives the processed image data output (transmitted) from the external output interface unit 162a, that is, the processed image data processed by the image processing module 153-1a, The received processed image data is output (transmitted) directly to the input / output module 154 b provided in the image processing unit 150 b without passing through the DMA bus 110 b.
- the input / output module 154b outputs the processed image data output (transmitted) from the external input interface unit 161b to the output DMA module 155b via the connection switching unit 151b.
- the output DMA module 155b writes the processed image data output from the connection destination input / output module 154b via the connection switching unit 151b to the DRAM 70b by DMA via the DMA bus 110b (Remember).
- the digital signal processor 200b reads the processed image data stored in the DRAM 70b by DMA via the DMA bus 110b. Then, the digital signal processor 200b performs predetermined DSP image processing on the read processed image data, and the processed image data (DSP processed image data) after DSP image processing is performed via the DMA bus 110b. Write (store) in the DRAM 70 b by DMA.
- the input DMA module 152b in the image processing unit 150b included in the image processing apparatus 10b processes the processed image data stored in the DRAM 70b, that is, DSP processing performed by the digital signal processor 200b for DSP image processing
- the image data is read by DMA via the DMA bus 110b.
- the input DMA module 152 b outputs the read DSP-processed image data to the input / output module 154 b via the connection switching unit 151 b.
- the input / output module 154b directly performs DSP processed image data output from the input DMA module 152b of the connection destination via the connection switching unit 151b without passing through the DMA bus 110b. Output to the external output interface unit 162b.
- the external output interface unit 162b processes the DSP-processed image data output from the input / output module 154b, that is, the DSP-processed image data processed by the digital signal processor 200b as the DSP image. Output (transmit) to the external input interface unit 161a provided in
- the external input interface unit 161a receives DSP processed image data output (transmitted) from the external output interface unit 162b, that is, DSP processed image data processed by the digital signal processor 200b for DSP image processing.
- the received DSP-processed image data is output (transmitted) directly to the input / output module 154a provided in the image processing unit 150a without passing through the DMA bus 110a.
- the input / output module 154a causes the DSP processing image data output (transmitted) from the external input interface unit 161a to be subjected to image processing next via the connection switching unit 151a. Output to the image processing module 153-3a.
- the image processing module 153-3a performs predetermined image processing on DSP processed image data output from the input / output module 154a of the connection destination via the connection switching unit 151a.
- the processed image data after image processing is output to the output DMA module 155a via the connection switching unit 151a.
- the image processing module 153-3 a generates image data for display according to the DSP processed image data output from the input / output module 154 a, that is, DSP processed image data processed by the digital signal processor 200 b. Image processing shall be performed. Therefore, the image processing module 153-3a outputs the image data for display to the output DMA module 155a via the connection switching unit 151a.
- the output DMA module 155a transfers the processed image data (image data for display) output from the image processing module 153-3a of the connection destination via the connection switching unit 151a to the DMA bus 110a. Are written (stored) in the DRAM 70a by DMA via
- the display processing unit 210a reads out the display image data stored in the DRAM 70a by DMA via the DMA bus 110a. Then, the display processing unit 210a performs a predetermined display process on the read image data for display, and generates display image data according to the image data for display. Thereafter, the display processing unit 210a outputs the generated display image data to the video interface unit 220a. Thus, the display device (not shown) displays a display image according to the display image data output from the display processing unit 210a via the video interface unit 220a.
- the image processing unit 150 a included in the image processing device 10 a and the image processing device 10 b are configured by the operation detection unit 170 a included in the image processing device 10 a and the input / output position determination unit 180 a.
- the pipeline configuration for incorporating the DSP image processing by the digital signal processor 200 into the pipeline processing to be shared and performed by the image processing unit 150 b provided in the above is set.
- the imaging device 4 is provided in the image processing apparatus 10a in a pipeline configuration set by the configuration of the operation detection unit 170a and the input / output position determination unit 180a.
- the image processing unit 150a and the image processing unit 150b provided in the image processing apparatus 10b perform pipeline processing incorporating DSP image processing by the digital signal processor 200. More specifically, in the imaging device 4, the image processing device 10 a performs preprocessing and pipeline processing by the imaging processing unit 130 a on pixel signals output from an imager (not shown) provided in the imaging device 4. As a part, image processing by the image processing module 153-1a provided in the image processing unit 150a is performed. Further, in the imaging device 4, DSP image processing by the digital signal processor 200b is performed as a part of pipeline processing instead of the image processing module 153-2b provided in the image processing unit 150b.
- image processing by the image processing module 153-3 a included in the image processing unit 150 a and display processing by the display processing unit 210 a are performed as part of pipeline processing, and display image data is displayed.
- the displayed image is displayed on a display device (not shown).
- the image processing apparatus 10 includes a plurality of image processing in the pipeline processing included in the entire processing performed by the imaging device by being provided in plural in the imaging device, in each of the plurality of image processing devices 10
- the configuration can be shared by the image processing unit 150.
- the DSP image processing by the digital signal processor 200 provided in any of the image processing apparatuses 10 is shared by the image processing unit 150 provided in each of the plurality of image processing apparatuses 10. It can be configured to be incorporated into pipeline processing.
- the configuration of the pipeline in the image processing unit 150 provided in each image processing apparatus 10 is It can be dynamically changed (set) according to the content of the entire processing performed by the imaging device.
- a plurality of image processing apparatuses may be considered even when it is considered difficult to secure the bus bandwidth of the DMA bus 110 necessary for performing a large number of image processing in the imaging apparatus.
- the imaging device 4 shown in the fourth operation example the case where two image processing devices 10 having the same configuration are provided has been described. Then, in the imaging device 4 shown in the fourth operation example, in order to incorporate DSP image processing by the digital signal processor 200b provided in the image processing device 10b into pipeline processing, the image processing device 10a and the image processing device 10b are circled. The structure connected in a ring (ring shape) has been described. However, the number of image processing apparatuses 10 constituting the imaging apparatus is not limited to two shown in the imaging apparatus 4 shown in the fourth operation example.
- the configuration in which the respective image processing devices 10 are connected in an annular shape (ring shape) is DSP image processing by the digital signal processor 200 or the outside of the image processing device 10.
- the configuration is not limited to the configuration for incorporating external image processing by the external image processing apparatus into pipeline processing. That is, in the imaging device including the plurality of image processing devices 10, the configuration in which the image processing devices 10 are connected in an annular shape (ring shape) is included in the image processing performed in the pipeline processing by the respective image processing units 150.
- the present invention is not limited to the configuration incorporating image processing for providing extensibility, and can be applied as a configuration for realizing other functions in the imaging device.
- each image processing apparatus 10 may be connected in an annular shape (ring shape). it can.
- separate image processing devices 10 apply image processing to pixel data of one frame output from the imager (not shown) for each shooting, and recording image data generated by each image processing device 10 ( Recorded image data can be collected (consolidated) in the DRAM 70 corresponding to any one image processing apparatus 10. That is, generation of recording image data (recording image data) according to pixel data of respective frames captured continuously can be shared by the plurality of image processing apparatuses 10. As a result, it is possible to speed up the continuous shooting function in the imaging device.
- the external input interface unit 161 and the external output interface unit Description will be given of the case where the input / output modules 154 provided in the two image processing apparatuses 10 directly input and output image data by passing through 162 and the pipeline processing is shared by the two image processing apparatuses 10. did.
- the function of the input / output module 154 for directly inputting / outputting image data to / from the outside of the image processing apparatus 10 is performed in any of the image processing modules 153 provided in the image processing unit 150. It is a function for incorporating external image processing by an external image processing apparatus external to the image processing apparatus 10 into pipeline processing.
- the function of the input / output module 154 to directly input / output image data to / from the outside of the image processing apparatus 10 is different from the image processing performed by the image processing apparatus 10, and performs external image processing by an external image processing apparatus This is a function for extending pipeline processing in the image processing unit 150 by being incorporated in line processing.
- an external image processing apparatus is provided as a fifth operation example of still another operation of each of the image processing apparatuses 10 in the case where the imaging apparatus 1 is provided with a plurality of image processing apparatuses 10, and the respective image processing apparatuses 10 are provided.
- a flow of data in the case of extending the process of the imaging device 1 performed by the above will be described.
- an external image processing apparatus that realizes an image processing function not provided in the image processing unit 150 of each image processing apparatus 10 is connected between the respective image processing apparatuses 10 to obtain an image.
- An imaging apparatus 1 configured to expand pipeline processing in the processing unit 150 will be considered.
- the imaging device 1 having the configuration of the fifth operation example described above is referred to as “imaging device 5”.
- FIG. 6 is a diagram schematically showing the flow of data in the imaging device 5 configured to include a plurality of image processing devices 10 according to the embodiment of the present invention and further include an image processing device (external image processing device 80) It is.
- the imaging device 5 shown in FIG. 6 is the imaging device 2 shown in FIG. 3 and the imaging device 3 shown in FIG. 4 except that the external image processing device 80 is provided between two image processing devices 10.
- the same configuration as the imaging device 4 shown in FIG. Therefore, in the imaging device 5 shown in FIG. 6 as well, based on the same idea as the imaging device 2 shown in FIG. 3, the imaging device 3 shown in FIG. 4, and the imaging device 4 shown in FIG. Distinguish components.
- the external image processing apparatus 80 realizes an external image processing function different from the image processing function realized by the image processing unit 150 provided in each of the image processing apparatus 10a and the image processing apparatus 10b.
- the external image processing device 80 is realized by, for example, a field programmable gate array (FPGA), a large scale integration (LSI), an application specific integrated circuit (ASIC), or the like.
- the external output interface unit 162a provided in the image processing device 10a and the input terminal of the external image processing device 80 are connected, and the output terminal of the external image processing device 80 and the image processing device 10b are connected.
- the communication interface unit 192a included in the image processing apparatus 10a and the communication interface unit 191b included in the image processing apparatus 10b are connected to each other to be included in the image processing apparatus 10a.
- a configuration for setting the configuration of a pipeline for incorporating external image processing by the external image processing device 80 into pipeline processing to be shared and performed by the image processing unit 150a and the image processing unit 150b provided in the image processing device 10b It has been realized.
- the motion detection unit 170a provided in the image processing device 10a like the imaging device 2, the imaging device 3, and the imaging device 4, In the configuration connected with the device 10b, the operation of each component is detected. More specifically, as the imaging operation in the image processing apparatus 10a, the operation detection unit 170a is an imager interface unit set corresponding to an imager (not shown) having a medium pixel count (size) and a high frame rate. The operation of the imaging processing unit 130a is detected. In addition, the operation detection unit 170a is a display processing unit 210b set corresponding to one (one-channel output) display device (not shown) for displaying a low resolution image as a display operation in the image processing apparatus 10b.
- the operation of the video interface unit 220b is detected.
- the operation detection unit 170a also performs an input DMA module 152, an image processing module 153-1 to an image processing module 153-3, as an operation of image processing in the image processing unit 150 provided in the image processing apparatus 10a and the image processing apparatus 10b.
- the operation of the input / output module 154 and the output DMA module 155 is detected.
- the operation detection unit 170a may detect the operation of the external image processing apparatus 80 as an operation of additional image processing in the image processing unit 150 provided in the image processing apparatus 10a and the image processing apparatus 10b.
- the operation detection unit 170a like the imaging device 2, the imaging device 3, and the imaging device 4, the input DMA module 152, the image processing module 153-1 to the image processing module 153-3, and the input / output
- the module 154, the output DMA module 155, and the external image processing apparatus 80 are components provided to the image processing apparatus 10a, or components provided to the image processing apparatus 10b, or the image processing apparatus 10a or the image processing apparatus It is not determined whether the component is provided outside 10b.
- the operation detection unit 170a outputs the operation information of each of the detected components to the input / output position determination unit 180a included in the image processing apparatus 10a (path C101).
- the input / output position determination unit 180a performs pipeline processing by the image processing unit 150a, the external image processing apparatus 80, and the image processing unit 150b based on the operation information output from the operation detection unit 170a. Determine the composition of the line.
- the imager (not shown) provided in the imaging device 5 is an imager having a medium number of pixels (size) and a high frame rate, so the image processing device 10a It indicates that the DMA bus 110a does not require much bus bandwidth.
- the display device (not shown) provided in the imaging device 5 is one (one-channel output) display device that displays an image of low resolution
- image processing It represents that the DMA bus 110b in the device 10b does not need much bus bandwidth.
- the external image processing by the external image processing apparatus 80 incorporating the operation information output from the operation detecting unit 170a into the pipeline processing does not access the DRAM 70 by DMA, that is, the DMA bus 110a in the image processing apparatus 10a and This means that the DMA bus 110b in the image processing apparatus 10b does not require a bus band.
- the operation information output from the operation detection unit 170 a indicates that external image processing by the external image processing apparatus 80 is to be incorporated between the image processing module 153-2 and the image processing module 153-3 in pipeline processing. It represents. Therefore, the input / output position determination unit 180a performs image processing by the image processing module 153 performed by the image processing unit 150a included in the image processing apparatus 10a and an image processing module 153 performed by the image processing unit 150b included in the image processing apparatus 10b.
- the configuration of the pipeline in the image processing unit 150a and the image processing unit 150b is determined in which the external image processing by the external image processing device 80 is incorporated between the image processing according to the above. More specifically, in the flow of the image data shown in FIG.
- the input / output position determination unit 180a performs image processing by the image processing module 153-1a and the image processing module 153-2a in the image processing unit 150a.
- the configuration of the pipeline in the image processing unit 150a is determined.
- the input / output position determination unit 180a performs the image processing by the image processing module 153-3b in the image processing unit 150b, and the pipeline configuration in the image processing unit 150b is It is decided.
- the input / output position determination unit 180a sets the pipeline configuration determined for the image processing unit 150a in the connection switching unit 151a included in the image processing unit 150a (path C102). Further, the input / output position determination unit 180a outputs the information on the determined configuration of the pipeline to the image processing unit 150b to the communication interface unit 192a, and the image via the communication interface unit 192a and the communication interface unit 191b.
- the connection switching unit 151b provided in the processing unit 150b is set (path C103).
- each component performs image processing with the configuration of the pipeline set by the input / output position determination unit 180a.
- the imaging device 5 as well as the imaging device 2, the imaging device 3 and the imaging device 4, the respective components provided in the image processing device 10 a and the image processing device 10 b perform the respective image processing in parallel, The entire image processing in the imaging device 5 is smoothly performed.
- the preprocessing by the imaging processing unit 130a included in the image processing device 10a and the image processing unit 150 included in the image processing device 10a Pipeline processing performed by the external image processing device 80 and the image processing unit 150 provided in the image processing device 10b and display processing performed by the display processing unit 210b provided in the image processing device 10b in parallel at the same time It is giving.
- FIG. 6 in the description of the flow of image data shown in FIG. 6 as well as the description of the flow of image data shown in FIG. 3 to FIG. Explain the flow of data. In the flow of image data shown in FIG. 6, processing is performed in the following flow.
- the imager interface unit 120a included in the image processing apparatus 10a receives a pixel signal output from an imager (not shown) and outputs (transmits) it to the imaging processing unit 130a. Then, the imaging processing unit 130a performs preprocessing on pixel data output from the imager interface unit 120a, and performs image processing including the pixel data subjected to the preprocessing by DMA via the DMA bus 110a. Write (store) in the DRAM 70a.
- the input DMA module 152a in the image processing unit 150a included in the image processing apparatus 10a reads the image data stored in the DRAM 70a by DMA via the DMA bus 110a. Then, the input DMA module 152a outputs the read image data to the image processing module 153-1a of the connection destination to which image processing is to be performed next via the connection switching unit 151a.
- the image processing module 153-1a performs predetermined image processing on the image data output from the input DMA module 152a of the connection destination via the connection switching unit 151a, and performs image processing The processed image data after the image processing is output to the image processing module 153-2a of the connection destination to which the image processing is to be performed next via the connection switching unit 151a.
- the image processing module 153-2a performs predetermined image processing on the processed image data output from the image processing module 153-1a of the connection destination via the connection switching unit 151a.
- the processed image data after the image processing is further output to the input / output module 154a via the connection switching unit 151a.
- the external output interface unit 162a processes the processed image data output from the input / output module 154a, that is, the processed image data processed by the image processing module 153-2a into the external image processing device 80. Output (transmit).
- the external image processing device 80 receives the processed image data output (transmitted) from the external output interface unit 162a, that is, the processed image data processed by the image processing module 153-2a, The processing image data received is subjected to predetermined external image processing, and the external processing image data subjected to the external image processing is output (transmitted) to the external input interface unit 161b provided in the image processing apparatus 10b.
- the external input interface unit 161b receives the processed image data output (transmitted) from the external image processing device 80, that is, the externally processed image data processed by the external image processing device 80 for external image processing.
- the received processed image data is output (transmitted) directly to the input / output module 154 b provided in the image processing unit 150 b without passing through the DMA bus 110 b.
- the input / output module 154b performs connection processing on the externally processed image data output (transmitted) from the external input interface unit 161b via the connection switching unit 151b. Output to the image processing module 153-3b.
- the image processing module 153-3b performs predetermined image processing on the externally processed image data output from the input / output module 154b of the connection destination via the connection switching unit 151b.
- the processed image data after image processing is output to the output DMA module 155b via the connection switching unit 151b.
- the image processing module 153-3 b is externally processed image data output from the input / output module 154 b, that is, image data for display corresponding to externally processed image data subjected to external image processing by the external image processing apparatus 80. It is assumed that image processing to be generated is performed. Therefore, the image processing module 153-3b outputs the image data for display to the output DMA module 155b via the connection switching unit 151b.
- the output DMA module 155b transfers the processed image data (image data for display) output from the image processing module 153-3b of the connection destination via the connection switching unit 151b to the DMA bus 110b. Are written (stored) in the DRAM 70b by DMA via
- the display processing unit 210b reads out the display image data stored in the DRAM 70b by DMA via the DMA bus 110b. Then, the display processing unit 210b performs predetermined display processing on the read image data for display, and generates display image data according to the image data for display. Thereafter, the display processing unit 210b outputs the generated display image data to the video interface unit 220b.
- the display device (not shown) displays a display image according to the display image data output from the display processing unit 210b via the video interface unit 220b.
- the image processing unit 150a included in the image processing device 10a and the image processing device 10b are configured by the operation detection unit 170a included in the image processing device 10a and the input / output position determination unit 180a.
- the configuration of the pipeline for incorporating the external image processing by the external image processing device 80 into the pipeline processing to be shared and performed by the image processing unit 150 b provided in the above is set.
- the image processing apparatus 10a is provided with a pipeline configuration set by the configuration of the operation detection unit 170a and the input / output position determination unit 180a.
- the image processing unit 150a and the image processing unit 150b provided in the image processing apparatus 10b perform pipeline processing incorporating external image processing by the external image processing apparatus 80.
- the image processing device 10a performs preprocessing and pipeline processing by the imaging processing unit 130a on pixel signals output from an imager (not shown) provided in the imaging device 5.
- image processing is performed by the image processing module 153-1a and the image processing module 153-2a provided in the image processing unit 150a.
- external image processing by the external image processing device 80 is performed as part of pipeline processing.
- image processing by the image processing module 153-3b provided in the image processing unit 150b and display processing by the display processing unit 210b are performed, and the display image data is obtained.
- the displayed image is displayed on a display device (not shown).
- the image processing apparatus 10 includes a plurality of image processing in the pipeline processing included in the entire processing performed by the imaging device by being provided in plural in the imaging device, in each of the plurality of image processing devices 10
- the configuration can be shared by the image processing unit 150.
- the image processing apparatus 10 incorporates external image processing by the external image processing apparatus 80 into pipeline processing shared by the image processing unit 150 provided in each of the plurality of image processing apparatuses 10. can do.
- the configuration of the operation detection unit 170 and the input / output position determination unit 180 provided in any one image processing apparatus 10 the configuration of the pipeline in the image processing unit 150 provided in each image processing apparatus 10 is It can be dynamically changed (set) according to the content of the entire processing performed by the imaging device.
- a plurality of image processing apparatuses may be considered even when it is considered difficult to secure the bus bandwidth of the DMA bus 110 necessary for performing a large number of image processing in the imaging apparatus.
- the imaging device 5 illustrated in the fifth operation example the case where two image processing devices 10 having the same configuration are provided has been described. Then, in the imaging device 5 shown in the fifth operation example, the configuration has been described in which external image processing by the external external image processing device 80 is incorporated into pipeline processing between two image processing devices 10.
- the number of image processing apparatuses 10 constituting the imaging apparatus is not limited to two shown in the imaging apparatus 5 shown in the fifth operation example. That is, the imaging device may be provided with more image processing devices 10.
- external image processing by an external external image processing apparatus may be incorporated during pipeline processing by each of the image processing units 150.
- pipeline processing by the image processing unit 150 provided in each of the image processing devices 10 provided in the imaging device can be further expanded.
- FIG. 7 shows a schematic configuration of an imaging device 5 having another configuration including a plurality of image processing devices 10 according to the embodiment of the present invention and further performing image processing expanded by an external image processing device (external image processing device) It is a block diagram.
- FIG. 7 shows an example of an imaging apparatus having a configuration in which three image processing apparatuses 10 having the same configuration are provided as a modification of the imaging apparatus 5 shown in FIG.
- the image processing device 10 on the side that receives the pixel signal output from the imager (not shown)
- the image processing apparatus 10 that displays a display image on a display device (not shown) is referred to as an apparatus 10a, and is referred to as an "image processing apparatus 10b.”
- the image processing apparatus 10b performs image processing
- the image processing apparatus 10 is referred to as an “image processing apparatus 10 c”.
- an external image processing device 81 is provided between the image processing device 10a and the image processing device 10c, and an external image processing device 82 is provided between the image processing device 10c and the image processing device 10b.
- the image pickup apparatus 51 of the above configuration is shown.
- the external output interface unit 162a provided in the image processing device 10a is connected to the input terminal of the external image processing device 81, and the output terminal of the external image processing device 81 and the image
- the external input interface unit 161c provided in the processing device 10c is connected. Further, in the imaging device 51 shown in FIG.
- the external output interface unit 162c provided in the image processing device 10c is connected to the input terminal of the external image processing device 82, and the output terminal of the external image processing device 82 And the external input interface unit 161b provided in the image processing apparatus 10b.
- external image processing by the external image processing device 81 is incorporated into pipeline processing between the image processing device 10a and the image processing device 10c, and between the image processing device 10c and the image processing device 10b.
- a configuration is realized in which external image processing by the external image processing device 82 is incorporated into pipeline processing.
- each of the image processing devices 10 in the imaging device 51 shown in (a) of FIG. 7 is the operation (the fifth operation example) of each of the image processing devices 10 in the imaging device 5 shown in FIG. This can be easily understood from the operations (second to fourth operation examples) of the image processing apparatus 10 in the imaging device 2 to the imaging device 4 shown in FIGS. 3 to 5. Accordingly, the detailed description of the operation of each of the image processing devices 10 in the imaging device 51 shown in FIG. 7A will be omitted.
- the external image processing apparatus 81 and the external image processing apparatus 82 shown in FIG. 7A are realized by an FPGA, an LSI, an ASIC or the like, the external image processing function realized by the external image processing apparatus 81 and the external It can be considered that an external image processing function realized by the image processing device 82 is combined into one external image processing device.
- one external image processing apparatus may be configured to include a plurality of external input interface ports and external output interface ports according to various predetermined transmission methods such as PCI-Express.
- FIG. 7B the function of external image processing realized by the external image processing device 81 between the image processing device 10a and the image processing device 10c, and between the image processing device 10c and the image processing device 10b.
- the imaging device 52 has a configuration including one external image processing device 83 having the function of external image processing realized by the external image processing device 82.
- the external output interface unit 162a provided in the image processing device 10a and the corresponding input terminal (port) in the external image processing device 81 are connected, and the external image processing device 81 is connected.
- the external input interface unit 161c provided in the image processing apparatus 10c. Furthermore, in the imaging device 52 shown in FIG.
- the external output interface unit 162c provided in the image processing device 10c and the corresponding input terminal (port) in the external image processing device 82 are connected to perform external image processing
- the corresponding output terminal (port) in the device 82 is connected to the external input interface unit 161 b provided in the image processing device 10 b.
- each of the image processing devices 10 in the imaging device 52 shown in (b) of FIG. 7 is the same as the operation in the imaging device 51 shown in (a) of FIG. 5 (the fifth operation example), and the operations of the image processing apparatus 10 in the imaging device 2 to the imaging device 4 shown in FIGS. 3 to 5 (the second to fourth It can be easily considered from the operation example). Accordingly, the detailed description of the operation of each of the image processing devices 10 in the imaging device 52 shown in (b) of FIG. 7 will be omitted.
- the image pickup device 5 shown in FIG. 6 and the image pickup device 51 and the image pickup device 52 shown in FIG. 7 perform the same image processing as the image pickup device 2 shown in FIG. 3 and the image pickup device 3 shown in FIG.
- the configuration in which the device 10 is connected in series (for example, in a daisy chain connection) and an external image processing device is connected between the two image processing devices 10 has been described.
- the configuration in which external image processing by an external external image processing apparatus is incorporated into pipeline processing is an external image between two image processing apparatuses 10 connected in series. It is not limited to the structure which connects a processing apparatus.
- the configuration in which external image processing by an external external image processing apparatus is incorporated into pipeline processing is the same as the imaging apparatus 4 shown in FIG.
- the external image processing apparatus can be connected between the two image processing apparatuses 10 even in the case where they are connected in an annular shape (ring shape).
- data read from the data storage unit (DRAM 70) connected to the common data bus (DMA bus 110) and connected to the DMA bus 110 via the DMA bus 110
- Processing unit image processing unit 130, image processing unit 150, digital signal processor 200, display processing unit 210, memory card interface unit 230, high-speed serial interface unit, etc.
- Image processing apparatus the image processing apparatus 10
- at least one processing unit the image processing unit 150 performs predetermined processing (image processing) on input data (image data).
- the image processing module Input module (input / output module 154) that operates as a processing module that directly inputs / outputs data between the outside and the outside without passing through the DMA bus 110, and the input settings (input Processing modules (in the embodiment, the input DMA module 152 and the image processing module 153-1) according to the settings from the output position determination unit 180 and the control from the outside of the image processing apparatus 10 input via the communication interface unit 191.
- connection switching unit 151 that switches the connection between the image processing module 153-3, the input / output module 154, and the output DMA module 155) to change the configuration of the pipeline, and configures the pipeline Processing that performs pipeline processing by each processing module (Image processing unit 150), based on an operation detection unit (operation detection unit 170) that detects the operation of each processing unit, and information (operation information) of the operation of each processing unit detected by the operation detection unit 170
- the input / output position determination unit input / output position determination unit (input / output position determination unit 180) that determines the configuration of the pipeline in the image processing unit 150 and the information on the configuration of the pipeline determined by the input / output position determination unit 180 are externally
- An information output unit (communication interface unit 192) to be output to the processing device 10), and an information input unit (communication interface unit 191) that receives information on the configuration of the pipeline from the outside (the other image processing apparatus 10);
- the connection switching unit 151 follows the information on the configuration of the pipeline determined by the input / output position determination unit
- An image processing apparatus (image processing apparatus 10) for switching is configured.
- the operation detection unit 170 detects an operation involving an access to the DRAM 70 via the DMA bus 110 by each processing unit as an operation of each processing unit, and the input / output position determination unit In the DRAM 70 connected to the DMA bus 110, the sum of the bandwidths (bus bandwidth, bus bandwidth of the DRAM 70) required for each processing unit to access the DRAM 70 via the DMA bus 110 is 180 (180).
- the image processing apparatus 10 is configured to determine the configuration of the pipeline for dividing the pipeline processing to be performed in the image processing unit 150 in order to make it within the maximum band that can be accessed.
- the input / output position determination unit 180 is configured of the input / output module 154 incorporated in the pipeline configured in the image processing unit 150 in order to divide pipeline processing performed in the image processing unit 150
- An image processing apparatus 10 is configured to determine the position.
- a plurality of image processing apparatuses 10 are provided, and each of the image processing apparatus 10a and the image processing apparatus 10b performs the image processing of the former stage
- the output (external output interface unit 162b) of the input / output module 154a provided in the apparatus 10a and the input (external input interface unit 161b) of the input / output module 154b provided in the image processing apparatus 10b in the subsequent stage are connected Connection switching unit (input / output module 154a and input / output module in the image processing unit 150 (image processing unit 150a and image processing unit 150b) connected to each other and provided in each of the image processing device 10a and the image processing device 10b 154b) is any one of the image processing devices 10 (in the embodiment, the image processing device 10a) Processing modules in the pipeline configured in the image processing unit 150a and the image processing unit 150b according to the information of the configuration of the pipeline determined by the input / output
- the input / output position determination unit 180 included in any one image processing apparatus 10 (image processing apparatus 10a)
- the image processing unit 150a and the image processing unit 150b share the pipeline processing between the image processing unit 150a and the image processing unit 150b based on the information on the operation of each processing unit detected by the unit 170a).
- the information on the configuration of the pipeline determined by is output to the information input unit (communication interface unit 191b) provided in the other image processing apparatus 10 (in the embodiment, the image processing apparatus 10b), and the image processing apparatus 10a and the image processing
- the input / output module 154a in the image processing unit 150a and the input / output module 154b in the image processing unit 150b respectively provided in the apparatus 10b are determined by the input / output position determination unit 180a or the corresponding communication interface unit
- the input / output module 154a or the input / output module 154b is incorporated in the position of the input / output module 154a or the input / output module 154b included in the information of the pipeline configuration received by 191b, and the image processing unit 150a and the
- Processing modules in the embodiment, an input DMA module 152a, an image processing module 153-1a to an image processing module 153-3a, an input / output module 154a, an output DMA module 155a, an input DMA module 152b, an image processing module 153- 1b to the image processing module 153-3b, the input / output module 154b, and the output DMA module 155b).
- the input / output position determination unit 180 included in any one image processing apparatus 10 (image processing apparatus 10a) includes the image processing apparatus 10a and the image processing apparatus 10b, the DMA bus 110a or DMA bus required when accessing each data storage unit (DRAM 70a or DRAM 70b) via the corresponding data bus (DMA bus 110a or DMA bus 110b)
- the processing units 150 b Determining the position of the input-output module 154a or the input-output module 154b incorporated into that pipeline, the imaging apparatus 1 is configured.
- the input (external input interface unit 161a) of the input / output module 154a provided in the first stage image processing apparatus 10 (in the embodiment, the image processing apparatus 10a) is connected to all the image processing apparatuses 10 (image processing apparatus 10a And the image processing apparatus 10 b) in a ring shape, and data (processed image data) after being processed by each of the image processing apparatus 10 a and the image processing apparatus 10 b is one of the image processing apparatuses 10 (in the embodiment) , Collecting in a data storage unit (DRAM 70a) connected to the data bus (DMA bus 110a) of the image processing apparatus 10a), Image device 1 is formed.
- DRAM 70a data storage unit
- DMA bus 110a data bus
- a plurality of image processing apparatuses 10 are provided, and each of the image processing apparatus 10a and the image processing apparatus 10b performs the image processing of the former stage
- the output (external output interface unit 162b) of the input / output module 154a included in the apparatus 10a and the input (external input interface unit 161b) of the input / output module 154b included in the image processing apparatus 10b in the subsequent stage are other image processing Image processing unit 150 (image processing unit 150 a and image processing unit 150 b) connected via an external image processing device (external image processing device 80) that performs the image processing and provided in each of the image processing device 10 a and the image processing device 10 b
- Connection switching unit input / output module 154a and input / output module 154b
- the components provided outside the image processing unit and the DMA bus are not directly connected. It has an input / output module for connection. That is, in the embodiment of the present invention, in order to extend the image processing realized in the image processing unit, an image processing apparatus that performs image processing not realized in any image processing module provided in the image processing unit, and DMA bus It has an input / output module for direct connection without connection.
- a connection switching unit is provided for switching the connection of each processing module provided in the image processing unit, that is, switching the connection of the pipeline configured in the image processing unit.
- the pipeline provided by each image processing module provided in the image processing unit Image processing to be performed by components provided outside the image processing unit can be incorporated into a series of image processing by processing.
- the input / output position determination unit can secure the bus bandwidth of the DMA bus required when each component provided in the image processing apparatus performs image processing, that is, Determine the configuration of the pipeline in the image processing unit that can avoid bus bandwidth compression on a specific DMA bus. Accordingly, in the embodiment of the present invention, the processing capability (speed of the image processing by each component provided in the image processing apparatus caused by the compression of the bus bandwidth of the DMA bus by the image processing unit provided in the image processing apparatus). ) Can be avoided.
- the imaging device when configured by a plurality of image processing devices, a series of image processing in pipeline processing is shared by the image processing units provided in the plurality of respective image processing devices. Apply, configure the pipeline.
- the compression of the bus bandwidth of the DMA bus by the image processing unit provided in any of the image processing apparatuses is caused. It is possible to avoid a decrease in processing capability (speed) of image processing by respective components provided in the image processing apparatus.
- the imaging apparatus including two or three image processing apparatuses has been described.
- the number of image processing devices provided in the imaging device is not limited to two or three as described above. That is, an imaging device provided with more image processing devices may be configured.
- a pipe in the image processing unit 150 provided in each of the image processing devices 10 provided in the imaging device 1 in the same manner as the image processing device 10a described in the embodiment of the present invention is one of the image processing devices 10 Determine the composition of the line.
- the image processing apparatus 10 having determined the configuration of the pipeline outputs (transmits) information on the determined configuration of the pipeline to the other image processing apparatus 10 via the communication interface unit 192, and performs other image processing
- Each of the apparatuses 10 configures a pipeline in the image processing unit 150 according to the information on the configuration of the pipeline output from the image processing apparatus 10 that has determined the configuration of the pipeline.
- the processing apparatus that performs a series of processing by the pipeline configuration
- various processing apparatuses other than the image processing apparatus can be considered.
- various systems may be considered as systems requiring sharing of a series of processes by the pipeline configuration. Therefore, the processing apparatus or system to which the concept of the present invention can be applied is not limited to the image processing apparatus or imaging apparatus shown in the embodiment of the present invention, and a plurality of processing modules are connected in series.
- the concept of the present invention can be applied similarly, and the same effect as the present invention can be obtained.
- each processing block provided in the image processing apparatus can secure a bus bandwidth necessary for accessing the shared DRAM.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Processing (AREA)
- Studio Devices (AREA)
Abstract
共通のデータバスに接続され、データバスに接続されたデータ記憶部からデータバスを経由して読み出したデータに対して予め定めた処理を施す複数の処理部を具備した画像処理装置であって、少なくとも1つの処理部は、入力されたデータに対して予め定めた処理を施す複数の処理モジュールと、データバスを経由せずに外部との間で直接データを入出力する処理モジュールとして動作する入出力用モジュールと、入力された設定に従って処理モジュール同士の接続を切り替えてパイプラインの構成を変更する接続切り替え部とを備え、パイプラインを構成したそれぞれの処理モジュールによってパイプライン処理を施す画像処理部であり、それぞれの処理部の動作を検出する動作検出部と、動作検出部が検出したそれぞれの処理部の動作の情報に基づいて、画像処理部におけるパイプラインの構成を決定する入出力位置決定部と、入出力位置決定部が決定したパイプラインの構成の情報を外部に出力する情報出力部と、パイプラインの構成の情報を外部から受け取る情報入力部と、を備え、接続切り替え部は、入出力位置決定部が決定した、または情報入力部が受け取った、パイプラインの構成の情報に従って、パイプラインを構成する処理モジュール同士の接続を切り替える。
Description
本発明は、画像処理装置および撮像装置に関する。
本願は、2017年07月24日に出願されたPCT特許出願番号PCT/JP2017/026672に基づき優先権を主張し、その内容をここに援用する。
本願は、2017年07月24日に出願されたPCT特許出願番号PCT/JP2017/026672に基づき優先権を主張し、その内容をここに援用する。
静止画用カメラ、動画用カメラ、医療用内視鏡カメラ、または産業用内視鏡カメラなどの撮像装置では、搭載されたシステムLSIなどの画像処理装置によって、様々な画像処理を施す。このため、画像処理装置には、撮像装置に搭載する機能を実現するための画像処理機能を備えていることが望まれる。
また、近年では、撮像装置において撮影した画像を表示する表示装置の高精細化が進んでいる。例えば、表示装置では、HDTV(High Definition TeleVision)に対応したフルHDサイズ(1920×1080)の解像度をもつ画像や、UHDTV(Ultra High Definition TeleVision)に対応した4Kサイズ(3840×2160)の解像度をもつ画像を表示することができる。さらに、表示装置において、4Kサイズをさらに高精細化した8Kサイズ(7680×4320)の解像度をもつ画像を表示することも計画されている。
このため、撮像装置に搭載する画像処理装置においても、より高精細な画像への対応が求められている。つまり、画像処理装置に、4Kサイズや8Kサイズというような高解像度の画像や、高フレームレートの画像に対応した画像処理機能を備えることが必要になってきている。
ところで、撮像装置に搭載される多くの画像処理装置では、画像処理機能を実現するために内蔵している複数の処理ブロックが、画像処理装置に接続された1つのDRAM(Dynamic Random Access Memory)を共有する構成が採用されている。そして、このような画像処理装置では、内蔵している複数の処理ブロックが、画像処理装置の内部のデータバスに接続され、それぞれの処理ブロックは、データバスを経由したDMA(Direct Memory Access)によってDRAMへのアクセスをする。このため、画像処理装置では、画像処理を施す対象の画像の解像度やフレームレートによって、画像処理において扱うデータ量、つまり、それぞれの処理ブロックがDRAMにアクセスするために必要なバス帯域が変わってくる。つまり、画像処理装置に高解像度の画像や高フレームレートの画像に対応する画像処理機能を備えると、画像処理において扱うデータ量が増加するため、必要なDRAMのバス帯域も増加することになる。また、高解像度の画像や高フレームレートの画像に対応した画像処理装置では、内蔵している複数の処理ブロックのそれぞれも、高速に動作することが必要となる。
なお、画像処理装置に備える処理ブロックの中には、複数の処理モジュールを直列に接続した構成にすることによってパイプライン処理を施す処理ブロックもある。例えば、画像処理装置では、撮像装置における一連の画像処理を施す画像処理部が、パイプライン処理を施す構成の処理ブロックである。このような構成の画像処理装置では、それぞれの画像処理を施す複数の画像処理モジュールを直列に接続した画像処理部におけるパイプライン処理によって、撮像装置における一連の画像処理の高速化を実現することができる。また、このような構成の画像処理装置では、画像処理部に備えたデータ入力側と出力側の処理モジュール以外は、パイプライン処理を施すそれぞれの画像処理モジュールによるDRAMへのアクセスがなくなるため、画像処理を施す際のDRAMのバス帯域の圧迫を回避し、画像処理装置の消費電力を低減することができる。
一方、撮像装置は、搭載する機能や処理能力(速度)、またはその価格によって、様々な機種が展開される。そして、撮像装置において展開するそれぞれの機種ごとに、必要な画像処理機能を備えた画像処理装置を開発することは、画像処理装置の開発期間やコストの観点からすると、有益な手段ではない。このため、1つの画像処理装置として、高解像度の画像への対応を含めた多くの画像処理機能を備える高機能な画像処理装置を開発し、展開する全ての撮像装置に共通して搭載することが考えられる。しかしながら、高機能の画像処理装置は、搭載する際に必要とする面積や、動作する際の消費電力が大きくなってしまう。また、高機能の画像処理装置は、非常に高価なものになってしまう。すると、高機能の画像処理装置は、撮像装置の小型化、低消費電力化、低価格化の観点から、少ない機能を搭載した撮像装置には搭載しづらいものとなってしまう。
そこで、従来から、実施する画像処理機能に拡張性を持たせる構成の様々な画像処理装置の技術が提案されている。例えば、特許文献1には、複数のASICによって、機能が異なる様々な画像処理装置を実現する技術が開示されている。より具体的には、特許文献1には、画像処理に必要な最低限の機能を備えた基本機能ASICのみを使用して、低機能画像処理装置を最適コストで実現し、基本機能ASICと多くの機能を備えた高機能ASICを使用して、多機能の高性能画像処理装置を実現する技術が開示されている。このため、特許文献1に開示された技術を撮像装置に適用することによって、様々な機種の撮像装置を展開することができると考えられる。つまり、低機能の画像処理装置のみを搭載することによって、低コストの撮像装置を実現し、低機能の画像処理装置と高機能の画像処理装置との両方を搭載することによって、高機能の撮像装置を実現することができると考えられる。
しかしながら、特許文献1に開示された技術では、基本機能ASICに高機能ASICを接続することによって画像処理装置の機能を拡張するための技術であるものの、高性能画像処理装置において必要となることが考えられるDRAMのバス帯域の確保に関する技術の開示がされていない。つまり、特許文献1には、基本機能ASICに高機能ASICを接続した場合において、それぞれの機能を実現するために増加することが考えられるDRAMのバス帯域の確保やバス帯域を低減するための技術に関しての開示がされていない。
このため、撮像装置では、特許文献1に開示された技術を適用することによって画像処理機能を拡張することができるものの、撮像装置に搭載される画像処理装置において必要なDRAMのバス帯域を確保することができず、高解像度の画像や高フレームレートの画像に対応するために要求される高い処理能力(処理速度)を達成する構成を実現することができないことが考えられる。
本発明は、上記の課題認識に基づいてなされたものであり、画像処理装置に備えているそれぞれの処理ブロックが、共有しているDRAMにアクセスするために必要なバス帯域を確保することができる画像処理装置および撮像装置を提供することを目的としている。
本発明の第1の態様によれば、画像処理装置は、共通のデータバスに接続され、前記データバスに接続されたデータ記憶部から前記データバスを経由して読み出したデータに対して予め定めた処理を施す複数の処理部を具備した画像処理装置であって、少なくとも1つの前記処理部は、入力されたデータに対して予め定めた処理を施す複数の処理モジュールと、前記データバスを経由せずに外部との間で直接データを入出力する前記処理モジュールとして動作する入出力用モジュールと、入力された設定に従って前記処理モジュール同士の接続を切り替えてパイプラインの構成を変更する接続切り替え部とを備え、前記パイプラインを構成したそれぞれの前記処理モジュールによってパイプライン処理を施す画像処理部であり、それぞれの前記処理部の動作を検出する動作検出部と、前記動作検出部が検出したそれぞれの前記処理部の動作の情報に基づいて、前記画像処理部における前記パイプラインの構成を決定する入出力位置決定部と、前記入出力位置決定部が決定した前記パイプラインの構成の情報を外部に出力する情報出力部と、前記パイプラインの構成の情報を外部から受け取る情報入力部と、を備え、前記接続切り替え部は、前記入出力位置決定部が決定した、または前記情報入力部が受け取った、前記パイプラインの構成の情報に従って、前記パイプラインを構成する前記処理モジュール同士の接続を切り替える。
本発明の第2の態様によれば、上記第1の態様の画像処理装置において、前記動作検出部は、それぞれの前記処理部による前記データバスを経由した前記データ記憶部へのアクセスを伴う動作を、それぞれの前記処理部の動作として検出し、前記入出力位置決定部は、それぞれの前記処理部が前記データバスを経由して前記データ記憶部にアクセスする際に要する前記データバスの帯域の合計を、前記データバスに接続された前記データ記憶部における最大の帯域以内にするために、前記画像処理部において施すパイプライン処理を分けるための前記パイプラインの構成を決定してもよい。
本発明の第3の態様によれば、上記第2の態様の画像処理装置において、前記入出力位置決定部は、前記画像処理部において施すパイプライン処理を分けるために、前記画像処理部において構成される前記パイプライン内に組み込む前記入出力用モジュールの位置を決定してもよい。
本発明の第4の態様によれば、撮像装置は、上記第2の態様の画像処理装置を複数備え、それぞれの前記画像処理装置は、前段の前記画像処理装置に備えた前記入出力用モジュールの出力と後段の前記画像処理装置に備えた前記入出力用モジュールの入力とを接続して数珠つなぎに接続され、それぞれの前記画像処理装置に備えた前記画像処理部内の前記接続切り替え部は、いずれか1つの前記画像処理装置に備えた前記入出力位置決定部が決定した前記パイプラインの構成の情報に従って、前記画像処理部において構成する前記パイプラインにおける前記処理モジュール同士の接続を切り替える。
本発明の第5の態様によれば、上記第4の態様の撮像装置において、前記いずれか1つの前記画像処理装置に備えた前記入出力位置決定部は、対応する前記動作検出部が検出したそれぞれの前記処理部の動作の情報に基づいて、それぞれの前記画像処理部でパイプライン処理を分担するために、それぞれの前記画像処理部において構成される前記パイプライン内に組み込む前記入出力用モジュールの位置を含む前記パイプラインの構成を決定し、前記いずれか1つの前記画像処理装置に備えた前記情報出力部は、前記入出力位置決定部が決定した前記パイプラインの構成の情報を、他の前記画像処理装置に備えた前記情報入力部に出力し、それぞれの前記画像処理装置に備えた前記画像処理部内の前記接続切り替え部は、前記入出力位置決定部が決定した、または対応する前記情報入力部が受け取った前記パイプラインの構成の情報に含まれる前記入出力用モジュールの位置に、前記入出力用モジュールを組み込んで、前記画像処理部において構成する前記パイプラインにおける前記処理モジュール同士の接続を切り替えてもよい。
本発明の第6の態様によれば、上記第5の態様の撮像装置において、前記いずれか1つの前記画像処理装置に備えた前記入出力位置決定部は、それぞれの前記画像処理装置において処理を施すそれぞれの前記処理部が対応する前記データバスを経由して前記データ記憶部にアクセスする際に要する前記データバスの帯域の合計を、対応する前記データバスに接続された前記データ記憶部における最大の帯域以内にするために、それぞれの前記画像処理部において構成される前記パイプライン内に組み込む前記入出力用モジュールの位置を決定してもよい。
本発明の第7の態様によれば、上記第6の態様の撮像装置において、前記数珠つなぎに接続された最終段の前記画像処理装置に備えた前記入出力用モジュールの出力と初段の前記画像処理装置に備えた前記入出力用モジュールの入力とを接続して、全ての前記画像処理装置を円環状に接続し、それぞれの前記画像処理装置が処理した後のデータを、いずれか1つの前記画像処理装置の前記データバスに接続された前記データ記憶部に集めてもよい。
本発明の第8の態様によれば、撮像装置は、上記第2の態様の画像処理装置を複数備え、それぞれの前記画像処理装置は、前段の前記画像処理装置に備えた前記入出力用モジュールの出力と後段の前記画像処理装置に備えた前記入出力用モジュールの入力とが、他の画像処理を施す外部画像処理装置を経由して接続され、それぞれの前記画像処理装置に備えた前記画像処理部内の前記接続切り替え部は、いずれか1つの前記画像処理装置に備えた前記入出力位置決定部が決定した前記パイプラインの構成の情報に従って、前記画像処理部において構成する前記パイプラインにおける前記処理モジュール同士の接続を切り替える。
上記各態様によれば、画像処理装置に備えているそれぞれの処理ブロックが、共有しているDRAMにアクセスするために必要なバス帯域を確保することができる画像処理装置および撮像装置を提供することができるという効果が得られる。
以下、本発明の実施形態について、図面を参照して説明する。なお、以下の説明においては、本発明の実施形態の画像処理装置が、例えば、静止画用カメラなどの撮像装置(以下、「撮像装置1」という)に搭載されている場合について説明する。図1は、本発明の実施形態における画像処理装置を備えた撮像装置の概略構成を示したブロック図である。
図1に示した画像処理装置10は、DMA(Direct Memory Access)バス110と、イメージャインターフェース(I/F)部120と、撮像処理部130と、CPU(Central Processing Unit)140と、画像処理部150と、外部入力インターフェース(I/F)部161と、外部出力インターフェース(I/F)部162と、動作検出部170と、入出力位置決定部180と、通信インターフェース(I/F)部191と、通信インターフェース(I/F)部192と、デジタルシグナルプロセッサ(DSP)200と、表示処理部210と、ビデオインターフェース(I/F)部220と、メモリカードインターフェース(I/F)部230と、高速シリアルインターフェース(I/F)部240と、を備えている。また、画像処理部150は、接続切り替え部151と、入力DMAモジュール152と、3つの画像処理モジュール153-1~画像処理モジュール153-3と、入出力用モジュール154と、出力DMAモジュール155と、を備えている。
なお、図1においては、本発明の実施形態の画像処理装置10に関連する撮像装置1内の構成要素としてDRAM70のみを示し、撮像装置1に備えているその他の構成要素の図示を省略している。なお、撮像装置1に備えているその他の構成要素としては、例えば、被写体の光学像を光電変換する固体撮像素子(以下、「イメージャ」ともいう)や、イメージャに被写体の光学像を結像させるレンズ、画像処理装置10によって画像処理された画像のデータを記録するメモリカードなどの記録媒体、画像処理装置10によって画像処理された画像を表示させる表示デバイスなどの表示装置などがある。ここで、上述した撮像装置1に備えているその他の構成要素は、撮像装置1に着脱可能な構成であってもよい。また、撮像装置1に備えているその他の構成要素として、例えば、画像処理装置10や上述したその他の構成要素を制御するためのシステム制御装置などがあってもよい。
DRAM70は、画像処理装置10内のDMAバス110に接続され、撮像装置1において処理される様々なデータを記憶するデータ記憶部である。例えば、DRAM70は、撮像装置1に備えた不図示のイメージャから出力された静止画像のデータを記憶する。
画像処理装置10においては、DRAM70に記憶された静止画像のデータに対して画像処理を施す。なお、画像処理装置10は、DRAM70に記憶された静止画像のデータに対して画像処理を施す際に、1フレームの静止画像ごと、つまり、1フレームの静止画像の全体に対して画像処理を施してもよいし、DRAM70に記憶された1フレームの静止画像のデータを予め定めた複数の小さなブロックに分割し、それぞれのブロックごとに画像処理を施してもよい。しかし、以下の説明においては、説明を容易にするため、画像処理装置10が画像処理の方法に関しても区別せず、DRAM70に記憶された1フレームの静止画像のデータ(以下、単に「画像データ」という)に対して画像処理を施す構成であるものとして説明する。
DMAバス110は、接続されたそれぞれの構成要素がDMAによってDRAM70にアクセスするためのデータバスである。
CPU140は、画像処理装置10に備えたそれぞれの構成要素を制御することによって、画像処理装置10の全体を制御する制御部である。CPU140は、それぞれの構成要素を制御するためのプログラムやデータに応じて、画像処理装置10の全体を制御する。なお、CPU140が画像処理装置10の全体を制御するためのプログラムやデータは、DMAバス110に接続されたDRAM70に記憶されているものであってもよい。この場合、CPU140は、DRAM70に記憶されているプログラムやデータを読み出して実施することによって、画像処理装置10の全体を制御する。
イメージャインターフェース部120は、撮像装置1に備えた不図示のイメージャとの間のインターフェース部である。イメージャインターフェース部120は、CPU140からの設定に基づいて、不図示のイメージャから出力された被写体の光学像を表すそれぞれの画素の信号(以下、「画素信号」という)を受け取り、受け取った画素信号を撮像処理部130に出力(伝送)する。
なお、不図示のイメージャがアナログの画素信号を出力する構成である場合、イメージャインターフェース部120は、不図示のイメージャから出力されたアナログの画素信号をデジタルの画素信号に変換するA/D(アナログ/デジタル)変換器を備え、デジタルの画素信号(以下、「画素データ」という)を撮像処理部130に出力する構成であってもよい。また、不図示のイメージャがデジタルの画素信号(画素データ)を出力する構成である場合、イメージャインターフェース部120は、固体撮像素子(イメージャ)において多く採用されている、例えば、差動インターフェース方式であるLVDS(Low Voltage Differential Signaling)方式に従った伝送方式で、不図示のイメージャから出力された画素信号(画素データ)を受け取る構成であってもよい。なお、イメージャインターフェース部120が、不図示のイメージャから出力された画素信号(画素データ)を受け取るための伝送方式は、上述した伝送方式に限定されるものではない。
撮像処理部130は、CPU140からの設定に基づいて、イメージャインターフェース部120から出力された画素データに対して様々な処理を施す。撮像処理部130が画素データに対して施す処理には、例えば、画素データが表す画像全体の明るさを補正するシェーディング補正、画像全体の黒レベルの変動を補正する黒レベル補正、不図示のイメージャに含まれる欠陥画素に対応する画素データを置換する画素欠陥補正などの前処理が含まれている。撮像処理部130は、前処理を施したそれぞれの画素データを含んだ画像データを、DMAバス110を経由したDMAによってDRAM70に書き込む(記憶させる)。
なお、撮像処理部130は、前処理を施したそれぞれの画素データや画像データに基づいて、自動露出(Auto Exposure:AE)、自動焦点(Auto Focus:AF)、オートホワイトバランス(Auto White Balance:AWB)など、撮像装置1における被写体の撮影を制御するための評価値を生成するAE/AF検出処理の機能を備えていてもよい。この場合、撮像処理部130は、AE/AF検出処理によって生成した評価値のデータを、AE/AFを検出したデータとして、DMAバス110を経由したDMAによってDRAM70に書き込む(記憶させる)。
画像処理部150は、入力された画像データに対して、予め定められた種々の画像処理を施す。画像処理部150は、画像処理装置10において予め定められた一連の画像処理を施す構成のパイプライン処理部である。より具体的には、画像処理部150は、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、および出力DMAモジュール155が直列に接続されたパイプライン処理によって、画像処理装置10において予め定められた一連の画像処理を順次施す。なお、以下の説明においては、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれを区別せずに表すときには、「画像処理モジュール153」という。
また、画像処理部150は、パイプライン処理に含まれる画像処理を選択する機能や、パイプライン処理によって施す画像処理の順番を変更する機能を備えている。すなわち、画像処理部150は、パイプラインの構成を変更する機能を備えている。例えば、画像処理部150は、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれによる画像処理を順次施すパイプラインを構成することができる。また、例えば、画像処理部150は、画像処理モジュール153-1~画像処理モジュール153-3の順番を変更して画像処理を施すパイプラインを構成することができる。また、例えば、画像処理部150は、画像処理モジュール153-1~画像処理モジュール153-3のいずれか1つまたは複数によって画像処理を施すパイプラインを構成することもできる。なお、画像処理部150におけるパイプラインの構成は、後述する入出力位置決定部180によって変更(設定)される。また、画像処理部150におけるパイプラインの構成は、後述する通信インターフェース部191を経由することによって、画像処理装置10の外部(例えば、システム制御装置など)からも変更(設定)することができる。
また、画像処理部150は、画像処理装置10の外部から入力された画像データに対して画像処理モジュール153-1~画像処理モジュール153-3のそれぞれによる画像処理を施す機能を備えている。また、画像処理部150は、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれが画像処理を施した画像データを画像処理装置10の外部に出力する機能を備えている。言い換えれば、画像処理部150は、撮像装置1におけるその他の構成要素として画像処理装置10の外部に備えている他の画像処理装置などとの間で、画像データを直接入出力する機能を備えている。この画像データを画像処理装置10の外部との間で直接入出力する機能によって、画像処理部150では、画像処理装置10の外部で施される、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれが施す画像処理とは異なる画像処理を、パイプライン処理に組み込むことができる。つまり、画像処理部150は、画像処理モジュール153-1~画像処理モジュール153-3のいずれの画像処理モジュール153においても施さない画像処理をパイプライン処理に組み込むことができる。
このとき、撮像装置1において画像処理装置10の外部に備えている他の画像処理装置を、同じ構成の画像処理装置10にする、つまり、撮像装置1が複数の画像処理装置10を備えている構成にすると、画像データを画像処理装置10の外部との間で直接入出力する機能を利用して、パイプライン処理における一連の画像処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施すことができる。例えば、撮像装置1が2つの画像処理装置10を備えた構成である場合、一連の画像処理として施すパイプライン処理を、2つの画像処理装置10のそれぞれに備えた画像処理部150で分担することができる。
なお、画像処理部150において画像データを画像処理装置10の外部との間で直接入出力する機能や、異なる画像処理をパイプライン処理に組み込む機能、複数の画像処理装置10でパイプライン処理を分担する機能は、後述する入出力用モジュール154を、画像処理モジュール153-1~画像処理モジュール153-3のパイプラインの構成内に組み込むことによって実現される。
なお、上述したように、画像処理部150におけるパイプラインの構成は、後述する入出力位置決定部180からの設定や、後述する通信インターフェース部191を経由して入力された画像処理装置10の外部からの制御によって変更(設定)される。従って、画像処理部150では、入出力用モジュール154をパイプラインに組み込むか否かの設定、入出力用モジュール154をパイプラインに組み込む位置の設定などが、後述する入出力位置決定部180からの設定や、後述する通信インターフェース部191を経由して入力された画像処理装置10の外部(例えば、システム制御装置など)からの制御によって、上述したパイプラインの構成を変更する機能の設定と共に設定される。
なお、複数の画像処理装置10を備え、上述したパイプライン処理を複数の画像処理装置10のそれぞれに備えた画像処理部150で分担する構成の撮像装置1では、いずれか1つの画像処理装置10に備えた後述する入出力位置決定部180が、上述したパイプラインの構成を変更する機能の設定と共に、それぞれの画像処理部150におけるパイプライン構成を変更(設定)する。しかし、複数の画像処理装置10を備えた構成の撮像装置1においても、それぞれの画像処理装置10の外部(例えば、システム制御装置など)から、後述するそれぞれの通信インターフェース部191を経由して、それぞれの画像処理部150におけるパイプライン構成を変更(設定)してもよい。
なお、図1に示した画像処理装置10では、画像処理部150において、画像処理モジュール153-2と画像処理モジュール153-3との間の位置に入出力用モジュール154が組み込まれている場合を示している。しかし、画像処理部150において入出力用モジュール154をパイプラインに組み込む位置は、上述したように、後述する入出力位置決定部180からの設定や、後述する通信インターフェース部191を経由して入力された画像処理装置10の外部からの制御によって変更(設定)される。従って、画像処理部150において入出力用モジュール154をパイプラインに組み込む位置は、図1に示した位置に限定されるものではなく、画像処理部150におけるパイプライン構成内のいかなる位置にも組み込むことができる。つまり、画像処理部150において入出力用モジュール154は、パイプラインの先頭、途中、最後尾など、いかなる位置にも組み込むことができる。
接続切り替え部151は、後述する入出力位置決定部180からの設定や、後述する通信インターフェース部191を経由して入力された画像処理装置10の外部からの制御に従って、画像処理部150に備えた処理モジュールが出力した画像データの出力先を切り替える。つまり、接続切り替え部151は、画像処理部150に備えたそれぞれの処理モジュール同士の接続を切り替える。より具体的には、接続切り替え部151は、後述する入出力位置決定部180からの設定や、後述する通信インターフェース部191を経由して入力された画像処理装置10の外部からの制御に従って、画像処理部150に備えた入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155のそれぞれが出力した画像データの出力先を切り替える。これにより、画像処理部150では、上述した、パイプライン処理に含まれる画像処理を選択する機能や、パイプライン処理によって施す画像処理の順番を変更する機能、画像処理装置10の外部との間で画像データを直接入出力する機能(異なる画像処理をパイプライン処理に組み込む機能や、パイプライン処理を分担する機能)など、パイプラインの構成を変更する機能が実現される。
例えば、画像処理部150によって画像処理モジュール153-2のみの画像処理を施す場合を考える。この場合、接続切り替え部151は、入力DMAモジュール152の出力端子と画像処理モジュール153-2の入力端子とを接続し、画像処理モジュール153-2の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。また、例えば、画像処理部150によって画像処理モジュール153-3、画像処理モジュール153-1の順番で画像処理を施す場合を考える。この場合、接続切り替え部151は、入力DMAモジュール152の出力端子と画像処理モジュール153-3の入力端子とを接続し、画像処理モジュール153-3の出力端子と画像処理モジュール153-1の入力端子とを接続し、画像処理モジュール153-1の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。また、例えば、画像処理部150によって画像処理モジュール153-2に引き続き、画像処理装置10の外部で画像処理を施す場合を考える。この場合、接続切り替え部151は、入力DMAモジュール152の出力端子と画像処理モジュール153-2の入力端子とを接続し、画像処理モジュール153-2の出力端子と入出力用モジュール154の入力端子とを接続し、入出力用モジュール154の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。
また、例えば、画像処理装置10を2つ備えた撮像装置1において、一方の画像処理装置10に備えた画像処理部150によって画像処理モジュール153-2のみの画像処理を施し、他方の画像処理装置10に備えた画像処理部150によって画像処理モジュール153-3のみの画像処理を施す場合を考える。この場合、一方の画像処理装置10に備えた接続切り替え部151は、入力DMAモジュール152の出力端子と画像処理モジュール153-2の入力端子とを接続し、画像処理モジュール153-2の出力端子と入出力用モジュール154の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。また、他方の画像処理装置10に備えた接続切り替え部151は、入出力用モジュール154の出力端子と画像処理モジュール153-3の入力端子とを接続し、画像処理モジュール153-3の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。
なお、画像処理部150では、上述したように、入出力用モジュール154は、パイプラインの先頭、途中、最後尾など、いかなる位置にも組み込むことができる。例えば、画像処理装置10の外部での画像処理に引き続き、画像処理部150によって画像処理モジュール153-1の画像処理を施す場合、つまり、入出力用モジュール154をパイプラインの先頭に組み込む場合を考える。この場合、接続切り替え部151は、入力DMAモジュール152の出力端子と入出力用モジュール154の入力端子とを接続し、入出力用モジュール154の出力端子と画像処理モジュール153-1の入力端子とを接続し、画像処理モジュール153-1の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。また、例えば、画像処理部150によって画像処理モジュール153-2、画像処理装置10の外部での画像処理、画像処理モジュール153-3の順番で画像処理を施す場合、つまり、入出力用モジュール154をパイプラインの途中に組み込む場合を考える。この場合、接続切り替え部151は、入力DMAモジュール152の出力端子と画像処理モジュール153-2の入力端子とを接続し、画像処理モジュール153-2の出力端子と入出力用モジュール154の入力端子とを接続し、入出力用モジュール154の出力端子と画像処理モジュール153-3の入力端子とを接続し、画像処理モジュール153-3の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。また、例えば、画像処理部150によって画像処理モジュール153-3に引き続き、画像処理装置10の外部で画像処理を施す場合、つまり、入出力用モジュール154をパイプラインの最後尾に組み込む場合を考える。この場合、接続切り替え部151は、入力DMAモジュール152の出力端子と画像処理モジュール153-3の入力端子とを接続し、画像処理モジュール153-3の出力端子と入出力用モジュール154の入力端子とを接続し、入出力用モジュール154の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。
なお、画像処理装置10の外部の画像処理は、画像処理装置10を複数備えた撮像装置1における他の画像処理装置10に備えた画像処理部150が施す画像処理(パイプライン処理)として考えることもできる。例えば、画像処理装置10を2つ備えた撮像装置1において、一方の画像処理装置10に備えた画像処理部150によって画像処理モジュール153-1の画像処理を施し、他方の画像処理装置10に備えた画像処理部150によって画像処理モジュール153-2のみの画像処理を施し、再び一方の画像処理装置10に備えた画像処理部150によって画像処理モジュール153-3の画像処理を施すような構成にすることもできる。この場合、一方の画像処理装置10に備えた接続切り替え部151は、入力DMAモジュール152の出力端子と画像処理モジュール153-1の入力端子とを接続し、画像処理モジュール153-1の出力端子と入出力用モジュール154の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。さらに、一方の画像処理装置10に備えた接続切り替え部151は、入出力用モジュール154の出力端子と画像処理モジュール153-3の入力端子とを接続し、画像処理モジュール153-3の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。また、他方の画像処理装置10に備えた接続切り替え部151は、入出力用モジュール154の出力端子と画像処理モジュール153-2の入力端子とを接続し、画像処理モジュール153-2の出力端子と入出力用モジュール154の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。
なお、画像処理部150では、入出力用モジュール154のみをパイプラインに組み込むこともできる。つまり、画像処理部150では、DRAM70に記憶された画像データを外部に出力し、外部から入力された画像データを再びDRAM70に記憶させることもできる。より具体的には、接続切り替え部151が、入力DMAモジュール152の出力端子と入出力用モジュール154の入力端子とを接続し、入出力用モジュール154の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。これにより、画像処理部150では、入出力用モジュール154のみ、つまり、画像処理装置10の外部による画像処理のみをパイプライン処理として施すことができる。
また、例えば、画像処理装置10を2つ備えた撮像装置1において、一方の画像処理装置10に備えた画像処理部150では画像処理を施さず、つまり、一方の画像処理装置10から他方の画像処理装置10に画像データを転送するのみで、他方の画像処理装置10に備えた画像処理部150によって画像処理を施す場合を考える。この場合、一方の画像処理装置10に備えた接続切り替え部151は、入力DMAモジュール152の出力端子と入出力用モジュール154の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。また、他方の画像処理装置10に備えた接続切り替え部151は、入出力用モジュール154の出力端子と画像処理を施す画像処理モジュール153の入力端子とを接続し、画像処理を施す画像処理モジュール153の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替える。なお、他方の画像処理装置10に備えた画像処理部150においても画像処理を施さない場合には、他方の画像処理装置10に備えた接続切り替え部151は、入出力用モジュール154の出力端子と出力DMAモジュール155の入力端子とを接続するために、それぞれの構成要素の接続を切り替えることもできる。この場合、一方の画像処理装置10に接続されたDRAM70から、他方の画像処理装置10に接続されたDRAM70に、画像データが転送されることになる。
入力DMAモジュール152は、DMAによってDRAM70に記憶されている画像データを読み出し、読み出した画像データを、次に画像処理を施す処理モジュールとして接続切り替え部151によって接続が切り替えられている接続先の処理モジュールに出力するための処理モジュールである。より具体的には、入力DMAモジュール152は、CPU140からの設定に基づいて、DRAM70に記憶されている画像データを、DMAバス110を経由したDMAによって読み出す。そして、入力DMAモジュール152は、読み出した画像データを、接続切り替え部151を経由して、次に画像処理を施す処理モジュールとして接続されている画像処理モジュール153や入出力用モジュール154のいずれかに出力する。
なお、入力DMAモジュール152は、画像データに含まれる予め定めた数の画素データ(前処理を施した画素データ)を一時的に記憶することができるデータバッファを備える構成であってもよい。この構成の場合、入力DMAモジュール152は、DMAバス110を経由してDRAM70から読み出した画像データに含まれる予め定めた数の画素データのそれぞれをデータバッファに一時記憶する。そして、入力DMAモジュール152は、データバッファに一時記憶したそれぞれの画素データを、DRAM70から読み出した画像データに含まれるそれぞれの画素データとして、接続切り替え部151によって接続が切り替えられた接続先の画像処理モジュール153や入出力用モジュール154のいずれかに出力する。
画像処理モジュール153-1~画像処理モジュール153-3のそれぞれは、接続切り替え部151を経由して入力された画像データに対して予め定めた種々のデジタル的な画像処理を施すための処理モジュールである。より具体的には、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれには、前に画像処理を施した処理モジュールとして接続切り替え部151によって接続が切り替えられた接続先の入力DMAモジュール152、他の画像処理モジュール153、または入出力用モジュール154のいずれかから、画像処理を施す対象の画像データが、接続切り替え部151を経由して入力される。画像処理モジュール153-1~画像処理モジュール153-3のそれぞれは、CPU140からの設定に基づいて、接続切り替え部151を経由して入力された画像データに対して予め定めた画像処理を施す。画像処理モジュール153-1~画像処理モジュール153-3のそれぞれが入力された画像データに対して施す画像処理には、種々の画像処理がある。画像処理モジュール153が施す画像処理には、例えば、画像データに含まれるそれぞれの画素データに対応するY(輝度)信号とC(色)信号とを生成するYC処理、それぞれの画素データに含まれるノイズを低減するノイズ低減処理、それぞれの画素データで表される画像における高周波成分の抑圧をするLPF処理、それぞれの画素データで表される画像に含まれる被写体の輪郭を強調するエッジ強調処理などが含まれている。また、画像処理モジュール153が施す画像処理には、例えば、入力された画像データに応じた画像、つまり、撮像装置1において撮影した画像を不図示の表示装置などに表示させるための画像を生成する画像処理や、撮像装置1において撮影した画像を不図示の記録媒体に記録するための画像を生成する画像処理、入力された画像データを他の装置に伝送するための処理なども含まれている。画像処理モジュール153-1~画像処理モジュール153-3のそれぞれは、接続切り替え部151を経由して入力された画像データに対して、上述したような画像処理を施した画像データを、接続切り替え部151によって接続が切り替えられた接続先の他の画像処理モジュール153、入出力用モジュール154、または出力DMAモジュール155のいずれかに出力する。
なお、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれも、画像データに含まれる予め定めた数の画素データを一時的に記憶することができるデータバッファを備える構成であってもよい。この構成の場合、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれは、接続切り替え部151を経由して入力された画像データに含まれる予め定めた数の画素データのそれぞれをデータバッファに一時記憶する。そして、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれは、データバッファに一時記憶したそれぞれの画素データに対して画像処理を施す。その後、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれは、画像処理を施したそれぞれの画素データを、画像データに含まれるそれぞれの画素データとして、接続切り替え部151によって接続が切り替えられた接続先の他の画像処理モジュール153、入出力用モジュール154、または出力DMAモジュール155のいずれかに出力する。なお、画像処理モジュール153-1~画像処理モジュール153-3のそれぞれは、接続切り替え部151を経由して入力された画像データに対して画像処理を施してからデータバッファに一時記憶し、データバッファに一時記憶した画像データを、接続切り替え部151によって接続が切り替えられた接続先に出力する構成であってもよい。
なお、図1に示した画像処理装置10においては、画像処理モジュール153-1~画像処理モジュール153-3の3つの画像処理モジュール153を備えた画像処理部150の構成を示しているが、画像処理部150に備える画像処理モジュール153の数は、図1に示したような3つに限定されるものではない。つまり、画像処理部150は、さらに多くの画像処理モジュール153を備える構成であってもよい。
なお、以下の説明においては、画像処理モジュール153のいずれかが画像処理を施した後の画像データを、DRAM70に記憶されている画像処理を施す対象の画像データと区別して表す場合には、「処理画像データ」という。
入出力用モジュール154は、画像処理装置10の外部からの画像データを画像処理部150に直接入力し、画像処理部150が画像処理した画像データを画像処理装置10の外部に直接出力するためのインターフェースモジュールである。言い換えれば、入出力用モジュール154は、撮像装置1におけるその他の構成要素として備えている他の画像処理装置(他の画像処理装置10であってもよい)など、画像処理装置10の外部の画像処理装置(以下、「外部画像処理装置」という)において施される画像処理(以下、「外部画像処理」という)を、画像処理部150におけるパイプライン処理に組み込むためのインターフェースモジュールである。また、入出力用モジュール154は、撮像装置1が複数の画像処理装置10を備えている構成である場合に、パイプライン処理を、それぞれの画像処理装置10に備えた画像処理部150に分けるためのインターフェースモジュールでもある。より具体的には、入出力用モジュール154は、CPU140からの設定に基づいて、接続されている外部入力インターフェース部161が外部画像処理装置や他の画像処理装置10から受け取って出力してきた画像データを、DMAバス110を経由せずに直接、接続切り替え部151によって接続が切り替えられた接続先の画像処理モジュール153または出力DMAモジュール155のいずれかに出力する。また、入出力用モジュール154は、CPU140からの設定に基づいて、接続切り替え部151によって接続が切り替えられた接続先の入力DMAモジュール152または画像処理モジュール153のいずれかから接続切り替え部151を経由して入力された画像データを、DMAバス110を経由せずに直接、接続されている外部出力インターフェース部162に出力することによって、外部画像処理装置や他の画像処理装置10に出力する。
なお、入出力用モジュール154も、外部画像処理装置から直接入力された、または外部画像処理装置に直接出力する画像データに含まれる予め定めた数の画素データを一時的に記憶することができるデータバッファを備える構成であってもよい。この構成の場合、入出力用モジュール154は、外部入力インターフェース部161が外部画像処理装置から受け取って出力してきた画像データに含まれる予め定めた数の画素データのそれぞれをデータバッファに一時記憶する。そして、入出力用モジュール154は、データバッファに一時記憶したそれぞれの画素データを、外部画像処理装置から直接入力された画像データに含まれるそれぞれの画素データとして、接続切り替え部151によって接続が切り替えられた接続先の画像処理モジュール153または出力DMAモジュール155のいずれかに出力する。また、入出力用モジュール154は、接続切り替え部151によって接続が切り替えられた接続先の入力DMAモジュール152または画像処理モジュール153のいずれかから接続切り替え部151を経由して入力された画像データに含まれる予め定めた数の画素データのそれぞれをデータバッファに一時記憶する。そして、入出力用モジュール154は、データバッファに一時記憶したそれぞれの画素データを、外部画像処理装置に直接出力する画像データに含まれるそれぞれの画素データとして、接続されている外部出力インターフェース部162に出力する。
なお、図1に示した画像処理装置10においては、1つの入出力用モジュール154を備えた画像処理部150の構成を示しているが、画像処理部150に備える入出力用モジュール154の数は、図1に示したような1つに限定されるものではない。つまり、画像処理部150は、さらに多くの入出力用モジュール154を備え、画像処理部150におけるパイプライン処理に複数の外部画像処理を組み込む、または画像処理部150におけるパイプライン処理を複数の画像処理装置10で分担させることができる構成であってもよい。
なお、以下の説明においては、入出力用モジュール154によって外部画像処理装置から画像処理装置10(つまり、画像処理部150)に直接入力された画像データを、DRAM70に記憶されている画像処理を施す対象の画像データや、画像処理モジュール153のいずれかが画像処理を施した後の画像データ(処理画像データ)と区別して表す場合には、「外部処理画像データ」という。
出力DMAモジュール155は、最後に画像処理を施した処理モジュールとして接続切り替え部151によって接続が切り替えられた接続先の処理モジュールのいずれかから出力された画像データを、DMAによってDRAM70に記憶させるための処理モジュールである。より具体的には、出力DMAモジュール155には、接続切り替え部151によって接続が切り替えられた接続先の画像処理モジュール153が画像処理を施した後の処理画像データ、または入出力用モジュール154に外部画像処理装置から直接入力された外部処理画像データが、接続切り替え部151を経由して入力される。出力DMAモジュール155は、CPU140からの設定に基づいて、接続切り替え部151を経由して入力された処理画像データまたは外部処理画像データを、DMAバス110を経由したDMAによってDRAM70に出力して書き込む(記憶させる)。
なお、出力DMAモジュール155も、処理画像データや外部処理画像データに含まれる予め定めた数の画素データを一時的に記憶することができるデータバッファを備える構成であってもよい。この構成の場合、出力DMAモジュール155は、接続切り替え部151を経由して入力された処理画像データまたは外部処理画像データに含まれる予め定めた数の画素データのそれぞれをデータバッファに一時記憶する。そして、出力DMAモジュール155は、データバッファに一時記憶したそれぞれの画素データを、DRAM70に書き込む(記憶する)処理画像データまたは外部処理画像データに含まれるそれぞれの画素データとして、DMAバス110を経由してDRAM70に出力する。
なお、以下の説明においては、画像処理モジュール153のそれぞれが出力する処理画像データと、入出力用モジュール154が出力する外部処理画像データとを区別せずに表す場合には、単に「処理画像データ」という。
外部入力インターフェース部161および外部出力インターフェース部162のそれぞれは、撮像装置1において画像処理装置10の外部に備えられて接続されている外部画像処理装置(他の画像処理装置10であってもよい)との間のインターフェース部である。なお、外部入力インターフェース部161に接続される外部画像処理装置と、外部出力インターフェース部162に接続される外部画像処理装置とは、同じ外部画像処理装置であってもよいし、異なる外部画像処理装置であってもよい。
外部入力インターフェース部161は、接続されている外部画像処理装置から出力された外部処理画像データを受け取り、受け取った外部処理画像データを、DMAバス110を経由せずに直接、画像処理部150に備えた入出力用モジュール154に出力(伝送)する。また、外部出力インターフェース部162は、DMAバス110を経由せずに直接、画像処理部150に備えた入出力用モジュール154から出力された処理画像データを、接続されている外部画像処理装置に出力(伝送)する。
なお、外部入力インターフェース部161と外部出力インターフェース部162とにおける外部画像処理装置との間での処理画像データの伝送方式は、複数のシステムLSIの間でのデータの伝送に用いられる、既存の様々な仕様や方式を用いることができる。例えば、外部入力インターフェース部161と外部出力インターフェース部162とにおいて外部画像処理装置との間で処理画像データを伝送するための伝送方式として、PCI-Express(Peripheral Component Interconnect-Express)や、USB(Universal Serial Bus(登録商標))など、予め定めた種々の高速シリアルバス仕様に従った伝送方式を用いてもよい。また、外部入力インターフェース部161と外部出力インターフェース部162とにおいて外部画像処理装置との間で処理画像データを伝送するための伝送方式として、AXI(Advanced eXtensible Interface)仕様に従った伝送方式を用いてもよい。なお、外部入力インターフェース部161と外部出力インターフェース部162とにおいて外部画像処理装置との間で処理画像データを伝送するための仕様や伝送方式は、上述した仕様や伝送方式に限定されるものではない。そして、外部入力インターフェース部161と外部出力インターフェース部162とのそれぞれは、複数のシステムLSIの間でのデータの伝送に用いられる複数の仕様や伝送方式に対応し、接続されている外部画像処理装置が用いている仕様や伝送方式に応じて、外部画像処理装置との間で処理画像データを受け渡しする際に用いる仕様や伝送方式を変更する構成であってもよい。従って、本発明においては、外部入力インターフェース部161と外部出力インターフェース部162とのそれぞれにおいて外部画像処理装置との間で処理画像データを伝送するための仕様や伝送方式に関しては、特に規定しない。
なお、外部入力インターフェース部161と外部出力インターフェース部162とのそれぞれは、外部画像処理装置との間で処理画像データを受け渡しする際に、入出力用モジュール154において扱う処理画像データの形式と、外部画像処理装置において扱う画像データの形式、つまり、外部画像処理装置との間で受け渡しする処理画像データの形式とを合わせる機能を備えていてもよい。例えば、外部入力インターフェース部161は、外部画像処理装置から外部処理画像データを受け取る際に、外部画像処理装置において扱う形式で出力されてきた外部処理画像データを、入出力用モジュール154において扱う形式、つまり、画像処理モジュール153が引き続き画像処理を施す形式、または接続切り替え部151がDRAM70に出力する形式に変換してから入出力用モジュール154に出力する機能を備えていてもよい。また、例えば、外部出力インターフェース部162は、外部画像処理装置に処理画像データを出力(伝送)する際に、入出力用モジュール154から出力された処理画像データの形式を、外部画像処理装置において扱う形式に変換してから外部画像処理装置に出力(伝送)する機能を備えていてもよい。
なお、外部入力インターフェース部161と外部出力インターフェース部162とのそれぞれは、外部画像処理装置との間で外部処理画像データを受け渡しするために専用に備えられる構成に限定されるものではない。つまり、外部入力インターフェース部161は、接続されている外部画像処理装置から出力された外部処理画像データを受け取るために専用に備えられ、外部出力インターフェース部162は、接続されている外部画像処理装置に処理画像データを出力(伝送)するために専用に備えられる構成に限定されるものではない。例えば、外部入力インターフェース部161を、外部画像処理装置との間の外部処理画像データの伝送方式としてLVDS方式に従った伝送方式を用いる構成にすることによって、LVDS方式に従って不図示のイメージャから出力された画素信号を受け取る構成であるイメージャインターフェース部120と共に構成されてもよい。また、例えば、外部出力インターフェース部162を、外部画像処理装置との間の外部処理画像データの伝送方式として、後述するビデオインターフェース部220が不図示の表示装置などに表示させる画像のデータを出力する際のデータの伝送方式と同じ伝送方式に従った伝送方式を用いる構成にすることによって、ビデオインターフェース部220と共に構成されてもよい。従って、本発明においては、外部入力インターフェース部161と外部出力インターフェース部162とのそれぞれの構成に関しては、特に規定しない。
デジタルシグナルプロセッサ200は、DRAM70に記憶されている画像データ(処理画像データや外部処理画像データを含む)に対して、予め定めた種々のデジタル的な信号処理(画像処理)を施す信号処理部である。より具体的には、デジタルシグナルプロセッサ200は、例えば、CPU140からの設定に基づいて、DRAM70に記憶されている画像データを、DMAバス110を経由したDMAによって読み出す。そして、デジタルシグナルプロセッサ200は、読み出した画像データに対して画像処理を施す。ここで、デジタルシグナルプロセッサ200が施す画像処理は、画像処理部150に備えた画像処理モジュール153-1~画像処理モジュール153-3のいずれの画像処理モジュール153においても施さない画像処理(以下、「DSP画像処理」という)である。つまり、デジタルシグナルプロセッサ200は、画像処理部150が施す一連の画像処理とは異なるDSP画像処理を、読み出した画像データに対して施す。例えば、デジタルシグナルプロセッサ200は、画像データが表す画像に含まれる被写体の動きや顔を検出する画像認識などの学習機能を利用した処理を、DSP画像処理として施す。また、デジタルシグナルプロセッサ200は、例えば、画像データに含まれるそれぞれの画素データに対応する画素の位置(座標)の変換を伴う画像補間処理なども、DSP画像処理として施す。デジタルシグナルプロセッサ200がDSP画像処理として施す画像補間処理には、例えば、画像の大きさ(サイズ)を変更(拡大や縮小)するリサイズ処理、画像に含まれる倍率色収差や歪曲収差などの歪みの補正をする歪補正処理、台形補正などの画像の形状の補正をする形状補正処理など、種々の処理が含まれている。デジタルシグナルプロセッサ200は、DSP画像処理を施した後の画像データを、DMAバス110を経由したDMAによって再びDRAM70に書き込む(記憶させる)。
なお、以下の説明においては、DSP画像処理を施した後の画像データを、DRAM70に記憶されている画像処理を施す対象の画像データや、画像処理モジュール153のいずれかが画像処理を施した後の処理画像データ、外部画像処理装置が外部画像処理を施して入出力用モジュール154を経由して直接入力された外部処理画像データと区別して表す場合には、「DSP処理画像データ」という。また、以下の説明においては、画像処理モジュール153のいずれかが画像処理を施した後の処理画像データと、入出力用モジュール154を経由して外部画像処理装置から直接入力された外部処理画像データと、デジタルシグナルプロセッサ200がDSP画像処理を施したDSP処理画像データとを区別せずに表す場合には、単に「処理画像データ」という。
表示処理部210は、CPU140からの設定に基づいて、DRAM70に記憶されている表示用の画像データに対して予め定めた表示処理を施し、表示用の画像データに応じた画像を、不図示の表示装置に表示させるための表示画像を生成する。つまり、表示処理部210は、画像処理部150が生成してDRAM70に記憶した、不図示の表示装置に表示させるための画像の画像データに対して予め定めた表示処理を施して、撮像装置1において撮影した画像を、例えば、液晶ディスプレイ(LCD:Liquid Crystal Display)などの不図示の表示装置に表示させるための表示画像を生成する。表示処理部210が表示画像を生成する際に画像データに対して施す表示処理には、例えば、撮像装置1よる撮影日時など、撮影した静止画像に関する様々な情報を表示させるためのオンスクリーンディスプレイ(On Screen Display:OSD)画像を重畳するOSD重畳処理などが含まれている。表示処理部210は、生成した表示画像のデータ(以下「表示画像データ」という)をビデオインターフェース部220に出力して、不図示の表示装置に表示画像を表示させる。
なお、撮像装置1に備える不図示の表示装置としては、様々なサイズ(解像度)の画像を表示させる表示装置が考えられる。例えば、不図示の表示装置としては、撮像装置1において撮影する被写体を確認するためのEVF(Electronic View Finder:電子ビューファインダ)や、撮影する被写体を確認するためのビューファインダとして動作するTFT(薄膜トランジスター:Thin Film Transistor)液晶ディスプレイなど、撮像装置1に備え付けられ、比較的低い解像度の画像を表示する小型の表示装置がある。また、例えば、不図示の表示装置としては、XGAサイズ(1024×768)の解像度をもつ画像を表示するTFT液晶ディスプレイなど、撮像装置1に着脱することができる構成であり、中程度の解像度の画像を表示する中型の表示装置もある。また、例えば、撮像装置1に着脱することができる構成の不図示の表示装置としては、HDTV(High Definition TeleVision)に対応したフルHDサイズ(1920×1080)の解像度をもつ画像や、UHDTV(Ultra High Definition TeleVision)に対応した4Kサイズ(3840×2160)の解像度をもつ画像など、高い解像度の画像を表示する大型の表示装置もある。また、例えば、撮像装置1に着脱することができる構成の不図示の表示装置として、4Kサイズをさらに高精細化した8Kサイズ(7680×4320)の解像度をもつ画像を表示するさらに大型の表示装置も考えられる。このため、表示処理部210は、撮像装置1に備えた不図示の表示装置が表示することができる画像のサイズ(解像度)に合わせた表示画像を生成して、ビデオインターフェース部220に出力する。従って、本発明においては、表示処理部210が表示画像を生成する際に表示用の画像データに対して施す表示処理に関しては、特に規定しない。
ビデオインターフェース部220は、撮像装置1に備えた不図示の表示装置との間のインターフェース部である。ビデオインターフェース部220は、CPU140からの設定に基づいて、表示処理部210から出力された表示画像データを不図示の表示装置に出力(伝送)して、表示画像データに応じた画像を表示させる。
なお、ビデオインターフェース部220は、表示装置において採用されている、例えば、差動インターフェース方式であるMIPI(登録商標)(Mobile Industry Processor Interface)方式に従った伝送方式で、MIPI(登録商標)方式に従った表示画像データを不図示の表示装置に出力(伝送)する構成であってもよい。なお、ビデオインターフェース部220が、不図示の表示装置に表示画像データを出力(伝送)するための伝送方式は、上述した伝送方式に限定されるものではない。
メモリカードインターフェース部230は、撮像装置1に備えた不図示の記録媒体との間のインターフェース部である。メモリカードインターフェース部230は、CPU140からの設定に基づいて、画像処理部150が画像処理して生成してDRAM70に記憶した記録用の画像データ(以下「記録画像データ」という)を、不図示の記録媒体に出力(伝送)して記録させる。なお、メモリカードインターフェース部230が不図示の記録媒体に記録画像データを記録させる際の伝送方式は、不図示の記録媒体において採用されている伝送方式である。
高速シリアルインターフェース部240は、DRAM70に記憶されている画像データを高速に不図示の他の装置に伝送するためのインターフェース部である。高速シリアルインターフェース部240は、CPU140からの設定に基づいて、DRAM70に記憶されている画像データ(処理画像データや、外部処理画像データ、DSP処理画像データを含む)や記録画像データ(表示画像データを含んでもよい)を、不図示の他の装置に出力(伝送)する。なお、高速シリアルインターフェース部240がDRAM70に記憶されている画像データや記録画像データを高速に伝送する先の他の装置としては、例えば、画像データや記録画像データを記憶するための外部記憶装置(いわゆる、ストレージ装置)などが考えられる。また、高速シリアルインターフェース部240がDRAM70に記憶されている画像データや記録画像データを高速に伝送する先の他の装置としては、例えば、画像データや記録画像データをインターネット上に保管するためにクラウドコンピューティングシステムにおける記憶装置やサーバ装置などとの間で無線通信や有線通信をする通信装置なども考えられる。なお、高速シリアルインターフェース部240が不図示の他の装置に画像データや記録画像データを出力(伝送)する際の伝送方式は、不図示の他の装置において採用されている伝送方式である。
動作検出部170は、画像処理装置10に備えたそれぞれの構成要素によるDRAM70へのアクセスを伴う動作を検出する。つまり、動作検出部170は、画像処理装置10に備えたそれぞれの構成要素について、DMAバス110のバス帯域を使用する処理の動作を検出する。より具体的には、動作検出部170は、画像処理装置10における撮像に関連する動作と、画像処理装置10における表示に関連する動作と、画像処理装置10における画像処理に関連する動作とのそれぞれを検出する。さらに具体的には、動作検出部170は、画像処理装置10において撮像の動作に関連するイメージャインターフェース部120および撮像処理部130の動作と、画像処理装置10において表示の動作に関連する表示処理部210およびビデオインターフェース部220の動作と、画像処理装置10において画像処理の動作に関連する画像処理部150の動作とのそれぞれを検出する。
このとき、動作検出部170は、画像処理装置10における撮像に関連する動作として、不図示のイメージャのサイズ(水平方向の画素数や垂直方向の画素数など)、フレームレート、撮像における露光が終了してから1フレーム分の画素信号(画素データ)の出力が終了するまでに要する出力時間、画素信号(画素データ)のビット長などを検出する。なお、これらの情報は、画像処理装置10における撮像の動作に関連するイメージャインターフェース部120および撮像処理部130のそれぞれに対してCPU140が設定する設定値などから得ることができる。
また、動作検出部170は、画像処理装置10における表示に関連する動作として、不図示の表示装置が表示する画像(表示画像)の解像度、フレームレート、表示画像データの形式(フォーマット)、重畳するオンスクリーンディスプレイ画像の枚数、表示画像データを出力するチャンネル数(同時に表示画像データを出力する数など)などを検出する。なお、これらの情報は、画像処理装置10における表示の動作に関連する表示処理部210およびビデオインターフェース部220のそれぞれに対してCPU140が設定する設定値などから得ることができる。
また、動作検出部170は、画像処理装置10における画像処理に関連する動作として、画像データに対して施す画像処理の処理内容、画像処理を施す画像のサイズ(画像データの画素数や処理画像データの画素数など)などを検出する。なお、これらの情報は、画像処理装置10における画像処理の動作に関連する画像処理部150や、画像処理部150に備えた入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155のそれぞれの設定値などから得ることができる。また、動作検出部170は、画像処理装置10における画像処理に関連する動作として、デジタルシグナルプロセッサ200において施すDSP画像処理の処理内容なども検出する。この情報は、デジタルシグナルプロセッサ200に対してCPU140が設定する設定値などから得ることができる。
動作検出部170は、検出した画像処理装置10に備えたそれぞれの構成要素における動作の情報(以下「動作情報」という)を、入出力位置決定部180に出力する。つまり、動作検出部170は、画像処理装置10における撮像の動作、表示の動作、および画像処理の動作のそれぞれの動作に関連する情報を、入出力位置決定部180に出力する。
入出力位置決定部180は、動作検出部170から出力された動作情報に基づいて、画像処理部150におけるパイプラインの構成を決定する。より具体的には、入出力位置決定部180は、画像処理部150に構成するパイプライン処理によって施す画像処理の種類や順番を決定する。また、入出力位置決定部180は、画像処理装置10に接続されている外部画像処理装置による外部画像処理のパイプラインへの組み込みの有無や組み込む位置、つまり、画像処理部150に構成するパイプラインへの、入出力用モジュール154の組み込みの有無や組み込む位置を決定する。また、入出力位置決定部180は、複数の画像処理装置10でのパイプライン処理の分担の有無やパイプライン処理を分ける位置、つまり、それぞれの画像処理部150に構成するパイプラインにおいて、入出力用モジュール154の組み込みの有無や組み込む位置を決定する。
このとき、入出力位置決定部180は、画像処理装置10に備えたそれぞれの構成要素がDRAM70にアクセスする際に要するDMAバス110のバス帯域(以下、「DRAM70のバス帯域」ともいう)の合計を、DRAM70にアクセスすることができる最大の帯域以内にするために、画像処理部150におけるパイプラインの構成を決定する。つまり、入出力位置決定部180は、画像処理部150における一連の画像処理がDMAバス110のバス帯域を圧迫し、撮像装置1における全体の処理能力(速度)の低下を引き起こさないために、画像処理部150において施すパイプライン処理を変更する。
なお、入出力位置決定部180は、例えば、画像処理部150において多くの画像処理を施す場合、全ての画像処理を1つのパイプラインとして構成するとDRAM70のバス帯域を圧迫し、撮像装置1における全体の処理能力(速度)の低下を引き起こしてしまう場合には、DRAM70のバス帯域の圧迫を回避するために、画像処理部150において施すパイプライン処理を分けたパイプラインの構成を決定してもよい。このとき、入出力位置決定部180は、分けたパイプライン処理のそれぞれにおけるDRAM70のバス帯域が、同等になるパイプラインの構成を決定してもよい。
入出力位置決定部180は、決定したパイプラインの構成を画像処理部150に備えた接続切り替え部151に設定する。これにより、画像処理装置10では、画像処理部150に備えた画像処理モジュール153の内、画像処理部150において施す一連の画像処理のみが直列に接続されるパイプラインの構成を設定(変更)することができる。
また、入出力位置決定部180は、決定したパイプラインの構成の情報を、通信インターフェース部192に出力する。これにより、例えば、撮像装置1が同じ構成の複数の画像処理装置10を備えている構成である場合に、入出力位置決定部180が決定したそれぞれの画像処理装置10に備えた画像処理部150におけるパイプラインの構成を、後段の画像処理装置10に備えた画像処理部150に設定することができる。つまり、撮像装置1における全体の処理として多くの画像処理を施すことが想定されるため、初めから画像処理装置10を複数(例えば、2つ)備えることによって、一連の画像処理をそれぞれの画像処理装置10で分担して施す構成の撮像装置1では、前段の画像処理装置10に備えた入出力位置決定部180が決定したパイプラインの構成を、後段の画像処理装置10のそれぞれに備えた画像処理部150に設定することができる。このとき、入出力位置決定部180は、前段の画像処理装置10が画像処理を施す際に要するDRAM70のバス帯域と、後段の画像処理装置10が画像処理を施す際に要するDRAM70のバス帯域とが、同等になるパイプラインの構成を決定して、後段の画像処理装置10のそれぞれに備えた画像処理部150に設定してもよい。
なお、入出力位置決定部180による画像処理部150におけるパイプラインの構成の決定は、上述したDMAバス110のバス帯域の観点のみに限定されるものではない。例えば、撮像装置1における消費電力の観点から、画像処理部150におけるパイプラインの構成を決定してもよい。例えば、撮像装置1が同じ構成の複数の画像処理装置10を備えている構成である場合、いずれかの画像処理装置10の動作を停止させても、必要なパイプラインの構成を、他の画像処理装置10に備えた画像処理部150によって構成することができることもある。この場合、入出力位置決定部180は、停止させることができる画像処理装置10の動作を停止させ、他の画像処理装置10に備えた画像処理部150によって必要なパイプラインを構成するために、それぞれの画像処理装置10に備えた画像処理部150よるパイプラインの構成を決定する。
通信インターフェース部192は、入出力位置決定部180が決定したパイプラインの構成の情報を、撮像装置1に備えた他の画像処理装置10に出力(伝送)するためのインターフェース部である。また、通信インターフェース部191は、撮像装置1に備えた他の画像処理装置10に備えた入出力位置決定部180が決定して通信インターフェース部192を経由して出力(伝送)されたパイプライン構成の設定の情報や、例えば、システム制御装置などの画像処理装置10の外部から出力された制御の情報(画像処理部150のパイプラインの構成を変更(設定)する情報)を受け取るためのインターフェース部である。
通信インターフェース部191と通信インターフェース部192とのそれぞれがパイプラインの構成を変更(設定)する情報を外部との間で伝送するための伝送方式は、複数のシステムLSIの間でのデータの伝送に用いられる、既存の様々な仕様や方式を用いることができる。例えば、通信インターフェース部191と通信インターフェース部192とにおいてパイプラインの構成を変更(設定)する情報を外部との間で伝送するための伝送方式として、UART(Universal Asynchronous Receiver-Transmitter)や、I2C(Inter-Integrated Circuit)、SPI(Serial Peripheral Interface)など、予め定めた種々の通信方式や仕様に従った伝送方式を用いてもよい。また、通信インターフェース部191と通信インターフェース部192とにおいてパイプラインの構成を変更(設定)する情報を外部との間で伝送するための伝送方式として、例えば、PCI-Expressや、USB(登録商標)など、予め定めた種々の高速シリアルバス仕様に従った伝送方式を用いてもよい。なお、通信インターフェース部191と通信インターフェース部192とにおいて外部との間でパイプラインの構成を変更(設定)する情報を伝送するための仕様や伝送方式は、上述した仕様や伝送方式に限定されるものではない。そして、通信インターフェース部191と通信インターフェース部192とのそれぞれは、複数のシステムLSIの間でのデータの伝送に用いられる複数の仕様や伝送方式に対応し、パイプラインの構成を変更(設定)するための情報の量に応じて、外部との間でパイプラインの構成を変更(設定)する情報を伝送する際に用いる仕様や伝送方式を変更する構成であってもよい。従って、本発明においては、通信インターフェース部191と通信インターフェース部192とのそれぞれにおいて外部との間でパイプラインの構成を変更(設定)する情報を伝送するための仕様や伝送方式に関しては、特に規定しない。
このような構成によって画像処理装置10では、撮像装置1に備えた不図示のイメージャから出力された画素信号(画素データ)に対して撮像処理部130が処理した画像データをDRAM70に記憶させる。その後、画像処理装置10では、画像処理部150が、DRAM70に記憶された画素データに対してパイプライン処理による一連の画像処理を施して、再びDRAM70に記憶させる。このとき、画像処理部150では、入出力用モジュール154を、パイプライン構成内に組み込むことによって、画像処理部150に備えたいずれの画像処理モジュール153においても施さない、画像処理装置10の外部の外部画像処理装置による外部画像処理を、パイプライン処理に組み込むことができる。言い換えれば、画像処理装置10では、画像処理部150におけるパイプライン処理を拡張することができる。そして、画像処理装置10では、表示処理部210が、DRAM70に記憶されている表示用の画像データに応じた表示画像データを生成して、撮像装置1に備えた不図示の表示装置に表示させる。また、画像処理装置10では、DRAM70に記憶した記録用の画像データ(記録画像データ)を、メモリカードインターフェース部230を経由して、撮像装置1に備えた不図示の記録媒体に記録させる。また、画像処理装置10では、DRAM70に記憶されている画像データを、高速シリアルインターフェース部240を経由して不図示の他の装置に出力(伝送)する。
また、画像処理装置10では、動作検出部170が、画像処理装置10に備えたそれぞれの構成要素の動作を検出する。そして、画像処理装置10では、入出力位置決定部180が、動作検出部170から出力された動作情報に基づいて、画像処理装置10に備えたそれぞれの構成要素がDRAM70にアクセスする際のDMAバス110のバス帯域を最大の帯域以内にするための画像処理部150におけるパイプラインの構成を決定して、画像処理部150において施すパイプライン処理を変更する。これにより、画像処理装置10では、画像処理部150において施すパイプライン処理によるDMAバス110のバス帯域の圧迫を回避することができる。言い換えれば、画像処理装置10では、画像処理装置10に備えたそれぞれの構成要素がDRAM70にアクセスするために必要なバス帯域を確保することができる。このことにより、画像処理装置10を備えた撮像装置1では、画像処理装置10に備えた画像処理部150によるDMAバス110のバス帯域の圧迫を起因とした、撮像装置1における全体の処理能力(速度)の低下を回避することができる。
また、撮像装置1が画像処理装置10を複数備える構成である場合、前段の画像処理装置10に備えた入出力位置決定部180は、動作検出部170から出力された動作情報に基づいて、画像処理部150におけるパイプライン処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施す、画像処理部150におけるパイプラインの構成を決定する。そして、前段の画像処理装置10に備えた入出力位置決定部180は、決定したパイプラインの構成の情報を、後段の画像処理装置10に出力する。これにより、画像処理装置10を複数備えた撮像装置1では、前段の画像処理装置10が施すパイプライン処理の一部を後段の画像処理装置10に備えた画像処理部150が分担して施す、パイプラインの構成を変更することができる。このことにより、画像処理装置10を複数備えた撮像装置1では、全体の処理能力(速度)の低下を引き起こすことなく、複数の画像処理装置10で分担して、パイプライン処理における一連の画像処理を施すことができる。言い換えれば、画像処理装置10では、それぞれの画像処理装置10に備えた画像処理部150におけるパイプライン処理の負荷を低減することができる。
なお、図1に示した画像処理装置10においては、動作検出部170および入出力位置決定部180を独立に備え、入出力位置決定部180が決定したパイプラインの構成を接続切り替え部151に設定する場合について説明した。この構成において動作検出部170が検出する画像処理装置10に備えたそれぞれの構成要素における動作情報は、上述したように、CPU140がそれぞれの構成要素に対して設定する設定値などから得ることができる。ここで、CPU140は、例えば、撮像装置1においてユーザーインターフェースとして備えたスイッチやボタン類に対して実施された操作によって、撮像装置1の動作モードが変更されたことを検出し、例えば、撮像装置1の動作モードごとに設定値が格納されたメモリ(ROM(Read Only Memory)やフラッシュメモリ(Flash Memory)など)から、それぞれの構成要素に対して設定する設定値を取得し、取得した設定値を画像処理装置10に備えたそれぞれの構成要素に設定する。このため、CPU140は、撮像装置1の動作モードの変更を検出し、メモリからそれぞれの構成要素に対して設定する設定値を取得したときには、動作検出部170が検出する画像処理装置10に備えたそれぞれの構成要素における動作情報をすでに持っているということができる。このことから、画像処理装置10では、CPU140が、動作検出部170の機能を実施してもよい。さらに、CPU140は、取得した設定値を画像処理装置10に備えたそれぞれの構成要素に設定すると共に、それぞれの構成要素を制御する。このため、画像処理装置10では、CPU140が、入出力位置決定部180の機能を実施してもよい。従って、画像処理装置10では、動作検出部170および入出力位置決定部180のそれぞれを独立に備える代わりに、CPU140が、動作検出部170および入出力位置決定部180のそれぞれの機能を実施してもよい。
(第1の動作例)
次に、画像処理装置10の動作について説明する。まず、画像処理装置10における基本的な動作を第1の動作例として、図1に示した、1つの画像処理装置10を備えた構成の撮像装置1において、画像処理装置10がパイプライン処理を施す場合のデータの流れについて説明する。なお、上述したように、画像処理装置10では、画像処理部150において構成するパイプライン内に、入出力用モジュール154を組み込むことによって、画像処理装置10の外部で施す外部画像処理をパイプラインに組み込むことができる。しかし、以下の説明においては、画像処理部150において構成するパイプライン内に外部画像処理を組み込まない、つまり、画像処理装置10に備えた構成要素のみによって画像処理を施す場合について説明する。
次に、画像処理装置10の動作について説明する。まず、画像処理装置10における基本的な動作を第1の動作例として、図1に示した、1つの画像処理装置10を備えた構成の撮像装置1において、画像処理装置10がパイプライン処理を施す場合のデータの流れについて説明する。なお、上述したように、画像処理装置10では、画像処理部150において構成するパイプライン内に、入出力用モジュール154を組み込むことによって、画像処理装置10の外部で施す外部画像処理をパイプラインに組み込むことができる。しかし、以下の説明においては、画像処理部150において構成するパイプライン内に外部画像処理を組み込まない、つまり、画像処理装置10に備えた構成要素のみによって画像処理を施す場合について説明する。
図2は、本発明の実施形態の画像処理装置10を備えた撮像装置1におけるデータの流れを模式的に示した図である。撮像装置1では、画像処理装置10に備えたそれぞれの構成要素が、それぞれの画像処理を並列に施すことによって、画像処理装置10における全体の画像処理がスムーズに実施される。つまり、撮像装置1では、画像処理装置10において、撮像処理部130による前処理と、画像処理部150によるパイプライン処理と、表示処理部210による表示処理とを、同じ時期に並列に施している。しかし、図2に示した画像データの流れの説明では、説明を容易にするため、1フレームの画像データに着目して、データの流れを説明する。図2に示した画像データの流れでは、以下のような流れ(フロー)で処理が施される。
(フローF1):まず、イメージャインターフェース部120は、不図示のイメージャから出力された画素信号を受け取って、撮像処理部130に出力(伝送)する。そして、撮像処理部130は、イメージャインターフェース部120から出力された画素データに対して前処理を施し、前処理を施したそれぞれの画素データを含んだ画像データを、DMAバス110を経由したDMAによってDRAM70に書き込む(記憶させる)。
(フローF2):続いて、画像処理部150に備えた入力DMAモジュール152は、DRAM70に記憶されている画像データを、DMAバス110を経由したDMAによって読み出す。そして、入力DMAモジュール152は、読み出した画像データを、接続切り替え部151を経由して、次に画像処理を施す接続先の画像処理モジュール153-1に出力する。
(フローF3):続いて、画像処理モジュール153-1は、接続切り替え部151を経由して接続先の入力DMAモジュール152から出力された画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151を経由して、次に画像処理を施す接続先の画像処理モジュール153-2に出力する。
(フローF4):続いて、画像処理モジュール153-2は、接続切り替え部151を経由して接続先の画像処理モジュール153-1から出力された処理画像データに対して予め定めた画像処理を施し、画像処理をさらに施した後の処理画像データを、接続切り替え部151を経由して、次に画像処理を施す接続先の画像処理モジュール153-3に出力する。
(フローF5):続いて、画像処理モジュール153-3は、接続切り替え部151を経由して接続先の画像処理モジュール153-2から出力された処理画像データに対して予め定めた画像処理を施し、画像処理をさらに施した後の処理画像データを、接続切り替え部151を経由して、出力DMAモジュール155に出力する。ここで、画像処理モジュール153-3は、画像処理モジュール153-2から出力された処理画像データに応じた表示用の画像データを生成する画像処理を施すものとする。従って、画像処理モジュール153-3は、表示用の画像データを、接続切り替え部151を経由して、出力DMAモジュール155に出力する。
(フローF6):続いて、出力DMAモジュール155は、接続切り替え部151を経由して接続先の画像処理モジュール153-3から出力された処理画像データ(表示用の画像データ)を、DMAバス110を経由したDMAによってDRAM70に書き込む(記憶させる)。
(フローF7):続いて、表示処理部210は、DRAM70に記憶された表示用の画像データを、DMAバス110を経由したDMAによって読み出す。そして、表示処理部210は、読み出した表示用の画像データに対して予め定めた表示処理を施し、表示用の画像データに応じた表示画像データを生成する。その後、表示処理部210は、生成した表示画像データをビデオインターフェース部220に出力する。これにより、不図示の表示装置は、ビデオインターフェース部220を経由して表示処理部210から出力された表示画像データに応じた表示画像を表示する。
このようにして、画像処理装置10では、第1の動作例に示したように、撮像装置1に備えた不図示のイメージャから出力された画素信号に対して、撮像処理部130による前処理と、画像処理部150によるパイプライン処理と、表示処理部210による表示処理とを施して、表示画像データに応じた表示画像を不図示の表示装置に表示させる。
上述したように、画像処理装置10では、DMAバス110を経由したDMAによってそれぞれの段階の画像データをDRAM70に記憶しながら、撮像装置1における全体の処理を実施する。
なお、撮像装置1に備える不図示の表示装置としては、上述したように、比較的低い解像度の画像を表示する小型の表示装置から、高い解像度の画像を表示する大型の表示装置まで様々である。そして、撮像装置1に備える不図示の表示装置が表示する画像は、さらに高精細化する。また、撮像装置1に備える不図示のイメージャにおいても、さらなる高画素数化することが考えられる。このため、撮像装置1における全体の処理として多くの画像処理を施すことが想定される。そして、1つの画像処理装置10では、想定される多くの画像処理に対応することは困難となることが考えられる。つまり、1つの画像処理装置10では、撮像装置1における多くの画像処理を施すために必要なDMAバス110のバス帯域を、画像処理装置10に備えたそれぞれの構成要素が確保することが困難となることが考えられる。例えば、1つの画像処理装置10では、フルHDサイズ(1920×1080)の解像度をもつ画像に対応する撮像装置1を構成することができるが、4Kサイズ(3840×2160)の解像度をもつ画像に対応する撮像装置1を構成するには、画像処理装置10に備えたそれぞれの構成要素がDRAM70にアクセスするために必要なバス帯域を確保することが困難となることが考えられる。
そこで、画像処理装置10では、パイプライン処理を施す画像処理部150内に、DMAバス110を経由せずに、画像処理装置10の外部との間で画像データを直接入出力する機能を担う入出力用モジュール154を備えている。より具体的には、画像処理装置10では、外部入力インターフェース部161および外部出力インターフェース部162を経由することによって、画像処理装置10の外部に備えている他の画像処理装置などとの間で画像データを直接入出力する機能を実現するための入出力用モジュール154を備えている。この入出力用モジュール154による画像処理装置10の外部との間で画像データを直接入出力する機能は、画像処理部150に備えた画像処理モジュール153-1~画像処理モジュール153-3のそれぞれが施す画像処理とは異なる、外部画像処理装置による外部画像処理をパイプライン処理に組み込むことによって、画像処理部150におけるパイプライン処理を拡張するための機能である。しかし、この入出力用モジュール154による画像処理装置10の外部との間で画像データを直接入出力する機能は、上述したように、外部画像処理装置を別の画像処理装置10とすることによって、パイプライン処理における一連の画像処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施す構成に利用することができる。撮像装置1では、全体の処理として多くの画像処理を施すことが予め想定されている場合に、初めから複数の画像処理装置10を備える構成とし、入出力用モジュール154による画像処理装置10の外部との間で画像データを直接入出力する機能を利用して、多くの画像処理を施す構成を実現する。この構成の場合、それぞれの画像処理装置10に備えた画像処理部150が構成するパイプラインは、撮像装置1が施す全体の処理の内容に応じて、動的にパイプラインの構成を変更(設定)することができる。
(第2の動作例)
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10の動作を第2の動作例として、それぞれの画像処理装置10がパイプライン処理を分担して施す場合のデータの流れについて説明する。第2の動作例では、高いフレームレートで動作する高画素数(サイズが大きい)のイメージャを備えたことによって、イメージャから出力された画素信号に応じた画像データのDRAM70への書き込み(記憶)により多くのバス帯域を必要とし、低い解像度の画像を表示する1つ(1チャンネル出力)の表示装置を備えることによって、表示用の画像データのDRAM70からの読み出しには多くのバス帯域を必要としない構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1と区別するため、上述した第2の動作例の構成の撮像装置1を、「撮像装置2」という。
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10の動作を第2の動作例として、それぞれの画像処理装置10がパイプライン処理を分担して施す場合のデータの流れについて説明する。第2の動作例では、高いフレームレートで動作する高画素数(サイズが大きい)のイメージャを備えたことによって、イメージャから出力された画素信号に応じた画像データのDRAM70への書き込み(記憶)により多くのバス帯域を必要とし、低い解像度の画像を表示する1つ(1チャンネル出力)の表示装置を備えることによって、表示用の画像データのDRAM70からの読み出しには多くのバス帯域を必要としない構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1と区別するため、上述した第2の動作例の構成の撮像装置1を、「撮像装置2」という。
図3は、本発明の実施形態の画像処理装置10を複数備えた構成の撮像装置2におけるデータの流れを模式的に示した図である。図3に示した撮像装置2では、同じ構成の画像処理装置10を、2つ備えている。なお、図3に示した撮像装置2では、2つの画像処理装置10のそれぞれを区別するため、不図示のイメージャから出力された画素信号を受け取る側の画像処理装置10を「画像処理装置10a」といい、表示画像を不図示の表示装置に表示させる側の画像処理装置10を「画像処理装置10b」という。そして、図3に示した撮像装置2では、それぞれの画像処理装置10に備えたそれぞれの構成要素に付与した符号に続いて、画像処理装置10aの構成要素であることを表す「a」、または画像処理装置10bの構成要素であることを表す「b」のいずれかを付与することによって、画像処理装置10aまたは画像処理装置10bのいずれの構成要素であるのかを区別する。また、図3に示した撮像装置2では、画像処理装置10aに対応するDRAM70(画像処理装置10a内のDMAバス110aに接続されたDRAM70)を「DRAM70a」として表し、画像処理装置10bに対応するDRAM70(画像処理装置10b内のDMAバス110bに接続されたDRAM70)を「DRAM70b」として表す。なお、以下の説明において、画像処理装置10aに関連する構成要素であるか、画像処理装置10bに関連する構成要素であるかを区別しない場合には、それぞれの構成要素に付与した符号に続く「a」や「b」を付与せずに表す。
図3に示した撮像装置2では、画像処理装置10aに備えた外部出力インターフェース部162aと、画像処理装置10bに備えた外部入力インターフェース部161bとを接続することによって、パイプライン処理を分担して施す構成を実現している。そして、図3に示した撮像装置2では、画像処理装置10aに備えた通信インターフェース部192aと、画像処理装置10bに備えた通信インターフェース部191bとを接続することによって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとでパイプライン処理を分担するためのパイプラインの構成を設定する構成を実現している。
撮像装置2におけるパイプラインの構成の設定では、まず、画像処理装置10aに備えた動作検出部170aが、画像処理装置10aと画像処理装置10bとを接続した構成において、それぞれの構成要素の動作を検出する。より具体的には、動作検出部170aは、画像処理装置10aにおける撮像の動作として、高いフレームレートで動作する高画素数(サイズが大きい)の不図示のイメージャに対応して設定されたイメージャインターフェース部120aおよび撮像処理部130aの動作を検出する。また、動作検出部170aは、画像処理装置10bにおける表示の動作として、低い解像度の画像を表示する1つ(1チャンネル出力)の不図示の表示装置に対応して設定された表示処理部210bおよびビデオインターフェース部220bの動作を検出する。また、動作検出部170aは、画像処理装置10aおよび画像処理装置10bに備えた画像処理部150における画像処理の動作として、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155の動作を検出する。なお、動作検出部170aは、この段階では、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155は、画像処理装置10aに備えた構成要素であるか、画像処理装置10bに備えた構成要素であるかを判別していない。動作検出部170aは、検出したそれぞれの構成要素における動作情報を、画像処理装置10aに備えた入出力位置決定部180aに出力する(経路C11)。
これにより、入出力位置決定部180aは、動作検出部170aから出力された動作情報に基づいて、画像処理部150aと画像処理部150bとでパイプライン処理を分担するパイプラインの構成を決定する。ここで、動作検出部170aから出力された動作情報は、撮像装置2に備えた不図示のイメージャが、高いフレームレートで動作する高画素数(サイズが大きい)のイメージャであるため、画像処理装置10a内のDMAバス110aに、多くのバス帯域を必要とすることを表している。また、動作検出部170aから出力された動作情報は、撮像装置2に備えた不図示の表示装置が、低い解像度の画像を表示する1つ(1チャンネル出力)の表示装置であるため、画像処理装置10b内のDMAバス110bには多くのバス帯域を必要としないことを表している。このため、入出力位置決定部180aは、画像処理装置10aに備えた画像処理部150aにおいて施す画像処理を少なくし、画像処理装置10bに備えた画像処理部150bにおいてより多くの画像処理を施す、画像処理部150aおよび画像処理部150bにおけるパイプラインの構成を決定する。より具体的には、図3に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150aにおいて画像処理モジュール153-1aによる画像処理を施す、画像処理部150aにおけるパイプラインの構成を決定している。また、図3に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150bにおいて画像処理モジュール153-2bおよび画像処理モジュール153-3bのそれぞれによる画像処理を施す、画像処理部150bにおけるパイプラインの構成を決定している。
入出力位置決定部180aは、画像処理部150aに対して決定したパイプラインの構成を、画像処理部150aに備えた接続切り替え部151aに設定する(経路C12)。また、入出力位置決定部180aは、画像処理部150bに対して決定したパイプラインの構成の情報を、通信インターフェース部192aに出力し、通信インターフェース部192aおよび通信インターフェース部191bを経由して、画像処理部150bに備えた接続切り替え部151bに設定する(経路C13)。
画像処理装置10aおよび画像処理装置10bでは、入出力位置決定部180aによって設定されたパイプラインの構成で、それぞれの構成要素が画像処理を施す。撮像装置2でも、画像処理装置10aおよび画像処理装置10bに備えたそれぞれの構成要素が、それぞれの画像処理を並列に施すことによって、撮像装置2における全体の画像処理がスムーズに実施される。つまり、撮像装置2では、画像処理装置10aに備えた撮像処理部130aによる前処理と、画像処理装置10aと画像処理装置10bとのそれぞれに備えた画像処理部150で分担するパイプライン処理と、画像処理装置10bに備えた表示処理部210bによる表示処理とを、同じ時期に並列に施している。しかし、図3に示した画像データの流れの説明では、説明を容易にするため、1フレームの画像データに着目して、データの流れを説明する。図3に示した画像データの流れでは、以下のような流れ(フロー)で処理が施される。
(フローF21):まず、画像処理装置10aに備えたイメージャインターフェース部120aは、不図示のイメージャから出力された画素信号を受け取って、撮像処理部130aに出力(伝送)する。そして、撮像処理部130aは、イメージャインターフェース部120aから出力された画素データに対して前処理を施し、前処理を施したそれぞれの画素データを含んだ画像データを、DMAバス110aを経由したDMAによってDRAM70aに書き込む(記憶させる)。
(フローF22):続いて、画像処理装置10aに備えた画像処理部150a内の入力DMAモジュール152aは、DRAM70aに記憶されている画像データを、DMAバス110aを経由したDMAによって読み出す。そして、入力DMAモジュール152aは、読み出した画像データを、接続切り替え部151aを経由して、次に画像処理を施す接続先の画像処理モジュール153-1aに出力する。
(フローF23):続いて、画像処理モジュール153-1aは、接続切り替え部151aを経由して接続先の入力DMAモジュール152aから出力された画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151aを経由して、入出力用モジュール154aに出力する。
(フローF24):続いて、入出力用モジュール154aは、接続切り替え部151aを経由して接続先の画像処理モジュール153-1aから出力された処理画像データを、DMAバス110aを経由せずに直接、外部出力インターフェース部162aに出力する。
(フローF25):これにより、外部出力インターフェース部162aは、入出力用モジュール154aから出力された処理画像データ、つまり、画像処理モジュール153-1aが画像処理した処理画像データを、画像処理装置10bに備えた外部入力インターフェース部161bに出力(伝送)する。
(フローF26):これにより、外部入力インターフェース部161bは、外部出力インターフェース部162aから出力(伝送)されてきた処理画像データ、つまり、画像処理モジュール153-1aが画像処理した処理画像データを受け取り、受け取った処理画像データを、DMAバス110bを経由せずに直接、画像処理部150bに備えた入出力用モジュール154bに出力(伝送)する。
(フローF27):続いて、入出力用モジュール154bは、外部入力インターフェース部161bから出力(伝送)された処理画像データを、接続切り替え部151bを経由して、次に画像処理を施す接続先の画像処理モジュール153-2bに出力する。
(フローF28):続いて、画像処理モジュール153-2bは、接続切り替え部151bを経由して接続先の入出力用モジュール154bから出力された処理画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151bを経由して、次に画像処理を施す接続先の画像処理モジュール153-3bに出力する。
(フローF29):続いて、画像処理モジュール153-3bは、接続切り替え部151bを経由して接続先の画像処理モジュール153-2bから出力された処理画像データに対して予め定めた画像処理を施し、画像処理をさらに施した後の処理画像データを、接続切り替え部151bを経由して、出力DMAモジュール155bに出力する。ここで、画像処理モジュール153-3bは、画像処理モジュール153-2bから出力された処理画像データに応じた表示用の画像データを生成する画像処理を施すものとする。従って、画像処理モジュール153-3bは、表示用の画像データを、接続切り替え部151bを経由して、出力DMAモジュール155bに出力する。
(フローF30):続いて、出力DMAモジュール155bは、接続切り替え部151bを経由して接続先の画像処理モジュール153-3bから出力された処理画像データ(表示用の画像データ)を、DMAバス110bを経由したDMAによってDRAM70bに書き込む(記憶させる)。
(フローF31):続いて、表示処理部210bは、DRAM70bに記憶された表示用の画像データを、DMAバス110bを経由したDMAによって読み出す。そして、表示処理部210bは、読み出した表示用の画像データに対して予め定めた表示処理を施し、表示用の画像データに応じた表示画像データを生成する。その後、表示処理部210bは、生成した表示画像データをビデオインターフェース部220bに出力する。これにより、不図示の表示装置は、ビデオインターフェース部220bを経由して表示処理部210bから出力された表示画像データに応じた表示画像を表示する。
このようにして、撮像装置2では、画像処理装置10aに備えた動作検出部170aと入出力位置決定部180aとの構成によって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとで分担するパイプライン処理を施すためのパイプラインの構成を設定する。これにより、撮像装置2では、第2の動作例に示したように、動作検出部170aと入出力位置決定部180aとの構成によって設定されたパイプラインの構成で、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとが、パイプライン処理を分担して施す。より具体的には、撮像装置2では、画像処理装置10aが、撮像装置2に備えた不図示のイメージャから出力された画素信号に対して、撮像処理部130aによる前処理と、パイプライン処理の一部として、画像処理部150aに備えた画像処理モジュール153-1aによる画像処理とを施す。また、撮像装置2では、パイプライン処理の一部として、画像処理部150bに備えた画像処理モジュール153-1bおよび画像処理モジュール153-3bによる画像処理と、表示処理部210bによる表示処理とを施して、表示画像データに応じた表示画像を不図示の表示装置に表示させる。
(第3の動作例)
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10の別の動作を第3の動作例として、それぞれの画像処理装置10がパイプライン処理を分担して施す場合のデータの流れについて説明する。第3の動作例では、中程度の画素数(サイズ)でフレームレートも高くないイメージャを備えたことによって、イメージャから出力された画素信号に応じた画像データのDRAM70への書き込み(記憶)には多くのバス帯域を必要としないが、高い解像度の画像を表示する表示装置を含んだ3つの表示装置に同時に画像を表示させる3チャンネル出力の機能を備えることによって、表示用の画像データのDRAM70からの読み出しにより多くのバス帯域を必要とする構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1、および図3に示した撮像装置2と区別するため、上述した第3の動作例の構成の撮像装置1を、「撮像装置3」という。
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10の別の動作を第3の動作例として、それぞれの画像処理装置10がパイプライン処理を分担して施す場合のデータの流れについて説明する。第3の動作例では、中程度の画素数(サイズ)でフレームレートも高くないイメージャを備えたことによって、イメージャから出力された画素信号に応じた画像データのDRAM70への書き込み(記憶)には多くのバス帯域を必要としないが、高い解像度の画像を表示する表示装置を含んだ3つの表示装置に同時に画像を表示させる3チャンネル出力の機能を備えることによって、表示用の画像データのDRAM70からの読み出しにより多くのバス帯域を必要とする構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1、および図3に示した撮像装置2と区別するため、上述した第3の動作例の構成の撮像装置1を、「撮像装置3」という。
図4は、本発明の実施形態の画像処理装置10を複数備えた別の構成の撮像装置3におけるデータの流れを模式的に示した図である。図4に示した撮像装置3も、図3に示した撮像装置2と同様に、同じ構成の画像処理装置10を、2つ備えている。なお、図4に示した撮像装置3の構成は、不図示のイメージャと不図示の表示装置が異なる以外は、図3に示した撮像装置2と同様の構成である。従って、図4に示した撮像装置3においても、図3に示した撮像装置2と同様の考え方に基づいて、それぞれの構成要素を区別する。つまり、図4に示した撮像装置3においても、不図示のイメージャから出力された画素信号を受け取る側の画像処理装置10を「画像処理装置10a」とし、それぞれの構成要素の符号に続いて「a」を付与することによって、画像処理装置10aに関連する構成要素であることを表す。また、図4に示した撮像装置3においても、表示画像を不図示の表示装置に表示させる側の画像処理装置10を「画像処理装置10b」とし、それぞれの構成要素の符号に続いて「b」を付与することによって、画像処理装置10bに関連する構成要素であることを表す。なお、以下の説明において、画像処理装置10aに関連する構成要素であるか、画像処理装置10bに関連する構成要素であるかを区別しない場合には、それぞれの構成要素に付与した符号に続く「a」や「b」を付与せずに表す。
図4に示した撮像装置3でも、図3に示した撮像装置2と同様に、画像処理装置10aに備えた外部出力インターフェース部162aと、画像処理装置10bに備えた外部入力インターフェース部161bとを接続することによって、パイプライン処理を分担して施す構成を実現している。そして、図4に示した撮像装置3でも、図3に示した撮像装置2と同様に、画像処理装置10aに備えた通信インターフェース部192aと、画像処理装置10bに備えた通信インターフェース部191bとを接続することによって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとでパイプライン処理を分担するためのパイプラインの構成を設定する構成を実現している。
撮像装置3におけるパイプラインの構成の設定でも、撮像装置2と同様に、まず、画像処理装置10aに備えた動作検出部170aが、画像処理装置10aと画像処理装置10bとを接続した構成において、それぞれの構成要素の動作を検出する。より具体的には、動作検出部170aは、画像処理装置10aにおける撮像の動作として、中程度の画素数(サイズ)でフレームレートも高くない不図示のイメージャに対応して設定されたイメージャインターフェース部120aおよび撮像処理部130aの動作を検出する。また、動作検出部170aは、画像処理装置10bにおける表示の動作として、高い解像度の画像を表示する表示装置を含んだ3つ(3チャンネル出力)の不図示の表示装置のそれぞれに対応して設定された表示処理部210bおよびビデオインターフェース部220bの動作を検出する。また、動作検出部170aは、画像処理装置10aおよび画像処理装置10bに備えた画像処理部150における画像処理の動作として、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155の動作を検出する。なお、動作検出部170aは、この段階では、撮像装置2と同様に、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155は、画像処理装置10aに備えた構成要素であるか、画像処理装置10bに備えた構成要素であるかを判別していない。動作検出部170aは、検出したそれぞれの構成要素における動作情報を、画像処理装置10aに備えた入出力位置決定部180aに出力する(経路C41)。
これにより、入出力位置決定部180aは、動作検出部170aから出力された動作情報に基づいて、画像処理部150aと画像処理部150bとでパイプライン処理を分担するパイプラインの構成を決定する。ここで、動作検出部170aから出力された動作情報は、撮像装置3に備えた不図示のイメージャが、中程度の画素数(サイズ)でフレームレートも高くないイメージャであるため、画像処理装置10a内のDMAバス110aには多くのバス帯域を必要としないことを表している。また、動作検出部170aから出力された動作情報は、撮像装置3に備えた不図示の表示装置が、高い解像度の画像を表示する表示装置を含んだ3つ(3チャンネル出力)の表示装置であり、同時に画像を表示させる機能があるため、画像処理装置10b内のDMAバス110bには、多くのバス帯域を必要とすることを表している。このため、入出力位置決定部180aは、画像処理装置10aに備えた画像処理部150aにおいてより多くの画像処理を施し、画像処理装置10bに備えた画像処理部150bにおいて施す画像処理を少なくする、画像処理部150aおよび画像処理部150bにおけるパイプラインの構成を決定する。より具体的には、図4に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150aにおいて画像処理モジュール153-1aおよび画像処理モジュール153-2aのそれぞれによる画像処理を施す、画像処理部150aにおけるパイプラインの構成を決定している。また、図4に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150bにおいて画像処理モジュール153-3bによる画像処理を施す、画像処理部150bにおけるパイプラインの構成を決定している。
入出力位置決定部180aは、画像処理部150aに対して決定したパイプラインの構成を、画像処理部150aに備えた接続切り替え部151aに設定する(経路C42)。また、入出力位置決定部180aは、画像処理部150bに対して決定したパイプラインの構成の情報を、通信インターフェース部192aに出力し、通信インターフェース部192aおよび通信インターフェース部191bを経由して、画像処理部150bに備えた接続切り替え部151bに設定する(経路C43)。
画像処理装置10aおよび画像処理装置10bでは、入出力位置決定部180aによって設定されたパイプラインの構成で、それぞれの構成要素が画像処理を施す。撮像装置3でも、撮像装置2と同様に、画像処理装置10aおよび画像処理装置10bに備えたそれぞれの構成要素が、それぞれの画像処理を並列に施すことによって、撮像装置3における全体の画像処理がスムーズに実施される。つまり、撮像装置3でも、撮像装置2と同様に、画像処理装置10aに備えた撮像処理部130aによる前処理と、画像処理装置10aと画像処理装置10bとのそれぞれに備えた画像処理部150で分担するパイプライン処理と、画像処理装置10bに備えた表示処理部210bによる表示処理とを、同じ時期に並列に施している。しかし、図4に示した画像データの流れの説明でも、図3に示した画像データの流れの説明と同様に、説明を容易にするため、1フレームの画像データに着目して、データの流れを説明する。図4に示した画像データの流れでは、以下のような流れ(フロー)で処理が施される。
(フローF51):まず、画像処理装置10aに備えたイメージャインターフェース部120aは、不図示のイメージャから出力された画素信号を受け取って、撮像処理部130aに出力(伝送)する。そして、撮像処理部130aは、イメージャインターフェース部120aから出力された画素データに対して前処理を施し、前処理を施したそれぞれの画素データを含んだ画像データを、DMAバス110aを経由したDMAによってDRAM70aに書き込む(記憶させる)。
(フローF52):続いて、画像処理装置10aに備えた画像処理部150a内の入力DMAモジュール152aは、DRAM70aに記憶されている画像データを、DMAバス110aを経由したDMAによって読み出す。そして、入力DMAモジュール152aは、読み出した画像データを、接続切り替え部151aを経由して、次に画像処理を施す接続先の画像処理モジュール153-1aに出力する。
(フローF53):続いて、画像処理モジュール153-1aは、接続切り替え部151aを経由して接続先の入力DMAモジュール152aから出力された画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151aを経由して、次に画像処理を施す接続先の画像処理モジュール153-2aに出力する。
(フローF54):続いて、画像処理モジュール153-2aは、接続切り替え部151aを経由して接続先の画像処理モジュール153-1aから出力された処理画像データに対して予め定めた画像処理を施し、画像処理をさらに施した後の処理画像データを、接続切り替え部151aを経由して、入出力用モジュール154aに出力する。
(フローF55):続いて、入出力用モジュール154aは、接続切り替え部151aを経由して接続先の画像処理モジュール153-2aから出力された処理画像データを、DMAバス110aを経由せずに直接、外部出力インターフェース部162aに出力する。
(フローF56):これにより、外部出力インターフェース部162aは、入出力用モジュール154aから出力された処理画像データ、つまり、画像処理モジュール153-2aが画像処理した処理画像データを、画像処理装置10bに備えた外部入力インターフェース部161bに出力(伝送)する。
(フローF57):これにより、外部入力インターフェース部161bは、外部出力インターフェース部162aから出力(伝送)されてきた処理画像データ、つまり、画像処理モジュール153-2aが画像処理した処理画像データを受け取り、受け取った処理画像データを、DMAバス110bを経由せずに直接、画像処理部150bに備えた入出力用モジュール154bに出力(伝送)する。
(フローF58):続いて、入出力用モジュール154bは、外部入力インターフェース部161bから出力(伝送)された処理画像データを、接続切り替え部151bを経由して、次に画像処理を施す接続先の画像処理モジュール153-3bに出力する。
(フローF59):続いて、画像処理モジュール153-3bは、接続切り替え部151bを経由して接続先の入出力用モジュール154bから出力された処理画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151bを経由して、出力DMAモジュール155bに出力する。ここで、画像処理モジュール153-3bは、入出力用モジュール154bから出力された処理画像データに応じた表示用の画像データを生成する画像処理を施すものとする。従って、画像処理モジュール153-3bは、表示用の画像データを、接続切り替え部151bを経由して、出力DMAモジュール155bに出力する。
(フローF60):続いて、出力DMAモジュール155bは、接続切り替え部151bを経由して接続先の画像処理モジュール153-3bから出力された処理画像データ(表示用の画像データ)を、DMAバス110bを経由したDMAによってDRAM70bに書き込む(記憶させる)。
(フローF61):続いて、表示処理部210bは、DRAM70bに記憶された表示用の画像データを、DMAバス110bを経由したDMAによって読み出す。そして、表示処理部210bは、読み出した表示用の画像データに対して予め定めた表示処理を施し、表示用の画像データに応じた表示画像データを生成する。ここで、撮像装置3では、高い解像度の画像を表示する表示装置を含んだ3つの表示装置に同時に画像を表示させる3チャンネル出力の機能を備えているため、表示処理部210bは、3チャンネル分、つまり、3種類の表示画像データを生成する。その後、表示処理部210bは、生成した3種類の表示画像データのそれぞれをビデオインターフェース部220bに出力する。これにより、3つの不図示の表示装置のそれぞれは、ビデオインターフェース部220bを経由して表示処理部210bから出力された、対応する表示画像データに応じた表示画像をそれぞれ表示する。
このようにして、撮像装置3でも、撮像装置2と同様に、画像処理装置10aに備えた動作検出部170aと入出力位置決定部180aとの構成によって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとで分担するパイプライン処理を施すためのパイプラインの構成を設定する。これにより、撮像装置3でも、第3の動作例に示したように、動作検出部170aと入出力位置決定部180aとの構成によって設定されたパイプラインの構成で、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとが、パイプライン処理を分担して施す。より具体的には、撮像装置3では、画像処理装置10aが、撮像装置3に備えた不図示のイメージャから出力された画素信号に対して、撮像処理部130aによる前処理と、パイプライン処理の一部として、画像処理部150aに備えた画像処理モジュール153-1aおよび画像処理モジュール153-2aによる画像処理とを施す。また、撮像装置3では、パイプライン処理の一部として、画像処理部150bに備えた画像処理モジュール153-3bによる画像処理と、表示処理部210bによる表示処理とを施して、表示画像データに応じた表示画像を不図示の表示装置のそれぞれに表示させる。
上述したように、画像処理装置10は、撮像装置に複数備えられることによって、撮像装置が施す全体の処理に含まれるパイプライン処理における一連の画像処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施す構成することができる。このとき、いずれか1つの画像処理装置10に備えた動作検出部170と入出力位置決定部180との構成によって、それぞれの画像処理装置10に備えた画像処理部150におけるパイプラインの構成を、撮像装置が施す全体の処理の内容に応じて、動的に変更(設定)することができる。これにより、1つの画像処理装置10では、撮像装置における多くの画像処理を施すために必要なDMAバス110のバス帯域を確保することが困難となることが考えられる場合でも、複数の画像処理装置10のそれぞれに備えた構成要素でパイプライン処理を分担することによって、撮像装置の全体として必要なDMAバス110のバス帯域を確保することができ、撮像装置における多くの画像処理を施すことができる。
なお、第2の動作例に示した撮像装置2、および第3の動作例に示した撮像装置3では、同じ構成の画像処理装置10を2つ備えている場合について説明した。しかし、撮像装置を構成する画像処理装置10の数は、第2の動作例および第3の動作例で示した2つに限定されるものではない。つまり、撮像装置に、さらに多くの画像処理装置10を備えてもよい。この場合、撮像装置では、第2の動作例に示した撮像装置2や第3の動作例に示した撮像装置3のように、全ての画像処理装置10を直列(例えば、数珠つなぎ)に接続する。これにより、撮像装置に備えたそれぞれの画像処理装置10に備えた画像処理部150で、パイプライン処理を分担して施すことができる。
また、第3の動作例に示した撮像装置3では、画像処理装置10bが、3つの不図示の表示装置に同時に画像を表示させる3チャンネル出力の機能を備え構成について説明した。しかし、複数の画像処理装置10を備えた撮像装置においては、それぞれの不図示の表示装置に画像を表示させる機能も、複数の画像処理装置10に分ける構成にすることもできる。例えば、第3の動作例に示した撮像装置3と同様の機能を実現する撮像装置において、画像処理装置10bを3つとし、それぞれの画像処理装置10bを並列に画像処理装置10aに接続する構成にすることもできる。つまり、3つの画像処理装置10bをツリー状に画像処理装置10aに接続する構成にすることもできる。この場合、画像処理装置10aが、画像処理モジュール153-2aが、画像処理を施した後の処理画像データを、それぞれの画像処理装置10bに並列に出力する。そして、それぞれの画像処理装置10bでは、画像処理モジュール153-3bが、画像処理を施した後の表示用の画像データを、対応するDRAM70bに書き込む(記憶させる)。その後、それぞれの画像処理装置10bに備えた表示処理部210が、対応するDRAM70bに記憶された表示用の画像データに応じた表示画像データを生成して、接続されている不図示の表示装置に、表示画像データに応じた表示画像を表示させる。これにより、それぞれの画像処理装置10bでは、1チャンネル出力の機能を備えるのみで、第3の動作例に示した撮像装置3と同様の機能を実現することができる。なお、この構成の撮像装置に、表示画像データを出力する不図示の表示装置を選択(1つまたは複数を選択)する構成要素を備える場合には、3つの不図示の表示装置に同時に画像を表示させるのみではなく、選択した1つまたは複数の不図示の表示装置に、表示画像データに応じた表示画像を表示させることもできる。
また、第2の動作例に示した撮像装置2、および第3の動作例に示した撮像装置3では、画像処理装置10aが不図示のイメージャから出力された画素信号を受け取り、画像処理装置10bが表示画像を不図示の表示装置に表示させる構成について説明した。しかし、複数の画像処理装置10を備えた撮像装置において、不図示のイメージャを接続する画像処理装置10と、不図示の表示装置を接続する画像処理装置10とは、異なる画像処理装置10に限定されるものではない。つまり、複数の画像処理装置10を備えた撮像装置において、不図示のイメージャを接続する画像処理装置10と、不図示の表示装置を接続する画像処理装置10とが、同じ画像処理装置10であってもよい。この場合、撮像装置では、全ての画像処理装置10を直列(例えば、数珠つなぎ)に接続し、さらに、初段の画像処理装置10と最終段の画像処理装置10とを接続することによって、全ての画像処理装置10を円環状(リング状)に接続する。これにより、撮像装置に備えたそれぞれの画像処理装置10に備えた画像処理部150でパイプライン処理を分担すると共に、撮像装置において画像処理した処理画像データを、1つの画像処理装置10に対応するDRAM70(1つの画像処理装置10内のDMAバス110に接続されたDRAM70)に集める(集約する)ことができる。
(第4の動作例)
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10のさらに別の動作を第4の動作例として、それぞれの画像処理装置10が撮像装置1における処理を分担して施す場合のデータの流れについて説明する。第4の動作例では、イメージャから出力された画素信号に応じた画像データのDRAM70への書き込み(記憶)には多くのバス帯域を必要とせず、さらに、表示用の画像データのDRAM70からの読み出しには多くのバス帯域を必要としないが、パイプライン処理における画像処理モジュール153-2の代わりに、多くのバス帯域を必要とするデジタルシグナルプロセッサ200によるDSP画像処理を組み込む構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1、図3に示した撮像装置2、および図4に示した撮像装置3と区別するため、上述した第4の動作例の構成の撮像装置1を、「撮像装置4」という。
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10のさらに別の動作を第4の動作例として、それぞれの画像処理装置10が撮像装置1における処理を分担して施す場合のデータの流れについて説明する。第4の動作例では、イメージャから出力された画素信号に応じた画像データのDRAM70への書き込み(記憶)には多くのバス帯域を必要とせず、さらに、表示用の画像データのDRAM70からの読み出しには多くのバス帯域を必要としないが、パイプライン処理における画像処理モジュール153-2の代わりに、多くのバス帯域を必要とするデジタルシグナルプロセッサ200によるDSP画像処理を組み込む構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1、図3に示した撮像装置2、および図4に示した撮像装置3と区別するため、上述した第4の動作例の構成の撮像装置1を、「撮像装置4」という。
図5は、本発明の実施形態の画像処理装置10を複数備えた別の構成の撮像装置4におけるデータの流れを模式的に示した図である。図5に示した撮像装置4も、図3に示した撮像装置2および図4に示した撮像装置3と同様に、同じ構成の画像処理装置10を、2つ備えている。なお、図5に示した撮像装置4の構成は、不図示のイメージャと不図示の表示装置が異なる以外は、図3に示した撮像装置2および図4に示した撮像装置3と同様の構成である。従って、図5に示した撮像装置4においても、図3に示した撮像装置2および図4に示した撮像装置3と同様の考え方に基づいて、それぞれの構成要素を区別する。
図5に示した撮像装置4では、不図示のイメージャと不図示の表示装置との両方が、同じ画像処理装置10aに接続されている。つまり、図5に示した撮像装置4では、不図示のイメージャから出力された画素信号を受け取る側の画像処理装置10と、表示画像を不図示の表示装置に表示させる側の画像処理装置10とが、画像処理装置10aである。そして、図5に示した撮像装置4では、画像処理装置10aに備えた外部出力インターフェース部162aと、画像処理装置10bに備えた外部入力インターフェース部161bとを接続し、画像処理装置10bに備えた外部出力インターフェース部162bと、画像処理装置10aに備えた外部入力インターフェース部161aとを接続することによって、パイプライン処理にDSP画像処理を組み込む構成を実現している。そして、図5に示した撮像装置4では、画像処理装置10aに備えた通信インターフェース部192aと、画像処理装置10bに備えた通信インターフェース部191bとを接続することによって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとで分担して施すパイプライン処理に、デジタルシグナルプロセッサ200によるDSP画像処理を組み込むためのパイプラインの構成を設定する構成を実現している。
撮像装置4におけるパイプラインの構成の設定でも、撮像装置2および撮像装置3と同様に、まず、画像処理装置10aに備えた動作検出部170aが、画像処理装置10aと画像処理装置10bとを接続した構成において、それぞれの構成要素の動作を検出する。より具体的には、動作検出部170aは、画像処理装置10aにおける撮像の動作として、中程度の画素数(サイズ)でフレームレートも高くない不図示のイメージャに対応して設定されたイメージャインターフェース部120aおよび撮像処理部130aの動作を検出する。さらに、動作検出部170aは、画像処理装置10aにおける表示の動作として、低い解像度の画像を表示する1つ(1チャンネル出力)の不図示の表示装置に対応して設定された表示処理部210aおよびビデオインターフェース部220aの動作を検出する。また、動作検出部170aは、画像処理装置10aおよび画像処理装置10bに備えた画像処理部150における画像処理の動作として、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、出力DMAモジュール155、およびデジタルシグナルプロセッサ200の動作を検出する。なお、動作検出部170aは、この段階では、撮像装置2および撮像装置3と同様に、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、出力DMAモジュール155、およびデジタルシグナルプロセッサ200は、画像処理装置10aに備えた構成要素であるか、画像処理装置10bに備えた構成要素であるかを判別していない。動作検出部170aは、検出したそれぞれの構成要素における動作情報を、画像処理装置10aに備えた入出力位置決定部180aに出力する(経路C71)。
これにより、入出力位置決定部180aは、動作検出部170aから出力された動作情報に基づいて、画像処理部150aと画像処理部150bとで分担して施すパイプライン処理に、デジタルシグナルプロセッサ200によるDSP画像処理を組み込むためのパイプラインの構成を決定する。ここで、動作検出部170aから出力された動作情報は、撮像装置4に備えた不図示のイメージャが、中程度の画素数(サイズ)でフレームレートも高くないイメージャであるため、画像処理装置10a内のDMAバス110aには多くのバス帯域を必要としないことを表している。また、動作検出部170aから出力された動作情報は、撮像装置4に備えた不図示の表示装置が、低い解像度の画像を表示する1つ(1チャンネル出力)の表示装置であるため、画像処理装置10a内のDMAバス110aには多くのバス帯域を必要としないことを表している。また、動作検出部170aから出力された動作情報は、パイプライン処理における画像処理モジュール153-2の代わりに組み込むデジタルシグナルプロセッサ200によるDSP画像処理が、画像処理装置10a内のDMAバス110a、または画像処理装置10b内のDMAバス110bに、多くのバス帯域を必要とすることを表している。このため、入出力位置決定部180aは、画像処理装置10aに備えた画像処理部150aにおいて施す画像処理モジュール153による画像処理を施し、画像処理装置10bに備えた画像処理部150bにデジタルシグナルプロセッサ200bによるDSP画像処理を組み込んだ、画像処理部150aおよび画像処理部150bにおけるパイプラインの構成を決定する。より具体的には、図5に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150aにおいて画像処理モジュール153-1aによる画像処理を施す、画像処理部150aにおけるパイプラインの構成を決定している。さらに、図5に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150aにおいて画像処理モジュール153-3aによる画像処理を施す、画像処理部150aにおけるパイプラインの構成を決定している。また、図5に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150bにおいて、画像処理モジュール153-2bの代わりにデジタルシグナルプロセッサ200bによるDSP画像処理を施す、画像処理部150bにおけるパイプラインの構成を決定している。
入出力位置決定部180aは、画像処理部150aに対して決定したパイプラインの構成を、画像処理部150aに備えた接続切り替え部151aに設定する(経路C72)。また、入出力位置決定部180aは、画像処理部150bに対して決定したパイプラインの構成の情報を、通信インターフェース部192aに出力し、通信インターフェース部192aおよび通信インターフェース部191bを経由して、画像処理部150bに備えた接続切り替え部151bに設定する(経路C73)。
画像処理装置10aおよび画像処理装置10bでは、入出力位置決定部180aによって設定されたパイプラインの構成で、それぞれの構成要素が画像処理を施す。撮像装置4でも、撮像装置2および撮像装置3と同様に、画像処理装置10aおよび画像処理装置10bに備えたそれぞれの構成要素が、それぞれの画像処理を並列に施すことによって、撮像装置4における全体の画像処理がスムーズに実施される。つまり、撮像装置4でも、撮像装置2および撮像装置3と同様に、画像処理装置10aに備えた撮像処理部130aによる前処理と、画像処理装置10aと画像処理装置10bとのそれぞれに備えた画像処理部150で分担するパイプライン処理と、画像処理装置10aに備えた表示処理部210aによる表示処理とを、同じ時期に並列に施している。しかし、図5に示した画像データの流れの説明でも、図3および図4に示した画像データの流れの説明と同様に、説明を容易にするため、1フレームの画像データに着目して、データの流れを説明する。図5に示した画像データの流れでは、以下のような流れ(フロー)で処理が施される。
(フローF81):まず、画像処理装置10aに備えたイメージャインターフェース部120aは、不図示のイメージャから出力された画素信号を受け取って、撮像処理部130aに出力(伝送)する。そして、撮像処理部130aは、イメージャインターフェース部120aから出力された画素データに対して前処理を施し、前処理を施したそれぞれの画素データを含んだ画像データを、DMAバス110aを経由したDMAによってDRAM70aに書き込む(記憶させる)。
(フローF82):続いて、画像処理装置10aに備えた画像処理部150a内の入力DMAモジュール152aは、DRAM70aに記憶されている画像データを、DMAバス110aを経由したDMAによって読み出す。そして、入力DMAモジュール152aは、読み出した画像データを、接続切り替え部151aを経由して、次に画像処理を施す接続先の画像処理モジュール153-1aに出力する。
(フローF83):続いて、画像処理モジュール153-1aは、接続切り替え部151aを経由して接続先の入力DMAモジュール152aから出力された画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151aを経由して、入出力用モジュール154aに出力する。
(フローF84):続いて、入出力用モジュール154aは、接続切り替え部151aを経由して接続先の画像処理モジュール153-1aから出力された処理画像データを、DMAバス110aを経由せずに直接、外部出力インターフェース部162aに出力する。
(フローF85):これにより、外部出力インターフェース部162aは、入出力用モジュール154aから出力された処理画像データ、つまり、画像処理モジュール153-1aが画像処理した処理画像データを、画像処理装置10bに備えた外部入力インターフェース部161bに出力(伝送)する。
(フローF86):これにより、外部入力インターフェース部161bは、外部出力インターフェース部162aから出力(伝送)されてきた処理画像データ、つまり、画像処理モジュール153-1aが画像処理した処理画像データを受け取り、受け取った処理画像データを、DMAバス110bを経由せずに直接、画像処理部150bに備えた入出力用モジュール154bに出力(伝送)する。
(フローF87):続いて、入出力用モジュール154bは、外部入力インターフェース部161bから出力(伝送)された処理画像データを、接続切り替え部151bを経由して、出力DMAモジュール155bに出力する。
(フローF88):続いて、出力DMAモジュール155bは、接続切り替え部151bを経由して接続先の入出力用モジュール154bから出力された処理画像データを、DMAバス110bを経由したDMAによってDRAM70bに書き込む(記憶させる)。
(フローF89):続いて、デジタルシグナルプロセッサ200bは、DRAM70bに記憶されている処理画像データを、DMAバス110bを経由したDMAによって読み出す。そして、デジタルシグナルプロセッサ200bは、読み出した処理画像データに対して予め定めたDSP画像処理を施し、DSP画像処理を施した後の処理画像データ(DSP処理画像データ)を、DMAバス110bを経由したDMAによってDRAM70bに書き込む(記憶させる)。
(フローF90):続いて、画像処理装置10bに備えた画像処理部150b内の入力DMAモジュール152bは、DRAM70bに記憶されている処理画像データ、つまり、デジタルシグナルプロセッサ200bがDSP画像処理したDSP処理画像データを、DMAバス110bを経由したDMAによって読み出す。そして、入力DMAモジュール152bは、読み出したDSP処理画像データを、接続切り替え部151bを経由して、入出力用モジュール154bに出力する。
(フローF91):続いて、入出力用モジュール154bは、接続切り替え部151bを経由して接続先の入力DMAモジュール152bから出力されたDSP処理画像データを、DMAバス110bを経由せずに直接、外部出力インターフェース部162bに出力する。
(フローF92):これにより、外部出力インターフェース部162bは、入出力用モジュール154bから出力されたDSP処理画像データ、つまり、デジタルシグナルプロセッサ200bがDSP画像処理したDSP処理画像データを、画像処理装置10aに備えた外部入力インターフェース部161aに出力(伝送)する。
(フローF93):これにより、外部入力インターフェース部161aは、外部出力インターフェース部162bから出力(伝送)されてきたDSP処理画像データ、つまり、デジタルシグナルプロセッサ200bがDSP画像処理したDSP処理画像データを受け取り、受け取ったDSP処理画像データを、DMAバス110aを経由せずに直接、画像処理部150aに備えた入出力用モジュール154aに出力(伝送)する。
(フローF94):続いて、入出力用モジュール154aは、外部入力インターフェース部161aから出力(伝送)されたDSP処理画像データを、接続切り替え部151aを経由して、次に画像処理を施す接続先の画像処理モジュール153-3aに出力する。
(フローF95):続いて、画像処理モジュール153-3aは、接続切り替え部151aを経由して接続先の入出力用モジュール154aから出力されたDSP処理画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151aを経由して、出力DMAモジュール155aに出力する。ここで、画像処理モジュール153-3aは、入出力用モジュール154aから出力されたDSP処理画像データ、つまり、デジタルシグナルプロセッサ200bがDSP画像処理したDSP処理画像データに応じた表示用の画像データを生成する画像処理を施すものとする。従って、画像処理モジュール153-3aは、表示用の画像データを、接続切り替え部151aを経由して、出力DMAモジュール155aに出力する。
(フローF96):続いて、出力DMAモジュール155aは、接続切り替え部151aを経由して接続先の画像処理モジュール153-3aから出力された処理画像データ(表示用の画像データ)を、DMAバス110aを経由したDMAによってDRAM70aに書き込む(記憶させる)。
(フローF97):続いて、表示処理部210aは、DRAM70aに記憶された表示用の画像データを、DMAバス110aを経由したDMAによって読み出す。そして、表示処理部210aは、読み出した表示用の画像データに対して予め定めた表示処理を施し、表示用の画像データに応じた表示画像データを生成する。その後、表示処理部210aは、生成した表示画像データをビデオインターフェース部220aに出力する。これにより、不図示の表示装置は、ビデオインターフェース部220aを経由して表示処理部210aから出力された表示画像データに応じた表示画像を表示する。
このようにして、撮像装置4では、画像処理装置10aに備えた動作検出部170aと入出力位置決定部180aとの構成によって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとで分担して施すパイプライン処理に、デジタルシグナルプロセッサ200によるDSP画像処理を組み込むためのパイプラインの構成を設定する。これにより、撮像装置4では、第4の動作例に示したように、動作検出部170aと入出力位置決定部180aとの構成によって設定されたパイプラインの構成で、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとが、デジタルシグナルプロセッサ200によるDSP画像処理を組み込んだパイプライン処理を施す。より具体的には、撮像装置4では、画像処理装置10aが、撮像装置4に備えた不図示のイメージャから出力された画素信号に対して、撮像処理部130aによる前処理と、パイプライン処理の一部として、画像処理部150aに備えた画像処理モジュール153-1aによる画像処理とを施す。また、撮像装置4では、パイプライン処理の一部として、画像処理部150bに備えた画像処理モジュール153-2bの代わりに、デジタルシグナルプロセッサ200bによるDSP画像処理を施す。さらに、撮像装置4では、パイプライン処理の一部として、画像処理部150aに備えた画像処理モジュール153-3aによる画像処理と、表示処理部210aによる表示処理とを施して、表示画像データに応じた表示画像を不図示の表示装置に表示させる。
上述したように、画像処理装置10は、撮像装置に複数備えられることによって、撮像装置が施す全体の処理に含まれるパイプライン処理における一連の画像処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施す構成することができる。また、画像処理装置10は、いずれかの画像処理装置10に備えたデジタルシグナルプロセッサ200によるDSP画像処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施しているパイプライン処理に組み込む構成にすることができる。このとき、いずれか1つの画像処理装置10に備えた動作検出部170と入出力位置決定部180との構成によって、それぞれの画像処理装置10に備えた画像処理部150におけるパイプラインの構成を、撮像装置が施す全体の処理の内容に応じて、動的に変更(設定)することができる。これにより、1つの画像処理装置10では、撮像装置における多くの画像処理を施すために必要なDMAバス110のバス帯域を確保することが困難となることが考えられる場合でも、複数の画像処理装置10のそれぞれに備えた構成要素でパイプライン処理を分担することによって、撮像装置の全体として必要なDMAバス110のバス帯域を確保することができ、撮像装置における多くの画像処理を施すことができる。
なお、第4の動作例に示した撮像装置4では、同じ構成の画像処理装置10を2つ備えている場合について説明した。そして、第4の動作例に示した撮像装置4では、画像処理装置10bに備えたデジタルシグナルプロセッサ200bによるDSP画像処理をパイプライン処理に組み込むために、画像処理装置10aおよび画像処理装置10bを円環状(リング状)に接続した構成について説明した。しかし、撮像装置を構成する画像処理装置10の数は、第4の動作例に示した撮像装置4で示した2つに限定されるものではない。そして、複数の画像処理装置10を備えた撮像装置において、それぞれの画像処理装置10を円環状(リング状)に接続する構成は、デジタルシグナルプロセッサ200によるDSP画像処理や、画像処理装置10の外部の外部画像処理装置による外部画像処理をパイプライン処理に組み込むための構成に限定されるものではない。つまり、複数の画像処理装置10を備えた撮像装置において画像処理装置10を円環状(リング状)に接続する構成は、それぞれの画像処理部150によるパイプライン処理において施される画像処理の中に、拡張性を持たせるための画像処理を組み込む構成に限定されるものではなく、撮像装置における他の機能を実現するための構成として適用することもできる。例えば、撮像装置において被写体の静止画像を連続して複数撮影する機能、いわゆる、連写機能を実現する際に、それぞれの画像処理装置10を円環状(リング状)に接続する構成にすることもできる。この場合、不図示のイメージャからそれぞれの撮影ごとに出力された1フレーム分の画素データに対する画像処理を別々の画像処理装置10で施し、それぞれの画像処理装置10が生成した記録用の画像データ(記録画像データ)を、いずれか1つの画像処理装置10に対応するDRAM70に集める(集約する)ことができる。つまり、連続して撮影されたそれぞれのフレームの画素データに応じた記録用の画像データ(記録画像データ)の生成を、複数の画像処理装置10で分担して施すことができる。これにより、撮像装置における連写機能の高速化を図ることができる。
なお、第2の動作例に示した撮像装置2、第3の動作例に示した撮像装置3、および第4の動作例に示した撮像装置4では、外部入力インターフェース部161および外部出力インターフェース部162を経由することによって、2つの画像処理装置10に備えたそれぞれの入出力用モジュール154が画像データを直接入出力し、2つの画像処理装置10でパイプライン処理を分担して施す場合について説明した。しかし、この入出力用モジュール154による画像処理装置10の外部との間で画像データを直接入出力する機能は、上述したように、画像処理部150に備えたいずれの画像処理モジュール153においても施さない、画像処理装置10の外部の外部画像処理装置による外部画像処理を、パイプライン処理に組み込むための機能である。つまり、入出力用モジュール154による画像処理装置10の外部との間で画像データを直接入出力する機能は、画像処理装置10が施す画像処理とは異なる、外部画像処理装置による外部画像処理をパイプライン処理に組み込んで、画像処理部150におけるパイプライン処理を拡張するための機能である。
(第5の動作例)
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10のさらに別の動作を第5の動作例として、外部画像処理装置を備え、それぞれの画像処理装置10によって施す撮像装置1の処理を拡張する場合のデータの流れについて説明する。第5の動作例では、それぞれの画像処理装置10の画像処理部150に備えていない画像処理の機能を実現する外部画像処理装置を、それぞれの画像処理装置10の間に接続することによって、画像処理部150におけるパイプライン処理を拡張する構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1、図3に示した撮像装置2、図4に示した撮像装置3、および図5に示した撮像装置4と区別するため、上述した第5の動作例の構成の撮像装置1を、「撮像装置5」という。
次に、撮像装置1に複数の画像処理装置10を備えた場合におけるそれぞれの画像処理装置10のさらに別の動作を第5の動作例として、外部画像処理装置を備え、それぞれの画像処理装置10によって施す撮像装置1の処理を拡張する場合のデータの流れについて説明する。第5の動作例では、それぞれの画像処理装置10の画像処理部150に備えていない画像処理の機能を実現する外部画像処理装置を、それぞれの画像処理装置10の間に接続することによって、画像処理部150におけるパイプライン処理を拡張する構成の撮像装置1について考える。なお、以下の説明においては、図1に示した1つの画像処理装置10を備えた構成の撮像装置1、図3に示した撮像装置2、図4に示した撮像装置3、および図5に示した撮像装置4と区別するため、上述した第5の動作例の構成の撮像装置1を、「撮像装置5」という。
図6は、本発明の実施形態の画像処理装置10を複数備え、さらに外部に画像処理装置(外部画像処理装置80)を備えた構成の撮像装置5におけるデータの流れを模式的に示した図である。図6に示した撮像装置5も、図3に示した撮像装置2、図4に示した撮像装置3、および図5に示した撮像装置4と同様に、同じ構成の画像処理装置10を、2つ備えている。なお、図6に示した撮像装置5の構成は、外部画像処理装置80を2つの画像処理装置10の間に備える以外は、図3に示した撮像装置2、図4に示した撮像装置3、および図5に示した撮像装置4と同様の構成である。従って、図6に示した撮像装置5においても、図3に示した撮像装置2、図4に示した撮像装置3、および図5に示した撮像装置4と同様の考え方に基づいて、それぞれの構成要素を区別する。
なお、外部画像処理装置80は、画像処理装置10aと画像処理装置10bとのそれぞれに備えた画像処理部150が実現する画像処理の機能とは異なる外部画像処理の機能を実現する。外部画像処理装置80は、例えば、FPGA(Field Programmable Gate Array)やLSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)などによって実現されている。
図6に示した撮像装置5では、画像処理装置10aに備えた外部出力インターフェース部162aと外部画像処理装置80の入力端子とを接続し、外部画像処理装置80の出力端子と画像処理装置10bに備えた外部入力インターフェース部161bとを接続することによって、パイプライン処理に外部画像処理装置80による外部画像処理を組み込む構成を実現している。そして、図6に示した撮像装置5では、画像処理装置10aに備えた通信インターフェース部192aと、画像処理装置10bに備えた通信インターフェース部191bとを接続することによって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとで分担して施すパイプライン処理に、外部画像処理装置80による外部画像処理を組み込むためのパイプラインの構成を設定する構成を実現している。
撮像装置5におけるパイプラインの構成の設定でも、撮像装置2、撮像装置3、および撮像装置4と同様に、まず、画像処理装置10aに備えた動作検出部170aが、画像処理装置10aと画像処理装置10bとを接続した構成において、それぞれの構成要素の動作を検出する。より具体的には、動作検出部170aは、画像処理装置10aにおける撮像の動作として、中程度の画素数(サイズ)でフレームレートも高くない不図示のイメージャに対応して設定されたイメージャインターフェース部120aおよび撮像処理部130aの動作を検出する。また、動作検出部170aは、画像処理装置10bにおける表示の動作として、低い解像度の画像を表示する1つ(1チャンネル出力)の不図示の表示装置に対応して設定された表示処理部210bおよびビデオインターフェース部220bの動作を検出する。また、動作検出部170aは、画像処理装置10aおよび画像処理装置10bに備えた画像処理部150における画像処理の動作として、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155の動作を検出する。このとき、動作検出部170aは、画像処理装置10aおよび画像処理装置10bに備えた画像処理部150における追加の画像処理の動作として、外部画像処理装置80の動作を検出してもよい。なお、動作検出部170aは、この段階では、撮像装置2、撮像装置3、および撮像装置4と同様に、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、出力DMAモジュール155、および外部画像処理装置80は、画像処理装置10aに備えた構成要素であるか、画像処理装置10bに備えた構成要素であるか、画像処理装置10aや画像処理装置10bの外部に備えた構成要素であるかを判別していない。動作検出部170aは、検出したそれぞれの構成要素における動作情報を、画像処理装置10aに備えた入出力位置決定部180aに出力する(経路C101)。
これにより、入出力位置決定部180aは、動作検出部170aから出力された動作情報に基づいて、画像処理部150aと、外部画像処理装置80と、画像処理部150bとでパイプライン処理を施すパイプラインの構成を決定する。ここで、動作検出部170aから出力された動作情報は、撮像装置5に備えた不図示のイメージャが、中程度の画素数(サイズ)でフレームレートも高くないイメージャであるため、画像処理装置10a内のDMAバス110aには多くのバス帯域を必要としないことを表している。また、動作検出部170aから出力された動作情報は、撮像装置5に備えた不図示の表示装置が、低い解像度の画像を表示する1つ(1チャンネル出力)の表示装置であるため、画像処理装置10b内のDMAバス110bには多くのバス帯域を必要としないことを表している。また、動作検出部170aから出力された動作情報は、パイプライン処理に組み込む外部画像処理装置80による外部画像処理が、DMAによってDRAM70にアクセスしない、つまり、画像処理装置10a内のDMAバス110a、および画像処理装置10b内のDMAバス110bにバス帯域を必要としないことを表している。そして、動作検出部170aから出力された動作情報は、外部画像処理装置80による外部画像処理が、パイプライン処理における画像処理モジュール153-2と画像処理モジュール153-3との間に組み込まれることを表している。このため、入出力位置決定部180aは、画像処理装置10aに備えた画像処理部150aにおいて施す画像処理モジュール153による画像処理と、画像処理装置10bに備えた画像処理部150bにおいて施す画像処理モジュール153による画像処理との間に外部画像処理装置80による外部画像処理を組み込んだ、画像処理部150aおよび画像処理部150bにおけるパイプラインの構成を決定する。より具体的には、図6に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150aにおいて画像処理モジュール153-1aおよび画像処理モジュール153-2aのそれぞれによる画像処理を施す、画像処理部150aにおけるパイプラインの構成を決定している。また、図6に示した画像データの流れの図では、入出力位置決定部180aは、画像処理部150bにおいて画像処理モジュール153-3bによる画像処理を施す、画像処理部150bにおけるパイプラインの構成を決定している。
入出力位置決定部180aは、画像処理部150aに対して決定したパイプラインの構成を、画像処理部150aに備えた接続切り替え部151aに設定する(経路C102)。また、入出力位置決定部180aは、画像処理部150bに対して決定したパイプラインの構成の情報を、通信インターフェース部192aに出力し、通信インターフェース部192aおよび通信インターフェース部191bを経由して、画像処理部150bに備えた接続切り替え部151bに設定する(経路C103)。
画像処理装置10aおよび画像処理装置10bでは、入出力位置決定部180aによって設定されたパイプラインの構成で、それぞれの構成要素が画像処理を施す。撮像装置5でも、撮像装置2、撮像装置3、および撮像装置4と同様に、画像処理装置10aおよび画像処理装置10bに備えたそれぞれの構成要素が、それぞれの画像処理を並列に施すことによって、撮像装置5における全体の画像処理がスムーズに実施される。つまり、撮像装置5でも、撮像装置2、撮像装置3、および撮像装置4と同様に、画像処理装置10aに備えた撮像処理部130aによる前処理と、画像処理装置10aに備えた画像処理部150と、外部画像処理装置80と、画像処理装置10bに備えた画像処理部150とで施すパイプライン処理と、画像処理装置10bに備えた表示処理部210bによる表示処理とを、同じ時期に並列に施している。しかし、図6に示した画像データの流れの説明でも、図3~図5に示した画像データの流れの説明と同様に、説明を容易にするため、1フレームの画像データに着目して、データの流れを説明する。図6に示した画像データの流れでは、以下のような流れ(フロー)で処理が施される。
(フローF111):まず、画像処理装置10aに備えたイメージャインターフェース部120aは、不図示のイメージャから出力された画素信号を受け取って、撮像処理部130aに出力(伝送)する。そして、撮像処理部130aは、イメージャインターフェース部120aから出力された画素データに対して前処理を施し、前処理を施したそれぞれの画素データを含んだ画像データを、DMAバス110aを経由したDMAによってDRAM70aに書き込む(記憶させる)。
(フローF112):続いて、画像処理装置10aに備えた画像処理部150a内の入力DMAモジュール152aは、DRAM70aに記憶されている画像データを、DMAバス110aを経由したDMAによって読み出す。そして、入力DMAモジュール152aは、読み出した画像データを、接続切り替え部151aを経由して、次に画像処理を施す接続先の画像処理モジュール153-1aに出力する。
(フローF113):続いて、画像処理モジュール153-1aは、接続切り替え部151aを経由して接続先の入力DMAモジュール152aから出力された画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151aを経由して、次に画像処理を施す接続先の画像処理モジュール153-2aに出力する。
(フローF114):続いて、画像処理モジュール153-2aは、接続切り替え部151aを経由して接続先の画像処理モジュール153-1aから出力された処理画像データに対して予め定めた画像処理を施し、画像処理をさらに施した後の処理画像データを、接続切り替え部151aを経由して、入出力用モジュール154aに出力する。
(フローF115):続いて、入出力用モジュール154aは、接続切り替え部151aを経由して接続先の画像処理モジュール153-2aから出力された処理画像データを、DMAバス110aを経由せずに直接、外部出力インターフェース部162aに出力する。
(フローF116):これにより、外部出力インターフェース部162aは、入出力用モジュール154aから出力された処理画像データ、つまり、画像処理モジュール153-2aが画像処理した処理画像データを、外部画像処理装置80に出力(伝送)する。
(フローF117):これにより、外部画像処理装置80は、外部出力インターフェース部162aから出力(伝送)されてきた処理画像データ、つまり、画像処理モジュール153-2aが画像処理した処理画像データを受け取り、受け取った処理画像データに対して予め定めた外部画像処理を施し、外部画像処理を施した後の外部処理画像データを、画像処理装置10bに備えた外部入力インターフェース部161bに出力(伝送)する。
(フローF118):これにより、外部入力インターフェース部161bは、外部画像処理装置80から出力(伝送)されてきた処理画像データ、つまり、外部画像処理装置80が外部画像処理した外部処理画像データを受け取り、受け取った処理画像データを、DMAバス110bを経由せずに直接、画像処理部150bに備えた入出力用モジュール154bに出力(伝送)する。
(フローF119):続いて、入出力用モジュール154bは、外部入力インターフェース部161bから出力(伝送)された外部処理画像データを、接続切り替え部151bを経由して、次に画像処理を施す接続先の画像処理モジュール153-3bに出力する。
(フローF120):続いて、画像処理モジュール153-3bは、接続切り替え部151bを経由して接続先の入出力用モジュール154bから出力された外部処理画像データに対して予め定めた画像処理を施し、画像処理を施した後の処理画像データを、接続切り替え部151bを経由して、出力DMAモジュール155bに出力する。ここで、画像処理モジュール153-3bは、入出力用モジュール154bから出力された外部処理画像データ、つまり、外部画像処理装置80が外部画像処理した外部処理画像データに応じた表示用の画像データを生成する画像処理を施すものとする。従って、画像処理モジュール153-3bは、表示用の画像データを、接続切り替え部151bを経由して、出力DMAモジュール155bに出力する。
(フローF121):続いて、出力DMAモジュール155bは、接続切り替え部151bを経由して接続先の画像処理モジュール153-3bから出力された処理画像データ(表示用の画像データ)を、DMAバス110bを経由したDMAによってDRAM70bに書き込む(記憶させる)。
(フローF122):続いて、表示処理部210bは、DRAM70bに記憶された表示用の画像データを、DMAバス110bを経由したDMAによって読み出す。そして、表示処理部210bは、読み出した表示用の画像データに対して予め定めた表示処理を施し、表示用の画像データに応じた表示画像データを生成する。その後、表示処理部210bは、生成した表示画像データをビデオインターフェース部220bに出力する。これにより、不図示の表示装置は、ビデオインターフェース部220bを経由して表示処理部210bから出力された表示画像データに応じた表示画像を表示する。
このようにして、撮像装置5では、画像処理装置10aに備えた動作検出部170aと入出力位置決定部180aとの構成によって、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとで分担して施すパイプライン処理に、外部画像処理装置80による外部画像処理を組み込むためのパイプラインの構成を設定する。これにより、撮像装置5では、第5の動作例に示したように、動作検出部170aと入出力位置決定部180aとの構成によって設定されたパイプラインの構成で、画像処理装置10aに備えた画像処理部150aと、画像処理装置10bに備えた画像処理部150bとが、外部画像処理装置80による外部画像処理を組み込んだパイプライン処理を施す。より具体的には、撮像装置5では、画像処理装置10aが、撮像装置5に備えた不図示のイメージャから出力された画素信号に対して、撮像処理部130aによる前処理と、パイプライン処理の一部として、画像処理部150aに備えた画像処理モジュール153-1aおよび画像処理モジュール153-2aによる画像処理とを施す。また、撮像装置5では、パイプライン処理の一部として、外部画像処理装置80による外部画像処理を施す。また、撮像装置5では、パイプライン処理の一部として、画像処理部150bに備えた画像処理モジュール153-3bによる画像処理と、表示処理部210bによる表示処理とを施して、表示画像データに応じた表示画像を不図示の表示装置に表示させる。
上述したように、画像処理装置10は、撮像装置に複数備えられることによって、撮像装置が施す全体の処理に含まれるパイプライン処理における一連の画像処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施す構成することができる。また、画像処理装置10は、外部の外部画像処理装置80による外部画像処理を、複数の画像処理装置10のそれぞれに備えた画像処理部150で分担して施しているパイプライン処理に組み込む構成にすることができる。このとき、いずれか1つの画像処理装置10に備えた動作検出部170と入出力位置決定部180との構成によって、それぞれの画像処理装置10に備えた画像処理部150におけるパイプラインの構成を、撮像装置が施す全体の処理の内容に応じて、動的に変更(設定)することができる。これにより、1つの画像処理装置10では、撮像装置における多くの画像処理を施すために必要なDMAバス110のバス帯域を確保することが困難となることが考えられる場合でも、複数の画像処理装置10のそれぞれに備えた構成要素でパイプライン処理を分担することによって、撮像装置の全体として必要なDMAバス110のバス帯域を確保することができ、撮像装置における多くの画像処理を施すことができる。
なお、第5の動作例に示した撮像装置5では、同じ構成の画像処理装置10を2つ備えている場合について説明した。そして、第5の動作例に示した撮像装置5では、2つの画像処理装置10の間に、外部の外部画像処理装置80による外部画像処理をパイプライン処理に組み込む構成について説明した。しかし、撮像装置を構成する画像処理装置10の数は、第5の動作例に示した撮像装置5で示した2つに限定されるものではない。つまり、撮像装置に、さらに多くの画像処理装置10を備えてもよい。そして、複数の画像処理装置10を備えた撮像装置において、それぞれの画像処理部150によるパイプライン処理の間に、外部の外部画像処理装置による外部画像処理を組み込む構成にしてもよい。これにより、撮像装置に備えたそれぞれの画像処理装置10に備えた画像処理部150によるパイプライン処理をさらに拡張することができる。
ここで、さらに多くの画像処理装置10を備えた撮像装置において、外部の外部画像処理装置による外部画像処理を組み込むことによって、画像処理装置10に備えた画像処理部150によるパイプライン処理をさらに拡張する構成について説明する。図7は、本発明の実施形態の画像処理装置10を複数備え、さらに外部の画像処理装置(外部画像処理装置)で拡張した画像処理をする別の構成の撮像装置5の概略構成を示したブロック図である。
図7には、図6に示した撮像装置5の変形例として、同じ構成の画像処理装置10を3つ備えた構成の撮像装置の一例を示している。なお、図7に示した撮像装置5の変形例では、3つの画像処理装置10のそれぞれを区別するため、不図示のイメージャから出力された画素信号を受け取る側の画像処理装置10を「画像処理装置10a」といい、表示画像を不図示の表示装置に表示させる側の画像処理装置10を「画像処理装置10b」といい、画像処理装置10aと画像処理装置10bとの間で画像処理をする画像処理装置10を「画像処理装置10c」という。そして、図7に示した撮像装置5の変形例では、それぞれの画像処理装置10に備えたそれぞれの構成要素に付与した符号に続いて、画像処理装置10aの構成要素であることを表す「a」、画像処理装置10bの構成要素であることを表す「b」、または画像処理装置10cの構成要素であることを表す「c」のいずれかを付与することによって、画像処理装置10a、画像処理装置10b、または画像処理装置10cのいずれの構成要素であるのかを区別する。なお、以下の説明において、画像処理装置10aに関連する構成要素と、画像処理装置10bに関連する構成要素と、画像処理装置10cに関連する構成要素とのそれぞれを区別しない場合には、それぞれの構成要素に付与した符号に続く「a」や、「b」、「c」を付与せずに表す。
図7の(a)には、画像処理装置10aと画像処理装置10cとの間に外部画像処理装置81を備え、画像処理装置10cと画像処理装置10bとの間に外部画像処理装置82を備えた構成の撮像装置51を示している。図7の(a)に示した撮像装置51では、画像処理装置10aに備えた外部出力インターフェース部162aと外部画像処理装置81の入力端子とを接続し、外部画像処理装置81の出力端子と画像処理装置10cに備えた外部入力インターフェース部161cとを接続する。さらに、図7の(a)に示した撮像装置51では、画像処理装置10cに備えた外部出力インターフェース部162cと外部画像処理装置82の入力端子とを接続し、外部画像処理装置82の出力端子と画像処理装置10bに備えた外部入力インターフェース部161bとを接続する。これにより、撮像装置51では、画像処理装置10aと画像処理装置10cとの間のパイプライン処理に外部画像処理装置81による外部画像処理を組み込み、画像処理装置10cと画像処理装置10bとの間のパイプライン処理に外部画像処理装置82による外部画像処理を組み込む構成を実現している。
なお、図7の(a)に示した撮像装置51におけるそれぞれの画像処理装置10の動作は、図6に示した撮像装置5におけるそれぞれの画像処理装置10の動作(第5の動作例)や、図3~図5に示した撮像装置2~撮像装置4におけるそれぞれの画像処理装置10の動作(第2~第4の動作例)から容易に考えることができる。従って、図7の(a)に示した撮像装置51におけるそれぞれの画像処理装置10の動作に関する詳細な説明は、省略する。
なお、図7の(a)に示した外部画像処理装置81や外部画像処理装置82をFPGAやLSIやASICなどによって実現する場合、外部画像処理装置81が実現する外部画像処理の機能と、外部画像処理装置82が実現する外部画像処理の機能とを1つの外部画像処理装置にまとめた構成にすることが考えられる。この場合、1つにまとめた外部画像処理装置では、PCI-Expressなどの予め定めた種々の伝送方式に従った複数の外部入力インターフェースポートや外部出力インターフェースポートを備える構成にすることが考えられる。
図7の(b)には、画像処理装置10aと画像処理装置10cとの間で外部画像処理装置81が実現する外部画像処理の機能と、画像処理装置10cと画像処理装置10bとの間で外部画像処理装置82が実現する外部画像処理の機能とを備えた1つの外部画像処理装置83を備えた構成の撮像装置52を示している。図7の(b)に示した撮像装置52では、画像処理装置10aに備えた外部出力インターフェース部162aと外部画像処理装置81における対応する入力端子(ポート)とを接続し、外部画像処理装置81における対応する出力端子(ポート)と画像処理装置10cに備えた外部入力インターフェース部161cとを接続する。さらに、図7の(b)に示した撮像装置52では、画像処理装置10cに備えた外部出力インターフェース部162cと外部画像処理装置82における対応する入力端子(ポート)とを接続し、外部画像処理装置82における対応する出力端子(ポート)と画像処理装置10bに備えた外部入力インターフェース部161bとを接続する。これにより、撮像装置52でも、撮像装置51と同様に、画像処理装置10aと画像処理装置10cとの間のパイプライン処理に外部画像処理装置81による外部画像処理を組み込み、画像処理装置10cと画像処理装置10bとの間のパイプライン処理に外部画像処理装置82による外部画像処理を組み込む構成を実現している。
なお、図7の(b)に示した撮像装置52におけるそれぞれの画像処理装置10の動作は、図7の(a)に示した撮像装置51における動作と同様に、図6に示した撮像装置5におけるそれぞれの画像処理装置10の動作(第5の動作例)や、図3~図5に示した撮像装置2~撮像装置4におけるそれぞれの画像処理装置10の動作(第2~第4の動作例)から容易に考えることができる。従って、図7の(b)に示した撮像装置52におけるそれぞれの画像処理装置10の動作に関する詳細な説明は、省略する。
なお、図6に示した撮像装置5と、図7に示した撮像装置51および撮像装置52とでは、図3に示した撮像装置2や図4に示した撮像装置3と同様に、画像処理装置10を直列(例えば、数珠つなぎ)に接続し、2つの画像処理装置10の間に外部画像処理装置を接続した構成について説明した。しかし、複数の画像処理装置10を備えた撮像装置において、外部の外部画像処理装置による外部画像処理をパイプライン処理に組み込む構成は、直列に接続された2つの画像処理装置10の間に外部画像処理装置を接続する構成に限定されるものではない。つまり、複数の画像処理装置10を備えた撮像装置において、外部の外部画像処理装置による外部画像処理をパイプライン処理に組み込む構成は、図5に示した撮像装置4のように、画像処理装置10を円環状(リング状)に接続した場合においても、2つの画像処理装置10の間に外部画像処理装置を接続することができる。
本実施形態によれば、共通のデータバス(DMAバス110)に接続され、DMAバス110に接続されたデータ記憶部(DRAM70)からDMAバス110を経由して読み出したデータ(画像データ)に対して予め定めた処理(画像処理)を施す複数の処理部(実施形態では、撮像処理部130、画像処理部150、デジタルシグナルプロセッサ200、表示処理部210、メモリカードインターフェース部230、高速シリアルインターフェース部240など)を具備した画像処理装置(画像処理装置10)であって、少なくとも1つの処理部(画像処理部150)は、入力されたデータ(画像データ)に対して予め定めた処理(画像処理)を施す複数の処理モジュール(実施形態では、画像処理モジュール153-1~画像処理モジュール153-3)と、DMAバス110を経由せずに外部との間で直接データを入出力する処理モジュールとして動作する入出力用モジュール(入出力用モジュール154)と、入力された設定(入出力位置決定部180からの設定や、通信インターフェース部191を経由して入力された画像処理装置10の外部からの制御)に従って処理モジュール(実施形態では、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155)同士の接続を切り替えてパイプラインの構成を変更する接続切り替え部(接続切り替え部151)とを備え、パイプラインを構成したそれぞれの処理モジュールによってパイプライン処理を施す画像処理部(画像処理部150)であり、それぞれの処理部の動作を検出する動作検出部(動作検出部170)と、動作検出部170が検出したそれぞれの処理部の動作の情報(動作情報)に基づいて、画像処理部150におけるパイプラインの構成を決定する入出力位置決定部(入出力位置決定部180)と、入出力位置決定部180が決定したパイプラインの構成の情報を外部(他の画像処理装置10)に出力する情報出力部(通信インターフェース部192)と、パイプラインの構成の情報を外部(他の画像処理装置10)から受け取る情報入力部(通信インターフェース部191)と、を備え、接続切り替え部151は、入出力位置決定部180が決定した、または通信インターフェース部191が受け取った、パイプラインの構成の情報に従って、パイプラインを構成する処理モジュール(実施形態では、入力DMAモジュール152、画像処理モジュール153-1~画像処理モジュール153-3、入出力用モジュール154、および出力DMAモジュール155)同士の接続を切り替える、画像処理装置(画像処理装置10)が構成される。
また、本実施形態によれば、動作検出部170は、それぞれの処理部によるDMAバス110を経由したDRAM70へのアクセスを伴う動作を、それぞれの処理部の動作として検出し、入出力位置決定部180は、それぞれの処理部がDMAバス110を経由してDRAM70にアクセスする際に要するDMAバス110の帯域(バス帯域、DRAM70のバス帯域)の合計を、DMAバス110に接続されたDRAM70における(アクセスすることができる)最大の帯域以内にするために、画像処理部150において施すパイプライン処理を分けるためのパイプラインの構成を決定する、画像処理装置10が構成される。
また、本実施形態によれば、入出力位置決定部180は、画像処理部150において施すパイプライン処理を分けるために、画像処理部150において構成されるパイプライン内に組み込む入出力用モジュール154の位置を決定する、画像処理装置10が構成される。
また、本実施形態によれば、画像処理装置10を複数(実施形態では、画像処理装置10aと画像処理装置10b)備え、画像処理装置10aと画像処理装置10bとのそれぞれは、前段の画像処理装置10aに備えた入出力用モジュール154aの出力(外部出力インターフェース部162b)と後段の画像処理装置10bに備えた入出力用モジュール154bの入力(外部入力インターフェース部161b)とを接続して数珠つなぎに接続され、画像処理装置10aと画像処理装置10bとのそれぞれに備えた画像処理部150(画像処理部150aと画像処理部150b)内の接続切り替え部(入出力用モジュール154aと入出力用モジュール154b)は、いずれか1つの画像処理装置10(実施形態では、画像処理装置10a)に備えた入出力位置決定部180(入出力位置決定部180a)が決定したパイプラインの構成の情報に従って、画像処理部150aと画像処理部150bにおいて構成するパイプラインにおける処理モジュール同士(実施形態では、入力DMAモジュール152a、画像処理モジュール153-1a~画像処理モジュール153-3a、入出力用モジュール154a、出力DMAモジュール155a同士、および入力DMAモジュール152b、画像処理モジュール153-1b~画像処理モジュール153-3b、入出力用モジュール154b、出力DMAモジュール155b同士)の接続を切り替える、撮像装置(撮像装置1)が構成される。
また、本実施形態によれば、いずれか1つの画像処理装置10(画像処理装置10a)に備えた入出力位置決定部180(入出力位置決定部180a)は、対応する動作検出部(動作検出部170a)が検出したそれぞれの処理部の動作の情報に基づいて、画像処理部150aと画像処理部150bとのそれぞれでパイプライン処理を分担するために、画像処理部150aと画像処理部150bとのそれぞれにおいて構成されるパイプライン内に組み込む入出力用モジュール154(入出力用モジュール154aまたは入出力用モジュール154b)の位置を含むパイプラインの構成を決定し、いずれか1つの画像処理装置10(画像処理装置10a)に備えた情報出力部(通信インターフェース部192a)は、入出力位置決定部180aが決定したパイプラインの構成の情報を、他の画像処理装置10(実施形態では、画像処理装置10b)に備えた情報入力部(通信インターフェース部191b)に出力し、画像処理装置10aと画像処理装置10bとのそれぞれに備えた画像処理部150a内の入出力用モジュール154a、および画像処理部150b内の入出力用モジュール154bは、入出力位置決定部180aが決定した、または対応する通信インターフェース部191bが受け取ったパイプラインの構成の情報に含まれる入出力用モジュール154aまたは入出力用モジュール154bの位置に、入出力用モジュール154aまたは入出力用モジュール154bを組み込んで、画像処理部150aおよび画像処理部150bにおいて構成するパイプラインにおける処理モジュール同士(実施形態では、入力DMAモジュール152a、画像処理モジュール153-1a~画像処理モジュール153-3a、入出力用モジュール154a、出力DMAモジュール155a同士、および入力DMAモジュール152b、画像処理モジュール153-1b~画像処理モジュール153-3b、入出力用モジュール154b、出力DMAモジュール155b同士)の接続を切り替える、撮像装置1が構成される。
また、本実施形態によれば、いずれか1つの画像処理装置10(画像処理装置10a)に備えた入出力位置決定部180(入出力位置決定部180a)は、画像処理装置10aと画像処理装置10bとのそれぞれにおいて処理を施すそれぞれの処理部が対応するデータバス(DMAバス110aまたはDMAバス110b)を経由してデータ記憶部(DRAM70aまたはDRAM70b)にアクセスする際に要するDMAバス110aまたはDMAバス110bの帯域の合計を、対応するDMAバス110aに接続されたDRAM70a、またはDMAバス110bに接続されたDRAM70bにおける(アクセスすることができる)最大の帯域以内にするために、画像処理部150aと画像処理部150bとのそれぞれにおいて構成されるパイプライン内に組み込む入出力用モジュール154aまたは入出力用モジュール154bの位置を決定する、撮像装置1が構成される。
また、本実施形態によれば、数珠つなぎに接続された最終段の画像処理装置10(実施形態では、画像処理装置10b)に備えた入出力用モジュール154bの出力(外部出力インターフェース部162b)と初段の画像処理装置10(実施形態では、画像処理装置10a)に備えた入出力用モジュール154aの入力(外部入力インターフェース部161a)とを接続して、全ての画像処理装置10(画像処理装置10aと画像処理装置10b)を円環状に接続し、画像処理装置10aと画像処理装置10bとのそれぞれが処理した後のデータ(処理画像データ)を、いずれか1つの画像処理装置10(実施形態では、画像処理装置10a)のデータバス(DMAバス110a)に接続されたデータ記憶部(DRAM70a)に集める、撮像装置1が構成される。
また、本実施形態によれば、画像処理装置10を複数(実施形態では、画像処理装置10aと画像処理装置10b)備え、画像処理装置10aと画像処理装置10bとのそれぞれは、前段の画像処理装置10aに備えた入出力用モジュール154aの出力(外部出力インターフェース部162b)と後段の画像処理装置10bに備えた入出力用モジュール154bの入力(外部入力インターフェース部161b)とが、他の画像処理を施す外部画像処理装置(外部画像処理装置80)を経由して接続され、画像処理装置10aと画像処理装置10bとのそれぞれに備えた画像処理部150(画像処理部150aと画像処理部150b)内の接続切り替え部(入出力用モジュール154aと入出力用モジュール154b)は、いずれか1つの画像処理装置10(実施形態では、画像処理装置10a)に備えた入出力位置決定部180(入出力位置決定部180a)が決定したパイプラインの構成の情報に従って、画像処理部150aと画像処理部150bにおいて構成するパイプラインにおける処理モジュール同士(実施形態では、入力DMAモジュール152a、画像処理モジュール153-1a~画像処理モジュール153-3a、入出力用モジュール154a、出力DMAモジュール155a同士、および入力DMAモジュール152b、画像処理モジュール153-1b~画像処理モジュール153-3b、入出力用モジュール154b、出力DMAモジュール155b同士)の接続を切り替える、撮像装置(撮像装置1)が構成される。
上記に述べたように、本発明の実施形態によれば、画像処理装置においてパイプライン処理を施す画像処理部に、画像処理部の外部に備えた構成要素と、DMAバスを経由せずに直接接続するための入出力用モジュールを備える。つまり、本発明の実施形態では、画像処理部において実現する画像処理を拡張するため、画像処理部に備えたいずれの画像処理モジュールにおいても実現しない画像処理を施す画像処理装置と、DMAバスを経由せずに直接接続するための入出力用モジュールを備える。また、本発明の実施形態では、画像処理部に備えたそれぞれの処理モジュールの接続を切り替える、つまり、画像処理部に構成するパイプラインの接続を切り替えるための接続切り替え部を備える。これにより、本発明の実施形態では、画像処理部に構成するパイプラインの中に、入出力用モジュールを画像処理モジュールとして組み込むことによって、画像処理部に備えたそれぞれの画像処理モジュールが施すパイプライン処理による一連の画像処理に、画像処理部の外部に備えた構成要素が施す画像処理を組み込むことができる。
また、本発明の実施形態では、画像処理装置に備えたそれぞれの構成要素が画像処理を施す際の動作を検出する動作検出部と、動作検出部が検出したそれぞれの構成要素における動作に基づいて、画像処理部におけるパイプラインの構成を決定し、決定したパイプラインの構成を接続切り替え部に設定する入出力位置決定部を備える。そして、本発明の実施形態では、入出力位置決定部が、画像処理装置に備えたそれぞれの構成要素が画像処理を施す際に必要とするDMAバスのバス帯域を確保することができる、つまり、特定のDMAバスにおけるバス帯域の圧迫を回避することができる、画像処理部におけるパイプラインの構成を決定する。これにより、本発明の実施形態では、画像処理装置に備えた画像処理部によるDMAバスのバス帯域の圧迫を起因とした、画像処理装置に備えたそれぞれの構成要素による画像処理の処理能力(速度)の低下を回避することができる。
また、本発明の実施形態では、複数の画像処理装置によって撮像装置を構成した場合に、パイプライン処理における一連の画像処理を、複数のそれぞれの画像処理装置に備えた画像処理部で分担して施す、パイプラインを構成する。これにより、本発明の実施形態では、撮像装置における全体の処理として多くの画像処理を施す場合でも、いずれかの画像処理装置に備えた画像処理部によるDMAバスのバス帯域の圧迫を起因とした、画像処理装置に備えたそれぞれの構成要素による画像処理の処理能力(速度)の低下を回避することができる。
なお、本発明の実施形態では、画像処理装置を2つまたは3つ備えている撮像装置について説明した。しかし、撮像装置に備える画像処理装置の数は、上述した2つまたは3つに限定されるものではない。つまり、さらに多くの画像処理装置を備えた撮像装置を構成してもよい。この場合、いずれか1つの画像処理装置10が、本発明の実施形態で示した画像処理装置10aと同様に、撮像装置1に備えたそれぞれの画像処理装置10に備えた画像処理部150におけるパイプラインの構成を決定する。そして、パイプラインの構成を決定した画像処理装置10が、通信インターフェース部192を経由して、決定したパイプラインの構成の情報を他の画像処理装置10に出力(伝送)し、他の画像処理装置10のそれぞれは、パイプラインの構成を決定した画像処理装置10から出力されてきたパイプラインの構成の情報に従って、画像処理部150におけるパイプラインを構成する。
なお、本発明の実施形態では、画像処理装置においてパイプラインを構成する場合について説明した。しかし、パイプライン構成によって一連の処理を施す処理装置は、画像処理装置の他にも種々の処理装置が考えられる。また、パイプライン構成による一連の処理の分担が求められるシステムも撮像装置の他にも種々のシステムが考えられる。従って、本発明の考え方を適用することができる処理装置やシステムは、本発明の実施形態で示した画像処理装置や撮像装置に限定されるものではなく、複数の処理モジュールを直列に接続することによって構成したパイプラインによるパイプライン処理を施す処理装置を搭載したシステムであれば、本発明の考え方を同様に適用することができ、本発明と同様の効果を得ることができる。
以上、本発明の好ましい実施形態を説明したが、本発明はこれら実施形態およびその変形例に限定されることはない。本発明の趣旨を逸脱しない範囲で、構成の付加、省略、置換、およびその他の変更をすることができる。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
また、本発明は前述した説明によって限定されることはなく、添付のクレームの範囲によってのみ限定される。
上記実施形態によれば、画像処理装置に備えているそれぞれの処理ブロックが、共有しているDRAMにアクセスするために必要なバス帯域を確保することができる。
1,2,3,4,5,51,52 撮像装置
10,10a,10b,10c 画像処理装置
110,110a,110b DMAバス(データバス)
120,120a,120b イメージャインターフェース部
130,130a,130b 撮像処理部(処理部)
140,140a,140b CPU
150,150a,150b 画像処理部(処理部,画像処理部)
151,151a,151b 接続切り替え部
152,152a,152b 入力DMAモジュール(処理部,画像処理部)
153-1,153-1a,153-1b,153-2,153-2a,153-2b,153-3,153-3a,153-3b 画像処理モジュール(処理モジュール)
154,154a,154b 入出力用モジュール
155,155a,155b 出力DMAモジュール(処理部,画像処理部)
161,161a,161b 外部入力インターフェース部(処理部,画像処理部,入出力用モジュール)
162,162a,162b 外部出力インターフェース部(処理部,画像処理部,入出力用モジュール)
170,170a,170b 動作検出部
180,180a,180b 入出力位置決定部
191,191a,191b 通信インターフェース部(情報入力部)
192,192a,192b 通信インターフェース部(情報出力部)
200,200a,200b デジタルシグナルプロセッサ(処理部)
210,210a,210b 表示処理部(処理部)
220,220a,220b ビデオインターフェース部
230,230a,230b メモリカードインターフェース部(処理部)
240,240a,240b 高速シリアルインターフェース部(処理部)
70,70a,70b DRAM(データ記憶部)
80,81,82,83 外部画像処理装置
10,10a,10b,10c 画像処理装置
110,110a,110b DMAバス(データバス)
120,120a,120b イメージャインターフェース部
130,130a,130b 撮像処理部(処理部)
140,140a,140b CPU
150,150a,150b 画像処理部(処理部,画像処理部)
151,151a,151b 接続切り替え部
152,152a,152b 入力DMAモジュール(処理部,画像処理部)
153-1,153-1a,153-1b,153-2,153-2a,153-2b,153-3,153-3a,153-3b 画像処理モジュール(処理モジュール)
154,154a,154b 入出力用モジュール
155,155a,155b 出力DMAモジュール(処理部,画像処理部)
161,161a,161b 外部入力インターフェース部(処理部,画像処理部,入出力用モジュール)
162,162a,162b 外部出力インターフェース部(処理部,画像処理部,入出力用モジュール)
170,170a,170b 動作検出部
180,180a,180b 入出力位置決定部
191,191a,191b 通信インターフェース部(情報入力部)
192,192a,192b 通信インターフェース部(情報出力部)
200,200a,200b デジタルシグナルプロセッサ(処理部)
210,210a,210b 表示処理部(処理部)
220,220a,220b ビデオインターフェース部
230,230a,230b メモリカードインターフェース部(処理部)
240,240a,240b 高速シリアルインターフェース部(処理部)
70,70a,70b DRAM(データ記憶部)
80,81,82,83 外部画像処理装置
Claims (8)
- 共通のデータバスに接続され、前記データバスに接続されたデータ記憶部から前記データバスを経由して読み出したデータに対して予め定めた処理を施す複数の処理部を具備した画像処理装置であって、
少なくとも1つの前記処理部は、入力されたデータに対して予め定めた処理を施す複数の処理モジュールと、前記データバスを経由せずに外部との間で直接データを入出力する前記処理モジュールとして動作する入出力用モジュールと、入力された設定に従って前記処理モジュール同士の接続を切り替えてパイプラインの構成を変更する接続切り替え部とを備え、前記パイプラインを構成したそれぞれの前記処理モジュールによってパイプライン処理を施す画像処理部であり、
それぞれの前記処理部の動作を検出する動作検出部と、
前記動作検出部が検出したそれぞれの前記処理部の動作の情報に基づいて、前記画像処理部における前記パイプラインの構成を決定する入出力位置決定部と、
前記入出力位置決定部が決定した前記パイプラインの構成の情報を外部に出力する情報出力部と、
前記パイプラインの構成の情報を外部から受け取る情報入力部と、
を備え、
前記接続切り替え部は、
前記入出力位置決定部が決定した、または前記情報入力部が受け取った、前記パイプラインの構成の情報に従って、前記パイプラインを構成する前記処理モジュール同士の接続を切り替える、
画像処理装置。 - 前記動作検出部は、
それぞれの前記処理部による前記データバスを経由した前記データ記憶部へのアクセスを伴う動作を、それぞれの前記処理部の動作として検出し、
前記入出力位置決定部は、
それぞれの前記処理部が前記データバスを経由して前記データ記憶部にアクセスする際に要する前記データバスの帯域の合計を、前記データバスに接続された前記データ記憶部における最大の帯域以内にするために、前記画像処理部において施すパイプライン処理を分けるための前記パイプラインの構成を決定する、
請求項1に記載の画像処理装置。 - 前記入出力位置決定部は、
前記画像処理部において施すパイプライン処理を分けるために、前記画像処理部において構成される前記パイプライン内に組み込む前記入出力用モジュールの位置を決定する、
請求項2に記載の画像処理装置。 - 請求項2に記載の画像処理装置を複数備え、
それぞれの前記画像処理装置は、
前段の前記画像処理装置に備えた前記入出力用モジュールの出力と後段の前記画像処理装置に備えた前記入出力用モジュールの入力とを接続して数珠つなぎに接続され、
それぞれの前記画像処理装置に備えた前記画像処理部内の前記接続切り替え部は、
いずれか1つの前記画像処理装置に備えた前記入出力位置決定部が決定した前記パイプラインの構成の情報に従って、前記画像処理部において構成する前記パイプラインにおける前記処理モジュール同士の接続を切り替える、
撮像装置。 - 前記いずれか1つの前記画像処理装置に備えた前記入出力位置決定部は、
対応する前記動作検出部が検出したそれぞれの前記処理部の動作の情報に基づいて、それぞれの前記画像処理部でパイプライン処理を分担するために、それぞれの前記画像処理部において構成される前記パイプライン内に組み込む前記入出力用モジュールの位置を含む前記パイプラインの構成を決定し、
前記いずれか1つの前記画像処理装置に備えた前記情報出力部は、
前記入出力位置決定部が決定した前記パイプラインの構成の情報を、他の前記画像処理装置に備えた前記情報入力部に出力し、
それぞれの前記画像処理装置に備えた前記画像処理部内の前記接続切り替え部は、
前記入出力位置決定部が決定した、または対応する前記情報入力部が受け取った前記パイプラインの構成の情報に含まれる前記入出力用モジュールの位置に、前記入出力用モジュールを組み込んで、前記画像処理部において構成する前記パイプラインにおける前記処理モジュール同士の接続を切り替える、
請求項4に記載の撮像装置。 - 前記いずれか1つの前記画像処理装置に備えた前記入出力位置決定部は、
それぞれの前記画像処理装置において処理を施すそれぞれの前記処理部が対応する前記データバスを経由して前記データ記憶部にアクセスする際に要する前記データバスの帯域の合計を、対応する前記データバスに接続された前記データ記憶部における最大の帯域以内にするために、それぞれの前記画像処理部において構成される前記パイプライン内に組み込む前記入出力用モジュールの位置を決定する、
請求項5に記載の撮像装置。 - 前記数珠つなぎに接続された最終段の前記画像処理装置に備えた前記入出力用モジュールの出力と初段の前記画像処理装置に備えた前記入出力用モジュールの入力とを接続して、全ての前記画像処理装置を円環状に接続し、
それぞれの前記画像処理装置が処理した後のデータを、いずれか1つの前記画像処理装置の前記データバスに接続された前記データ記憶部に集める、
請求項6に記載の撮像装置。 - 請求項2に記載の画像処理装置を複数備え、
それぞれの前記画像処理装置は、
前段の前記画像処理装置に備えた前記入出力用モジュールの出力と後段の前記画像処理装置に備えた前記入出力用モジュールの入力とが、他の画像処理を施す外部画像処理装置を経由して接続され、
それぞれの前記画像処理装置に備えた前記画像処理部内の前記接続切り替え部は、
いずれか1つの前記画像処理装置に備えた前記入出力位置決定部が決定した前記パイプラインの構成の情報に従って、前記画像処理部において構成する前記パイプラインにおける前記処理モジュール同士の接続を切り替える、
撮像装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201880035737.3A CN110678897B (zh) | 2017-07-24 | 2018-07-09 | 图像处理装置及摄像装置 |
US16/733,404 US11468539B2 (en) | 2017-07-24 | 2020-01-03 | Image processing device and imaging device |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/026672 WO2019021344A1 (ja) | 2017-07-24 | 2017-07-24 | 画像処理装置および撮像装置 |
JPPCT/JP2017/026672 | 2017-07-24 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/733,404 Continuation US11468539B2 (en) | 2017-07-24 | 2020-01-03 | Image processing device and imaging device |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2019021793A1 true WO2019021793A1 (ja) | 2019-01-31 |
Family
ID=65040035
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/026672 WO2019021344A1 (ja) | 2017-07-24 | 2017-07-24 | 画像処理装置および撮像装置 |
PCT/JP2018/025840 WO2019021793A1 (ja) | 2017-07-24 | 2018-07-09 | 画像処理装置および撮像装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2017/026672 WO2019021344A1 (ja) | 2017-07-24 | 2017-07-24 | 画像処理装置および撮像装置 |
Country Status (3)
Country | Link |
---|---|
US (2) | US20200005425A1 (ja) |
CN (2) | CN110366740B (ja) |
WO (2) | WO2019021344A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022209264A1 (ja) * | 2021-03-30 | 2022-10-06 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019021344A1 (ja) * | 2017-07-24 | 2019-01-31 | オリンパス株式会社 | 画像処理装置および撮像装置 |
JP7157330B2 (ja) * | 2018-11-27 | 2022-10-20 | 富士通株式会社 | 監視装置、監視方法および監視プログラム |
CN113568666B (zh) * | 2021-06-07 | 2024-05-24 | 阿里巴巴创新公司 | 图像的处理方法、装置、存储介质和处理器 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008310649A (ja) * | 2007-06-15 | 2008-12-25 | Denso Corp | パイプライン演算装置 |
JP2009087202A (ja) * | 2007-10-02 | 2009-04-23 | Hitachi High-Technologies Corp | 画像処理部及び半導体検査装置 |
JP2010049500A (ja) * | 2008-08-21 | 2010-03-04 | Toshiba Corp | パイプライン演算プロセッサ、及びパイプライン演算プロセッサを備える制御システム |
JP2013196509A (ja) * | 2012-03-21 | 2013-09-30 | Canon Inc | 情報処理装置及びその制御方法 |
JP2014182510A (ja) * | 2013-03-18 | 2014-09-29 | Pfu Ltd | データ処理装置及びクロック供給方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030007703A1 (en) * | 2001-07-03 | 2003-01-09 | Roylance Eugene A. | Configurable image processing logic for use in image processing devices |
JP2005322049A (ja) * | 2004-05-10 | 2005-11-17 | Fuji Xerox Co Ltd | 画像処理装置およびプログラム |
US20050248584A1 (en) * | 2004-05-10 | 2005-11-10 | Koji Takeo | Imaging system and image processing apparatus |
JP4694264B2 (ja) * | 2005-06-03 | 2011-06-08 | 富士ゼロックス株式会社 | 画像処理装置、方法及びプログラム |
JP4904914B2 (ja) * | 2006-05-17 | 2012-03-28 | ソニー株式会社 | ストリーム生成装置、撮像装置、およびストリーム生成方法 |
JP2008301090A (ja) | 2007-05-30 | 2008-12-11 | Ricoh Co Ltd | 画像処理装置 |
JP4909839B2 (ja) * | 2007-08-20 | 2012-04-04 | 株式会社リコー | 画像処理装置及び画像処理方法 |
JP2010073037A (ja) * | 2008-09-19 | 2010-04-02 | Kyocera Mita Corp | 画像処理装置 |
JP5245803B2 (ja) * | 2008-12-18 | 2013-07-24 | 株式会社リコー | 画像処理装置及び画像処理モジュール |
JP5552855B2 (ja) * | 2010-03-19 | 2014-07-16 | 富士ゼロックス株式会社 | 画像処理装置、画像形成システム及び画像処理プログラム |
US8650151B2 (en) * | 2011-01-24 | 2014-02-11 | International Business Machines Corporation | Transactional service pipeline |
US9165518B2 (en) * | 2011-08-08 | 2015-10-20 | Samsung Display Co., Ltd. | Display device and driving method thereof |
US9332239B2 (en) * | 2012-05-31 | 2016-05-03 | Apple Inc. | Systems and methods for RGB image processing |
US8879858B1 (en) * | 2013-10-01 | 2014-11-04 | Gopro, Inc. | Multi-channel bit packing engine |
JP6580380B2 (ja) * | 2015-06-12 | 2019-09-25 | オリンパス株式会社 | 画像処理装置および画像処理方法 |
JPWO2017149591A1 (ja) * | 2016-02-29 | 2018-12-20 | オリンパス株式会社 | 画像処理装置 |
WO2017179099A1 (ja) * | 2016-04-11 | 2017-10-19 | オリンパス株式会社 | 画像処理装置 |
WO2019021344A1 (ja) * | 2017-07-24 | 2019-01-31 | オリンパス株式会社 | 画像処理装置および撮像装置 |
US10509762B2 (en) * | 2018-04-30 | 2019-12-17 | Intel IP Corporation | Data rate-adaptive data transfer between modems and host platforms |
-
2017
- 2017-07-24 WO PCT/JP2017/026672 patent/WO2019021344A1/ja active Application Filing
- 2017-07-24 CN CN201780087647.4A patent/CN110366740B/zh active Active
-
2018
- 2018-07-09 CN CN201880035737.3A patent/CN110678897B/zh active Active
- 2018-07-09 WO PCT/JP2018/025840 patent/WO2019021793A1/ja active Application Filing
-
2019
- 2019-09-12 US US16/568,578 patent/US20200005425A1/en not_active Abandoned
-
2020
- 2020-01-03 US US16/733,404 patent/US11468539B2/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008310649A (ja) * | 2007-06-15 | 2008-12-25 | Denso Corp | パイプライン演算装置 |
JP2009087202A (ja) * | 2007-10-02 | 2009-04-23 | Hitachi High-Technologies Corp | 画像処理部及び半導体検査装置 |
JP2010049500A (ja) * | 2008-08-21 | 2010-03-04 | Toshiba Corp | パイプライン演算プロセッサ、及びパイプライン演算プロセッサを備える制御システム |
JP2013196509A (ja) * | 2012-03-21 | 2013-09-30 | Canon Inc | 情報処理装置及びその制御方法 |
JP2014182510A (ja) * | 2013-03-18 | 2014-09-29 | Pfu Ltd | データ処理装置及びクロック供給方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022209264A1 (ja) * | 2021-03-30 | 2022-10-06 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
JP2022154539A (ja) * | 2021-03-30 | 2022-10-13 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
JP7374505B2 (ja) | 2021-03-30 | 2023-11-07 | 株式会社モルフォ | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Also Published As
Publication number | Publication date |
---|---|
US20200143508A1 (en) | 2020-05-07 |
CN110366740B (zh) | 2023-07-07 |
US11468539B2 (en) | 2022-10-11 |
US20200005425A1 (en) | 2020-01-02 |
CN110678897A (zh) | 2020-01-10 |
CN110678897B (zh) | 2022-09-27 |
WO2019021344A1 (ja) | 2019-01-31 |
CN110366740A (zh) | 2019-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11468539B2 (en) | Image processing device and imaging device | |
KR100957261B1 (ko) | 화상 촬영 장치 및 색수차 보정 방법 | |
KR20170046498A (ko) | 이미지 처리 장치의 저조도 화질 개선 방법 및 상기 방법을 수행하는 이미지 처리 시스템의 동작 방법 | |
KR102204596B1 (ko) | 프로세서, 이를 포함하는 이미지 프로세싱 장치 및 이미지 프로세싱 방법 | |
US20120050309A1 (en) | Display control apparatus and display control method | |
JP4991907B2 (ja) | 画像処理装置、および、画像処理装置の制御方法 | |
JP5976315B2 (ja) | 撮像装置 | |
JP4189252B2 (ja) | 画像処理装置及びカメラ | |
US9007479B2 (en) | Imaging apparatus and evaluation value generation apparatus | |
JP2015231052A (ja) | 撮像装置および方法、並びにプログラム | |
JP2016040883A (ja) | 画像処理装置、画像処理方法、画像処理システム、及びプログラム | |
US20220224852A1 (en) | Image sensor, camera module, and optical device comprising camera module | |
KR20220038638A (ko) | 이미지 센서, 카메라 모듈 및 카메라 모듈을 포함하는 광학 기기 | |
JP2004266768A (ja) | 画像処理システム及びデジタルカメラ | |
JP2011059911A (ja) | 画像処理装置 | |
JP2004312072A (ja) | 画像処理装置及びカメラ、並びに画像処理方法 | |
JP4219939B2 (ja) | 画像入力装置における信号処理回路 | |
US20240259680A1 (en) | Electronic device acquiring image through image sensor, and operating method thereof | |
JP3810685B2 (ja) | 解像度変換装置およびデジタル・カメラ | |
US20150215544A1 (en) | Image processing apparatus, image capturing apparatus, control method and recording medium | |
JP4015682B2 (ja) | 画像入力装置における信号処理回路 | |
WO2020008522A1 (ja) | バス調停装置、バス調停システム、および撮像装置 | |
JP6395398B2 (ja) | 画像処理装置および画像処理方法 | |
JP2013183383A (ja) | 撮像装置、撮像方法、及びプログラム | |
JP2020036199A (ja) | 撮像装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 18837790 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 18837790 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: JP |