WO2017203656A1 - 演算装置、画像処理装置および画像処理方法 - Google Patents

演算装置、画像処理装置および画像処理方法 Download PDF

Info

Publication number
WO2017203656A1
WO2017203656A1 PCT/JP2016/065589 JP2016065589W WO2017203656A1 WO 2017203656 A1 WO2017203656 A1 WO 2017203656A1 JP 2016065589 W JP2016065589 W JP 2016065589W WO 2017203656 A1 WO2017203656 A1 WO 2017203656A1
Authority
WO
WIPO (PCT)
Prior art keywords
pipeline
clock
output
control signal
input
Prior art date
Application number
PCT/JP2016/065589
Other languages
English (en)
French (fr)
Inventor
友紀 米本
上野　晃
Original Assignee
オリンパス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オリンパス株式会社 filed Critical オリンパス株式会社
Priority to PCT/JP2016/065589 priority Critical patent/WO2017203656A1/ja
Priority to JP2018519514A priority patent/JPWO2017204128A1/ja
Priority to PCT/JP2017/018923 priority patent/WO2017204128A1/ja
Publication of WO2017203656A1 publication Critical patent/WO2017203656A1/ja
Priority to US16/197,744 priority patent/US20190094904A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/06—Clock generators producing several clock signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/04—Generating or distributing clock signals or signals derived directly therefrom
    • G06F1/10—Distribution of clock signals, e.g. skew

Definitions

  • the present invention relates to an arithmetic device, an image processing device, and an image processing method.
  • a pipeline register is inserted to adjust the timing of the arithmetic circuit. Since this pipeline register is inserted in accordance with the maximum operating frequency, in a mode operating at a low frequency, there are places where the pipeline register becomes unnecessary, and wasteful power consumption occurs.
  • the present invention has been made in consideration of the above circumstances, and is capable of performing a pipeline operation with an appropriate number of pipeline stages according to a clock frequency and suppressing power consumption due to unnecessary pipeline registers, etc., and an image
  • An object is to provide a processing device and an image processing method.
  • the arithmetic device includes a plurality of arithmetic circuits, a plurality of pipeline registers, and a plurality of data selection units, each of which is pipeline-connected, performs arithmetic on input data, A pipeline arithmetic processing unit for outputting a result, and clock outputs of at least two systems, the clock outputs of one or a plurality of the systems selected by associating each system with one of the pipeline registers A clock supply unit that supplies the pipeline register of the corresponding system, and the clock supply unit switches the state of the clock output for each system based on the input control signal, The plurality of data selection units select either the output of the pipeline register or the output of the arithmetic circuit according to the control signal. To output Te.
  • the arithmetic device is the arithmetic device according to the first aspect, wherein the control for controlling the clock output of the clock supply unit and the plurality of data selection units based on the input parameters.
  • a control signal output unit that generates and outputs a signal is further provided, and the clock supply unit stops the clock supply of any one of the systems according to the control signal.
  • the parameter includes first information corresponding to a processing amount per unit time of the arithmetic operation on the input data, and the control The signal output unit generates and outputs the control signal based on at least the first information.
  • An image processing apparatus includes a scene recognition unit that recognizes a scene of input image data and outputs the recognized result as scene information, and a plurality of arithmetic circuits each connected in a pipeline.
  • a pipeline operation processing unit that includes a plurality of pipeline registers and a plurality of data selection units, performs an operation on the image data, and outputs an operation result; and at least two clock outputs,
  • a clock supply unit that supplies a clock output of one or more selected systems to the corresponding pipeline register in association with one of the pipeline registers, and based on the scene information And generating and outputting a control signal for controlling the clock output of the clock supply unit and the plurality of data selection units And the clock supply unit switches the state of the clock output for each of the systems based on the control signal, and the plurality of data selection units are connected to the pipeline register according to the control signal. Or the output of the arithmetic circuit is selected and output.
  • the clock supply unit stops the clock supply of any of the systems in accordance with the control signal.
  • An image processing method includes a scene recognition unit that recognizes a scene of input image data and outputs the recognized result as scene information, and a plurality of arithmetic circuits each connected in a pipeline.
  • a pipeline operation processing unit that includes a plurality of pipeline registers and a plurality of data selection units, performs an operation on the image data, and outputs an operation result; and at least two clock outputs,
  • a clock supply unit that supplies a clock output of one or more selected systems to the corresponding pipeline register in association with one of the pipeline registers, and based on the scene information And generating and outputting a control signal for controlling the clock output of the clock supply unit and the plurality of data selection units
  • the clock supply unit switches the state of the clock output for each of the systems based on the control signal, and the plurality of data selection units are connected to the pipeline register according to the control signal. Or the output of the arithmetic circuit is selected and output.
  • FIG. 1 is a configuration diagram according to a first embodiment of the present invention. It is a block diagram of the pipeline arithmetic processing part 11 shown in FIG. It is a figure for demonstrating the operation example of the pipeline arithmetic processing part 11 shown in FIG. 4 is a timing chart for explaining an operation example of the pipeline arithmetic processing unit 11 shown in FIG. 3. It is a figure for demonstrating the operation example of the pipeline arithmetic processing part 11 shown in FIG. 6 is a timing chart for explaining an operation example of the pipeline arithmetic processing unit 11 shown in FIG. 5. It is a block diagram which concerns on the 2nd Embodiment of this invention. It is a block diagram of the pipeline arithmetic processing part 11a shown in FIG.
  • FIG. 16 is a diagram for describing an operation example of the image processing apparatus 100b illustrated in FIG. 15. It is a block diagram which concerns on the 5th Embodiment of this invention. It is a block diagram which concerns on the 6th Embodiment of this invention.
  • FIG. 1 is a diagram illustrating a configuration example of an image processing unit 1 (arithmetic apparatus) and an image processing apparatus 100 according to the first embodiment of the present invention.
  • An image processing apparatus 100 illustrated in FIG. 1 includes an image processing unit 1, a CPU (central processing unit) 2, a clock generation unit 3, an external memory 4, and a bus 5.
  • the CPU 2 controls each unit in the image processing apparatus 100.
  • the CPU 2 supplies, for example, a control signal used by the image processing unit 1 in various arithmetic processes and signals indicating parameters to the image processing unit 1 as a CPU input signal, or the clock generation unit 3 generates a control signal.
  • the clock generation unit 3 generates and outputs a predetermined clock signal, and generates and outputs a control signal under the control of the CPU 2.
  • the external memory 4 is a volatile or non-volatile storage device. Under the control of the CPU 2, the data input via the bus 5 is written to the storage area and stored, or the data stored in the storage area is stored. Read out and output via the bus 5.
  • the external memory 4 stores, for example, image data captured by an imaging unit of a camera (not shown) or results obtained by the image processing unit 1 performing predetermined arithmetic processing on the image data captured by the imaging unit. Or the stored image data is output to a display unit (not shown).
  • the bus 5 includes a plurality of address lines, a plurality of data lines, and the like, and is used for transferring data input / output between the image processing unit 1 and the external memory 4, for example.
  • data input to and output from the image processing unit 1 is image data.
  • the image processing unit 1 includes an ASIC (Application Specific Integrated Circuit) and the like, and includes a pipeline arithmetic processing unit 11, a clock supply unit 12, and a CPU I / F (interface) 13.
  • ASIC Application Specific Integrated Circuit
  • the image processing unit 1 includes a pipeline arithmetic processing unit 11, a clock supply unit 12, and a CPU I / F (interface) 13.
  • the pipeline arithmetic processing unit 11 inputs a CPU input signal from the CPU 2 via the CPU I / F 13.
  • the pipeline arithmetic processing unit 11 also receives a clock A and a clock B that are two clock outputs from the clock supply unit 12 and a control signal from the clock generation unit 3.
  • a plurality of clock outputs may be referred to as a clock output A, a clock output B, or the like.
  • the pipeline arithmetic processing unit 11 inputs input data to be processed from the external memory 4 via the bus 5.
  • the pipeline arithmetic processing unit 11 performs predetermined arithmetic processing on input data to be processed input from the external memory 4 via the bus 5, outputs a calculation result as output data, and outputs the output data to the external memory 4. To remember.
  • FIG. 2 shows a configuration example of the pipeline arithmetic processing unit 11 shown in FIG. 2 includes a pipeline register (1) 61, a pipeline register (2) 62, a pipeline register (3) 63, a pipeline register (4) 64, and a pipeline register (5 ) 65.
  • the pipeline arithmetic processing unit 11 also includes an arithmetic circuit (1) 71, an arithmetic circuit (2) 72, an arithmetic circuit (3) 73, and an arithmetic circuit (4) 74.
  • the pipeline arithmetic processing unit 11 also includes a selector 81 and a selector 82.
  • the pipeline register (1) 61 to the pipeline register (5) 65 are configured to include flip-flops (D latches) for a plurality of bits.
  • the pipeline register (1) 61 to the pipeline register (5) 65 are synchronized with the rising edge of the clock signal input to the clock input terminal. Then, the data input to the input terminal is taken in, held and output, and the output is held until the next rise of the clock signal.
  • the arithmetic circuit (1) 71 to the arithmetic circuit (4) 74 perform a predetermined operation on the input data and output the operation result.
  • the arithmetic circuit (1) 71 to the arithmetic circuit (4) 74 use, for example, parameters supplied from the CPU 2, predetermined parameters, parameters stored in a register (not shown), past calculation results, and the like. Then, arithmetic processing such as addition / subtraction processing and remainder calculation processing is performed on the input data.
  • the selectors 81 and 82 include an input terminal 0, an input terminal 1, and an input terminal for a control signal.
  • data input to the input terminal 0 is output from the output terminal.
  • the data input to the input terminal 1 is output from the output terminal.
  • input data is input to the pipeline register (1) 61 via the bus 5.
  • the output of the pipeline register (1) 61 is input to the arithmetic circuit (1) 71.
  • the output of the arithmetic circuit (1) 71 is input to the input terminal of the pipeline register (2) 62 and the input terminal 0 of the selector 81.
  • the output of the pipeline register (2) 62 is input to the input terminal 1 of the selector 81.
  • the output of the selector 81 is input to the input terminal of the arithmetic circuit (2) 72.
  • the output of the arithmetic circuit (2) 72 is input to the input terminal of the pipeline register (3) 63.
  • the output of the arithmetic circuit (3) 73 is input to the input terminal of the pipeline register (4) 64 and the input terminal 0 of the selector 82.
  • the output of the pipeline register (4) 64 is input to the input terminal 1 of the selector 82.
  • the output of the selector 82 is input to the input terminal of the arithmetic circuit (4) 74.
  • the output of the arithmetic circuit (4) 74 is input to the input terminal of the pipeline register (5) 65.
  • the output of the pipeline register (5) 65 is input to the external memory 4 or the like via the bus 5.
  • the clock A output from the clock supply unit 12 is supplied to the clock input terminals of the odd-numbered pipeline register (1) 61, pipeline register (3) 63, and pipeline register (5) 65.
  • the clock B output from the clock supply unit 12 is supplied to the clock input terminals of the even-numbered pipeline register (2) 62 and the pipeline register (4) 64.
  • the pipeline arithmetic processing unit 11 shown in FIG. 2 includes a plurality of arithmetic circuits (1) 71 to (4) 74 and a plurality of pipeline registers (1) 61 to (5) each connected in a pipeline. 65 and a plurality of selectors 81 and 82. Then, the pipeline arithmetic processing unit 11 performs an operation on the input data by a pipeline method, and outputs an operation result.
  • the two clocks A and B output from the clock supply unit 12 are selectively supplied to any one of the pipeline registers (1) 61 to (5) 65 associated with each system.
  • the clock A is supplied to the odd-numbered pipeline registers (1) 61, (3) 63, and (5) 65 in the connection order from the input.
  • the clock B is supplied to the even-numbered pipeline registers (2) 62 and (4) 64.
  • clock A and the clock B are connected to the odd-numbered stages of the pipeline register with the clock A and the clock B to the even-numbered stages.
  • the present invention is not limited to this. May be.
  • the pipeline arithmetic processing unit 11 operates in one of two types of operation modes: a high-speed mode in which each of the pipeline registers (1) 61 to (5) 65 is operated at high speed and a low-speed mode in which each pipeline register (1) 61 to (5) 65 is operated at low speed.
  • the high-speed mode corresponds to, for example, a moving image shooting mode in which image data captured by the imaging unit of the camera and stored in the external memory 4 is processed and stored in the external memory 4.
  • the image data captured by the imaging unit of the camera and stored in the external memory 4 is subjected to image processing, stored in the external memory 4, and displayed on a display unit (not shown) in real time.
  • the moving image shooting mode has a higher frame rate and resolution of each frame than the live view shooting mode.
  • the operation mode is one piece of information corresponding to the processing amount per unit time of the calculation by the pipeline arithmetic processing unit 11 for the input data.
  • the clock generation unit 3 (control signal output unit) shown in FIG. 1 generates and outputs a control signal using information representing an operation mode supplied from the CPU 2 or the like as a parameter.
  • the control signal is a signal for controlling the clock output of the clock supply unit 12 and the plurality of selectors 81 and 82 (data selection unit).
  • ⁇ Movie shooting mode (high-speed mode)>
  • the frequency of the clock A and the clock B is 500 MHz
  • the pipeline registers (1) 61, (3) 63, and (5) 65 of the pipeline arithmetic processing unit 11 are directed to.
  • Clock A is supplied (clock A is "ON")
  • clock B is supplied to even-numbered pipeline registers (2) 62 and (4) 64 (clock B is "ON”).
  • Clock A and clock B are synchronized signals having the same period.
  • the output stage of the clock signal of the clock supply unit 12 and the wiring from the output stage to the pipeline registers (1) 61 to (5) 65 are different for each system.
  • the control signal is “1”.
  • each pipeline register (1) 61 to (5) 65 changes input / output data as shown in FIG.
  • FIG. 4 shows time changes of the control signal, clock A, clock B, input data, and outputs of the pipeline registers (1) 61 to (5) 65.
  • Data D1a to D5a are data obtained by delaying input data D1 to D5 by one clock.
  • Data D1b to D5b are the results of arithmetic processing of the data D1a to D5a by the arithmetic circuit (1) 71.
  • Data D1c to D5c are the results of the arithmetic processing of the data D1b to D5b by the arithmetic circuit (2) 72.
  • Data D1d to D5d are the results of arithmetic processing of the data D1c to D5c by the arithmetic circuit (3) 73.
  • the data D1e to D5e are the results of arithmetic processing of the data D1d to D5d by the arithmetic circuit (4) 74.
  • a clock A having a frequency of 250 MHz is supplied to the odd-numbered pipeline registers (1) 61, (3) 63 and (5) 65 of the pipeline arithmetic processing unit 11 (clock The clock B is not supplied to the even-numbered pipeline registers (2) 62 and (4) 64 (clock B is “OFF”).
  • the control signal is “0”.
  • the selectors 81 and 82 output the arithmetic circuit (1) 71 input to the input terminal 0 and the arithmetic circuit (3) 73 as shown in FIG. Since the output is output from each output terminal, the data flow is indicated by a thick arrow, as shown by the thick line arrows: pipeline register (1) 61, arithmetic circuit (1) 71, arithmetic circuit (2) 72, pipeline register (3 ) 63, arithmetic circuit (3) 73, arithmetic circuit (4) 74, and pipeline register (5) 65.
  • the pipeline supply (2) 62 and (4) 64 which do not require any operation shown by shading is stopped from the root of the clock B as shown by the broken arrow, Power consumption by the tree can be reduced.
  • Each pipeline register (1) 61 to (5) 65 changes input / output data as shown in FIG. FIG. 6 shows changes over time of the control signal, clock A, clock B, input data, and outputs of the pipeline registers (1) 61 to (5) 65.
  • Data D1a to D4a is data obtained by delaying input data D1 to D4 by one clock.
  • the data D1a to D4a are sequentially processed by the arithmetic circuit (1) 71 and the arithmetic circuit (2) 72, and the results are the data D1c to D4c (however, the data D4c is not shown).
  • Data D1e to D3e are obtained by sequentially calculating the data D1c to D3c by the arithmetic circuit (3) 73 and the arithmetic circuit (4) 74 (however, the data D3e is not shown).
  • the clock supply unit 12 shown in FIG. 1 has two clock outputs A and B, and each system is selected in association with any one of the pipeline registers (1) 61 to (5) 65.
  • the clock output A or clock outputs A and B of one or a plurality of systems are connected to the pipeline registers (1) 61, (3) 63 and (5) 65 or pipeline registers (2) 62 and (4) of the corresponding system. ) 64.
  • the clock supply unit 12 switches the clock output state for each system based on the control signal input from the clock generation unit 3.
  • switching of the state of the clock output includes changing the output of the clock signal to ON or OFF, and changing the clock frequency.
  • the clock supply unit 12 turns off the clock output, that is, when the supply of the clock output is stopped, for example, the power to charge / discharge the capacity of the clock input stage of the pipeline register of the stopped system and the wiring of the clock signal is reduced. can do.
  • the pipeline operation can be performed with an appropriate number of pipeline stages according to the clock frequency supplied to the pipeline arithmetic processing unit 11, and consumption by an unnecessary pipeline register or the like is possible. Electric power can be easily suppressed.
  • FIG. 7 is a diagram illustrating a configuration example of the image processing unit 1a (arithmetic apparatus) and the image processing apparatus 100a according to the second embodiment of the present invention.
  • the same or corresponding components as those shown in FIG. 1 are denoted by the same numerical symbols or the same numerals with alphabetic characters, and the description thereof is omitted as appropriate.
  • the image processing apparatus 100a shown in FIG. 7 includes an image processing unit 1a, a CPU 2, a clock generation unit 3a, an external memory 4, and a bus 5.
  • the clock generation unit 3a generates and outputs a predetermined clock signal, and generates and outputs a control signal under the control of the CPU 2 using, for example, information representing an operation mode supplied from the CPU 2 or the like as a parameter.
  • the control signal output by the clock generation unit 3a includes two types of control signals, that is, the control signal (1) and the control signal (2).
  • input / output data is image data.
  • the image processing unit 1a includes a pipeline arithmetic processing unit 11a, a clock supply unit 12a, and a CPU I / F 13.
  • the clock supply unit 12a switches three states of clock signals A, B, and C based on the control signal and the clock input from the clock generation unit 3a and outputs the clock signals.
  • the pipeline arithmetic processing unit 11a is provided with a new selector 83 for the data input / output path as compared with the pipeline arithmetic processing unit 11 of the first embodiment shown in FIG. Is the same except for. That is, in the pipeline arithmetic processing unit 11a, a selector 83 is newly provided between the output of the pipeline register (3) 63 and the input terminal of the arithmetic circuit (3) 73. The output of the arithmetic circuit (2) 72 is connected to the input terminal 0 of the selector 83, and the output of the pipeline register (3) 63 is connected to the input terminal 1 of the selector 83.
  • control signal (1) is input to the control signal input terminals of the selectors 81 and 82
  • control signal (2) is input to the control signal input terminal of the selector 83.
  • the clock A is input to each clock input terminal of the pipeline register (1) 61 and the pipeline register (5) 65.
  • the clock B is input to the clock input terminal of the pipeline register (3) 63.
  • the clock C is input to each clock input terminal of the pipeline register (2) 62 and the pipeline register (4) 64.
  • the pipeline arithmetic processing unit 11a has a high speed mode in which each of the pipeline registers (1) 61 to (5) 65 is operated at a high speed, a medium speed mode in which the pipeline registers (1) 61 to (5) 65 are operated at a medium speed, and a low speed mode in which the pipeline registers (1) 61 to (5) 65 are operated at a low speed. Operates in one of three operating modes.
  • the high-speed mode corresponds to, for example, a moving image shooting mode in which the image capturing unit of the camera captures an image with a resolution of 4K and performs image processing on image data stored in the external memory 4 and stores the image data in the external memory 4.
  • a moving image shooting mode in which the image capturing unit of the camera captures images with a resolution of Full HD (Full High Definition) and performs image processing on image data stored in the external memory 4 and storing the image data in the external memory 4.
  • Full HD Full Definition
  • the low-speed mode for example, live view shooting is performed in which image data captured by the imaging unit of the camera and stored in the external memory 4 is subjected to image processing, stored in the external memory 4, and displayed on the display unit in real time.
  • the moving image shooting mode has a higher frame rate and resolution of each frame than the live view shooting mode.
  • the resolution is different between the two types of video shooting modes. Therefore, in this case, the operation mode including the high speed mode, the medium speed mode, and the low speed mode is one piece of information corresponding to the processing amount per unit time of the calculation by the pipeline arithmetic processing unit 11a for the input data. be able to.
  • the clock generation unit 3a control signal output unit shown in FIG.
  • the control signal is a signal for controlling the clock output of the clock supply unit 12a and the plurality of selectors 81, 82, and 83 (data selection unit).
  • the frequencies of the clock A, the clock B, and the clock C are 500 MHz, and the clocks A to C are all “ON”.
  • Clocks A to C are synchronized signals having the same period.
  • Control signals (1) and (2) are both “1”.
  • the processing size is 3840 pixels ⁇ 2160 pixels.
  • the selectors 81 to 83 output the data input to the input terminal 1 as shown in FIG. Therefore, the flow of data is a flow through all the pipeline registers (1) 61 to (5) 65, as indicated by the bold arrows.
  • ⁇ Movie shooting mode (Full HD) (Medium speed mode)>
  • the frequency of the clock A and the clock B is 350 MHz
  • the clocks A and B are “ON”
  • the clock C is “OFF”.
  • Clocks A and B are synchronized signals having the same period.
  • the control signal (1) is “0” and the control signal (2) is “1”.
  • the processing size is 1920 pixels ⁇ 1080 pixels.
  • the selectors 81 to 83 are input by the selectors 81 and 82 as shown in FIG.
  • the data input to the terminal 0 is output, and the selector 83 outputs the data input to the input terminal 1. Therefore, as indicated by the bold arrows, the data flow is pipeline register (1) 61, arithmetic circuit (1) 71, arithmetic circuit (2) 72, pipeline register (3) 63, arithmetic circuit (3) 73.
  • the arithmetic circuit (4) 74 and the pipeline register (5) 65 are arranged in this order.
  • the pipeline supply (2) 62 and (4) 64 which are unnecessary for operation indicated by shading, is stopped from being supplied from the root of the clock C as indicated by the broken arrow. Power consumption by the tree can be reduced.
  • the frequency of the clock A is 250 MHz
  • the clock A is “ON”
  • the clocks B and C are “OFF”.
  • Control signals (1) and (2) are both “0”.
  • the processing size is 640 pixels ⁇ 480 pixels.
  • the selectors 81 to 83 output the data input to the input terminal 0 as shown in FIG. Therefore, as shown by the bold arrows, the data flow is pipeline register (1) 61, arithmetic circuit (1) 71, arithmetic circuit (2) 72, arithmetic circuit (3) 73, arithmetic circuit (4) 74, And pipeline register (5) 65.
  • the pipeline registers (2) 62, (3) 63, and (4) 64 that do not require any operation shown by shading are supplied with clocks from the roots of the clocks B and C, as indicated by the dashed arrows. Since it is stopped, power consumption by the clock tree can be reduced.
  • three clock systems can be used, and a pipeline operation can be performed with an appropriate number of pipeline stages according to the clock frequency supplied to the pipeline arithmetic processing unit 11a. Power consumption due to unnecessary pipeline registers and the like can be easily suppressed.
  • FIG. 12 shows a configuration example of the pipeline arithmetic processing unit 11b.
  • the pipeline arithmetic processing unit 11b has a configuration obtained by modifying a part of the pipeline arithmetic processing unit 11 according to the first embodiment shown in FIG.
  • the input / output signals (data, clock and control signal) of the pipeline arithmetic processing unit 11b shown in FIG. 12 are the same as the input / output signals of the pipeline arithmetic processing unit 11 shown in FIG.
  • the pipeline arithmetic processing unit 11b shown in FIG. 12 newly has three selectors 801 to 803 and three pipeline registers (11 ) 811 to (13) 813.
  • input data is input to the input terminal of the pipeline register (11) 811.
  • the output of the pipeline register (11) 811 is input to the input terminal 0 of the selector 801, and the output of the pipeline register (1) 61 is input to the input terminal 1 of the selector 801.
  • the output of the selector 801 is input to the input terminal of the arithmetic circuit (1) 71.
  • the output of the arithmetic circuit (1) 71 is input to the input terminal of the pipeline register (2) 62 and also to the input terminal 0 of the selector 81.
  • the output of the pipeline register (2) 62 is input to the input terminal 1 of the selector 81.
  • the output of the selector 81 is input to the input terminal of the arithmetic circuit (2) 72.
  • the output of the arithmetic circuit (2) 72 is input to the input terminal of the pipeline register (12) 812.
  • the output of the pipeline register (12) 812 is input to the input terminal 0 of the selector 802, and the output of the pipeline register (3) 63 is input to the input terminal 1 of the selector 802.
  • the output of the selector 802 is input to the input terminal of the arithmetic circuit (3) 73.
  • the output of the arithmetic circuit (3) 73 is input to the input terminal of the pipeline register (4) 64 and also to the input terminal 0 of the selector 82.
  • the output of the pipeline register (4) 64 is input to the input terminal 1 of the selector 82.
  • the output of the selector 82 is input to the input terminal of the arithmetic circuit (4) 74.
  • the output of the arithmetic circuit (4) 74 is input to the input terminal of the pipeline register (13) 813.
  • the output of the pipeline register (13) 813 is input to the input terminal 0 of the selector 803, and the output of the pipeline register (5) 65 is input to the input terminal 1 of the selector 803.
  • the output of the selector 803 is output data.
  • the control signals output from the clock generator 3 shown in FIG. 1 are input to the input terminals of the control signals of the selectors 801 to 803.
  • the clock A is supplied from the clock supply unit 12 shown in FIG. 1 to each clock input terminal of the pipeline registers (1) 61 to (5) 65.
  • the clock B is supplied from the clock supply unit 12 shown in FIG. 1 to each clock input terminal of the pipeline registers (11) 811 to (13) 813.
  • the pipeline arithmetic processing unit 11b shown in FIG. 12 supplies the clock A in common to the pipeline registers (1) 61 to (5) 65 included in the pipeline arithmetic processing unit 11 shown in FIG.
  • the clock B is supplied to all the pipeline registers (11) 811 to (13) 813 provided in common.
  • the pipeline arithmetic processing unit 11b shown in FIG. 12 operates in one of two types of operation modes, for example, a moving image shooting mode or a live view shooting mode.
  • the pipeline arithmetic processing unit 11b of the third embodiment and the pipeline arithmetic processing unit 11 of the first embodiment are different in the control of turning on or off the clocks A and B.
  • ⁇ Movie shooting mode (high-speed mode)>
  • the frequency of the clock A and the clock B is 500 MHz
  • the clock A is supplied to the pipeline registers (1) 61 to (5) 65 of the pipeline arithmetic processing unit 11b (clock A is “ON”), and supply of the clock B to the pipeline registers (11) 811 to (13) 813 is stopped (clock B is “OFF”).
  • the control signal is “1”.
  • the selectors 81 and 82 and the selectors 801 to 803 output the data input to the input terminal 1 as shown in FIG. Therefore, the data flow is through the pipeline registers (1) 61 to (5) 65, as indicated by the thick arrows. At this time, the supply of the pipeline registers (11) 811 to (13) 813 which do not require any operation shown by shading is stopped from the root of the clock B as indicated by the broken line arrow. Power consumption by the tree can be reduced.
  • ⁇ Live view shooting mode (low speed mode)> As shown in Table 5, a clock B having a frequency of 250 MHz is supplied to the pipeline registers (11) 811 to (13) 813 of the pipeline arithmetic processing unit 11b (clock B is “ON”), The clock A is not supplied to the line registers (1) 61 to (5) 65 (clock A is “OFF”). The control signal is “0”.
  • the selectors 81 and 82 and the selectors 801 to 803 respectively output the data input to the input terminal 0 as shown in FIG. Therefore, as indicated by the bold arrows, the data flow is as follows: pipeline register (11) 811, arithmetic circuit (1) 71, arithmetic circuit (2) 72, pipeline register (12) 812, arithmetic circuit (3) 73.
  • the operation circuit (4) 74 and the pipeline register (13) 813 are arranged in this order.
  • the pipeline registers (1) 61 to (5) 65 that are unnecessary for operation shown by shading are not supplied from the root of the clock A, as shown by the dashed arrows, Power consumption by the tree can be reduced.
  • pipeline operation can be performed with an appropriate number of pipeline stages according to the clock frequency supplied to the pipeline arithmetic processing unit 11b, and consumption by unnecessary pipeline registers and the like. Electric power can be easily suppressed.
  • FIG. 15 is a diagram illustrating a configuration example of an image processing unit 1b (arithmetic apparatus) and an image processing apparatus 100b according to the fourth embodiment of the present invention.
  • the same or corresponding components as those shown in FIG. 1 are denoted by the same numerical symbols or the same numerals with alphabetic characters, and the description thereof is omitted as appropriate.
  • the image processing apparatus 100b shown in FIG. 15 includes an image processing unit 1b, a CPU 2, a clock generation unit 3b, an external memory 4, a bus 5, and a scene recognition unit 9.
  • the scene recognition unit 9 is a configuration newly provided in the fourth embodiment, inputs image data stored in the external memory 4 as input data, generates scene information for each frame or a plurality of frames, Write back to the external memory 4 in association with the image data.
  • the scene information is information for identifying, for example, four types of scenes shown in Table 6.
  • the four types of scenes are a landscape (city), an animal, a landscape (sky), and a still life scene.
  • the scene (city) scene is characterized by high frequency components.
  • the feature of the animal scene is that the subject moves a lot.
  • the scene recognition unit 9 extracts the features of the image data by recognizing the type of the scene by analyzing the motion vector between the frames or analyzing the frequency component.
  • the scene recognition unit 9 generates and outputs information for identifying the recognized scene type as scene information. Note that the types of scenes are not limited to those shown in Table 6.
  • the image processing unit 1b includes a pipeline arithmetic processing unit 11, a clock supply unit 12b, and a CPU I / F 13.
  • the pipeline arithmetic processing unit 11 is the same as the pipeline arithmetic processing unit 11 of the first embodiment shown in FIGS. 1 and 2.
  • the clock supply unit 12b generates and outputs the clock generated by the clock generation unit 3b and also receives scene information from the external memory 4 to generate the clock A and the clock B. And supplied to the pipeline arithmetic processing unit 11b.
  • the clock supply unit 12 b inputs the scene information generated by the scene recognition unit 9 and written in the external memory 4.
  • the control signal is generated and output, and the clocks A and B are generated and output, or stopped.
  • the image processing apparatus 100b shown in FIG. 15 executes arithmetic processing by repeating the following two-step procedures (1) and (2). That is, (1) First, the scene recognition unit 9 acquires input data from the external memory 4, generates scene information, and writes it back to the external memory 4. In this case, data flows as indicated by a thick broken line arrow in FIG. (2) Next, the image processing unit 1 b acquires scene information and input data from the external memory 4.
  • the clock supply unit 12b supplies the clock generated and output by the clock generation unit 3b to the pipeline arithmetic processing unit 11 as clocks A and B according to the scene information, or stops the supply, Generate and output a control signal.
  • the pipeline arithmetic processing unit 11 executes arithmetic processing in the same manner as in the first embodiment based on the clocks A and B supplied from the clock supply unit 12b and the control signal. In this case, data is input to the image processing unit 1b as indicated by a thick arrow in FIG.
  • the clock supply unit 12b (clock supply unit and control signal output unit) itself controls the clock output of the clock supply unit 12b and the plurality of selectors 81 and 82 based on the scene information.
  • a control signal for generating is generated and output.
  • the pipeline operation can be performed with an appropriate number of pipeline stages according to the clock frequency supplied to the pipeline arithmetic processing unit 11, and an unnecessary pipeline is used. Power consumption due to a register or the like can be easily suppressed.
  • the clock supply unit 12b generates and outputs a control signal using the scene information input from the external memory 4 as a parameter, and controls the state of the clock output.
  • FIG. 17 is a diagram illustrating a configuration example of an image processing unit 1c (arithmetic apparatus) and an image processing apparatus 100c according to the fifth embodiment of the present invention.
  • the image processing apparatus 100c according to the fifth embodiment is different from the image processing apparatus 100b according to the fourth embodiment in the configuration of the image processing unit 1c that is a configuration corresponding to the image processing unit 1b illustrated in FIG. That is, the image processing unit 1c illustrated in FIG. 17 newly includes a clock frequency determination unit 14 (control signal output unit).
  • the clock frequency determination unit 14 generates a control signal based on the scene information acquired from the external memory 4 and various parameters supplied from the CPU 2 and supplies the control signal to the clock supply unit 12 and the pipeline arithmetic processing unit 11.
  • the configurations of the clock supply unit 12 and the pipeline arithmetic processing unit 11 are the same as the configurations of the clock supply unit 12 and the pipeline arithmetic processing unit 11 of the first embodiment shown in FIGS.
  • the clock output of the clock supply unit 12 and the control signal for controlling the plurality of selectors 81 and 82 are generated and output based on the scene information.
  • the pipeline operation can be performed with an appropriate number of pipeline stages according to the clock frequency supplied to the pipeline arithmetic processing unit 11 and is unnecessary. Power consumption by a pipeline register or the like can be easily suppressed.
  • FIG. 18 is a diagram illustrating a configuration example of an image processing unit 1d (arithmetic apparatus) and an image processing apparatus 100d according to the sixth embodiment of the present invention.
  • the image processing apparatus 100d of the sixth embodiment has a configuration corresponding to the image processing unit 1c shown in FIG. 17 while omitting the scene recognition unit 9.
  • the configuration of the image processing unit 1d is different. That is, in the image processing unit 1d shown in FIG.
  • the clock frequency determination unit 14d (control signal output unit) generates a control signal based on various parameters supplied from the CPU 2, and performs a pipeline operation with the clock supply unit 12.
  • the parameter supplied from the CPU 2 includes first information corresponding to the processing amount per unit time of the calculation performed by the pipeline arithmetic processing unit 11 on the input data.
  • the first information is information representing an operation mode of the imaging unit as shown in Table 3, for example.
  • the clock frequency determination unit 14d can generate and output a control signal based on at least the first information.
  • the configurations of the clock supply unit 12 and the pipeline arithmetic processing unit 11 are the same as the configurations of the clock supply unit 12 and the pipeline arithmetic processing unit 11 of the first embodiment shown in FIGS. 1 and 2.
  • the clock frequency determination unit 14 d provides the clock supply unit 12 and the pipeline arithmetic processing unit 11 with the clock output and the plurality of selectors 81 and 82. Generate and output a control signal for controlling. Further, according to the sixth embodiment, as in the first embodiment, the pipeline operation can be performed with an appropriate number of pipeline stages according to the clock frequency supplied to the pipeline arithmetic processing unit 11 and is unnecessary. Power consumption by a pipeline register or the like can be easily suppressed.
  • control signal the control signal may be changed in units of frames or in units of small blocks obtained by dividing the frame into small blocks according to the operation mode and the bus band, not the number of processing pixels.
  • the control signal can be determined by a parameter in the image processing unit.
  • the control signal is not limited thereto, and the control signal may be generated by determining the frequency division ratio of the clock in the clock generation unit.
  • At least pipeline operation can be performed with an appropriate number of pipeline stages according to the clock frequency, and power consumption by unnecessary pipeline registers and the like can be suppressed. .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Processing (AREA)
  • Advance Control (AREA)
  • Power Sources (AREA)
  • Complex Calculations (AREA)

Abstract

実施形態の演算装置は、それぞれがパイプライン接続された複数の演算回路、複数のパイプラインレジスタおよび複数のデータ選択部から構成され、入力されたデータに演算を行い、演算結果を出力するパイプライン演算処理部と、少なくとも２系統のクロック出力を有し、前記各系統を前記各パイプラインレジスタのいずれかに対応づけて、選択された１または複数の前記系統のクロック出力を、対応する前記系統の前記パイプラインレジスタに供給するクロック供給部と、を具備し、前記クロック供給部は、入力された制御信号に基いて、前記クロック出力の状態を前記系統毎に切り替え、前記複数のデータ選択部は、前記制御信号により、前記パイプラインレジスタの出力または前記演算回路の出力のいずれかを選択して出力する。

Description

演算装置、画像処理装置および画像処理方法
　本発明は、演算装置、画像処理装置および画像処理方法に関する。
　画像処理パイプライン等のパイプライン演算処理部では、演算回路のタイミング調整を行うため、パイプラインレジスタが挿入される。このパイプラインレジスタは最大動作周波数に合わせて挿入されるため、低周波数で動作するモードにおいては、パイプラインレジスタが不要となる箇所があり、無駄な電力消費が発生する。
　特許文献１に記載されているパイプライン演算処理部では、前段の演算回路の演算結果を後段の演算回路に供給する際に、セレクタを用いて、両者の間にパイプラインレジスタを介在させるか否かが切り替え制御される。この構成によれば、クロック周波数に応じて適切なパイプライン段数を選択することができる。
　なお、特許文献１に記載されている構成では、各パイプライレジスタに対して共通のクロック信号が供給される。また、使用されないパイプラインレジスタへはリセット信号が供給されて、当該パイプラインレジスタの動作がリセット動作に制御される。
日本国特開平６－８３５８３号公報
　しかしながら、特許文献１に記載されている構成では、リセット動作を行っているパイプラインレジスタに対してもクロックが供給され続けている。そのため、当該パイプラインレジスタのクロック入力回路や配線部によって不要な電力が消費される。
　本発明は、上記事情を考慮してなされたものであり、クロック周波数に応じて適切なパイプライン段数でパイプライン動作させると共に不要なパイプラインレジスタ等による消費電力を抑えることができる演算装置、画像処理装置および画像処理方法を提供することを目的とする。
　本発明の第１の態様に係る演算装置は、それぞれがパイプライン接続された複数の演算回路、複数のパイプラインレジスタおよび複数のデータ選択部から構成され、入力されたデータに演算を行い、演算結果を出力するパイプライン演算処理部と、少なくとも２系統のクロック出力を有し、前記各系統を前記各パイプラインレジスタのいずれかに対応づけて、選択された１または複数の前記系統のクロック出力を、対応する前記系統の前記パイプラインレジスタに供給するクロック供給部と、を具備し、前記クロック供給部は、入力された制御信号に基いて、前記クロック出力の状態を前記系統毎に切り替え、前記複数のデータ選択部は、前記制御信号により、前記パイプラインレジスタの出力または前記演算回路の出力のいずれかを選択して出力する。
　本発明の第２の態様に係る演算装置は、上記第１の態様において、入力されたパラメータに基いて、前記クロック供給部のクロック出力と前記複数のデータ選択部とを制御するための前記制御信号を生成して出力する制御信号出力部をさらに備え、前記クロック供給部は、前記制御信号に応じて、いずれかの前記系統のクロック供給を停止する。
　本発明の第３の態様に係る演算装置は、上記第２の態様において、前記パラメータは、前記入力されたデータに対する前記演算の単位時間当たりの処理量に対応する第１情報を含み、前記制御信号出力部は、少なくとも前記第１情報に基いて前記制御信号を生成して出力する。
　本発明の第４の態様に係る画像処理装置は、入力された画像データのシーンを認識し、認識した結果をシーン情報として出力するシーン認識部と、それぞれがパイプライン接続された複数の演算回路、複数のパイプラインレジスタおよび複数のデータ選択部から構成され、前記画像データに演算を行い、演算結果を出力するパイプライン演算処理部と、少なくとも２系統のクロック出力を有し、前記各系統を前記各パイプラインレジスタのいずれかに対応づけて、選択された１または複数の前記系統のクロック出力を、対応する前記系統の前記パイプラインレジスタに供給するクロック供給部と、前記シーン情報に基いて、前記クロック供給部のクロック出力と前記複数のデータ選択部とを制御するための制御信号を生成して出力する制御信号出力部とを具備し、前記クロック供給部は、前記制御信号に基いて、前記クロック出力の状態を前記系統毎に切り替え、前記複数のデータ選択部は、前記制御信号により、前記パイプラインレジスタの出力または前記演算回路の出力のいずれかを選択して出力する。
　本発明の第５の態様に係る画像処理装置は、上記第４の態様において、前記クロック供給部は、前記制御信号に応じて、いずれかの前記系統のクロック供給を停止する。
　本発明の第６の態様に係る画像処理方法は、入力された画像データのシーンを認識し、認識した結果をシーン情報として出力するシーン認識部と、それぞれがパイプライン接続された複数の演算回路、複数のパイプラインレジスタおよび複数のデータ選択部から構成され、前記画像データに演算を行い、演算結果を出力するパイプライン演算処理部と、少なくとも２系統のクロック出力を有し、前記各系統を前記各パイプラインレジスタのいずれかに対応づけて、選択された１または複数の前記系統のクロック出力を、対応する前記系統の前記パイプラインレジスタに供給するクロック供給部と、前記シーン情報に基いて、前記クロック供給部のクロック出力と前記複数のデータ選択部とを制御するための制御信号を生成して出力する制御信号出力部とを用いて、前記クロック供給部は、前記制御信号に基いて、前記クロック出力の状態を前記系統毎に切り替え、前記複数のデータ選択部は、前記制御信号により、前記パイプラインレジスタの出力または前記演算回路の出力のいずれかを選択して出力する。
　本発明の各態様によれば、クロック周波数に応じて適切なパイプライン段数でパイプライン動作させると共に不要なパイプラインレジスタ等による消費電力を抑えることができる。
本発明の第１の実施形態に係る構成図である。 図１に示すパイプライン演算処理部１１の構成図である。 図２に示すパイプライン演算処理部１１の動作例を説明するための図である。 図３に示すパイプライン演算処理部１１の動作例を説明するためのタイミングチャートである。 図２に示すパイプライン演算処理部１１の動作例を説明するための図である。 図５に示すパイプライン演算処理部１１の動作例を説明するためのタイミングチャートである。 本発明の第２の実施形態に係る構成図である。 図７に示すパイプライン演算処理部１１ａの構成図である。 図８に示すパイプライン演算処理部１１ａの動作例を説明するための図である。 図８に示すパイプライン演算処理部１１ａの動作例を説明するための図である。 図８に示すパイプライン演算処理部１１ａの動作例を説明するための図である。 本発明の第３の実施形態に係る構成図である。 図１２に示すパイプライン演算処理部１１ｂの構成図である。 図１２に示すパイプライン演算処理部１１ｂの動作例を説明するための図である。 本発明の第４の実施形態に係る構成図である。 図１５に示す画像処理装置１００ｂの動作例を説明するための図である。 本発明の第５の実施形態に係る構成図である。 本発明の第６の実施形態に係る構成図である。
＜第１の実施形態＞
　以下、本発明の第１の実施形態について図面を参照して説明する。図１は、本発明の第１の実施形態に係る画像処理部１（演算装置）および画像処理装置１００の構成例を示す図である。図１に示す画像処理装置１００は、画像処理部１と、ＣＰＵ（中央処理装置）２と、クロック生成部３と、外部メモリ４と、バス５とを備える。ＣＰＵ２は画像処理装置１００内の各部を制御する。ＣＰＵ２は、例えば、画像処理部１が各種演算処理等で使用する制御用の信号やパラメータを示す信号をＣＰＵ入力信号として画像処理部１へ供給したり、クロック生成部３が制御信号を生成する際にパラメータとして用いるデータをクロック生成部３へ供給したりする。クロック生成部３は、所定のクロック信号を生成して出力するとともに、ＣＰＵ２の制御の下、制御信号を生成して出力する。外部メモリ４は、揮発性または不揮発性の記憶装置であり、ＣＰＵ２の制御の下、バス５を介して入力されたデータを記憶領域に書き込んで記憶したり、記憶領域に記憶しているデータを読み出してバス５を介して出力したりする。外部メモリ４は、例えば、図示していないカメラの撮像部が撮像した画像データを記憶したり、画像処理部１が撮像部が撮像した画像データに対して所定の演算処理を行った結果を記憶したり、図示していない表示部に対して記憶している画像データを出力したりする。バス５は、複数のアドレス線、複数のデータ線等を含み、例えば、画像処理部１と外部メモリ４との間で入出力されるデータを転送するために用いられる。本実施形態では、一例として、画像処理部１へ入出力されるデータが画像データであるとする。
　画像処理部１は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等から構成されていて、パイプライン演算処理部１１と、クロック供給部１２と、ＣＰＵ　Ｉ／Ｆ（インタフェース）１３とを備える。
　パイプライン演算処理部１１は、ＣＰＵ２からＣＰＵ　Ｉ／Ｆ１３を介してＣＰＵ入力信号を入力する。パイプライン演算処理部１１は、また、クロック供給部１２から２系統のクロック出力であるクロックＡとクロックＢとを入力するとともに、クロック生成部３から制御信号を入力する。なお、以下では、複数系統のクロック出力（あるいはクロック信号）を、クロック出力Ａ、クロック出力Ｂ等と称する場合がある。パイプライン演算処理部１１は、バス５を介して外部メモリ４から処理対象の入力データを入力する。パイプライン演算処理部１１は、バス５を介して外部メモリ４から入力した処理対象の入力データに対して、所定の演算処理を行い、演算結果を出力データとして出力し、出力データを外部メモリ４に記憶する。
　ここで、図２を参照して図１に示すパイプライン演算処理部１１の構成例について説明する。図２は、図１に示すパイプライン演算処理部１１の構成例を示す。図２に示すパイプライン演算処理部１１は、パイプラインレジスタ（１）６１、パイプラインレジスタ（２）６２、パイプラインレジスタ（３）６３、パイプラインレジスタ（４）６４、およびパイプラインレジスタ（５）６５を備える。パイプライン演算処理部１１は、また、演算回路（１）７１、演算回路（２）７２、演算回路（３）７３、および演算回路（４）７４を備える。パイプライン演算処理部１１は、また、セレクタ８１およびセレクタ８２を備える。
　パイプラインレジスタ（１）６１～パイプラインレジスタ（５）６５は、複数ビット分のフリップフロップ（Ｄラッチ）を備えて構成されていて、例えばクロック入力端子に入力されたクロック信号の立ち上がりに同期して入力端子に入力されたデータを取り込んで保持および出力し、次にクロック信号が立ち上がるまでの期間、その出力を保持する。
　演算回路（１）７１～演算回路（４）７４は、入力されたデータに対して所定の演算を行い、演算結果を出力する。演算回路（１）７１～演算回路（４）７４は、例えば、ＣＰＵ２から供給されたパラメータ、予め決められたパラメータ、図示していないレジスタ等に格納されているパラメータや過去の演算結果等を用いて、入力データに対して加減算処理、剰余算処理等の演算処理を行う。
　セレクタ８１および８２は、入力端子０と入力端子１と制御信号の入力端子とを備え、制御信号が「０」（＝Ｌレベル）の場合に入力端子０に入力されたデータを出力端子から出力し、制御信号が「１」（＝Ｈレベル）の場合に入力端子１に入力されたデータを出力端子から出力する。このように、演算回路（１）７１、演算回路（３）７３の出力を、パイプラインレジスタ（２）６２、パイプラインレジスタ（４）６４で処理しない場合には、制御信号により、セレクタ８１、セレクタ８２を切り換え、制御信号により、クロック供給部１２が、クロックＢ出力しないようにすることで、上記処理をスキップすることができ、このことにより消費電流の削減と、処理の高速化を行うことができる。
　図２に示す例では、パイプラインレジスタ（１）６１へはバス５を介して入力データが入力される。パイプラインレジスタ（１）６１の出力は、演算回路（１）７１へ入力される。演算回路（１）７１の出力はパイプラインレジスタ（２）６２の入力端子とセレクタ８１の入力端子０へ入力される。パイプラインレジスタ（２）６２の出力はセレクタ８１の入力端子１へ入力される。セレクタ８１の出力は演算回路（２）７２の入力端子へ入力される。演算回路（２）７２の出力はパイプラインレジスタ（３）６３の入力端子へ入力される。演算回路（３）７３の出力はパイプラインレジスタ（４）６４の入力端子とセレクタ８２の入力端子０へ入力される。パイプラインレジスタ（４）６４の出力はセレクタ８２の入力端子１へ入力される。セレクタ８２の出力は演算回路（４）７４の入力端子へ入力される。演算回路（４）７４の出力はパイプラインレジスタ（５）６５の入力端子へ入力される。パイプラインレジスタ（５）６５の出力はバス５を介して外部メモリ４等へ入力される。
　また、奇数段のパイプラインレジスタ（１）６１、パイプラインレジスタ（３）６３およびパイプラインレジスタ（５）６５の各クロック入力端子へは、クロック供給部１２が出力したクロックＡが供給される。偶数段のパイプラインレジスタ（２）６２およびパイプラインレジスタ（４）６４の各クロック入力端子へは、クロック供給部１２が出力したクロックＢが供給される。
　以上のように図２に示すパイプライン演算処理部１１は、それぞれがパイプライン接続された複数の演算回路（１）７１～（４）７４、複数のパイプラインレジスタ（１）６１～（５）６５および複数のセレクタ８１および８２から構成されている。そして、パイプライン演算処理部１１は、パイプライン方式で、入力されたデータに演算を行い、演算結果を出力する。
　上述したように、クロック供給部１２が出力した２系統のクロックＡおよびＢは、各系統に対応づけられたパイプラインレジスタ（１）６１～（５）６５のいずれかに選択的に供給される。この場合、クロックＡは、入力からの接続順で奇数段のパイプラインレジスタ（１）６１、（３）６３および（５）６５へ供給される。また、クロックＢは、偶数段のパイプラインレジスタ（２）６２および（４）６４へ供給される。
　なお、クロックＡおよびクロックＢの接続は、パイプラインレジスタの奇数段にクロックＡを、偶数段にクロックＢを接続しているが、これに限らず、それぞれのクロックをどのパイプラインレジスタに接続してもよい。
　ここで、図３～図６を参照して、図２に示すパイプライン演算処理部１１の動作例について説明する。この場合、パイプライン演算処理部１１は、各パイプラインレジスタ（１）６１～（５）６５を高速で動作させる高速モードと、低速で動作させる低速モードの２種類の動作モードのいずれかで動作する。高速モードは、例えば、カメラの撮像部が撮像して外部メモリ４に記憶した画像データを画像処理して外部メモリ４に記憶する処理を行う動画撮影モードに対応する。一方、低速モードは、例えば、カメラの撮像部が撮像して外部メモリ４に記憶した画像データを画像処理して外部メモリ４に記憶し、図示していない表示部にリアルタイムに表示させる処理を行うライブビュー撮影モードに対応する。この場合、動画撮影モードは、ライブビュー撮影モードに比較して、フレームレートおよび各フレームの解像度が高い。この場合、動作モードは、入力されたデータに対するパイプライン演算処理部１１による演算の単位時間当たりの処理量に対応する情報の１つであるということができる。また、本実施形態において図１に示すクロック生成部３（制御信号出力部）は、ＣＰＵ２等から供給される動作モードを表す情報をパラメータとして制御信号を生成して出力する。制御信号は、クロック供給部１２のクロック出力と複数のセレクタ８１および８２（データ選択部）とを制御するための信号である。
＜動画撮影モード（高速モード）＞
　この場合、表１に示すように、クロックＡおよびクロックＢの周波数は５００ＭＨｚであり、パイプライン演算処理部１１の奇数段のパイプラインレジスタ（１）６１、（３）６３および（５）６５へクロックＡが供給され（クロックＡが「ＯＮ」）、偶数段のパイプラインレジスタ（２）６２および（４）６４へクロックＢが供給される（クロックＢが「ＯＮ」）。クロックＡとクロックＢは同一周期の同期した信号である。ただし、クロック供給部１２のクロック信号の出力段と当該出力段からパイプラインレジスタ（１）６１～（５）６５までの配線とは系統毎に異なる。また、制御信号は「１」である。
Figure JPOXMLDOC01-appb-T000001
　動画撮影モードでは、制御信号が「１」なので、セレクタ８１および８２は、図３に示すように、入力端子１に入力されたデータを出力するので、データの流れは太線の矢印で示すように、奇数段および偶数段のすべてのパイプラインレジスタ（１）６１～（５）６５を通る流れとなる。また、各パイプラインレジスタ（１）６１～（５）６５は、図４に示すように入出力データを変化させる。図４は、制御信号、クロックＡ、クロックＢ、入力データおよび各パイプラインレジスタ（１）６１～（５）６５の各出力の時間変化を示す。クロックＡおよびクロックＢの１周期Ｔ１は２ｎｓ（＝１／（５００ＭＨｚ））である。データＤ１ａ～Ｄ５ａは、入力データＤ１～Ｄ５を１クロック遅延したデータである。データＤ１ａ～Ｄ５ａを演算回路（１）７１で演算処理した結果がデータＤ１ｂ～Ｄ５ｂである。データＤ１ｂ～Ｄ５ｂを演算回路（２）７２で演算処理した結果がデータＤ１ｃ～Ｄ５ｃである。データＤ１ｃ～Ｄ５ｃを演算回路（３）７３で演算処理した結果がデータＤ１ｄ～Ｄ５ｄである。そして、データＤ１ｄ～Ｄ５ｄを演算回路（４）７４で演算処理した結果がデータＤ１ｅ～Ｄ５ｅである。
＜ライブビュー撮影モード（低速モード）＞
　この場合、表２に示すように、パイプライン演算処理部１１の奇数段のパイプラインレジスタ（１）６１、（３）６３および（５）６５へは周波数が２５０ＭＨｚのクロックＡが供給され（クロックＡが「ＯＮ」）、偶数段のパイプラインレジスタ（２）６２および（４）６４へはクロックＢは供給されない（クロックＢが「ＯＦＦ」）。また、制御信号は「０」である。
　ライブビュー撮影モードでは、制御信号が「０」なので、セレクタ８１および８２は、図５に示すように、入力端子０に入力された演算回路（１）７１の出力および演算回路（３）７３の出力を各出力端子からそれぞれ出力するので、データの流れは太線の矢印で示すように、パイプラインレジスタ（１）６１、演算回路（１）７１、演算回路（２）７２、パイプラインレジスタ（３）６３、演算回路（３）７３、演算回路（４）７４、およびパイプラインレジスタ（５）６５の順となる。その際、網掛けして示す動作不要なパイプラインレジスタ（２）６２および（４）６４については、破線の矢印で示したように、クロックＢの根元からクロック供給が停止しているため、クロックツリーによる電力消費を削減することができる。
　また、各パイプラインレジスタ（１）６１～（５）６５は、図６に示すように入出力データを変化させる。図６は、制御信号、クロックＡ、クロックＢ、入力データおよび各パイプラインレジスタ（１）６１～（５）６５の各出力の時間変化を示す。クロックＡの１周期Ｔ１は４ｎｓ（＝１／（２５０ＭＨｚ））である。データＤ１ａ～Ｄ４ａは、入力データＤ１～Ｄ４を１クロック遅延したデータである。データＤ１ａ～Ｄ４ａを演算回路（１）７１および演算回路（２）７２で順次演算処理した結果がデータＤ１ｃ～Ｄ４ｃである（ただし、データＤ４ｃは不図示）。データＤ１ｃ～Ｄ３ｃを演算回路（３）７３および演算回路（４）７４で順次演算処理した結果がデータＤ１ｅ～Ｄ３ｅである（ただし、データＤ３ｅは不図示）。
　なお、図１に示すクロック供給部１２は、２系統のクロック出力ＡおよびＢを有し、各系統を各パイプラインレジスタ（１）６１～（５）６５のいずれかに対応づけて、選択された１または複数の系統のクロック出力Ａまたはクロック出力ＡおよびＢを、対応する系統のパイプラインレジスタ（１）６１、（３）６３および（５）６５またはパイプラインレジスタ（２）６２および（４）６４に供給する。その際、クロック供給部１２は、クロック生成部３から入力した制御信号に基いて、クロック出力の状態を系統毎に切り替える。ここで、クロック出力の状態の切り替えとは、クロック信号の出力をオンまたはオフに変化させることや、クロック周波数を変化させることを含む。また、クロック供給部１２がクロック出力をオフすることすなわちクロック出力の供給を停止した場合、例えば停止した系統のパイプラインレジスタのクロック入力段やクロック信号の配線が持つ容量を充放電する電力を削減することができる。
　以上のように第１の実施形態によれば、パイプライン演算処理部１１に供給されるクロック周波数に応じて適切なパイプライン段数でパイプライン動作させることができると共に不要なパイプラインレジスタ等による消費電力を容易に抑えることができる。
＜第２の実施形態＞
　次に、本発明の第２の実施形態について図面を参照して説明する。図７は、本発明の第２の実施形態に係る画像処理部１ａ（演算装置）および画像処理装置１００ａの構成例を示す図である。なお、図７において図１に示す構成と同一あるいは対応する構成には同一の数字の符号または同一の数字に英字を付加した符号を付けて説明を適宜省略する。
　図７に示す画像処理装置１００ａは、画像処理部１ａと、ＣＰＵ２と、クロック生成部３ａと、外部メモリ４と、バス５とを備える。クロック生成部３ａは、所定のクロック信号を生成して出力するとともに、ＣＰＵ２の制御の下、例えば、ＣＰＵ２等から供給される動作モードを表す情報をパラメータとして制御信号を生成して出力する。この場合、クロック生成部３ａが出力する制御信号は、制御信号（１）と制御信号（２）の２種類の制御信号を含む。本実施形態では、入出力されるデータは画像データである。
　画像処理部１ａは、パイプライン演算処理部１１ａと、クロック供給部１２ａと、ＣＰＵ　Ｉ／Ｆ１３とを備える。クロック供給部１２ａは、クロック生成部３ａから入力される制御信号とクロックとに基づいて、クロック出力Ａ、ＢおよびＣの３系統のクロック信号を状態を切り替えて出力する。
　パイプライン演算処理部１１ａは、図８に示すように、図２に示す第１の実施形態のパイプライン演算処理部１１と比べ、データの入出力経路については新たにセレクタ８３を設けている点を除いて同一である。すなわち、パイプライン演算処理部１１ａでは、パイプラインレジスタ（３）６３の出力と演算回路（３）７３の入力端子との間に新たにセレクタ８３を設けている。セレクタ８３の入力端子０には演算回路（２）７２の出力が接続され、セレクタ８３の入力端子１にはパイプラインレジスタ（３）６３の出力が接続されている。
　また、セレクタ８１および８２の制御信号の各入力端子へは制御信号（１）が入力され、セレクタ８３の制御信号の入力端子へは制御信号（２）が入力される。また、パイプラインレジスタ（１）６１およびパイプラインレジスタ（５）６５の各クロック入力端子にはクロックＡが入力される。パイプラインレジスタ（３）６３のクロック入力端子にはクロックＢが入力される。そして、パイプラインレジスタ（２）６２およびパイプラインレジスタ（４）６４の各クロック入力端子にはクロックＣが入力される。
　ここで、図９～図１１を参照して、図８に示すパイプライン演算処理部１１ａの動作例について説明する。この場合、パイプライン演算処理部１１ａは、各パイプラインレジスタ（１）６１～（５）６５を高速で動作させる高速モードと、中速で動作させる中速モードと、低速で動作させる低速モードの３種類の動作モードのいずれかで動作する。高速モードは、例えば、カメラの撮像部が４Ｋの解像度で撮像して外部メモリ４に記憶された画像データを画像処理して外部メモリ４に記憶する処理を行う動画撮影モードに対応する。中速モードは、例えば、カメラの撮像部がフルＨＤ（Full High Definition）の解像度で撮像して外部メモリ４に記憶された画像データを画像処理して外部メモリ４に記憶する処理を行う動画撮影モードに対応する。また、低速モードは、例えば、カメラの撮像部が撮像して外部メモリ４に記憶された画像データを画像処理して外部メモリ４に記憶し、表示部にリアルタイムに表示させる処理を行うライブビュー撮影モードに対応する。この場合、動画撮影モードは、ライブビュー撮影モードに比較して、フレームレートおよび各フレームの解像度が高い。また、２種類の動画撮影モードは解像度が異なる。したがって、この場合、高速モード、中速モードおよび低速モードを含む動作モードは、入力されたデータに対するパイプライン演算処理部１１ａによる演算の単位時間当たりの処理量に対応する情報の１つであるということができる。また、本実施形態において図７に示すクロック生成部３ａ（制御信号出力部）は、ＣＰＵ２等から入力した動作モードを表す情報をパラメータとして制御信号を生成して出力する。制御信号は、クロック供給部１２ａのクロック出力と複数のセレクタ８１、８２および８３（データ選択部）とを制御するための信号である。
＜動画撮影モード（４Ｋ）（高速モード）＞
　この場合、表３に示すように、クロックＡ、クロックＢおよびクロックＣの周波数は５００ＭＨｚであり、クロックＡ～Ｃはすべて「ＯＮ」である。クロックＡ～Ｃは互いに同一周期の同期した信号である。また、制御信号（１）および（２）はともに「１」である。なお、処理サイズは、３８４０画素×２１６０画素である。
Figure JPOXMLDOC01-appb-T000003
　動画撮影モード（４Ｋ）では、制御信号（１）および（２）が「１」なので、セレクタ８１～８３は、図９に示すように、入力端子１に入力されたデータを出力する。したがって、データの流れは太線の矢印で示すように、すべてのパイプラインレジスタ（１）６１～（５）６５を通る流れとなる。
＜動画撮影モード（フルＨＤ）（中速モード）＞
　この場合、表３に示すように、クロックＡおよびクロックＢの周波数は３５０ＭＨｚであり、クロックＡおよびＢは「ＯＮ」で、クロックＣは「ＯＦＦ」である。クロックＡおよびＢは互いに同一周期の同期した信号である。また、制御信号（１）は「０」であり、制御信号（２）は「１」である。なお、処理サイズは、１９２０画素×１０８０画素である。
　動画撮影モード（フルＨＤ）では、制御信号（１）が「０」でおよび制御信号（２）が「１」なので、セレクタ８１～８３は、図１０に示すように、セレクタ８１および８２が入力端子０に入力されたデータを出力し、セレクタ８３が入力端子１に入力されたデータを出力する。したがって、データの流れは太線の矢印で示すように、パイプラインレジスタ（１）６１、演算回路（１）７１、演算回路（２）７２、パイプラインレジスタ（３）６３、演算回路（３）７３、演算回路（４）７４、およびパイプラインレジスタ（５）６５の順となる。その際、網掛けして示す動作不要なパイプラインレジスタ（２）６２および（４）６４については、破線の矢印で示したように、クロックＣの根元からクロック供給が停止しているため、クロックツリーによる電力消費を削減することができる。
＜ライブビュー撮影モード（低速モード）＞
　この場合、表３に示すように、クロックＡの周波数は２５０ＭＨｚであり、クロックＡは「ＯＮ」で、クロックＢおよびＣは「ＯＦＦ」である。また、制御信号（１）および（２）はともに「０」である。なお、処理サイズは、６４０画素×４８０画素である。
　ライブビュー撮影モードでは、制御信号（１）および（２）が「０」なので、セレクタ８１～８３は、図１１に示すように、入力端子０に入力されたデータを出力する。したがって、データの流れは太線の矢印で示すように、パイプラインレジスタ（１）６１、演算回路（１）７１、演算回路（２）７２、演算回路（３）７３、演算回路（４）７４、およびパイプラインレジスタ（５）６５の順となる。その際、網掛けして示す動作不要なパイプラインレジスタ（２）６２、（３）６３および（４）６４については、破線の矢印で示したように、クロックＢおよびＣの根元からクロック供給が停止しているため、クロックツリーによる電力消費を削減することができる。
　以上のように第２の実施形態によれば、クロックの系統を３系統にし、パイプライン演算処理部１１ａに供給されるクロック周波数に応じて適切なパイプライン段数でパイプライン動作させることができると共に不要なパイプラインレジスタ等による消費電力を容易に抑えることができる。
＜第３の実施形態＞
　次に、本発明の第３の実施形態について図面を参照して説明する。図１２は、パイプライン演算処理部１１ｂの構成例を示す。パイプライン演算処理部１１ｂは、図２に示す第１の実施形態に係るパイプライン演算処理部１１の一部を変形した構成を有する。なお、図１２に示すパイプライン演算処理部１１ｂの入出力信号（データ、クロックおよび制御信号）は、図２に示すパイプライン演算処理部１１の入出力信号と同一である。図１２に示すパイプライン演算処理部１１ｂは、図２に示す第１の実施形態のパイプライン演算処理部１１と比べ、新たに３個のセレクタ８０１～８０３と、３個のパイプラインレジスタ（１１）８１１～（１３）８１３とを備える。
　パイプラインレジスタ（１１）８１１の入力端子へは、パイプラインレジスタ（１）６１と同じく、入力データが入力される。パイプラインレジスタ（１１）８１１の出力はセレクタ８０１の入力端子０へ入力され、パイプラインレジスタ（１）６１の出力はセレクタ８０１の入力端子１へ入力される。セレクタ８０１の出力は演算回路（１）７１の入力端子へ入力される。
　演算回路（１）７１の出力は、パイプラインレジスタ（２）６２の入力端子へ入力されるとともに、セレクタ８１の入力端子０へ入力される。パイプラインレジスタ（２）６２の出力は、セレクタ８１の入力端子１へ入力される。セレクタ８１の出力は演算回路（２）７２の入力端子へ入力される。
　パイプラインレジスタ（１２）８１２の入力端子へは、パイプラインレジスタ（３）６３と同じく、演算回路（２）７２の出力が入力される。パイプラインレジスタ（１２）８１２の出力はセレクタ８０２の入力端子０へ入力され、パイプラインレジスタ（３）６３の出力はセレクタ８０２の入力端子１へ入力される。セレクタ８０２の出力は演算回路（３）７３の入力端子へ入力される。
　演算回路（３）７３の出力は、パイプラインレジスタ（４）６４の入力端子へ入力されるとともに、セレクタ８２の入力端子０へ入力される。パイプラインレジスタ（４）６４の出力は、セレクタ８２の入力端子１へ入力される。セレクタ８２の出力は演算回路（４）７４の入力端子へ入力される。
　パイプラインレジスタ（１３）８１３の入力端子へは、パイプラインレジスタ（５）６５と同じく、演算回路（４）７４の出力が入力される。パイプラインレジスタ（１３）８１３の出力はセレクタ８０３の入力端子０へ入力され、パイプラインレジスタ（５）６５の出力はセレクタ８０３の入力端子１へ入力される。セレクタ８０３の出力が出力データである。
　セレクタ８０１～８０３の制御信号の各入力端子へは、セレクタ８１および８２と同じく、図１に示すクロック生成部３が出力した制御信号が入力される。パイプラインレジスタ（１）６１～（５）６５の各クロック入力端子には図１に示すクロック供給部１２からクロックＡが供給される。パイプラインレジスタ（１１）８１１～（１３）８１３の各クロック入力端子には図１に示すクロック供給部１２からクロックＢが供給される。
　図１２に示すパイプライン演算処理部１１ｂは、図２に示すパイプライン演算処理部１１が有するパイプラインレジスタ（１）６１～（５）６５に対してすべて共通にクロックＡを供給し、新たに設けたパイプラインレジスタ（１１）８１１～（１３）８１３に対してすべて共通にクロックＢを供給する。
　次に、図１３および図１４を参照して、図１２に示すパイプライン演算処理部１１ｂの動作例について説明する。この動作例では、第１の実施形態と同様、パイプライン演算処理部１１ｂは、例えば、動画撮影モードまたはライブビュー撮影モードの２種類の動作モードのいずれかで動作する。ただし、第３の実施形態のパイプライン演算処理部１１ｂと第１の実施形態のパイプライン演算処理部１１とではクロックＡおよびＢのオンまたはオフの制御が異なる。
＜動画撮影モード（高速モード）＞
　この場合、表４に示すように、クロックＡおよびクロックＢの周波数は５００ＭＨｚであり、パイプライン演算処理部１１ｂのパイプラインレジスタ（１）６１～（５）６５へはクロックＡが供給され（クロックＡが「ＯＮ」）、パイプラインレジスタ（１１）８１１～（１３）８１３へはクロックＢの供給が停止される（クロックＢが「ＯＦＦ」）。また、制御信号は「１」である。
Figure JPOXMLDOC01-appb-T000004
　動画撮影モードでは、制御信号が「１」なので、セレクタ８１および８２ならびにセレクタ８０１～８０３は、図１３に示すように、入力端子１に入力されたデータを出力する。したがって、データの流れは太線の矢印で示すように、パイプラインレジスタ（１）６１～（５）６５を通る流れとなる。その際、網掛けして示す動作不要なパイプラインレジスタ（１１）８１１～（１３）８１３については、破線の矢印で示したように、クロックＢの根元からクロック供給が停止しているため、クロックツリーによる電力消費を削減することができる。
＜ライブビュー撮影モード（低速モード）＞
　この場合、表５に示すように、パイプライン演算処理部１１ｂのパイプラインレジスタ（１１）８１１～（１３）８１３へは周波数が２５０ＭＨｚのクロックＢが供給され（クロックＢが「ＯＮ」）、パイプラインレジスタ（１）６１～（５）６５へはクロックＡは供給されない（クロックＡが「ＯＦＦ」）。また、制御信号は「０」である。
Figure JPOXMLDOC01-appb-T000005
　ライブビュー撮影モードでは、制御信号が「０」なので、セレクタ８１および８２ならびにセレクタ８０１～８０３は、図１４に示すように、入力端子０に入力されたデータをそれぞれ出力する。したがって、データの流れは太線の矢印で示すように、パイプラインレジスタ（１１）８１１、演算回路（１）７１、演算回路（２）７２、パイプラインレジスタ（１２）８１２、演算回路（３）７３、演算回路（４）７４、およびパイプラインレジスタ（１３）８１３の順となる。その際、網掛けして示す動作不要なパイプラインレジスタ（１）６１～（５）６５については、破線の矢印で示したように、クロックＡの根元からクロック供給が停止しているため、クロックツリーによる電力消費を削減することができる。
　以上のように第３の実施形態によれば、パイプライン演算処理部１１ｂに供給されるクロック周波数に応じて適切なパイプライン段数でパイプライン動作させることができると共に不要なパイプラインレジスタ等による消費電力を容易に抑えることができる。
＜第４の実施形態＞
　次に、本発明の第４の実施形態について図面を参照して説明する。図１５は、本発明の第４の実施形態に係る画像処理部１ｂ（演算装置）および画像処理装置１００ｂの構成例を示す図である。なお、図１５において図１に示す構成と同一あるいは対応する構成には同一の数字の符号または同一の数字に英字を付加した符号を付けて説明を適宜省略する。
　図１５に示す画像処理装置１００ｂは、画像処理部１ｂと、ＣＰＵ２と、クロック生成部３ｂと、外部メモリ４と、バス５と、シーン認識部９とを備える。シーン認識部９は、第４の実施形態で新たに設けられた構成であり、外部メモリ４に記憶されている画像データを入力データとして入力し、１または複数フレーム毎にシーン情報を生成し、画像データに対応づけて外部メモリ４へ書き戻す。シーン情報は、例えば表６に示す４種類のシーンを識別する情報である。この場合、４種類のシーンは、風景（街）、動物、風景（空）および静物のシーンである。風景（街）のシーンの特徴は高周波成分が多いことである。動物のシーンの特徴は被写体の動きが多いことである。風景（空）および静物のシーンの特徴は被写体の動きが少ないことである。シーン認識部９は、フレーム間で動きベクトルを分析したり、周波数成分を分析したりすることで、画像データの特徴を抽出し、シーンの種類を認識する。シーン認識部９は、認識したシーンの種類を識別する情報をシーン情報として生成および出力する。なお、シーンの種類は、表６に示すものに限定されない。
Figure JPOXMLDOC01-appb-T000006
　一方、画像処理部１ｂは、パイプライン演算処理部１１と、クロック供給部１２ｂと、ＣＰＵ　Ｉ／Ｆ１３とを備える。パイプライン演算処理部１１は、図１および図２に示す第１の実施形態のパイプライン演算処理部１１と同一である。クロック供給部１２ｂは、図１に示すクロック供給部１２と同様にクロック生成部３ｂが生成し、出力したクロックを入力するとともに、シーン情報を外部メモリ４から入力し、クロックＡおよびクロックＢを生成してパイプライン演算処理部１１ｂへ供給する。その際、クロック供給部１２ｂは、図１に示すクロック供給部１２と異なり、シーン認識部９が生成して外部メモリ４に書き込んだシーン情報を入力し、入力したシーン情報に基づいて表６に示すように、制御信号を生成して出力するとともに、クロックＡおよびＢを生成して出力したり、停止したりする。
　次に、図１６を参照して、図１５に示す画像処理装置１００ｂの動作例について説明する。図１５に示す画像処理装置１００ｂは、次の２段階の手順（１）および（２）を繰り返すことで演算処理を実行する。すなわち、（１）まず、シーン認識部９が外部メモリ４から入力データを取得し、シーン情報を生成して外部メモリ４に書き戻す。この場合、図１６で太線の破線の矢印で示すようにデータが流れる。（２）次に、画像処理部１ｂが、外部メモリ４からシーン情報および入力データを取得する。クロック供給部１２ｂは、クロック生成部３ｂが生成し、出力したクロックを、シーン情報に応じてクロックＡおよびＢとしてパイプライン演算処理部１１に対して供給したりあるいは供給を停止したりするとともに、制御信号を生成して出力する。パイプライン演算処理部１１がクロック供給部１２ｂから供給されたクロックＡおよびＢと制御信号に基づいて第１の実施形態と同様に演算処理を実行する。この場合、図１６で太線の矢印で示すようにデータが画像処理部１ｂに対して入力される。
　以上のように第４の実施形態では、クロック供給部１２ｂ（クロック供給部かつ制御信号出力部）自身が、シーン情報に基いて、クロック供給部１２ｂのクロック出力と複数のセレクタ８１および８２を制御するための制御信号を生成して出力する。また、第４の実施形態では、第１の実施形態と同様、パイプライン演算処理部１１に供給されるクロック周波数に応じて適切なパイプライン段数でパイプライン動作させることができると共に不要なパイプラインレジスタ等による消費電力を容易に抑えることができる。
　また、第４の実施形態においてクロック供給部１２ｂは、外部メモリ４から入力したシーン情報をパラメータとして制御信号を生成して出力するとともに、クロック出力の状態を制御する。
＜第５の実施形態＞
　次に、本発明の第５の実施形態について図１７を参照して説明する。図１７は、本発明の第５の実施形態に係る画像処理部１ｃ（演算装置）および画像処理装置１００ｃの構成例を示す図である。なお、図１７において図１５に示す構成と同一あるいは対応する構成には同一の符号を付けて説明を省略する。第５の実施形態の画像処理装置１００ｃは、第４の実施形態の画像処理装置１００ｂと比較し、図１５に示す画像処理部１ｂに対応する構成である画像処理部１ｃの構成が異なる。すなわち、図１７に示す画像処理部１ｃは、新たにクロック周波数判定部１４（制御信号出力部）を備える。クロック周波数判定部１４は、外部メモリ４から取得したシーン情報とＣＰＵ２から供給される各種パラメータとに基づいて制御信号を生成し、クロック供給部１２とパイプライン演算処理部１１へ供給する。クロック供給部１２とパイプライン演算処理部１１の構成は、図１および図２に示す第１の実施形態のクロック供給部１２とパイプライン演算処理部１１の構成と同一である。
　第５の実施形態によれば、第４の実施形態と同様、シーン情報に基いて、クロック供給部１２のクロック出力と複数のセレクタ８１および８２を制御するための制御信号が生成および出力される。また、第５の実施形態によれば、第１の実施形態と同様、パイプライン演算処理部１１に供給されるクロック周波数に応じて適切なパイプライン段数でパイプライン動作させることができると共に不要なパイプラインレジスタ等による消費電力を容易に抑えることができる。
＜第６の実施形態＞
　次に、本発明の第６の実施形態について図１８を参照して説明する。図１８は、本発明の第６の実施形態に係る画像処理部１ｄ（演算装置）および画像処理装置１００ｄの構成例を示す図である。なお、図１８において図１７に示す構成と同一あるいは対応する構成には同一の符号を付けて説明を省略する。第６の実施形態の画像処理装置１００ｄは、第５の実施形態の画像処理装置１００ｃと比較し、シーン認識部９が省略されるとともに、図１７に示す画像処理部１ｃに対応する構成である画像処理部１ｄの構成が異なる。すなわち、図１８に示す画像処理部１ｄは、クロック周波数判定部１４ｄ（制御信号出力部）が、ＣＰＵ２から供給される各種パラメータとに基づいて制御信号を生成し、クロック供給部１２とパイプライン演算処理部１１へ供給する。ＣＰＵ２から供給されるパラメータは、入力されたデータに対するパイプライン演算処理部１１による演算の単位時間当たりの処理量に対応する第１情報を含む。第１情報は、例えば、表３に示すような撮像部の動作モードを表す情報である。クロック周波数判定部１４ｄは、少なくともこの第１情報に基いて制御信号を生成して出力することができる。なお、クロック供給部１２とパイプライン演算処理部１１の構成は、図１および図２に示す第１の実施形態のクロック供給部１２とパイプライン演算処理部１１の構成と同一である。
　第６の実施形態によれば、ＣＰＵ２から供給される各種パラメータに基いて、クロック周波数判定部１４ｄは、クロック供給部１２と、パイプライン演算処理部１１に、クロック出力と複数のセレクタ８１および８２を制御するための制御信号を生成および出力する。また、第６の実施形態によれば、第１の実施形態と同様、パイプライン演算処理部１１に供給されるクロック周波数に応じて適切なパイプライン段数でパイプライン動作させることができると共に不要なパイプラインレジスタ等による消費電力を容易に抑えることができる。
　以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。例えば、画像処理部１、パイプライン演算処理部１１等で処理するデータは画像データに限定されない。また、例えば、クロックの系統は、高速、中速、低速の３系統までを実施形態として説明したが、それに限らず、クロックの系統は４系統以上でもよい。また、制御信号について、制御信号は処理画素数ではなく、動作モードやバス帯域に応じて、フレーム単位やフレームを小ブロックに分割した小ブロック単位で変更してもよい。また、制御信号は画像処理部内のパラメータで判定することができるが、それに限らずクロック生成部内でクロックの分周比で判別して制御信号を生成してもよい。
　上記各態様の演算装置、画像処理装置および画像処理方法によれば、少なくとも、クロック周波数に応じて適切なパイプライン段数でパイプライン動作させると共に不要なパイプラインレジスタ等による消費電力を抑えることができる。
１、１ａ、１ｂ、１ｃ、１ｄ　　画像処理部（演算装置）
１００、１００ａ、１００ｂ、１００ｃ、１００ｄ　画像処理装置
２　ＣＰＵ
３、３ａ　クロック生成部（制御信号出力部）
３ｂ　クロック生成部
４　外部メモリ
５　バス
９　シーン認識部
１１、１１ａ、１１ｂ　パイプライン演算処理部
１２、１２ａ　クロック供給部
１２ｂ　クロック供給部（制御信号出力部）
１３　ＣＰＵ　Ｉ／Ｆ
１４、１４ｄ　クロック周波数判定部（制御信号出力部）
６１　パイプラインレジスタ（１）
６２　パイプラインレジスタ（２）
６３　パイプラインレジスタ（３）
６４　パイプラインレジスタ（４）
６５　パイプラインレジスタ（５）
８１１　パイプラインレジスタ（１１）
８１２　パイプラインレジスタ（１２）
８１３　パイプラインレジスタ（１３）
７１　演算回路（１）
７２　演算回路（２）
７３　演算回路（３）
７４　演算回路（４）
８１、８２、８３、８０１、８０２、８０３　セレクタ（データ選択部）

Claims (6)

  1. 　それぞれがパイプライン接続された複数の演算回路、複数のパイプラインレジスタおよび複数のデータ選択部から構成され、入力されたデータに演算を行い、演算結果を出力するパイプライン演算処理部と、
    　少なくとも２系統のクロック出力を有し、前記各系統を前記各パイプラインレジスタのいずれかに対応づけて、選択された１または複数の前記系統のクロック出力を、対応する前記系統の前記パイプラインレジスタに供給するクロック供給部と、
    　を具備し、
    　前記クロック供給部は、入力された制御信号に基いて、前記クロック出力の状態を前記系統毎に切り替え、
    　前記複数のデータ選択部は、前記制御信号により、前記パイプラインレジスタの出力または前記演算回路の出力のいずれかを選択して出力する
    　演算装置。
  2. 　入力されたパラメータに基いて、前記クロック供給部のクロック出力と前記複数のデータ選択部とを制御するための前記制御信号を生成して出力する制御信号出力部をさらに備え、
    　前記クロック供給部は、前記制御信号に応じて、いずれかの前記系統のクロック供給を停止する
    　請求項１に記載の演算装置。
  3. 　前記パラメータは、前記入力されたデータに対する前記演算の単位時間当たりの処理量に対応する第１情報を含み、
    　前記制御信号出力部は、少なくとも前記第１情報に基いて前記制御信号を生成して出力する
    　請求項２に記載の演算装置。
  4. 　入力された画像データのシーンを認識し、認識した結果をシーン情報として出力するシーン認識部と、
    　それぞれがパイプライン接続された複数の演算回路、複数のパイプラインレジスタおよび複数のデータ選択部から構成され、前記画像データに演算を行い、演算結果を出力するパイプライン演算処理部と、
    　少なくとも２系統のクロック出力を有し、前記各系統を前記各パイプラインレジスタのいずれかに対応づけて、選択された１または複数の前記系統のクロック出力を、対応する前記系統の前記パイプラインレジスタに供給するクロック供給部と、
    　前記シーン情報に基いて、前記クロック供給部のクロック出力と前記複数のデータ選択部とを制御するための制御信号を生成して出力する制御信号出力部と
    　を具備し、
    　前記クロック供給部は、前記制御信号に基いて、前記クロック出力の状態を前記系統毎に切り替え、
    　前記複数のデータ選択部は、前記制御信号により、前記パイプラインレジスタの出力または前記演算回路の出力のいずれかを選択して出力する
    　画像処理装置。
  5. 　前記クロック供給部は、前記制御信号に応じて、いずれかの前記系統のクロック供給を停止する
    　請求項４に記載の画像処理装置。
  6. 　入力された画像データのシーンを認識し、認識した結果をシーン情報として出力するシーン認識部と、
    　それぞれがパイプライン接続された複数の演算回路、複数のパイプラインレジスタおよび複数のデータ選択部から構成され、前記画像データに演算を行い、演算結果を出力するパイプライン演算処理部と、
    　少なくとも２系統のクロック出力を有し、前記各系統を前記各パイプラインレジスタのいずれかに対応づけて、選択された１または複数の前記系統のクロック出力を、対応する前記系統の前記パイプラインレジスタに供給するクロック供給部と、
    　前記シーン情報に基いて、前記クロック供給部のクロック出力と前記複数のデータ選択部とを制御するための制御信号を生成して出力する制御信号出力部と
    　を用いて、
    　前記クロック供給部は、前記制御信号に基いて、前記クロック出力の状態を前記系統毎に切り替え、
    　前記複数のデータ選択部は、前記制御信号により、前記パイプラインレジスタの出力または前記演算回路の出力のいずれかを選択して出力する
    　画像処理方法。
PCT/JP2016/065589 2016-05-26 2016-05-26 演算装置、画像処理装置および画像処理方法 WO2017203656A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2016/065589 WO2017203656A1 (ja) 2016-05-26 2016-05-26 演算装置、画像処理装置および画像処理方法
JP2018519514A JPWO2017204128A1 (ja) 2016-05-26 2017-05-19 演算装置、画像処理装置および画像処理方法
PCT/JP2017/018923 WO2017204128A1 (ja) 2016-05-26 2017-05-19 演算装置、画像処理装置および画像処理方法
US16/197,744 US20190094904A1 (en) 2016-05-26 2018-11-21 Calculation device, image-processing device, and image-processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065589 WO2017203656A1 (ja) 2016-05-26 2016-05-26 演算装置、画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
WO2017203656A1 true WO2017203656A1 (ja) 2017-11-30

Family

ID=60411154

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2016/065589 WO2017203656A1 (ja) 2016-05-26 2016-05-26 演算装置、画像処理装置および画像処理方法
PCT/JP2017/018923 WO2017204128A1 (ja) 2016-05-26 2017-05-19 演算装置、画像処理装置および画像処理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/018923 WO2017204128A1 (ja) 2016-05-26 2017-05-19 演算装置、画像処理装置および画像処理方法

Country Status (3)

Country Link
US (1) US20190094904A1 (ja)
JP (1) JPWO2017204128A1 (ja)
WO (2) WO2017203656A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2018029782A1 (ja) * 2016-08-09 2019-06-06 オリンパス株式会社 演算処理装置、画像処理装置、および撮像装置
US11256657B2 (en) * 2019-03-26 2022-02-22 Intel Corporation System, apparatus and method for adaptive interconnect routing

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516227A (ja) * 2002-01-28 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 複数のクロックドメインを有する回路のテスト
JP2015072583A (ja) * 2013-10-02 2015-04-16 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005516227A (ja) * 2002-01-28 2005-06-02 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 複数のクロックドメインを有する回路のテスト
JP2015072583A (ja) * 2013-10-02 2015-04-16 オリンパス株式会社 画像処理装置、画像処理方法、および撮像装置

Also Published As

Publication number Publication date
JPWO2017204128A1 (ja) 2019-03-22
WO2017204128A1 (ja) 2017-11-30
US20190094904A1 (en) 2019-03-28

Similar Documents

Publication Publication Date Title
JP2004007337A5 (ja)
JP5247568B2 (ja) 撮像装置及び撮像装置の制御方法
US11182887B2 (en) Method of processing images using high dynamic range while preserving frame rate and image processing device performing the same
WO2017204128A1 (ja) 演算装置、画像処理装置および画像処理方法
JP2004040260A (ja) 画素ブロックデータ生成装置および画素ブロックデータ生成方法
JP2024045292A (ja) パルス信号ベースの表示方法及び装置、電子デバイス、並びに媒体
JP6263025B2 (ja) 画像処理装置及びその制御方法
US10771681B2 (en) Imaging pickup apparatus of which display start timing and display quality are selectable, method of controlling the same
US10853919B2 (en) Image processing apparatus, image processing method, and program
JP2006303621A (ja) 撮像装置、映像出力方法および映像再生プログラム
JP2006094225A (ja) 画像処理装置、画像処理方法、およびそのプログラム
JP2021057824A (ja) 画像処理装置及び方法、及び撮像装置
JP5362137B2 (ja) 撮像装置及びその制御方法
JP2020076863A (ja) 表示装置および電子機器
US20190238812A1 (en) Image processing apparatus, image capturing apparatus, and image processing method
US20190149734A1 (en) Arithmetic processing device, image processing device, and imaging device
JP5278497B2 (ja) 画像処理装置及び画像処理方法
JP4802482B2 (ja) 画像処理装置及び画像処理方法
JP6320652B2 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
JP2018005389A (ja) 画像変形回路、画像処理装置、及び画像変形方法
JP6399891B2 (ja) 撮像装置
JP2020102789A (ja) 表示装置
JP2018195891A (ja) 撮像装置
CN112514360A (zh) 图像处理装置
JPH0676051A (ja) 並列画像処理装置

Legal Events

Date Code Title Description
NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903137

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16903137

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP