WO2020241855A1 - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

画像処理装置、画像処理方法、および画像処理プログラム Download PDF

Info

Publication number
WO2020241855A1
WO2020241855A1 PCT/JP2020/021429 JP2020021429W WO2020241855A1 WO 2020241855 A1 WO2020241855 A1 WO 2020241855A1 JP 2020021429 W JP2020021429 W JP 2020021429W WO 2020241855 A1 WO2020241855 A1 WO 2020241855A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
image processing
image
display area
reference area
Prior art date
Application number
PCT/JP2020/021429
Other languages
English (en)
French (fr)
Inventor
寺田 昌弘
覚 若林
太郎 斎藤
哲也 水澤
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2021522914A priority Critical patent/JP7114807B2/ja
Publication of WO2020241855A1 publication Critical patent/WO2020241855A1/ja
Priority to US17/523,827 priority patent/US20220070370A1/en
Priority to JP2022119931A priority patent/JP7321336B2/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen

Definitions

  • the present disclosure relates to an image processing apparatus, an image processing method, and an image processing program.
  • the present disclosure provides an image processing apparatus, an image processing method, and an image processing program capable of performing good image processing when performing image processing on a part of an area in an image indicated by image data.
  • the purpose is.
  • the image processing apparatus includes at least one processor, in which the processor sets a reference area, which is a part of the image indicated by the image data, and the set reference area is included in the image.
  • Information about the reference area including the image processing parameters of the position and the reference area is saved in association with the image data, and any area in the image is set as the display area, and the reference area and the display area are referred to when they are different.
  • the image processing parameter of the display area is generated based on the image processing parameter of the area, and the processed image obtained by performing the image processing on the display area is output based on the image processing parameter of the generated display area.
  • the processor indicates which image processing parameter among the image processing parameters of the plurality of reference areas is prioritized when there are a plurality of reference areas as information regarding the reference area.
  • the priority can be set, and the processor may generate the image processing parameters of the display area based on the priority of the reference area and the image processing parameters of the reference area.
  • the processor may generate an image processing parameter of the display area based on the distance between the reference area and the display area and the image processing parameter of the reference area.
  • the processor may generate an image processing parameter of the display area based on the area of the reference area and the image processing parameter of the reference area.
  • the image data is RAW image data
  • the image processing performed by the processor may include development processing for the RAW image data
  • the image processing method includes a reference area setting step for setting a reference area which is a part of the image indicated by the image data, and a position of the set reference area in the image and a reference area.
  • a reference area setting step for setting a reference area which is a part of the image indicated by the image data, and a position of the set reference area in the image and a reference area.
  • the display area setting step of setting an arbitrary area in the image as the display area.
  • the image processing program includes a reference area setting step for setting a reference area which is a part of the image indicated by the image data, and a position of the set reference area in the image and the reference area.
  • a reference area setting step for setting a reference area which is a part of the image indicated by the image data, and a position of the set reference area in the image and the reference area.
  • FIG. 1 Schematic configuration diagram of an image display system to which the image processing apparatus according to the first embodiment is applied.
  • the figure which shows the display example of the image in the said image display system The figure which shows the structure of the image shown in FIG.
  • the figure which shows the structure of the image shown in FIG. The figure which shows the structure of the image shown in FIG.
  • the figure which shows the enlarged state of a part of the image shown in FIG. The figure which shows the enlarged state of a part of the image shown in FIG.
  • FIG. 1 Schematic configuration diagram of an image display system to which the image processing apparatus according to the first embodiment is applied.
  • the figure which shows the display example of the image in the said image display system The figure which shows the structure of the image shown in FIG.
  • the figure which shows the structure of the image shown in FIG. The figure which shows the enlarged state of a part of the image shown in FIG.
  • the figure which shows the enlarged state of a part of the image shown in FIG. The figure which shows the enlarged state of a part of the image
  • Block diagram showing the hardware configuration of the image processing device Block diagram showing an example of the functional configuration of an image processing device Block diagram showing the hardware configuration of the terminal Diagram showing the relationship between the reference area and the display area in the image
  • Flow chart explaining the flow of processing when displaying an image in an image display system Flow chart explaining the flow of processing when acquiring development parameters in the image processing device Flow chart explaining the flow of processing when acquiring development parameters in the image processing device
  • a table showing the development parameter calculation method for each display area form A table showing the development parameter calculation method for each display area in the image display system according to the second embodiment.
  • Flow chart explaining the flow of processing when acquiring development parameters in the image processing device Flow chart explaining the flow of processing when acquiring development parameters in the image processing device Diagram showing the relationship between the reference area and the display area in the image
  • FIG. 1 is a schematic configuration diagram of an image display system to which an image processing apparatus according to the first embodiment of the present disclosure is applied.
  • the image display system 1 shown in FIG. 1 is a system in which development processing can be requested from a terminal connected via a network to RAW image data (an example of image data) managed on the cloud.
  • RAW image data an example of image data
  • FIG. 2 is a diagram showing an image display example in an image display system.
  • the image shown in FIG. 2 is a landscape image of the city on the opposite bank over the river, with a yacht floating on the river and a group of buildings on the opposite bank.
  • the image shown in FIG. 2 is referred to as an overall image G0 that captures the entire landscape.
  • the whole image G0 is an image generated by being developed based on RAW image data which is an example of image data, as will be described later.
  • 3 and 4 are diagrams showing the configuration of the entire image G0 shown in FIG. 5 to 7 are views showing enlarged images G1A, G2A, and G3A which are a part of the whole image G0 shown in FIG. 2.
  • the image display system 1 includes an image processing device 10 and a plurality of terminals 20 capable of communicating with the image processing device 10.
  • the image processing device 10 and the terminal 20 are connected to each other via a network such as the Internet, and when viewed from the terminal 20, the image processing device 10 seems to exist above the clouds. Therefore, the image processing device 10 connected via the network is called a cloud.
  • the image processing device 10 may be referred to as a cloud in the following.
  • the image processing device 10 develops the RAW image data based on the instruction from the terminal 20, and transmits the developed image data to the terminal 20. More specifically, when the image processing device 10 receives the designation of the RAW image data to be developed from the terminal 20, as shown in FIG. 2, the image processing device 10 generates the entire image G0 of the designated RAW image data, and the terminal 20 generates the entire image G0. Display it.
  • RAW image data As the resolution of the RAW image data handled by the image processing device 10, it is possible to handle very high resolution RAW image data such as 8K (for example, 7680 ⁇ 4320) resolution or higher resolution.
  • Such high-resolution RAW image data may be RAW image data taken by one high-resolution camera as shown in FIG. 3, or may be more than the camera shown in FIG. 3 as shown in FIG.
  • RAW image data may be obtained by combining image data taken by a plurality of low-resolution cameras into one.
  • the image processing device 10 When the image processing device 10 receives an instruction from the terminal 20 to enlarge and display only a part of the entire image G0, the image processing device 10 can enlarge the entire image G0 only in the designated area. For example, in the terminal 20, when the display area G1 including the building group is designated from the entire image G0, as shown in FIG. 5, the image processing device 10 has the entire display area G1 including the building group. Development is performed based on the RAW image data of the image G0 to generate an enlarged image G1A. Then, the image processing device 10 transmits the enlarged image G1A to the terminal 20. The terminal 20 displays the received enlarged image G1A.
  • the image processing device 10 displays the entire image G0 only for the display area G2 including the yacht, as shown in FIG. Developed based on the RAW image data of the above to generate an enlarged image G2A. Then, the image processing device 10 transmits the enlarged image G2A to the terminal 20. The terminal 20 displays the received enlarged image G2A.
  • the image processing device 10 displays the entire image G0 only for the display area G3 including the sun. Development is performed based on the RAW image data of the above to generate an enlarged image G3A. Then, the image processing device 10 transmits the enlarged image G3A to the terminal 20. The terminal 20 displays the received enlarged image G3A.
  • the image processing device 10 can perform development using individually different development parameters for development parameters (an example of image processing parameters) when generating the entire image G0 and display areas G1 to G3.
  • development is performed with a dark tone with an emphasis on the overall atmosphere.
  • FIGS. 5 to 7 in the display areas G1 to G3, development is performed with a tone brighter than that of the entire image G0 so that the details of the subject in each area can be easily understood.
  • FIG. 8 is a block diagram showing the hardware configuration of the image processing device.
  • the image processing device 10 includes a CPU (Central Processing Unit: processor) 11, a ROM (Read Only Memory) 12, a RAM (Random Access Memory) 13, a storage 14, and a communication interface 15. Each configuration is communicably connected to each other via a bus 16.
  • the image processing device 10 constitutes a so-called server.
  • the CPU 11 is a central arithmetic processing unit that executes various programs and controls each part. That is, the CPU 11 reads the program from the ROM 12 or the storage 14, and executes the program using the RAM 13 as a work area. The CPU 11 controls each of the above configurations and performs various arithmetic processes according to the program recorded in the ROM 12 or the storage 14. In the present embodiment, the image processing program is stored in the ROM 12 or the storage 14.
  • the ROM 12 stores various programs and various data.
  • the RAM 13 temporarily stores a program or data as a work area.
  • the storage 14 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data including RAW image data.
  • the communication interface 15 is an interface for the image processing device 10 to communicate with the terminal 20 and other devices, and is, for example, Ethernet (registered trademark), FDDI (Fiber Distributed Data Interface), Wi-Fi (registered trademark), or the like. Standards are used.
  • the image processing device 10 When executing the above image processing program, the image processing device 10 realizes various functions by using the above hardware resources. The functional configuration realized by the image processing apparatus 10 will be described.
  • FIG. 9 is a block diagram showing an example of the functional configuration of the image processing device.
  • the image processing device 10 has a reference area setting unit 101, a storage unit 102, a display area setting unit 103, and an image output unit 104 as functional configurations.
  • Each functional configuration is realized by the CPU 11 reading and executing the image processing program stored in the ROM 12 or the storage 14.
  • the reference area setting unit 101 sets a reference area which is a part of the image indicated by the RAW image data.
  • the storage unit 102 stores the information about the reference area including the position of the set reference area in the image and the image processing parameters of the reference area in association with the image data.
  • the display area setting unit 103 sets an arbitrary area in the image as a display area.
  • the image output unit 104 When the reference area and the display area are different, the image output unit 104 generates an image processing parameter of the display area based on the image processing parameter of the reference area, and the display area based on the image processing parameter of the generated display area. Outputs the processed image that has been developed.
  • FIG. 10 is a block diagram showing the hardware configuration of the terminal.
  • the terminal 20 has a CPU 21, a ROM 22, a RAM 23, a storage 24, a monitor 25, a user interface 26, and a communication interface 27.
  • Each configuration is communicably connected to each other via a bus 28.
  • the CPU 21 is a central arithmetic processing unit that executes various programs and controls each part. That is, the CPU 21 reads the program from the ROM 22 or the storage 24, and executes the program using the RAM 23 as a work area. The CPU 21 controls each of the above configurations and performs various arithmetic processes according to the program recorded in the ROM 22 or the storage 24.
  • the ROM 22 stores various programs and various data.
  • the RAM 23 temporarily stores a program or data as a work area.
  • the storage 24 is composed of an HDD (Hard Disk Drive) or an SSD (Solid State Drive), and stores various programs including an operating system and various data.
  • Various programs include an image display application described later.
  • a display device such as a liquid crystal display or an organic EL (Electroluminescence) display is used.
  • the user interface 26 is an interface when a user such as an editor or a viewer uses the terminal 20.
  • the user interface 26 includes, for example, at least one such as a display, a keyboard, and a mouse having a touch panel that enables a touch operation by the user.
  • the communication interface 27 is an interface for the terminal 20 to communicate with the image processing device 10 and other devices, and for example, standards such as Ethernet (registered trademark), FDDI, and Wi-Fi (registered trademark) are used.
  • FIG. 11 is a diagram showing the relationship between the reference area and the display area in the image.
  • development parameters required for development are set for each RAW image data prior to image display. Specifically, as shown in FIG. 11, the development parameters are set by the editor for the entire area R0 of the image indicated by the RAW image data. Further, the coordinates, size, priority, and development parameters of each reference area are set by the editor for the reference areas R1 to R5, which are a part of the image indicated by the RAW image data. These settings are made by the editor via the terminal 20.
  • the reference areas for setting the development parameters are set at several places in the entire area R0 around the subject, which is likely to be of interest to the viewer, for each RAW image data.
  • FIG. 12 is a diagram showing an example of a data table such as development parameters set for each RAW image data. Note that the data table of FIG. 12 does not correspond to the number, coordinates, area, etc. of the image shown in FIG. 11 and the reference area, and is merely an example of the contents of the data table.
  • the data table contains information on starting point coordinates, area size, priority, area ratio with respect to the entire area, and development parameters for the entire area 0 and a plurality of reference areas 1, 2, 3, ... including.
  • Development parameters include parameters such as brightness, color density, color temperature, film mode (F-mode in FIG. 12), sharpness, and noise.
  • the creation of the data table as described above may be performed by one editor via the terminal 20, or may be performed by a plurality of editors via the plurality of terminals 20.
  • the RAW image data and the data table are associated and stored in the storage 14.
  • FIG. 13 is a flowchart illustrating a processing flow at the time of displaying an image in the image display system.
  • both the editor and non-editor users can specify the display area without setting development parameters for the RAW image data.
  • the image can be displayed just by doing.
  • the users at the time of displaying the image are collectively referred to as a viewer.
  • the CPU 21 receives the RAW image data.
  • An image display request including specific information and display area information is transmitted to the image processing device 10 (step ST1).
  • an arbitrary rectangular area in the image indicated by the RAW image data can be set as the display area via the user interface 26.
  • the CPU 11 acquires RAW image data from the storage 14 (step SS2). Next, the CPU 11 acquires development parameters for developing the RAW image data (step SS3).
  • FIG. 14 and 15 are flowcharts for explaining the flow of processing at the time of acquiring development parameters in the image processing apparatus.
  • FIG. 16 is a table showing a development parameter calculation method for each form of the display area.
  • the CPU 11 determines whether or not there is a reference area that matches the display area designated in the terminal 20 (step SS11). If it is determined in step SS11 that there is a reference area that matches the display area (determination result Yes), the CPU 11 refers to the data table stored in the storage 14 and develops parameters for the reference area that matches the display area. Is acquired as a development parameter of the display area (step SS12). Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS11 If it is determined in step SS11 that there is no reference area that matches the display area (determination result No.), the CPU 11 refers to the data table stored in the storage 14 and is based on the development parameters of the reference area. Generate development parameters for the display area (step SS13).
  • step SS13 the processing in step SS13 will be described in detail.
  • the CPU 11 determines whether or not there is a reference area that completely includes the display area designated by the terminal 20 (step SS21).
  • step SS21 determines whether or not there is a reference area completely including the display area.
  • step SS22 determines whether or not there is a plurality of reference areas completely including the display area.
  • the display areas S1 and S2 correspond to the Yes determination in step SS21.
  • step SS23 the CPU 11 calculates the development parameters with the display area as the multiple inclusion area (step SS23).
  • the display area S1 corresponds to the display area of the multiple inclusion area.
  • the CPU 11 refers to the data table stored in the storage 14, and is included in the reference area completely including the display area. , The development parameter of the reference area having the highest priority is acquired as the development parameter of the display area. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS22 when it is determined that there is no plurality of reference areas (that is, only one) completely including the display area (determination result No.), the CPU 11 calculates the development parameter with the display area as a single inclusion area.
  • Step SS24 the display area S2 corresponds to the display area of the single inclusion area.
  • the CPU 11 refers to the data table stored in the storage 14 and develops the reference area completely including the display area. The parameter is acquired as the development parameter of the display area. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS21 When it is determined in step SS21 that there is no reference area completely including the display area (determination result No.), the CPU 11 further determines whether or not there is a reference area overlapping the display area (step SS25).
  • the display areas S3, S4, S5, and S6 correspond to the No determination in step SS21.
  • step SS26 the CPU 11 calculates the development parameters with the display area as a partially shared area (step SS26).
  • the display area of the partially shared area corresponds to the display areas S3, S4, and S5.
  • the CPU 11 refers to the data table stored in the storage 14, and has the highest priority among the overlapping reference areas.
  • the development parameters of the reference area with a high degree are acquired as the development parameters of the display area. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS27 the display area S6 corresponds to the display area of the isolated area.
  • the CPU 11 refers to the data table stored in the storage 14, and sets the development parameters of the entire area to the development parameters of the display area. Get as. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • the CPU 11 develops the display area based on the acquired development parameters (step SS4).
  • the CPU 11 transmits the image data obtained as a result of the development process to the terminal 20 (step SS5).
  • the CPU 21 acquires image data from the image processing device 10 (step ST2), displays the acquired image data on the monitor 25 (step ST3), and ends the process.
  • the image processing device 10 of the present embodiment sets and refers to a reference area which is a part of the image indicated by the RAW image data (an example of the image data) prior to the image display.
  • Information about the reference area including the position of the area in the image and the development parameters of the reference area (an example of image processing parameters), is stored in association with the RAW image data. Then, when the display area designated in the terminal 20 and the reference area are different, the development parameters of the display area are generated based on the development parameters of the reference area, and the development parameters of the generated display area are used for the display area.
  • the image processed by the image is output.
  • the priority of the reference area is set, and the image processing parameters of the display area are generated based on the priority of the reference area and the image processing parameters of the reference area.
  • FIG. 17 is a table showing a development parameter calculation method for each form of the display area.
  • step SS23 the CPU 11 calculates the development parameters with the display area as the multiple inclusion area (step SS23). ).
  • the CPU 11 refers to the data table stored in the storage 14, and is included in the reference area completely including the display area. , The development parameter of the reference area having the smallest area is acquired as the development parameter of the display area. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS22 of the flowchart of FIG. 15 when it is determined that there is no plurality of reference areas (that is, only one) completely including the display area (determination result No.), the CPU 11 sets the display area as a single inclusion area. , Calculate the development parameters (step SS24).
  • the CPU 11 refers to the data table stored in the storage 14 and develops the reference area completely including the display area. Acquire the parameter as the development parameter of the display area. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS25 of the flowchart of FIG. 15 determines that there is a reference area that overlaps with the display area (determination result Yes).
  • the CPU 11 calculates the development parameters with the display area as a partially shared area (step SS26).
  • the development parameter is calculated by the calculation method considering the area of the reference area.
  • FIG. 18 is a flowchart illustrating a calculation method in consideration of the area of the reference region.
  • the CPU 11 determines whether or not there are a plurality of reference areas that overlap with the display area designated in the terminal 20 (step SS31).
  • step SS32 or step SS33 the CPU 11 determines the area ratio of the reference areas A and B ⁇ the display area and the reference area A, regarding the brightness, the color density, and the color temperature among the adjustment values of the reference areas A and B.
  • a weighted average value is calculated based on the area ratio of the overlapping portion of B (step SS34).
  • P Pa ⁇ ⁇ A // (A + B) ⁇ ⁇ ⁇ a / (a + b) ⁇ + Pb ⁇ ⁇ B ⁇ / (A + B) ⁇ ⁇ ⁇ b / (a + b) ⁇ here, P: Weighted average value Pa, Pb: Development parameters of reference areas A and B A, B: Area of reference areas A and B a, b: Area of overlap between display area and reference areas A and B
  • step SS35 the CPU 11 changes the brightness, color density, and color temperature to the calculated values for the default development parameters. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS25 of the flowchart of FIG. 15 determines that there is no reference area overlapping the display area (determination result No.)
  • the CPU 11 calculates the development parameter with the display area as an isolated area (step SS27).
  • the development parameter is calculated by the calculation method considering the distance between the reference area and the display area.
  • FIG. 19 is a flowchart illustrating a calculation method in consideration of the area of the reference area.
  • FIG. 20 is a diagram showing the relationship between the reference area and the display area in the image.
  • the CPU 11 determines whether or not there is a reference area whose distance from the display area designated by the terminal 20 is within the reference value D (step SS41). In the determination here, as shown in the display area S13 of FIG. 20, it is determined whether or not there is a reference area in an area within which the distance is within the reference value D from each of the four vertices of the display area. In step SS41, when it is determined that there is a reference area whose distance from the display area is within the reference value D (determination result Yes), the CPU 11 has the distance from the display area designated by the terminal 20 within the reference value D. It is determined whether or not there are a plurality of reference areas (step SS42).
  • Area A adjustment value closest reference area value
  • reference area B position and size second closest reference area value
  • reference area B adjustment value second closest reference area value
  • default development parameters The development parameter of the reference area A is set (step SS43).
  • the display area S12 corresponds to this aspect.
  • the CPU 11 calculates the weighted average of the adjustment values of the reference areas A and B with respect to the brightness, the color density, and the color temperature by the reciprocal of the distance from the display area to the reference areas A and B. (Step SS44).
  • step SS45 the CPU 11 changes the brightness, color density, and color temperature to the calculated values for the default development parameters. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • Area A adjustment value closest reference area value
  • reference area B position and size display area value
  • reference area B adjustment value overall area value
  • default development parameter reference area A development parameter.
  • the CPU 11 weights and averages the brightness, color density, and color temperature of the adjustment values of the reference areas A and B by the ratio of the distance from the display area to the reference area A with respect to the reference value D. Calculate (step SS47).
  • step SS45 the CPU 11 changes the brightness, color density, and color temperature to the calculated values for the default development parameters. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • step SS41 When it is determined in step SS41 that there is no reference area whose distance from the display area is within the reference value D (determination result No.), the CPU 11 refers to the data table stored in the storage 14 and develops the entire area. The parameters are acquired as development parameters in the display area (step SS48). In FIG. 20, the display area S13 corresponds to this aspect. Then, the process proceeds to step SS4 of the flowchart of FIG.
  • the development parameters are calculated by the calculation method considering the area of the reference area for the display area of the partially shared area, the development process that more reflects the intention of the editor can be performed.
  • the development parameters are calculated by the calculation method considering the distance between the reference area and the display area for the display area of the isolated area, the development process that more reflects the intention of the editor can be performed. ..
  • the image data handled by the image processing apparatus of the present disclosure is not limited to RAW image data, and may be any image data such as high-resolution rendered image data.
  • the image processing is not limited to the development processing, and any image processing may be used.
  • the storage destination of the image data is not limited to the mode of saving in the storage in the image processing device, but may be the mode of saving in an image server separate from the image processing device.
  • various processors other than the CPU may execute the processing in which the CPUs 11 and 21 read the software (an example of a program) and execute the software.
  • the processors include PLD (Programmable Logic Device) whose circuit configuration can be changed after manufacturing FPGA (Field-Programmable Gate Array), and ASIC (Application Specific Integrated Circuit) for executing ASIC (Application Special Integrated Circuit).
  • PLD Programmable Logic Device
  • FPGA Field-Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • An example is a dedicated electric circuit or the like, which is a processor having a circuit configuration designed exclusively for it.
  • each process may be executed by one of these various processors, or a combination of two or more processors of the same type or different types (for example, a plurality of FPGAs, and a combination of a CPU and an FPGA, etc.). ) May be executed.
  • the hardware structure of these various processors is, more specifically, an electric circuit in which circuit elements such as semiconductor elements are combined.
  • the mode in which the image display program is stored (for example, installed) in the ROM 12 or the storage 14 in advance has been described, but the present invention is not limited to this.
  • the program is provided in a form recorded on a recording medium such as a CD-ROM (Compact Disk Read Only Memory), a DVD-ROM (Digital entirely Disk Online Memory), and a USB (Universal Serial Bus) memory. Further, the program may be downloaded from an external device via a network.
  • the technique of the present disclosure extends to a storage medium for storing the program non-temporarily.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

画像処理装置は、少なくとも1つのプロセッサを備え、プロセッサは、画像データが示す画像内の一部の領域である参照領域を設定し、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報と、画像データとを関連付けて保存し、画像内の任意の領域を表示領域として設定し、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成し、生成した表示領域の画像処理パラメータに基づいて、表示領域に対して画像処理を行った処理済みの画像を出力する。

Description

画像処理装置、画像処理方法、および画像処理プログラム
 本開示は、画像処理装置、画像処理方法、および画像処理プログラムに関する。
 RAW画像データが示す画像内の一部の領域のみについて、現像処理を行って表示することが可能な画像処理装置が提案されている(特開2004-40559号公報および特開2013-127819号公報参照)。
 本開示は、画像データが示す画像内の一部の領域に対して画像処理を行う場合に、良好な画像処理を施すことが可能な画像処理装置、画像処理方法、および画像処理プログラムを提供することを目的とする。
 本開示の一態様に係る画像処理装置は、少なくとも1つのプロセッサを備え、プロセッサは、画像データが示す画像内の一部の領域である参照領域を設定し、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報と、画像データとを関連付けて保存し、画像内の任意の領域を表示領域として設定し、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成し、生成した表示領域の画像処理パラメータに基づいて、表示領域に対して画像処理を行った処理済みの画像を出力する。
 上記態様の画像処理装置においては、プロセッサは、参照領域に関する情報として、参照領域が複数ある場合に、複数の参照領域の画像処理パラメータのうちのどの画像処理パラメータを優先するかを示す参照領域の優先度を設定可能であり、プロセッサは、参照領域の優先度と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成してもよい。
 また、上記態様の画像処理装置においては、プロセッサは、参照領域と表示領域との距離と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成してもよい。
 また、上記態様の画像処理装置においては、プロセッサは、参照領域の面積と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成してもよい。
 また、上記態様の画像処理装置においては、画像データは、RAW画像データであり、プロセッサが行う画像処理は、RAW画像データに対する現像処理を含んでもよい。
 本開示の一態様に係る画像処理方法は、画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報と、画像データとを関連付けて保存する保存ステップと、画像内の任意の領域を表示領域として設定する表示領域設定ステップと、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成し、生成した表示領域の画像処理パラメータに基づいて、表示領域に対して画像処理を行った処理済みの画像を出力する画像出力ステップとを備える。
 本開示の一態様に係る画像処理プログラムは、画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報と、画像データとを関連付けて保存する保存ステップと、画像内の任意の領域を表示領域として設定する表示領域設定ステップと、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成し、生成した表示領域の画像処理パラメータに基づいて、表示領域に対して画像処理を行った処理済みの画像を出力する画像出力ステップとをコンピュータに実行させる。
第1の実施の形態による画像処理装置を適用した画像表示システムの概略構成図 上記画像表示システムにおける画像の表示例を示す図 図2に示す画像の構成を示す図 図2に示す画像の構成を示す図 図2に示す画像の一部を拡大した状態を示す図 図2に示す画像の一部を拡大した状態を示す図 図2に示す画像の一部を拡大した状態を示す図 画像処理装置のハードウェア構成を示すブロック図 画像処理装置の機能構成の例を示すブロック図 端末のハードウェア構成を示すブロック図 画像中の参照領域と表示領域との関係を示す図 RAW画像データ毎に設定される現像パラメータ等のデータテーブルの一例を示す図 画像表示システムにおける画像表示時の処理の流れを説明するフローチャート 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 表示領域の形態毎の現像パラメータ算出方法を示す表 第2の実施の形態による画像表示システムにおける表示領域の形態毎の現像パラメータ算出方法を示す表 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャート 画像中の参照領域と表示領域との関係を示す図
[第1の実施の形態]
 以下、図面を参照して本開示の実施の形態について説明する。図1は本開示の第1の実施の形態による画像処理装置を適用した画像表示システムの概略構成図である。図1に示す画像表示システム1は、クラウド上で管理されたRAW画像データ(画像データの一例である)に対して、ネットワークを介して接続された端末から現像処理が依頼可能なシステムである。
 図2は、画像表示システムにおける画像の表示例を示す図である。図2に示す画像は、川越しに対岸の街を写した風景画像であり、川にはヨットが浮かんでおり、対岸の街には複数のビル群がある。図2に示す画像を、風景全体を写した全体画像G0と呼ぶ。全体画像G0は、後述する通り、画像データの一例であるRAW画像データに基づいて現像されることにより生成された画像である。図3,4は、図2に示す全体画像G0の構成を示す図である。図5~7は、図2に示す全体画像G0の一部を拡大した拡大画像G1A、G2A、およびG3Aを示す図である。
 図1に示すように、画像表示システム1は、画像処理装置10と、画像処理装置10と通信可能な複数の端末20とを含む。画像処理装置10と端末20とは、インターネット等のネットワークを介して接続されており、端末20から見ると画像処理装置10は雲の上に存在するようにも見える。そのため、ネットワークを介して接続される画像処理装置10はクラウドと呼ばれる。本明細書では、以下において、画像処理装置10をクラウドと呼ぶ場合がある。
 画像処理装置10は、端末20からの指示に基づいてRAW画像データの現像を行い、現像後の画像データを端末20に送信する。より詳細には、画像処理装置10は、端末20から現像対象のRAW画像データの指定を受けると、図2に示すように、指定されたRAW画像データの全体画像G0を生成し、端末20において表示させる。
 画像処理装置10で扱うRAW画像データの解像度としては、例えば8K(例えば、7680×4320)解像度、またはそれ以上の解像度等、非常に高解像度のRAW画像データを扱うことができる。このような高解像度のRAW画像データとしては、図3に示すように、1つの高解像度のカメラにより撮影されたRAW画像データでもよいし、図4に示すように、図3に示すカメラよりも解像度が低い複数のカメラにより撮影された画像データを1つに結合したRAW画像データでもよい。
 画像処理装置10は、端末20から全体画像G0中の一部の領域のみを拡大表示する指示を受けると、指定された領域のみについて、全体画像G0を拡大することができる。例えば、端末20において、全体画像G0の中から、ビル群を含む表示領域G1が指定された場合、図5に示すように、画像処理装置10は、ビル群を含む表示領域G1のみについて、全体画像G0のRAW画像データに基づいて現像を行って拡大画像G1Aを生成する。そして、画像処理装置10は、拡大画像G1Aを端末20に送信する。端末20は、受信した拡大画像G1Aを表示する。
 また、端末20において、全体画像G0の中から、ヨットを含む表示領域G2が指定された場合、図6に示すように、画像処理装置10は、ヨットを含む表示領域G2のみについて、全体画像G0のRAW画像データに基づいて現像を行って拡大画像G2Aを生成する。そして、画像処理装置10は、拡大画像G2Aを端末20に送信する。端末20は、受信した拡大画像G2Aを表示する。
 また、端末20において、全体画像G0の中から、太陽を含む表示領域G3が指定された場合、図7に示すように、画像処理装置10は、太陽を含む表示領域G3のみについて、全体画像G0のRAW画像データに基づいて現像を行って拡大画像G3Aを生成する。そして、画像処理装置10は、拡大画像G3Aを端末20に送信する。端末20は、受信した拡大画像G3Aを表示する。
 画像処理装置10は、全体画像G0および表示領域G1~G3を生成するときの現像パラメータ(画像処理パラメータの一例である)について、個別に異なる現像パラメータを用いて現像を行うことができる。
 例えば、図2に示すように、全体画像G0では、全体の雰囲気を重視して暗めのトーンで現像を行っている。また、図5~7に示すように、表示領域G1~G3では、各領域の被写体のディティールが分かり易いように、全体画像G0よりも明るめのトーンで現像を行っている。
 図8は、画像処理装置のハードウェア構成を示すブロック図である。図8に示すように、画像処理装置10は、CPU(Central Processing Unit:プロセッサ)11、ROM(Read Only Memory)12、RAM(Random Access Memory)13、ストレージ14、および通信インタフェース15を有する。各構成は、バス16を介して相互に通信可能に接続されている。画像処理装置10は、いわゆるサーバを構成する。
 CPU11は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU11は、ROM12またはストレージ14からプログラムを読み出し、RAM13を作業領域としてプログラムを実行する。CPU11は、ROM12またはストレージ14に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。本実施形態では、ROM12またはストレージ14には、画像処理プログラムが格納されている。
 ROM12は、各種プログラムおよび各種データを格納する。RAM13は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ14は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、およびRAW画像データを含む各種データを格納する。
 通信インタフェース15は、画像処理装置10が端末20および他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI(Fiber Distributed Data Interface)、Wi-Fi(登録商標)等の規格が用いられる。
 上記の画像処理プログラムを実行する際に、画像処理装置10は、上記のハードウェア資源を用いて、各種の機能を実現する。画像処理装置10が実現する機能構成について説明する。
 図9は、画像処理装置の機能構成の例を示すブロック図である。図9に示すように、画像処理装置10は、機能構成として、参照領域設定部101、保存部102、表示領域設定部103、および画像出力部104を有する。各機能構成は、CPU11がROM12またはストレージ14に記憶された画像処理プログラムを読み出し、実行することにより実現される。
 参照領域設定部101は、RAW画像データが示す画像内の一部の領域である参照領域を設定する。
 保存部102は、設定された参照領域の画像内の位置および参照領域の画像処理パラメータを含む参照領域に関する情報と、画像データとを関連付けて保存する。
 表示領域設定部103は、画像内の任意の領域を表示領域として設定する。
 画像出力部104は、参照領域と表示領域とが異なる場合に、参照領域の画像処理パラメータに基づいて表示領域の画像処理パラメータを生成し、生成した表示領域の画像処理パラメータに基づいて、表示領域に対して現像処理を行った処理済みの画像を出力する。
 図10は、端末のハードウェア構成を示すブロック図である。図10に示すように、端末20は、CPU21、ROM22、RAM23、ストレージ24、モニタ25、ユーザインタフェース26、および通信インタフェース27を有する。各構成は、バス28を介して相互に通信可能に接続されている。
 CPU21は、中央演算処理ユニットであり、各種プログラムを実行したり、各部を制御したりする。すなわち、CPU21は、ROM22またはストレージ24からプログラムを読み出し、RAM23を作業領域としてプログラムを実行する。CPU21は、ROM22またはストレージ24に記録されているプログラムにしたがって、上記各構成の制御および各種の演算処理を行う。
 ROM22は、各種プログラムおよび各種データを格納する。RAM23は、作業領域として一時的にプログラムまたはデータを記憶する。ストレージ24は、HDD(Hard Disk Drive)またはSSD(Solid State Drive)により構成され、オペレーティングシステムを含む各種プログラム、および各種データを格納する。各種プログラムには、後述する画像表示アプリケーションが含まれる。
 モニタ25は、液晶ディスプレイまたは有機EL(Electro Luminescence)ディスプレイ等の表示デバイスが用いられる。
 ユーザインタフェース26は、編集者または閲覧者等のユーザが端末20を使用する際のインタフェースである。ユーザインタフェース26は、例えば、ユーザによるタッチ操作を可能とするタッチパネルを備えたディスプレイ、キーボード、およびマウス等の少なくとも一つを含む。
 通信インタフェース27は、端末20が画像処理装置10および他の機器と通信するためのインタフェースであり、たとえば、イーサネット(登録商標)、FDDI、Wi-Fi(登録商標)等の規格が用いられる。
[処理の流れ]
 次に、本実施の形態において行われる処理について説明する。図11は、画像中の参照領域と表示領域との関係を示す図である。
 画像処理装置10においては、画像表示に先だって、RAW画像データ毎に現像の際に必要な現像パラメータが設定される。具体的には、図11に示すように、RAW画像データが示す画像の全体領域R0について、現像パラメータが編集者により設定される。また、RAW画像データが示す画像内の一部の領域である参照領域R1~R5について、各参照領域の座標、サイズ、優先度、および現像パラメータが編集者により設定される。これらの設定は、端末20を介して編集者により行われる。
 なお、高解像度のRAW画像データの全領域を細分化し、細分化した全ての領域について個別に現像パラメータを設定することは、手間が非常にかかるため現実的ではない。そのため、一般的に、現像パラメータを設定する参照領域は、RAW画像データ毎に、全体領域R0の中で閲覧者が関心を持ちそうな被写体周辺の領域について、数カ所程度設定する。
 図12は、RAW画像データ毎に設定される現像パラメータ等のデータテーブルの一例を示す図である。なお、図12のデータテーブルは、図11に示す画像と参照領域の数、座標、および面積等は対応しておらず、あくまでもデータテーブルの内容の一例を示したものである。
 図12に示すように、データテーブルは、全体領域0および複数の参照領域1、2、3・・・について、開始点座標、領域サイズ、優先度、全体領域に対する面積率、および現像パラメータに関する情報を含む。現像パラメータは、明るさ、色濃度、色温度、フィルムモード(図12中におけるF-mode)、シャープネス、およびノイズ等のパラメータを含む。
 上記のようなデータテーブルの作成は、端末20を介して一人の編集者によって行われてもよいし、複数の端末20を介して複数の編集者によって行われてもよい。
 画像処理装置10においては、RAW画像データとデータテーブルとが関連付けられてストレージ14に保存される。
 次に、画像表示時の処理について説明する。図13は、画像表示システムにおける画像表示時の処理の流れを説明するフローチャートである。
 編集者によって上記のようにデータテーブルが作成された後は、編集者であっても、編集者以外のユーザであっても、RAW画像データ対して現像パラメータを設定することなく、表示領域を指定するだけで画像表示を行うことができる。以下、画像表示時のユーザを総称して閲覧者と記載する。
 図13に示すように、端末20において起動された画像表示アプリケーションを介して、画像の閲覧者が表示するRAW画像データおよび指定されたRAW画像データにおける表示領域を入力すると、CPU21はRAW画像データの特定情報および表示領域情報を含む画像表示要求を画像処理装置10に送信する(ステップST1)。なお、表示領域の入力については、ユーザインタフェース26を介して、RAW画像データが示す画像内の任意の矩形領域を表示領域として設定することができる。
 画像処理装置10において端末20からRAW画像データの特定情報および表示領域情報を含む画像表示要求を取得した場合(ステップSS1)、CPU11は、ストレージ14からRAW画像データを取得する(ステップSS2)。次に、CPU11は、RAW画像データを現像するための現像パラメータを取得する(ステップSS3)。
 ここで、現像パラメータの取得について詳細に説明する。図14および図15は、画像処理装置における現像パラメータ取得時の処理の流れを説明するフローチャートである。図16は、表示領域の形態毎の現像パラメータ算出方法を示す表である。
 図14に示すように、CPU11は、端末20において指定された表示領域と一致する参照領域があるか判定を行う(ステップSS11)。ステップSS11において、表示領域と一致する参照領域があると判定された場合(判定結果Yes)、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域と一致する参照領域の現像パラメータを、表示領域の現像パラメータとして取得する(ステップSS12)。そして、図13のフローチャートのステップSS4に進む。
 また、ステップSS11において、表示領域と一致する参照領域がないと判定された場合(判定結果No)、CPU11は、ストレージ14に保存されているデータテーブルを参照し、参照領域の現像パラメータに基づいて表示領域の現像パラメータを生成する(ステップSS13)。
 ここで、ステップSS13における処理について詳細に説明する。図15に示すように、CPU11は、端末20において指定された表示領域を完全に含む参照領域があるか判定を行う(ステップSS21)。ステップSS21において、表示領域を完全に含む参照領域があると判定された場合(判定結果Yes)、CPU11は、さらに、表示領域を完全に含む参照領域が複数あるか判定を行う(ステップSS22)。なお、図11では、表示領域S1、S2が、ステップSS21におけるYes判定に該当する。
 ステップSS22において、表示領域を完全に含む参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、表示領域を多重内包領域として、現像パラメータを算出する(ステップSS23)。多重内包領域の表示領域は、図11では、表示領域S1が該当する。多重内包領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の中で、最も優先度の高い参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
 ステップSS22において、表示領域を完全に含む参照領域が複数ない(すなわち、1つしかない)と判定された場合(判定結果No)、CPU11は、表示領域を単一内包領域として、現像パラメータを算出する(ステップSS24)。単一内包領域の表示領域は、図11では、表示領域S2が該当する。単一内包領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
 ステップSS21において、表示領域を完全に含む参照領域がないと判定された場合(判定結果No)、CPU11は、さらに、表示領域と重なる参照領域があるか判定を行う(ステップSS25)。なお、図11では、表示領域S3、S4、S5、S6が、ステップSS21におけるNo判定に該当する。
 ステップSS25において、表示領域と重なる参照領域があると判定された場合(判定結果Yes)、CPU11は、表示領域を部分共有領域として、現像パラメータを算出する(ステップSS26)。部分共有領域の表示領域は、図11では、表示領域S3、S4、S5が該当する。部分共有領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、重なりを持つ参照領域の中で、最も優先度の高い参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
 ステップSS25において、表示領域と重なる参照領域がないと判定された場合(判定結果No)、CPU11は、表示領域を孤立領域として、現像パラメータを算出する(ステップSS27)。孤立領域の表示領域は、図11では、表示領域S6が該当する。孤立領域の表示領域についての現像パラメータの算出方法については、図16に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、全体領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
 図13のフローチャートに戻り、CPU11は、取得した現像パラメータに基づいて、表示領域の現像処理を行う(ステップSS4)。CPU11は、現像処理の結果得られた画像データを端末20に送信する(ステップSS5)。
 端末20において、CPU21は、画像処理装置10から画像データを取得し(ステップST2)、取得した画像データをモニタ25に表示して(ステップST3)、処理を終了する。
[作用効果]
 従来の特許文献1および2の画像処理装置においては、RAW画像データが示す画像内の一部の領域を表示する場合、現像パラメータが設定されていない表示領域については現像処理を行うことができなかった。そのため、現像パラメータが設定されていない表示領域を拡大表示したい場合等は、全体画像から表示領域を切り抜いて拡大表示する必要があるため、画質の低下を招いていた。
 これに対して、本実施の形態の画像処理装置10は、画像表示に先だって、RAW画像データ(画像データの一例である)が示す画像内の一部の領域である参照領域を設定し、参照領域の画像内の位置および参照領域の現像パラメータ(画像処理パラメータの一例である)を含む参照領域に関する情報を、RAW画像データと関連付けて保存する。そして、端末20において指定された表示領域と参照領域が異なる場合に、参照領域の現像パラメータに基づいて表示領域の現像パラメータを生成し、生成した表示領域の現像パラメータに基づいて、表示領域に対して画像処理を行った画像を出力している。
 これにより、参照領域と一致しない表示領域についても、RAW画像データから直接現像を行うことができるため、表示領域に合わせた良好な現像処理を施すことが可能となる。
 また、参照領域が複数ある場合に、参照領域の優先度を設定し、参照領域の優先度と、参照領域の画像処理パラメータとに基づいて、表示領域の画像処理パラメータを生成している。これにより、参照領域と一致しない表示領域について、編集者の意図を反映させた現像処理を行うことができる。
[第2の実施の形態]
 次に、本開示の第2の実施の形態について説明する。本実施の形態の画像表示システムにおいては、表示領域の形態毎の現像パラメータ算出方法のみが第1の実施の形態と異なり、それ以外の部分については共通であるため、第1の実施の形態と重複する内容についての説明は省略する。図17は、表示領域の形態毎の現像パラメータ算出方法を示す表である。
 図15のフローチャートのステップSS22において、表示領域を完全に含む参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、表示領域を多重内包領域として、現像パラメータを算出する(ステップSS23)。多重内包領域の表示領域についての現像パラメータの算出方法については、図17に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の中で、最も面積の小さい参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
 図15のフローチャートのステップSS22において、表示領域を完全に含む参照領域が複数ない(すなわち、1つしかない)と判定された場合(判定結果No)、CPU11は、表示領域を単一内包領域として、現像パラメータを算出する(ステップSS24)。単一内包領域の表示領域についての現像パラメータの算出方法については、図17に示すように、CPU11は、ストレージ14に保存されているデータテーブルを参照し、表示領域を完全に含む参照領域の現像パラメータを、表示領域の現像パラメータとして取得する。そして、図13のフローチャートのステップSS4に進む。
 図15のフローチャートのステップSS25において、表示領域と重なる参照領域があると判定された場合(判定結果Yes)、CPU11は、表示領域を部分共有領域として、現像パラメータを算出する(ステップSS26)。部分共有領域の表示領域についての現像パラメータの算出方法については、図17に示すように、参照領域の面積を考慮した算出方法により、現像パラメータの算出を行う。
 ここで、参照領域の面積を考慮した算出方法について詳細に説明する。図18は、参照領域の面積を考慮した算出方法を説明するフローチャートである。
 図18に示すように、CPU11は、端末20において指定された表示領域と重なる参照領域が複数あるか判定を行う(ステップSS31)。ステップSS31において、表示領域と重なる参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、参照領域Aのサイズ=面積最大の参照領域の値、参照領域Aの調整値=面積最大の参照領域の値、参照領域Bのサイズ=2番目の面積の参照領域の値、参照領域Bの調整値=2番目の面積の参照領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS32)。
 ステップSS31において、表示領域と重なる参照領域が複数ないと判定された場合(判定結果No)、CPU11は、参照領域Aのサイズ=面積最大の参照領域の値、参照領域Aの調整値=面積最大の参照領域の値、参照領域Bのサイズ=表示領域の値、参照領域Bの調整値=全体領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS33)。
 ステップSS32またはステップSS33の後、CPU11は、参照領域A,Bがもつ調整値のうち、明るさ、色濃度、および色温度について、参照領域A,Bの面積比×表示領域と参照領域A,Bの重なり部分の面積比で加重平均した値を算出する(ステップSS34)。
 具体的には、下記式により算出される。
  P=Pa・{A・/(A+B)}・{a/(a+b)}
    +Pb・{B・/(A+B)}・{b/(a+b)}
ここで、
 P:加重平均値
 Pa,Pb:参照領域A,Bの現像パラメータ
 A,B:参照領域A,Bの面積
 a,b:表示領域と参照領域A,Bの重なり部分の面積
 次に、CPU11は、デフォルト現像パラメータについて、明るさ、色濃度、および色温度を算出値に変更する(ステップSS35)。そして、図13のフローチャートのステップSS4に進む。
 図15のフローチャートのステップSS25において、表示領域と重なる参照領域がないと判定された場合(判定結果No)、CPU11は、表示領域を孤立領域として、現像パラメータを算出する(ステップSS27)。孤立領域の表示領域についての現像パラメータの算出方法については、図17に示すように、参照領域と表示領域との距離を考慮した算出方法により、現像パラメータの算出を行う。
 ここで、参照領域と表示領域との距離を考慮した算出方法について詳細に説明する。図19は、参照領域の面積を考慮した算出方法を説明するフローチャートである。また、図20は、画像中の参照領域と表示領域との関係を示す図である。
 図19に示すように、CPU11は、端末20において指定された表示領域からの距離が基準値D以内の参照領域があるか判定を行う(ステップSS41)。ここでの判定は、図20の表示領域S13に示すように、表示領域の4つの頂点の各々から、距離が基準値D以内の領域に参照領域があるか判定を行う。ステップSS41において、表示領域からの距離が基準値D以内の参照領域があると判定された場合(判定結果Yes)、CPU11は、端末20において指定された表示領域からの距離が基準値D以内の参照領域が複数あるか判定を行う(ステップSS42)。
 ステップSS42において、表示領域からの距離が基準値D以内の参照領域が複数あると判定された場合(判定結果Yes)、CPU11は、参照領域Aの位置とサイズ=最も近い参照領域の値、参照領域Aの調整値=最も近い参照領域の値、参照領域Bの位置とサイズ=2番目に近い参照領域の値、参照領域Bの調整値=2番目に近い参照領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS43)。この態様は、図20では、表示領域S12が該当する。
 次に、CPU11は、参照領域A,Bがもつ調整値のうち、明るさ、色濃度、および色温度について、表示領域から参照領域A,Bまでの距離の逆数で加重平均した値を算出する(ステップSS44)。
 具体的には、下記式により算出される。
  P=Pa・{Da・/(Da+Db)}+Pb・{Db・/(Da+Db)}
ここで、
 P:加重平均値
 Pa,Pb:参照領域A,Bの現像パラメータ
 Da,Db:表示領域と参照領域A,Bまでの距離
 次に、CPU11は、デフォルト現像パラメータについて、明るさ、色濃度、および色温度を算出値に変更する(ステップSS45)。そして、図13のフローチャートのステップSS4に進む。
 ステップSS42において、表示領域からの距離が基準値D以内の参照領域が複数ないと判定された場合(判定結果No)、CPU11は、参照領域Aの位置とサイズ=最も近い参照領域の値、参照領域Aの調整値=最も近い参照領域の値、参照領域Bの位置とサイズ=表示領域の値、参照領域Bの調整値=全体領域の値、デフォルト現像パラメータ=参照領域Aの現像パラメータとする設定を行う(ステップSS46)。この態様は、図20では、表示領域S11が該当する。
 次に、CPU11は、参照領域A,Bがもつ調整値のうち、明るさ、色濃度、および色温度について、基準値Dに対する表示領域から参照領域Aまでの距離の比率で加重平均した値を算出する(ステップSS47)。
 具体的には、下記式により算出される。
  P=Pa・(D-d)/D+Pb・d/D
ここで、
 P:加重平均値
 Pa,Pb:参照領域A,Bの現像パラメータ
 D:基準値
 d:参照領域A,B間の距離
 次に、CPU11は、デフォルト現像パラメータについて、明るさ、色濃度、および色温度を算出値に変更する(ステップSS45)。そして、図13のフローチャートのステップSS4に進む。
 ステップSS41において、表示領域からの距離が基準値D以内の参照領域がないと判定された場合(判定結果No)、CPU11は、ストレージ14に保存されているデータテーブルを参照し、全体領域の現像パラメータを、表示領域の現像パラメータとして取得する(ステップSS48)。この態様は、図20では、表示領域S13が該当する。そして、図13のフローチャートのステップSS4に進む。
[作用効果]
 本実施の形態においても、上記第1の実施の形態と同様の効果を得ることができる。
 また、部分共有領域の表示領域について、参照領域の面積を考慮した算出方法により、現像パラメータの算出を行っているため、編集者の意図をより反映させた現像処理を行うことができる。
 また、孤立領域の表示領域について、参照領域と表示領域との距離を考慮した算出方法により、現像パラメータの算出を行っているため、編集者の意図をより反映させた現像処理を行うことができる。
[変形例]
 以上、本開示をその好適な実施の形態に基づいて説明したが、本開示を適用可能な実施の形態は、上述の実施の形態に限定されものではない。
 例えば、本開示の画像処理装置で扱う画像データは、RAW画像データに限らず、例えば高解像度のレンダリング画像データ等、どのような画像データとしてもよい。また、画像処理についても、現像処理に限らず、どのような画像処理としてもよい。
 画像データの保存先については、画像処理装置内のストレージに保存する態様に限らず、画像処理装置とは別体の画像サーバに保存する態様としてもよい。
 また、上記各実施形態でCPU11、21がソフトウェア(プログラムの一例である)を読み込んで実行した処理を、CPU以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、FPGA(Field-Programmable Gate Array)等の製造後に回路構成を変更可能なPLD(Programmable Logic Device)、及びASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、各処理を、これらの各種のプロセッサのうちの1つで実行してもよいし、同種又は異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGA、及びCPUとFPGAとの組み合わせ等)で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。
 また、上記各実施形態では、画像表示プログラムがROM12またはストレージ14に予め記憶(例えば、インストール)されている態様を説明したが、これに限定されない。プログラムは、CD-ROM(Compact Disk Read Only Memory)、DVD-ROM(Digital Versatile Disk Read Only Memory)、およびUSB(Universal Serial Bus)メモリ等の記録媒体に記録された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。
 上記以外にも、本開示の趣旨を逸脱しない範囲で適宜変更可能なのは勿論である。また、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
 本明細書に記載された全ての文献、特許出願、及び技術規格は、個々の文献、特許出願、及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (7)

  1.  少なくとも1つのプロセッサを備え、
     前記プロセッサは、
     画像データが示す画像内の一部の領域である参照領域を設定し、
     設定された前記参照領域の前記画像内の位置および前記参照領域の画像処理パラメータを含む参照領域に関する情報と、前記画像データとを関連付けて保存し、
     前記画像内の任意の領域を表示領域として設定し、
     前記参照領域と前記表示領域とが異なる場合に、前記参照領域の画像処理パラメータに基づいて前記表示領域の画像処理パラメータを生成し、生成した前記表示領域の画像処理パラメータに基づいて、前記表示領域に対して画像処理を行った処理済みの画像を出力する
     画像処理装置。
  2.  前記プロセッサは、前記参照領域に関する情報として、前記参照領域が複数ある場合に、複数の前記参照領域の前記画像処理パラメータのうちのどの画像処理パラメータを優先するかを示す参照領域の優先度を設定可能であり、
     前記プロセッサは、前記参照領域の優先度と、前記参照領域の画像処理パラメータとに基づいて、前記表示領域の画像処理パラメータを生成する
     請求項1に記載の画像処理装置。
  3.  前記プロセッサは、前記参照領域と前記表示領域との距離と、前記参照領域の画像処理パラメータとに基づいて、前記表示領域の画像処理パラメータを生成する
     請求項1または2に記載の画像処理装置。
  4.  前記プロセッサは、前記参照領域の面積と、前記参照領域の画像処理パラメータとに基づいて、前記表示領域の画像処理パラメータを生成する
     請求項1から3のいずれか1項に記載の画像処理装置。
  5.  前記画像データは、RAW画像データであり、
     前記プロセッサが行う画像処理は、前記RAW画像データに対する現像処理を含む
     請求項1から4のいずれか1項に記載の画像処理装置。
  6.  画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、
     設定された前記参照領域の前記画像内の位置および前記参照領域の画像処理パラメータを含む参照領域に関する情報と、前記画像データとを関連付けて保存する保存ステップと、
     前記画像内の任意の領域を表示領域として設定する表示領域設定ステップと、
     前記参照領域と前記表示領域とが異なる場合に、前記参照領域の画像処理パラメータに基づいて前記表示領域の画像処理パラメータを生成し、生成した前記表示領域の画像処理パラメータに基づいて、前記表示領域に対して画像処理を行った処理済みの画像を出力する画像出力ステップと
     を備える画像処理方法。
  7.  画像データが示す画像内の一部の領域である参照領域を設定する参照領域設定ステップと、
     設定された前記参照領域の前記画像内の位置および前記参照領域の画像処理パラメータを含む参照領域に関する情報と、前記画像データとを関連付けて保存する保存ステップと、
     前記画像内の任意の領域を表示領域として設定する表示領域設定ステップと、
     前記参照領域と前記表示領域とが異なる場合に、前記参照領域の画像処理パラメータに基づいて前記表示領域の画像処理パラメータを生成し、生成した前記表示領域の画像処理パラメータに基づいて、前記表示領域に対して画像処理を行った処理済みの画像を出力する画像出力ステップと
     をコンピュータに実行させる画像処理プログラム。
PCT/JP2020/021429 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム WO2020241855A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2021522914A JP7114807B2 (ja) 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム
US17/523,827 US20220070370A1 (en) 2019-05-31 2021-11-10 Image processing device, image processing method, and image processing program
JP2022119931A JP7321336B2 (ja) 2019-05-31 2022-07-27 画像処理装置、画像処理方法、および画像処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019103132 2019-05-31
JP2019-103132 2019-05-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/523,827 Continuation US20220070370A1 (en) 2019-05-31 2021-11-10 Image processing device, image processing method, and image processing program

Publications (1)

Publication Number Publication Date
WO2020241855A1 true WO2020241855A1 (ja) 2020-12-03

Family

ID=73553198

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/021429 WO2020241855A1 (ja) 2019-05-31 2020-05-29 画像処理装置、画像処理方法、および画像処理プログラム

Country Status (3)

Country Link
US (1) US20220070370A1 (ja)
JP (2) JP7114807B2 (ja)
WO (1) WO2020241855A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020196672A1 (ja) * 2019-03-28 2020-10-01 富士フイルム株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121326A (ja) * 2004-10-20 2006-05-11 Nikon Corp 電子カメラ
JP2006311108A (ja) * 2005-04-27 2006-11-09 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよびカメラ
JP2013127819A (ja) * 2013-03-14 2013-06-27 Canon Inc 画像処理装置およびその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4115177B2 (ja) * 2002-07-04 2008-07-09 富士フイルム株式会社 画像処理方法、画像処理装置、及び画像処理プログラム
TWI342155B (en) * 2006-11-07 2011-05-11 Realtek Semiconductor Corp Methods for processing image signals and related apparatuses
JP5290915B2 (ja) * 2009-09-03 2013-09-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP2011216948A (ja) * 2010-03-31 2011-10-27 Sony Corp カメラシステム、映像処理装置及びカメラ装置
EP3255603B1 (en) * 2015-02-05 2022-09-07 Ricoh Company, Limited Image processing device, image processing system, and image processing method
JP2018007062A (ja) * 2016-07-04 2018-01-11 キヤノン株式会社 投影装置、その制御方法、および制御プログラム、並びに投影システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006121326A (ja) * 2004-10-20 2006-05-11 Nikon Corp 電子カメラ
JP2006311108A (ja) * 2005-04-27 2006-11-09 Fuji Photo Film Co Ltd 画像処理装置、画像処理方法、画像処理プログラムおよびカメラ
JP2013127819A (ja) * 2013-03-14 2013-06-27 Canon Inc 画像処理装置およびその方法

Also Published As

Publication number Publication date
US20220070370A1 (en) 2022-03-03
JP7321336B2 (ja) 2023-08-04
JP7114807B2 (ja) 2022-08-08
JP2022159335A (ja) 2022-10-17
JPWO2020241855A1 (ja) 2020-12-03

Similar Documents

Publication Publication Date Title
US8625908B2 (en) Managing raw and processed image file pairs
US10373327B2 (en) Reassembling and repairing torn image pieces
TWI489269B (zh) 測試裝置參數的系統、方法和電腦程式產品
TW201415408A (zh) 同時決定複數個參數變化設定的系統、方法和電腦程式商品
WO2020241855A1 (ja) 画像処理装置、画像処理方法、および画像処理プログラム
US10664943B2 (en) Compound shader object and use thereof
WO2013082832A1 (zh) 一种图像处理的方法及其装置
JP2009017297A (ja) 画像処理装置、画像処理制御方法、及び画像処理制御プログラム
US7973950B1 (en) Image printing history
JP6348318B2 (ja) 画像処理装置、方法、および、プログラム
EP2811732B1 (en) Image processing apparatus, image processing method, computer-readable storage medium and program
JP2023063324A (ja) 画像処理装置、画像処理方法及びプログラム
JP7348446B2 (ja) 手書きフォント生成サービスを提供する方法およびシステム
US20170357902A1 (en) Information processing apparatus, information processing system, and method for predicting amount of usage
US11176720B2 (en) Computer program, image processing method, and image processing apparatus
JP2007208430A (ja) 画像処理システム
US11922659B2 (en) Coordinate calculation apparatus, coordinate calculation method, and computer-readable recording medium
WO2020196672A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP6892557B2 (ja) 学習装置、画像生成装置、学習方法、画像生成方法及びプログラム
JP6677593B2 (ja) 画像処理装置及びその制御方法
JP7370814B2 (ja) 画像処理装置、その制御方法及びプログラム
JP6593112B2 (ja) 画像処理装置、表示システムおよびプログラム
US10802771B2 (en) Information processing apparatus, image control method and non-transitory computer-readable recording medium encoded with image control program
EP4293620A1 (en) Image processing apparatus, control method, storage medium, and program
JP2022100012A (ja) 情報処理装置及び情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20813141

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021522914

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20813141

Country of ref document: EP

Kind code of ref document: A1