JP6642021B2 - Image processing apparatus, image processing system, and program - Google Patents

Image processing apparatus, image processing system, and program Download PDF

Info

Publication number
JP6642021B2
JP6642021B2 JP2016006683A JP2016006683A JP6642021B2 JP 6642021 B2 JP6642021 B2 JP 6642021B2 JP 2016006683 A JP2016006683 A JP 2016006683A JP 2016006683 A JP2016006683 A JP 2016006683A JP 6642021 B2 JP6642021 B2 JP 6642021B2
Authority
JP
Japan
Prior art keywords
image
designated
feature amount
degree
processed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016006683A
Other languages
Japanese (ja)
Other versions
JP2017126969A (en
Inventor
耕輔 丸山
耕輔 丸山
景子 松林
景子 松林
佐々木　信
信 佐々木
山本　隆之
隆之 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2016006683A priority Critical patent/JP6642021B2/en
Priority to US15/246,638 priority patent/US10311331B2/en
Publication of JP2017126969A publication Critical patent/JP2017126969A/en
Application granted granted Critical
Publication of JP6642021B2 publication Critical patent/JP6642021B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration by the use of histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G06T5/94—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20092—Interactive image processing based on input by user
    • G06T2207/20104—Interactive definition of region of interest [ROI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Description

本発明は、画像処理装置、画像処理システムおよびプログラムに関する。   The present invention relates to an image processing device, an image processing system, and a program.

近年、デジタルカメラ等の普及によりデジタル画像を撮影・閲覧するユーザが増加している。また、スマートフォンやタブレットの普及によって、所望の画像を得るためにこれまでＰＣ（Personal Computer）の画像編集ソフトウェアを利用して行っていた画質調整を、より直感的な操作で行いたい、というニーズが高まっている。
デジタル画像の画質調整には、例えば、ＲＧＢ、ＣＩＥＬ＊ａ＊ｂ＊、ＨＳＶなどの色空間上で色度や輝度、色相、彩度の成分値やそれらのコントラストの調整を行うものがある。その中でユーザが見本となる画像を指定し、処理対象の画像の画質をこの見本の画像の画質に合わせる画像処理を行う場合がある。 In recent years, users who take and view digital images have increased due to the spread of digital cameras and the like. Also, with the spread of smartphones and tablets, there is a need for more intuitive operations to adjust image quality, which has been performed by using image editing software of a PC (Personal Computer) in order to obtain a desired image. Is growing.
Examples of image quality adjustment of a digital image include adjustment of chromaticity, luminance, hue, saturation component values and their contrasts in a color space such as RGB, CIEL * a * b * , and HSV. In some cases, the user designates a sample image and performs image processing to match the image quality of the image to be processed with the image quality of the sample image.

また、例えば、特許文献１には、入力画像を複数のブロックに分割し、各ブロックの画素値分布特徴量を算出し、画素値分布特徴量に基づき、被写体からの反射光に鏡面反射成分を多く含むブロックである有効ブロックを選択し、選択された各有効ブロックにおいて、注目画素と所定の近傍画素との画素値差分をそれぞれ算出することを当該ブロックの各画素に対して行い、画素値差分の分布を算出し、算出された分布に基づき被写体を照らしている光源の色を推定する画像処理装置が開示されている。   Also, for example, in Patent Document 1, an input image is divided into a plurality of blocks, a pixel value distribution feature amount of each block is calculated, and a specular reflection component is reflected on light reflected from a subject based on the pixel value distribution feature amount. An effective block which is a block including many is selected, and in each selected effective block, a pixel value difference between a target pixel and a predetermined neighboring pixel is calculated for each pixel of the block, and a pixel value difference is calculated. An image processing apparatus that calculates the distribution of the light source and estimates the color of the light source illuminating the subject based on the calculated distribution is disclosed.

特開２０１４−７６１１号公報JP 2014-7611 A

ところで、処理対象の画像を見本の画像に合わせ画像処理する際、処理対象の画像に対して見本の画像の特徴量を一定の度合いで反映させる場合には、処理対象の画像についてユーザの意図しない画像処理結果になってしまうことがある。
本発明は、第１画像において予め指定された領域の画像である第１指定画像の特徴量を第２画像に反映させる場合に、反映の度合いを第２画像内で変えて第２画像の画質を調整し易くする画像処理装置等を提供することを目的とする。 By the way, when performing image processing on an image to be processed according to an image of a sample, when the feature amount of the image of the sample is reflected to the image to be processed at a certain degree, the user does not intend the image to be processed. This may result in image processing.
According to the present invention, when the feature amount of a first designated image, which is an image of a region designated in advance in a first image, is reflected in the second image, the image quality of the second image is changed by changing the degree of reflection in the second image. It is an object of the present invention to provide an image processing device or the like that makes it easy to adjust the image quality.

請求項１に記載の発明は、第１画像において予め指定された領域の画像である第１指定画像の特徴量を抽出する特徴量抽出手段と、前記第１指定画像の特徴量を第２画像に反映させる場合に、当該第２画像に含まれる領域毎に当該第１指定画像の特徴量を反映させる度合いを変えて、当該第２画像の画質を調整する画像調整手段とを備える画像処理装置であって前記特徴量抽出手段は、さらに、前記第２画像において予め指定された領域の画像である第２指定画像と当該第２画像において当該第２指定画像を除く領域の画像である第２指定外画像との各々について、画像の特徴量を抽出し、前記画像調整手段は、前記第１指定画像の特徴量を前記第２指定画像の特徴量に反映させる度合いである第１反映度合いと当該第１指定画像の特徴量を前記第２指定外画像の特徴量に反映させる度合いである第２反映度合いとを異なる値にして、前記第２画像の画質を調整することを特徴とする画像処理装置である。
請求項２に記載の発明は、前記特徴量抽出手段は、画像を構成する各画素が有する画素値の平均および散布度を当該画像の特徴量として算出することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記第２反映度合いは、前記第１反映度合いよりも小さいことを特徴とする請求項１又は２に記載の画像処理装置である。
請求項４に記載の発明は、前記画像調整手段は、前記第２指定外画像を構成する各画素の情報に基づいて、当該第２指定外画像の画素毎に前記第２反映度合いを調整することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置である。
請求項５に記載の発明は、前記画像調整手段は、前記第２指定外画像を構成する各画素の情報として、前記第２指定画像の予め定められた位置から当該第２指定外画像の各画素までの距離により、当該第２指定外画像の画素毎に前記第２反映度合いを調整することを特徴とする請求項４に記載の画像処理装置である。
請求項６に記載の発明は、前記画像調整手段は、前記第２指定外画像を構成する各画素の情報として、前記第２指定外画像内の色分布により、当該第２指定外画像の画素毎に前記第２反映度合いを調整することを特徴とする請求項４に記載の画像処理装置である。
請求項７に記載の発明は、前記画像調整手段は、前記第２画像の全体に占める前記第２指定画像の割合により、前記第２反映度合いを調整することを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置である。
請求項８に記載の発明は、前記特徴量抽出手段は、さらに、前記第１画像において前記第１指定画像を除く領域の画像である第１指定外画像の特徴量を抽出し、前記画像調整手段は、前記第１指定外画像の特徴量を前記第２指定外画像の特徴量に反映させた後に、前記第１指定画像の特徴量を当該第２指定外画像の特徴量に反映させることを特徴とする請求項１乃至７の何れか１項に記載の画像処理装置である。
請求項９に記載の発明は、画像を表示する表示装置と、前記表示装置に表示される画像の画像情報に対し画像処理を行う画像処理装置とを備え、前記画像処理装置は、第１画像において予め指定された領域の画像である第１指定画像の特徴量を抽出する特徴量抽出手段と、前記第１指定画像の特徴量を第２画像に反映させる場合に、当該第２画像に含まれる領域毎に当該第１指定画像の特徴量を反映させる度合いを変えて、当該第２画像の画質を調整する画像調整手段とを備え、前記特徴量抽出手段は、さらに、前記第２画像において予め指定された領域の画像である第２指定画像と当該第２画像において当該第２指定画像を除く領域の画像である第２指定外画像との各々について、画像の特徴量を抽出し、前記画像調整手段は、前記第１指定画像の特徴量を前記第２指定画像の特徴量に反映させる度合いである第１反映度合いと当該第１指定画像の特徴量を前記第２指定外画像の特徴量に反映させる度合いである第２反映度合いとを異なる値にして、前記第２画像の画質を調整することを特徴とする画像処理システムである。
請求項１０に記載の発明は、コンピュータに、第１画像において予め指定された領域の画像である第１指定画像の特徴量を抽出する機能と、前記第１指定画像の特徴量を第２画像に反映させる場合に、当該第２画像に含まれる領域毎に当該第１指定画像の特徴量を反映させる度合いを変えて、当該第２画像の画質を調整する機能とを実現させるためのプログラムであって前記特徴量を抽出する機能は、さらに、前記第２画像において予め指定された領域の画像である第２指定画像と当該第２画像において当該第２指定画像を除く領域の画像である第２指定外画像との各々について、画像の特徴量を抽出し、前記画像を調整する機能は、前記第１指定画像の特徴量を前記第２指定画像の特徴量に反映させる度合いである第１反映度合いと当該第１指定画像の特徴量を前記第２指定外画像の特徴量に反映させる度合いである第２反映度合いとを異なる値にして、前記第２画像の画質を調整することを特徴とするプログラムである。 According to the first aspect of the present invention, there is provided a feature amount extracting unit for extracting a feature amount of a first designated image which is an image of a region designated in advance in a first image, and a feature amount extracting unit for extracting a feature amount of the first designated image into a second image. And an image adjustment unit that adjusts the image quality of the second image by changing the degree of reflection of the feature amount of the first designated image for each area included in the second image when the image is reflected in the second image. Wherein the feature amount extracting means further includes a second designated image which is an image of a region designated in advance in the second image and a second designated image which is an image of a region excluding the second designated image in the second image. For each of the non-designated images, a feature amount of the image is extracted, and the image adjustment unit includes a first reflection degree, which is a degree of reflecting the feature amount of the first designated image to the feature amount of the second designated image. The feature amount of the first designated image And a second reflecting degree is the degree to reflect the feature value of the serial second undesignated image to a different value, is an image processing apparatus characterized by adjusting the image quality of the second image.
The invention according to claim 2 is characterized in that the feature amount extracting means calculates an average of pixel values of each pixel constituting the image and a degree of dispersion as a feature amount of the image. Image processing apparatus.
The invention according to claim 3 is the image processing device according to claim 1 or 2 , wherein the second reflection degree is smaller than the first reflection degree.
In the invention according to claim 4, the image adjustment unit adjusts the second reflection degree for each pixel of the second non-designated image based on information of each pixel constituting the second non-designated image. The image processing apparatus according to claim 1, wherein:
According to a fifth aspect of the present invention, the image adjustment means includes, as information of each pixel constituting the second non-designated image, each of the pixels of the second non-designated image from a predetermined position of the second designated image. The image processing apparatus according to claim 4, wherein the second reflection degree is adjusted for each pixel of the second non-designated image based on a distance to a pixel.
In the invention according to claim 6, the image adjustment unit determines a pixel of the second non-designated image based on a color distribution in the second non-designated image as information of each pixel constituting the second non-designated image. The image processing apparatus according to claim 4, wherein the second degree of reflection is adjusted every time.
The invention according to claim 7, wherein the image adjustment means adjusts the second reflection degree based on a ratio of the second designated image to the whole of the second image. An image processing apparatus according to any one of the above.
In the invention according to claim 8, the feature amount extracting means further extracts a feature amount of a first non-designated image which is an image of an area excluding the first designated image in the first image, and performs the image adjustment. The means reflects the characteristic amount of the first non-designated image to the characteristic amount of the second non-designated image, and then reflects the characteristic amount of the first designated image to the characteristic amount of the second non-designated image. The image processing apparatus according to claim 1, wherein:
The invention according to claim 9 includes a display device for displaying an image, and an image processing device for performing image processing on image information of the image displayed on the display device, wherein the image processing device comprises a first image processing device. A feature amount extracting means for extracting a feature amount of a first designated image which is an image of a region designated in advance, and a feature amount included in the second image when the feature amount of the first designated image is reflected in the second image. Image adjustment means for adjusting the image quality of the second image by changing the degree of reflection of the feature amount of the first designated image for each region to be extracted, and the feature amount extraction means further comprises: For each of a second designated image that is an image of a previously designated region and a second non-designated image that is an image of a region other than the second designated image in the second image, a feature amount of the image is extracted. The image adjustment means is provided with the first finger A first reflection degree, which is a degree at which the feature amount of the image is reflected on the feature amount of the second designated image, and a second reflection degree, which is a degree at which the feature amount of the first designated image is reflected on the feature amount of the second non-designated image. An image processing system, wherein the image quality of the second image is adjusted by setting the degree of reflection to a different value.
The invention according to claim 10 provides a computer with a function of extracting a feature amount of a first designated image, which is an image of a region designated in advance in a first image, and a feature amount of the first designated image in a second image. In the case where the image quality is reflected in the second image, the degree of reflecting the feature amount of the first designated image is changed for each area included in the second image, and the image quality of the second image is adjusted. The function of extracting the feature amount further includes a second designated image which is an image of a region designated in advance in the second image, and a second designated image which is an image of a region excluding the second designated image in the second image. The function of extracting the feature amount of the image for each of the two non-designated images and adjusting the image is a first function of reflecting the feature amount of the first designated image on the feature amount of the second designated image. The degree of reflection and the And a second reflecting degree the feature amount of the specified image is the degree to reflect the feature value of the second undesignated image to a different value, which is a program and adjusts the image quality of the second image.

請求項１記載の発明によれば、第１画像において予め指定された領域の画像である第１指定画像の特徴量を第２画像に反映させる場合に、反映の度合いを第２画像内で変えて第２画像の画質を調整し易くする画像処理装置を提供することができる。
請求項２記載の発明によれば、画像の特徴量の抽出がより容易になる。
請求項３記載の発明によれば、第２指定外画像に対して第１指定画像の特徴量を反映させる度合いを、第２指定画像に対して第１指定画像の特徴量を反映させる度合いよりも小さくすることができる。
請求項４記載の発明によれば、第２指定外画像について、第１指定画像の特徴量を反映させる度合いを画素毎に調整することができる。
請求項５記載の発明によれば、第２指定外画像の各画素について、第２指定画像からの距離に応じて第１指定画像の特徴量を反映させることができる。
請求項６記載の発明によれば、第２指定外画像の各画素について、画素が有する色に応じて第１指定画像の特徴量を反映させることができる。
請求項７記載の発明によれば、第２指定外画像について、第２指定画像の大きさに応じて第１指定画像の特徴量を反映させることができる。
請求項８記載の発明によれば、第２指定外画像について、第１指定画像とは別の画像の特徴量も反映させることができる。
請求項９記載の発明によれば、第１画像において予め指定された領域の画像である第１指定画像の特徴量を第２画像に反映させる場合に、反映の度合いを第２画像内で変えて第２画像の画質を調整し易くする画像処理システムを提供することができる。
請求項１０記載の発明によれば、第１画像において予め指定された領域の画像である第１指定画像の特徴量を第２画像に反映させる場合に、反映の度合いを第２画像内で変えて第２画像の画質を調整し易くする機能を、コンピュータにより実現できる。 According to the first aspect of the present invention, when the feature amount of the first designated image, which is an image of a region designated in advance in the first image, is reflected in the second image, the degree of reflection is changed in the second image. Thus, it is possible to provide an image processing apparatus that makes it easy to adjust the image quality of the second image.
According to the second aspect of the present invention, the feature amount of the image can be more easily extracted.
According to the third aspect of the present invention, the degree of reflecting the feature amount of the first designated image on the second non-designated image is more than the degree of reflecting the feature amount of the first designated image on the second designated image. Can also be reduced.
According to the fourth aspect of the present invention, the degree of reflecting the feature amount of the first designated image can be adjusted for each pixel for the second non-designated image.
According to the invention described in claim 5 , for each pixel of the second non-designated image, the feature amount of the first designated image can be reflected according to the distance from the second designated image.
According to the invention described in claim 6 , for each pixel of the second non-designated image, the feature amount of the first designated image can be reflected according to the color of the pixel.
According to the seventh aspect of the present invention, the feature amount of the first designated image can be reflected on the second non-designated image according to the size of the second designated image.
According to the invention described in claim 8 , the feature amount of an image different from the first designated image can be reflected on the second non-designated image.
According to the ninth aspect, when the feature amount of the first designated image, which is an image of a region designated in advance in the first image, is reflected in the second image, the degree of reflection is changed in the second image. Thus, it is possible to provide an image processing system that makes it easy to adjust the image quality of the second image.
According to the tenth aspect, when the feature amount of the first designated image, which is an image of a region designated in advance in the first image, is reflected in the second image, the degree of reflection is changed in the second image. The function of making it easy to adjust the image quality of the second image can be realized by the computer.

（ａ）、（ｂ）は、被処理画像の画質を見本画像の画質に合わせる画像処理について示した図である。(A), (b) is a figure which showed the image processing which matches the image quality of the to-be-processed image with the image quality of a sample image. （ａ）〜（ｃ）は、被処理画像の画質を見本画像の画質に合わせる画像処理について示した図である。(A)-(c) is a figure which showed the image processing which matches the image quality of a to-be-processed image with the image quality of a sample image. 本実施の形態の画像処理装置の機能構成例を示したブロック図である。FIG. 2 is a block diagram illustrating an example of a functional configuration of the image processing apparatus according to the present embodiment. （ａ）は、画像処理前における被処理指定画像および見本指定画像のヒストグラムを概念的に示した図である。（ｂ）は、画像調整部で輝度成分および色度成分を調整した後における被処理指定画像のヒストグラムを概念的に示した図である。(A) is a diagram conceptually showing a histogram of a designated image to be processed and a sample designated image before image processing. FIG. 4B is a diagram conceptually showing a histogram of the designated image to be processed after the luminance component and the chromaticity component have been adjusted by the image adjustment unit. 第１の実施形態で行われる処理の例について説明した図である。FIG. 5 is a diagram illustrating an example of a process performed in the first embodiment. 被処理指定画像の割合から重み値βを算出する処理の一例を説明するための図である。FIG. 11 is a diagram for describing an example of a process of calculating a weight value β from a ratio of a designated image to be processed.

＜画像処理の説明＞
以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
図１および図２は、被処理画像の画質を見本画像の画質に合わせる画像処理について示した図である。
まず、図１（ａ）は、見本画像と画像処理前の被処理画像とを示している。ここでは図中左側に見本画像Ｍを図示し、図中右側に被処理画像Ｈを図示している。なお本実施の形態で、被処理画像とは、画像処理の対象となる画像であり、見本画像とは、ユーザが希望する印象の画像を有し、被処理画像の画像処理を行うための見本となる画像である。また、本実施の形態において、見本画像は、第１画像の一例として用いられる。また、被処理画像は、第２画像の一例として用いられる。 <Description of image processing>
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
1 and 2 are diagrams showing image processing for matching the image quality of a processed image with the image quality of a sample image.
First, FIG. 1A shows a sample image and an image to be processed before image processing. Here, a sample image M is shown on the left side of the figure, and an image to be processed H is shown on the right side of the figure. In the present embodiment, the image to be processed is an image to be subjected to image processing, and the sample image has an image of an impression desired by the user and is a sample for performing image processing on the image to be processed. It is an image which becomes. In the present embodiment, a sample image is used as an example of a first image. The processed image is used as an example of a second image.

実際には、見本画像Ｍおよび被処理画像Ｈは、液晶パネルや液晶ディスプレイ等の表示装置に表示される。そしてタブレット、スマートフォン、ＰＣ等で動作する画像編集ソフトウェアにより画像情報を処理することで画像処理が行われる。ユーザは、画像編集ソフトウェアの動作により、見本画像Ｍや被処理画像Ｈとともに表示装置に表示されるメニュー等を操作することで画像処理の操作を行う。この操作は、タブレットやスマートフォンの場合は、ユーザの指やタッチペンでタッチパネルである液晶パネルをタッチ等することで行う。またＰＣの場合は、ＰＣに接続されたキーボードやマウス等を使用して行う。なおこの場合、タブレットやスマートフォンの画像処理を行う機能部、およびＰＣは、本実施の形態では、表示装置に表示される画像の画像情報に対し画像処理を行なう画像処理装置の一例として捉えることができる。また画像処理装置および表示装置は、画像処理システムの一例として捉えることができる。   Actually, the sample image M and the processed image H are displayed on a display device such as a liquid crystal panel or a liquid crystal display. Then, image processing is performed by processing image information using image editing software that operates on a tablet, smartphone, PC, or the like. The user operates the image processing by operating a menu or the like displayed on the display device together with the sample image M and the image to be processed H by the operation of the image editing software. In the case of a tablet or smartphone, this operation is performed by touching the liquid crystal panel, which is a touch panel, with a user's finger or touch pen. In the case of a PC, the operation is performed using a keyboard, a mouse, or the like connected to the PC. Note that, in this case, the functional unit that performs image processing of the tablet or smartphone and the PC may be considered as an example of an image processing apparatus that performs image processing on image information of an image displayed on the display device in the present embodiment. it can. Further, the image processing device and the display device can be regarded as an example of an image processing system.

図示する見本画像Ｍおよび被処理画像Ｈは、地上の画像である前景Ｆと空の画像である後景Ｂとからなる。
そしてユーザは、被処理画像Ｈの画像処理を行い、被処理画像Ｈを見本画像Ｍの後景Ｂと同様の印象を有する画像にしたいものとする。これは例えば、見本画像Ｍの後景Ｂが赤色の空の画像であり、被処理画像Ｈの後景Ｂが青色の空の画像であったときに、被処理画像Ｈの後景Ｂを赤色の空の画像にするような場合である。 The illustrated sample image M and the processed image H include a foreground F which is an image on the ground and a background B which is an image of the sky.
Then, it is assumed that the user performs image processing of the processed image H and wants the processed image H to be an image having the same impression as the background B of the sample image M. For example, when the background B of the sample image M is a red sky image and the background B of the image H to be processed is a blue sky image, the background B of the image H to be processed is red. This is a case in which an empty image is made.

図１（ｂ）は、従来の方法による画像処理後の被処理画像を示している。
図示する画像処理後の被処理画像Ｈは、後景Ｂが見本画像Ｍの後景Ｂの色に近づき、被処理画像Ｈから受ける画像の印象が、見本画像Ｍから受ける画像の印象に近いものとなる。また、画像処理後の被処理画像Ｈの画像は、被処理画像Ｈ全体が画像処理の対象となり、空の画像である後景Ｂの部分のみならず、地上の画像である前景Ｆにまで画像処理がなされている。ただし、被処理画像Ｈでは、被写体を照らす光源は外光の１種類であるため、被処理画像Ｈ全体が画像処理の対象となったとしても自然な処理結果となる。 FIG. 1B shows an image to be processed after image processing by a conventional method.
In the illustrated processed image H after image processing, the background B approaches the color of the background B of the sample image M, and the impression of the image received from the processed image H is close to the impression of the image received from the sample image M. Becomes Further, the image of the processed image H after the image processing is subjected to the image processing for the entire processed image H, and is not limited to the foreground F which is the ground image as well as the background image B which is the sky image. Processing has been done. However, in the processed image H, since the light source illuminating the subject is one type of external light, a natural processing result is obtained even if the entire processed image H is subjected to image processing.

次に、図２（ａ）は、図１（ａ）とは別の見本画像と画像処理前の被処理画像とを示している。ここでは図中左側に見本画像Ｍを図示し、図中右側に被処理画像Ｈを図示している。図示する見本画像Ｍおよび被処理画像Ｈは、窓が設置された室内の画像である。見本画像Ｍは、暗部領域である室内の画像である前景Ｆ１と、外光に照らされることにより明度の高い室外の画像である後景Ｂ１とからなる。また、被処理画像Ｈは、照明光に照らされることにより明度の高い室内の画像である前景Ｆ２と、外光に照らされることにより明度の高い室外の画像である後景Ｂ２とからなる。付言すると、見本画像Ｍには、被写体を照らす光源の種類として、天然光源である外光の１種類が存在する。一方、被処理画像Ｈには、被写体を照らす光源の種類として、人工光源である室内の照明光および天然光源である外光の２種類が存在する。   Next, FIG. 2A shows a sample image different from that of FIG. 1A and an image to be processed before image processing. Here, a sample image M is shown on the left side of the figure, and an image to be processed H is shown on the right side of the figure. The illustrated sample image M and the processed image H are images of a room in which a window is installed. The sample image M includes a foreground F1, which is an indoor image that is a dark area, and a background B1, which is an outdoor image having high brightness when illuminated by external light. The image to be processed H includes a foreground F2, which is an indoor image having high brightness when illuminated by illumination light, and a background B2, which is an outdoor image having high brightness when illuminated by external light. In addition, the sample image M has one type of external light, which is a natural light source, as a type of light source for illuminating the subject. On the other hand, in the image to be processed H, there are two types of light sources for illuminating the subject: indoor illumination light that is an artificial light source and external light that is a natural light source.

そしてユーザは、被処理画像Ｈの画像処理を行い、被処理画像Ｈの後景Ｂ２を見本画像Ｍの後景Ｂ１と同様の印象を有する画像にしたいものとする。即ち、ユーザは、被処理画像Ｈにて窓から見える室外の印象を、見本画像Ｍにて窓から見える室外の印象と同様にしたいものとする。これは例えば、見本画像Ｍの外光が夕方のもので後景Ｂ１が赤色の空の画像であり、被処理画像Ｈの外光が昼のもので後景Ｂ２が青色の空の画像であったときに、被処理画像Ｈの後景Ｂ２を赤色の空の画像にするような場合である。   Then, it is assumed that the user performs image processing on the processed image H, and wants the background B2 of the processed image H to be an image having the same impression as the background B1 of the sample image M. That is, the user wants to make the outdoor impression seen from the window in the processed image H the same as the outdoor impression seen from the window in the sample image M. For example, the external light of the sample image M is an evening image and the background B1 is an image of a red sky, and the external light of the image to be processed H is daytime and the background B2 is an image of a blue sky. In this case, the background B2 of the processed image H is changed to a red sky image.

図２（ｂ）は、従来の方法による画像処理後の被処理画像を示している。
図示する画像処理後の被処理画像Ｈでは、被処理画像Ｈ全体が画像処理の対象となっている。言い換えると、被処理画像Ｈの後景Ｂ２に画像処理がなされるとともに、被処理画像Ｈの前景Ｆ２にも画像処理がなされている。このような場合には、前景Ｆ２における室内の照明光が見本画像Ｍの外光の影響を受け、例えば前景Ｆ２の照明光が赤色に変わってしまい、室内全体の印象が大きく変化することがある。 FIG. 2B shows an image to be processed after image processing by a conventional method.
In the illustrated processed image H after the image processing, the entire processed image H is a target of the image processing. In other words, image processing is performed on the foreground B2 of the processed image H, and image processing is also performed on the foreground F2 of the processed image H. In such a case, the illumination light in the room in the foreground F2 is affected by the external light of the sample image M, and for example, the illumination light in the foreground F2 turns red, and the impression of the whole room may change significantly. .

そこで本実施の形態では、被処理画像の画質を見本画像の画質に合わせるのに際して、被処理画像内の領域毎に、見本画像の画質を反映させる度合いを設定して、画像処理を行う。具体的には、図２に示す例では、被処理画像Ｈの後景Ｂ２については、見本画像Ｍの後景Ｂ１と同様の印象を有するように画質の調整が行われる。一方で、被処理画像Ｈの前景Ｆ２については、見本画像Ｍの後景Ｂ１の影響を抑制するように画質の調整が行われる。このように、被処理画像内の領域毎に見本画像の画質を反映させる度合いを変えることにより、ユーザが意図する画質の調整が行われる。
以下、これを実現するための画像処理装置等の説明を行う。 Therefore, in the present embodiment, when matching the image quality of the image to be processed with the image quality of the sample image, image processing is performed by setting the degree of reflecting the image quality of the sample image for each area in the image to be processed. Specifically, in the example shown in FIG. 2, the image quality of the background B2 of the processed image H is adjusted so as to have the same impression as the background B1 of the sample image M. On the other hand, for the foreground F2 of the processed image H, the image quality is adjusted so as to suppress the influence of the background B1 of the sample image M. As described above, by changing the degree of reflecting the image quality of the sample image for each area in the image to be processed, the image quality intended by the user is adjusted.
Hereinafter, an image processing apparatus and the like for realizing this will be described.

＜画像処理装置の構成の説明＞
［第１の実施形態］
まずは第１の実施形態について説明を行う。
図３は、本実施の形態の画像処理装置１の機能構成例を示したブロック図である。
図示するように、画像処理装置１は、ユーザの操作の内容を受け付けるユーザ操作受付部１１と、被処理画像および見本画像の画像情報（入力画像データ）を取得し、色変換を行い色度成分と輝度成分とする色変換部１２と、色変換後の画像情報から特徴量を抽出する特徴量抽出部１３とを備える。また、画像処理装置１は、被処理画像の特徴量を見本画像の特徴量に合わせる処理を行う画像調整部１４と、見本画像の特徴量を反映させた被処理画像を表示装置に表示する画像表示部１５とを備える。 <Description of Configuration of Image Processing Apparatus>
[First Embodiment]
First, a first embodiment will be described.
FIG. 3 is a block diagram illustrating a functional configuration example of the image processing apparatus 1 according to the present embodiment.
As shown in the figure, the image processing apparatus 1 obtains image information (input image data) of a processed image and a sample image, receives a user operation receiving unit 11 that receives the content of a user operation, performs color conversion, and performs a chromaticity component And a color conversion unit 12 for setting a luminance component, and a feature amount extraction unit 13 for extracting a feature amount from the image information after the color conversion. Further, the image processing apparatus 1 includes an image adjustment unit 14 that performs a process of matching the feature amount of the processed image with the feature amount of the sample image, and an image that displays the processed image reflecting the feature amount of the sample image on the display device. And a display unit 15.

ユーザ操作受付部１１は、被処理画像や見本画像に対してユーザが操作を行ったときに操作内容を示す制御信号を受け付ける。詳しくは後述するが、この操作は、ユーザがタブレットやスマートフォンを操作する場合、指やタッチペンでタッチパネルに対しタッチやドラッグを行う動作が該当する。またユーザがＰＣを操作する場合、マウス等でクリックやドラッグを行う動作が該当する。   The user operation receiving unit 11 receives a control signal indicating the operation content when the user performs an operation on the processed image or the sample image. Although described in detail later, this operation corresponds to an operation of touching or dragging the touch panel with a finger or a touch pen when the user operates the tablet or smartphone. When the user operates the PC, an operation of clicking or dragging with a mouse or the like is applicable.

色変換部１２は、表示装置で被処理画像および見本画像を表示するための入力画像データに対し、色変換を行う。入力画像データは、この場合、ＲＧＢ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ）のビデオデータ（ＲＧＢデータ）である。そしてＲＧＢデータを例えば、ＩＰＴデータに変換する。即ち、ＲＧＢ色空間の色度をＩＰＴ色空間の色度に変換する。ＩＰＴ色空間は、明度（Ｉ）、赤−緑方向の色度（Ｐ）、黄−青方向の色度（Ｔ）、の３成分からなる直交座標色空間である。このうち本実施の形態では、明度（Ｉ）を輝度成分とし、赤−緑方向の色度（Ｐ）および黄−青方向の色度（Ｔ）を色度成分とする。   The color conversion unit 12 performs color conversion on input image data for displaying a processed image and a sample image on a display device. In this case, the input image data is RGB (Red, Green, Blue) video data (RGB data). Then, the RGB data is converted into, for example, IPT data. That is, the chromaticity in the RGB color space is converted to the chromaticity in the IPT color space. The IPT color space is a rectangular coordinate color space including three components of lightness (I), red-green chromaticity (P), and yellow-blue chromaticity (T). In the present embodiment, the lightness (I) is a luminance component, and the chromaticity (P) in the red-green direction and the chromaticity (T) in the yellow-blue direction are chromaticity components.

特徴量抽出手段の一例としての特徴量抽出部１３は、色変換後の被処理画像および見本画像の画像情報から特徴量を抽出する。ここで、特徴量抽出部１３は、見本画像においてユーザが指定した領域内の画像（以下、見本指定画像と称する）の特徴量を抽出する。また、特徴量抽出部１３は、被処理画像においてユーザが指定した領域内の画像（以下、被処理指定画像と称する）の特徴量を抽出する。さらに、特徴量抽出部１３は、被処理画像においてユーザが指定していない領域の画像（以下、指定外画像と称する）、言い換えると、被処理画像において被処理指定画像を除く領域の画像である指定外画像の特徴量を抽出する。本実施の形態において、見本指定画像は、第１指定画像の一例として用いられる。被処理指定画像は、第２指定画像の一例として用いられる。指定外画像は、第２指定外画像の一例として用いられる。   The feature amount extracting unit 13 as an example of a feature amount extracting unit extracts a feature amount from the image information of the processed image and the sample image after the color conversion. Here, the feature amount extracting unit 13 extracts a feature amount of an image in a region specified by the user in the sample image (hereinafter, referred to as a sample specification image). In addition, the feature amount extraction unit 13 extracts a feature amount of an image in a region specified by the user in the image to be processed (hereinafter, referred to as a specified image to be processed). Further, the feature amount extraction unit 13 is an image of an area not specified by the user in the image to be processed (hereinafter, referred to as an unspecified image), in other words, an image of an area other than the image to be processed in the image to be processed. The feature amount of the unspecified image is extracted. In the present embodiment, the sample designation image is used as an example of a first designation image. The designated image to be processed is used as an example of a second designated image. The non-designated image is used as an example of a second non-designated image.

なお、以下では、見本指定画像、被処理指定画像をユーザが指定するものとして説明するが、このような構成に限られるものではない。見本指定画像、被処理指定画像は、何らかの基準により予め指定された領域の画像であれば良く、ユーザの指定でなくても、例えば、画像内の輪郭や色分布に応じて指定されたものを見本指定画像や被処理指定画像にしても良い。   In the following, a description will be given assuming that the user designates the sample designation image and the processing designation image, but the present invention is not limited to such a configuration. The sample designation image and the process designation image need only be images in an area designated in advance by some reference, and may be, for example, an image designated according to an outline or color distribution in the image without being designated by the user. It may be a sample designation image or a process designation image.

また、特徴量は、ユーザが画像を見たときに、画像の印象を決定づける指標である。本実施の形態では、被処理指定画像、指定外画像および見本指定画像を構成する各画素が有する画素値の平均および散布度を、特徴量とする。画素値は、輝度成分（Ｉ）および色度成分（Ｐ、Ｔ）からなる。よって特徴量は、輝度成分（Ｉ）および色度成分（Ｐ、Ｔ）のそれぞれについて抽出される。なお本実施の形態では、平均として相加平均を使用し、散布度として分散を使用する。   The feature amount is an index that determines the impression of the image when the user views the image. In the present embodiment, the average and the scatter of the pixel values of the pixels constituting the designated image to be processed, the unspecified image, and the sample designation image are defined as the feature amounts. The pixel value is composed of a luminance component (I) and a chromaticity component (P, T). Therefore, the feature amount is extracted for each of the luminance component (I) and the chromaticity components (P, T). In this embodiment, arithmetic mean is used as the average, and variance is used as the degree of dispersion.

より具体的には、特徴量抽出部１３は、被処理指定画像、指定外画像および見本指定画像のそれぞれについて、これらの画像を構成する各画素が有する輝度成分（Ｉ）および色度成分（Ｐ、Ｔ）の相加平均を求める。さらに特徴量抽出部１３は、被処理指定画像、指定外画像および見本指定画像のそれぞれについて、これらの画像を構成する各画素が有する輝度成分（Ｉ）および色度成分（Ｐ、Ｔ）の分散を求める。
相加平均は、被処理指定画像、指定外画像および見本指定画像のそれぞれについて、輝度成分および色度成分であるＩ、Ｐ、Ｔ毎に求められるため、合計９つとなる。これは、以下の数１式により算出する。 More specifically, for each of the specified image to be processed, the unspecified image, and the sample specification image, the feature amount extraction unit 13 determines the luminance component (I) and the chromaticity component (P) of each pixel constituting the image. , T). Further, for each of the designated image to be processed, the non-designated image, and the sample designated image, the feature amount extracting unit 13 distributes the luminance component (I) and the chromaticity components (P, T) of each pixel constituting the image. Ask for.
The arithmetic mean is obtained for each of the luminance component and the chromaticity component I, P, and T for each of the designated image to be processed, the non-designated image, and the sample designated image, so that the total is nine. This is calculated by the following equation (1).

数１式において、Ｉｉｊは、被処理指定画像や指定外画像、見本指定画像を構成する各画素の位置（ｉ，ｊ）におけるＩ値である。またＰｉｊは、被処理指定画像や指定外画像、見本指定画像を構成する各画素の位置（ｉ，ｊ）におけるＰ値である。さらにＴｉｊは、被処理指定画像や指定外画像、見本指定画像を構成する各画素の位置（ｉ，ｊ）におけるＴ値である。 In Equation 1, I ij is an I value at the position (i, j) of each pixel constituting the image to be processed, the image not specified, or the sample specified image. P ij is a P value at the position (i, j) of each pixel constituting the image to be processed, the non-designated image, and the sample designated image. Further, T ij is a T value at the position (i, j) of each pixel constituting the image to be processed, the non-designated image, and the sample designated image.

そしてμＩｔは、被処理指定画像のＩ値の相加平均である。またμＰｔは、被処理指定画像のＰ値の相加平均である。さらにμＴｔは、被処理指定画像のＴ値の相加平均である。
またμＩtgは、指定外画像のＩ値の相加平均である。またμＰtgは、指定外画像のＰ値の相加平均である。さらにμＴtgは、指定外画像のＴ値の相加平均である。
さらにμＩｒは、見本指定画像のＩ値の相加平均である。またμＰｒは、見本指定画像のＰ値の相加平均である。さらにμＴｒは、見本指定画像のＴ値の相加平均である。 Μ It is the arithmetic mean of the I values of the specified image to be processed. Μ Pt is the arithmetic mean of the P values of the specified image to be processed. Further, μ Tt is an arithmetic mean of the T values of the image to be processed.
Μ Itg is the arithmetic average of the I value of the unspecified image. Μ Ptg is the arithmetic mean of the P values of the unspecified image. Further, μ Ttg is an arithmetic mean of the T values of the unspecified images.
Further, μ Ir is an arithmetic mean of I values of the sample designation image. Μ Pr is the arithmetic mean of the P values of the sample designation image. Further, μ Tr is an arithmetic mean of the T values of the sample designation image.

Figure 0006642021
Figure 0006642021

さらに分散についても、被処理指定画像、指定外画像および見本指定画像のそれぞれについて、輝度成分および色度成分であるＩ、Ｐ、Ｔ毎に求められるため、合計９つとなる。これは、以下の数２式により算出する。   Further, the variance is obtained for each of the luminance component and the chromaticity component of I, P, and T for each of the designated image to be processed, the non-designated image, and the sample designated image, so that the total is nine. This is calculated by the following equation (2).

数２式において、Ｉｉｊ、Ｐｉｊ、Ｔｉｊは、数１式と同様である。
そしてσＩｔ ２は、被処理指定画像のＩ値の分散である。またσＰｔ ２は、被処理指定画像のＰ値の分散である。さらにσＴｔ ２は、被処理指定画像のＴ値の分散である。
またσＩtg ２は、指定外画像のＩ値の分散である。またσＰtg ２は、指定外画像のＰ値の分散である。さらにσＴtg ２は、指定外画像のＴ値の分散である。
さらにσＩｒ ２は、見本指定画像のＩ値の分散である。またσＰｒ ２は、見本指定画像のＰ値の分散である。さらにσＴｒ ２は、見本指定画像のＴ値の分散である。 In Equation 2, I ij , P ij , and T ij are the same as Equation 1.
Σ It 2 is the variance of the I value of the specified image to be processed. Σ Pt 2 is the variance of the P value of the designated image to be processed. Further, σ Tt 2 is the variance of the T value of the designated image to be processed.
Σ Itg 2 is the variance of the I value of the unspecified image. Σ Ptg 2 is the variance of the P value of the unspecified image. Further, σ Ttg 2 is the variance of the T value of the unspecified image.
Further, σ Ir 2 is the variance of the I value of the sample designation image. Σ Pr 2 is the variance of the P value of the sample designation image. Further, σ Tr 2 is the variance of the T value of the sample designation image.

Figure 0006642021
Figure 0006642021

画像調整手段の一例としての画像調整部１４は、被処理画像の特徴量を見本指定画像の特徴量に合わせ、被処理画像の画質を調整する。ここで、画像調整部１４は、被処理指定画像の特徴量を見本指定画像の特徴量に合わせる度合い（以下、重み値αと称する）と、指定外画像の特徴量を見本指定画像の特徴量に合わせる度合い（以下、重み値βと称する）とを設定する。言い換えると、重み値αは、見本指定画像の特徴量を被処理指定画像の特徴量に反映させる度合いと捉えることができる。また、重み値βは、見本指定画像の特徴量を指定外画像の特徴量に反映させる度合いと捉えることができる。本実施の形態において、重み値αは、第１反映度合いの一例として用いられる。重み値βは、第２反映度合いの一例として用いられる。   The image adjusting unit 14 as an example of the image adjusting unit adjusts the image quality of the processed image by matching the characteristic amount of the processed image with the characteristic amount of the sample designated image. Here, the image adjustment unit 14 compares the feature amount of the designated image to be processed with the feature amount of the sample designation image (hereinafter referred to as a weight value α) and the feature amount of the non-designated image to the feature amount of the sample designation image. (Hereinafter, referred to as weight value β) is set. In other words, the weight value α can be regarded as a degree at which the feature amount of the sample designation image is reflected on the feature amount of the processing designation image. Further, the weight value β can be regarded as a degree of reflecting the feature amount of the sample designation image on the feature amount of the non-designated image. In the present embodiment, the weight value α is used as an example of the first reflection degree. The weight value β is used as an example of the second reflection degree.

そして、画像調整部１４は、重み値αと重み値βとを異なる値に設定して、より具体的には、重み値βを重み値αよりも小さい値に設定して、被処理画像の画質を調整する。言い換えると、画像調整部１４は、見本指定画像の特徴量を被処理画像に反映させる場合に、被処理画像に含まれる領域毎に見本指定画像の特徴量を反映させる度合いを変えて、被処理画像の画質を調整する。   Then, the image adjustment unit 14 sets the weight value α and the weight value β to different values, and more specifically, sets the weight value β to a value smaller than the weight value α, and Adjust the image quality. In other words, when the feature amount of the sample designation image is reflected on the image to be processed, the image adjustment unit 14 changes the degree of reflecting the feature amount of the sample designation image for each region included in the image to be processed, and Adjust image quality.

なお、重み値αおよび重み値βは、０〜１の範囲の値であるものとする。ただし、重み値βは重み値αより小さいため、１未満の値である。これらの重み値αおよび重み値βについては、例えばユーザによる設定など、何らかの規則に従って設定される。例えば、ユーザが重み値αを設定する場合には、具体的な数値を入力したり、「高」、「中」、「低」の３段階からユーザが選択することで数値が決定されたりする。また、重み値βは、例えば、重み値αの設定値に係数を乗じたりすることにより、重み値αより小さい値に設定される。   It is assumed that the weight value α and the weight value β are values in the range of 0 to 1. However, the weight value β is smaller than 1 because it is smaller than the weight value α. The weight value α and the weight value β are set according to some rule such as setting by a user. For example, when the user sets the weight value α, the user inputs a specific numerical value, or the numerical value is determined by the user selecting from three levels of “high”, “medium”, and “low”. . The weight value β is set to a value smaller than the weight value α by, for example, multiplying the set value of the weight value α by a coefficient.

画像調整部１４は、被処理指定画像の特徴量を見本指定画像の特徴量に合わせる場合、被処理指定画像および見本指定画像の輝度成分および色度成分についての相加平均および分散を使用する。そして、画像調整部１４は、被処理指定画像の相加平均および分散を見本指定画像の相加平均および分散に近づける処理を行う。
また、画像調整部１４は、指定外画像の特徴量を見本指定画像の特徴量に合わせる場合、指定外画像および見本指定画像の輝度成分および色度成分についての相加平均および分散を使用する。そして、画像調整部１４は、指定外画像の相加平均および分散を見本指定画像の相加平均および分散に近づける処理を行う。 When adjusting the feature amount of the designated image to be processed to the feature amount of the sample designated image, the image adjustment unit 14 uses the arithmetic mean and variance of the luminance component and the chromaticity component of the designated process image and the designated sample image. Then, the image adjustment unit 14 performs a process of bringing the arithmetic mean and variance of the specified image to be processed closer to the arithmetic mean and variance of the sample specified image.
Further, when matching the feature amount of the non-designated image with the feature amount of the sample designated image, the image adjustment unit 14 uses the arithmetic mean and the variance of the luminance component and the chromaticity component of the non-designated image and the sample designated image. Then, the image adjustment unit 14 performs a process of bringing the arithmetic mean and variance of the non-designated image closer to the arithmetic mean and variance of the sample designated image.

これらの処理は、例えば、以下の数３式〜数８式により行われる。このうち数３式〜数５式は、被処理指定画像の特徴量を見本指定画像の特徴量に合わせる場合のものである。数３式〜数５式において、αi,jは重み値αを示し、重み値αは被処理指定画像を構成する位置（ｉ，ｊ）の画素毎に求められる。また数６式〜数８式は、指定外画像の特徴量を見本指定画像の特徴量に合わせる場合のものである。数６式〜数８式において、βi,jは重み値βを示し、重み値βは指定外画像を構成する位置（ｉ，ｊ）の画素毎に求められる。 These processes are performed by, for example, the following equations (3) to (8). Of these, Expressions 3 to 5 are for the case where the feature amount of the image to be processed is matched with the feature amount of the sample designation image. In Equations (3) to (5), α i, j indicates a weight value α, and the weight value α is obtained for each pixel at the position (i, j) constituting the designated image to be processed. Equations (6) to (8) are for the case where the feature amount of the non-designated image matches the feature amount of the sample designated image. In Expressions 6 to 8, β i, j represents a weight value β, and the weight value β is obtained for each pixel at a position (i, j) that forms an unspecified image.

なお、重み値αは、被処理指定画像の画素毎に設定されるが、本実施の形態では、被処理指定画像の各画素の重み値αは共通の値に設定されるものとする。さらに、重み値βは、指定外画像の画素毎に設定されるが、本実施の形態では、指定外画像の各画素の重み値βは共通の値に設定されるものとする。   The weight value α is set for each pixel of the image to be processed, but in the present embodiment, the weight value α of each pixel of the image to be processed is set to a common value. Furthermore, the weight value β is set for each pixel of the non-designated image, but in the present embodiment, the weight value β of each pixel of the non-designated image is set to a common value.

数３式〜数５式のうち、数３式は、Ｉ値についての算術式である。ここでＩi,jは、調整前の被処理指定画像を構成する位置（ｉ，ｊ）のＩ値である。またＩ’i,jは、調整後の被処理指定画像を構成する位置（ｉ，ｊ）のＩ値である。
また数４式は、Ｐ値についての算術式である。ここでＰi,jは、調整前の被処理指定画像を構成する位置（ｉ，ｊ）のＰ値である。またＰ’i,jは、調整後の被処理指定画像を構成する位置（ｉ，ｊ）のＰ値である。
さらに数５式は、Ｔ値についての算術式である。ここでＴi,jは、調整前の被処理指定画像を構成する位置（ｉ，ｊ）のＴ値である。またＴ’i,jは、調整後の被処理指定画像を構成する位置（ｉ，ｊ）のＴ値である。
これにより被処理指定画像を構成する位置（ｉ，ｊ）の画素について、見本指定画像に合わせた輝度成分（Ｉ）および色度成分（Ｐ、Ｔ）の調整が行われる。 Of the equations (3) to (5), the equation (3) is an arithmetic equation for the I value. Here, I i, j is the I value of the position (i, j) that constitutes the designated image to be processed before adjustment. I ′ i, j is the I value of the position (i, j) that constitutes the adjusted designated image to be processed.
Expression 4 is an arithmetic expression for the P value. Here, P i, j is the P value of the position (i, j) that constitutes the specified image to be processed before adjustment. P ′ i, j is the P value of the position (i, j) forming the adjusted designated image to be processed.
Equation 5 is an arithmetic equation for the T value. Here, T i, j is the T value of the position (i, j) that constitutes the designated image to be processed before adjustment. T ′ i, j is the T value of the position (i, j) forming the adjusted designated image to be processed.
As a result, the luminance component (I) and the chromaticity components (P, T) are adjusted for the pixel at the position (i, j) that constitutes the designated image to be processed, according to the sample designated image.

Figure 0006642021
Figure 0006642021

Figure 0006642021
Figure 0006642021

Figure 0006642021
Figure 0006642021

また、数６式〜数８式のうち、数６式は、Ｉ値についての算術式である。ここでＩi,jは、調整前の指定外画像を構成する位置（ｉ，ｊ）のＩ値である。またＩ’i,jは、調整後の指定外画像を構成する位置（ｉ，ｊ）のＩ値である。
また数７式は、Ｐ値についての算術式である。ここでＰi,jは、調整前の指定外画像を構成する位置（ｉ，ｊ）のＰ値である。またＰ’i,jは、調整後の指定外画像を構成する位置（ｉ，ｊ）のＰ値である。
さらに数８式は、Ｔ値についての算術式である。ここでＴi,jは、調整前の指定外画像を構成する位置（ｉ，ｊ）のＴ値である。またＴ’i,jは、調整後の指定外画像を構成する位置（ｉ，ｊ）のＴ値である。
これにより指定外画像を構成する位置（ｉ，ｊ）の画素について、見本指定画像に合わせた輝度成分（Ｉ）および色度成分（Ｐ、Ｔ）の調整が行われる。 In addition, among Expressions 6 to 8, Expression 6 is an arithmetic expression for the I value. Here, I i, j is the I value of the position (i, j) constituting the unspecified image before adjustment. Further, I ′ i, j is an I value of a position (i, j) constituting the adjusted non-designated image.
Expression 7 is an arithmetic expression for the P value. Here, P i, j is the P value of the position (i, j) constituting the unspecified image before adjustment. P ′ i, j is the P value of the position (i, j) forming the non-designated image after the adjustment.
Expression 8 is an arithmetic expression for the T value. Here, T i, j is the T value of the position (i, j) constituting the unspecified image before adjustment. T ′ i, j is the T value of the position (i, j) forming the non-designated image after the adjustment.
As a result, the luminance component (I) and the chromaticity components (P, T) of the pixel at the position (i, j) constituting the non-designated image are adjusted in accordance with the sample designated image.

Figure 0006642021
Figure 0006642021

Figure 0006642021
Figure 0006642021

Figure 0006642021
Figure 0006642021

図４（ａ）は、画像処理前における被処理指定画像および見本指定画像のヒストグラムを概念的に示した図である。
図４（ａ）で横軸は、色度成分を表し、Ｉ値、Ｐ値またはＴ値である。そして縦軸は、頻度（画素数）を表す。ここで実線は、被処理指定画像のヒストグラムであり、点線は、見本指定画像のヒストグラムである。この場合、画像処理前であるため、被処理指定画像の相加平均μＩｔ（またはμＰｔ、μＴｔ）と見本指定画像の相加平均μＩr（またはμＰｒ、μＴr）とは異なる。また被処理指定画像の分散σＩｔ ２（またはσＰｔ ２、σＴｔ ２）と見本指定画像の分散σＩr ２（またはσＰr ２、σＴr ２）とは異なる。
ここで、被処理指定画像の特徴量を見本指定画像の特徴量に合わせる処理では、被処理指定画像の相加平均を見本指定画像の相加平均に近づけるとともに、被処理指定画像の分散を見本指定画像の分散に近づける処理が行われる。 FIG. 4A is a diagram conceptually showing a histogram of a designated image to be processed and a sample designated image before image processing.
In FIG. 4A, the horizontal axis represents a chromaticity component, and is an I value, a P value, or a T value. The vertical axis indicates frequency (the number of pixels). Here, the solid line is the histogram of the designated image to be processed, and the dotted line is the histogram of the sample designated image. In this case, since before the image processing, the arithmetic mean μ It (or μ Pt , μ Tt ) of the image to be processed is different from the arithmetic mean μ Ir (or μ Pr , μ Tr ) of the sample specification image. Also, the variance σ It 2 (or σ Pt 2 , σ Tt 2 ) of the designated image to be processed is different from the variance σ Ir 2 (or σ Pr 2 , σ Tr 2 ) of the sample designated image.
Here, in the process of matching the feature amount of the designated image to be processed with the feature amount of the sample designated image, the arithmetic mean of the designated image to be processed is approximated to the arithmetic mean of the designated image, and the variance of the designated image is sampled. A process for approaching the variance of the designated image is performed.

図４（ｂ）は、画像調整部１４で輝度成分および色度成分を調整した後における被処理指定画像のヒストグラムを概念的に示した図である。ここで、図４（ｂ）に示す例は、重み値αを１にした場合の例である。
図４（ｂ）で横軸は、色度成分を表し、Ｉ値、Ｐ値またはＴ値である。そして縦軸は、頻度（画素数）を表す。この場合、重み値αが１であるため、画像調整部１４で色度成分を調整した後では、被処理指定画像の相加平均と見本指定画像の相加平均とは一致する。また被処理指定画像の分散と見本指定画像の分散とは一致する。 FIG. 4B is a diagram conceptually showing a histogram of the designated image to be processed after the luminance component and the chromaticity component have been adjusted by the image adjustment unit 14. Here, the example shown in FIG. 4B is an example in which the weight value α is set to 1.
In FIG. 4B, the horizontal axis represents a chromaticity component and is an I value, a P value, or a T value. The vertical axis indicates frequency (the number of pixels). In this case, since the weight value α is 1, after the chromaticity component is adjusted by the image adjustment unit 14, the arithmetic mean of the image to be processed matches the arithmetic mean of the sample-specified image. Also, the variance of the image to be processed and the variance of the sample specified image match.

なお、図４に示す例では、被処理指定画像の特徴量を見本指定画像の特徴量に合わせる場合について説明したが、指定外画像の特徴量を見本指定画像の特徴量に合わせる場合も同様である。即ち、指定外画像の特徴量を見本指定画像の特徴量に合わせる処理では、指定外画像の相加平均を見本指定画像の相加平均に近づけるとともに、指定外画像の分散を見本指定画像の分散に近づける処理が行われる。ただし、重み値βは１未満であるため、図４（ｂ）に示すように、指定外画像の相加平均と見本指定画像の相加平均とが一致したり、指定外画像の分散と見本指定画像の分散とが一致したりすることはない。   In the example illustrated in FIG. 4, a case has been described where the feature amount of the image to be processed is matched with the feature amount of the sample designated image. However, the case where the feature amount of the non-designated image is matched with the feature amount of the sample designated image is the same. is there. That is, in the process of matching the feature amount of the non-designated image with the feature amount of the sample designated image, the arithmetic mean of the undesignated image is made closer to the arithmetic mean of the sample designated image, and the variance of the undesignated image is measured as the variance of the sample designated image. Is performed. However, since the weight value β is less than 1, as shown in FIG. 4B, the arithmetic mean of the non-designated image matches the arithmetic mean of the sample designated image, or the variance of the non-designated image and the sample The variance of the designated image does not match.

画像表示部１５は、見本画像の特徴量を反映させた被処理画像を、表示装置に表示する。   The image display unit 15 displays an image to be processed on which the characteristic amount of the sample image is reflected on the display device.

図５は、第１の実施形態で行われる処理の例について説明した図である。
図５では、図２（ａ）の見本画像Ｍおよび被処理画像Ｈを示しており、図中左側に見本画像Ｍを図示し、図中右側に被処理画像Ｈを図示している。そしてユーザは、被処理画像Ｈの画像処理を行い、被処理画像Ｈを見本画像Ｍの後景Ｂ１（図２（ａ）参照）と同様の印象を有する画像にしたいものとする。
ここで、太線で囲む見本指定画像Ｍ１は、見本画像Ｍの後景Ｂ１（図２（ａ）参照）である。また、太線で囲む被処理指定画像Ｈ１は、被処理画像Ｈの後景Ｂ２（図２（ａ）参照）である。さらに、被処理指定画像Ｈ１を除く領域の画像が指定外画像Ｈ２である。なお以後、ユーザは、タブレットやスマートフォンを使用し、表示装置を指やタッチペンでタッチ等することで操作を行う場合を中心として説明を行う。 FIG. 5 is a diagram illustrating an example of a process performed in the first embodiment.
FIG. 5 shows the sample image M and the image H to be processed in FIG. 2A, wherein the sample image M is shown on the left side in the figure, and the image H to be processed is shown on the right side in the figure. Then, it is assumed that the user performs image processing on the processed image H, and wants the processed image H to be an image having the same impression as the background B1 of the sample image M (see FIG. 2A).
Here, the sample designation image M1 surrounded by the thick line is the background B1 of the sample image M (see FIG. 2A). Further, the processing-designated image H1 surrounded by the bold line is a background B2 of the processing image H (see FIG. 2A). Further, an image in an area excluding the processing-designated image H1 is a non-designated image H2. Hereinafter, a description will be given focusing on a case where a user performs an operation by using a tablet or a smartphone and touching the display device with a finger or a touch pen.

ユーザは、まず指やタッチペンで被処理指定画像Ｈ１の外周（縁）の何れかの箇所をタッチした後に、そのまま指やタッチペンを被処理画像Ｈ上で動かし、ドラッグする操作を行う。この操作は、被処理画像Ｈのうちの被処理指定画像Ｈ１をユーザが指定する操作となり、ユーザ操作受付部１１により受け付けられる。付言すると、ユーザ操作受付部１１は、被処理画像Ｈ上で指やタッチペンの軌道により囲まれた画像を、被処理指定画像Ｈ１として受け付ける。なおこの操作をマウス等で行う場合は、被処理指定画像Ｈ１の外周（縁）の何れかの箇所をクリックした後に、そのままドラッグする操作となる。   The user first touches any part of the outer periphery (edge) of the processing-designated image H1 with a finger or a touch pen, and then moves the finger or the touch pen on the processing image H and drags it. This operation is an operation in which the user designates the to-be-designated image H1 of the to-be-processed images H, and is accepted by the user operation accepting unit 11. In addition, the user operation receiving unit 11 receives an image surrounded by a trajectory of a finger or a touch pen on the processed image H as the processed specified image H1. When this operation is performed with a mouse or the like, the operation is to click on any part of the outer periphery (edge) of the designated image to be processed H1, and then drag the image as it is.

次に、ユーザは、見本指定画像Ｍ１の外周（縁）の何れかの箇所をタッチ（マウス等で行う場合は、クリック）した後に、そのまま指やタッチペンを見本画像Ｍ上で動かし、ドラッグする操作を行う。この操作は、見本画像Ｍのうちの見本指定画像Ｍ１をユーザが指定する操作となり、ユーザ操作受付部１１により受け付けられる。付言すると、ユーザ操作受付部１１は、見本画像Ｍ上で指やタッチペン等の軌道により囲まれた画像を、見本指定画像Ｍ１として受け付ける。   Next, the user touches (clicks when performing with a mouse or the like) any part of the outer periphery (edge) of the sample designation image M1, then moves the finger or the touch pen on the sample image M, and drags the same. I do. This operation is an operation in which the user specifies the sample specification image M1 of the sample images M, and is received by the user operation reception unit 11. In addition, the user operation receiving unit 11 receives an image surrounded by a trajectory of a finger, a touch pen, or the like on the sample image M as the sample designation image M1.

ここで、被処理指定画像Ｈ１は、窓を介して室外が映し出された後景Ｂ２（図２（ａ）参照）であり、例えば、青色の空の画像など、昼の外光の色を持った画像である。一方、指定外画像Ｈ２は、照明光により照らされた室内の画像である前景Ｆ２（図２（ａ）参照）であり、照明光の色を持った画像である。また、見本指定画像Ｍ１は、窓を介して室外が映し出された後景Ｂ１（図２（ａ）参照）であり、例えば、赤色の空の画像など、夕方の外光の色を持った画像である。   Here, the processing-designated image H1 is a background B2 (see FIG. 2A) in which the outside is projected through a window, and has a color of daylight such as a blue sky image. Image. On the other hand, the non-designated image H2 is a foreground F2 (see FIG. 2A) which is an image of the room illuminated by the illumination light, and is an image having the color of the illumination light. The sample designation image M1 is a background B1 (see FIG. 2A) in which the outside is projected through a window, and for example, an image having a color of the evening light such as a red sky image. It is.

そして、特徴量抽出部１３は、被処理指定画像Ｈ１、指定外画像Ｈ２および見本指定画像Ｍ１の特徴量を抽出する。次に、画像調整部１４は、特徴量抽出部１３により抽出された被処理指定画像Ｈ１、指定外画像Ｈ２および見本指定画像Ｍ１の特徴量をもとに、被処理画像Ｈの特徴量を見本指定画像Ｍ１の特徴量に合わせ調整する。ここでは、上述した数３式〜数５式のＰ’i,j、Ｔ’i,j、Ｉ’i,jが画像処理後の被処理指定画像Ｈ１の画像データとなる。また、上述した数６式〜数８式のＰ’i,j、Ｔ’i,j、Ｉ’i,jが画像処理後の指定外画像Ｈ２の画像データとなる。即ち、重み値αおよび重み値βにより、見本指定画像Ｍ１の特徴量を反映させる度合いが調整される。 Then, the feature amount extracting unit 13 extracts the feature amounts of the processing-designated image H1, the non-designated image H2, and the sample designated image M1. Next, the image adjustment unit 14 samples the feature amount of the processing target image H based on the feature amounts of the processing-specified image H1, the non-designated image H2, and the sample specification image M1 extracted by the characteristic amount extraction unit 13. Adjustment is made according to the feature amount of the designated image M1. Here, P ′ i, j , T ′ i, j , and I ′ i, j in Equations (3) to (5) are image data of the designated image to be processed H1 after image processing. Further, P ′ i, j , T ′ i, j , and I ′ i, j in Expressions 6 to 8 described above become image data of the non-designated image H2 after the image processing. That is, the degree of reflecting the characteristic amount of the sample designation image M1 is adjusted by the weight value α and the weight value β.

その結果、被処理指定画像Ｈ１は、見本指定画像Ｍ１の特徴量が反映されるため、被処理指定画像Ｈ１から受ける画像の印象が、見本指定画像Ｍ１から受ける画像の印象に近いものとなる。具体的には、被処理指定画像Ｈ１における外光の色は、昼のものから夕方のものに変化し、青色の空の画像から赤色の空の画像に変化する。一方で、指定外画像Ｈ２については、見本指定画像Ｍ１の特徴量を反映させる度合いが被処理指定画像Ｈ１よりも小さくなるように調整される。即ち、指定外画像Ｈ２では、指定外画像Ｈ２における室内の照明光の印象が大きく変化しないように、見本指定画像Ｍ１の外光の影響が抑制される。付言すると、本実施の形態において、被処理指定画像の特徴量は、被処理指定画像の光源の印象に基づくものであり、指定外画像の特徴量は、指定外画像の光源の印象に基づくものであり、見本指定画像の特徴量は、見本指定画像の光源の印象に基づくものと捉えることができる。   As a result, since the feature amount of the sample designation image M1 is reflected on the process designation image H1, the impression of the image received from the process designation image H1 is close to the impression of the image received from the sample designation image M1. Specifically, the color of the external light in the processing-designated image H1 changes from daytime to evening, and from a blue sky image to a red sky image. On the other hand, the non-designated image H2 is adjusted so that the degree of reflecting the feature amount of the sample designated image M1 is smaller than that of the processed designated image H1. That is, in the non-designated image H2, the influence of the external light of the sample designated image M1 is suppressed so that the impression of the indoor illumination light in the non-designated image H2 does not significantly change. In addition, in this embodiment, the feature amount of the designated image to be processed is based on the impression of the light source of the designated image to be processed, and the feature amount of the non-designated image is based on the impression of the light source of the non-designated image. Thus, the feature amount of the sample designation image can be considered to be based on the impression of the light source of the sample designation image.

なお実際には、画像表示部１５は、画像処理後の画像データであるＰ’i,j、Ｔ’i,j、Ｉ’i,jを色変換部１２で取得した入力画像データの形式に再変換して表示装置に出力する。即ち、画像表示部１５は、ＩＰＴデータをＲＧＢデータに戻し、表示装置に出力し、表示装置にて画像処理後の被処理画像が表示される。 Actually, the image display unit 15 converts the image data P ′ i, j , T ′ i, j , and I ′ i, j after image processing into the format of the input image data acquired by the color conversion unit 12. Re-convert and output to the display device. That is, the image display unit 15 returns the IPT data to the RGB data, outputs the data to the display device, and displays the processed image after the image processing on the display device.

以上説明したように、本実施の形態では、画像調整部１４の画像処理により、被処理画像内の被処理指定画像および指定外画像のそれぞれに対して、見本指定画像の画質を反映させる度合いを設定して、画像処理が行われる。そのため、被処理指定画像の光源の印象を見本指定画像の光源の印象に合わせる一方で、指定外画像の光源の印象は見本指定画像の光源による影響を抑制したものとなる。このように、被処理画像内の領域毎に、見本指定画像の画質を反映させる度合いを変えることにより、ユーザが意図する画質の調整が行われる。   As described above, in the present embodiment, the degree to which the image quality of the sample specification image is reflected on each of the specified image and the non-specified image in the processed image by the image processing of the image adjustment unit 14 is described. After setting, image processing is performed. Therefore, while the impression of the light source of the image to be processed is matched with the impression of the light source of the sample designation image, the impression of the light source of the non-designated image suppresses the influence of the light source of the sample designation image. As described above, the image quality adjusted by the user is adjusted by changing the degree of reflecting the image quality of the sample designation image for each region in the image to be processed.

また、上述した例では、ユーザの操作により被処理指定画像を指定するが、手動の操作では、ユーザが画像の印象を変えたい領域を正確に指定できない場合も考えられる。このような場合を想定して、例えば、ユーザが指定した領域の周辺で、指定した領域の色に近い色を有する箇所があれば、そのような箇所も自動的に含めて被処理指定画像を設定しても良い。この場合、例えば、特徴量抽出部１３は、ユーザが指定した領域内の色度データ（例えば、ＩＰＴデータ）の平均値を算出する。そして、特徴量抽出部１３は、ユーザが指定した領域の周辺の画素であって、算出した平均値から予め定められた範囲内にある色度データを持つ画素も含めて被処理指定画像として設定し、被処理指定画像の特徴量を抽出する。   Further, in the above-described example, the designated image to be processed is specified by the user's operation. However, it is also conceivable that the user cannot accurately specify the area in which the impression of the image is to be changed by the manual operation. Assuming such a case, for example, if there is a portion having a color close to the color of the designated region around the region designated by the user, the designated image to be processed is automatically included including such a portion. May be set. In this case, for example, the feature amount extraction unit 13 calculates an average value of chromaticity data (for example, IPT data) in an area specified by the user. Then, the feature amount extraction unit 13 sets the pixels around the area designated by the user as pixels to be processed including pixels having chromaticity data within a predetermined range from the calculated average value. Then, the feature amount of the image to be processed is extracted.

さらに、上述した例では、被処理画像において被写体を照らす複数種類の光源がある場合に、見本指定画像の特徴量を反映させる場合について説明したが、これに限られるものではない。本実施の形態は、被処理画像における光源が１種類の場合にも適用可能である。また、見本画像における光源は１種類でも複数種類でも良い。   Furthermore, in the above-described example, the case has been described where the feature amount of the sample designation image is reflected when there are a plurality of types of light sources that illuminate the subject in the image to be processed. However, the present invention is not limited to this. This embodiment is also applicable to the case where the light source in the image to be processed is one type. Further, the light source in the sample image may be one type or a plurality of types.

なお、図５に示す例では、被処理指定画像Ｈ１や見本指定画像Ｍ１を四角形や六角形としたが、例えば、三角形、円形など、被処理指定画像Ｈ１や見本指定画像Ｍ１の形状はどのようなものでも良い。   In the example illustrated in FIG. 5, the processing-designated image H1 and the sample designation image M1 are square and hexagonal. However, for example, the shapes of the processing-designated image H1 and the sample designation image M1 such as a triangle and a circle are different. May be something.

［第２の実施形態］
次に第２の実施形態について説明を行う。
第１の実施形態では、指定外画像の特徴量を見本指定画像の特徴量に合わせる際の重み値βは、指定外画像の各画素で共通の値に設定される。これに対して、本実施の形態では、指定外画像を構成する各画素の情報に基づいて、予め定められた規則に従って、指定外画像の画素毎に重み値βが算出される。具体的には、本実施の形態では、被処理指定画像からの距離に応じて、重み値βの値が算出される。 [Second embodiment]
Next, a second embodiment will be described.
In the first embodiment, the weight value β when matching the feature amount of the non-designated image with the feature amount of the sample designated image is set to a common value for each pixel of the non-designated image. On the other hand, in the present embodiment, the weight value β is calculated for each pixel of the non-designated image according to a predetermined rule based on information of each pixel constituting the non-designated image. Specifically, in the present embodiment, the value of the weight value β is calculated according to the distance from the designated image to be processed.

本実施の形態の画像処理装置１の機能構成例については、図３と同様である。そしてユーザ操作受付部１１、色変換部１２、特徴量抽出部１３および画像表示部１５の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、画像調整部１４について説明を行う。   An example of a functional configuration of the image processing apparatus 1 according to the present embodiment is the same as that in FIG. The functions of the user operation receiving unit 11, the color conversion unit 12, the feature amount extraction unit 13, and the image display unit 15 are the same as in the first embodiment. Therefore, the image adjustment unit 14 will be described below as being different from the first embodiment.

本実施の形態では、画像調整部１４は、被処理指定画像については第１の実施形態と同様の処理を行い、見本指定画像の特徴量を被処理指定画像の特徴量に反映させる。一方、画像調整部１４は、指定外画像については、被処理指定画像の予め定められた位置から指定外画像の各画素までの距離に応じて、重み値βを指定外画像の画素毎に調整する。   In the present embodiment, the image adjustment unit 14 performs the same processing as that of the first embodiment on the processing-designated image, and reflects the characteristic amount of the sample-designated image on the characteristic amount of the processing-designated image. On the other hand, for the non-designated image, the image adjustment unit 14 adjusts the weight value β for each pixel of the non-designated image according to the distance from a predetermined position of the designated image to be processed to each pixel of the non-designated image. I do.

例えば、画像調整部１４は、被処理指定画像の予め定められた位置として、被処理指定画像が示す図形内に存在する重心の位置を特定する。そして、画像調整部１４は、指定外画像の各画素について、重心からの距離を計算し、計算した距離に応じて重み値βを算出する。この場合、重心からの距離が近いほど、重み値βが大きくなり、重心からの距離が遠いほど、重み値βが小さくなるように設定される。なお、重心からの距離を重み値βに変換するための計算はどのようなものでも良く、例えば、重心からの距離に特定の係数を乗じることにより、重み値βが算出される。   For example, the image adjustment unit 14 specifies the position of the center of gravity existing in the graphic indicated by the processing-designated image as the predetermined position of the processing-designated image. Then, the image adjustment unit 14 calculates the distance from the center of gravity for each pixel of the non-designated image, and calculates the weight value β according to the calculated distance. In this case, the weight value β is set to increase as the distance from the center of gravity decreases, and the weight value β decreases as the distance from the center of gravity increases. The calculation for converting the distance from the center of gravity to the weight value β may be any calculation. For example, the weight value β is calculated by multiplying the distance from the center of gravity by a specific coefficient.

そして、指定外画像の画素毎に重み値が算出された後、指定外画像に対する画像処理が行われる。この画像処理は、第１の実施形態と同様に、上述した数６式〜数８式により行われる。即ち、数６式〜数８式のβi,jには、指定外画像の画素毎に算出された重み値が代入される。 Then, after a weight value is calculated for each pixel of the non-designated image, image processing is performed on the non-designated image. This image processing is performed by the above-described equations (6) to (8), as in the first embodiment. That is, the weight value calculated for each pixel of the non-designated image is substituted for β i, j in Expressions 6 to 8.

このように、本実施の形態では、画像調整部１４の画像処理により、指定外画像の各画素について、被処理指定画像からの距離に応じて、見本指定画像の特徴量が反映される。即ち、指定外画像では、被処理指定画像からの距離が近いほど見本指定画像の特徴量が反映される度合いが大きくなり、被処理指定画像からの距離が遠いほど見本指定画像の特徴量が反映される度合いが小さくなる。言い換えると、指定外画像では、被処理指定画像からの距離が近いほど、見本指定画像の光源の影響がより反映される。   As described above, in the present embodiment, the characteristic amount of the sample designation image is reflected by the image processing of the image adjustment unit 14 for each pixel of the non-designated image according to the distance from the designated image to be processed. That is, in the non-designated image, the closer to the distance from the processing-designated image, the greater the degree to which the feature amount of the sample-designated image is reflected. Is reduced. In other words, in the non-designated image, the closer the distance from the designated image to be processed is, the more the influence of the light source of the sample designated image is reflected.

また、上述した例では、被処理指定画像の予め定められた位置を重心とし、重心からの距離に応じて重み値を設定したが、これに限られるものではない。例えば、被処理指定画像の予め定められた位置を被処理指定画像の外周（縁）とし、外周からの距離に応じて重み値を設定しても良い。   Further, in the above-described example, the predetermined position of the image to be processed is set as the center of gravity, and the weight value is set according to the distance from the center of gravity. However, the present invention is not limited to this. For example, a predetermined position of the image to be processed may be set as the outer periphery (edge) of the image to be processed, and the weight value may be set according to the distance from the outer periphery.

［第３の実施形態］
次に第３の実施形態について説明を行う。
本実施の形態では、第２の実施形態と同様に、指定外画像を構成する各画素の情報に基づいて、予め定められた規則に従って、指定外画像の画素毎に重み値βが算出される。具体的には、本実施の形態では、指定外画像内の色分布に応じて、重み値βの値が算出される。 [Third Embodiment]
Next, a third embodiment will be described.
In the present embodiment, similarly to the second embodiment, the weight value β is calculated for each pixel of the non-designated image according to a predetermined rule based on the information of each pixel constituting the non-designated image. . Specifically, in the present embodiment, the value of weight value β is calculated according to the color distribution in the non-designated image.

本実施の形態の画像処理装置１の機能構成例については、図３と同様である。そしてユーザ操作受付部１１、色変換部１２、特徴量抽出部１３および画像表示部１５の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、画像調整部１４について説明を行う。   An example of a functional configuration of the image processing apparatus 1 according to the present embodiment is the same as that in FIG. The functions of the user operation receiving unit 11, the color conversion unit 12, the feature amount extraction unit 13, and the image display unit 15 are the same as in the first embodiment. Therefore, the image adjustment unit 14 will be described below as being different from the first embodiment.

本実施の形態では、画像調整部１４は、被処理指定画像については第１の実施形態と同様の処理を行い、見本指定画像の特徴量を被処理指定画像の特徴量に反映させる。一方、画像調整部１４は、指定外画像については、指定外画像内の色分布、言い換えると、指定外画像を構成する各画素の画素値と被処理指定画像内の画素値の平均との差に応じて、重み値βを指定外画像の画素毎に調整する。   In the present embodiment, the image adjustment unit 14 performs the same processing as that of the first embodiment on the processing-designated image, and reflects the characteristic amount of the sample-designated image on the characteristic amount of the processing-designated image. On the other hand, for the non-designated image, the image adjustment unit 14 calculates the difference between the color distribution in the non-designated image, in other words, the pixel value of each pixel constituting the non-designated image and the average of the pixel values in the processed designated image. , The weight value β is adjusted for each pixel of the non-designated image.

例えば、画像調整部１４は、被処理画像において、色変換部１２に色変換される前のＲＧＢ色空間の色度（ＲＧＢ値）を取得する。次に、画像調整部１４は、被処理指定画像内の各画素が有するＲＧＢ値の平均を計算する。ここでは、被処理指定画像内の各画素が有するＲ値、Ｇ値、Ｂ値のそれぞれについて、平均（例えば、相加平均）が計算される。次に、画像調整部１４は、指定外画像内の各画素の画素値（ＲＧＢ値）と、被処理指定画像の平均画素値（ＲＧＢ値）との差を計算し、計算した差に応じて重み値βを算出する。この場合、画素値の差が小さいほど、重み値βが大きくなり、画素値の差が大きいほど、重み値βが小さくなるように設定される。なお、画素値の差を重み値βに変換するための計算はどのようなものでも良く、例えば、画素値の差に特定の係数を乗じることにより、重み値βが算出される。   For example, the image adjustment unit 14 acquires the chromaticity (RGB value) of the RGB color space before the color conversion by the color conversion unit 12 in the image to be processed. Next, the image adjustment unit 14 calculates an average of RGB values of each pixel in the designated image to be processed. Here, an average (for example, an arithmetic average) is calculated for each of the R value, the G value, and the B value of each pixel in the designated image to be processed. Next, the image adjustment unit 14 calculates a difference between a pixel value (RGB value) of each pixel in the non-designated image and an average pixel value (RGB value) of the processing-designated image, and according to the calculated difference. The weight value β is calculated. In this case, the weight value β is set to be larger as the difference between the pixel values is smaller, and the weight value β is set to be smaller as the difference between the pixel values is larger. The calculation for converting the pixel value difference into the weight value β may be any calculation. For example, the weight value β is calculated by multiplying the pixel value difference by a specific coefficient.

ここで、指定外画像内の各画素の画素値と、被処理指定画像の平均画素値との差は、以下の数９式により算出する。
数９式において、Ｌｉｊは、指定外画像を構成する各画素の位置（ｉ，ｊ）における画素値と被処理指定画像の平均画素値との差である。Ｒｉｊは指定外画像を構成する各画素の位置（ｉ，ｊ）におけるＲ値、Ｇｉｊは指定外画像を構成する各画素の位置（ｉ，ｊ）におけるＧ値、Ｂｉｊは指定外画像を構成する各画素の位置（ｉ，ｊ）におけるＢ値である。また、Ｒ０は被処理指定画像の平均のＲ値、Ｇ０は被処理指定画像の平均のＧ値、Ｂ０は被処理指定画像の平均のＢ値である。 Here, the difference between the pixel value of each pixel in the non-designated image and the average pixel value of the image to be processed is calculated by the following equation (9).
In Equation 9, L ij is the difference between the pixel value at the position (i, j) of each pixel constituting the non-designated image and the average pixel value of the designated image to be processed. R ij is the R value at the position (i, j) of each pixel constituting the non-designated image, G ij is the G value at the position (i, j) of each pixel constituting the non-designated image, and B ij is the undesignated image. Is the B value at the position (i, j) of each pixel constituting. R 0 is the average R value of the image to be processed, G 0 is the average G value of the image to be processed, and B 0 is the average B value of the image to be processed.

Figure 0006642021
Figure 0006642021

そして、数９式により、指定外画像の各画素において画素値の差が算出された後、画素毎に重み値が算出される。そして、指定外画像に対する画像処理が行われる。この画像処理は、第１の実施形態と同様に、上述した数６式〜数８式により行われる。即ち、数６式〜数８式のβi,jには、指定外画像の画素毎に算出された重み値が代入される。 Then, after calculating the difference between the pixel values in each pixel of the non-designated image by Expression 9, the weight value is calculated for each pixel. Then, image processing is performed on the non-designated image. This image processing is performed by the above-described equations (6) to (8), as in the first embodiment. That is, the weight value calculated for each pixel of the non-designated image is substituted for β i, j in Expressions 6 to 8.

このように、本実施の形態では、画像調整部１４の画像処理により、指定外画像の各画素について、被処理指定画像の平均画素値との差に応じて、見本指定画像の特徴量が反映される。即ち、指定外画像では、被処理指定画像の平均画素値との差が小さいほど見本指定画像の特徴量が反映される度合いが大きくなり、被処理指定画像の平均画素値との差が大きいほど見本指定画像の特徴量が反映される度合いが小さくなる。   As described above, in the present embodiment, the characteristic amount of the sample designation image is reflected by the image processing of the image adjustment unit 14 according to the difference between the average pixel value of the non-designated image and the average pixel value of the non-designated image. Is done. That is, in the non-designated image, the smaller the difference from the average pixel value of the image to be processed is smaller, the greater the degree to which the feature amount of the sample specified image is reflected, and the larger the difference from the average pixel value of the image to be processed is larger. The degree to which the feature amount of the sample designation image is reflected becomes smaller.

言い換えると、指定外画像では、画像処理前の被処理指定画像の色に近いほど、見本指定画像の光源の影響がより反映される。そのため、例えば、ユーザが画像の印象を変えたい領域を正確に指定していない場合であっても、ユーザが指定した領域に近い色を有する箇所について、見本指定画像の光源の影響がより反映されることとなる。また、指定外画像において、画像処理前に被処理指定画像からの光源の影響を受けて被処理指定画像と同様の印象を有するような箇所は、画像処理後にも同様に、画像処理後の被処理指定画像の印象に近くなるように調整されることとなる。   In other words, in the non-designated image, the closer to the color of the designated image before the image processing, the more the influence of the light source of the sample designated image is reflected. Therefore, for example, even when the user does not correctly specify an area in which the user wants to change the impression of the image, the influence of the light source of the sample specification image is more reflected on a portion having a color close to the area specified by the user. The Rukoto. Further, in the non-designated image, a portion which has the same impression as the image to be processed due to the influence of the light source from the image to be processed before the image processing is similarly processed after the image processing. The adjustment is performed so as to be close to the impression of the processing designation image.

また、上述した例では、ＲＧＢデータの値の差に応じて重み値を設定したが、これに限られるものではない。輝度成分と色度成分とを含む色空間での色度データであれば良く、例えば、ＲＧＢデータの代わりに、ＩＰＴデータ、ＣＩＥＬ＊ａ＊ｂ＊データ、Ｌαβデータ、ＣＡＭＯ２データ、ＨＳＶデータ等を用いても良い。 Further, in the above-described example, the weight value is set according to the difference between the values of the RGB data, but the present invention is not limited to this. Any chromaticity data in a color space including a luminance component and a chromaticity component may be used. For example, instead of RGB data, IPT data, CIEL * a * b * data, Lαβ data, CAMO2 data, HSV data, etc. May be used.

［第４の実施形態］
次に第４の実施形態について説明を行う。
本実施の形態では、重み値βは、指定外画像の各画素で共通の値に設定されるが、被処理画像の全体に占める被処理指定画像の割合に応じて算出される。 [Fourth embodiment]
Next, a fourth embodiment will be described.
In the present embodiment, the weight value β is set to a common value for each pixel of the non-designated image, but is calculated according to the ratio of the designated image to be processed to the entirety of the processed image.

本実施の形態の画像処理装置１の機能構成例については、図３と同様である。そしてユーザ操作受付部１１、色変換部１２、特徴量抽出部１３および画像表示部１５の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、画像調整部１４について説明を行う。   An example of a functional configuration of the image processing apparatus 1 according to the present embodiment is the same as that in FIG. The functions of the user operation receiving unit 11, the color conversion unit 12, the feature amount extraction unit 13, and the image display unit 15 are the same as in the first embodiment. Therefore, the image adjustment unit 14 will be described below as being different from the first embodiment.

本実施の形態では、画像調整部１４は、被処理指定画像については第１の実施形態と同様の処理を行い、見本指定画像の特徴量を被処理指定画像の特徴量に反映させる。一方、画像調整部１４は、指定外画像については、被処理画像の全体に占める被処理指定画像の割合に応じて、重み値βを調整する。   In the present embodiment, the image adjustment unit 14 performs the same processing as that of the first embodiment on the processing-designated image, and reflects the characteristic amount of the sample-designated image on the characteristic amount of the processing-designated image. On the other hand, the image adjustment unit 14 adjusts the weight β for the non-designated image in accordance with the ratio of the process-designated image to the entire process-target image.

例えば、画像調整部１４は、被処理画像全体に占める被処理指定画像の割合を計算し、計算した割合に応じて重み値βを算出する。この場合、被処理画像全体に占める被処理指定画像の割合が大きいほど、重み値βが大きくなり、被処理画像全体に占める被処理指定画像の割合が小さいほど、重み値βが小さくなるように設定される。なお、被処理指定画像の割合を重み値βに変換するための計算はどのようなものでも良く、例えば、割合に特定の係数を乗じることにより、重み値βが算出される。   For example, the image adjustment unit 14 calculates the ratio of the designated image to be processed to the entire processed image, and calculates the weight value β according to the calculated ratio. In this case, the weight value β increases as the ratio of the processing-designated image in the entire processing image increases, and the weight value β decreases as the ratio of the processing-designated image in the entire processing image decreases. Is set. The calculation for converting the ratio of the image to be processed into the weight value β may be any calculation. For example, the weight value β is calculated by multiplying the ratio by a specific coefficient.

図６は、被処理指定画像の割合から重み値βを算出する処理の一例を説明するための図である。図示の例では、被処理画像全体に占める被処理指定画像の割合に応じて、番号１〜５の５段階に分類される場合を示している。例えば番号１では、被処理指定画像は指定外画像よりもはるかに大きく、被処理画像全体に占める被処理指定画像の割合が番号１〜５の中でも最も大きい場合を示す。また、被処理画像全体に占める被処理指定画像の割合は、番号１〜５の順に小さくなる。そして、重み値βも、番号１〜５の順に小さくなる。なお、図示の例では、指定外画像への反映度合いを１〜５の５段階で表しているが、この値は一例であり、例えば、この反映度合いをもとに重み値βが算出される。   FIG. 6 is a diagram illustrating an example of a process of calculating the weight value β from the ratio of the designated image to be processed. The illustrated example shows a case where the image is classified into five stages of numbers 1 to 5 according to the ratio of the image to be processed to the entire image to be processed. For example, the number 1 indicates that the image to be processed is much larger than the non-designated image, and the ratio of the image to be processed to the entire image to be processed is the largest among the numbers 1 to 5. Further, the ratio of the designated image to be processed to the entire processed image decreases in the order of numbers 1 to 5. Then, the weight value β also decreases in the order of numbers 1 to 5. In the illustrated example, the degree of reflection on the non-designated image is represented by five levels from 1 to 5, but this value is merely an example. For example, the weight value β is calculated based on this degree of reflection. .

そして、指定外画像について重み値が算出された後、指定外画像に対する画像処理が行われる。この画像処理は、第１の実施形態と同様に、上述した数６式〜数８式により行われる。即ち、数６式〜数８式のβi,jには、算出された指定外画像の重み値が代入される。 Then, after the weight value is calculated for the non-designated image, image processing is performed on the non-designated image. This image processing is performed by the above-described equations (6) to (8), as in the first embodiment. That is, the calculated weight value of the non-designated image is substituted for β i, j in Expressions 6 to 8.

このように、本実施の形態では、画像調整部１４の画像処理により、指定外画像について、被処理画像全体に占める被処理指定画像の割合に応じて、見本指定画像の特徴量が反映される。即ち、指定外画像では、被処理画像全体に占める被処理指定画像の割合が大きいほど見本指定画像の特徴量が反映される度合いが大きくなり、被処理画像全体に占める被処理指定画像の割合が小さいほど見本指定画像の特徴量が反映される度合いが小さくなる。結果として、指定外画像では、被処理画像に対して被処理指定画像が大きいほど、見本指定画像の光源の影響がより反映される。   As described above, in the present embodiment, the feature amount of the sample designation image is reflected by the image processing of the image adjustment unit 14 in accordance with the ratio of the designated image to the entire non-designated image. . That is, in the non-designated image, the larger the ratio of the designated process image to the entire processed image, the greater the degree to which the feature amount of the sample designated image is reflected. The smaller the value, the smaller the degree to which the feature amount of the sample designation image is reflected. As a result, in the non-designated image, the influence of the light source of the sample designated image is more reflected as the processed designated image is larger than the processed image.

なお、本実施の形態において、重み値βを指定外画像の各画素で共通の値に設定することとしたが、このような構成に限られない。本実施の形態では、第３の実施形態や第４の実施形態の処理と組み合わせることにより、指定外画像を構成する各画素の情報に基づいて、画素毎に重み値βを算出しても良い。   In the present embodiment, the weight value β is set to a common value for each pixel of the non-designated image, but is not limited to such a configuration. In the present embodiment, the weight value β may be calculated for each pixel based on the information of each pixel constituting the non-designated image by combining with the processing of the third embodiment or the fourth embodiment. .

［第５の実施形態］
次に第５の実施形態について説明を行う。
第１の実施形態〜第４の実施形態では、指定外画像に対して見本指定画像の特徴量を反映させる。これに対して、本実施の形態では、指定外画像に対して、見本指定画像の特徴量だけでなく、見本画像内の他の領域の画像の特徴量も反映させる。 [Fifth Embodiment]
Next, a fifth embodiment will be described.
In the first to fourth embodiments, the feature amount of the sample designated image is reflected on the non-designated image. On the other hand, in the present embodiment, not only the feature amount of the sample designated image but also the feature amount of an image in another area in the sample image is reflected on the non-designated image.

本実施の形態の画像処理装置１の機能構成例については、図３と同様である。そしてユーザ操作受付部１１、色変換部１２および画像表示部１５の機能は、第１の実施形態と同様である。よって以下、第１の実施形態と異なる点として、特徴量抽出部１３、画像調整部１４について説明を行う。   An example of a functional configuration of the image processing apparatus 1 according to the present embodiment is the same as that in FIG. The functions of the user operation receiving unit 11, the color conversion unit 12, and the image display unit 15 are the same as in the first embodiment. Therefore, hereinafter, as features different from the first embodiment, the feature amount extracting unit 13 and the image adjusting unit 14 will be described.

本実施の形態では、特徴量抽出部１３は、被処理画像において、被処理指定画像の特徴量および指定外画像の特徴量を抽出する。また、特徴量抽出部１３は、見本画像において、見本指定画像の特徴量を抽出する。さらに、特徴量抽出部１３は、見本画像においてユーザが指定していない領域の画像（以下、見本指定外画像と称する）、言い換えると、見本画像において見本指定画像を除く領域の画像である見本指定外画像の特徴量を抽出する。本実施の形態において、見本指定外画像は、第１指定外画像の一例として用いられる。   In the present embodiment, the feature amount extracting unit 13 extracts the feature amount of the designated image to be processed and the feature amount of the non-designated image in the processed image. In addition, the characteristic amount extracting unit 13 extracts the characteristic amount of the sample designation image from the sample image. Further, the feature amount extraction unit 13 outputs the sample designation image which is an image of a region not designated by the user in the sample image (hereinafter, referred to as a non-sample designation image), in other words, an image of a region excluding the sample designation image in the sample image. The feature amount of the outside image is extracted. In the present embodiment, the sample non-designated image is used as an example of the first non-designated image.

また、画像調整部１４は、被処理指定画像については第１の実施形態と同様の処理を行い、見本指定画像の特徴量を被処理指定画像の特徴量に反映させる。一方、画像調整部１４は、指定外画像については、まず、見本指定外画像の特徴量を反映させる。その後、画像調整部１４は、指定外画像について、さらに、見本指定画像の特徴量を反映させる。   Further, the image adjustment unit 14 performs the same processing as that of the first embodiment on the processing-designated image, and reflects the characteristic amount of the sample-designated image on the characteristic amount of the processing-designated image. On the other hand, for the non-designated image, the image adjustment unit 14 first reflects the feature amount of the sample non-designated image. After that, the image adjustment unit 14 further reflects the feature amount of the sample designated image on the non-designated image.

ここで、見本指定外画像の特徴量は、数１０式、数１１式により算出される。数１０式において、Ｉｉｊは、見本指定外画像を構成する各画素の位置（ｉ，ｊ）におけるＩ値である。またＰｉｊは、見本指定外画像を構成する各画素の位置（ｉ，ｊ）におけるＰ値である。さらにＴｉｊは、見本指定外画像を構成する各画素の位置（ｉ，ｊ）におけるＴ値である。 Here, the feature amount of the sample non-designated image is calculated by Expression 10 and Expression 11. In the equation (10), I ij is an I value at the position (i, j) of each pixel constituting the non-sample-specified image. P ij is a P value at the position (i, j) of each pixel constituting the non-sample-specified image. Further, T ij is a T value at the position (i, j) of each pixel constituting the non-sample-designated image.

そしてμＩｒgは、見本指定外画像のＩ値の相加平均である。またμＰｒgは、見本指定外画像のＰ値の相加平均である。さらにμＴｒgは、見本指定外画像のＴ値の相加平均である。
さらにσＩｒg ２は、見本指定外画像のＩ値の分散である。またσＰｒg ２は、見本指定外画像のＰ値の分散である。さらにσＴｒg ２は、見本指定外画像のＴ値の分散である。 Μ Irg is the arithmetic mean of the I values of the non-specified image. Μ Prg is the arithmetic mean of the P values of the non-sample-specified image. Further, μ Trg is an arithmetic mean of the T values of the non-specified image.
Further, σ Irg 2 is the variance of the I value of the image not designated as a sample. Further, σ Prg 2 is the variance of the P value of the non-sample-specified image. Further, σ Trg 2 is the variance of the T value of the non-sample-specified image.

Figure 0006642021
Figure 0006642021

Figure 0006642021
Figure 0006642021

そして、画像調整部１４は、まず、指定外画像の特徴量を見本指定外画像の特徴量に合わせる処理を行う。この処理は、例えば、以下の数１２式〜数１４式により行われる。数１２式〜数１４式において、γi,jは重み値γを示し、指定外画像を構成する位置（ｉ，ｊ）の画素毎に求められる。ここで、重み値γは、０〜１の範囲の値であり、例えばユーザによる設定など、何らかの規則に従って設定される。また、例えば、重み値γについて、重み値αや重み値βとの関係を事前に定めておくことにより、重み値αや重み値βの設定値に従って重み値γが決定される。 Then, the image adjustment unit 14 first performs a process of matching the feature amount of the non-designated image with the feature amount of the non-designated image. This processing is performed by, for example, the following equations (12) to (14). In Expressions 12 to 14, γ i, j indicates the weight value γ, and is obtained for each pixel at the position (i, j) constituting the unspecified image. Here, the weight value γ is a value in the range of 0 to 1 and is set according to some rule such as setting by a user. Further, for example, the weight value γ is determined according to the set values of the weight value α and the weight value β by previously defining the relationship between the weight value γ and the weight value α and the weight value β.

数１２式〜数１４式のうち、数１２式は、Ｉ値についての算術式である。ここでＩi,jは、調整前の指定外画像を構成する位置（ｉ，ｊ）のＩ値である。またＩ’i,jは、調整後の指定外画像を構成する位置（ｉ，ｊ）のＩ値である。
また数１３式は、Ｐ値についての算術式である。ここでＰi,jは、調整前の指定外画像を構成する位置（ｉ，ｊ）のＰ値である。またＰ’i,jは、調整後の指定外画像を構成する位置（ｉ，ｊ）のＰ値である。
さらに数１４式は、Ｔ値についての算術式である。ここでＴi,jは、調整前の指定外画像を構成する位置（ｉ，ｊ）のＴ値である。またＴ’i,jは、調整後の指定外画像を構成する位置（ｉ，ｊ）のＴ値である。
これにより指定外画像を構成する位置（ｉ，ｊ）の画素について、見本指定外画像に合わせた輝度成分（Ｉ）および色度成分（Ｐ、Ｔ）の調整が行われる。 Of the equations (12) to (14), the equation (12) is an arithmetic equation for the I value. Here, I i, j is the I value of the position (i, j) constituting the unspecified image before adjustment. Further, I ′ i, j is an I value of a position (i, j) constituting the adjusted non-designated image.
Expression 13 is an arithmetic expression for the P value. Here, P i, j is the P value of the position (i, j) constituting the unspecified image before adjustment. P ′ i, j is the P value of the position (i, j) forming the non-designated image after the adjustment.
Further, Expression 14 is an arithmetic expression for the T value. Here, T i, j is the T value of the position (i, j) constituting the unspecified image before adjustment. T ′ i, j is the T value of the position (i, j) forming the non-designated image after the adjustment.
As a result, the luminance component (I) and the chromaticity components (P, T) of the pixel at the position (i, j) constituting the non-designated image are adjusted to match the sample non-designated image.

Figure 0006642021
Figure 0006642021

Figure 0006642021
Figure 0006642021

Figure 0006642021
Figure 0006642021

次に、画像調整部１４は、さらに、指定外画像の特徴量を見本指定画像の特徴量に合わせる処理を行う。この処理は、上述した数６式〜数８式により行われる。ここで、重み値βは、第１の実施形態〜第４の実施形態で算出される値が用いられる。   Next, the image adjustment unit 14 further performs a process of matching the feature amount of the non-designated image with the feature amount of the sample designated image. This processing is performed by the above-described equations (6) to (8). Here, the value calculated in the first to fourth embodiments is used as the weight value β.

このように、本実施の形態では、指定外画像に対して、見本指定画像の特徴量だけでなく、見本画像内の他の領域の画像の特徴量も反映させる。即ち、指定外画像には、異なる領域の画像の特徴量が反映されて、画質の調整が行われる。   As described above, in the present embodiment, not only the feature amount of the sample designated image but also the feature amount of an image in another region in the sample image is reflected on the non-designated image. That is, the image quality is adjusted in the non-designated image by reflecting the feature amounts of the images in the different areas.

＜プログラムの説明＞
なお本実施の形態における画像処理装置１が行なう処理は、ソフトウェアとハードウェア資源とが協働することにより実現される。即ち、画像処理装置１の内部に設けられた図示しないＣＰＵが、画像処理装置１の各機能を実現するプログラムを実行し、これらの各機能を実現させる。 <Description of the program>
Note that the processing performed by the image processing apparatus 1 according to the present embodiment is realized by cooperation between software and hardware resources. That is, a CPU (not shown) provided inside the image processing apparatus 1 executes a program for realizing each function of the image processing apparatus 1 and realizes each of these functions.

よって画像処理装置１が行なう処理は、コンピュータに、第１画像において予め指定された領域の画像である第１指定画像の特徴量を抽出する機能と、第１指定画像の特徴量を第２画像に反映させる場合に、第２画像に含まれる領域毎に第１指定画像の特徴量を反映させる度合いを変えて、第２画像の画質を調整する機能とを実現させるためのプログラム、として捉えることもできる。   Therefore, the processing performed by the image processing apparatus 1 includes a function of extracting a feature amount of the first designated image, which is an image of a region designated in advance in the first image, and a feature amount of the first designated image in the second image. In the case where the image data is reflected in the second image, the degree of reflecting the feature amount of the first designated image is changed for each region included in the second image, and the function of adjusting the image quality of the second image is realized. Can also.

また上述した例では、平均として相加平均を使用したが、これに限られるものではなく、相乗平均等であってもよい。また上述した例では、散布度として分散を使用したが、これに限られるものではなく、二乗平均平方根、標準偏差など種々の指標を用いてもよい。   In the above-described example, the arithmetic mean is used as the average. However, the present invention is not limited to this. For example, a geometric mean may be used. In the above-described example, the variance is used as the degree of dispersion. However, the present invention is not limited to this, and various indices such as root mean square, standard deviation, and the like may be used.

さらに上述した例では、色変換部１２で、ＲＧＢデータをＩＰＴデータに変換したが、輝度成分と色度成分とを含む色空間での色度データであれば良く、ＩＰＴデータに限られるものではない。例えば、ＩＰＴデータの代わりにＲＧＢデータをそのまま用いても良い。また、例えば、ＩＰＴデータの代わりにＣＩＥＬ＊ａ＊ｂ＊データ、Ｌαβデータ、ＣＡＭＯ２データ、ＨＳＶデータ等に変換してもよい。ただしＣＩＥＬ＊ａ＊ｂ＊色空間などのユーザの知覚量と均等な色空間を利用したり、ユーザの心理物理的な見えを考慮したＣＩＥＣＡＭ２やｉＣＡＭによる色変換を利用することで、画像処理後の印象がより自然となりやすい。 Further, in the above-described example, the RGB data is converted into the IPT data by the color conversion unit 12. However, the color data may be any chromaticity data in a color space including a luminance component and a chromaticity component, and is not limited to the IPT data. Absent. For example, RGB data may be used as it is instead of IPT data. Further, for example, the data may be converted into CIEL * a * b * data, Lαβ data, CAMO2 data, HSV data, or the like instead of the IPT data. However, by using a color space equivalent to the user's perception amount such as the CIEL * a * b * color space or using color conversion by CIECAM2 or iCAM in consideration of the user's psychophysical appearance, image processing is performed. The impression of is more natural.

また上述した例では、光源の種類として、人工光源である室内の照明光および天然光源である外光を挙げたが、これに限られるものではない。例えば、室内の照明光であっても、暖色光や寒色光等の種類が存在する。例えば、被処理画像内に暖色光の照明光および寒色光の照明光が含まれる場合に、画像調整部１４の処理により、暖色光の色を変化させたり、寒色光の色を変化させたりして、色変換を行うこととしても良い。   Further, in the above-described example, the types of the light source include room illumination light that is an artificial light source and external light that is a natural light source, but are not limited thereto. For example, there are types of indoor illumination light such as warm color light and cool color light. For example, when the processing target image includes illumination light of warm color light and illumination light of cool color light, the processing of the image adjustment unit 14 changes the color of the warm color light or the color of the cool color light. Then, color conversion may be performed.

さらに上述した例では、被処理画像は、被処理指定画像と指定外画像とからなるものとしたが、これに限られるものではない。言い換えると、指定外画像は、被処理画像において、被処理指定画像を除く領域の全部の画像でも良いし、被処理指定画像を除く領域の一部の画像でも良い。そして、上述した例では、指定外画像は、ユーザ等により指定されていない領域の画像としたが、被処理画像において被処理指定画像を除く領域の一部の画像である場合には、指定外画像もユーザ等により指定が行われるものとしても良い。
また上述した例では、見本画像の一部を見本指定画像としたが、見本画像の全体を見本指定画像としても良い。 Further, in the above-described example, the processed image is composed of the processed image and the non-designated image. However, the present invention is not limited to this. In other words, the non-designated image may be an entire image of the region other than the image to be processed or a partial image of the region other than the image to be processed. In the above-described example, the unspecified image is an image of an area not specified by the user or the like. However, if the image to be processed is a partial image of the area excluding the specified image to be processed, the unspecified image is not specified. The image may be specified by the user or the like.
In the above-described example, a part of the sample image is set as the sample designation image. However, the entire sample image may be set as the sample designation image.

なお、本発明の実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。   It should be noted that the program for realizing the embodiment of the present invention can be provided not only by communication means but also stored in a recording medium such as a CD-ROM.

以上、本発明の実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。   Although the embodiments of the present invention have been described above, the technical scope of the present invention is not limited to the scope described in the above embodiments. It is apparent from the description of the claims that various modifications or improvements made to the above embodiment are included in the technical scope of the present invention.

１…画像処理装置、１１…ユーザ操作受付部、１２…色変換部、１３…特徴量抽出部、１４…画像調整部、１５…画像表示部 DESCRIPTION OF SYMBOLS 1 ... Image processing apparatus, 11 ... User operation reception part, 12 ... Color conversion part, 13 ... Feature extraction part, 14 ... Image adjustment part, 15 ... Image display part

Claims (10)

第１画像において予め指定された領域の画像である第１指定画像の特徴量を抽出する特徴量抽出手段と、
前記第１指定画像の特徴量を第２画像に反映させる場合に、当該第２画像に含まれる領域毎に当該第１指定画像の特徴量を反映させる度合いを変えて、当該第２画像の画質を調整する画像調整手段と
を備える画像処理装置であって
前記特徴量抽出手段は、さらに、前記第２画像において予め指定された領域の画像である第２指定画像と当該第２画像において当該第２指定画像を除く領域の画像である第２指定外画像との各々について、画像の特徴量を抽出し、
前記画像調整手段は、前記第１指定画像の特徴量を前記第２指定画像の特徴量に反映させる度合いである第１反映度合いと当該第１指定画像の特徴量を前記第２指定外画像の特徴量に反映させる度合いである第２反映度合いとを異なる値にして、前記第２画像の画質を調整すること
を特徴とする画像処理装置。 A feature amount extracting unit that extracts a feature amount of a first designated image that is an image of a region designated in advance in the first image;
When the feature amount of the first designated image is reflected on the second image, the degree of reflecting the feature amount of the first designated image is changed for each region included in the second image, and the image quality of the second image is changed. an image processing apparatus and an image adjusting means for adjusting the
The feature amount extracting unit further includes a second designated image which is an image of a region designated in advance in the second image, and a second non-designated image which is an image of a region other than the second designated image in the second image. For each of the above, the feature amount of the image is extracted,
The image adjustment unit may include a first reflection degree, which is a degree of reflecting the feature amount of the first designated image on the feature amount of the second designated image, and a feature amount of the first designated image of the second non-designated image. Adjusting the image quality of the second image by setting the second reflection degree, which is the degree of reflection on the feature amount, to a different value.
An image processing apparatus characterized by the above-mentioned . 前記特徴量抽出手段は、画像を構成する各画素が有する画素値の平均および散布度を当該画像の特徴量として算出すること
を特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the feature amount extraction unit calculates an average of pixel values of each pixel included in the image and a degree of dispersion as a feature amount of the image. 前記第２反映度合いは、前記第１反映度合いよりも小さいこと
を特徴とする請求項１又は２に記載の画像処理装置。 The second reflecting degree, the image processing apparatus according to claim 1 or 2, characterized in that less than the first reflection degree. 前記画像調整手段は、前記第２指定外画像を構成する各画素の情報に基づいて、当該第２指定外画像の画素毎に前記第２反映度合いを調整すること
を特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。 Said image adjustment means, based on the information of the respective pixels constituting the second non-designated image, to claim 1, characterized in that adjusting the second reflecting degree for each pixel of the second undesignated image 4. The image processing device according to any one of 3 . 前記画像調整手段は、前記第２指定外画像を構成する各画素の情報として、前記第２指定画像の予め定められた位置から当該第２指定外画像の各画素までの距離により、当該第２指定外画像の画素毎に前記第２反映度合いを調整すること
を特徴とする請求項４に記載の画像処理装置。 The image adjustment means may include, as information of each pixel constituting the second non-designated image, a distance from a predetermined position of the second designated image to each pixel of the second non-designated image. The image processing apparatus according to claim 4 , wherein the second degree of reflection is adjusted for each pixel of the non-designated image. 前記画像調整手段は、前記第２指定外画像を構成する各画素の情報として、前記第２指定外画像内の色分布により、当該第２指定外画像の画素毎に前記第２反映度合いを調整すること
を特徴とする請求項４に記載の画像処理装置。 The image adjustment unit adjusts the second reflection degree for each pixel of the second non-designated image based on a color distribution in the second non-designated image as information of each pixel constituting the second non-designated image. The image processing apparatus according to claim 4 , wherein: 前記画像調整手段は、前記第２画像の全体に占める前記第２指定画像の割合により、前記第２反映度合いを調整すること
を特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。 Said image adjustment means, the proportion of the second specified image in the entire of the second image, the image according to any one of claims 1 to 6, wherein the adjusting the second reflecting degree Processing equipment. 前記特徴量抽出手段は、さらに、前記第１画像において前記第１指定画像を除く領域の画像である第１指定外画像の特徴量を抽出し、
前記画像調整手段は、前記第１指定外画像の特徴量を前記第２指定外画像の特徴量に反映させた後に、前記第１指定画像の特徴量を当該第２指定外画像の特徴量に反映させること
を特徴とする請求項１乃至７の何れか１項に記載の画像処理装置。 The feature amount extracting unit further extracts a feature amount of a first non-designated image that is an image of an area excluding the first designated image in the first image,
The image adjustment unit reflects the feature amount of the first non-designated image in the feature amount of the second non-designated image, and then converts the feature amount of the first designated image into the feature amount of the second non-designated image. the image processing apparatus according to any one of claims 1 to 7, characterized in that to reflect. 画像を表示する表示装置と、
前記表示装置に表示される画像の画像情報に対し画像処理を行う画像処理装置とを備え、
前記画像処理装置は、
第１画像において予め指定された領域の画像である第１指定画像の特徴量を抽出する特徴量抽出手段と、
前記第１指定画像の特徴量を第２画像に反映させる場合に、当該第２画像に含まれる領域毎に当該第１指定画像の特徴量を反映させる度合いを変えて、当該第２画像の画質を調整する画像調整手段と
を備え、
前記特徴量抽出手段は、さらに、前記第２画像において予め指定された領域の画像である第２指定画像と当該第２画像において当該第２指定画像を除く領域の画像である第２指定外画像との各々について、画像の特徴量を抽出し、
前記画像調整手段は、前記第１指定画像の特徴量を前記第２指定画像の特徴量に反映させる度合いである第１反映度合いと当該第１指定画像の特徴量を前記第２指定外画像の特徴量に反映させる度合いである第２反映度合いとを異なる値にして、前記第２画像の画質を調整すること
を特徴とする画像処理システム。 A display device for displaying an image,
An image processing device that performs image processing on image information of an image displayed on the display device,
The image processing device,
A feature amount extracting unit that extracts a feature amount of a first designated image that is an image of a region designated in advance in the first image;
When the feature amount of the first designated image is reflected on the second image, the degree of reflecting the feature amount of the first designated image is changed for each region included in the second image, and the image quality of the second image is changed. and an image adjusting means for adjusting the,
The feature amount extracting unit further includes a second designated image which is an image of a region designated in advance in the second image, and a second non-designated image which is an image of a region other than the second designated image in the second image. For each of the above, the feature amount of the image is extracted,
The image adjustment unit may include a first reflection degree, which is a degree of reflecting the feature amount of the first designated image on the feature amount of the second designated image, and a feature amount of the first designated image of the second non-designated image. Adjusting the image quality of the second image by setting the second reflection degree, which is the degree of reflection on the feature amount, to a different value.
The image processing system that it said. コンピュータに、
第１画像において予め指定された領域の画像である第１指定画像の特徴量を抽出する機能と、
前記第１指定画像の特徴量を第２画像に反映させる場合に、当該第２画像に含まれる領域毎に当該第１指定画像の特徴量を反映させる度合いを変えて、当該第２画像の画質を調整する機能と
を実現させるためのプログラムであって
前記特徴量を抽出する機能は、さらに、前記第２画像において予め指定された領域の画像である第２指定画像と当該第２画像において当該第２指定画像を除く領域の画像である第２指定外画像との各々について、画像の特徴量を抽出し、
前記画像を調整する機能は、前記第１指定画像の特徴量を前記第２指定画像の特徴量に反映させる度合いである第１反映度合いと当該第１指定画像の特徴量を前記第２指定外画像の特徴量に反映させる度合いである第２反映度合いとを異なる値にして、前記第２画像の画質を調整すること
を特徴とするプログラム。 On the computer,
A function of extracting a feature amount of a first designated image which is an image of a region designated in advance in the first image;
When the feature amount of the first designated image is reflected on the second image, the degree of reflecting the feature amount of the first designated image is changed for each region included in the second image, and the image quality of the second image is changed. a program for realizing the function of adjusting the
The function of extracting the feature amount further includes a second designated image that is an image of a region designated in advance in the second image and a second designated image that is an image of a region other than the second designated image in the second image. For each of the outside images, extract the feature amount of the image,
The function of adjusting the image includes a first reflection degree, which is a degree at which the feature amount of the first designated image is reflected in the feature amount of the second designated image, and a feature amount of the first designated image, which is not included in the second designated image. Adjusting the image quality of the second image by setting the second reflection degree, which is the degree of reflection on the feature amount of the image, to a different value.
A program characterized by:
JP2016006683A 2016-01-15 2016-01-15 Image processing apparatus, image processing system, and program Expired - Fee Related JP6642021B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2016006683A JP6642021B2 (en) 2016-01-15 2016-01-15 Image processing apparatus, image processing system, and program
US15/246,638 US10311331B2 (en) 2016-01-15 2016-08-25 Image processing apparatus, image processing system, non-transitory computer readable medium, and image processing method for reflecting features of one image to another image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016006683A JP6642021B2 (en) 2016-01-15 2016-01-15 Image processing apparatus, image processing system, and program

Publications (2)

Publication Number Publication Date
JP2017126969A JP2017126969A (en) 2017-07-20
JP6642021B2 true JP6642021B2 (en) 2020-02-05

Family

ID=59314783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016006683A Expired - Fee Related JP6642021B2 (en) 2016-01-15 2016-01-15 Image processing apparatus, image processing system, and program

Country Status (2)

Country Link
US (1) US10311331B2 (en)
JP (1) JP6642021B2 (en)

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2358098A (en) * 2000-01-06 2001-07-11 Sharp Kk Method of segmenting a pixelled image
US20020172419A1 (en) * 2001-05-15 2002-11-21 Qian Lin Image enhancement using face detection
JP4646735B2 (en) 2005-08-17 2011-03-09 キヤノン株式会社 Image processing apparatus and image processing method
JP5973804B2 (en) 2012-06-25 2016-08-23 キヤノン株式会社 Image processing apparatus and control method thereof
CN105096354A (en) * 2014-05-05 2015-11-25 腾讯科技（深圳）有限公司 Image processing method and device
US9632890B2 (en) * 2014-07-08 2017-04-25 Netapp, Inc. Facilitating N-way high availability storage services

Also Published As

Publication number Publication date
JP2017126969A (en) 2017-07-20
US20170206432A1 (en) 2017-07-20
US10311331B2 (en) 2019-06-04

Similar Documents

Publication Publication Date Title
US10311600B2 (en) Method and system for setting interface element colors
JP5990600B2 (en) Color adjuster for color classification
US20200396434A1 (en) Image White Balance Processing System and Method
JP5139293B2 (en) Imaging camera processing apparatus and imaging camera processing method
CN107274351B (en) Image processing apparatus, image processing system, and image processing method
US9147378B2 (en) Color selection interface
US8487955B2 (en) Language-based color editing for mobile devices
WO2021036395A1 (en) Pbr real-time rendering material conversion method, device, and system, and rendering method
US10602026B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP6287337B2 (en) Image processing apparatus, image processing method, image processing system, and program
US9659228B2 (en) Image processing apparatus, image processing system, non-transitory computer readable medium, and image processing method
CN112085663A (en) Generating enhanced digital images with context-aware sensors and multi-dimensional gesture input
US11232607B2 (en) Adding color to digital images
JP2005114531A (en) Image display device and method
JP5943112B1 (en) Image processing apparatus, image processing system, and program
JP6617432B2 (en) Image processing apparatus and program
US20130135336A1 (en) Image processing device, image processing system, image processing method, and recording medium
KR20180000729A (en) Display device and control method therefor
JP6642021B2 (en) Image processing apparatus, image processing system, and program
EP2790396A1 (en) Color extraction-based image processing method, computer-readable storage medium storing the same, and digital image apparatus
JP2008151781A (en) Device and method for image display
JPWO2010058678A1 (en) Designated color region defining circuit, detection circuit, and image processing apparatus using the same
US10186063B2 (en) Image processing apparatus, non-transitory computer readable medium, and image processing method for generating a composite image
US20070177171A1 (en) Inking on photographs
JP2021089654A (en) Image processing apparatus, image processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181122

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190912

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191121

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191203

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191216

R150 Certificate of patent or registration of utility model

Ref document number: 6642021

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200110

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees