JP6939455B2 - Image processing equipment, image processing methods, image processing systems and programs - Google Patents

Image processing equipment, image processing methods, image processing systems and programs Download PDF

Info

Publication number
JP6939455B2
JP6939455B2 JP2017220878A JP2017220878A JP6939455B2 JP 6939455 B2 JP6939455 B2 JP 6939455B2 JP 2017220878 A JP2017220878 A JP 2017220878A JP 2017220878 A JP2017220878 A JP 2017220878A JP 6939455 B2 JP6939455 B2 JP 6939455B2
Authority
JP
Japan
Prior art keywords
image
color
color conversion
extracting
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017220878A
Other languages
Japanese (ja)
Other versions
JP2019009764A (en
Inventor
稔弘 岩渕
稔弘 岩渕
典子 酒井
典子 酒井
裕介 泉澤
裕介 泉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to US15/888,267 priority Critical patent/US10602026B2/en
Priority to CN201810189366.6A priority patent/CN109104545A/en
Publication of JP2019009764A publication Critical patent/JP2019009764A/en
Application granted granted Critical
Publication of JP6939455B2 publication Critical patent/JP6939455B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、画像処理方法、画像処理システム、プログラムに関する。 The present invention relates to an image processing apparatus, an image processing method, an image processing system, and a program.

近年、デジタルカメラやスマートフォン、タブレット等の機器の普及によりデジタル画像を撮影・閲覧するユーザが増加している。このとき撮影を行なう環境は、照明光等の影響により様々であり、また撮影対象も様々である。そのため撮影後に撮影された画像がユーザの意図するようなものとならないことがあり、そのため撮影された画像の色味等を調整することが一般的に行われている。 In recent years, the number of users who shoot and browse digital images is increasing due to the spread of devices such as digital cameras, smartphones, and tablets. At this time, the shooting environment varies depending on the influence of the illumination light and the like, and the shooting target also varies. Therefore, the image taken after shooting may not be what the user intended, and therefore it is common practice to adjust the color tone and the like of the shot image.

特許文献１には、画像処理装置として、次の処理を行なうものが記載されている。即ち、チャート画像における各パッチ毎に、基準値と測色値を取得する。基準値と測色値の差分ベクトルのうち、その大きさが閾値を超えるものを処理対象から除外し、残りの差分ベクトルに応じて３Ｄ−ＬＵＴを補正し、さらに４Ｄ−ＬＵＴを作成する。そして、除外された差分ベクトルに対応する測色値からパッチデータを算出して新たなチャートデータを作成し、新たなチャートデータによるキャリブレーションを繰り返す。 Patent Document 1 describes an image processing apparatus that performs the following processing. That is, the reference value and the color measurement value are acquired for each patch in the chart image. Of the difference vectors of the reference value and the color measurement value, those whose magnitude exceeds the threshold value are excluded from the processing target, the 3D-LUT is corrected according to the remaining difference vector, and the 4D-LUT is further created. Then, patch data is calculated from the color measurement values corresponding to the excluded difference vectors, new chart data is created, and calibration with the new chart data is repeated.

また特許文献２には、画像処理装置として、次の処理を行なうものが記載されている。即ち、入出力部は、第一の照明条件で被写体を撮影した第一の画像データ、および、第一の照明条件と異なる第二の照明条件で被写体を撮影した第二の画像データを入力する。色抽出部は、第一の画像データの各領域から色データを抽出し、第一の画像データの各領域に対応する第二の画像データの各領域から色データを抽出する。相関解析部は、第一の画像データの領域から抽出された色データと、第二の画像データの対応する領域から抽出された色データの間の相関性または差分に基づき、抽出された色データから第一および第二の画像データの代表色を設定する。色補正部は、代表色の色データを用いて第一の照明条件に依存する第一の画像データを第二の照明条件に依存する画像データに変換するための色補正条件を作成する。 Further, Patent Document 2 describes an image processing apparatus that performs the following processing. That is, the input / output unit inputs the first image data in which the subject is photographed under the first lighting condition and the second image data in which the subject is photographed under the second lighting condition different from the first lighting condition. .. The color extraction unit extracts color data from each area of the first image data, and extracts color data from each area of the second image data corresponding to each area of the first image data. The correlation analysis unit is the color data extracted based on the correlation or difference between the color data extracted from the area of the first image data and the color data extracted from the corresponding area of the second image data. Set the representative color of the first and second image data from. The color correction unit creates a color correction condition for converting the first image data depending on the first lighting condition into the image data depending on the second lighting condition using the color data of the representative color.

特開２０１２−１７００１８号公報Japanese Unexamined Patent Publication No. 2012-170018 特開２０１５−２０４５７１号公報Japanese Unexamined Patent Publication No. 2015-204571

色調整を行なうための色変換モデルを作成するのに、色変換モデルがより理想的な変換となるようにするため、作成の材料となる色データをレタッチ技術が習熟した人のものを集めて作成することが望ましい。
しかしながら、レタッチ技術に習熟した人でも、画像データの内容（同系色の画像か、複数色の画像か、無地の画像か、模様が入った画像か等）によって、そのレタッチの方向性が異なる場合がある。その場合、このレタッチの方向性が異なる画像データが含まれた状態で色変換モデルを作成しても、理想的な色変換モデルが作成されない場合があった。
本発明は、より理想的な色変換モデルを作成するために、レタッチの方向性が異なる色データを排除して、色変換モデルを作成することができる画像処理装置等を提供することを目的とする。 In order to create a color conversion model for color adjustment, in order to make the color conversion model a more ideal conversion, the color data used as the material for creation is collected from people who are proficient in retouching technology. It is desirable to create it.
However, even a person who is proficient in retouching technology may have different retouching directions depending on the content of the image data (similar color image, multiple color image, plain image, patterned image, etc.). There is. In that case, even if the color conversion model is created in the state where the image data having different directions of retouching is included, the ideal color conversion model may not be created.
An object of the present invention is to provide an image processing device or the like capable of creating a color conversion model by excluding color data having different retouching directions in order to create a more ideal color conversion model. do.

請求項１に記載の発明は、色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、前記指定手段により指定された前記領域において画像情報を抽出する間隔を決定する決定手段と、を備え、前記抽出手段は、前記決定手段で決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定する画像処理装置である。
請求項２に記載の発明は、前記決定手段は、前記領域に含まれる色数、階調数および柄の少なくとも１つを基に画像情報を抽出する間隔を決定することを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記決定手段は、柄を周波数分析により求めることを特徴とする請求項２に記載の画像処理装置である。
請求項４に記載の発明は、前記決定手段は、色空間内を予め定められた方法で区切られた色領域を考えたときに、前記領域に含まれる色が入る当該色領域の個数を基に画像情報を抽出する間隔を決定することを特徴とする請求項２に記載の画像処理装置である。
請求項５に記載の発明は、前記決定手段は、さらに前記色領域内に含まれる色数を基に画像情報を抽出する間隔を決定することを特徴とする請求項４に記載の画像処理装置である。
請求項６に記載の発明は、前記指定手段は、背景以外の箇所を画像情報を抽出する領域とすることを特徴とする請求項１に記載の画像処理装置である。
請求項７に記載の発明は、前記指定手段は、人の肌色の箇所をさらに除外して画像情報を抽出する領域とすることを特徴とする請求項６に記載の画像処理装置である。
請求項８に記載の発明は、前記抽出手段で抽出した前記色変換情報を表示装置で表示するために出力する抽出結果確認手段をさらに備えることを特徴とする請求項１に記載の画像処理装置である。
請求項９に記載の発明は、前記抽出結果確認手段は、抽出した前記色変換情報の一部をユーザからの指示により削除することを特徴とする請求項８に記載の画像処理装置。
請求項１０に記載の発明は、前記決定手段は、画像情報を抽出する間隔に加え、または画像情報を抽出する間隔に代わり、抽出した前記色変換情報に対する重みを決定することを特徴とする請求項１に記載の画像処理装置である。
請求項１１に記載の発明は、色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定工程と、前記指定工程によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出工程と、前記抽出工程によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成工程と、前記指定工程により指定された前記領域において画像情報を抽出する間隔を決定する工程と、を含み、前記抽出工程は、決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定する画像処理方法である。
請求項１２に記載の発明は、撮影対象を撮影する撮影装置と、前記撮影装置により撮影した画像に対し色調整を行なう画像処理装置と、を備え、前記画像処理装置は、色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、前記色変換特性を基に、前記撮影装置により撮影した画像に対し色調整を行なう色調整手段と、前記指定手段により指定された前記領域において画像情報を抽出する間隔を決定する決定手段と、を備え、前記抽出手段は、前記決定手段で決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定する画像処理システムである。
請求項１３に記載の発明は、コンピュータに、色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定機能と、前記指定機能によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出機能と、前記抽出機能によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成機能と、前記指定機能により指定された前記領域において画像情報を抽出する間隔を決定する工程と、を実現させ、前記抽出機能は、決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定するプログラムである。 The invention according to claim 1 is a designation means for designating an area for extracting image information for either an image of a first image before color conversion or a second image after color conversion, and the designation. Color conversion information between the pixels of the image information in the region of one image of the first image or the second image specified by the means and the pixels of the image information corresponding to the pixels of the other image. An extraction means for extracting, a creation means for creating a color conversion characteristic based on a plurality of the color conversion information extracted by the extraction means, and an interval for extracting image information in the area designated by the designated means. The extraction means is an image processing device that determines to extract the color conversion information according to an interval for extracting the image information determined by the determination means.
The invention according to claim 2 is characterized in that the determination means determines an interval for extracting image information based on at least one of a number of colors, a number of gradations, and a pattern included in the region. The image processing apparatus according to 1.
The invention according to claim 3, wherein the determining means is an image processing apparatus according to claim 2, wherein the determination by the frequency analysis of pattern.
The invention according to claim 4 is based on the number of color regions in which a color contained in the region is contained, when the determination means considers a color region in which the color space is divided by a predetermined method. The image processing apparatus according to claim 2 , wherein the interval for extracting image information is determined.
Invention of claim 5, wherein the determining means, the image processing apparatus according to claim 4, characterized in that to determine the distance to further extract the image information based on the number of colors included in the color area Is.
The invention according to claim 6 is the image processing apparatus according to claim 1, wherein the designated means is a region other than the background for extracting image information.
The invention according to claim 7, wherein the designation means is an image processing apparatus according to claim 6, characterized in that the region for extracting a portion further image information to the exclusion of human skin color.
The invention described in claim 8, the image processing apparatus according to claim 1, further comprising an extraction result confirmation means for outputting to display the color conversion information extracted by the extraction means with the display device Is.
Invention according to claim 9, wherein the extraction result confirmation means, the image processing apparatus according to claim 8, characterized in that to remove some of the extracted the color conversion information according to an instruction from the user.
The invention according to claim 10 , wherein the determination means determines a weight for the extracted color conversion information in addition to the interval for extracting the image information or instead of the interval for extracting the image information. Item 2. The image processing apparatus according to item 1.
Invention according to claim 11, for one of the images of the first image and the second image after the color conversion before color conversion, a designation step of designating a region for extracting the image information, the designation The color conversion information of the image information pixel in the area of one image of the first image or the second image specified by the step and the corresponding image information pixel of the other image. An extraction step for extracting, a creation step for creating color conversion characteristics based on a plurality of the color conversion information extracted by the extraction step, and an interval for extracting image information in the region designated by the designated step. seen containing a step of determining, wherein the extracting step, in accordance with the interval for extracting the determined image information, an image processing method for determining that extracts the color conversion information.
The invention according to claim 12 includes a photographing device for photographing an image to be photographed and an image processing device for performing color adjustment on an image photographed by the photographing device, and the image processing device is the first before color conversion. For one of the image 1 and the image of the second image after color conversion, a designation means for designating an area for extracting image information, and the first image or the first image designated by the designation means. An extraction means for extracting color conversion information between a pixel of image information in the region of one of the two images and a pixel of image information corresponding to the pixel of the other image, and a plurality of images extracted by the extraction means. Designated by the designated means , a creating means for creating a color conversion characteristic based on the color conversion information, a color adjusting means for performing color adjustment on an image captured by the photographing device based on the color conversion characteristic, and a designated means. The extraction means includes a determination means for determining the interval for extracting the image information in the determined region, and the extraction means extracts the color conversion information according to the interval for extracting the image information determined by the determination means. It is an image processing system that determines.
The invention according to claim 13 is a function of designating a computer to specify an area for extracting image information from one of the first image before color conversion and the second image after color conversion. , The color of the image information pixel in the area of one image of the first image or the second image specified by the designation function and the corresponding image information pixel of the other image. An extraction function that extracts conversion information, a creation function that creates color conversion characteristics based on a plurality of the color conversion information extracted by the extraction function, and an image information that is extracted in the area designated by the designated function. The extraction function is a program that realizes a step of determining an interval to be performed and determines to extract the color conversion information according to an interval for extracting the determined image information.

請求項１の発明によれば、レタッチの方向性が異なる画像情報を排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる画像処理装置を提供することができる。また、抽出する画像情報の数がより適度になり、抽出する画像情報にレタッチの方向性が異なるものがさらに入り込みにくくなる。
請求項２の発明によれば、画像情報を抽出する間隔を決定するのにより適したパラメータを使用することができる。
請求項３の発明によれば、より簡単な方法で柄の差異を判断することができる。
請求項４の発明によれば、より簡単な方法で画像情報を抽出する間隔を決定することができる。
請求項５の発明によれば、より簡単な方法で画像情報を抽出する間隔を決定することができる。
請求項６の発明によれば、商品の画像等のより重要な個所を画像情報を抽出する領域とすることができる。
請求項７の発明によれば、人の肌色について、色調整を行なわないようにすることができる。
請求項８の発明によれば、ユーザが画像情報の抽出結果を確認することができる。
請求項９の発明によれば、抽出した画像情報うち不必要なものをユーザが削除することができる。
請求項１０の発明によれば、精度のよい色変換モデルを作成することができる。
請求項１１の発明によれば、レタッチの方向性が異なる画像情報を排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる画像処理方法を提供することができる。また、抽出する画像情報の数がより適度になり、抽出する画像情報にレタッチの方向性が異なるものがさらに入り込みにくくなる。
請求項１２の発明によれば、色調整の精度が低下しにくい変換関係を作成できる画像処理システムが提供できる。また、抽出する画像情報の数がより適度になり、抽出する画像情報にレタッチの方向性が異なるものがさらに入り込みにくくなる。
請求項１３の発明によれば、レタッチの方向性が異なる画像情報を排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる機能をコンピュータにより実現できる。また、抽出する画像情報の数がより適度になり、抽出する画像情報にレタッチの方向性が異なるものがさらに入り込みにくくなる。 According to the first aspect of the present invention, there is provided an image processing apparatus capable of creating a more ideal color conversion model by excluding image information having different retouching directions and creating a color conversion model. be able to. In addition, the number of image information to be extracted becomes more appropriate, and it becomes more difficult for the image information to be extracted to have a different retouching direction.
According to the invention of claim 2 , more suitable parameters can be used to determine the interval for extracting image information.
According to the invention of claim 3 , the difference in the pattern can be determined by a simpler method.
According to the invention of claim 4 , the interval for extracting image information can be determined by a simpler method.
According to the invention of claim 5 , the interval for extracting image information can be determined by a simpler method.
According to the invention of claim 6 , a more important part such as an image of a product can be a region for extracting image information.
According to the invention of claim 7 , it is possible to prevent the color adjustment of the human skin color from being performed.
According to the invention of claim 8 , the user can confirm the extraction result of the image information.
According to the invention of claim 9, the user can delete unnecessary image information extracted.
According to the invention of claim 10 , it is possible to create an accurate color conversion model.
According to the invention of claim 11, an image processing method capable of creating a more ideal color conversion model by excluding image information having different retouching directions and creating a color conversion model is provided. be able to. In addition, the number of image information to be extracted becomes more appropriate, and it becomes more difficult for the image information to be extracted to have a different retouching direction.
According to the invention of claim 12 , it is possible to provide an image processing system capable of creating a conversion relationship in which the accuracy of color adjustment is less likely to decrease. In addition, the number of image information to be extracted becomes more appropriate, and it becomes more difficult for the image information to be extracted to have a different retouching direction.
According to the thirteenth aspect of the present invention, by excluding image information having different retouching directions and creating a color conversion model, a function capable of creating a more ideal color conversion model can be realized by a computer. .. In addition, the number of image information to be extracted becomes more appropriate, and it becomes more difficult for the image information to be extracted to have a different retouching direction.

本実施の形態における画像処理システムの構成例を示す図である。It is a figure which shows the configuration example of the image processing system in this embodiment. 本実施の形態における画像処理装置の機能構成例を表すブロック図である。It is a block diagram which shows the functional structure example of the image processing apparatus in this embodiment. （ａ）〜（ｆ）は、画像データ取得部が取得する画像データの例について示した図である。(A) to (f) are diagrams showing an example of image data acquired by the image data acquisition unit. （ａ）は、領域に含まれる柄を基に色データを抽出する位置の間隔を決定する場合を示している。（ｂ）は、色数や階調数を基に色データを抽出する位置の間隔を決定する場合を示している。（ｃ）は、色数や階調数に加え、ボックス内に含まれる色数を基に色データを抽出する位置の間隔を決定する場合を示している。(A) shows a case where the interval of the position where the color data is extracted is determined based on the pattern included in the area. (B) shows a case where the interval of the position where the color data is extracted is determined based on the number of colors and the number of gradations. (C) shows a case where the interval of the position for extracting the color data is determined based on the number of colors included in the box in addition to the number of colors and the number of gradations. （ａ）〜（ｂ）は、第１の色データと第２の色データとの対の例を示した図である。(A)-(b) is a figure which showed the example of the pair of the 1st color data and the 2nd color data. 色データ抽出部で抽出した色データを確認する画面の第１の例である。This is the first example of the screen for confirming the color data extracted by the color data extraction unit. 色データ抽出部で抽出した色データを確認する画面の第２の例である。This is a second example of a screen for confirming the color data extracted by the color data extraction unit. 色変換モデルの一例について示した図である。It is a figure which showed an example of a color conversion model. （ａ）〜（ｂ）は、第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成した場合と、単調増加関数とならないように色変換モデルを作成した場合を比較した図である。(A) to (b) are a case where a color conversion model is created so that the relationship between the first color data and the second color data becomes a monotonically increasing function, and a color conversion model so as not to become a monotonically increasing function. It is a figure which compared the case where was created. 画像処理装置の動作について説明したフローチャートである。It is a flowchart explaining the operation of an image processing apparatus. 画像処理装置のハードウェア構成を示した図である。It is a figure which showed the hardware configuration of an image processing apparatus.

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

＜画像処理システム全体の説明＞
図１は、本実施の形態における画像処理システム１の構成例を示す図である。
図示するように本実施の形態の画像処理システム１は、カメラ４０により撮影した原画像に対し色調整（色変換）を行なう画像処理装置１０と、画像処理装置１０により出力された画像データに基づき画像を表示する表示装置２０と、画像処理装置１０に対しユーザが種々の情報を入力するための入力装置３０と、撮影対象Ｓを撮影し画像処理装置１０で色調整するための画像データを生成するカメラ４０とを備える。 <Explanation of the entire image processing system>
FIG. 1 is a diagram showing a configuration example of the image processing system 1 according to the present embodiment.
As shown in the figure, the image processing system 1 of the present embodiment is based on an image processing device 10 that performs color adjustment (color conversion) on an original image captured by the camera 40 and image data output by the image processing device 10. A display device 20 for displaying an image, an input device 30 for a user to input various information to the image processing device 10, and image data for photographing an image target S and adjusting the color with the image processing device 10 are generated. It is provided with a camera 40 to be used.

画像処理装置１０は、例えば、所謂汎用のパーソナルコンピュータ（ＰＣ）である。そして、画像処理装置１０は、ＯＳ（Operating System）による管理下において、各種アプリケーションソフトウェアを動作させることで、色調整等が行われるようになっている。 The image processing device 10 is, for example, a so-called general-purpose personal computer (PC). Then, the image processing device 10 is designed to perform color adjustment and the like by operating various application software under the control of the OS (Operating System).

表示装置２０は、表示画面２１に画像を表示する。表示装置２０は、例えばＰＣ用の液晶ディスプレイ、液晶テレビあるいはプロジェクタなど、加法混色にて画像を表示する機能を備えたもので構成される。したがって、表示装置２０における表示方式は、液晶方式に限定されるものではない。なお、図１に示す例では、表示装置２０内に表示画面２１が設けられているが、表示装置２０として例えばプロジェクタを用いる場合、表示画面２１は、表示装置２０の外部に設けられたスクリーン等となる。 The display device 20 displays an image on the display screen 21. The display device 20 is composed of, for example, a liquid crystal display for a PC, a liquid crystal television, a projector, or the like, which has a function of displaying an image by additive color mixing. Therefore, the display method in the display device 20 is not limited to the liquid crystal system. In the example shown in FIG. 1, the display screen 21 is provided in the display device 20, but when a projector is used as the display device 20, the display screen 21 is a screen or the like provided outside the display device 20. It becomes.

入力装置３０は、キーボードやマウス等で構成される。入力装置３０は、色調整を行なうためのアプリケーションソフトウェアの起動、終了や、詳しくは後述するが、色調整を行なう際に、ユーザが画像処理装置１０に対し色調整を行なうための指示を入力するのに使用する。 The input device 30 is composed of a keyboard, a mouse, and the like. The input device 30 starts and ends application software for performing color adjustment, and as will be described in detail later, when performing color adjustment, the user inputs an instruction for performing color adjustment to the image processing device 10. Used for.

カメラ４０は、撮影装置の一例であり、例えば、入射した光を収束する光学系と、光学系により収束された光を検出する撮像手段であるイメージセンサとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を配列して構成される。 The camera 40 is an example of a photographing device, and includes, for example, an optical system that converges incident light and an image sensor that is an imaging means that detects the light converged by the optical system.
The optical system is composed of a single lens or a combination of a plurality of lenses. In the optical system, various aberrations are removed by the combination of lenses and the coating applied to the lens surface. The image sensor is configured by arranging image pickup elements such as CCD (Charge Coupled Device) and CMOS (Complementary Metal Oxide Semiconductor).

画像処理装置１０および表示装置２０は、ＤＶＩ（Digital Visual Interface）を介して接続されている。なお、ＤＶＩに代えて、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やDisplayPort等を介して接続するようにしてもかまわない。
また画像処理装置１０と入力装置３０とは、例えば、ＵＳＢ（Universal Serial Bus）を介して接続されている。なお、ＵＳＢに代えて、ＩＥＥＥ１３９４やＲＳ−２３２Ｃ等を介して接続されていてもよい。
さらに画像処理装置１０およびカメラ４０とは、図示する例では、有線で接続されており、例えば、ＵＳＢ、ＩＥＥＥ１３９４、ＲＳ−２３２Ｃを介して接続されている。これにより有線によりカメラ４０で撮影された画像の画像データが、画像処理装置１０に送られる。ただしこれに限られるものではなく、無線ＬＡＮ（Local Area Network）、ブルートゥース（Bluetooth）（登録商標）等の無線接続であってもよい。さらに画像処理装置１０およびカメラ４０とを接続せず、ＳＤカード等のメモリカード等を介して画像データを画像処理装置１０に受け渡してもよい。 The image processing device 10 and the display device 20 are connected via a DVI (Digital Visual Interface). Instead of DVI, connection may be made via HDMI (registered trademark) (High-Definition Multimedia Interface), DisplayPort, or the like.
Further, the image processing device 10 and the input device 30 are connected via, for example, USB (Universal Serial Bus). Instead of USB, it may be connected via IEEE1394, RS-232C, or the like.
Further, the image processing device 10 and the camera 40 are connected by wire in the illustrated example, and are connected via, for example, USB, IEEE1394, RS-232C. As a result, the image data of the image taken by the camera 40 by wire is sent to the image processing device 10. However, the present invention is not limited to this, and a wireless connection such as a wireless LAN (Local Area Network) or Bluetooth (Bluetooth) (registered trademark) may be used. Further, the image data may be passed to the image processing device 10 via a memory card such as an SD card without connecting the image processing device 10 and the camera 40.

このような画像処理システム１において、まず最初にユーザが、カメラ４０により撮影対象Ｓを撮影する。カメラ４０により撮影した画像は、第１の画像としての原画像であり、この画像データは、画像処理装置１０に送られる。そして表示装置２０には、色処理を行なう前の画像である原画像が表示される。次にユーザが入力装置３０を使用して、画像処理装置１０に対し色調整を行なうための指示を入力すると、画像処理装置１０により原画像に対し色調整がなされる。この色調整の結果は、例えば、表示装置２０に表示される画像に反映され、第１の画像とは異なる第２の画像としての色調整後の画像が再描画されて表示装置２０に表示される。この場合、ユーザは、表示装置２０を見ながらインタラクティブに色調整を行なうことができ、より直感的に、またより容易に色調整の作業を行える。
また、第２の画像として、画像処理装置１０による色調整後の画像の他、カメラ４０とは機種特性が異なる、即ち撮影条件が異なる他のカメラによって撮影された他の画像としてもよい。この場合は、カメラ４０で撮影した画像を第１の画像とし、撮影条件が異なるカメラで撮影された他の画像を第２の画像として見ることができる。 In such an image processing system 1, the user first photographs the image target S with the camera 40. The image taken by the camera 40 is an original image as a first image, and this image data is sent to the image processing device 10. Then, the display device 20 displays the original image which is an image before the color processing is performed. Next, when the user inputs an instruction for performing color adjustment to the image processing device 10 using the input device 30, the image processing device 10 performs color adjustment on the original image. The result of this color adjustment is reflected in, for example, an image displayed on the display device 20, and an image after color adjustment as a second image different from the first image is redrawn and displayed on the display device 20. NS. In this case, the user can interactively perform the color adjustment while looking at the display device 20, and the color adjustment work can be performed more intuitively and more easily.
Further, as the second image, in addition to the image after color adjustment by the image processing device 10, another image taken by another camera having different model characteristics from the camera 40, that is, different shooting conditions may be used. In this case, the image taken by the camera 40 can be seen as the first image, and the other images taken by the cameras with different shooting conditions can be seen as the second image.

また画像処理装置１０では、色調整の結果を基に、原画像の色調整を行ない色調整後の画像とすることができる変換関係を作成する。この色調整は、例えば、第１の色データおよび第２の色データがＲｅｄ（Ｒ）、Ｇｒｅｅｎ（Ｇ）、Ｂｌｕｅ（Ｂ）からなるＲＧＢデータであったとき、第１の色データを（Ｒａ、Ｇａ、Ｂａ）、第２の色データを（Ｒｂ、Ｇｂ、Ｂｂ）とすると、（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）とする処理である。この変換関係を使用することで、先に行なった色調整と同様の色調整を再現することができる。この変換関係は、プロファイルとも呼ばれ、例えば、３次元ＬＵＴ（Look up Table）として作成することができる。ただしこれに限られるものではない。例えば、変換関係は、Ｒａ→Ｒｂ、Ｇａ→Ｇｂ、Ｂａ→Ｂｂとする１次元ＬＵＴであってもよい。また変換関係は、（Ｒａ、Ｇａ、Ｂａ）→（Ｒｂ、Ｇｂ、Ｂｂ）とする多次元マトリクスであってもよい。この変換関係を作成する処理については後述する。 Further, the image processing device 10 creates a conversion relationship that can adjust the color of the original image based on the result of the color adjustment and obtain the image after the color adjustment. In this color adjustment, for example, when the first color data and the second color data are RGB data including Red (R), Green (G), and Blue (B), the first color data is (R). a, G a, B a) , the second color data (R b, when G b, B b) to, (R a, G a, B a) → (R b, G b, B b) and It is a process to do. By using this conversion relationship, it is possible to reproduce the same color adjustment as the color adjustment performed earlier. This conversion relationship is also called a profile, and can be created as, for example, a three-dimensional LUT (Look up Table). However, it is not limited to this. For example, the conversion relationship, R a → R b, may be a G a → G b, 1-dimensional LUT to B a → B b. The conversion relationship may be a multi-dimensional matrix to (R a, G a, B a) → (R b, G b, B b). The process of creating this conversion relationship will be described later.

なお本実施の形態における画像処理システム１は、図１の形態に限られるものではない。例えば、画像処理システム１としてタブレット端末を例示することができる。この場合、タブレット端末は、タッチパネルを備え、このタッチパネルにより画像の表示を行なうとともにタッチ等のユーザの指示が入力される。即ち、タッチパネルが、表示装置２０および入力装置３０として機能する。なおカメラ４０としては、タブレット端末に内蔵されたカメラを用いることができる。また同様に表示装置２０および入力装置３０を統合した装置として、タッチモニタを用いることもできる。これは、上記表示装置２０の表示画面２１としてタッチパネルを使用したものである。この場合、画像処理装置１０により出力された画像データに基づきタッチモニタに画像が表示される。そしてユーザは、このタッチモニタをタッチ等することで色調整を行なうための指示を入力する。 The image processing system 1 in the present embodiment is not limited to the embodiment shown in FIG. For example, a tablet terminal can be exemplified as the image processing system 1. In this case, the tablet terminal is provided with a touch panel, and the touch panel is used to display an image and input a user's instruction such as a touch. That is, the touch panel functions as the display device 20 and the input device 30. As the camera 40, a camera built in the tablet terminal can be used. Similarly, a touch monitor can be used as a device that integrates the display device 20 and the input device 30. This uses a touch panel as the display screen 21 of the display device 20. In this case, the image is displayed on the touch monitor based on the image data output by the image processing device 10. Then, the user inputs an instruction for performing color adjustment by touching the touch monitor or the like.

ここで画像処理装置１０が、変換関係を作成するには、上述したように色調整前（色変換前）の画像である原画像から第１の色データを取得し、色調整後（色変換後）の画像から第２の色データを取得する必要がある。
しかしながらこのとき画像中から色データを取得する箇所が過度に少なく、これらの色データの数が少なすぎると、例えば、必要な階調値の色データが抜け落ち、変換関係の精度が低下する。また画像中から色データを取得する箇所が過度に多く、これらの色データの数が多すぎると、例えば、色変換に必要でない箇所の色データまで取得してしまい、その結果、後述する色変換モデルにノイズが入り込む。つまりレタッチの方向性が異なる色データが入り込む。その結果、精度の高い色変換モデルが作成しにくくなり、変換関係の精度が低下する。
そこで本実施の形態では、画像処理装置１０の構成を以下のようにし、画像処理装置１０で変換関係を作成する際に、上述した問題が生じにくくする。 Here, in order to create a conversion relationship, the image processing device 10 acquires the first color data from the original image which is the image before the color adjustment (before the color conversion) as described above, and after the color adjustment (color conversion). It is necessary to acquire the second color data from the image of (later).
However, at this time, if the number of places where color data is acquired from the image is excessively small and the number of these color data is too small, for example, the color data of the required gradation value is omitted, and the accuracy of the conversion relationship is lowered. In addition, if there are too many places to acquire color data from the image and the number of these color data is too large, for example, even the color data of the parts not necessary for color conversion will be acquired, and as a result, the color conversion described later will be performed. Noise gets into the model. In other words, color data with different retouching directions is included. As a result, it becomes difficult to create a highly accurate color conversion model, and the accuracy of the conversion relationship is lowered.
Therefore, in the present embodiment, the configuration of the image processing device 10 is as follows, and the above-mentioned problems are less likely to occur when the conversion relationship is created by the image processing device 10.

＜画像処理装置の説明＞
次に画像処理装置１０について説明を行なう。 <Explanation of image processing device>
Next, the image processing device 10 will be described.

図２は、本実施の形態における画像処理装置１０の機能構成例を表すブロック図である。なお図２では、画像処理装置１０が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
図示するように本実施の形態の画像処理装置１０は、画像データを取得する画像データ取得部１１と、画像データから色データを抽出する領域を決定する領域決定部１２と、色データを抽出する方法を決定する抽出決定部１３と、画像データから色データを抽出する色データ抽出部１４と、ユーザに色データの抽出結果を確認させる抽出結果確認部１５と、色変換モデルを作成する色変換モデル作成部１６と、変換関係を作成する変換関係作成部１７と、出力部１８とを備える。 FIG. 2 is a block diagram showing a functional configuration example of the image processing device 10 according to the present embodiment. Note that FIG. 2 shows a selection of various functions of the image processing apparatus 10 that are related to the present embodiment.
As shown in the figure, the image processing device 10 of the present embodiment extracts the image data acquisition unit 11 for acquiring the image data, the area determination unit 12 for determining the area for extracting the color data from the image data, and the color data. An extraction decision unit 13 that determines a method, a color data extraction unit 14 that extracts color data from image data, an extraction result confirmation unit 15 that allows the user to confirm the extraction result of color data, and a color conversion that creates a color conversion model. A model creation unit 16, a conversion relationship creation unit 17 for creating a conversion relationship, and an output unit 18 are provided.

画像データ取得部１１は、色調整前（色変換前）の原画像の画像データである第１の画像データと、色調整後（色変換後）の画像データである第２の画像データとを取得する。これらの画像データは、表示装置２０で表示を行なうためのデータ形式となっており、例えば、前述のＲＧＢデータである。なお画像データ取得部１１は、他のデータ形式で画像データを取得し、これを色変換してＲＧＢデータ等としてもよい。 The image data acquisition unit 11 obtains the first image data which is the image data of the original image before the color adjustment (before the color conversion) and the second image data which is the image data after the color adjustment (after the color conversion). get. These image data are in a data format for displaying on the display device 20, and are, for example, the RGB data described above. The image data acquisition unit 11 may acquire image data in another data format and color-convert the image data to obtain RGB data or the like.

図３（ａ）〜（ｆ）は、画像データ取得部１１が取得する画像データの例について示した図である。
ここでは、商品である衣服または商品である衣服を着用した人物を撮影したときの画像データを３組用意した場合を示している。このうち図３（ａ）および図３（ｂ）は、それぞれダウンジャケットを撮影したときの第１の画像データ（色調整前の画像データ）および第２の画像データ（色調整後の画像データ）を示している。また図３（ｃ）および図３（ｄ）は、それぞれシャツおよびズボンを着用した人物を撮影したときの第１の画像データおよび第２の画像データを示している。さらに図３（ｅ）および図３（ｆ）は、それぞれワンピースを撮影したときの第１の画像データおよび第２の画像データを示している。 3A to 3F are diagrams showing an example of image data acquired by the image data acquisition unit 11.
Here, the case where three sets of image data at the time of photographing the clothes which are the products or the person who wears the clothes which are the products is prepared is shown. Of these, FIGS. 3 (a) and 3 (b) show the first image data (image data before color adjustment) and the second image data (image data after color adjustment) when the down jacket was photographed, respectively. Is shown. Further, FIGS. 3 (c) and 3 (d) show first image data and second image data when a person wearing a shirt and trousers is photographed, respectively. Further, FIGS. 3 (e) and 3 (f) show the first image data and the second image data when the dress is photographed, respectively.

このように第１の画像データと第２の画像データとを複数組用意することで、より多くの色を含む画像データを取得することができる。 By preparing a plurality of sets of the first image data and the second image data in this way, it is possible to acquire image data including more colors.

領域決定部１２は、指定手段の一例であり、色調整前（色変換前）の原画像と色調整後（色変換後）の画像のうちいずれか一方の画像について、色データ（画像情報）を抽出する領域を指定する。
つまり領域決定部１２は、例えば、図３に示した画像データの中から色データをどの位置から取得するかを決定する。この場合、色調整は商品である衣服の箇所に対して行われる。つまり商品の色は、色再現をより厳密に行ない、実際の商品の色と画像として表示される商品の色とが合致することが要求される。そのため色調整を行なう対象となりやすい。対して商品の背景の領域は、このような要求がされにくく、色調整を行なう対象となりにくい。そのため領域決定部１２は、この衣服の箇所を、色データを抽出する領域とする。 The area determination unit 12 is an example of the designating means, and is color data (image information) for one of the original image before color adjustment (before color conversion) and the image after color adjustment (after color conversion). Specify the area to extract.
That is, the area determination unit 12 determines, for example, from which position the color data is acquired from the image data shown in FIG. In this case, the color adjustment is performed on the part of the clothing that is the product. That is, the color of the product is required to reproduce the color more strictly and to match the color of the actual product with the color of the product displayed as an image. Therefore, it is easy to be a target for color adjustment. On the other hand, the background area of the product is less likely to be subject to such a request and is less likely to be subject to color adjustment. Therefore, the area determination unit 12 uses this clothing portion as an area for extracting color data.

具体的には、領域決定部１２は、背景以外の箇所を色データを抽出する領域とする。そのために領域決定部１２は、背景と背景以外の箇所を判断する必要がある。ここで背景の画像データは、画像の左端の画像データとほぼ同じとなる。そのため画像の左端の画像データと大きく画像データが変化している箇所を背景以外の箇所とすることができる。画像の左端の画像データと比較する画像データをサンプリングするには、例えば、画像中において予め定められた間隔で画素位置を決定し、画像の左端の画素との画像データを比較する。また予め定められたサイズのマスクを画像データに適用し、このマスク内の画像データの平均値と画像の左端の画素との画像データを比較してもよい。 Specifically, the region determination unit 12 sets a portion other than the background as an region for extracting color data. Therefore, the area determination unit 12 needs to determine the background and a portion other than the background. Here, the background image data is almost the same as the image data at the left end of the image. Therefore, the part where the image data at the left end of the image and the image data are significantly changed can be a part other than the background. To sample the image data to be compared with the image data at the left end of the image, for example, the pixel positions are determined at predetermined intervals in the image, and the image data is compared with the pixels at the left end of the image. Further, a mask having a predetermined size may be applied to the image data, and the average value of the image data in the mask and the image data of the leftmost pixel of the image may be compared.

さらに他の方法としては、画像データを基に周波数解析をし、高周波が発生した画素位置を取得する。この画素位置は、背景以外の箇所の輪郭となるため、この輪郭の内側を背景以外の箇所とする。さらに他の方法としては、画像の中央から予め定められたサイズの範囲を規定しておき、この内部を背景以外の箇所とする。 As yet another method, frequency analysis is performed based on the image data, and the pixel position where the high frequency is generated is acquired. Since this pixel position is a contour of a portion other than the background, the inside of this contour is defined as a portion other than the background. As yet another method, a predetermined size range is defined from the center of the image, and the inside is set as a part other than the background.

領域決定部１２は、人の肌色の箇所をさらに除外して色データを抽出する領域とすることが好ましい。即ち、人の肌色は、色調整を行なわない方が好ましく、色調整を行なう対象とすると不自然な色になりやすい。そのため色データを抽出する領域として人の肌色の箇所は含めない方がよい。 It is preferable that the region determination unit 12 is a region for extracting color data by further excluding the human skin color portion. That is, it is preferable that the human skin color is not color-adjusted, and it tends to be an unnatural color when the color is adjusted. Therefore, it is better not to include the human skin color part as the area for extracting the color data.

なお領域決定部１２は、画像データ取得部１１が取得した第１の画像データおよび第２の画像データの組毎に色データを抽出する領域を決定する。図３に示した例では、領域決定部１２は、３組の画像データのそれぞれについて、第１の画像データまたは第２の画像データを使用して色データを抽出する領域を決定する。ただしそれぞれの画像データの組の全てを利用せず、一部を利用してもよい。一部を利用する場合は、領域決定部１２は、例えば、ランダムに選択を行なう。取得した画像データが多い場合は、領域決定部１２は、このように画像データを選択する処理を行なってもよい。 The area determination unit 12 determines an area for extracting color data for each set of the first image data and the second image data acquired by the image data acquisition unit 11. In the example shown in FIG. 3, the area determination unit 12 determines an area for extracting color data using the first image data or the second image data for each of the three sets of image data. However, not all of each set of image data may be used, but some of them may be used. When a part is used, the area determination unit 12 makes a random selection, for example. When there is a large amount of acquired image data, the area determination unit 12 may perform the process of selecting the image data in this way.

抽出決定部１３は、決定手段の一例であり、領域決定部１２により指定された領域において色データを抽出する間隔を決定する。よってこの色データを抽出する間隔がより小さければ、この領域において色データを抽出する位置のピッチがより小さくなり、抽出される色データの数がより多くなる。対してこの色データを抽出する間隔がより大きければ、この領域において色データを抽出する位置のピッチがより大きくなり、抽出される色データの数がより少なくなる。なお色データを抽出する間隔が同じであれば、領域内の画素数がより少ないほど抽出される色データの数はより少なくなり、領域内の画素数がより多いほど抽出される色データの数はより多くなる。 The extraction determination unit 13 is an example of the determination means, and determines the interval for extracting color data in the region designated by the region determination unit 12. Therefore, if the interval for extracting the color data is smaller, the pitch of the position where the color data is extracted in this region becomes smaller, and the number of the color data to be extracted becomes larger. On the other hand, the larger the interval for extracting the color data, the larger the pitch of the position where the color data is extracted in this region, and the smaller the number of the extracted color data. If the intervals for extracting color data are the same, the smaller the number of pixels in the area, the smaller the number of color data to be extracted, and the larger the number of pixels in the area, the more color data to be extracted. Will be more.

具体的には、抽出決定部１３は、この領域に含まれる色数、階調数および柄の少なくとも１つを基に色データを抽出する間隔を決定する。 Specifically, the extraction determination unit 13 determines the interval for extracting color data based on at least one of the number of colors, the number of gradations, and the pattern included in this region.

図４（ａ）は、領域に含まれる柄を基に色データを抽出する間隔を決定する場合を示している。
ここでは、抽出決定部１３は、柄を周波数分析により求める。図４（ａ）で横軸は、この領域における周波数を表す。また縦軸は、色データを抽出するデータの数を表す。
このとき、周波数がより低いほど色データを抽出する間隔をより大きくし、周波数がより高いほど色データを抽出する間隔をより小さくする。即ち、衣服等の柄が細かくない場合は、色データを抽出する間隔を大きくし、抽出する色データの数を少なくする。対して衣服等の柄が細かい場合は、色データを抽出する間隔を小さくし、抽出する色データの数を多くする。 FIG. 4A shows a case where the interval for extracting color data is determined based on the pattern included in the region.
Here, the extraction determination unit 13 obtains the pattern by frequency analysis. In FIG. 4A, the horizontal axis represents the frequency in this region. The vertical axis represents the number of data for which color data is extracted.
At this time, the lower the frequency, the larger the interval for extracting the color data, and the higher the frequency, the smaller the interval for extracting the color data. That is, when the pattern of clothes or the like is not fine, the interval for extracting color data is increased and the number of color data to be extracted is reduced. On the other hand, when the pattern of clothes or the like is fine, the interval for extracting color data is reduced and the number of color data to be extracted is increased.

図４（ｂ）は、色数や階調数を基に色データを抽出する間隔を決定する場合を示している。
ここでは、抽出決定部１３は、色空間内を予め定められた方法で区切られた色領域（ボックス）を考えたときに、領域決定部１２により決定された領域に含まれる色が入る色領域の個数（ボックス数）を基に色データを抽出する間隔を決定する。領域決定部１２により決定された領域に含まれる色数や階調数が多いほどボックス数はより多くなり、少ないほどボックス数はより少なくなる。図４（ｂ）で横軸は、領域決定部１２により決定された領域に含まれる色が入るボックス数を表す。また縦軸は、色データを抽出するデータの数を表す。 FIG. 4B shows a case where the interval for extracting color data is determined based on the number of colors and the number of gradations.
Here, the extraction determination unit 13 considers a color area (box) in which the color space is divided by a predetermined method, and the color area in which the color included in the area determined by the area determination unit 12 is entered. The interval for extracting color data is determined based on the number of boxes (number of boxes). The larger the number of colors and the number of gradations included in the area determined by the area determination unit 12, the larger the number of boxes, and the smaller the number, the smaller the number of boxes. In FIG. 4B, the horizontal axis represents the number of boxes containing colors included in the area determined by the area determination unit 12. The vertical axis represents the number of data for which color data is extracted.

図示するように、ボックス数がより小さいほど色データを抽出する間隔をより大きくすることで抽出する色データの数を小さくし、ボックス数がより大きいほど色データを抽出する間隔をより小さくすることで抽出する色データの数を大きくする。即ち、領域に含まれる色数や階調数が少ない場合は、色データを抽出する間隔を大きくし、抽出する色データの数を少なくする。対して領域に含まれる色数や階調数が多い場合は、色データを抽出する間隔を小さくし、抽出する色データの数を多くする。 As shown in the figure, the smaller the number of boxes, the smaller the number of color data to be extracted by increasing the interval for extracting color data, and the larger the number of boxes, the smaller the interval for extracting color data. Increase the number of color data to be extracted with. That is, when the number of colors and the number of gradations included in the area are small, the interval for extracting color data is increased and the number of color data to be extracted is decreased. On the other hand, when the number of colors and the number of gradations included in the area are large, the interval for extracting the color data is reduced and the number of the color data to be extracted is increased.

また抽出決定部１３は、さらにボックス内に含まれる色数を基に色データを抽出する間隔を決定してもよい。
図４（ｃ）は、色数や階調数に加え、ボックス内に含まれる色数を基に色データを抽出する間隔を決定する場合を示している。図４（ｃ）で横軸は、領域に含まれる色が入るボックスのうち、予め定められた色数以上が含まれるボックス数を表す。また縦軸は、色データを抽出するデータの数を表す。
図示するように、含まれる色数が閾値以上のボックス数がより小さいほど色データを抽出する間隔をより大きくすることで抽出する色データの数をより小さくし、含まれる色数が閾値以上のボックス数がより大きいほど色データを抽出する間隔をより小さくすることで抽出する色データの数をより大きくする。この場合は、少ない色数しか含まれないボックスについてはボックス数としてカウントしない。この場合も、領域に含まれる色数や階調数が少ない場合は、色データを抽出する間隔を大きくし、抽出する色データの数を少なくする。対して領域に含まれる色数や階調数が多い場合は、色データを抽出する間隔を小さくし、抽出する色データの数を多くする。 Further, the extraction determination unit 13 may further determine the interval for extracting color data based on the number of colors included in the box.
FIG. 4C shows a case where the interval for extracting color data is determined based on the number of colors included in the box in addition to the number of colors and the number of gradations. In FIG. 4C, the horizontal axis represents the number of boxes containing a predetermined number of colors or more among the boxes containing the colors included in the area. The vertical axis represents the number of data for which color data is extracted.
As shown in the figure, the smaller the number of boxes whose number of colors is equal to or greater than the threshold value, the smaller the number of color data to be extracted by increasing the interval for extracting color data, and the number of colors included is equal to or greater than the threshold value. As the number of boxes is larger, the number of color data to be extracted is increased by making the interval for extracting color data smaller. In this case, boxes containing only a small number of colors are not counted as the number of boxes. Also in this case, when the number of colors and the number of gradations included in the area are small, the interval for extracting the color data is increased and the number of the color data to be extracted is decreased. On the other hand, when the number of colors and the number of gradations included in the area are large, the interval for extracting the color data is reduced and the number of the color data to be extracted is increased.

また色データを抽出する間隔を決定する方法としては、上記方法に限られるものではない。
例えば、色データを抽出する領域内に含まれる柄物の画像の数を基に色データを抽出する間隔を決定してもよい。この場合、この領域内に含まれる柄物の画像の数がより少ないほど色データを抽出する間隔をより大きくし、この領域内に含まれる柄物の画像の数がより多いほど色データを抽出する間隔をより小さくする。 The method for determining the interval for extracting color data is not limited to the above method.
For example, the interval for extracting the color data may be determined based on the number of images of the pattern included in the area for extracting the color data. In this case, the smaller the number of patterned images contained in this area, the larger the interval for extracting color data, and the larger the number of patterned images contained in this area, the larger the interval for extracting color data. To be smaller.

また抽出決定部１３は、色データを抽出する間隔に加え、または色データを抽出する間隔に代わり、抽出した色データに対する重みを決定してもよい。つまり色データを抽出する間隔と抽出した色データに対する重みとを併用してもよく、色データを抽出する間隔は、一定とし、抽出した色データに対する重みを代わりに使用してもよい。 Further, the extraction determination unit 13 may determine the weight for the extracted color data in addition to the interval for extracting the color data or instead of the interval for extracting the color data. That is, the interval for extracting the color data and the weight for the extracted color data may be used in combination, the interval for extracting the color data may be constant, and the weight for the extracted color data may be used instead.

色データ抽出部１４は、抽出決定部１３で決定された色データを抽出する間隔に従い、領域決定部１２によって指定された、原画像(第１の画像)または色調整後の画像(第２の画像)のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素とから色データとして色変換情報を抽出する。これは、画像中の互いに対応する位置における色データの組として、第１の画像データから第１の色データを抽出するとともに、第２の画像データから第２の色データを抽出する、と言うこともできる。この場合、抽出した第１の色データと第２の色データの組が色変換情報である。
つまり第１の画像データおよび第２の画像データから、画像中で同じとなる位置において第１の色データおよび第２の色データを抽出する。 The color data extraction unit 14 determines the original image (first image) or the color-adjusted image (second image) designated by the region determination unit 12 according to the interval for extracting the color data determined by the extraction determination unit 13. Color conversion information is extracted as color data from the pixels of the image information in the area of one of the images) and the pixels of the image information corresponding to the pixels of the other image. This is said to extract the first color data from the first image data and the second color data from the second image data as a set of color data at positions corresponding to each other in the image. You can also do it. In this case, the set of the extracted first color data and the second color data is the color conversion information.
That is, the first color data and the second color data are extracted from the first image data and the second image data at the same positions in the image.

図５（ａ）〜（ｂ）は、第１の色データと第２の色データとの対の例を示した図である。
ここで図５（ａ）は、色調整前の画像である原画像と抽出した第１の色データの例を示している。ここでは、原画像がブラウスの画像であり、その中の１〜５で示した箇所において抽出した色データをＲＧＢａ１〜ＲＧＢａ５として示している。この場合、ブラウスは、青単色であり、ＲＧＢａ１〜ＲＧＢａ５は、何れも青色を表すＲＧＢデータとなっている。
また図５（ｂ）は、色調整後の画像と抽出した第２の色データの例を示している。ここでは、図５（ａ）と同様の１〜５で示した箇所において抽出した色データをＲＧＢｂ１〜ＲＧＢｂ５として示している。 5 (a) to 5 (b) are diagrams showing an example of a pair of the first color data and the second color data.
Here, FIG. 5A shows an example of the original image which is the image before the color adjustment and the extracted first color data. Here, the original image is an image of a blouse, and the color data extracted at the locations shown by 1 to 5 in the original image are shown as RGBa1 to RGBa5. In this case, the blouse is a single blue color, and RGBa1 to RGBa5 are all RGB data representing blue.
Further, FIG. 5B shows an example of the color-adjusted image and the extracted second color data. Here, the color data extracted at the locations shown in 1 to 5 similar to FIG. 5A are shown as RGBb1 to RGBb5.

抽出結果確認部１５は、抽出結果確認手段の一例であり、色データ抽出部１４で抽出した色データ（色変換情報）を表示装置２０で表示するために出力する。
図６は、色データ抽出部１４で抽出した色データを確認する画面の第１の例である。
ここでは色データ抽出部１４で抽出した色データの分布を、「取得色の分布」として表示している。そして白〜ピンクまでの１２色について抽出できた色数を４段階で示している。この例では、例えば、白、黒、グレー、青、紫、ピンクについては、必要な色数が取得できたが、他の色、特に、黄、緑、水色については、必要な色数が不足している場合を示す。その結果、診断結果として「学習させる画像が少なすぎます。セットする画像の数を増やしてください。」という通知がユーザに対しなされている。つまり画像データ取得部１１で取得した第１の色データと第２の色データとの組数が不足しており、そのため色データ抽出部１４で抽出できた色数が不足した状態となった場合である。抽出できた色数が充足しているか不足しているかの判定は、抽出結果確認部１５が行なうことができる。 The extraction result confirmation unit 15 is an example of the extraction result confirmation means, and outputs the color data (color conversion information) extracted by the color data extraction unit 14 for display on the display device 20.
FIG. 6 is a first example of a screen for confirming the color data extracted by the color data extraction unit 14.
Here, the distribution of the color data extracted by the color data extraction unit 14 is displayed as "distribution of acquired colors". The number of colors extracted for 12 colors from white to pink is shown in 4 stages. In this example, for example, for white, black, gray, blue, purple, and pink, the required number of colors could be obtained, but for other colors, especially yellow, green, and light blue, the required number of colors was insufficient. Indicates the case where it is. As a result, the user is notified as a diagnostic result that "there are too few images to be trained. Please increase the number of images to be set." That is, when the number of pairs of the first color data and the second color data acquired by the image data acquisition unit 11 is insufficient, and therefore the number of colors extracted by the color data extraction unit 14 is insufficient. Is. The extraction result confirmation unit 15 can determine whether the number of colors that can be extracted is sufficient or insufficient.

図７は、色データ抽出部１４で抽出した色データを確認する画面の第２の例である。
ここでは色データ抽出部１４で抽出した色データの分布をＲＧＢ色空間中でプロットし、色空間画像として表示装置２０で表示した場合を示している。図中、黒丸で示した点が色データ抽出部１４で抽出した色データを表している。
これによりユーザは、抽出した色データの分布を視覚的に把握することができる。またこのとき抽出結果確認部１５は、抽出した第１の色データおよび第２の色データ（色変換情報）の一部をユーザからの指示により削除することができる。これは例えば、ユーザが図７の中から不必要であると判断した色データを削除する作業を行なうことで実現できる。 FIG. 7 is a second example of a screen for confirming the color data extracted by the color data extraction unit 14.
Here, the case where the distribution of the color data extracted by the color data extraction unit 14 is plotted in the RGB color space and displayed as a color space image on the display device 20 is shown. In the figure, the points indicated by black circles represent the color data extracted by the color data extraction unit 14.
As a result, the user can visually grasp the distribution of the extracted color data. At this time, the extraction result confirmation unit 15 can delete a part of the extracted first color data and the second color data (color conversion information) according to an instruction from the user. This can be achieved, for example, by deleting the color data that the user has determined to be unnecessary from FIG. 7.

色変換モデル作成部１６は、作成手段の一例であり、色データ抽出部１４によって抽出された複数の第１の色データおよび第２の色データの組（色変換情報）をもとに色変換特性（色変換モデル）を作成する。つまり色データ抽出部１４で抽出した第１の色データと第２の色データとの関係を表す色変換モデルを作成する。 The color conversion model creating unit 16 is an example of the creating means, and color conversion is performed based on a plurality of first color data and a set of second color data (color conversion information) extracted by the color data extracting unit 14. Create characteristics (color conversion model). That is, a color conversion model representing the relationship between the first color data and the second color data extracted by the color data extraction unit 14 is created.

図８は、色変換モデルの一例について示した図である。
ここで横軸は、色調整前の色データである第１の色データを表し、縦軸は、色調整後の色データである第２の色データを表す。第１の色データおよび第２の色データは、ＲＧＢデータであり、図では、第１の色データは、ＲＧＢａ、第２の色データは、ＲＧＢｂとして図示している。 FIG. 8 is a diagram showing an example of a color conversion model.
Here, the horizontal axis represents the first color data which is the color data before the color adjustment, and the vertical axis represents the second color data which is the color data after the color adjustment. The first color data and the second color data are RGB data, and in the figure, the first color data is shown as RGBa, and the second color data is shown as RGBb.

そして黒丸は、色データ抽出部１４で抽出された第１の色データと第２の色データとをプロットしたものであり、ここでは、色データ抽出部１４で抽出された第１の色データと第２の色データとの対が、１２個であったことを示している。 The black circle is a plot of the first color data and the second color data extracted by the color data extraction unit 14, and here, the first color data extracted by the color data extraction unit 14 and the first color data. It shows that there were 12 pairs with the second color data.

また実線は、第１の色データと第２の色データとの関係であり、色変換モデル作成部１６で作成された色変換モデルを表す。即ち、色変換モデルは、第１の色データと第２の色データとの関係を表した関数であると言うこともできる。この関数をｆとすると、ＲＧＢｂ＝ｆ（ＲＧＢａ）と表すこともできる。この色変換モデルは、公知の方法で作成することができる。ただし、重み付け回帰モデルやニューラルネットワークなどの非線形特性に対するフィッティング性能が高い方法を使用することが好ましい。ただし、非線形特性に限定されず、Ｍａｔｒｉｘモデルを使用した線形特性を用いてもよい。 The solid line is the relationship between the first color data and the second color data, and represents the color conversion model created by the color conversion model creation unit 16. That is, it can be said that the color conversion model is a function expressing the relationship between the first color data and the second color data. If this function is f, it can also be expressed as RGBb = f (RGBa). This color conversion model can be created by a known method. However, it is preferable to use a method having high fitting performance for non-linear characteristics such as a weighted regression model or a neural network. However, the characteristic is not limited to the non-linear characteristic, and the linear characteristic using the Matrix model may be used.

また色変換モデル作成部１６は、第１の色データと第２の色データとの関係が非線形の単調増加関数となるように色変換モデルを作成することが好ましい。
図９（ａ）〜（ｂ）は、第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成した場合と、単調増加関数とならないように色変換モデルを作成した場合を比較した図である。
図中、実線で描かれた曲線は色変換モデルを表す。この色変換モデルのうち太線の方は、第１の色データと第２の色データとの関係が単調増加関数となるように色変換モデルを作成した場合であり、図８と同様の色変換モデルである。また細線の方は、第１の色データと第２の色データとの関係が単調増加関数とならないように色変換モデルを作成した場合である。なおここで単調増加関数とは、色変換モデルを表す実線の接線の傾きが０以上となることであり、傾きが０となる箇所があってもよい。即ち広義の単調増加関数である。 Further, the color conversion model creation unit 16 preferably creates a color conversion model so that the relationship between the first color data and the second color data is a non-linear monotonically increasing function.
9 (a) to 9 (b) show the case where the color conversion model is created so that the relationship between the first color data and the second color data becomes a monotonically increasing function, and the case where the colors do not become a monotonically increasing function. It is the figure which compared the case where the transformation model was created.
In the figure, the curve drawn by the solid line represents the color conversion model. The thick line in this color conversion model is a case where the color conversion model is created so that the relationship between the first color data and the second color data becomes a monotonically increasing function, and the same color conversion as in FIG. It is a model. The thin line is a case where the color conversion model is created so that the relationship between the first color data and the second color data does not become a monotonically increasing function. Here, the monotonically increasing function means that the slope of the tangent line of the solid line representing the color conversion model is 0 or more, and there may be a place where the slope is 0. That is, it is a monotonically increasing function in a broad sense.

太線で示した色変換モデルは、接線の傾きが０未満（負）となる場合はなく、常に０以上である。
対して細線で示した色変換モデルは、接線の傾きが０未満（負）となる場合がある。即ちＲＧＢａが増加するとＲＧＢｂが減少する箇所がある。この色変換モデルを使用して作成された変換関係を利用して色調整を行なうと、色調整後の画像に階調段差が生じることがある。第１の色データと第２の色データとの関係が単調増加関数になるように色変換モデルを作成すると階調段差が生じるのが低減でき、色調整のばらつきも低減できる。 In the color conversion model shown by the thick line, the slope of the tangent line is not less than 0 (negative) and is always 0 or more.
On the other hand, in the color conversion model shown by the thin line, the slope of the tangent line may be less than 0 (negative). That is, there is a place where RGBb decreases as RGBa increases. When color adjustment is performed using the conversion relationship created by using this color conversion model, a gradation step may occur in the image after color adjustment. If a color conversion model is created so that the relationship between the first color data and the second color data becomes a monotonically increasing function, it is possible to reduce the occurrence of gradation steps and reduce the variation in color adjustment.

色変換モデル作成部１６が、太線で示したような色変換モデルを作成するには、例えば、Ｐｒ１、Ｐｒ２およびＰｒ３として図示した第１の色データおよび第２の色データの対がより少ない方が好ましい。このＰｒ１、Ｐｒ２およびＰｒ３として図示したものは、上述したレタッチの方向性が異なる色データである。本実施の形態では、画像データ取得部１１で、色調整前の画像データである第１の画像データと、色調整後の画像データである第２の画像データとを取得し、その中から第１の色データと第２の色データの組として種々の色の色データを取得することでレタッチの方向性が異なる色データが入り込むことを抑制することができる。また抽出決定部１３で色データを抽出する間隔を決定し、色データ抽出部１４で抽出する色データを適度な数とすることで、レタッチの方向性が異なる色データが入り込むことをさらに抑制することができる。また図７で説明したように、ユーザが不必要であると判断した色データを削除する作業を行なうことで、レタッチの方向性が異なる色データが入り込むことをさらに抑制することができる。 In order for the color conversion model creation unit 16 to create a color conversion model as shown by a thick line, for example, the one having fewer pairs of the first color data and the second color data shown as Pr1, Pr2, and Pr3. Is preferable. The ones shown as Pr1, Pr2 and Pr3 are the color data having different retouching directions described above. In the present embodiment, the image data acquisition unit 11 acquires the first image data which is the image data before the color adjustment and the second image data which is the image data after the color adjustment, and the second image data is acquired from the first image data. By acquiring color data of various colors as a set of the first color data and the second color data, it is possible to suppress the entry of color data having different retouching directions. Further, the extraction determination unit 13 determines the interval at which the color data is extracted, and the color data extraction unit 14 determines the appropriate number of color data to be extracted, thereby further suppressing the entry of color data having different retouching directions. be able to. Further, as described with reference to FIG. 7, by performing the work of deleting the color data determined to be unnecessary by the user, it is possible to further suppress the entry of color data having different retouching directions.

また色変換モデル作成部１６は、第１の色データと第２の色データとの対に対し重みを設定した場合は、この重みを使用して色変換モデルを作成する。 Further, when the color conversion model creation unit 16 sets a weight for the pair of the first color data and the second color data, the color conversion model creation unit 16 creates a color conversion model using this weight.

変換関係作成部１７は、色変換モデル作成部１６で作成した色変換モデルを基に、第１の画像（原画像）の色調整を再現する変換関係を作成する。色変換モデルは、第１の色データと第２の色データとの組（色変換情報）から作成されるため、変換関係作成部１７は、第１の色データと第２の色データとの組を基に、色調整を再現する変換関係を作成する、と言うこともできる。この変換関係は、ユーザが原画像に対し行なった色調整の結果を再現するものとなる。つまり色調整前の画像（原画像）に対しこの変換関係を使用して色調整を行なうと、ユーザが先に行なった色調整と同様の色調整を再び行ない、色調整後の画像とすることができる。 The conversion relationship creation unit 17 creates a conversion relationship that reproduces the color adjustment of the first image (original image) based on the color conversion model created by the color conversion model creation unit 16. Since the color conversion model is created from the set (color conversion information) of the first color data and the second color data, the conversion relationship creation unit 17 sets the first color data and the second color data. It can also be said that a conversion relationship that reproduces the color adjustment is created based on the set. This conversion relationship reproduces the result of the color adjustment performed by the user on the original image. In other words, if color adjustment is performed on the image before color adjustment (original image) using this conversion relationship, the same color adjustment as the color adjustment performed by the user earlier is performed again to obtain the image after color adjustment. Can be done.

変換関係が３次元ＬＵＴである場合は、Ｒ、Ｇ、Ｂのそれぞれについて代表となる画素値を選択する。例えば、Ｒ、Ｇ、Ｂのそれぞれのデータが８ｂｉｔの階調で表される場合、画素値は０〜２５５の整数となるが、これを例えば、８分割する。そして８分割したそれぞれの画素値で表すことができるＲＧＢデータを格子点とする（いわゆる９格子点）。この場合、格子点は、９３＝７２９個となる。そしてこの格子点のそれぞれについて、色変換モデルを基に第１の色データと第２の色データとの対応関係を算出する。この対応関係をＬＵＴ（Look Up Table）で表したものが３次元ＬＵＴである。その結果、３次元ＬＵＴは、各格子点毎に入力値（Ｒａ、Ｇａ、Ｂａ）−出力値（Ｒｂ、Ｇｂ、Ｂｂ）の対応関係として記述される。 When the conversion relationship is a three-dimensional LUT, representative pixel values are selected for each of R, G, and B. For example, when each of the data of R, G, and B is represented by an 8-bit gradation, the pixel value is an integer of 0 to 255, and this is divided into, for example, eight. Then, RGB data that can be represented by each pixel value divided into 8 is used as a grid point (so-called 9 grid points). In this case, grid points is 9 3 = 729. Then, for each of the grid points, the correspondence relationship between the first color data and the second color data is calculated based on the color conversion model. A three-dimensional LUT expresses this correspondence by a LUT (Look Up Table). As a result, 3-dimensional LUT, the input values for each lattice point (R a, G a, B a) - the output value (R b, G b, B b) are described as the corresponding relationship.

このとき変換関係作成部１７は、領域決定部１２により決定された領域に含まれる色については色調整を行なうが、他の色については色調整を行なわない変換関係を作成することが好ましい。例えば、図５で示した画像の場合は、変換関係作成部１７は、青の色領域に対しては色調整を行なうが、他の色については色調整を行なわない変換関係を作成する。変換関係が３次元ＬＵＴである場合、この３次元ＬＵＴは、領域決定部１２により決定された領域に含まれる色に近い格子点の入力値（Ｒａ、Ｇａ、Ｂａ）と出力値（Ｒｂ、Ｇｂ、Ｂｂ）とは異なる値となるが、他の格子点の入力値（Ｒａ、Ｇａ、Ｂａ）と出力値（Ｒｂ、Ｇｂ、Ｂｂ）とは同じ値となる。よって領域決定部１２が、人の肌色の箇所をさらに除外して色データを抽出する領域とした場合、この色は、色調整が行なわれない。 At this time, it is preferable that the conversion relationship creating unit 17 creates a conversion relationship in which the color included in the region determined by the region determining unit 12 is color-adjusted, but the other colors are not color-adjusted. For example, in the case of the image shown in FIG. 5, the conversion relationship creating unit 17 creates a conversion relationship in which the blue color region is color-adjusted but the other colors are not color-adjusted. When the conversion relationship is a three-dimensional LUT, this three-dimensional LUT has input values ( Ra , Ga , Ba ) and output values ( Ra , Ga, Ba) of grid points close to the color included in the region determined by the region determination unit 12. R b, G b, becomes a value different from B b), the input values of the other grid points (R a, G a, B a) and the output value (R b, G b, B b) same as a It becomes a value. Therefore, when the region determination unit 12 further excludes the human skin color portion and sets it as the region from which the color data is extracted, the color is not adjusted.

出力部１８は、変換関係を用いて、カメラ４０により撮影した画像に対し色調整を行なう色調整手段の一例であり、色調整後の画像データや変換関係のデータを出力する。色調整後の画像データは、表示装置２０に出力され、表示装置２０では、この画像データに基づいた色調整後の画像が表示される。また変換関係のデータは、例えば、画像処理装置１０に記憶され、この変換関係を用いて色調整を行なうことができる。また画像処理装置１０とは異なる外部機器に対し出力され、この外部機器においてこの変換関係を用いて色調整を行なうことができる。 The output unit 18 is an example of a color adjusting means for performing color adjustment on an image captured by the camera 40 by using a conversion relationship, and outputs image data after color adjustment and conversion-related data. The color-adjusted image data is output to the display device 20, and the display device 20 displays the color-adjusted image based on the image data. Further, the conversion-related data is stored in, for example, the image processing device 10, and color adjustment can be performed using this conversion-related data. Further, the output is output to an external device different from the image processing device 10, and the external device can perform color adjustment using this conversion relationship.

次に画像処理装置１０の動作について説明する。
図１０は、画像処理装置１０の動作について説明したフローチャートである。なお以下に説明する画像処理装置１０の動作は、画像処理装置１０により行なわれる画像処理方法であると捉えることもできる。 Next, the operation of the image processing device 10 will be described.
FIG. 10 is a flowchart illustrating the operation of the image processing device 10. The operation of the image processing device 10 described below can also be regarded as an image processing method performed by the image processing device 10.

画像データ取得部１１が、色調整前の原画像の画像データである第１の画像データと、色調整後の画像データである第２の画像データとを取得する（ステップ１０１：画像データ取得工程）。 The image data acquisition unit 11 acquires the first image data which is the image data of the original image before the color adjustment and the second image data which is the image data after the color adjustment (step 101: image data acquisition step). ).

次に領域決定部１２が、色調整前の原画像と色調整後の画像のうちいずれか一方の画像について、色データを抽出する領域を指定する（ステップ１０２：指定工程）。このとき領域決定部１２は、背景以外の箇所を色データを抽出する領域とする。また領域決定部１２は、人の肌色の箇所をさらに除外して色データを抽出する領域とすることが好ましい。 Next, the area determination unit 12 designates an area for extracting color data from either the original image before the color adjustment or the image after the color adjustment (step 102: designation step). At this time, the area determination unit 12 sets a part other than the background as an area for extracting color data. Further, it is preferable that the region determination unit 12 is a region for extracting color data by further excluding the human skin color portion.

さらに抽出決定部１３が、領域決定部１２により指定された領域において色データを抽出する間隔を決定する（ステップ１０３：決定工程）。このとき抽出決定部１３は、この領域に含まれる色数、階調数および柄の少なくとも１つを基に色データを抽出する間隔を決定する。 Further, the extraction determination unit 13 determines the interval for extracting color data in the region designated by the region determination unit 12 (step 103: determination step). At this time, the extraction determination unit 13 determines the interval for extracting color data based on at least one of the number of colors, the number of gradations, and the pattern included in this region.

そして色データ抽出部１４が、抽出決定部１３で決定された色データを抽出する間隔に従い、領域決定部１２によって指定された、原画像または色調整後の画像のうち一方の画像の領域内の画素と、他方の画像のこれに対応する画素とから色データとして色変換情報を抽出する（ステップ１０４：抽出工程）。 Then, the color data extraction unit 14 within the area of one of the original image or the color-adjusted image designated by the area determination unit 12 according to the interval for extracting the color data determined by the extraction determination unit 13. Color conversion information is extracted as color data from the pixels and the corresponding pixels of the other image (step 104: extraction step).

次に抽出結果確認部１５が、色データ抽出部１４で抽出した色データを表示装置２０で表示するために出力する（ステップ１０５：抽出結果確認工程）。
このとき例えば、ユーザは図８で説明したように、不必要であると判断した色データを削除する作業を行なうようにすることもできる。 Next, the extraction result confirmation unit 15 outputs the color data extracted by the color data extraction unit 14 for display on the display device 20 (step 105: extraction result confirmation step).
At this time, for example, as described with reference to FIG. 8, the user may perform the work of deleting the color data determined to be unnecessary.

そして色変換モデル作成部１６が、色データ抽出部１４によって抽出された複数の第１の色データおよび第２の色データの組（色変換情報）をもとに色変換モデルを作成する（ステップ１０６：作成工程）。 Then, the color conversion model creation unit 16 creates a color conversion model based on a plurality of sets of the first color data and the second color data (color conversion information) extracted by the color data extraction unit 14 (step). 106: Creation process).

さらに変換関係作成部１７が、色変換モデル作成部１６で作成した色変換モデルを基に、色調整を再現する変換関係を作成する（ステップ１０７：変換関係作成工程）。これは、上述の通り、例えば、３次元ＬＵＴで作成される。出力形式としては、ＩＣＣ Ｐｒｏｆｉｌｅの形式等、一般的に知られているフォーマットを使用すればよい。 Further, the conversion relationship creation unit 17 creates a conversion relationship that reproduces the color adjustment based on the color conversion model created by the color conversion model creation unit 16 (step 107: conversion relationship creation step). It is created, for example, in a three-dimensional LUT, as described above. As the output format, a generally known format such as the ICC Profile format may be used.

そして出力部１８が、色調整後の画像データや変換関係のデータを出力する（ステップ１０８）。 Then, the output unit 18 outputs the image data after color adjustment and the data related to conversion (step 108).

本実施の形態では、レタッチの方向性が異なる色データを排除して、色変換モデルを作成することで、より理想的な色変換モデルを作成することができる。そしてより精度の高い変換関係を作成することができる。この色変換モデルを使用して作成した出力データ(例えば、ＩＣＣ Ｐｒｏｆｉｌｅ)を使用して、カメラ４０で撮影した画像を色変換することでより理想的な色調整ができる。 In the present embodiment, a more ideal color conversion model can be created by excluding color data having different retouching directions and creating a color conversion model. Then, a more accurate conversion relationship can be created. More ideal color adjustment can be performed by color-converting the image captured by the camera 40 using the output data (for example, ICC Profile) created by using this color conversion model.

なお上述した例では、原画像としてカメラ４０により撮影された画像を用いたが、原画像については特に限られるものではない。例えば、原画像としてスキャナにより読み込んだ画像を使用してもよい。また市販されている画像データやインターネット等で配布されている画像データをそのまま原画像としてもよい。 In the above-mentioned example, an image taken by the camera 40 is used as the original image, but the original image is not particularly limited. For example, an image read by a scanner may be used as the original image. Further, commercially available image data or image data distributed on the Internet or the like may be used as the original image as it is.

＜画像処理装置のハードウェア構成例＞
次に、画像処理装置１０のハードウェア構成について説明する。
図１１は、画像処理装置１０のハードウェア構成を示した図である。
画像処理装置１０は、上述したようにパーソナルコンピュータ等により実現される。そして図示するように、画像処理装置１０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２、およびＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーションソフトウェア等の各種プログラムを実行する。また、メインメモリ９２は、各種プログラムやその実行に用いるデータ等を記憶する記憶領域であり、ＨＤＤ９３は、各種プログラムに対する入力データや各種プログラムからの出力データ等を記憶する記憶領域である。
さらに、画像処理装置１０は、外部との通信を行なうための通信インターフェース（通信Ｉ／Ｆ）９４を備える。 <Hardware configuration example of image processing device>
Next, the hardware configuration of the image processing device 10 will be described.
FIG. 11 is a diagram showing a hardware configuration of the image processing device 10.
The image processing device 10 is realized by a personal computer or the like as described above. As shown in the figure, the image processing device 10 includes a CPU (Central Processing Unit) 91 as a calculation means, a main memory 92 as a storage means, and an HDD (Hard Disk Drive) 93. Here, the CPU 91 executes various programs such as an OS (Operating System) and application software. The main memory 92 is a storage area for storing various programs and data used for executing the various programs, and the HDD 93 is a storage area for storing input data for various programs and output data from various programs.
Further, the image processing device 10 includes a communication interface (communication I / F) 94 for communicating with the outside.

＜プログラムの説明＞
ここで以上説明を行った本実施の形態における画像処理装置１０が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。 <Program description>
The process performed by the image processing device 10 in the present embodiment described above is prepared as, for example, a program such as application software.

よって本実施の形態で画像処理装置１０が行なう処理は、コンピュータに、第１の画像と第２の画像のうちいずれか一方の画像について、色データを抽出する領域を指定する指定機能と、指定機能によって指定された、第１の画像または第２の画像のうち一方の画像の色データの画素と、他方の画像のこれに対応する色データの画素との色変換情報を抽出する抽出機能と、抽出機能によって抽出された複数の色変換情報をもとに色変換モデルを作成する作成機能と、を実現させるためのプログラムとして捉えることができる。 Therefore, the processing performed by the image processing apparatus 10 in the present embodiment is specified by the computer with a designation function of designating an area for extracting color data for either the first image or the second image. An extraction function that extracts color conversion information between the color data pixels of one of the first image or the second image and the corresponding color data pixels of the other image specified by the function. , A creation function that creates a color conversion model based on a plurality of color conversion information extracted by the extraction function, and can be regarded as a program for realizing.

なお、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。 The program that realizes the present embodiment can be provided not only by communication means but also by storing it in a recording medium such as a CD-ROM.

以上、本実施の形態について説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、種々の変更または改良を加えたものも、本発明の技術的範囲に含まれることは、特許請求の範囲の記載から明らかである。 Although the present embodiment has been described above, the technical scope of the present invention is not limited to the scope described in the above embodiment. It is clear from the description of the claims that the above-described embodiment with various modifications or improvements is also included in the technical scope of the present invention.

１…画像処理システム、１０…画像処理装置、１１…画像データ取得部、１２…領域決定部、１３…抽出決定部、１４…色データ抽出部、１５…抽出結果確認部、１６…色変換モデル作成部、１７…変換関係作成部、１８…出力部 1 ... image processing system, 10 ... image processing device, 11 ... image data acquisition unit, 12 ... area determination unit, 13 ... extraction determination unit, 14 ... color data extraction unit, 15 ... extraction result confirmation unit, 16 ... color conversion model Creation unit, 17 ... Conversion-related creation unit, 18 ... Output unit

Claims (13)

色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、
前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、
前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、
前記指定手段により指定された前記領域において画像情報を抽出する間隔を決定する決定手段と、
を備え、
前記抽出手段は、前記決定手段で決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定する画像処理装置。 A designation means for designating an area for extracting image information for either the first image before color conversion or the second image after color conversion, and
Color conversion between the pixels of the image information in the area of one image of the first image or the second image designated by the designating means and the pixels of the image information corresponding to the pixels of the other image. An extraction method for extracting information and
A creation means for creating a color conversion characteristic based on a plurality of the color conversion information extracted by the extraction means, and a creation means.
Determining means for determining the interval for extracting image information in the area designated by the designated means, and
Equipped with a,
The extraction means is an image processing device that determines to extract the color conversion information according to an interval for extracting the image information determined by the determination means. 前記決定手段は、前記領域に含まれる色数、階調数および柄の少なくとも１つを基に画像情報を抽出する間隔を決定することを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1 , wherein the determination means determines an interval for extracting image information based on at least one of a number of colors, a number of gradations, and a pattern included in the region. 前記決定手段は、柄を周波数分析により求めることを特徴とする請求項２に記載の画像処理装置。 The image processing apparatus according to claim 2 , wherein the determination means obtains a handle by frequency analysis. 前記決定手段は、色空間内を予め定められた方法で区切られた色領域を考えたときに、前記領域に含まれる色が入る当該色領域の個数を基に画像情報を抽出する間隔を決定することを特徴とする請求項２に記載の画像処理装置。 The determination means determines the interval for extracting image information based on the number of the color regions in which the colors included in the region are contained, when considering the color regions in which the color space is divided by a predetermined method. The image processing apparatus according to claim 2 , wherein the image processing apparatus is used. 前記決定手段は、さらに前記色領域内に含まれる色数を基に画像情報を抽出する間隔を決定することを特徴とする請求項４に記載の画像処理装置。 The image processing apparatus according to claim 4 , wherein the determination means further determines an interval for extracting image information based on the number of colors included in the color region. 前記指定手段は、背景以外の箇所を画像情報を抽出する領域とすることを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the designated means is a region other than the background for extracting image information. 前記指定手段は、人の肌色の箇所をさらに除外して画像情報を抽出する領域とすることを特徴とする請求項６に記載の画像処理装置。 The image processing apparatus according to claim 6 , wherein the designated means is a region for extracting image information by further excluding a human skin-colored portion. 前記抽出手段で抽出した前記色変換情報を表示装置で表示するために出力する抽出結果確認手段をさらに備えることを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1, further comprising an extraction result confirmation means for outputting the color conversion information extracted by the extraction means for displaying on the display device. 前記抽出結果確認手段は、抽出した前記色変換情報の一部をユーザからの指示により削除することを特徴とする請求項８に記載の画像処理装置。 The image processing apparatus according to claim 8 , wherein the extraction result confirmation means deletes a part of the extracted color conversion information according to an instruction from a user. 前記決定手段は、画像情報を抽出する間隔に加え、または画像情報を抽出する間隔に代わり、抽出した前記色変換情報に対する重みを決定することを特徴とする請求項１に記載の画像処理装置。 The image processing apparatus according to claim 1 , wherein the determination means determines the weight for the extracted color conversion information in addition to the interval for extracting the image information or instead of the interval for extracting the image information. 色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定工程と、
前記指定工程によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出工程と、
前記抽出工程によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成工程と、
前記指定工程により指定された前記領域において画像情報を抽出する間隔を決定する工程と、
を含み、
前記抽出工程は、決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定する画像処理方法。 A designation step of designating an area for extracting image information for one of the first image before color conversion and the second image after color conversion, and
Color conversion between the pixels of the image information in the area of one image of the first image or the second image designated by the designated step and the pixels of the image information corresponding to the pixels of the other image. The extraction process to extract information and
A creation step of creating color conversion characteristics based on a plurality of the color conversion information extracted by the extraction step, and
A step of determining an interval for extracting image information in the area designated by the designated step, and a step of determining the interval for extracting image information.
Only including,
The extraction step is an image processing method that determines to extract the color conversion information according to the determined interval for extracting the image information. 撮影対象を撮影する撮影装置と、
前記撮影装置により撮影した画像に対し色調整を行なう画像処理装置と、
を備え、
前記画像処理装置は、
色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定手段と、
前記指定手段によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出手段と、
前記抽出手段によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成手段と、
前記色変換特性を基に、前記撮影装置により撮影した画像に対し色調整を行なう色調整手段と、
前記指定手段により指定された前記領域において画像情報を抽出する間隔を決定する決定手段と、
を備え、
前記抽出手段は、前記決定手段で決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定する画像処理システム。 A shooting device that shoots the subject and
An image processing device that adjusts the color of the image captured by the imaging device, and
With
The image processing device is
A designation means for designating an area for extracting image information for either the first image before color conversion or the second image after color conversion, and
Color conversion between the pixels of the image information in the area of one image of the first image or the second image designated by the designating means and the pixels of the image information corresponding to the pixels of the other image. An extraction method for extracting information and
A creation means for creating a color conversion characteristic based on a plurality of the color conversion information extracted by the extraction means, and a creation means.
A color adjusting means for performing color adjustment on an image captured by the photographing apparatus based on the color conversion characteristics, and
Determining means for determining the interval for extracting image information in the area designated by the designated means, and
Equipped with a,
The extraction means is an image processing system that determines to extract the color conversion information according to an interval for extracting the image information determined by the determination means. コンピュータに、
色変換前の第１の画像と色変換後の第２の画像のうちいずれか一方の画像について、画像情報を抽出する領域を指定する指定機能と、
前記指定機能によって指定された、前記第１の画像または前記第２の画像のうち一方の画像の領域内の画像情報の画素と、他方の画像のこれに対応する画像情報の画素との色変換情報を抽出する抽出機能と、
前記抽出機能によって抽出された複数の前記色変換情報をもとに色変換特性を作成する作成機能と、
前記指定機能により指定された前記領域において画像情報を抽出する間隔を決定する工程と、
を実現させ、
前記抽出機能は、決定された画像情報を抽出する間隔に従い、前記色変換情報を抽出することを決定するプログラム。 On the computer
A specification function for specifying an area for extracting image information for either the first image before color conversion or the second image after color conversion, and
Color conversion between the pixels of the image information in the area of one image of the first image or the second image designated by the designation function and the pixels of the image information corresponding to the pixels of the other image. An extraction function that extracts information and
A creation function that creates color conversion characteristics based on a plurality of the color conversion information extracted by the extraction function, and
A step of determining an interval for extracting image information in the area designated by the designated function, and
Realized ,
The extraction function is a program that determines to extract the color conversion information according to the determined interval at which the image information is extracted.
JP2017220878A 2017-06-20 2017-11-16 Image processing equipment, image processing methods, image processing systems and programs Active JP6939455B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US15/888,267 US10602026B2 (en) 2017-06-20 2018-02-05 Image processing apparatus, image processing method, and non-transitory computer readable medium
CN201810189366.6A CN109104545A (en) 2017-06-20 2018-03-08 Image processing equipment, image processing method and image processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017120823 2017-06-20
JP2017120823 2017-06-20

Publications (2)

Publication Number Publication Date
JP2019009764A JP2019009764A (en) 2019-01-17
JP6939455B2 true JP6939455B2 (en) 2021-09-22

Family

ID=65026950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017220878A Active JP6939455B2 (en) 2017-06-20 2017-11-16 Image processing equipment, image processing methods, image processing systems and programs

Country Status (1)

Country Link
JP (1) JP6939455B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021149825A (en) 2020-03-23 2021-09-27 富士フイルムビジネスイノベーション株式会社 Image processing apparatus and program

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3890211B2 (en) * 2001-09-14 2007-03-07 キヤノン株式会社 Image processing method, image processing apparatus, program, and storage medium
JP2007094623A (en) * 2005-09-28 2007-04-12 Fujifilm Corp Image correcting method and device, and program
JP4438741B2 (en) * 2005-11-30 2010-03-24 ソニー株式会社 Color adjustment apparatus, printing apparatus, image processing apparatus, color adjustment method, program
JP2007233717A (en) * 2006-03-01 2007-09-13 Canon Inc Image processor and image processing method; and control program and storage medium
JP2010093428A (en) * 2008-10-06 2010-04-22 Canon It Solutions Inc Image processing device and method, program, and storage medium

Also Published As

Publication number Publication date
JP2019009764A (en) 2019-01-17

Similar Documents

Publication Publication Date Title
US10853925B2 (en) Methods, systems, and media for image processing
CN107274351B (en) Image processing apparatus, image processing system, and image processing method
US10602026B2 (en) Image processing apparatus, image processing method, and non-transitory computer readable medium
JP5164692B2 (en) Image processing apparatus, image processing method, and program
JP6818463B2 (en) Image processing equipment, image processing methods and programs
JP2017130060A (en) Image processing device, image processing method, and program
JP2012165146A (en) Image processing apparatus and method
CN113132696A (en) Image tone mapping method, device, electronic equipment and storage medium
JP6977483B2 (en) Image processing equipment, image processing methods, image processing systems and programs
JP2011249939A (en) Image processing apparatus, control method and program
JP6915483B2 (en) Image processing equipment, image processing systems and programs
JP6939455B2 (en) Image processing equipment, image processing methods, image processing systems and programs
JP5569504B2 (en) Image processing apparatus, image processing method, and program
JP5943112B1 (en) Image processing apparatus, image processing system, and program
KR20150028474A (en) Color compansation method for 3D Image
JP5127638B2 (en) Image processing apparatus and method
JP5824423B2 (en) Illumination light color estimation device, illumination light color estimation method, and illumination light color estimation program
US10397483B2 (en) Image processing device, image processing system and non-transitory computer readable medium storing program
JP6753145B2 (en) Image processing equipment, image processing methods, image processing systems and programs
JP7005215B2 (en) Image processing equipment, image processing method, computer program
JP2010055404A (en) Image processing method and image processing apparatus
CN113781330A (en) Image processing method, device and electronic system
JP2021089654A (en) Image processing apparatus, image processing method, and program
JP5483949B2 (en) Image processing apparatus, image processing method, and program
JP2021157356A (en) Image processing device, image processing system, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210517

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210803

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210816

R150 Certificate of patent or registration of utility model

Ref document number: 6939455

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150