JP6915483B2 - 画像処理装置、画像処理システムおよびプログラム - Google Patents
画像処理装置、画像処理システムおよびプログラム Download PDFInfo
- Publication number
- JP6915483B2 JP6915483B2 JP2017187251A JP2017187251A JP6915483B2 JP 6915483 B2 JP6915483 B2 JP 6915483B2 JP 2017187251 A JP2017187251 A JP 2017187251A JP 2017187251 A JP2017187251 A JP 2017187251A JP 6915483 B2 JP6915483 B2 JP 6915483B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- image information
- color
- accuracy
- color conversion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N17/00—Diagnosis, testing or measuring for television systems or their details
- H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00129—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a display device, e.g. CRT or LCD monitor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/46—Colour picture communication systems
- H04N1/56—Processing of colour picture signals
- H04N1/60—Colour correction or control
- H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Image Processing (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
Description
そして作成された色変換モデルが実際に使えるものか否かの評価は、変換したい画像を入力し、その結果を見て目標となる変換かどうか評価するが、多数の画像を評価する必要がある。しかし従来は、これを定量的に評価することが難しかった。また、理想的な色変換モデルが実現できていないとき、何が原因なのかを把握するのが難しかった。
本発明は、色変換モデルを定量的に評価することができる画像処理装置等を提供する。
請求項2に記載の発明は、前記表示制御手段は、新たな画像情報の組を追加する前と後とで色変換特性の精度をそれぞれ表示装置に表示するよう制御することを特徴とする請求項1に記載の画像処理装置である。
請求項3に記載の発明は、前記表示制御手段は、前記色領域毎に表示された精度を組み合わせて色領域を表す円環を構成して精度を表示装置に表示するよう制御することを特徴とする請求項1に記載の画像処理装置である。
請求項4に記載の発明は、前記表示制御手段は、ユーザ評価受付画面で受け付けたユーザの評価が予め定められた基準以下、または、当該基準を下回るときに、さらに画像情報の組を受け付けるための画像を表示装置に表示するように制御することを特徴とする請求項1に記載の画像処理装置である。
請求項5に記載の発明は、前記表示制御手段は、さらに受け付ける画像情報の組に対し求められる色領域を表示装置に表示するように制御することを特徴とする請求項4に記載の画像処理装置である。
請求項6に記載の発明は、前記表示制御手段は、さらに受け付ける画像情報の組として必要な追加組数を表示装置に表示するように制御することを特徴とする請求項4に記載の画像処理装置である。
請求項7に記載の発明は、前記表示制御手段は、前記色変換特性を作成するのに必要な画像情報の組の充足度を表示装置に表示するように制御することを特徴とする請求項1に記載の画像処理装置である。
請求項8に記載の発明は、前記表示制御手段は、画像情報の組の充足度を、画像情報の組を取得する前と後とでそれぞれ表示装置に表示するよう制御することを特徴とする請求項7に記載の画像処理装置である。
請求項9に記載の発明は、撮影対象を撮影する撮影装置と、前記撮影装置により撮影した画像に対し色変換を行なう画像処理装置と、を備え、前記画像処理装置は、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付手段と、前記受付手段が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力手段と、前記精度出力手段が出力した前記精度を色領域毎に表示装置に表示するように制御する表示制御手段と、を備えることを特徴とする画像処理システムである。
請求項10に記載の発明は、コンピュータに、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付機能と、前記受付機能が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力機能と、前記精度出力機能が出力した前記精度を色領域毎に表示装置に表示するように制御する表示制御機能と、を実現させるためのプログラムである。
請求項2の発明によれば、色変換特性を視覚的に評価することができる。
請求項3の発明によれば、色領域と精度との関係を把握しやすくなる。
請求項4の発明によれば、ユーザの評価が予め定められた基準以下、または、基準を下回るときに、色変換特性の精度を向上させることができる。
請求項5の発明によれば、追加する必要がある項目として、色領域をユーザに提示することができる。
請求項6の発明によれば、追加する必要がある項目として、画像の追加組数をユーザに提示することができる。
請求項7の発明によれば、画像情報の組の数が足りているか否かをユーザに提示することができる。
請求項8の発明によれば、画像情報の組を取得する前と後とで、充足度の変化をユーザが把握することができる。
請求項9の発明によれば、撮影装置により撮影された画像の色調整のばらつきが小さくなる。
請求項10の発明によれば、色変換特性を定量的に評価することができる機能をコンピュータにより実現できる。
図1は、本実施の形態における画像処理システム1の構成例を示す図である。
図示するように本実施の形態の画像処理システム1は、カメラ40により撮影した原画像に対し色調整(色変換)を行なう画像処理装置10と、画像処理装置10により出力された表示情報に基づき画像を表示する表示装置20と、画像処理装置10に対しユーザが種々の情報を入力するための入力装置30と、撮影対象Sを撮影し画像処理装置10で色調整するための画像情報を生成するカメラ40とを備える。
更に、画像処理装置10は、外部との通信を行うための通信インタフェース(以下、「通信I/F」と表記する)と、キーボードやマウス等の入力デバイスとを備える。
光学系は、単一のレンズまたは複数のレンズを組み合わせて構成される。光学系は、レンズの組み合わせおよびレンズ表面に施されたコーティング等により、各種の収差が除去されている。イメージセンサは、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等の撮像素子を配列して構成される。
また画像処理装置10と入力装置30とは、例えば、USB(Universal Serial Bus)を介して接続されている。なお、USBに代えて、IEEE1394やRS−232C等を介して接続されていてもよい。
さらに画像処理装置10およびカメラ40とは、図示する例では、有線で接続されており、例えば、USB、IEEE1394、RS−232Cを介して接続されている。これによりカメラ40で撮影された画像の画像情報が、有線により画像処理装置10に送られる。ただしこれに限られるものではなく、無線LAN(Local Area Network)、ブルートゥース(Bluetooth)(登録商標)等の無線接続であってもよい。さらに画像処理装置10およびカメラ40とを接続せず、SDカード等のメモリカード等を介して画像情報を画像処理装置10に受け渡してもよい。
また、色調整後の画像としては、画像処理装置10による色調整後の画像の他、カメラ40とは機種特性が異なる、即ち撮影条件が異なる他のカメラによって撮影された他の画像としてもよい。この場合は、カメラ40で撮影した画像を色調整前の画像とし、撮影条件が異なるカメラで撮影された他の画像を色調整後の画像として見ることができる。
変換関係が多次元LUTの場合、ここでは3次元LUTとなり、(Ra、Ga、Ba)を(Rb、Gb、Bb)に直接変換する。即ち、(Ra、Ga、Ba)→(Rb、Gb、Bb)とするものとなる。また変換関係が1次元LUTの場合、R、G、Bのそれぞれについて変換する。即ち、Ra→Rb、Ga→Gb、Ba→Bbとするものとなる。本実施の形態では、RGBの色空間での変換を例示しているが、CMYK等の他の色空間の変換であってもよい。この場合、画像情報は、C(シアン)、M(マゼンタ)、Y(イエロー)、K(黒)の各色からなるCMYKデータとなる。そして、変換関係が多次元LUTの場合、ここでは4次元LUTとなり、色調整前の画像情報である(Ca、Ma、Ya、Ka)を、色調整後の画像情報である(Cb、Mb、Yb、Kb)に変換する、(Ca、Ma、Ya、Ka)→(Cb、Mb、Yb、Kb)とするものとなる。また変換関係が1次元LUTの場合、C、M、Y、Kのそれぞれについて変換する。即ち、Ca→Cb、Ma→Mb、Ya→Yb、Ka→Kbとするものとなる。
そこで本実施の形態では、色変換モデルの精度と、色調整前の画像情報および色調整後の画像情報の複数の組の精度とに関連があることに着目し、画像処理装置10の構成を以下のようにすることで、上述した問題が生じにくくする。つまり色調整前の画像情報および色調整後の画像情報の複数の組についての精度を評価することで、この画像情報の複数の組を基に作成される色変換モデルの精度を定量的に評価する。
次に画像処理装置10および表示装置20について説明を行なう。
図示するように本実施の形態の画像処理装置10は、第1の画像情報を取得する第1の画像取得手段11と、第1の画像から画像情報の組を取得する画像情報取得手段12と、画像情報の複数の組の精度を評価する画像を表示させる第1の精度評価表示手段13と、評価用の第2の画像の画像情報を取得する第2の画像取得手段14と、第2の画像の画像情報を基に画像情報の複数の組の精度を評価する画像を表示させる第2の精度評価表示手段15と、ユーザの評価を受け付けるユーザ評価受付手段16と、画像の追加が必要なときに追加する画像の情報を求める追加情報導出手段17と、追加の画像である第3の画像の画像情報を取得する第3の画像取得手段18と、変換関係として色変換係数を算出する色変換係数算出手段19とを備える。
これらの画像情報は、表示装置20で表示を行なうためのデータ形式となっており、例えば、前述のRGBデータである。なお第1の画像取得手段11は、他のデータ形式で画像情報を取得し、これを色変換してRGBデータ等としてもよい。
よって、第1の画像取得手段11は、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付手段として機能する。
ここでは、商品である衣服または商品である衣服を着用した人物を撮影したときの画像情報を3組用意した場合を示している。このうち図3(a)および図3(b)は、それぞれダウンジャケットDjを撮影したときの第1の画像である。ここでは、図3(a)が色調整前の画像であり、図3(b)が色調整後の画像である。同様に図3(c)および図3(d)は、それぞれシャツShを着用した人物を撮影したときの第1の画像である。ここでは、図3(c)が色調整前の画像であり、図3(d)が色調整後の画像である。さらに図3(e)および図3(f)は、それぞれワンピースDrを着用した人物を撮影したときの第1の画像である。ここでは、図3(e)が色調整前の画像であり、図3(f)が色調整後の画像である。
つまり領域決定手段121は、例えば、図3に示した画像の中から画像情報をどの位置から取得するかを決定する。この場合、色調整は商品である衣服の箇所に対して行われる。つまり商品の色は、色再現をより厳密に行ない、実際の商品の色と画像として表示される商品の色とが合致することが要求される。そのため色調整を行なう対象となりやすい。
つまり色調整前の画像および色調整後の画像から、画像中で同じとなる位置において、色調整前の画像情報および色調整後の画像情報を抽出する。
ここで図4(a)は、色調整前の画像とこれから抽出した色調整前の画像情報の例を示している。ここでは、色調整前の画像がブラウスの画像であり、その中のBr1〜Br5で示した箇所において抽出した画像情報をRGBa1〜RGBa5として示している。この場合、ブラウスは、青単色であり、RGBa1〜RGBa5は、何れも青色を表すRGBデータとなっている。
また図4(b)は、色調整後の画像とこれから抽出した色調整後の画像情報の例を示している。ここでは、図4(a)と同様のBr1〜Br5で示した箇所において抽出した画像情報をRGBb1〜RGBb5として示している。
図5(a)〜(b)は、色変換ベクトルから精度を求める方法について示した図である。
このうち図5(a)は、複数の色変換ベクトル相互の角度の大きさから精度を導出する場合を示している。
図示する例では、色変換ベクトルとして、色変換ベクトルVc1および色変換ベクトルVc2の2つが示されている。これらの色変換ベクトルVc1、Vc2の始点は、上述の通り、色変換前の画像情報(色値)であり、終点は、色変換後の画像情報(色値)を意味する。つまり色変換ベクトルVc1、Vc2は、色変換による画像情報の移動方向および移動量を示す。そして色変換ベクトルVc1と色変換ベクトルVc2との角度θを考える。もし特定の色領域において、色調整の方向性がそろっており、統一性がある場合、複数の色変換ベクトルの方向はそろうため、角度θは、より0に近くなりやすい。対して色調整の方向性がそろっておらず、統一性が乏しい場合、複数の色変換ベクトルの方向はそろいにくく、角度θは、より大きくなりやすい。つまり画像情報取得手段12で取得した画像情報の複数の組に対する精度がよい場合、複数の色変換ベクトル相互の角度θの大きさは、より小さくなりやすく、精度がよくない場合、複数の色変換ベクトル相互の角度θの大きさは、より大きくなりやすい。よって複数の色変換ベクトル相互の角度θの大きさから上記精度を導出することができる。
図示する例では、色変換ベクトルとして、色変換ベクトルVc3が示されている。また色変換ベクトルVc4として使用する色変換前の画像の画像情報と色変換した後の画像情報とは、後述する学習データを使用してもよく、学習外データを使用してもよい。そして色変換ベクトルVc3の終点の画像情報と始点となる色変換前の画像の画像情報を色変換特性を基に色変換した後の画像情報との色差(色差)Lを考える。ここで色変換ベクトルVc3と色変換ベクトルVc4との終点の画像情報の差(色差)Lを考える。なお色差Lは、この画像情報を表す色空間(例えば、RGB色空間)中のユークリッド距離であると考えることもできる。もし特定の色領域において、色調整の方向性がそろっており、統一性がある場合、これらの色変換ベクトルVc3、Vc4の方向や大きさはそろうため、終点の位置は、ばらつきにくい。その結果、色差Lは、より小さくなりやすい。対して色調整の方向性がそろっておらず、統一性が乏しい場合、これらの色変換ベクトルVc3、Vc4の方向や大きさはそろいにくく、終点の位置は、ばらつきやすい。その結果、色差Lは、より大きくなりやすい。つまり画像情報取得手段12で取得した画像情報の複数の組に対する精度がよい場合、これらの色変換ベクトルVc3、Vc4の終点の色差は、より小さくなりやすく、精度がよくない場合、これらの色変換ベクトルVc3、Vc4の終点の色差は、より大きくなりやすい。よってこれらの色変換ベクトルVc3、Vc4の終点の色差から上記精度を導出することができる。
また画像情報取得手段12は、第1の画像取得手段11や第3の画像取得手段18が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力手段と捉えることもできる。
図示する例は、左側エリアRLに、精度を算出した全体の色領域221を表示している。ここでは、2つの円環221a、221bにより、全体の色領域221を表示している。
図6に示す例では、内側の円環221aには、1〜4の数字が表示され、全体の色領域221の中から領域1〜領域4で精度を算出したことを示している。また外側の円環221bには、5〜8の数字が表示され、全体の色領域221の中から領域5〜領域8で精度を算出したことを示している。また領域1〜領域8は、この領域における実際の色により塗色されている。よって2つの円環221a、221bは、色領域毎に表示された精度を組み合わせて色領域を表す。
エリア222には、領域1における色が、色見本222aとして表示されるとともに、領域1に関する情報であることを示す領域情報222bとして、「領域1」が表示されている。さらにエリア222には、画像情報の複数の組の精度222cが表示されるとともに、画像情報の組の充足度が、データ数222dとして表示される。この「充足度」は、必要な画像情報の組に対し、実際に第1の画像取得手段11で入力された画像情報の組の割合である。「充足度」は、各色領域について一律に定める場合と、各色領域について別々に定める場合がある。本実施の形態では、各色領域について別々に定める方法で充足度を定める。
エリア223には、領域7について、エリア222と同様の情報が表示されている。つまりエリア223には、領域7における色が色見本223aとして表示され、領域7に関する情報であることを示す領域情報223bが表示される。さらにエリア223には、画像情報の複数の組の精度223cが表示され、画像情報の組の充足度が、データ数223dとして表示される。
さらにエリア224には、領域1と領域7について、色変換ベクトルのばらつきの程度が、画像均一性224bとして表示される。ここでは、画像均一性224bは、例えば、よい方から悪い方へ、A、B、C、D、Eの5段階で表示が行われる。そして領域1について画像均一性224bがBで、領域7について画像均一性224bがAであったことを示している。
図7では、「色領域」を、特定の色として定めている。この特定の色は、特に限られるものではなく、ユーザの目的に応じて定められる。この場合、定められる色領域は、使用する色空間の全体をカバーしていなくてもよく、一部だけカバーしていてもよい。例えば、ベージュ色の色調整しか行わないような場合は、ベージュ一色を色領域としてもよい。また例えば、金属部品の色調整しか行わないような場合は、金属色一色を色領域としてもよい。もちろん複数の色領域を定めてもよい。図7では、一例として、赤、白、グレイ、ベージュ、青、黄の6つの色領域を定めたものとする。
図示する例は、左側エリアRLに、全体の色領域の中から精度を確認する画像を表示する色領域について表示している。ここでは、エリア226に、グレイの色領域における色が、色見本226aとして表示されるとともに、グレイの色領域に関する情報であることを示す領域情報226bとして「領域:グレイ」が表示されている。さらにエリア226には、画像情報の複数の組の精度226cが表示されるとともに、画像情報の組の充足度が、データ数226dとして表示される。
なおこの暫定的な色変換モデルの精度と画像情報の複数の組の精度とは関連するため、これらは画像情報の複数の組の精度を表示するものであると考えることもできる。
また左側エリアRLには、図7のボタン225と同様の機能を有するボタン225が表示される。
なおここでは、図7のエリア227およびエリア229の画像は表示していないが、これと同じ画像を図8(a)の場合でも表示するようにしてもよい。また、図7中のエリア228、エリア229、または図8中のエリア230、エリア232で画像を表示している部分は、画像でなく色領域内のRGBの値の図形(または塗りつぶし)を表示してもよい。
ここでは、「色領域」として設定されている赤、白、グレイ、ベージュ、青、黄について、精度を一覧として表示する場合を示している。
ここでは、左側エリアRLに、それぞれの色領域の色が、色見本234aとして表示されるとともに、それぞれの色領域の色が、領域情報234bとして表示されている。
さらに右側エリアRRには、精度234cが表示される。精度234cは、「Level」として表されるが、ここでは、ボックスの数ではなく、1、2、3、4、5の5段階で表示が行われる。この場合、最も精度がよい場合が5であり、最も精度が悪い場合が1である。そして第3の画像を追加する前におけるLevelが、「学習(初期)」として表示され、第3の画像を追加した後におけるLevelが、「再学習」として表示される。
つまりユーザが図7のエリア228およびエリア229の画像を見て、上述した暫定的な色変換モデルの精度が許容できるか否かの評価を受け付ける。このとき表示手段22は、第2の画像について表示した結果として、色変換モデルによる色変換についてのユーザの評価を受け付けるユーザ評価受付画面を表示する。
図示する例は、表示手段22にユーザ評価受付画面をウィンドウW1として表示した例を示している。ここでは、図7のグレイの色領域に対する評価を入力する場合を示している。即ち、図7のエリア228内で、画像228a〜画像228cをユーザが比較し、これによる評価を入力する場合を示している。そしてウィンドウW1には、「グレイに対する評価を入力して下さい。」のメッセージMe1が表示され、ユーザはここから1、2、3、4、5の5段階で評価を入力することができる。この場合、最も悪い評価が1であり、最もよい評価が5である。そしてユーザは、1〜5の数値に隣接したラジオボタンRbを選択することで、1〜5の何れかの評価を入力することができる。ここでは、ユーザが、評価として3に対応するラジオボタンRbを選択した例を示している。
さらに図8で示したように、複数セット用意した第3の画像に対する精度を確認するための画像の中から、ユーザが使用したいものを選択することで評価を行なってもよい。よって図8に示した画面は、ユーザ評価受付画面である、と言うこともできる。
また追加情報導出手段17は、第3の画像として必要な追加組数をさらに求めることもできる。この場合、表示手段22は、第3の画像として必要な追加組数をさらに表示する。
図示する例は、表示手段22に追加情報画面をウィンドウW2として表示した例を示している。そしてウィンドウW2には、「学習させる画像が少なすぎます。セットする画像の数を増やしてください。」のメッセージMe2が表示される。
これにより、例えば、ユーザ評価受付手段16が受け付けたユーザの評価が予め定められた基準以下、またはその基準を下回る場合に、画像情報の組を取得することができる。このとき、表示手段22は、第3の画像の画像情報を取得するための第3の画像取得画面を表示する。
第3の画像取得画面の一例としては、第3の画像を入力するときにユーザが選択するボタン225を表示する、図6および図7に示した画面が挙げられる。なお他にも第3の画像を取得するためのウィンドウを表示するようにしてもよい。
第3の画像の画像情報は、第1の画像の画像情報と同様の処理が行なわれる。即ち、画像情報取得手段12において、領域決定手段121が、画像情報を抽出する領域を決定し、画像情報抽出手段122が、画像情報の組を抽出する。そして画像情報記憶手段123が、抽出した画像情報の組を記憶するとともに、精度導出手段124が、画像情報の複数の組に対する精度を算出する。なおこの精度は、第1の画像の画像情報に加え、第3の画像を追加した後の画像情報の複数の組の精度である。そして算出された精度は、図6や図7で説明した「After」の箇所に表示されるものとなる。
色変換係数算出手段19は、第1の画像や第3の画像から得られた色調整前の画像情報および色調整後の画像情報の組を基に色変換モデルを作成する。つまり色調整前の画像情報と色調整後の画像情報との関係を表す色変換モデルを作成する。
ここで横軸は、色調整前の画像情報を表し、縦軸は、色調整後の画像情報を表す。色調整前の画像情報および色調整後の画像情報は、RGBデータであり、図12では、色調整前の画像情報は、RGBa、色調整後の画像情報は、RGBbとして図示している。
次に本実施の形態における変形例の説明を行なう。
図13は、本実施の形態における画像処理装置10および表示装置20の機能構成の変形例を表すブロック図である。なお図13では、画像処理装置10および表示装置20が有する種々の機能のうち本実施の形態に関係するものを選択して図示している。
画像情報の組を、学習データと学習外データとに分類するには、各色領域毎に数の比率で分けることで行なう。例えば、学習データと学習外データとの比率を4:1や9:1など予め定めておき、この比率に従い、画像情報の組を、学習データと学習外データとにランダムに振り分ける。
第1の実施形態では、最小構成の第1の例として、図7に示す画面を表示する画像処理装置10の動作について説明する。
図14は、第1の実施形態における画像処理装置10の動作について説明したフローチャートである。
まず第1の画像取得手段11が、第1の画像として、色調整前の原画像の画像情報と色調整後の画像情報とを取得する(ステップ101:第1の画像取得工程、受付工程)。
なおステップ102〜ステップ104は、第1の画像について、色変換前の画像情報とこれに対応する色変換後の画像情報とを画像情報の組として取得する画像情報取得工程であると把握することができる。ここで、ステップ102の工程がない場合も考えられる。ステップ102がない場合は、画像全体から画像情報を抽出する。
その結果、表示装置20の表示手段22では、図7に示した画面が表示される。
第2の実施形態では、最小構成の第2の例として、変形例における画像処理装置10の動作について説明する。
図15は、第2の実施形態における画像処理装置10の動作について説明したフローチャートである。
図15において、ステップ201〜ステップ203は、ステップ101〜ステップ103と同様であるので説明を省略する。
ステップ203より後は、分類手段125が、画像情報抽出手段122で抽出された画像情報の組を、学習データと学習外データとに分類する(ステップ204)。
なおステップ202〜ステップ205は、第1の画像について、色変換前の画像情報とこれに対応する色変換後の画像情報とを画像情報の組として取得する画像情報取得工程であると把握することができる。
第3の実施形態では、第1の実施形態に加え、ユーザの評価を受け付け、追加の画像である第3の画像の画像情報を取得して、変換関係を作成する場合について説明する。
図16は、第3の実施形態における画像処理装置10の動作について説明したフローチャートである。
図16において、ステップ301〜ステップ308は、ステップ101〜ステップ108と同様であるので説明を省略する。
ステップ308より後は、図7の画面を見たユーザが、例えば、図8に示したユーザ評価受付画面に対し評価の入力を行なう。そしてユーザ評価受付手段16は、入力されたユーザの評価を受け付ける(ステップ309:ユーザ評価受付工程)。ここでは、ユーザの評価は、〇(よい)または×(悪い)の2段階で行なうものとする。
その結果、ユーザの評価が〇(よい)であった場合(ステップ310でYes)、追加情報導出手段17は、取得した画像情報の組の数が不足しているか否かを判断する(ステップ311:不足判断工程)。
つまり本実施の形態では、ユーザ評価受付手段16が受け付けたユーザの評価が予め定められた基準を超えるものである(この場合、ユーザの評価が〇)とともに、画像情報の組が必要数に足りている場合は、色変換モデルを作成する。
その結果、精度が目標を満たしていた場合(ステップ314でYes)、限界値を修正する(ステップ315:限界値修正工程)。つまりこの場合は、精度が目標を満たしているにも拘わらず、ユーザの評価が×(悪い)である場合であり、ユーザの要求に対し、精度のレベルが低かったものと考えられる。よって限界値を精度のレベルがより高い方へ(より厳しいレベルになるように)修正を行なう。
対して精度が目標を満たしていない場合(ステップ314でNo)、追加情報導出手段17は、第3の画像により追加する画像情報に対し求められる色領域を求めるとともに、第3の画像として必要な追加組数をさらに求める(ステップ316:追加組数導出工程)。
またユーザ評価受付手段16が受け付けたユーザの評価が予め定められた基準を超えるものである(この場合、ユーザの評価が〇)場合でも、画像情報の組が必要数に足りていない場合(この場合、ステップ311でNo)は、第3の画像の画像情報を取得する。
さらに画像情報取得手段12が、ステップ301で取得した第1の画像と、ステップ318で取得した第3の画像から使用する画像を選択する(ステップ319:画像選択工程)。その後は、ステップ302に移行する。
そしてこれにより各色領域において必要な画像が確保でき、精度のよい色変換モデルを作成できる。さらに色変換モデルから作成される変換関係も精度の高いものとなる。
さらに図6や図7において、「After」の箇所は、第3の画像を追加する前は、この部分は、表示しなくてもよい。またはこの箇所は、第3の画像を追加する前は、グレイ表示とし、追加した後に更新し、通常の表示としてもよい。
(II)画像情報取得工程で取得した第1の画像の色変換前の画像の画像情報を色変換後の画像の画像情報に変換する画像情報の複数の組に対する精度を表示する表示情報を作成する表示情報作成工程
(IV)前記表示情報に基づき、精度を表示する表示工程
ここで以上説明を行った本実施の形態における画像処理装置10が行なう処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。
またコンピュータに、色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付機能と、受付機能が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力機能と、精度出力機能が出力した精度を色領域毎に表示装置に表示するように制御する表示制御機能と、を実現させるためのプログラムとして捉えることができる。
Claims (10)
- 色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付手段と、
前記受付手段が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力手段と、
前記精度出力手段が出力した前記精度を色領域毎に表示装置に表示するように制御する表示制御手段と、
を備えることを特徴とする画像処理装置。 - 前記表示制御手段は、新たな画像情報の組を追加する前と後とで色変換特性の精度をそれぞれ表示装置に表示するよう制御することを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、前記色領域毎に表示された精度を組み合わせて色領域を表す円環を構成して精度を表示装置に表示するよう制御することを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、ユーザ評価受付画面で受け付けたユーザの評価が予め定められた基準以下、または、当該基準を下回るときに、さらに画像情報の組を受け付けるための画像を表示装置に表示するように制御することを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、さらに受け付ける画像情報の組に対し求められる色領域を表示装置に表示するように制御することを特徴とする請求項4に記載の画像処理装置。
- 前記表示制御手段は、さらに受け付ける画像情報の組として必要な追加組数を表示装置に表示するように制御することを特徴とする請求項4に記載の画像処理装置。
- 前記表示制御手段は、前記色変換特性を作成するのに必要な画像情報の組の充足度を表示装置に表示するように制御することを特徴とする請求項1に記載の画像処理装置。
- 前記表示制御手段は、画像情報の組の充足度を、画像情報の組を取得する前と後とでそれぞれ表示装置に表示するよう制御することを特徴とする請求項7に記載の画像処理装置。
- 撮影対象を撮影する撮影装置と、
前記撮影装置により撮影した画像に対し色変換を行なう画像処理装置と、
を備え、
前記画像処理装置は、
色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付手段と、
前記受付手段が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力手段と、
前記精度出力手段が出力した前記精度を色領域毎に表示装置に表示するように制御する表示制御手段と、
を備えることを特徴とする画像処理システム。 - コンピュータに、
色変換前の画像情報および色変換後の画像情報からなる画像情報の組を受け付ける受付機能と、
前記受付機能が受け付けた複数の画像情報の組から色変換特性の精度を出力する精度出力機能と、
前記精度出力機能が出力した前記精度を色領域毎に表示装置に表示するように制御する表示制御機能と、
を実現させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017187251A JP6915483B2 (ja) | 2017-09-27 | 2017-09-27 | 画像処理装置、画像処理システムおよびプログラム |
US15/915,222 US10499047B2 (en) | 2017-09-27 | 2018-03-08 | Image processing apparatus, image processing system, and non-transitory computer readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017187251A JP6915483B2 (ja) | 2017-09-27 | 2017-09-27 | 画像処理装置、画像処理システムおよびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019062483A JP2019062483A (ja) | 2019-04-18 |
JP6915483B2 true JP6915483B2 (ja) | 2021-08-04 |
Family
ID=65808124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017187251A Active JP6915483B2 (ja) | 2017-09-27 | 2017-09-27 | 画像処理装置、画像処理システムおよびプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10499047B2 (ja) |
JP (1) | JP6915483B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020057913A (ja) * | 2018-10-01 | 2020-04-09 | 東芝テック株式会社 | 画像処理装置及び画像処理方法 |
JP7334478B2 (ja) * | 2019-06-04 | 2023-08-29 | 富士フイルムビジネスイノベーション株式会社 | 情報処理装置及びプログラム |
JP2021145239A (ja) | 2020-03-12 | 2021-09-24 | 富士フイルムビジネスイノベーション株式会社 | 画像処理装置及びプログラム |
Family Cites Families (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05225299A (ja) * | 1991-06-03 | 1993-09-03 | Fujitsu Ltd | 色変換システム |
JP4001015B2 (ja) * | 2001-01-23 | 2007-10-31 | セイコーエプソン株式会社 | 画像入力装置及び画像入力方法 |
JP3826741B2 (ja) * | 2001-02-09 | 2006-09-27 | セイコーエプソン株式会社 | 画像ファイル生成装置、画像処理装置、画像ファイル生成方法、画像処理方法、コンピュータプログラム、および、記録媒体 |
JP3991606B2 (ja) * | 2001-03-15 | 2007-10-17 | セイコーエプソン株式会社 | 色空間変換装置および色空間変換方法 |
US20040201726A1 (en) * | 2002-03-19 | 2004-10-14 | Bloom Daniel M. | Digital camera and method for balancing color in a digital image |
JP3823858B2 (ja) * | 2002-03-20 | 2006-09-20 | セイコーエプソン株式会社 | 補正テーブルを用いたカラー画像データの補正方法 |
JP2004213567A (ja) * | 2003-01-08 | 2004-07-29 | Ntt Docomo Inc | 画像学習装置及びその学習方法 |
JP4189959B2 (ja) * | 2003-05-15 | 2008-12-03 | 株式会社リコー | 画像処理装置、画像処理方法、プログラムおよび記録媒体 |
JP4515964B2 (ja) * | 2004-06-29 | 2010-08-04 | 富士フイルム株式会社 | 画像補正装置および方法,ならびに画像補正プログラム |
JP4684595B2 (ja) * | 2004-08-05 | 2011-05-18 | ソニー株式会社 | 画像表示装置 |
US8270712B2 (en) * | 2005-07-12 | 2012-09-18 | Nikon Corporation | Image processing device, image processing program, and image processing method |
JP4013989B2 (ja) * | 2006-02-20 | 2007-11-28 | 松下電工株式会社 | 映像信号処理装置、仮想現実感生成システム |
JP2007233717A (ja) * | 2006-03-01 | 2007-09-13 | Canon Inc | 画像処理装置及び画像処理方法並びに制御プログラム及び記憶媒体 |
JP2007329737A (ja) * | 2006-06-08 | 2007-12-20 | Fujifilm Corp | 色変換定義作成装置および色変換定義作成プログラム |
JP4346634B2 (ja) * | 2006-10-16 | 2009-10-21 | 三洋電機株式会社 | 目標物検出装置 |
US8942289B2 (en) * | 2007-02-21 | 2015-01-27 | Microsoft Corporation | Computational complexity and precision control in transform-based digital media codec |
US8918162B2 (en) * | 2007-04-17 | 2014-12-23 | Francine J. Prokoski | System and method for using three dimensional infrared imaging to provide psychological profiles of individuals |
US8064691B2 (en) * | 2007-05-15 | 2011-11-22 | Creative Lifestyle, Inc. | Method for identifying color in machine and computer vision applications |
US9536322B1 (en) * | 2007-05-15 | 2017-01-03 | Peter Harmon Smith | Implementation of multi-camera tracking applications using rich color transition curve target sequences |
US8723893B2 (en) * | 2008-05-02 | 2014-05-13 | Nintendo Co., Ltd. | Color conversion apparatus, imaging apparatus, storage medium storing color conversion program and storage medium storing imaging program |
US8482572B2 (en) * | 2008-05-02 | 2013-07-09 | Nintendo Co., Ltd. | Storage medium having stored thereon color conversion program, and color conversion apparatus |
US8451287B2 (en) * | 2008-05-02 | 2013-05-28 | Nintendo Co., Ltd. | Color conversion apparatus, imaging apparatus, storage medium storing color conversion program, and storage medium storing imaging program |
JP5475293B2 (ja) * | 2009-01-28 | 2014-04-16 | キヤノン株式会社 | 画像処理装置及び画像処理方法及びプログラム |
JP4720930B2 (ja) | 2009-07-07 | 2011-07-13 | 富士ゼロックス株式会社 | 画像処理装置およびプログラム |
US8885212B2 (en) * | 2011-02-28 | 2014-11-11 | Ricoh Company, Ltd. | Converting between color and monochrome |
KR102027027B1 (ko) * | 2013-10-07 | 2019-09-30 | 브이아이디 스케일, 인크. | 다계층 비디오 코딩을 위해 조합된 확장성 프로세싱 |
JP6588700B2 (ja) * | 2014-12-09 | 2019-10-09 | 株式会社メガチップス | 補正データ生成方法、画像補正装置および画像補正方法、ならびに、画像補正システム |
JP6554413B2 (ja) * | 2015-12-21 | 2019-07-31 | オリンパス株式会社 | 色調整装置 |
-
2017
- 2017-09-27 JP JP2017187251A patent/JP6915483B2/ja active Active
-
2018
- 2018-03-08 US US15/915,222 patent/US10499047B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019062483A (ja) | 2019-04-18 |
US20190098292A1 (en) | 2019-03-28 |
US10499047B2 (en) | 2019-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100658998B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 그 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
JP6915483B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
JP4883007B2 (ja) | 画像処理装置、画像処理プログラム、および、画像処理方法 | |
JP5164692B2 (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
US20150332653A1 (en) | Image processing apparatus, image processing system, and image processing method | |
US11544853B2 (en) | Image processing apparatus and non-transitory computer readable medium for preparing color conversion model using color data | |
JP6915482B2 (ja) | 画像処理装置、画像処理システムおよびプログラム | |
CN109729259B (zh) | 图像处理装置、其方法、其系统以及计算机可读介质 | |
JP5824423B2 (ja) | 照明光色推定装置、照明光色推定方法及び照明光色推定プログラム | |
JP4682782B2 (ja) | 画像処理装置 | |
JP6753145B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
CN114219733A (zh) | 图像处理方法及装置 | |
CN113781330A (zh) | 图像处理方法、装置及电子系统 | |
JP2019009764A (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP2012195760A (ja) | 撮影設定調整システム、情報処理装置、およびその制御方法、並びに制御プログラム | |
JP2021145239A (ja) | 画像処理装置及びプログラム | |
CN101345813B (zh) | 影像色彩补偿装置及其方法 | |
JP5988725B2 (ja) | 撮像装置及び現像装置 | |
CN110225223A (zh) | 图像处理设备及其控制方法 | |
US11659149B2 (en) | Image processing apparatus and non-transitory computer readable medium | |
US20210289184A1 (en) | Image processing apparatus and non-transitory computer readable medium | |
KR101297465B1 (ko) | 컬러 영상을 흑백 영상으로 변환하는 변환 방법 및 이를 수행하는 프로그램이 기록된 기록매체 | |
JP5119075B2 (ja) | 画像処理装置、画像処理プログラム及び画像処理方法 | |
KR20170012666A (ko) | 이동 물체 검출 장치 및 그 제어 방법 | |
CN114723602A (zh) | 图像处理方法、图像处理装置、终端及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200831 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210531 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210615 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6915483 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |