JP7469330B2 - 機械画像色の抽出および抽出された色を用いた機械画像構築 - Google Patents
機械画像色の抽出および抽出された色を用いた機械画像構築 Download PDFInfo
- Publication number
- JP7469330B2 JP7469330B2 JP2021563377A JP2021563377A JP7469330B2 JP 7469330 B2 JP7469330 B2 JP 7469330B2 JP 2021563377 A JP2021563377 A JP 2021563377A JP 2021563377 A JP2021563377 A JP 2021563377A JP 7469330 B2 JP7469330 B2 JP 7469330B2
- Authority
- JP
- Japan
- Prior art keywords
- color
- image
- colors
- clusters
- extracted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 239000003086 colorant Substances 0.000 title claims description 151
- 238000000605 extraction Methods 0.000 title description 40
- 238000010276 construction Methods 0.000 title description 2
- 238000000034 method Methods 0.000 claims description 132
- 238000012545 processing Methods 0.000 claims description 44
- 230000003190 augmentative effect Effects 0.000 claims description 16
- 238000004088 simulation Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 15
- 238000004590 computer program Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 description 39
- 238000013135 deep learning Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 17
- 238000012549 training Methods 0.000 description 12
- 238000013527 convolutional neural network Methods 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 238000003064 k means clustering Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000001747 exhibiting effect Effects 0.000 description 6
- 239000000284 extract Substances 0.000 description 6
- 238000009826 distribution Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000004806 packaging method and process Methods 0.000 description 3
- 239000003973 paint Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000000007 visual effect Effects 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000003796 beauty Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 150000001875 compounds Chemical group 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012804 iterative process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000007639 printing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 239000000126 substance Chemical group 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 239000011800 void material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
- G06Q30/0643—Graphical representation of items or shoppers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/469—Contour-based spatial representations, e.g. vector-coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Business, Economics & Management (AREA)
- General Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Multimedia (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Marketing (AREA)
- Strategic Management (AREA)
- Development Economics (AREA)
- General Business, Economics & Management (AREA)
- Economics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Description
多くの潜在的な利点にもかかわらず、見本からのメイクアップ色の抽出は、多くの理由から未解決の問題のままである。(この問題は、メイクアップに限定されず、家庭用または自動車用の塗料色、装飾用などの布地色などの他の製品に適用することができることに留意されたい。塗料または布見本から抽出された色は、抽出された色または抽出された色から導出された色を用いて表面が着色される2D又は3Dの部屋を構築するときに使用されてもよい。そこから得られる色は、補色であってもよい。)
図3A及び図3Bを参照すると、一態様によれば、方法オペレーション300は、トレーニングデータ又は機械学習を使用せずに見本画像からメイクアップカラーを抽出する。本発明の方法は特に口紅画像について開発され、試験されてきたが、他のタイプのメイクアップ及び他のタイプの製品についても同様に機能するように拡張または修正することができる。高いレベルでは、この方法が強度に依存しないカラークラスタを見つけ、それから、事前の期待から設計された優先ヒューリスティックに従って、製品(口紅など)に最も対応する可能性の高いものをピッキングすることによって機能する。
例示的な方法は、選択されたオンラインストアのオンライン小売業者製品ページからの160個の見本画像のテストセットに対して高度の精度を達成する。テストセットは、ランダムに選択され、オンラインストア上の見本の真の分布を表す100個の「Easy」画像と、それらの異常な口紅色について特に求められた60個の「Hard」画像とから構成される。
見本画像は様々な方法またはスタイルで関心のあるアイテム(例えば、製品)を示すことができる。各画像がどのくらい強く製品の色を表すかは、色の抽出を改善するように有用であり得る。いくつかのスタイルは他のスタイルよりも、製品を識別し、色を抽出することが難しい場合がある。
多様な見本画像タイプを分類する分類器は、パフォーマンス目標のために構成されトレーニングされた深層学習モデル(例えば、CNNなどのニューラルネットワーク)を含む。多くの場合、既存のCNNベースのモデルを用いて新しいネットワークを定義し始めることが便利であり、このモデルは以前に定義され、画像を処理するように予めトレーニングされており、いくつかのモデルが公的に利用可能である。一例は、画像認識のための深い残差学習ネットワーク(すなわち、Res Net)であるResNet-152であり、これは、152層までの深さを有することができる。ResNet-152は、K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition”, CoRR, volに記載されている。abs/1512.03385,2015(これは、本明細書中に参考として援用され、そしてCornell UniversityからarXiv:1512.03385において入手可能)。ResNetは、スタンフォード大学とプリンストン大学が運営しているimage-net.orgから入手可能なimageNETなどの公的に入手可能な画像データセット上でトレーニングされる。
上述したように、メイクアップシミュレーションアプリケーション214はセルフィーのような第1の画像を受け取り、仮想試行される製品及びそのための色を見本画像から決定する。色データは抽出され、ユーザデバイス102と通信するコンピューティング機器などからメイクアップシミュレーションアプリケーションに提供されてもよく、又はユーザデバイス102は色データを決定するように構成されてもよい。製品見本はクラスドリブンカラー抽出器(例えば、800)に提供されてもよく、返された色または製品見本は色を得るために、図3A及び3Bのオペレーションに示されるようなクラスタリングベースの手法およびヒューリスティックを用いて、構成要素によって分析されてもよい。
別の使用例では標準化された方法で異なる製品の色を提示すること、例えば、候補口紅色を塗抹標本として提示することが望ましい場合があり、各塗抹標本は同じテクスチャ、明度、および他の特性を有する口紅の塗抹標本のテンプレート画像として表される。口紅スミア画像の異なる一例は、それぞれの見本画像からの見本の色の抽出によって決定されるそれぞれの色を用いてテンプレート画像から生成されてもよい。このようにして、異なる製品ライン及び/又は異なる製品生産者等(一例として)からの異なる見本を、標準的または一貫した方法で提示することができる。1つの方法では、コンピューティングデバイスのオペレーションが抽出された色を決定するように、図3A及び図3Bを参照して説明されるような見本の色の抽出を実行することができる。一態様では、図8の構成要素がクラスドリブンカラー抽出に基づいて使用することができる。
<その他>
<手段>
技術的思想1の方法は、ソースカラー画像内の色の表現の強さを示すように関心のあるアイテムの色を示す前記ソースカラー画像を分類することであって、深層学習ネットワークモデルを用いて強さを決定するための画像特徴を抽出して分類することと、前記分類に応答して、前記ソースカラー画像のピクセルを前記ピクセルのそれぞれの色に応じてクラスタリングし、前記ピクセルのクラスタリングに応答して、少なくとも1つの候補色を抽出された色として識別することにより、前記ソースカラー画像から色情報を抽出することと、画像処理を用いて新しい画像を定義するように抽出された色を提供することと、を備える。
技術的思想2の方法は、技術的思想1記載の方法において、前記分類によって前記ソースカラー画像が色を強く表現していることを識別し、前記色情報を抽出することにより、前記ピクセルのクラスタリングにより識別された支配的な色から1つの候補色を応答的に生成する。
技術的思想3の方法は、技術的思想1記載の方法において、前記分類によって前記ソースカラー画像が色を弱く表現していることを識別し、前記色情報を抽出することにより、前記ピクセルのクラスタリングにより識別された複数の候補色を応答的に生成する。
技術的思想4の方法は、技術的思想1記載の方法において、 前記分類は、前記深層学習ネットワークモデルによって抽出された画像特徴ベクトルに応答するクラスタベースの分類を使用する。
技術的思想5の方法は、技術的思想1記載の方法において、前記ピクセルをクラスタリングすることによって、少なくとも1つの前記候補色を決定するためのクラスタ数kを定義し、前記クラスタ数kは、前記分類に応じて変化する。
技術的思想6の方法は、技術的思想1記載の方法において、前記関心のあるアイテムは、製品であり、前記ソースカラー画像は、前記製品を広告する製品見本画像で構成される。
技術的思想7の方法は、技術的思想1記載の方法において、前記分類は、クラスタベースの分類を実行し、前記深層学習ネットワークモデルによって生成された前記ソースカラー画像の画像特徴ベクトルを複数の画像特徴クラスタに対して測定し、前記ソースカラー画像の分類として前記ソースカラー画像の前記画像特徴ベクトルに最も近い前記複数の画像特徴クラスタの1つに関連するそれぞれのクラスを提供し、前記それぞれのクラスは、色の表現の強さを示す。
技術的思想8の方法は、技術的思想7記載の方法において、前記複数の画像特徴クラスタは、前記複数の画像特徴クラスタを定義するための前記画像特徴ベクトルを生成するように前記深層学習ネットワークモデルによって処理された色を示すトレーニング画像を含むトレーニングデータから生成され、前記トレーニング画像は、色の表現の強さを示すクラスの1つに割り当てられる。
技術的思想9の方法は、技術的思想1記載の方法において、前記深層学習ネットワークモデルは、対象物の画像を処理して前記対象物の画像特徴ベクトルを定義するように事前にトレーニングされた畳み込みニューラルネットワーク(CNN)からなる。
技術的思想10の方法は、技術的思想1記載の方法において、前記新しい画像を定義するための開始画像を取得することと、前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備える。
技術的思想11の方法は、技術的思想10記載の方法において、前記開始画像は、第1セルフィー画像を含み、前記新しい画像は、前記対象物を含む新しいセルフィー画像を含み、前記対象物は、前記第1セルフィー画像上のシミュレーションのための積を含む。
技術的思想12の方法は、技術的思想11記載の方法において、拡張現実を用いた仮想試行メイクアップ製品を含み、前記ソースカラー画像は、前記メイクアップ製品の見本画像を含む。
技術的思想13の方法は、技術的思想12記載の方法において、拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース(GUI)において、新しい画像を提示することと、前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える。
技術的思想14のコンピューティング機器は、記憶デバイスに結合された処理装置を備えるものであって、前記記憶デバイスは、前記処理装置によって実行されるときに、技術的思想1から13のいずれかに記載の方法を実行するように構成される命令を記憶する。
技術的思想15の方法は、コンピューティングデバイスの処理装置によって、抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備える。
技術的思想16の方法は、技術的思想15記載の方法において、前記ピクセルをクラスタリングするように、強度に関係なく前記ピクセルにk平均クラスタリングを適用する。
技術的思想17の方法は、技術的思想15又は16に記載の方法において、前記ピクセルは第1の色空間において定義され、前記ピクセルを強度に依存しない第2の色空間に変換することを含む。
技術的思想18の方法は、技術的思想17記載の方法において、前記第1の色空間は、赤緑青(RGB)色空間または同等物を含む。
技術的思想19の方法は、技術的思想18記載の方法において、前記第2の色空間は、明度(L)、緑色-赤色(a)及び青色-黄色(b)(LAB)色空間を含む。
技術的思想20の方法は、技術的思想15から19のいずれかに記載の方法において、前記色の一致の検索は、前記複数のクラスタのうちの1つの特徴的な色と、前記色期待値のセットのうちの1つの期待される色との類似性を決定することを含む。
技術的思想21の方法は、技術的思想20記載の方法において、前記検索は、前記特徴的な色が、前記期待される色に対する閾値要件に従って、輝度と方向の両方で前記期待される色に類似している場合に、前記色の一致を見つけ出す。
技術的思想22の方法は、技術的思想21記載の方法において、前記色の一致の決定は、前記特徴的な色の輝度と前記期待される色の輝度との間の輝度差を計算し、その輝度差を前記期待される色に対する前記閾値要件の輝度差閾値と比較することと、前記特徴的な色の方向のコサイン角と前記期待される色の方向のコサイン角との間の方向差を計算し、その方向差を前記期待される色の閾値要件の方向差閾値と比較することと、を備える。
技術的思想23の方法は、技術的思想15から22のいずれかに記載の方法において、優先順位に従って順序付けられたセットとして色期待値のセットを定義することと、前記優先順位に従って複数のクラスタを用いて前記色期待値のセットを検索することを評価することと、前記色の一致が見つかったときに停止することと、を備える。
技術的思想24の方法は、技術的思想15から23のいずれかに記載の方法において、k個のクラスタのうち2つ以上のクラスタのそれぞれが検索に応答して色の一致を提供する場合に、前記2つ以上のクラスタを結合クラスタに結合することと、前記結合クラスタを用いて抽出された色を定義することと、を備える。
技術的思想25の方法は、技術的思想15から24のいずれかに記載の方法において、前記新しい画像を定義するための開始画像を取得することと、前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備える。
技術的思想26の方法は、技術的思想25記載の方法において、前記開始画像は、第1セルフィー画像を含み、前記新しい画像は、前記対象物を含む新しいセルフィー画像を含む。
技術的思想27の方法は、技術的思想26記載の方法において、前記対象物は、前記第1セルフィー画像上のシミュレーションのための積を含む。
技術的思想28の方法は、技術的思想27記載の方法において、モバイルデバイスによって、又は、モバイルデバイスに代わって実行され、拡張現実を用いた仮想試行メイクアップ製品を含む。
技術的思想29の方法は、技術的思想15から28のいずれかに記載の方法において、前記ソースカラー画像は、メイクアップ製品の見本画像を含む。
技術的思想30の方法は、技術的思想15から29のいずれかに記載の方法において、前記新しい画像は、テンプレート画像および前記抽出された色から定義された標準化された見本画像を含む。
技術的思想31の方法は、技術的思想30記載の方法において、拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース(GUI)において、新しい画像を提示することと、前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える。
技術的思想32のコンピューティング機器は、記憶デバイスに結合された処理装置を備えるものであって、前記記憶デバイスは、前記処理装置によって実行されるときに、技術的思想15から31のいずれかに記載の方法を実行するように構成される命令を記憶する。
技術的思想33のコンピュータプログラム製品は、コンピューティングデバイスの処理装置によって実行されて、技術的思想1から31のいずれかに記載の方法を実行するように前記コンピューティングデバイスを構成する命令を格納した非一時的な記憶デバイスを含む。
Claims (10)
- コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備え、
前記色の一致の検索は、前記複数のクラスタのうちの1つの特徴的な色と、前記色期待値のセットのうちの1つの期待される色との類似性を決定することを含み、
前記検索は、前記特徴的な色が、前記期待される色に対する閾値要件に従って、輝度と方向の両方で前記期待される色に類似している場合に、前記色の一致を見つけ出す方法。 - 前記色の一致の決定は、前記特徴的な色の輝度と前記期待される色の輝度との間の輝度差を計算し、その輝度差を前記期待される色に対する前記閾値要件の輝度差閾値と比較することと、
前記特徴的な色の方向のコサイン角と前記期待される色の方向のコサイン角との間の方向差を計算し、その方向差を前記期待される色の閾値要件の方向差閾値と比較することと、を備える請求項1記載の方法。 - コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、
優先順位に従って順序付けられたセットとして色期待値のセットを定義することと、
前記優先順位に従って複数のクラスタを用いて前記色期待値のセットを検索することを評価することと、
前記色の一致が見つかったときに停止することと、を備える方法。 - コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、
k個のクラスタのうち2つ以上のクラスタのそれぞれが検索に応答して色の一致を提供する場合に、前記2つ以上のクラスタを結合クラスタに結合することと、
前記結合クラスタを用いて抽出された色を定義することと、を備える方法。 - コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、
前記新しい画像を定義するための開始画像を取得することと、
前記抽出された色を用いて前記開始画像から前記新しい画像を定義し、前記新しい画像内に表示するための対象物に適用することと、を備え、
前記開始画像は、第1セルフィー画像を含み、
前記新しい画像は、前記対象物を含む新しいセルフィー画像を含み、
前記対象物は、前記第1セルフィー画像上のシミュレーションのための積を含む方法。 - モバイルデバイスによって、又は、モバイルデバイスに代わって実行され、
拡張現実を用いた仮想試行メイクアップ製品を含む請求項5記載の方法。 - コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備え、
前記ソースカラー画像は、メイクアップ製品の見本画像を含む方法。 - コンピューティングデバイスの処理装置によって、
抽出すべき色の領域があるピクセルで構成されたソースカラー画像を取得することと、
前記ピクセルを強度に関係なく複数のクラスタにクラスタリングし、前記複数のクラスタの各クラスタをそれぞれの特徴的な色で特徴付けることと、
前記複数のクラスタを、前記ソースカラー画像に存在すると期待される色からなる色期待値のセットに対して評価し、前記期待される色を用いて、前記複数のクラスタを検索して、抽出された色を定義するための色の一致を求めることと、
前記抽出された色を、画像処理を用いて新しい画像を定義するように提供することと、を備え、
前記新しい画像は、テンプレート画像および前記抽出された色から定義された標準化された見本画像を含み、
拡張現実体験を用いた仮想試行メイクアップ製品を提供するグラフィカル・ユーザ・インターフェース(GUI)において、新しい画像を提示することと、
前記グラフィカル・ユーザ・インターフェースは、ユーザのセルフィー画像および前記新しい画像の選択を受信し、前記抽出された色をセルフィー画像の一部に適用して、前記新しい画像によって表されるメイクアップ製品を仮想試行することと、を備える方法。 - 記憶デバイスに結合された処理装置を備えるコンピューティング機器であって、
前記記憶デバイスは、前記処理装置によって実行されるときに、請求項1から8のいずれかに記載の方法を実行するように構成される命令を記憶するコンピューティング機器。 - コンピューティングデバイスの処理装置によって実行されて、請求項1から8のいずれかに記載の方法を実行するように前記コンピューティングデバイスを構成する命令を格納した非一時的な記憶デバイスを含むコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201962837368P | 2019-04-23 | 2019-04-23 | |
US62/837,368 | 2019-04-23 | ||
PCT/EP2020/061256 WO2020216808A1 (en) | 2019-04-23 | 2020-04-22 | Machine image colour extraction and machine image construction using an extracted colour |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022532040A JP2022532040A (ja) | 2022-07-13 |
JPWO2020216808A5 JPWO2020216808A5 (ja) | 2023-01-06 |
JP7469330B2 true JP7469330B2 (ja) | 2024-04-16 |
Family
ID=70476188
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021563377A Active JP7469330B2 (ja) | 2019-04-23 | 2020-04-22 | 機械画像色の抽出および抽出された色を用いた機械画像構築 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11461931B2 (ja) |
EP (1) | EP3942466A1 (ja) |
JP (1) | JP7469330B2 (ja) |
KR (1) | KR20220062450A (ja) |
CN (1) | CN114144813A (ja) |
WO (1) | WO2020216808A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11481928B2 (en) * | 2020-01-31 | 2022-10-25 | L'oreal | System and method of lipstick bulktone and application evaluation |
US11875428B2 (en) * | 2020-01-31 | 2024-01-16 | L'oreal | System and method of lipstick bulktone and application evaluation |
CN115699130A (zh) | 2020-03-31 | 2023-02-03 | 斯纳普公司 | 增强现实美容产品教程 |
US11915305B2 (en) | 2020-04-01 | 2024-02-27 | Snap Inc. | Identification of physical products for augmented reality experiences in a messaging system |
US12062078B2 (en) * | 2020-09-28 | 2024-08-13 | Snap Inc. | Selecting color values for augmented reality-based makeup |
US11461970B1 (en) * | 2021-03-15 | 2022-10-04 | Tencent America LLC | Methods and systems for extracting color from facial image |
CN113129400B (zh) * | 2021-03-17 | 2023-02-24 | 维沃移动通信有限公司 | 图像处理方法、装置、电子设备和可读存储介质 |
CN113763496B (zh) * | 2021-03-19 | 2024-04-09 | 北京沃东天骏信息技术有限公司 | 图像着色的方法、装置及计算机可读存储介质 |
CN113345038B (zh) * | 2021-06-30 | 2022-10-04 | 珠海必要工业科技股份有限公司 | 刺绣图像的处理方法、装置、电子设备及存储介质 |
US11816148B1 (en) * | 2022-06-17 | 2023-11-14 | Microsoft Technology Licensing, Llc | Sampling technique for data clustering |
FR3137550B1 (fr) | 2022-07-05 | 2024-07-19 | Oreal | Procédé de détermination de paramètres relatifs à la coloration d’une zone corporelle d’un individu |
US20240177370A1 (en) * | 2022-11-28 | 2024-05-30 | Perception Systems, LLC | Systems and methods of image to palette representations |
KR102676291B1 (ko) | 2023-06-28 | 2024-06-19 | 주식회사 카비 | 딥 러닝 학습 데이터 구축을 위하여 영상데이터에서 이미지프레임 자동 추출 및 레이블링 방법 및 장치 |
CN116563770B (zh) * | 2023-07-10 | 2023-09-29 | 四川弘和数智集团有限公司 | 车辆颜色的检测方法、装置及设备和介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001004840A1 (en) | 1999-07-07 | 2001-01-18 | Unilever Plc | Colour cosmetic selection system |
JP2007156841A (ja) | 2005-12-05 | 2007-06-21 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2010250726A (ja) | 2009-04-20 | 2010-11-04 | Fujifilm Corp | カラー画像の代表色決定装置およびその動作制御方法 |
JP2013097254A (ja) | 2011-11-02 | 2013-05-20 | Canon Inc | 画像表示装置及びその制御方法 |
JP2013178789A (ja) | 2013-04-01 | 2013-09-09 | Kao Corp | 美容シミュレーションシステム |
JP2014197358A (ja) | 2013-03-29 | 2014-10-16 | オムロン株式会社 | 領域分割方法および検査装置 |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH05266091A (ja) * | 1992-03-23 | 1993-10-15 | Mitsubishi Electric Corp | 画像の類似色調検索装置 |
US6757428B1 (en) * | 1999-08-17 | 2004-06-29 | National Instruments Corporation | System and method for color characterization with applications in color measurement and color matching |
US20040239968A1 (en) * | 2003-06-02 | 2004-12-02 | Gondek Jay S. | Color correction in images |
JP2005328845A (ja) * | 2004-05-06 | 2005-12-02 | Oce Technologies Bv | デジタルカラー画像を変換する方法、装置およびコンピュータプログラム |
JP4704253B2 (ja) * | 2005-04-13 | 2011-06-15 | 富士フイルム株式会社 | アルバム作成装置、アルバム作成方法、及びプログラム |
JP5948737B2 (ja) * | 2011-05-30 | 2016-07-06 | 株式会社リコー | 画像処理装置、画像処理方法及び画像処理プログラム |
US8908904B2 (en) * | 2011-12-28 | 2014-12-09 | Samsung Electrônica da Amazônia Ltda. | Method and system for make-up simulation on portable devices having digital cameras |
US9798949B1 (en) * | 2015-03-19 | 2017-10-24 | A9.Com, Inc. | Region selection for image match |
US9589210B1 (en) * | 2015-08-26 | 2017-03-07 | Digitalglobe, Inc. | Broad area geospatial object detection using autogenerated deep learning models |
RU2018142757A (ru) * | 2016-05-13 | 2020-06-15 | Басф Се | Система и способ обнаружения болезней растений |
CN106201535B (zh) * | 2016-07-14 | 2019-08-23 | 广州神马移动信息科技有限公司 | 工具栏背景颜色随着图片的主颜色而变换的方法和装置 |
US10755228B1 (en) * | 2017-03-29 | 2020-08-25 | Blue Yonder Group, Inc. | Image processing system for deep fashion color recognition |
CN108304785A (zh) * | 2018-01-16 | 2018-07-20 | 桂林电子科技大学 | 基于自建神经网络的交通标志检测与识别方法 |
CN113052194A (zh) * | 2019-12-27 | 2021-06-29 | 杭州深绘智能科技有限公司 | 一种基于深度学习的服装色彩认知系统及其认知方法 |
-
2020
- 2020-04-22 EP EP20722513.7A patent/EP3942466A1/en active Pending
- 2020-04-22 WO PCT/EP2020/061256 patent/WO2020216808A1/en unknown
- 2020-04-22 US US16/854,975 patent/US11461931B2/en active Active
- 2020-04-22 KR KR1020217036723A patent/KR20220062450A/ko active Search and Examination
- 2020-04-22 CN CN202080046007.0A patent/CN114144813A/zh active Pending
- 2020-04-22 JP JP2021563377A patent/JP7469330B2/ja active Active
-
2022
- 2022-07-21 US US17/869,942 patent/US20220351416A1/en active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001004840A1 (en) | 1999-07-07 | 2001-01-18 | Unilever Plc | Colour cosmetic selection system |
JP2003504769A (ja) | 1999-07-07 | 2003-02-04 | エフディー マネージメント インコーポレイテッド | カラーコスメティック選択システム |
JP2007156841A (ja) | 2005-12-05 | 2007-06-21 | Canon Inc | 画像処理方法及び画像処理装置 |
JP2010250726A (ja) | 2009-04-20 | 2010-11-04 | Fujifilm Corp | カラー画像の代表色決定装置およびその動作制御方法 |
JP2013097254A (ja) | 2011-11-02 | 2013-05-20 | Canon Inc | 画像表示装置及びその制御方法 |
JP2014197358A (ja) | 2013-03-29 | 2014-10-16 | オムロン株式会社 | 領域分割方法および検査装置 |
JP2013178789A (ja) | 2013-04-01 | 2013-09-09 | Kao Corp | 美容シミュレーションシステム |
Also Published As
Publication number | Publication date |
---|---|
US20220351416A1 (en) | 2022-11-03 |
CN114144813A (zh) | 2022-03-04 |
WO2020216808A1 (en) | 2020-10-29 |
US11461931B2 (en) | 2022-10-04 |
US20200342630A1 (en) | 2020-10-29 |
KR20220062450A (ko) | 2022-05-17 |
JP2022532040A (ja) | 2022-07-13 |
EP3942466A1 (en) | 2022-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7469330B2 (ja) | 機械画像色の抽出および抽出された色を用いた機械画像構築 | |
US11000107B2 (en) | Systems and methods for virtual facial makeup removal and simulation, fast facial detection and landmark tracking, reduction in input video lag and shaking, and method for recommending makeup | |
KR101140533B1 (ko) | 이미지로부터 추정된 피부색에 기초해서 제품을 추천하는 컴퓨터 구현된 방법 | |
US7522768B2 (en) | Capture and systematic use of expert color analysis | |
US8594420B2 (en) | Color naming, color categorization and describing color composition of images | |
US8855411B2 (en) | Opacity measurement using a global pixel set | |
JPWO2020216808A5 (ja) | ||
EP2825999A1 (en) | Method, arrangement and computer program product for recognizing videoed objects | |
Lizarraga-Morales et al. | Integration of color and texture cues in a rough set–based segmentation method | |
Withurat et al. | Personal color analysis using color space algorithm | |
Chae et al. | Color navigation by qualitative attributes for fashion recommendation | |
Shirkhodaie et al. | Skin subspace color modeling for daytime and nighttime group activity recognition in confined operational spaces | |
Kaur et al. | COLOR CONSTANCY ALGORITHMS: SIGNIFICANT STUDY | |
WO2008108771A1 (en) | Capture and systematic use of expert color analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221222 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231030 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231128 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240228 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240312 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240404 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7469330 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |