JP2023549647A - グラフベースの色記述生成 - Google Patents
グラフベースの色記述生成 Download PDFInfo
- Publication number
- JP2023549647A JP2023549647A JP2023522843A JP2023522843A JP2023549647A JP 2023549647 A JP2023549647 A JP 2023549647A JP 2023522843 A JP2023522843 A JP 2023522843A JP 2023522843 A JP2023522843 A JP 2023522843A JP 2023549647 A JP2023549647 A JP 2023549647A
- Authority
- JP
- Japan
- Prior art keywords
- color
- computer
- node
- graph
- nodes
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 67
- 239000013598 vector Substances 0.000 claims abstract description 39
- 239000003086 colorant Substances 0.000 claims abstract description 34
- 238000004590 computer program Methods 0.000 claims abstract description 17
- 230000008447 perception Effects 0.000 claims abstract description 17
- 238000013528 artificial neural network Methods 0.000 claims abstract description 10
- 238000001914 filtration Methods 0.000 claims description 22
- XOFYZVNMUHMLCC-ZPOLXVRWSA-N prednisone Chemical compound O=C1C=C[C@]2(C)[C@H]3C(=O)C[C@](C)([C@@](CC4)(O)C(=O)CO)[C@@H]4[C@@H]3CCC2=C1 XOFYZVNMUHMLCC-ZPOLXVRWSA-N 0.000 claims description 12
- 230000000306 recurrent effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 39
- 238000012545 processing Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 10
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 230000018109 developmental process Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000011161 development Methods 0.000 description 3
- 230000000670 limiting effect Effects 0.000 description 3
- 241000282412 Homo Species 0.000 description 2
- 238000003491 array Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008520 organization Effects 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 230000005477 standard model Effects 0.000 description 2
- 239000004753 textile Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012384 transportation and delivery Methods 0.000 description 2
- 238000012800 visualization Methods 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000009172 bursting Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000004456 color vision Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000000975 dye Substances 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000013439 planning Methods 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 230000002829 reductive effect Effects 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000010561 standard procedure Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9024—Graphs; Linked lists
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/088—Non-supervised learning, e.g. competitive learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20072—Graph-based image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Mathematical Physics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Health & Medical Sciences (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Luminescent Compositions (AREA)
- Macromonomer-Based Addition Polymer (AREA)
- Image Analysis (AREA)
Abstract
自然言語による色についての記述を生成するための方法、システム、及びコンピュータプログラム製品が提示される。この方法は、タプルのリストを取得することと、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによってグラフを生成することと、外部色比較記述に基づいてエッジをフィルタリングすることと、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことと、メッセージパッシングを用い、ノードの色を初期シードとして用いることによって、ノードの各々について特徴ベクトルを学習することと、学習された特徴ベクトルの各々をニューラルネットワークベースのデコーダの初期状態として使用することによって新ノードの記述を生成することとを含む。
Description
本発明は、一般にカラーネーミングに関するものであり、より具体的には、グラフベースの色記述の生成に関するものである。
色は主要な視覚的キューの1つであり、色の物理学及び精神物理学から始まり、実用的課題における色の原理の使用まで、多様なレベルで広範囲に研究されてきた。その中には、正確なレンダリング、表示及び再現、画像フィルタリング、符号化、検索、その他の科学的視覚化、コンピュータグラフィックス、画像及び映像処理における数多くの応用が含まれる。興味深いことに、カラーネーミングは最も一般的な視覚タスクの1つであるにもかかわらず、工学界ではあまり注目されていなかった。しかし、視覚技術及びマルチメディアが急速に発展し、高度なユーザインターフェース及び人間と機械との対話が発達した今日、個々の色の名称を命名し、特定の色のオブジェクトを指し示し、色構成の印象を伝える能力は、ますます重要なタスクになっている。カラーキューは、対話式の視覚化及びコンピュータグラフィックスに利用することができる。カラーネーミングは、自然なユーザインターフェースの設計を容易にする。高次の色記述子は画像コンテンツへのリンクを提供することが多いので、そうした高次の色記述子の抽出は画像解析及びコンピュータビジョンにおける挑戦的な課題である。画像のセグメント化と組み合わせたときに、カラーネーミングを、色によるオブジェクトの選択、画像の外観の記述、さらには意味論的注釈の生成に利用できるようにすることは有利である。
第1の態様によれば、本発明は、自然言語による色についての記述を生成するための方法を提供する。この方法は、タプルの各々が色及び記述を含む、タプルのリストを取得することと、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことであって、新ノードはタプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、メッセージパッシングを用い、ノードの色を初期シードとして用いることによって、グラフ内のノードの各々について特徴ベクトルを学習することと、学習された特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって新ノードの記述を生成することと、を含む。
別の態様によれば、本発明は、自然言語による色についての記述を生成するための方法を提供する。この方法は、タプルの各々が色及び記述を含む、タプルのリストを得ることと、タプルの各々をノードとして用い、類似度閾値に基づいてノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことと、を含む。
自然言語による色についての記述を生成するためのコンピュータプログラム製品が提示され、このコンピュータプログラム製品は、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、プログラム命令は、コンピュータによって実行可能であり、コンピュータに、タプルの各々が色及び記述を含む、タプルのリストを取得することと、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことであって、新ノードはタプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、メッセージパッシングを用い、ノードの色を初期シードとして用いることによって、グラフ内のノードの各々について特徴ベクトルを学習することと、学習された特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって新ノードの記述を生成することと、を行わせる。
自然言語による色についての記述を生成するためのコンピュータプログラム製品が提示され、このコンピュータプログラム製品は、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、プログラム命令は、コンピュータによって実行可能であり、コンピュータに、タプルの各々が色及び記述を含む、タプルのリストを得ることと、タプルの各々をノードとして用い、類似度閾値に基づいてノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことと、を行わせる。
さらに別の実施形態によれば、自然言語による色についての記述を生成するための方法が提供される。この方法は、複数のノードとエッジとを含む、色の関係を構造化するグラフを生成することと、色比較記述に基づいて冗長エッジを除去することと、類似度閾値に基づいて、新ノードを新エッジと共にグラフに組み込むことと、グラフの各ノードについて特徴ベクトルを学習することと、特徴ベクトルを使用して新ノードの記述を生成することであって、特徴ベクトルは半教師あり様式でニューラルネットワークに与えられる、生成することと、を含む。
例示的な実施形態は、異なる主題を参照して説明されていることに留意されたい。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明されているのに対し、他の実施形態は、装置タイプの請求項を参照して説明されている。しかしながら、当業者は、上記及び以下の説明から、特段の断りのない限り、1つのタイプの主題に属する特徴のあらゆる組み合わせに加えて、異なる主題に関連する特徴間のあらゆる組み合わせ、特に、方法タイプの請求項の特徴と装置タイプの請求項の特徴との間のあらゆる組み合わせも、本文書内に記載されるとみなされることを推測するであろう。
これら及び他の特徴及び利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
本発明は、以下の図面を参照しながら、以下の好ましい実施形態の説明において詳細を提供する。
図面を通じて、同一又は類似の参照数字は、同一又は類似の要素を表している。
本発明による例示的な実施形態は、自然言語による色についての記述を生成することを提供する。カラーグラウンディング(color grounding)タスクは、言語と色知覚との間の関係を特徴付けることを可能にする。言語と色との間のマッピングを学習することは、人間の表現の創発のいくつかの側面を理解するために重要である。カラーグラウンディングの応用は、例えば、世論(非構造的、抽象的)を予測し、その世論をブランディングのサポートやユーザの反応の推測などに利用するための、広告もしくはマーケティング又はその両方に関連する。カラーグラウンディングにおけるタスクは、自然言語による色についての記述を生成することを学習することである。本発明の例示的な実施形態は、訓練セットをグラフとして構成し、半教師あり方式で記述生成を実行する。
色空間は明確な色指定を可能にするが、日常生活では色は主にその名称で識別されている。色を名称で識別することは、かなりの一般的な色の語彙を必要とし、かつ正確性には欠けるが、誰もが理解できるコミュニケーション方法である。そこで、色名を選択するための語彙、構文、及び標準法を設計しようという、いくつもの試みが行われた。当業者に知られているマンセル表色系は、色の正確な仕様を必要とする用途で広く用いられている。例として、塗料、テキスタイルなどの製造が挙げられる。マンセル表色系は、1,200色の精密に制御された色見本(チップ)を含むマンセル・カラー・ブックによって補完され、業界標準として使用されることが多い。チップは、チップ間の単位段階が知覚的に等しくなるように配置されている。各チップは3つのコードで識別される。明度スケールは、黒を0/、白を10/とするマンセル値で表される。マンセル彩度は、2段階ずつ高くなる(/2、/4、・・・、/10)。色相スケールは、赤(R)、黄赤(YR)、黄(Y)、黄緑(GY)、緑(G)、青緑(BG)、青(B)、紫青(PB)、紫(P)、赤紫(RP)の10色相に分けられ、各色相はさらに10セクションに分けることができる。しかし、マンセル系による色ベース処理の1つの顕著な欠点は、任意の色空間からマンセルへの正確な変換ができないことである。例えば、他者によって提案された変換はかなり複雑であり、CIE XYZの特定領域では不正確なこともある。
色の命名に使われる3000以上の英単語及び語句を列挙した最初のリストは、Maerz及びPaulによって考案され、Dictionary of colorsとして出版された。さらに詳細なものは、米国国立標準局(The National Bureau of Standards)が発行した辞書である。これは、生物学、地質学、切手収集、テキスタイル、染料、及び塗料産業など特定の分野で一般的に使われるようになった約7500の様々な名称を収録したものである。どちらの辞書も、珍しい言葉又は難解な言葉の例を含んでおり、用語が非系統的に列挙されているため、一般的な使用には適さない。
米国国立標準局は、色空間内の267領域の色名を収録したISCC-NBS色名辞書を策定した。この辞書は、英語の用語を使用して、色空間の色相、明度、飽和度の3つの次元に沿って色を記述する。ISCC-NBSモデルの1つの問題点は、体系的な構文がないことである。このことに対処して、新しいカラーネーミングシステム(Color-Naming System、CNS)が設計された。CNSは、ISCC-NBSモデルを部分的にベースにしている。CNSは同じ3つの次元を使用しているが、これらの次元の単語を組み合わせるために使用される規則は形式的構文で定義されている。CNSモデルを拡張したColor-Naming Method(CNM)と呼ばれるモデルは、CNSモデルで記述される構文と同様の構文を使用し、CNMの色名をマンセル系の色範囲にマッピングする。前述の方法はいずれもマンセルモデルと密接な関係があり、したがって、マンセル色空間内で各名称をどのように位置づけるかの説明を提供するものである。
しかしながら、これらの方法を用いて、色見本に色名を付し、命名された色の例を示し、シーンの色領域及びオブジェクトを記述し、最終的に画像の色構成を伝える方法は明白ではない。
本発明の例示的な実施形態は、そうした問題をグラフベースの色記述機構又は構造を生成することによって軽減する方法及びシステムを開示する。訓練セットは、グラフとして構造化され、半教師あり方式で記述生成を実行する。本発明の例示的な実施形態は、色表現のグローバルな知覚を組み込んだコンテキスト情報を使用する。人間の知覚の使用により、より現実的な色関係が可能になり、グラフベースの表現により、近隣のノードが情報/コンテキストを共有することが可能になり、コンテキスト情報は、完全一致が満たされない場合に、より多くの色と言語との関連付けの発見に潜在的につながる有用な多様性を提供する。さらに、本発明の例示的な実施形態に鑑みて、標準モデルと比較して、記憶に関する問題がより少なくなる。
本発明は、所与の例示的アーキテクチャの観点から説明されるが、他のアーキテクチャ、構造、基板材料、及びプロセスの特徴並びにステップ/ブロックは、本発明の範囲内で変化させることができることが理解されるであろう。明確化のために、特定の特徴をすべての図に示すことができないことに留意されたい。これは、いずれかの特定の実施形態、又は図示、又は特許請求の範囲の限定として解釈されることを意図していない。
本発明の様々な例示的な実施形態を以下に説明する。明確にするために、実際の実装のすべての特徴を本明細書で説明するわけではない。もちろん、そのような実際の実施形態の開発において、開発者の特定の目標を達成するためには、システム関連及びビジネス関連の制約への準拠など多くの実装固有の決定を行わなければならず、それは実装ごとに異なるであろうことは理解されよう。さらに、そのような開発努力は複雑で時間がかかるかもしれないが、それにもかかわらず、本発明の利益を有する当業者にとっては日常的な仕事であろうことが理解されよう。
図1は、本発明の一実施形態による、コンテキスト色グラフ生成を説明する例示的な図である。
コンテキスト色グラフ生成10に関して、データ12は、類似度閾値tに基づいてグラフとして構造化される。閾値tは、人間が色差をどのように知覚するかを説明するメトリックであるデルタE(RGB空間内の距離は線形に知覚されないので有用なメトリックである)に基づいて定義される。具体的には、2つの色の間のデルタE値が11と49との間である場合、例示的な方法はリンクを生成する。デルタE値がその範囲外である場合(似すぎている、ほとんど同じ、又は遠すぎる)、例示的な方法はエッジを追加しない。
コンテキスト色グラフは、1つの非限定的な例において、第1の色20、第2の色22、第3の色24、第4の色26、第5の色28、第6の色30、及び第7の色32を含むことができる。第1の色20は、エッジ11を介して第2の色22に接続されている。第2の色22は、エッジ13を介して第3の色24に接続されている。第3の色24は、エッジ17を介して第4の色26に接続されている。第1の色20は、エッジ15を介して第4の色26に接続されている。第3の色24は、エッジ19を介して第5の色28に接続されている。第4の色26は、エッジ21を介して第5の色28に接続されている。第4の色26は、エッジ23を介して第6の色30に接続されている。第5の色28は、エッジ25を介して第6の色30に接続されている。第5の色28は、エッジ27を介して第7の色32に接続されている。
データ12は、(色,記述)のタプル(ci,di)のリストTとして指定することができ、ここでciはRGBタプルで表された色であり、diはトークンのシーケンスである。
デルタE(又はdE)は、2つの色の間の「距離」を表す単一の数である。その考え方は、1.0のdEが人間の目で見ることができる最小の色差であるというものである。つまり、1.0より小さいdEはいずれも知覚できず、1.0より大きいdEは当然、気づくことができるということになる。しかしながら、色差によっては1より大きくても完全に許容できる場合もあり、それどころか気づかない場合もあり得る。また、同じdEの色差でも、2種類の黄色の間の色差と2種類の青色の間の色差が、目には同じ差に見えないこともあり、また、別の場所では、観察者の目には違うように見えることもある。
デルタEレベルは、表示色と入力コンテンツの元の色標準との差である。デルタEの数値が低いほど精度が高いことを示し、デルタEの数値が高いほどミスマッチが大きいことを示している。デルタEの「E」は、ドイツ語で「感覚」を意味する「Empfindung」を表す。全体として、デルタEという用語は、感覚における違いを意味する。例示的な実施形態は、新しい色の定義を支援するためのグラフベースの方法を作成又は生成する。
図2は、本発明の一実施形態による、エッジ・フィルタリングを説明する例示的な図である。
エッジ・フィルタリングに関して、外部データ色比較データベース35の外部データを用いて、冗長又は実現不可能なエッジを除去する。色比較データ40が使用される。色比較データは、非限定的な一例において、いくつかの異なる色41~48を含むことができる。各エッジについて、(ソース、ターゲット)ペアがデータセット内のいずれかのペアに近い場合、そのエッジは保持又は維持される。そうでない場合、エッジは削除される。これにより、より滑らかな遷移を得る(例えば、急激な色の変化を避ける)ことができ、そのことが最終的に学習を容易にする。エッジの除去の結果、コンテキスト色グラフ10’が得られる。このグラフ10’では、3つのエッジが除去されている。除去された第1のエッジは、50で示され、第1の色20と第4の色26との間に位置していた。除去された第2のエッジは、52で示され、第3の色24と第5の色28との間に位置していた。除去された第3のエッジは、54で示され、第4の色26と第5の色28との間に位置していた。このように、外部データに基づいて、これら3つのエッジが冗長又は実現不可能なエッジであると判断された。外部データは、比較色データのみを格納するためのカスタムデータベースである、外部データ色比較データベース35に格納されていることに留意されたい。
図3は、本発明の一実施形態による、ラベルなしノードの追加を説明する例示的な図である。
ラベルなしノードの追加に関して、未見色(unseen color)が与えられると、ラベルなしノード(記述を持たない、色のみ)として表される。未見色62は、色差の観点で最も近い近隣を見つけることによって、主グラフ60に組み込まれる。この処理にも人間の知覚のメトリックであるデルタEを閾値として用いる(図1のコンテキスト色グラフ生成に関して上述したのと同じ構成)。ノード62がグラフ60に追加された後、ゴールは、ラベル付きノードのセットからラベルなしノードまでエッジが提供するコンテキスト情報を使用し、それによりcuのための記述duを学習することである。新ノード62は、エッジ61及び63を有する。エッジ61は、新ノード62を第5の色28に接続又はリンクし、エッジ63は、新ノード62を第7のノード32に接続又はリンクする。したがって、ノード62の色は、色28、32に類似している又は近い。
図4は、本発明の一実施形態による、色ベースのノード特徴学習を説明する例示的な図70である。
色ベースのノード特徴学習に関して、色を初期シードとして用い、メッセージパッシング・アルゴリズムを用いて、すべてのノードについて特徴ベクトルを学習する。これにより、得られた各ベクトルは、各色とその周囲の近隣との関係を符号化する。
具体的には、5つの色が示されている。したがって、5つのベクトルが生成される。例えば、第4の色26は特徴ベクトル72を有し、第5の色28は特徴ベクトル76を有し、第6の色30は特徴ベクトル74を有し、第7の色32は特徴ベクトル78を有し、新ノード62は特徴ベクトル80を有する。色28、32と色30、32と色26、30との間の矢印は、異なる色の間で展開される関係を示す。
メッセージパッシング・アルゴリズム(MPA)は、符号のグラフィカルモデルにおいて動作する確率伝搬アルゴリズムの一種であることに留意されたい。MPAは、変数ノードとチェックノードとの間で、結果に到達するか又は処理が停止するまで繰り返しメッセージが行き来するので、反復アルゴリズムとしても知られている。
図5は、本発明の一実施形態による、記述生成を説明する例示的な図90である。
記述生成に関して、学習されたベクトルは半教師あり設定で使用される。各ベクトルは、リカレントニューラルネットワーク(RNN)ベースのデコーダ92、94、96に渡され、生成のためのその初期シードとして機能する。RNNにおける損失が、グラフのラベル付き部分に対して計算される。したがって、学習は、関係するすべての表現(ラベル付き及びラベルなしの両方)に影響を与える。さらに、新ノード62の特徴ベクトル80は、デコーダ92、94、96を通過して、重みw1、w2、w3を生成する。
図6は、本発明の一実施形態による、コンテキスト色グラフ生成のための例示的な方法のブロック/フロー図である。
ブロック110において、データは類似度閾値に基づくグラフとして構造化され、類似度閾値はデルタE(人間が色差をどのように知覚するかを説明するメトリック)に基づいて定義される。
ブロック112において、2つの色に関するデルタE値が11と49との間であるか否かが判断される。YESの場合、プロセスはブロック114に進む。NOの場合、プロセスはブロック116に進む。
ブロック114において、2つの色の間にリンクが生成される。
ブロック118において、コンテキスト色グラフ生成の後、エッジ・フィルタリングが開始される。
ブロック116において、デルタE値が11と49との間でない場合、2つの色の間に接続は定義されない。
図7は、本発明の一実施形態による、エッジ・フィルタリングのための例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック122において、少なくとも色比較データを含む外部データを使用して、エッジ・フィルタリング処理を開始する。
ブロック124において、(ソース、ターゲット)ペアが、色比較データ内のいずかのペアに近いか否かが判断される。YESの場合、プロセスはブロック126に進む。NOの場合、プロセスはブロック128に進む。
ブロック126において、エッジが維持又は保持される。
ブロック129において、エッジ・フィルタリングが行われた後、ラベルなしノード追加が行われる。
ブロック128において、そのペアが色比較データ内のいずれのペアにも近くない場合、エッジが除去される。
図8は、本発明の一実施形態による、ラベルなしノード追加の例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック118において、図7を参照して説明したように、エッジ・フィルタリングが実行される。
ブロック130において、未見色が、ラベルなしノード(記述なし)として表現される。
ブロック132において、色差の観点から最も近い近隣を見つけることによって、未見色が(ノードとして)主グラフに組み込まれる。
ブロック134において、ラベルなしノード追加を行った後、色ベースのノード特徴学習が行われる。
図9は、本発明の一実施形態による、色ベースのノード特徴学習のための例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック118において、図7を参照して説明したように、エッジ・フィルタリングが実行される。
ブロック129において、図8を参照して説明したように、コンテキスト色グラフへのラベルなしノード追加が実行される。
ブロック140において、メッセージパッシング・アルゴリズムを使用して、すべてのノードについて特徴ベクトルを学習して、各色とその周囲の近隣との関係を符号化する。
ブロック142において、色ベースのノード特徴学習を行った後、記述生成が行われる。
図10は、本発明の一実施形態による、記述生成のための例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック118において、図7を参照して説明したように、エッジ・フィルタリングが実行される。
ブロック129において、図8を参照して説明したように、コンテキスト色グラフへのラベルなしノード追加が実行される。
ブロック140において、図9を参照して説明したように、コンテキスト色グラフのすべてのノードについて特徴ベクトルが学習される。
ブロック150において、学習されたベクトルは、記述生成のために、半教師あり設定で使用される(各ベクトルは、RNNベースのデコーダに渡され、生成のための初期シードとして機能する)。
ブロック152において、色-言語マッピングが表形式に組み込まれ、コンピューティング・デバイスに表示される。
図11は、本発明の一実施形態による、訓練セットをグラフとして構造化して、半教師あり方式で記述生成を実行する例示的な方法のブロック/フロー図である。
ブロック210において、タプルの各々が色及び記述を含む、タプルのリストを取得する。
ブロック220において、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによって、グラフを生成する。
ブロック230において、外部データベースに格納された外部色比較記述に基づいてエッジをフィルタリングする。
ブロック240において、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込み、新ノードはリストに含まれていない新しい色を含み、記述を有しない。
ブロック250において、メッセージパッシング・アルゴリズムを用い、ノードの色を初期シードとして用いることによって、グラフ内のノードの各々について特徴ベクトルを学習する。
ブロック260において、学習された特徴ベクトルの各々を半教師あり方式でRNNベースのデコーダの初期状態として使用することによって、新ノードの記述を生成する。
要約すると、本発明の例示的な実施形態は、色表現のグローバルな知覚を組み込んだコンテキスト情報を使用する。人間の知覚の使用により、より現実的な色関係が可能になり、グラフベースの表現により、近隣のノードが情報/コンテキストを共有することが可能になり、コンテキスト情報は、完全一致が満たされない場合に、より多くの色と言語との関連付けの発見に潜在的につながる、有用な多様性を提供する。さらに、標準モデルと比較して、記憶に関する問題がより少なくなる。また、色-言語マッピングのために生成されるグラフは、データセットごとに1つだけである。このように、モデルが学習され、グラフを用いて色関係を構造化し、いくつもの生成及び検索タスクに利用することができる構文的に妥当な記述が生成される。
図12は、本発明の一実施形態による、例示的なクラウド・コンピューティング環境のブロック/フロー図である。
本発明は、クラウド・コンピューティングについての詳細な説明を含むが、本明細書に記載された教示の実装は、クラウド・コンピューティング環境に限定されないことが理解されるであろう。むしろ、本発明の実施形態は、現在既知の、又は後に開発される他のあらゆるタイプのコンピューティング環境と組み合わせて実施することが可能である。
クラウド・コンピューティングは、最小限の管理労力又はサービス・プロバイダとの対話で迅速にプロビジョニング及び解放することができる構成可能なコンピューティング・リソース(例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス)の共有プールへの、便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス配信のモデルである。このクラウド・モデルは、少なくとも5つの特徴、少なくとも3つのサービス・モデル、及び少なくとも4つのデプロイメント・モデルを含むことができる。
特徴は以下の通りである。オンデマンド・セルフサービス:クラウド・コンシューマは、必要に応じて、サーバ時間及びネットワーク・ストレージ等のコンピューティング機能を、人間がサービスのプロバイダと対話する必要なく自動的に、一方的にプロビジョニングすることができる。広範なネットワーク・アクセス:機能は、ネットワーク上で利用可能であり、異種のシン又はシック・クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、及びPDA)による使用を促進する標準的な機構を通じてアクセスされる。リソース・プール化:プロバイダのコンピューティング・リソースは、マルチ・テナント・モデルを用いて、複数のコンシューマにサービスを提供するためにプールされ、異なる物理及び仮想リソースが、要求に応じて動的に割り当て及び再割り当てされる。コンシューマは、一般に、提供されるリソースの正確な位置についての制御又は知識を持たないという点で位置とは独立しているといえるが、より抽象化レベルの高い位置(例えば、国、州、又はデータセンタ)を特定できる場合がある。迅速な弾力性:機能を、迅速かつ弾力的に、場合によっては自動的に、プロビジョニングしてすばやくスケールアウトし、迅速に解放して素早くスケールインすることができる。コンシューマにとって、プロビジョニングに利用可能な機能は、多くの場合、無制限であるように見え、いつでもどんな量でも購入できる。計測されるサービス:クラウド・システムは、サービスのタイプ(例えば、ストレージ、処理、帯域幅、及びアクティブなユーザ・アカウント)に適した何らかの抽象化レベルでの計量機能を用いることによって、リソースの使用を自動的に制御及び最適化する。リソース使用を監視し、制御し、報告して、利用されるサービスのプロバイダとコンシューマの両方に対して透明性をもたらすことができる。
サービス・モデルは以下の通りである。Software as a Service(SaaS):コンシューマに提供される機能は、クラウド・インフラストラクチャ上で動作する、プロバイダのアプリケーションを使用することである。これらのアプリケーションには、ウェブ・ブラウザ(例えば、ウェブ・ベースの電子メール)などのシン・クライアント・インターフェースを通じて、種々のクライアント・デバイスからアクセス可能である。コンシューマは、限定されたユーザ固有のアプリケーション構成設定を想定される例外として、ネットワーク、サーバ、オペレーティング・システム、ストレージ、又は個々のアプリケーション機能をも含めて、基礎をなすクラウド・インフラストラクチャを管理又は制御しない。
Platform as a Service(PaaS):コンシューマに提供される機能は、プロバイダによってサポートされるプログラミング言語及びツールを用いて生成された、コンシューマが作成した又は取得したアプリケーションを、クラウド・インフラストラクチャ上にデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、又はストレージを含む基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、デプロイされたアプリケーション、及び場合によってはアプリケーション・ホスティング環境構成に対する制御を有する。Infrastructure as a Service(IaaS):コンシューマに提供される機能は、コンシューマが、オペレーティング・システム及びアプリケーションを含み得る任意のソフトウェアをデプロイして動作させることができる、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティング・リソースをプロビジョニンングすることである。コンシューマは、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションに対する制御、及び場合によってはネットワーク・コンポーネント(例えば、ホストのファイアウォール)選択に対する限定された制御を有する。
Platform as a Service(PaaS):コンシューマに提供される機能は、プロバイダによってサポートされるプログラミング言語及びツールを用いて生成された、コンシューマが作成した又は取得したアプリケーションを、クラウド・インフラストラクチャ上にデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、又はストレージを含む基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、デプロイされたアプリケーション、及び場合によってはアプリケーション・ホスティング環境構成に対する制御を有する。Infrastructure as a Service(IaaS):コンシューマに提供される機能は、コンシューマが、オペレーティング・システム及びアプリケーションを含み得る任意のソフトウェアをデプロイして動作させることができる、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティング・リソースをプロビジョニンングすることである。コンシューマは、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションに対する制御、及び場合によってはネットワーク・コンポーネント(例えば、ホストのファイアウォール)選択に対する限定された制御を有する。
デプロイメント・モデルは以下の通りである。プライベート・クラウド:クラウド・インフラストラクチャは、ある組織のためだけに運営される。これは、その組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。コミュニティ・クラウド:クラウド・インフラストラクチャは、幾つかの組織によって共有され、共通の関心事項(例えば、ミッション、セキュリティ要件、ポリシー、及びコンプライアンス上の考慮事項)を有する特定のコミュニティをサポートする。これは、それらの組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。パブリック・クラウド:クラウド・インフラストラクチャは、一般公衆又は大規模な業界グループによって利用可能であり、クラウド・サービスを販売する組織によって所有される。ハイブリッド・クラウド:クラウド・インフラストラクチャは、固有のエンティティのままであるが、データ及びアプリケーションのポータビリティを可能にする標準化技術又は専用技術(例えば、クラウド間の負荷平衡のためのクラウド・バースティング)によって互いに結び付けられた、2つ以上のクラウド(プライベート、コミュニティ、又はパブリック)の組合せである。
クラウド・コンピューティング環境は、サービス指向であり、ステートレス性、低結合性、モジュール性、及びセマンティック相互運用性に焦点を置く。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。
ここで図12を参照すると、本発明のユースケースを可能にするための例示的なクラウド・コンピューティング環境1250が描かれている。図示されるように、クラウド・コンピューティング環境1250は、クラウド・コンシューマによって用いられる例えば携帯情報端末(PDA)又は携帯電話1254A、デスクトップ・コンピュータ1254B、ラップトップ・コンピュータ1254C、もしくは自動車コンピュータ・システム1254N又はそれらの組合せ等のローカル・コンピューティング・デバイスが通信することができる1つ又は複数のクラウド・コンピューティング・ノード1210を含む。ノード1210は、互いに通信することができる。これらを物理的又は仮想的にグループ化(図示せず)して、上述のようなプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウドもしくはハイブリッド・クラウド又はこれらの組合せ等の1つ又は複数のネットワークにすることができる。これによりクラウド・コンピューティング環境1250は、インフラストラクチャ、プラットフォームもしくはソフトウェア又はそれらの組合せを、クラウド・コンシューマがローカル・コンピューティング・デバイス上にリソースを保持する必要のないサービスとして提供することができるようになる。図12に示されるコンピューティング・デバイス1254A-Nのタイプは単なる例示として意図されており、コンピューティング・ノード1210及びクラウド・コンピューティング環境1250は、あらゆるタイプのネットワークもしくはネットワーク・アドレス指定可能な接続又はその両方を介して(例えば、ウェブ・ブラウザを用いて)、あらゆるタイプのコンピュータ化された装置と通信することができることが理解される。
図13は、本発明の一実施形態による、例示的な抽象化モデル層の模式図である。図13に示されるコンポーネント、層及び機能は、単なる例証を意図したものであり、本発明の実施形態はそれらに限定されないことを予め理解されたい。図示されるように、以下の層及び対応する機能が提供される。
ハードウェア及びソフトウェア層1360は、ハードウェア及びソフトウェアのコンポーネントを含む。ハードウェア・コンポーネントの例には、メインフレーム1361、RISC(Reduced Instruction Set Computer(縮小命令セットコンピュータ))アーキテクチャ・ベースのサーバ1362、サーバ1363、ブレード・サーバ1364、ストレージデバイス1365、並びにネットワーク及びネットワーキング・コンポーネント1366が含まれる。幾つかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア1367及びデータベース・ソフトウェア1368を含む。
仮想化層1370は、抽象化層を提供し、この層により、仮想エンティティの以下の例、すなわち、仮想サーバ1371、仮想ストレージ1372、仮想プライベート・ネットワークを含む仮想ネットワーク1373、仮想アプリケーション及びオペレーティング・システム1374、並びに仮想クライアント1375を提供することができる。
一例では、管理層1380は、以下に説明する機能を提供することができる。
リソースプロビジョニング1381は、クラウド・コンピューティング環境内でタスクを実行するために利用されるコンピューティング・リソース及びその他のリソースの動的な調達を提供する。
計量及び価格設定1382は、クラウド・コンピューティング環境内でリソースが利用されたときの費用追跡と、これらのリソースの消費に対する課金又は請求とを提供する。一例として、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含むことができる。セキュリティは、クラウド・コンシューマ及びタスクについての識別検証、並びにデータ及び他のリソースに対する保護を提供する。ユーザ・ポータル1383は、コンシューマ及びシステム管理者に対してクラウド・コンピューティング環境へのアクセスを提供する。サービスレベル管理1384は、必要なサービスレベルが満たされるようにクラウド・コンピューティング・リソースの割当て及び管理を提供する。サービスレベル・アグリーメント(SLA)計画及び履行1385は、SLAに従って将来的な必要性が予測されるクラウド・コンピューティング・リソースの事前配置及び調達を提供する。
ワークロード層1390は、クラウド・コンピューティング環境をそのために利用することができる機能の例を提供する。この層から提供することができるワークロード及び機能の例は、マッピング及びナビゲーション1391、ソフトウェア開発及びライフサイクル管理1392、仮想教室教育配信1393、データ解析処理1394、トランザクション処理1395、並びにクラウドサーバにおけるグラフベースの色記述1396を含む。
本明細書で使用される場合、「データ」、「コンテンツ」、「情報」及び同様の用語は、様々な例示的な実施形態に従って捕捉、送信、受信、表示もしくは保存する又はそれらの組合せを行うことができるデータを指すために互換的に使用することができる。したがって、いずれかのそのような用語の使用は、本開示の精神及び範囲を制限するものと取るべきではない。さらに、コンピューティング・デバイスが別のコンピューティング・デバイスからデータを受信するように本明細書に記載されている場合、データは、別のコンピューティング・デバイスから直接受信することもでき、又は例えば、1つ又は複数のサーバ、中継器、ルータ、ネットワークアクセスポイント、基地局又はそれらの組合せなどの1つ又は複数の介在するコンピューティング・デバイスを介して間接的に受信することもできる。
ユーザとの対話を提供するために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するための表示装置、例えばCRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ、並びにユーザがコンピュータに入力を提供できるキーボード及びポインティング装置、例えばマウス又はトラックボールを有するコンピュータで実装することができる。ユーザとの対話を提供するために他の種類の装置も使用することができ、例えば、ユーザに提供されるフィードバックは、視覚フィードバック、聴覚フィードバック、触覚フィードバックなど、あらゆる形式の感覚フィードバックとすることができ、ユーザからの入力は、音響、音声、触覚入力など、あらゆる形式で受信することができる。
本発明は、システム、方法、もしくはコンピュータプログラム製品又はそれらの組合せとすることができる。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する1つ又は複数のコンピュータ可読ストレージ媒体を含むことができる。
コンピュータ可読ストレージ媒体は、命令実行デバイスによる使用のために命令を保持及び格納することができる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁気ストレージデバイス、半導体ストレージデバイス、又は上記のものの任意の適切な組合せとすることができるがこれらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュメモリ)、静的ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多目的ディスク(DVD)、メモリスティック、フロッピーディスク、記録された命令を有するパンチカードもしくは溝内に隆起した構造等の機械式コード化デバイス、及び上記のものの任意の適切な組合せを含む。コンピュータ可読ストレージ媒体は、本明細書で用いられる場合、無線波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波(例えば光ファイバケーブルを通る光パルス)、又は電線を通って伝送される電気信号のような一時的な信号自体と解釈すべきではない。
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング/処理デバイスにダウンロードすることも、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワークもしくは無線ネットワーク又はそれらの組合せを経由して、外部コンピュータもしくは外部ストレージデバイスにダウンロードすることもできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータもしくはエッジサーバ又はそれらの組合せを含むことができる。各コンピューティング/処理デバイス内のネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング/処理デバイス内のコンピュータ可読ストレージ媒体にストレージのために転送する。
本発明のオペレーションを実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Smalltalk、もしくはC++などのオブジェクト指向プログラミング言語及び「C」プログラミング言語もしくは類似のプログラミング言語のような従来の手続き型プログラミング言語を含む1つもしくは複数のプログラミング言語の任意の組合せで記述されたソースコードもしくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータもしくはサーバ上で実行される場合もある。後者のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)もしくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続が行われる場合もある(例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて)。幾つかの実施形態において、例えばプログラム可能論理回路、フィールドプログラム可能ゲートアレイ(FPGA)、又はプログラム可能論理アレイ(PLA)を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することにより、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本明細書において、本発明の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図もしくはブロック図又はその両方を参照して説明される。フローチャート図もしくはブロック図又はその両方の各ブロック、並びにフローチャート図もしくはブロック図又はその両方のブロックの組合せは、コンピュータ可読プログラム命令によって実装することができることが理解されるであろう。
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャートもしくはブロック図又はその両方の1つ又は複数のブロック内で指定された機能/動作を実装するための手段を作り出すようにすることができる。これらのコンピュータ可読プログラム命令を、コンピュータ、プログラム可能データ処理装置、もしくは他のデバイス又はそれらの組合せを特定の方式で機能させるように指示することができるコンピュータ可読ストレージ媒体内に格納し、それにより、その中に格納された命令を有するコンピュータ可読媒体が、フローチャートもしくはブロック図又はその両方の1つ又は複数のブロックにおいて指定された機能/動作の態様を実装する命令を含む製品を含むようにすることもできる。
コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置又は他のデバイス上にロードして、一連のオペレーションステップをコンピュータ、他のプログラム可能データ処理装置又は他のデバイス上で行わせてコンピュータ実装のプロセスを生成し、それにより、コンピュータ、他のプログラム可能装置又は他のデバイス上で実行される命令が、フローチャートもしくはブロック図又はその両方の1つ又は複数のブロックにおいて指定された機能/動作を実装するようにすることもできる。
図面内のフローチャート及びブロック図は、本開示の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能及びオペレーションを示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図中に記された順序とは異なる順序で行われることがある。例えば、連続して示された2つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図もしくはフローチャート図又はその両方の各ブロック、及びブロック図もしくはフローチャート図又はその両方の中のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェア・ベースのシステムによって実装することもでき、又は専用ハードウェアとコンピュータ命令との組合せを実行することもできることにも留意されたい。
本明細書において、本原理の「1つの実施形態」又は「一実施形態」、及びその他の変形への言及は、その実施形態に関連して説明される特定の特徴、構造、特性などが、本原理の少なくとも1つの実施形態に含まれることを意味している。したがって、本明細書中の様々な場所に現れる「1つの実施形態において」又は「一実施形態において」という表現、及びその他の変形は、必ずしも全てが同じ実施形態を指しているわけではない。
以下の「/」、「及び/又は」、及び「の少なくとも1つ」のいずれかの使用、例えば、「A/B」、「A及び/又はB」、及び「A及びBの少なくとも1つ」の場合、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることが理解されよう。さらなる例として、「A、B、及び/又はC」及び「A、B、及びCの少なくとも1つ」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢(B及びC)のみの選択、又は3つの選択肢すべて(A及びB及びC)の選択を包含することが意図されている。このことは、この技術及び関連技術の当業者が容易に理解できるように、リストされた項目の数だけ拡張することができる。
自然言語による色についての記述を生成するためのシステム及び方法の好ましい実施形態(これらは例示であり、限定することを意図していない)を説明したが、上記の教示に照らして、当業者によって修正及び変形がなされ得ることに留意されたい。したがって、添付の特許請求の範囲によって概説される本発明の範囲内である、説明された特定の実施形態において変更がなされ得ることが理解されるであろう。このように、特許法が要求する詳細さ及び具体性をもって本発明の態様を説明したが、特許によって請求され、保護されることを望むものは、添付の特許請求の範囲に規定される。
Claims (25)
- 自然言語による色についての記述を生成するためのコンピュータ実装方法であって、
タプルの各々が色及び記述を含む、タプルのリストを取得することと、
前記タプルの各々をノードとして用い、前記ノード間の人間の知覚の観点での色差が所定範囲外にある場合に前記ノード間にエッジを追加することによってグラフを生成することと、
外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことであって、前記新ノードは前記タプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、
メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって、前記グラフ内の前記ノードの各々について特徴ベクトルを学習することと、
学習された前記特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって前記新ノードの記述を生成することと、
を含むコンピュータ実装方法。 - 前記エッジをフィルタリングすることは、前記グラフから冗長又は実現不可能なエッジを除去することを含む、請求項1に記載のコンピュータ実装方法。
- 前記人間の知覚の観点での色差は、メトリックであるデルタEによって提供される、請求項1に記載のコンピュータ実装方法。
- 2つの色の間のデルタEが11と49との間である場合、前記2つの色の間にエッジが生成される、請求項3に記載のコンピュータ実装方法。
- 前記新ノードが前記グラフに追加された後、ラベル付きノードのセットからラベルなしノードのセットまで前記エッジからのコンテキスト情報を用いて前記新ノードのための記述を学習する、請求項1に記載のコンピュータ実装方法。
- 前記RNNにおける損失が、前記グラフのラベル付き部分に対して計算される、請求項1に記載のコンピュータ実装方法。
- 前記新ノードは、ラベルなしノードとして定義される、請求項1に記載のコンピュータ実装方法。
- 自然言語による色についての記述を生成するためのコンピュータ実装方法であって、
タプルの各々が色及び記述を含む、タプルのリストを得ることと、
前記タプルの各々をノードとして用い、類似度閾値に基づいて前記ノード間にエッジを追加することによってグラフを生成することと、
外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
前記類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことと、
を含むコンピュータ実装方法。 - 前記新ノードは、前記タプルのリストに含まれていない新しい色を含み、記述を有しない、請求項8に記載のコンピュータ実装方法。
- 前記グラフ内の前記ノードの各々について特徴ベクトルを学習することをさらに含む、請求項9に記載のコンピュータ実装方法。
- 前記特徴ベクトルは、メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって学習される、請求項10に記載のコンピュータ実装方法。
- 学習された前記特徴ベクトルの各々を初期状態として指定することによって、前記新ノードの記述を生成することをさらに含む、請求項11に記載のコンピュータ実装方法。
- 前記初期状態が、半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダに与えられる、請求項12に記載のコンピュータ実装方法。
- 前記類似度閾値は、所定範囲外にある前記ノード間の人間の知覚の観点での色差である、請求項13に記載のコンピュータ実装方法。
- 前記人間の知覚の観点での色差は、メトリックであるデルタEによって提供される、請求項14に記載のコンピュータ実装方法。
- 2つの色の間のデルタEが11と49との間である場合、前記2つの色の間にエッジが生成される、請求項15に記載のコンピュータ実装方法。
- 前記RNNにおける損失が、前記グラフのラベル付き部分に対して計算される、請求項16に記載のコンピュータ実装方法。
- 前記エッジをフィルタリングすることは、前記グラフから冗長又は実現不可能なエッジを除去することを含む、請求項8に記載のコンピュータ実装方法。
- 前記新ノードが前記グラフに追加された後、ラベル付きノードのセットからラベルなしノードのセットまで前記エッジからのコンテキスト情報を用いて前記新ノードのための記述を学習する、請求項8に記載のコンピュータ実装方法。
- 自然言語による色についての記述を生成するためのコンピュータプログラム製品であって、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、前記プログラム命令は、コンピュータによって実行可能であり、前記コンピュータに、
タプルの各々が色及び記述を含む、タプルのリストを取得することと、
前記タプルの各々をノードとして用い、前記ノード間の人間の知覚の観点での色差が所定範囲外にある場合に前記ノード間にエッジを追加することによってグラフを生成することと、
外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことであって、前記新ノードは前記タプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、
メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって、前記グラフ内の前記ノードの各々について特徴ベクトルを学習することと、
学習された前記特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって前記新ノードの記述を生成することと、
を行わせる、コンピュータプログラム製品。 - 前記新ノードが前記グラフに追加された後、ラベル付きノードのセットからラベルなしノードのセットまで前記エッジからのコンテキスト情報を用いて前記新ノードのための記述を学習する、請求項20に記載のコンピュータプログラム製品。
- 自然言語による色についての記述を生成するためのコンピュータプログラム製品であって、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、前記プログラム命令は、コンピュータによって実行可能であり、前記コンピュータに、
タプルの各々が色及び記述を含む、タプルのリストを得ることと、
前記タプルの各々をノードとして用い、類似度閾値に基づいて前記ノード間にエッジを追加することによってグラフを生成することと、
外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
前記類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことと、
を行わせる、コンピュータプログラム製品。 - 前記グラフ内の前記ノードの各々について特徴ベクトルが学習され、前記特徴ベクトルは、メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって学習される、請求項22に記載のコンピュータプログラム製品。
- 学習された前記特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダに与えられる初期状態として指定することによって、前記新ノードの記述が生成される請求項23に記載のコンピュータプログラム製品。
- 自然言語による色についての記述を生成するためのコンピュータ実装方法であって、
複数のノードとエッジとを含む、色の関係を構造化するグラフを生成することと、
色比較記述に基づいて冗長エッジを除去することと、
類似度閾値に基づいて、新ノードを新エッジと共に前記グラフに組み込むことと、
前記グラフの各ノードについて特徴ベクトルを学習することと、
前記特徴ベクトルを使用して前記新ノードの記述を生成することであって、前記特徴ベクトルは半教師あり様式でニューラルネットワークに与えられる、生成することと、
を含むコンピュータ実装方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/100,018 | 2020-11-20 | ||
US17/100,018 US11436771B2 (en) | 2020-11-20 | 2020-11-20 | Graph-based color description generation |
PCT/IB2021/060583 WO2022106986A1 (en) | 2020-11-20 | 2021-11-16 | Graph-based color description generation |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023549647A true JP2023549647A (ja) | 2023-11-29 |
Family
ID=81658448
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023522843A Pending JP2023549647A (ja) | 2020-11-20 | 2021-11-16 | グラフベースの色記述生成 |
Country Status (8)
Country | Link |
---|---|
US (1) | US11436771B2 (ja) |
JP (1) | JP2023549647A (ja) |
KR (1) | KR20230095980A (ja) |
CN (1) | CN116601673A (ja) |
AU (1) | AU2021384021B2 (ja) |
DE (1) | DE112021006076T5 (ja) |
GB (1) | GB2615498B (ja) |
WO (1) | WO2022106986A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102614051B1 (ko) * | 2023-07-17 | 2023-12-14 | (주)인포시즈 | 그래프 데이터베이스를 이용한 이상 징후 탐지 방법및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2004027695A1 (en) | 2002-09-20 | 2004-04-01 | International Business Machines Coporation | Color naming, color categorization and describing color composition of images |
US7339701B2 (en) * | 2002-12-16 | 2008-03-04 | Xerox Corporation | Method for darkness correction of trapped pixels |
CN101556652B (zh) | 2009-04-15 | 2011-11-30 | 北京联合大学 | 一种基于机器学习的中国书画颜色分层分析方法 |
EP2490132A4 (en) | 2009-10-16 | 2016-10-05 | Nec Corp | COLOR ANALYSIS DEVICE, COLOR ANALYSIS METHOD, AND COLOR ANALYSIS PROGRAM |
JP5259894B1 (ja) | 2011-08-05 | 2013-08-07 | 楽天株式会社 | 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム |
US8918434B2 (en) | 2012-04-24 | 2014-12-23 | International Business Machines Corporation | Optimizing sparse schema-less data in relational stores |
US9846951B2 (en) * | 2016-03-31 | 2017-12-19 | Konica Minolta Laboratory U.S.A., Inc. | Determining a consistent color for an image |
TWI687825B (zh) | 2018-12-03 | 2020-03-11 | 國立臺灣師範大學 | 對應自然語言至色彩組合之方法與系統 |
US11735320B2 (en) | 2018-12-04 | 2023-08-22 | Merative Us L.P. | Dynamic creation and manipulation of data visualizations |
US11334636B2 (en) * | 2019-01-29 | 2022-05-17 | Twitter, Inc. | Real-time event detection on social data streams |
-
2020
- 2020-11-20 US US17/100,018 patent/US11436771B2/en active Active
-
2021
- 2021-11-16 KR KR1020237015768A patent/KR20230095980A/ko active Search and Examination
- 2021-11-16 GB GB2307407.3A patent/GB2615498B/en active Active
- 2021-11-16 WO PCT/IB2021/060583 patent/WO2022106986A1/en active Application Filing
- 2021-11-16 CN CN202180077695.1A patent/CN116601673A/zh active Pending
- 2021-11-16 AU AU2021384021A patent/AU2021384021B2/en active Active
- 2021-11-16 DE DE112021006076.7T patent/DE112021006076T5/de active Pending
- 2021-11-16 JP JP2023522843A patent/JP2023549647A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
DE112021006076T5 (de) | 2023-09-14 |
AU2021384021B2 (en) | 2023-09-07 |
AU2021384021A1 (en) | 2023-06-01 |
GB2615498B (en) | 2024-01-03 |
US20220165006A1 (en) | 2022-05-26 |
CN116601673A (zh) | 2023-08-15 |
US11436771B2 (en) | 2022-09-06 |
WO2022106986A1 (en) | 2022-05-27 |
GB202307407D0 (en) | 2023-07-05 |
GB2615498A (en) | 2023-08-09 |
KR20230095980A (ko) | 2023-06-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10831733B2 (en) | Interactive adjustment of decision rules | |
AU2018203274A1 (en) | Training an RGB-D classifier with only depth data and privileged information | |
US20170185609A1 (en) | Universal adaptor for rapid development of web-based data visualizations | |
US20180357320A1 (en) | Network search query | |
US11989237B2 (en) | Natural language interaction with automated machine learning systems | |
JP7398474B2 (ja) | ディープ・フォレスト・モデルの開発および訓練 | |
US20190199663A1 (en) | Chat message processing | |
US10521609B2 (en) | Securely transferring data over a computer network | |
JP2023526579A (ja) | 強化学習を用いた教師なしテキスト要約 | |
US20200183996A1 (en) | Social media tag suggestion based on product recognition | |
US20230127523A1 (en) | Managing container images in groups | |
JP2023549647A (ja) | グラフベースの色記述生成 | |
US20190188256A1 (en) | Symbolic regression embedding dimensionality analysis | |
JP2022518671A (ja) | デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行 | |
US10671891B2 (en) | Reducing computational costs of deep reinforcement learning by gated convolutional neural network | |
US20190258898A1 (en) | Generating artificial images for use in neural networks | |
US10970053B2 (en) | Generating semi-automated visual analytics solutions | |
US10168999B2 (en) | Software object definition and integration | |
JP7493583B2 (ja) | キュービットの感覚的表現 | |
JP7477253B2 (ja) | ドメイン固有モデル圧縮 | |
GB2600551A (en) | Detection of associations between datasets | |
CN108700642A (zh) | 基于具有不确定性的用户移动数据的位置上下文推断 | |
US11823078B2 (en) | Connected insights in a business intelligence application | |
US20240007469A1 (en) | Data protection in network environments | |
US20230410387A1 (en) | Color replacement for the colorblind using an automatic image colorization artificial intelligence model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230524 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240411 |