JP2023549647A - グラフベースの色記述生成 - Google Patents

グラフベースの色記述生成 Download PDF

Info

Publication number
JP2023549647A
JP2023549647A JP2023522843A JP2023522843A JP2023549647A JP 2023549647 A JP2023549647 A JP 2023549647A JP 2023522843 A JP2023522843 A JP 2023522843A JP 2023522843 A JP2023522843 A JP 2023522843A JP 2023549647 A JP2023549647 A JP 2023549647A
Authority
JP
Japan
Prior art keywords
color
computer
node
graph
nodes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023522843A
Other languages
English (en)
Inventor
ロヨラ、ホイフェマン、パブロ、サルバドル
ボンクルビサル、ジャヤコーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JP2023549647A publication Critical patent/JP2023549647A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/206Drawing of charts or graphs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • G06F16/9024Graphs; Linked lists
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/044Recurrent networks, e.g. Hopfield networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/088Non-supervised learning, e.g. competitive learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20072Graph-based image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Luminescent Compositions (AREA)
  • Macromonomer-Based Addition Polymer (AREA)
  • Image Analysis (AREA)

Abstract

自然言語による色についての記述を生成するための方法、システム、及びコンピュータプログラム製品が提示される。この方法は、タプルのリストを取得することと、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによってグラフを生成することと、外部色比較記述に基づいてエッジをフィルタリングすることと、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことと、メッセージパッシングを用い、ノードの色を初期シードとして用いることによって、ノードの各々について特徴ベクトルを学習することと、学習された特徴ベクトルの各々をニューラルネットワークベースのデコーダの初期状態として使用することによって新ノードの記述を生成することとを含む。

Description

本発明は、一般にカラーネーミングに関するものであり、より具体的には、グラフベースの色記述の生成に関するものである。
色は主要な視覚的キューの1つであり、色の物理学及び精神物理学から始まり、実用的課題における色の原理の使用まで、多様なレベルで広範囲に研究されてきた。その中には、正確なレンダリング、表示及び再現、画像フィルタリング、符号化、検索、その他の科学的視覚化、コンピュータグラフィックス、画像及び映像処理における数多くの応用が含まれる。興味深いことに、カラーネーミングは最も一般的な視覚タスクの1つであるにもかかわらず、工学界ではあまり注目されていなかった。しかし、視覚技術及びマルチメディアが急速に発展し、高度なユーザインターフェース及び人間と機械との対話が発達した今日、個々の色の名称を命名し、特定の色のオブジェクトを指し示し、色構成の印象を伝える能力は、ますます重要なタスクになっている。カラーキューは、対話式の視覚化及びコンピュータグラフィックスに利用することができる。カラーネーミングは、自然なユーザインターフェースの設計を容易にする。高次の色記述子は画像コンテンツへのリンクを提供することが多いので、そうした高次の色記述子の抽出は画像解析及びコンピュータビジョンにおける挑戦的な課題である。画像のセグメント化と組み合わせたときに、カラーネーミングを、色によるオブジェクトの選択、画像の外観の記述、さらには意味論的注釈の生成に利用できるようにすることは有利である。
第1の態様によれば、本発明は、自然言語による色についての記述を生成するための方法を提供する。この方法は、タプルの各々が色及び記述を含む、タプルのリストを取得することと、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことであって、新ノードはタプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、メッセージパッシングを用い、ノードの色を初期シードとして用いることによって、グラフ内のノードの各々について特徴ベクトルを学習することと、学習された特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって新ノードの記述を生成することと、を含む。
別の態様によれば、本発明は、自然言語による色についての記述を生成するための方法を提供する。この方法は、タプルの各々が色及び記述を含む、タプルのリストを得ることと、タプルの各々をノードとして用い、類似度閾値に基づいてノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことと、を含む。
自然言語による色についての記述を生成するためのコンピュータプログラム製品が提示され、このコンピュータプログラム製品は、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、プログラム命令は、コンピュータによって実行可能であり、コンピュータに、タプルの各々が色及び記述を含む、タプルのリストを取得することと、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことであって、新ノードはタプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、メッセージパッシングを用い、ノードの色を初期シードとして用いることによって、グラフ内のノードの各々について特徴ベクトルを学習することと、学習された特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって新ノードの記述を生成することと、を行わせる。
自然言語による色についての記述を生成するためのコンピュータプログラム製品が提示され、このコンピュータプログラム製品は、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、プログラム命令は、コンピュータによって実行可能であり、コンピュータに、タプルの各々が色及び記述を含む、タプルのリストを得ることと、タプルの各々をノードとして用い、類似度閾値に基づいてノード間にエッジを追加することによってグラフを生成することと、外部色比較データベースに格納された外部色比較記述に基づいてエッジをフィルタリングすることと、類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと最も近い近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込むことと、を行わせる。
さらに別の実施形態によれば、自然言語による色についての記述を生成するための方法が提供される。この方法は、複数のノードとエッジとを含む、色の関係を構造化するグラフを生成することと、色比較記述に基づいて冗長エッジを除去することと、類似度閾値に基づいて、新ノードを新エッジと共にグラフに組み込むことと、グラフの各ノードについて特徴ベクトルを学習することと、特徴ベクトルを使用して新ノードの記述を生成することであって、特徴ベクトルは半教師あり様式でニューラルネットワークに与えられる、生成することと、を含む。
例示的な実施形態は、異なる主題を参照して説明されていることに留意されたい。特に、いくつかの実施形態は、方法タイプの請求項を参照して説明されているのに対し、他の実施形態は、装置タイプの請求項を参照して説明されている。しかしながら、当業者は、上記及び以下の説明から、特段の断りのない限り、1つのタイプの主題に属する特徴のあらゆる組み合わせに加えて、異なる主題に関連する特徴間のあらゆる組み合わせ、特に、方法タイプの請求項の特徴と装置タイプの請求項の特徴との間のあらゆる組み合わせも、本文書内に記載されるとみなされることを推測するであろう。
これら及び他の特徴及び利点は、添付の図面と関連して読まれる、その例示的な実施形態の以下の詳細な説明から明らかになるであろう。
本発明は、以下の図面を参照しながら、以下の好ましい実施形態の説明において詳細を提供する。
本発明の一実施形態による、コンテキスト色グラフ生成を説明する例示的な図である。 本発明の一実施形態による、エッジ・フィルタリングを説明する例示的な図である。 本発明の一実施形態による、ラベルなしノード追加を説明する例示的な図である。 本発明の一実施形態による、色ベースのノード特徴学習を説明する例示的な図である。 本発明の一実施形態による、記述生成を説明する例示的な図である。 本発明の一実施形態による、コンテキスト色グラフ生成のための例示的な方法のブロック/フロー図である。 本発明の一実施形態による、エッジ・フィルタリングのための例示的な方法のブロック/フロー図である。 本発明の一実施形態による、ラベルなしノード追加の例示的な方法のブロック/フロー図である。 本発明の一実施形態による、色ベースのノード特徴学習のための例示的な方法のブロック/フロー図である。 本発明の一実施形態による、記述生成のための例示的な方法のブロック/フロー図である。 本発明の一実施形態による、訓練セットをグラフとして構造化して、半教師あり方式で記述生成を実行するための例示的な方法のブロック/フロー図である。 本発明の一実施形態による、例示的なクラウド・コンピューティング環境のブロック/フロー図である。 本発明の一実施形態による、例示的な抽象化モデル層の模式図である。
図面を通じて、同一又は類似の参照数字は、同一又は類似の要素を表している。
本発明による例示的な実施形態は、自然言語による色についての記述を生成することを提供する。カラーグラウンディング(color grounding)タスクは、言語と色知覚との間の関係を特徴付けることを可能にする。言語と色との間のマッピングを学習することは、人間の表現の創発のいくつかの側面を理解するために重要である。カラーグラウンディングの応用は、例えば、世論(非構造的、抽象的)を予測し、その世論をブランディングのサポートやユーザの反応の推測などに利用するための、広告もしくはマーケティング又はその両方に関連する。カラーグラウンディングにおけるタスクは、自然言語による色についての記述を生成することを学習することである。本発明の例示的な実施形態は、訓練セットをグラフとして構成し、半教師あり方式で記述生成を実行する。
色空間は明確な色指定を可能にするが、日常生活では色は主にその名称で識別されている。色を名称で識別することは、かなりの一般的な色の語彙を必要とし、かつ正確性には欠けるが、誰もが理解できるコミュニケーション方法である。そこで、色名を選択するための語彙、構文、及び標準法を設計しようという、いくつもの試みが行われた。当業者に知られているマンセル表色系は、色の正確な仕様を必要とする用途で広く用いられている。例として、塗料、テキスタイルなどの製造が挙げられる。マンセル表色系は、1,200色の精密に制御された色見本(チップ)を含むマンセル・カラー・ブックによって補完され、業界標準として使用されることが多い。チップは、チップ間の単位段階が知覚的に等しくなるように配置されている。各チップは3つのコードで識別される。明度スケールは、黒を0/、白を10/とするマンセル値で表される。マンセル彩度は、2段階ずつ高くなる(/2、/4、・・・、/10)。色相スケールは、赤(R)、黄赤(YR)、黄(Y)、黄緑(GY)、緑(G)、青緑(BG)、青(B)、紫青(PB)、紫(P)、赤紫(RP)の10色相に分けられ、各色相はさらに10セクションに分けることができる。しかし、マンセル系による色ベース処理の1つの顕著な欠点は、任意の色空間からマンセルへの正確な変換ができないことである。例えば、他者によって提案された変換はかなり複雑であり、CIE XYZの特定領域では不正確なこともある。
色の命名に使われる3000以上の英単語及び語句を列挙した最初のリストは、Maerz及びPaulによって考案され、Dictionary of colorsとして出版された。さらに詳細なものは、米国国立標準局(The National Bureau of Standards)が発行した辞書である。これは、生物学、地質学、切手収集、テキスタイル、染料、及び塗料産業など特定の分野で一般的に使われるようになった約7500の様々な名称を収録したものである。どちらの辞書も、珍しい言葉又は難解な言葉の例を含んでおり、用語が非系統的に列挙されているため、一般的な使用には適さない。
米国国立標準局は、色空間内の267領域の色名を収録したISCC-NBS色名辞書を策定した。この辞書は、英語の用語を使用して、色空間の色相、明度、飽和度の3つの次元に沿って色を記述する。ISCC-NBSモデルの1つの問題点は、体系的な構文がないことである。このことに対処して、新しいカラーネーミングシステム(Color-Naming System、CNS)が設計された。CNSは、ISCC-NBSモデルを部分的にベースにしている。CNSは同じ3つの次元を使用しているが、これらの次元の単語を組み合わせるために使用される規則は形式的構文で定義されている。CNSモデルを拡張したColor-Naming Method(CNM)と呼ばれるモデルは、CNSモデルで記述される構文と同様の構文を使用し、CNMの色名をマンセル系の色範囲にマッピングする。前述の方法はいずれもマンセルモデルと密接な関係があり、したがって、マンセル色空間内で各名称をどのように位置づけるかの説明を提供するものである。
しかしながら、これらの方法を用いて、色見本に色名を付し、命名された色の例を示し、シーンの色領域及びオブジェクトを記述し、最終的に画像の色構成を伝える方法は明白ではない。
本発明の例示的な実施形態は、そうした問題をグラフベースの色記述機構又は構造を生成することによって軽減する方法及びシステムを開示する。訓練セットは、グラフとして構造化され、半教師あり方式で記述生成を実行する。本発明の例示的な実施形態は、色表現のグローバルな知覚を組み込んだコンテキスト情報を使用する。人間の知覚の使用により、より現実的な色関係が可能になり、グラフベースの表現により、近隣のノードが情報/コンテキストを共有することが可能になり、コンテキスト情報は、完全一致が満たされない場合に、より多くの色と言語との関連付けの発見に潜在的につながる有用な多様性を提供する。さらに、本発明の例示的な実施形態に鑑みて、標準モデルと比較して、記憶に関する問題がより少なくなる。
本発明は、所与の例示的アーキテクチャの観点から説明されるが、他のアーキテクチャ、構造、基板材料、及びプロセスの特徴並びにステップ/ブロックは、本発明の範囲内で変化させることができることが理解されるであろう。明確化のために、特定の特徴をすべての図に示すことができないことに留意されたい。これは、いずれかの特定の実施形態、又は図示、又は特許請求の範囲の限定として解釈されることを意図していない。
本発明の様々な例示的な実施形態を以下に説明する。明確にするために、実際の実装のすべての特徴を本明細書で説明するわけではない。もちろん、そのような実際の実施形態の開発において、開発者の特定の目標を達成するためには、システム関連及びビジネス関連の制約への準拠など多くの実装固有の決定を行わなければならず、それは実装ごとに異なるであろうことは理解されよう。さらに、そのような開発努力は複雑で時間がかかるかもしれないが、それにもかかわらず、本発明の利益を有する当業者にとっては日常的な仕事であろうことが理解されよう。
図1は、本発明の一実施形態による、コンテキスト色グラフ生成を説明する例示的な図である。
コンテキスト色グラフ生成10に関して、データ12は、類似度閾値tに基づいてグラフとして構造化される。閾値tは、人間が色差をどのように知覚するかを説明するメトリックであるデルタE(RGB空間内の距離は線形に知覚されないので有用なメトリックである)に基づいて定義される。具体的には、2つの色の間のデルタE値が11と49との間である場合、例示的な方法はリンクを生成する。デルタE値がその範囲外である場合(似すぎている、ほとんど同じ、又は遠すぎる)、例示的な方法はエッジを追加しない。
コンテキスト色グラフは、1つの非限定的な例において、第1の色20、第2の色22、第3の色24、第4の色26、第5の色28、第6の色30、及び第7の色32を含むことができる。第1の色20は、エッジ11を介して第2の色22に接続されている。第2の色22は、エッジ13を介して第3の色24に接続されている。第3の色24は、エッジ17を介して第4の色26に接続されている。第1の色20は、エッジ15を介して第4の色26に接続されている。第3の色24は、エッジ19を介して第5の色28に接続されている。第4の色26は、エッジ21を介して第5の色28に接続されている。第4の色26は、エッジ23を介して第6の色30に接続されている。第5の色28は、エッジ25を介して第6の色30に接続されている。第5の色28は、エッジ27を介して第7の色32に接続されている。
データ12は、(色,記述)のタプル(c,d)のリストTとして指定することができ、ここでcはRGBタプルで表された色であり、dはトークンのシーケンスである。
グラフGは次のように与えることができる。
Figure 2023549647000002
デルタE(又はdE)は、2つの色の間の「距離」を表す単一の数である。その考え方は、1.0のdEが人間の目で見ることができる最小の色差であるというものである。つまり、1.0より小さいdEはいずれも知覚できず、1.0より大きいdEは当然、気づくことができるということになる。しかしながら、色差によっては1より大きくても完全に許容できる場合もあり、それどころか気づかない場合もあり得る。また、同じdEの色差でも、2種類の黄色の間の色差と2種類の青色の間の色差が、目には同じ差に見えないこともあり、また、別の場所では、観察者の目には違うように見えることもある。
デルタEレベルは、表示色と入力コンテンツの元の色標準との差である。デルタEの数値が低いほど精度が高いことを示し、デルタEの数値が高いほどミスマッチが大きいことを示している。デルタEの「E」は、ドイツ語で「感覚」を意味する「Empfindung」を表す。全体として、デルタEという用語は、感覚における違いを意味する。例示的な実施形態は、新しい色の定義を支援するためのグラフベースの方法を作成又は生成する。
図2は、本発明の一実施形態による、エッジ・フィルタリングを説明する例示的な図である。
エッジ・フィルタリングに関して、外部データ色比較データベース35の外部データを用いて、冗長又は実現不可能なエッジを除去する。色比較データ40が使用される。色比較データは、非限定的な一例において、いくつかの異なる色41~48を含むことができる。各エッジについて、(ソース、ターゲット)ペアがデータセット内のいずれかのペアに近い場合、そのエッジは保持又は維持される。そうでない場合、エッジは削除される。これにより、より滑らかな遷移を得る(例えば、急激な色の変化を避ける)ことができ、そのことが最終的に学習を容易にする。エッジの除去の結果、コンテキスト色グラフ10’が得られる。このグラフ10’では、3つのエッジが除去されている。除去された第1のエッジは、50で示され、第1の色20と第4の色26との間に位置していた。除去された第2のエッジは、52で示され、第3の色24と第5の色28との間に位置していた。除去された第3のエッジは、54で示され、第4の色26と第5の色28との間に位置していた。このように、外部データに基づいて、これら3つのエッジが冗長又は実現不可能なエッジであると判断された。外部データは、比較色データのみを格納するためのカスタムデータベースである、外部データ色比較データベース35に格納されていることに留意されたい。
図3は、本発明の一実施形態による、ラベルなしノードの追加を説明する例示的な図である。
ラベルなしノードの追加に関して、未見色(unseen color)が与えられると、ラベルなしノード(記述を持たない、色のみ)として表される。未見色62は、色差の観点で最も近い近隣を見つけることによって、主グラフ60に組み込まれる。この処理にも人間の知覚のメトリックであるデルタEを閾値として用いる(図1のコンテキスト色グラフ生成に関して上述したのと同じ構成)。ノード62がグラフ60に追加された後、ゴールは、ラベル付きノードのセットからラベルなしノードまでエッジが提供するコンテキスト情報を使用し、それによりcのための記述dを学習することである。新ノード62は、エッジ61及び63を有する。エッジ61は、新ノード62を第5の色28に接続又はリンクし、エッジ63は、新ノード62を第7のノード32に接続又はリンクする。したがって、ノード62の色は、色28、32に類似している又は近い。
図4は、本発明の一実施形態による、色ベースのノード特徴学習を説明する例示的な図70である。
色ベースのノード特徴学習に関して、色を初期シードとして用い、メッセージパッシング・アルゴリズムを用いて、すべてのノードについて特徴ベクトルを学習する。これにより、得られた各ベクトルは、各色とその周囲の近隣との関係を符号化する。
具体的には、5つの色が示されている。したがって、5つのベクトルが生成される。例えば、第4の色26は特徴ベクトル72を有し、第5の色28は特徴ベクトル76を有し、第6の色30は特徴ベクトル74を有し、第7の色32は特徴ベクトル78を有し、新ノード62は特徴ベクトル80を有する。色28、32と色30、32と色26、30との間の矢印は、異なる色の間で展開される関係を示す。
メッセージパッシング・アルゴリズム(MPA)は、符号のグラフィカルモデルにおいて動作する確率伝搬アルゴリズムの一種であることに留意されたい。MPAは、変数ノードとチェックノードとの間で、結果に到達するか又は処理が停止するまで繰り返しメッセージが行き来するので、反復アルゴリズムとしても知られている。
図5は、本発明の一実施形態による、記述生成を説明する例示的な図90である。
記述生成に関して、学習されたベクトルは半教師あり設定で使用される。各ベクトルは、リカレントニューラルネットワーク(RNN)ベースのデコーダ92、94、96に渡され、生成のためのその初期シードとして機能する。RNNにおける損失が、グラフのラベル付き部分に対して計算される。したがって、学習は、関係するすべての表現(ラベル付き及びラベルなしの両方)に影響を与える。さらに、新ノード62の特徴ベクトル80は、デコーダ92、94、96を通過して、重みw、w、wを生成する。
図6は、本発明の一実施形態による、コンテキスト色グラフ生成のための例示的な方法のブロック/フロー図である。
ブロック110において、データは類似度閾値に基づくグラフとして構造化され、類似度閾値はデルタE(人間が色差をどのように知覚するかを説明するメトリック)に基づいて定義される。
ブロック112において、2つの色に関するデルタE値が11と49との間であるか否かが判断される。YESの場合、プロセスはブロック114に進む。NOの場合、プロセスはブロック116に進む。
ブロック114において、2つの色の間にリンクが生成される。
ブロック118において、コンテキスト色グラフ生成の後、エッジ・フィルタリングが開始される。
ブロック116において、デルタE値が11と49との間でない場合、2つの色の間に接続は定義されない。
図7は、本発明の一実施形態による、エッジ・フィルタリングのための例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック122において、少なくとも色比較データを含む外部データを使用して、エッジ・フィルタリング処理を開始する。
ブロック124において、(ソース、ターゲット)ペアが、色比較データ内のいずかのペアに近いか否かが判断される。YESの場合、プロセスはブロック126に進む。NOの場合、プロセスはブロック128に進む。
ブロック126において、エッジが維持又は保持される。
ブロック129において、エッジ・フィルタリングが行われた後、ラベルなしノード追加が行われる。
ブロック128において、そのペアが色比較データ内のいずれのペアにも近くない場合、エッジが除去される。
図8は、本発明の一実施形態による、ラベルなしノード追加の例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック118において、図7を参照して説明したように、エッジ・フィルタリングが実行される。
ブロック130において、未見色が、ラベルなしノード(記述なし)として表現される。
ブロック132において、色差の観点から最も近い近隣を見つけることによって、未見色が(ノードとして)主グラフに組み込まれる。
ブロック134において、ラベルなしノード追加を行った後、色ベースのノード特徴学習が行われる。
図9は、本発明の一実施形態による、色ベースのノード特徴学習のための例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック118において、図7を参照して説明したように、エッジ・フィルタリングが実行される。
ブロック129において、図8を参照して説明したように、コンテキスト色グラフへのラベルなしノード追加が実行される。
ブロック140において、メッセージパッシング・アルゴリズムを使用して、すべてのノードについて特徴ベクトルを学習して、各色とその周囲の近隣との関係を符号化する。
ブロック142において、色ベースのノード特徴学習を行った後、記述生成が行われる。
図10は、本発明の一実施形態による、記述生成のための例示的な方法のブロック/フロー図である。
ブロック120において、図6を参照して説明したように、コンテキスト色グラフが生成される。
ブロック118において、図7を参照して説明したように、エッジ・フィルタリングが実行される。
ブロック129において、図8を参照して説明したように、コンテキスト色グラフへのラベルなしノード追加が実行される。
ブロック140において、図9を参照して説明したように、コンテキスト色グラフのすべてのノードについて特徴ベクトルが学習される。
ブロック150において、学習されたベクトルは、記述生成のために、半教師あり設定で使用される(各ベクトルは、RNNベースのデコーダに渡され、生成のための初期シードとして機能する)。
ブロック152において、色-言語マッピングが表形式に組み込まれ、コンピューティング・デバイスに表示される。
図11は、本発明の一実施形態による、訓練セットをグラフとして構造化して、半教師あり方式で記述生成を実行する例示的な方法のブロック/フロー図である。
ブロック210において、タプルの各々が色及び記述を含む、タプルのリストを取得する。
ブロック220において、タプルの各々をノードとして用い、ノード間の人間の知覚の観点での色差が所定範囲外にある場合にノード間にエッジを追加することによって、グラフを生成する。
ブロック230において、外部データベースに格納された外部色比較記述に基づいてエッジをフィルタリングする。
ブロック240において、人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと近隣ノードとの間に新しいエッジを追加することによって新ノードをグラフに組み込み、新ノードはリストに含まれていない新しい色を含み、記述を有しない。
ブロック250において、メッセージパッシング・アルゴリズムを用い、ノードの色を初期シードとして用いることによって、グラフ内のノードの各々について特徴ベクトルを学習する。
ブロック260において、学習された特徴ベクトルの各々を半教師あり方式でRNNベースのデコーダの初期状態として使用することによって、新ノードの記述を生成する。
要約すると、本発明の例示的な実施形態は、色表現のグローバルな知覚を組み込んだコンテキスト情報を使用する。人間の知覚の使用により、より現実的な色関係が可能になり、グラフベースの表現により、近隣のノードが情報/コンテキストを共有することが可能になり、コンテキスト情報は、完全一致が満たされない場合に、より多くの色と言語との関連付けの発見に潜在的につながる、有用な多様性を提供する。さらに、標準モデルと比較して、記憶に関する問題がより少なくなる。また、色-言語マッピングのために生成されるグラフは、データセットごとに1つだけである。このように、モデルが学習され、グラフを用いて色関係を構造化し、いくつもの生成及び検索タスクに利用することができる構文的に妥当な記述が生成される。
図12は、本発明の一実施形態による、例示的なクラウド・コンピューティング環境のブロック/フロー図である。
本発明は、クラウド・コンピューティングについての詳細な説明を含むが、本明細書に記載された教示の実装は、クラウド・コンピューティング環境に限定されないことが理解されるであろう。むしろ、本発明の実施形態は、現在既知の、又は後に開発される他のあらゆるタイプのコンピューティング環境と組み合わせて実施することが可能である。
クラウド・コンピューティングは、最小限の管理労力又はサービス・プロバイダとの対話で迅速にプロビジョニング及び解放することができる構成可能なコンピューティング・リソース(例えば、ネットワーク、ネットワーク帯域幅、サーバ、処理、メモリ、ストレージ、アプリケーション、仮想マシン、及びサービス)の共有プールへの、便利なオンデマンドのネットワーク・アクセスを可能にするためのサービス配信のモデルである。このクラウド・モデルは、少なくとも5つの特徴、少なくとも3つのサービス・モデル、及び少なくとも4つのデプロイメント・モデルを含むことができる。
特徴は以下の通りである。オンデマンド・セルフサービス:クラウド・コンシューマは、必要に応じて、サーバ時間及びネットワーク・ストレージ等のコンピューティング機能を、人間がサービスのプロバイダと対話する必要なく自動的に、一方的にプロビジョニングすることができる。広範なネットワーク・アクセス:機能は、ネットワーク上で利用可能であり、異種のシン又はシック・クライアント・プラットフォーム(例えば、携帯電話、ラップトップ、及びPDA)による使用を促進する標準的な機構を通じてアクセスされる。リソース・プール化:プロバイダのコンピューティング・リソースは、マルチ・テナント・モデルを用いて、複数のコンシューマにサービスを提供するためにプールされ、異なる物理及び仮想リソースが、要求に応じて動的に割り当て及び再割り当てされる。コンシューマは、一般に、提供されるリソースの正確な位置についての制御又は知識を持たないという点で位置とは独立しているといえるが、より抽象化レベルの高い位置(例えば、国、州、又はデータセンタ)を特定できる場合がある。迅速な弾力性:機能を、迅速かつ弾力的に、場合によっては自動的に、プロビジョニングしてすばやくスケールアウトし、迅速に解放して素早くスケールインすることができる。コンシューマにとって、プロビジョニングに利用可能な機能は、多くの場合、無制限であるように見え、いつでもどんな量でも購入できる。計測されるサービス:クラウド・システムは、サービスのタイプ(例えば、ストレージ、処理、帯域幅、及びアクティブなユーザ・アカウント)に適した何らかの抽象化レベルでの計量機能を用いることによって、リソースの使用を自動的に制御及び最適化する。リソース使用を監視し、制御し、報告して、利用されるサービスのプロバイダとコンシューマの両方に対して透明性をもたらすことができる。
サービス・モデルは以下の通りである。Software as a Service(SaaS):コンシューマに提供される機能は、クラウド・インフラストラクチャ上で動作する、プロバイダのアプリケーションを使用することである。これらのアプリケーションには、ウェブ・ブラウザ(例えば、ウェブ・ベースの電子メール)などのシン・クライアント・インターフェースを通じて、種々のクライアント・デバイスからアクセス可能である。コンシューマは、限定されたユーザ固有のアプリケーション構成設定を想定される例外として、ネットワーク、サーバ、オペレーティング・システム、ストレージ、又は個々のアプリケーション機能をも含めて、基礎をなすクラウド・インフラストラクチャを管理又は制御しない。
Platform as a Service(PaaS):コンシューマに提供される機能は、プロバイダによってサポートされるプログラミング言語及びツールを用いて生成された、コンシューマが作成した又は取得したアプリケーションを、クラウド・インフラストラクチャ上にデプロイすることである。コンシューマは、ネットワーク、サーバ、オペレーティング・システム、又はストレージを含む基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、デプロイされたアプリケーション、及び場合によってはアプリケーション・ホスティング環境構成に対する制御を有する。Infrastructure as a Service(IaaS):コンシューマに提供される機能は、コンシューマが、オペレーティング・システム及びアプリケーションを含み得る任意のソフトウェアをデプロイして動作させることができる、処理、ストレージ、ネットワーク、及び他の基本的なコンピューティング・リソースをプロビジョニンングすることである。コンシューマは、基礎をなすクラウド・インフラストラクチャを管理又は制御しないが、オペレーティング・システム、ストレージ、デプロイされたアプリケーションに対する制御、及び場合によってはネットワーク・コンポーネント(例えば、ホストのファイアウォール)選択に対する限定された制御を有する。
デプロイメント・モデルは以下の通りである。プライベート・クラウド:クラウド・インフラストラクチャは、ある組織のためだけに運営される。これは、その組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。コミュニティ・クラウド:クラウド・インフラストラクチャは、幾つかの組織によって共有され、共通の関心事項(例えば、ミッション、セキュリティ要件、ポリシー、及びコンプライアンス上の考慮事項)を有する特定のコミュニティをサポートする。これは、それらの組織又は第三者によって管理することができ、オンプレミス又はオフプレミスに存在することができる。パブリック・クラウド:クラウド・インフラストラクチャは、一般公衆又は大規模な業界グループによって利用可能であり、クラウド・サービスを販売する組織によって所有される。ハイブリッド・クラウド:クラウド・インフラストラクチャは、固有のエンティティのままであるが、データ及びアプリケーションのポータビリティを可能にする標準化技術又は専用技術(例えば、クラウド間の負荷平衡のためのクラウド・バースティング)によって互いに結び付けられた、2つ以上のクラウド(プライベート、コミュニティ、又はパブリック)の組合せである。
クラウド・コンピューティング環境は、サービス指向であり、ステートレス性、低結合性、モジュール性、及びセマンティック相互運用性に焦点を置く。クラウド・コンピューティングの中心は、相互接続されたノードのネットワークを含むインフラストラクチャである。
ここで図12を参照すると、本発明のユースケースを可能にするための例示的なクラウド・コンピューティング環境1250が描かれている。図示されるように、クラウド・コンピューティング環境1250は、クラウド・コンシューマによって用いられる例えば携帯情報端末(PDA)又は携帯電話1254A、デスクトップ・コンピュータ1254B、ラップトップ・コンピュータ1254C、もしくは自動車コンピュータ・システム1254N又はそれらの組合せ等のローカル・コンピューティング・デバイスが通信することができる1つ又は複数のクラウド・コンピューティング・ノード1210を含む。ノード1210は、互いに通信することができる。これらを物理的又は仮想的にグループ化(図示せず)して、上述のようなプライベート・クラウド、コミュニティ・クラウド、パブリック・クラウドもしくはハイブリッド・クラウド又はこれらの組合せ等の1つ又は複数のネットワークにすることができる。これによりクラウド・コンピューティング環境1250は、インフラストラクチャ、プラットフォームもしくはソフトウェア又はそれらの組合せを、クラウド・コンシューマがローカル・コンピューティング・デバイス上にリソースを保持する必要のないサービスとして提供することができるようになる。図12に示されるコンピューティング・デバイス1254A-Nのタイプは単なる例示として意図されており、コンピューティング・ノード1210及びクラウド・コンピューティング環境1250は、あらゆるタイプのネットワークもしくはネットワーク・アドレス指定可能な接続又はその両方を介して(例えば、ウェブ・ブラウザを用いて)、あらゆるタイプのコンピュータ化された装置と通信することができることが理解される。
図13は、本発明の一実施形態による、例示的な抽象化モデル層の模式図である。図13に示されるコンポーネント、層及び機能は、単なる例証を意図したものであり、本発明の実施形態はそれらに限定されないことを予め理解されたい。図示されるように、以下の層及び対応する機能が提供される。
ハードウェア及びソフトウェア層1360は、ハードウェア及びソフトウェアのコンポーネントを含む。ハードウェア・コンポーネントの例には、メインフレーム1361、RISC(Reduced Instruction Set Computer(縮小命令セットコンピュータ))アーキテクチャ・ベースのサーバ1362、サーバ1363、ブレード・サーバ1364、ストレージデバイス1365、並びにネットワーク及びネットワーキング・コンポーネント1366が含まれる。幾つかの実施形態において、ソフトウェア・コンポーネントは、ネットワーク・アプリケーション・サーバ・ソフトウェア1367及びデータベース・ソフトウェア1368を含む。
仮想化層1370は、抽象化層を提供し、この層により、仮想エンティティの以下の例、すなわち、仮想サーバ1371、仮想ストレージ1372、仮想プライベート・ネットワークを含む仮想ネットワーク1373、仮想アプリケーション及びオペレーティング・システム1374、並びに仮想クライアント1375を提供することができる。
一例では、管理層1380は、以下に説明する機能を提供することができる。
リソースプロビジョニング1381は、クラウド・コンピューティング環境内でタスクを実行するために利用されるコンピューティング・リソース及びその他のリソースの動的な調達を提供する。
計量及び価格設定1382は、クラウド・コンピューティング環境内でリソースが利用されたときの費用追跡と、これらのリソースの消費に対する課金又は請求とを提供する。一例として、これらのリソースは、アプリケーション・ソフトウェア・ライセンスを含むことができる。セキュリティは、クラウド・コンシューマ及びタスクについての識別検証、並びにデータ及び他のリソースに対する保護を提供する。ユーザ・ポータル1383は、コンシューマ及びシステム管理者に対してクラウド・コンピューティング環境へのアクセスを提供する。サービスレベル管理1384は、必要なサービスレベルが満たされるようにクラウド・コンピューティング・リソースの割当て及び管理を提供する。サービスレベル・アグリーメント(SLA)計画及び履行1385は、SLAに従って将来的な必要性が予測されるクラウド・コンピューティング・リソースの事前配置及び調達を提供する。
ワークロード層1390は、クラウド・コンピューティング環境をそのために利用することができる機能の例を提供する。この層から提供することができるワークロード及び機能の例は、マッピング及びナビゲーション1391、ソフトウェア開発及びライフサイクル管理1392、仮想教室教育配信1393、データ解析処理1394、トランザクション処理1395、並びにクラウドサーバにおけるグラフベースの色記述1396を含む。
本明細書で使用される場合、「データ」、「コンテンツ」、「情報」及び同様の用語は、様々な例示的な実施形態に従って捕捉、送信、受信、表示もしくは保存する又はそれらの組合せを行うことができるデータを指すために互換的に使用することができる。したがって、いずれかのそのような用語の使用は、本開示の精神及び範囲を制限するものと取るべきではない。さらに、コンピューティング・デバイスが別のコンピューティング・デバイスからデータを受信するように本明細書に記載されている場合、データは、別のコンピューティング・デバイスから直接受信することもでき、又は例えば、1つ又は複数のサーバ、中継器、ルータ、ネットワークアクセスポイント、基地局又はそれらの組合せなどの1つ又は複数の介在するコンピューティング・デバイスを介して間接的に受信することもできる。
ユーザとの対話を提供するために、本明細書に記載の主題の実施形態は、ユーザに情報を表示するための表示装置、例えばCRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ、並びにユーザがコンピュータに入力を提供できるキーボード及びポインティング装置、例えばマウス又はトラックボールを有するコンピュータで実装することができる。ユーザとの対話を提供するために他の種類の装置も使用することができ、例えば、ユーザに提供されるフィードバックは、視覚フィードバック、聴覚フィードバック、触覚フィードバックなど、あらゆる形式の感覚フィードバックとすることができ、ユーザからの入力は、音響、音声、触覚入力など、あらゆる形式で受信することができる。
本発明は、システム、方法、もしくはコンピュータプログラム製品又はそれらの組合せとすることができる。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令を有する1つ又は複数のコンピュータ可読ストレージ媒体を含むことができる。
コンピュータ可読ストレージ媒体は、命令実行デバイスによる使用のために命令を保持及び格納することができる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁気ストレージデバイス、半導体ストレージデバイス、又は上記のものの任意の適切な組合せとすることができるがこれらに限定されない。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストは、ポータブル・コンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ(RAM)、読み出し専用メモリ(ROM)、消去可能プログラム可能読み出し専用メモリ(EPROM又はフラッシュメモリ)、静的ランダム・アクセス・メモリ(SRAM)、ポータブル・コンパクトディスク読み出し専用メモリ(CD-ROM)、デジタル多目的ディスク(DVD)、メモリスティック、フロッピーディスク、記録された命令を有するパンチカードもしくは溝内に隆起した構造等の機械式コード化デバイス、及び上記のものの任意の適切な組合せを含む。コンピュータ可読ストレージ媒体は、本明細書で用いられる場合、無線波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体を通って伝搬する電磁波(例えば光ファイバケーブルを通る光パルス)、又は電線を通って伝送される電気信号のような一時的な信号自体と解釈すべきではない。
本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング/処理デバイスにダウンロードすることも、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワークもしくは無線ネットワーク又はそれらの組合せを経由して、外部コンピュータもしくは外部ストレージデバイスにダウンロードすることもできる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータもしくはエッジサーバ又はそれらの組合せを含むことができる。各コンピューティング/処理デバイス内のネットワーク・アダプタ・カード又はネットワーク・インタフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、そのコンピュータ可読プログラム命令をそれぞれのコンピューティング/処理デバイス内のコンピュータ可読ストレージ媒体にストレージのために転送する。
本発明のオペレーションを実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ(ISA)命令、機械語命令、機械依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Smalltalk、もしくはC++などのオブジェクト指向プログラミング言語及び「C」プログラミング言語もしくは類似のプログラミング言語のような従来の手続き型プログラミング言語を含む1つもしくは複数のプログラミング言語の任意の組合せで記述されたソースコードもしくはオブジェクトコードのいずれかとすることができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータもしくはサーバ上で実行される場合もある。後者のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク(LAN)もしくは広域ネットワーク(WAN)を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続が行われる場合もある(例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて)。幾つかの実施形態において、例えばプログラム可能論理回路、フィールドプログラム可能ゲートアレイ(FPGA)、又はプログラム可能論理アレイ(PLA)を含む電子回路は、本発明の態様を実施するために、コンピュータ可読プログラム命令の状態情報を利用して電子回路を個別化することにより、コンピュータ可読プログラム命令を実行することができる。
本発明の態様は、本明細書において、本発明の実施形態による方法、装置(システム)、及びコンピュータプログラム製品のフローチャート図もしくはブロック図又はその両方を参照して説明される。フローチャート図もしくはブロック図又はその両方の各ブロック、並びにフローチャート図もしくはブロック図又はその両方のブロックの組合せは、コンピュータ可読プログラム命令によって実装することができることが理解されるであろう。
これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャートもしくはブロック図又はその両方の1つ又は複数のブロック内で指定された機能/動作を実装するための手段を作り出すようにすることができる。これらのコンピュータ可読プログラム命令を、コンピュータ、プログラム可能データ処理装置、もしくは他のデバイス又はそれらの組合せを特定の方式で機能させるように指示することができるコンピュータ可読ストレージ媒体内に格納し、それにより、その中に格納された命令を有するコンピュータ可読媒体が、フローチャートもしくはブロック図又はその両方の1つ又は複数のブロックにおいて指定された機能/動作の態様を実装する命令を含む製品を含むようにすることもできる。
コンピュータ可読プログラム命令を、コンピュータ、他のプログラム可能データ処理装置又は他のデバイス上にロードして、一連のオペレーションステップをコンピュータ、他のプログラム可能データ処理装置又は他のデバイス上で行わせてコンピュータ実装のプロセスを生成し、それにより、コンピュータ、他のプログラム可能装置又は他のデバイス上で実行される命令が、フローチャートもしくはブロック図又はその両方の1つ又は複数のブロックにおいて指定された機能/動作を実装するようにすることもできる。
図面内のフローチャート及びブロック図は、本開示の種々の実施形態による、システム、方法、及びコンピュータプログラム製品の可能な実装の、アーキテクチャ、機能及びオペレーションを示す。この点に関して、フローチャート又はブロック図内の各ブロックは、指定された論理機能を実装するための1つ又は複数の実行可能命令を含む、モジュール、セグメント、又は命令の一部を表すことができる。幾つかの代替的な実装において、ブロック内に記された機能は、図中に記された順序とは異なる順序で行われることがある。例えば、連続して示された2つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図もしくはフローチャート図又はその両方の各ブロック、及びブロック図もしくはフローチャート図又はその両方の中のブロックの組合せは、指定された機能又は動作を実行する専用ハードウェア・ベースのシステムによって実装することもでき、又は専用ハードウェアとコンピュータ命令との組合せを実行することもできることにも留意されたい。
本明細書において、本原理の「1つの実施形態」又は「一実施形態」、及びその他の変形への言及は、その実施形態に関連して説明される特定の特徴、構造、特性などが、本原理の少なくとも1つの実施形態に含まれることを意味している。したがって、本明細書中の様々な場所に現れる「1つの実施形態において」又は「一実施形態において」という表現、及びその他の変形は、必ずしも全てが同じ実施形態を指しているわけではない。
以下の「/」、「及び/又は」、及び「の少なくとも1つ」のいずれかの使用、例えば、「A/B」、「A及び/又はB」、及び「A及びBの少なくとも1つ」の場合、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することが意図されていることが理解されよう。さらなる例として、「A、B、及び/又はC」及び「A、B、及びCの少なくとも1つ」の場合、かかる表現は、第1のリストされた選択肢(A)のみの選択、又は第2のリストされた選択肢(B)のみの選択、又は第3のリストされた選択肢(C)のみの選択、又は第1及び第2のリストされた選択肢(A及びB)のみの選択、又は第1及び第3のリストされた選択肢(A及びC)のみの選択、又は第2及び第3のリストされた選択肢(B及びC)のみの選択、又は3つの選択肢すべて(A及びB及びC)の選択を包含することが意図されている。このことは、この技術及び関連技術の当業者が容易に理解できるように、リストされた項目の数だけ拡張することができる。
自然言語による色についての記述を生成するためのシステム及び方法の好ましい実施形態(これらは例示であり、限定することを意図していない)を説明したが、上記の教示に照らして、当業者によって修正及び変形がなされ得ることに留意されたい。したがって、添付の特許請求の範囲によって概説される本発明の範囲内である、説明された特定の実施形態において変更がなされ得ることが理解されるであろう。このように、特許法が要求する詳細さ及び具体性をもって本発明の態様を説明したが、特許によって請求され、保護されることを望むものは、添付の特許請求の範囲に規定される。


Claims (25)

  1. 自然言語による色についての記述を生成するためのコンピュータ実装方法であって、
    タプルの各々が色及び記述を含む、タプルのリストを取得することと、
    前記タプルの各々をノードとして用い、前記ノード間の人間の知覚の観点での色差が所定範囲外にある場合に前記ノード間にエッジを追加することによってグラフを生成することと、
    外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
    人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことであって、前記新ノードは前記タプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、
    メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって、前記グラフ内の前記ノードの各々について特徴ベクトルを学習することと、
    学習された前記特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって前記新ノードの記述を生成することと、
    を含むコンピュータ実装方法。
  2. 前記エッジをフィルタリングすることは、前記グラフから冗長又は実現不可能なエッジを除去することを含む、請求項1に記載のコンピュータ実装方法。
  3. 前記人間の知覚の観点での色差は、メトリックであるデルタEによって提供される、請求項1に記載のコンピュータ実装方法。
  4. 2つの色の間のデルタEが11と49との間である場合、前記2つの色の間にエッジが生成される、請求項3に記載のコンピュータ実装方法。
  5. 前記新ノードが前記グラフに追加された後、ラベル付きノードのセットからラベルなしノードのセットまで前記エッジからのコンテキスト情報を用いて前記新ノードのための記述を学習する、請求項1に記載のコンピュータ実装方法。
  6. 前記RNNにおける損失が、前記グラフのラベル付き部分に対して計算される、請求項1に記載のコンピュータ実装方法。
  7. 前記新ノードは、ラベルなしノードとして定義される、請求項1に記載のコンピュータ実装方法。
  8. 自然言語による色についての記述を生成するためのコンピュータ実装方法であって、
    タプルの各々が色及び記述を含む、タプルのリストを得ることと、
    前記タプルの各々をノードとして用い、類似度閾値に基づいて前記ノード間にエッジを追加することによってグラフを生成することと、
    外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
    前記類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことと、
    を含むコンピュータ実装方法。
  9. 前記新ノードは、前記タプルのリストに含まれていない新しい色を含み、記述を有しない、請求項8に記載のコンピュータ実装方法。
  10. 前記グラフ内の前記ノードの各々について特徴ベクトルを学習することをさらに含む、請求項9に記載のコンピュータ実装方法。
  11. 前記特徴ベクトルは、メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって学習される、請求項10に記載のコンピュータ実装方法。
  12. 学習された前記特徴ベクトルの各々を初期状態として指定することによって、前記新ノードの記述を生成することをさらに含む、請求項11に記載のコンピュータ実装方法。
  13. 前記初期状態が、半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダに与えられる、請求項12に記載のコンピュータ実装方法。
  14. 前記類似度閾値は、所定範囲外にある前記ノード間の人間の知覚の観点での色差である、請求項13に記載のコンピュータ実装方法。
  15. 前記人間の知覚の観点での色差は、メトリックであるデルタEによって提供される、請求項14に記載のコンピュータ実装方法。
  16. 2つの色の間のデルタEが11と49との間である場合、前記2つの色の間にエッジが生成される、請求項15に記載のコンピュータ実装方法。
  17. 前記RNNにおける損失が、前記グラフのラベル付き部分に対して計算される、請求項16に記載のコンピュータ実装方法。
  18. 前記エッジをフィルタリングすることは、前記グラフから冗長又は実現不可能なエッジを除去することを含む、請求項8に記載のコンピュータ実装方法。
  19. 前記新ノードが前記グラフに追加された後、ラベル付きノードのセットからラベルなしノードのセットまで前記エッジからのコンテキスト情報を用いて前記新ノードのための記述を学習する、請求項8に記載のコンピュータ実装方法。
  20. 自然言語による色についての記述を生成するためのコンピュータプログラム製品であって、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、前記プログラム命令は、コンピュータによって実行可能であり、前記コンピュータに、
    タプルの各々が色及び記述を含む、タプルのリストを取得することと、
    前記タプルの各々をノードとして用い、前記ノード間の人間の知覚の観点での色差が所定範囲外にある場合に前記ノード間にエッジを追加することによってグラフを生成することと、
    外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
    人間の知覚の観点での色差に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことであって、前記新ノードは前記タプルのリストに含まれていない新しい色を含み、記述を有しない、組み込むことと、
    メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって、前記グラフ内の前記ノードの各々について特徴ベクトルを学習することと、
    学習された前記特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダの初期状態として使用することによって前記新ノードの記述を生成することと、
    を行わせる、コンピュータプログラム製品。
  21. 前記新ノードが前記グラフに追加された後、ラベル付きノードのセットからラベルなしノードのセットまで前記エッジからのコンテキスト情報を用いて前記新ノードのための記述を学習する、請求項20に記載のコンピュータプログラム製品。
  22. 自然言語による色についての記述を生成するためのコンピュータプログラム製品であって、プログラム命令をその中に具現化したコンピュータ可読記憶媒体を含み、前記プログラム命令は、コンピュータによって実行可能であり、前記コンピュータに、
    タプルの各々が色及び記述を含む、タプルのリストを得ることと、
    前記タプルの各々をノードとして用い、類似度閾値に基づいて前記ノード間にエッジを追加することによってグラフを生成することと、
    外部色比較データベースに格納された外部色比較記述に基づいて前記エッジをフィルタリングすることと、
    前記類似度閾値に基づいて最も近い近隣ノードを見つけ、新ノードと前記最も近い近隣ノードとの間に新しいエッジを追加することによって前記新ノードを前記グラフに組み込むことと、
    を行わせる、コンピュータプログラム製品。
  23. 前記グラフ内の前記ノードの各々について特徴ベクトルが学習され、前記特徴ベクトルは、メッセージパッシングを用い、前記ノードの色を初期シードとして用いることによって学習される、請求項22に記載のコンピュータプログラム製品。
  24. 学習された前記特徴ベクトルの各々を半教師あり方式でリカレントニューラルネットワーク(RNN)ベースのデコーダに与えられる初期状態として指定することによって、前記新ノードの記述が生成される請求項23に記載のコンピュータプログラム製品。
  25. 自然言語による色についての記述を生成するためのコンピュータ実装方法であって、
    複数のノードとエッジとを含む、色の関係を構造化するグラフを生成することと、
    色比較記述に基づいて冗長エッジを除去することと、
    類似度閾値に基づいて、新ノードを新エッジと共に前記グラフに組み込むことと、
    前記グラフの各ノードについて特徴ベクトルを学習することと、
    前記特徴ベクトルを使用して前記新ノードの記述を生成することであって、前記特徴ベクトルは半教師あり様式でニューラルネットワークに与えられる、生成することと、
    を含むコンピュータ実装方法。
JP2023522843A 2020-11-20 2021-11-16 グラフベースの色記述生成 Pending JP2023549647A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US17/100,018 2020-11-20
US17/100,018 US11436771B2 (en) 2020-11-20 2020-11-20 Graph-based color description generation
PCT/IB2021/060583 WO2022106986A1 (en) 2020-11-20 2021-11-16 Graph-based color description generation

Publications (1)

Publication Number Publication Date
JP2023549647A true JP2023549647A (ja) 2023-11-29

Family

ID=81658448

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023522843A Pending JP2023549647A (ja) 2020-11-20 2021-11-16 グラフベースの色記述生成

Country Status (8)

Country Link
US (1) US11436771B2 (ja)
JP (1) JP2023549647A (ja)
KR (1) KR20230095980A (ja)
CN (1) CN116601673A (ja)
AU (1) AU2021384021B2 (ja)
DE (1) DE112021006076T5 (ja)
GB (1) GB2615498B (ja)
WO (1) WO2022106986A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102614051B1 (ko) * 2023-07-17 2023-12-14 (주)인포시즈 그래프 데이터베이스를 이용한 이상 징후 탐지 방법및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004027695A1 (en) 2002-09-20 2004-04-01 International Business Machines Coporation Color naming, color categorization and describing color composition of images
US7339701B2 (en) * 2002-12-16 2008-03-04 Xerox Corporation Method for darkness correction of trapped pixels
CN101556652B (zh) 2009-04-15 2011-11-30 北京联合大学 一种基于机器学习的中国书画颜色分层分析方法
EP2490132A4 (en) 2009-10-16 2016-10-05 Nec Corp COLOR ANALYSIS DEVICE, COLOR ANALYSIS METHOD, AND COLOR ANALYSIS PROGRAM
JP5259894B1 (ja) 2011-08-05 2013-08-07 楽天株式会社 色名決定装置、色名決定方法、情報記録媒体、ならびに、プログラム
US8918434B2 (en) 2012-04-24 2014-12-23 International Business Machines Corporation Optimizing sparse schema-less data in relational stores
US9846951B2 (en) * 2016-03-31 2017-12-19 Konica Minolta Laboratory U.S.A., Inc. Determining a consistent color for an image
TWI687825B (zh) 2018-12-03 2020-03-11 國立臺灣師範大學 對應自然語言至色彩組合之方法與系統
US11735320B2 (en) 2018-12-04 2023-08-22 Merative Us L.P. Dynamic creation and manipulation of data visualizations
US11334636B2 (en) * 2019-01-29 2022-05-17 Twitter, Inc. Real-time event detection on social data streams

Also Published As

Publication number Publication date
DE112021006076T5 (de) 2023-09-14
AU2021384021B2 (en) 2023-09-07
AU2021384021A1 (en) 2023-06-01
GB2615498B (en) 2024-01-03
US20220165006A1 (en) 2022-05-26
CN116601673A (zh) 2023-08-15
US11436771B2 (en) 2022-09-06
WO2022106986A1 (en) 2022-05-27
GB202307407D0 (en) 2023-07-05
GB2615498A (en) 2023-08-09
KR20230095980A (ko) 2023-06-29

Similar Documents

Publication Publication Date Title
US10831733B2 (en) Interactive adjustment of decision rules
AU2018203274A1 (en) Training an RGB-D classifier with only depth data and privileged information
US20170185609A1 (en) Universal adaptor for rapid development of web-based data visualizations
US20180357320A1 (en) Network search query
US11989237B2 (en) Natural language interaction with automated machine learning systems
JP7398474B2 (ja) ディープ・フォレスト・モデルの開発および訓練
US20190199663A1 (en) Chat message processing
US10521609B2 (en) Securely transferring data over a computer network
JP2023526579A (ja) 強化学習を用いた教師なしテキスト要約
US20200183996A1 (en) Social media tag suggestion based on product recognition
US20230127523A1 (en) Managing container images in groups
JP2023549647A (ja) グラフベースの色記述生成
US20190188256A1 (en) Symbolic regression embedding dimensionality analysis
JP2022518671A (ja) デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行
US10671891B2 (en) Reducing computational costs of deep reinforcement learning by gated convolutional neural network
US20190258898A1 (en) Generating artificial images for use in neural networks
US10970053B2 (en) Generating semi-automated visual analytics solutions
US10168999B2 (en) Software object definition and integration
JP7493583B2 (ja) キュービットの感覚的表現
JP7477253B2 (ja) ドメイン固有モデル圧縮
GB2600551A (en) Detection of associations between datasets
CN108700642A (zh) 基于具有不确定性的用户移动数据的位置上下文推断
US11823078B2 (en) Connected insights in a business intelligence application
US20240007469A1 (en) Data protection in network environments
US20230410387A1 (en) Color replacement for the colorblind using an automatic image colorization artificial intelligence model

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230524

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240411