JP7225731B2 - 多変数データシーケンスの画像化 - Google Patents
多変数データシーケンスの画像化 Download PDFInfo
- Publication number
- JP7225731B2 JP7225731B2 JP2018219065A JP2018219065A JP7225731B2 JP 7225731 B2 JP7225731 B2 JP 7225731B2 JP 2018219065 A JP2018219065 A JP 2018219065A JP 2018219065 A JP2018219065 A JP 2018219065A JP 7225731 B2 JP7225731 B2 JP 7225731B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- variable
- data
- value
- color
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/206—Drawing of charts or graphs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
- G06V40/193—Preprocessing; Feature extraction
Description
本発明は、画像処理に関し、特に多変数データセットの画像化（imagification）に関する。
画像化（imagification）は、データのレコード、又は複数のレコードのウインドウを、画像として順次提示する処理である。例えば、各レコード又はウインドウは、自動画像認識技術を用いて該レコード又はウインドウを分類する又はそれらに基づき予測を生成するために使用され得る、対応する画像との１対１関係を共有する。特に、画像化（imagification）は、通常要求されるより有意に少ないデータにより正確な自動分類を可能にする転移学習手法に基づく畳み込みニューラルネットワークと結合されるよう設計された。
ニューラルネットワークは、ユニット間のエッジにおける数値重みに従って（入力レイヤにある）入力ベクトルを（出力レイヤにある）出力ベクトルにマッピングする人工ユニットの階層化ネットワークである。重みは、訓練アルゴリズムに従い調整される。複数のレイヤを有するニューラルネットワークは、深層ニューラルネットワーク（Deep Neural Network：ＤＮＮ）として知られる。畳み込みニューラルネットワーク（Convolutional Neural Network：ＣＮＮ）は、各レイヤのニューロンがフィルタにグループ化され、各フィルタが入力データの中の異なる重複する特徴の存在又は不存在を検出する、特定の種類のＤＮＮである。添付図面の図１に示すように、ＣＮＮの複数レイヤのニューラルネットワークアーキテクチャは、１又は複数の畳み込みレイヤ、それに続くサンプリングレイヤ（プーリング、pooling）及び１又は複数の完全に接続されたレイヤ、を有して良い。ＤＮＮは、及び特定のＣＮＮでは、多くの作業において、画像を分類する際に高度に正確であることが証明されている。非画像データを画像に変換することにより、このようなネットワークの分類の精密さが利用され任意のデータセットに適用できる。
さらに、分類に加えて、ＣＮＮは、画像から特徴ベクトル（各画像を一意に識別する数値のベクトル）を抽出するために使用できる。２つの類似する画像は２つの類似するベクトルを有するので、ｋ最近隣モデル（又は任意のベクトルに基づく分類器）は、クエリされた画像のベクトルの既にモデルにより分かっている画像のベクトルに対する類似性に基づき、画像を分類できる。最近の研究は、ＣＮＮが、画像から特徴を抽出し抽出した特徴を用いて画像認識を実行する強力且つ正確な手段を提供することを証明した。このような方法で特徴ベクトルを抽出する訓練されたＣＮＮの能力は、例え異なる主題領域からの、ＣＮＮが未だ知らない画像にも広がる。訓練されたニューラルネットワーク（又は実際には任意のモデル）を異なるが類似する領域の問題に適用する過程は、「転移学習（transfer learning）」と呼ばれ、新しい問題に対する解が通常必要とされるより有意に少ないデータにより訓練されることを可能にする。したがって、任意の画像に対して訓練されたＣＮＮを通じる転移学習は、比較的小さなデータセットから取り込まれるときでさえ、画像化データサンプルを分類する方法を提供する。
時系列データの中の傾向を分類することは、他の領域における時系列データの特徴の分類（例えば、複合的な複数活動データの分類）のために、金融（例えば、株式市場予測）のような幾つかの領域において困難であると分かった。しかし、このデータを画像として表現し、予め訓練されたＣＮＮを用いて複合的な特徴を抽出することにより、これらの特徴を予測のために使用することが可能になる。特に、所与の時間枠の範囲内の時系列データの画像が与えられる場合、ＣＮＮから抽出した特徴ベクトルを入力として取り入れて過去から類似する時系列データを取り出すために、画像類似法が使用できる。
時系列データは、多変数であり得るデータ系列の一例である。したがって、このようなデータを、直接分類を実行するＣＮＮを用いて、ＣＮＮに基づく転移学習を用いて、又は任意の他の画像分類方法を用いて、分類できるように、多変数データを該データを正確に表す画像に変換する必要がある。
参照により内容がここに組み込まれるＥＰ３２３９８９７Ａ１は、多変数データに適用される画像化技術を提案している。この技術では、データは、スライドウインドウに従いセグメントに分割され、各データセグメントについて、異なる色チャネル（例えば、赤、緑、青）が、それぞれ、そのレコードの中の異なる連続変数にマッピングされ、これらの変数のベクトルがプロットの振幅にマッピングされる。
つまり、多変数データは、座標をシーケンスの中の各データ点から何らかの色空間の中の値にマッピングすることにより、画像化される。例えば、添付の図面の図２（ｂ）に示すように、例えば手首に装着した加速度計により測定された、加速度についてのｘ、ｙ及び（図示しない）ｚの値は、ＲＧＢ色空間の中のそれぞれ赤、緑、及び青色値にマッピングされる。シーケンスの中の各データ点について、ｘ、ｙ、ｚ値のベクトルは、このマッピングにより生成された色によりプロットされ、添付の図面の図２（ａ）に示すように画像化ウインドウを生成する。図２（ａ）では、異なる色が異なる種類のハッチングにより表される。プロットの位置、プロットのパターン、プロットのサイズ、プロットの形状、又はプロットの透明性のような他の画像属性が、データ値をマッピングするために色の代わりに使用されて良い。
ＥＰ３２３９８９７Ａ１は、時間Ｔにおいて３Ｄ時系列Ｌ２（ユークリッド）ノルムを用いる変換は、画像内のプロットの高さを符号化するために使用されて良い。Ｌ２ノルム（「ｌ２－ｎｏｒｍ」としても記述される）｜ｘ｜は、以下のベクトルについて定められるベクトルノルムである。
（言葉では、Ｌ２ノルムは次のように定められる：（１）ベクトル内の全部の要素を平方する；（２）これらの平方した値を加算する；及び（３）この和の平方根をとる）。
多変数データ系列が画像に変換された後に、特徴は、次に、このような画像から抽出されて、任意の２つの画像の間の、したがって該画像が導出されたデータ点の間の、類似性が計算されて良い。特徴は、数値又はカテゴリ値を有して良く、通常、アルゴリズム処理のためのＮ次元ベクトル空間として表される（ここで、Ｎは特徴の全体数に対応する）。目標は、データの固有特性を表すことのできる有益な特徴セットを確立すると同時に、モデルの特定のデータセットへの過学習を抑制するために十分に汎用的であることである。
特徴は、ＣＮＮ又は任意の他の適切な特徴抽出方法を用いて抽出されて良く、類似性は、コサイン距離又は任意の他の適切な距離指標に基づいて良い。クエリされた未分類画像と前に分類された画像との間の類似性に基づき、ｋ最近隣のような、類似性に基づき分類する方法を用いて、分類及び例外検出の両方が可能である。添付の図面の図３（ａ）に示すように、分類のために、クエリされたデータ点は、メンバが特徴空間の中で該クエリされた点に最も近いクラス（例えば、「歩く」よりも「走る」）に属するとして分類される。添付の図面の図３（ｂ）に示すように、例外検出のために、クエリされたデータ点は、特徴空間の中で任意の既知のクラスから特定距離にある場合に（つまり、十分に似ていない）、例外として考えられる。
しかしながら、ＥＰ３２３９８９７Ａ１で提案される方法に基づく改良は望ましい。特に、画像内のプロットのサイズを決定するためにＬ２（ユークリッド）ノルムを用いることにより、ベクトルの各値が、該値のそれぞれの軸に沿ってどのように独立に変化するかに関する情報は失われる場合がある。さらに、Ｌ２ノルムの各値の平方を用いることにより、ここで所与の軸上の値は他の軸より高い平均を有し、他の軸は、より高い平均を有するものと同じ比率では使用されず、訓練とテストデータセットとの間の可能な平方バイアス（possible square bias）を生成する。Ｌ２ノルムはいかなる負値も保持しないので、ベクトル方向に関する情報も失われる場合がある。さらに、（例えばエネルギを表すために使用され得る）プロットの形状は、ｘ軸に関して対称であり、情報を効率的に複製し、したがって訓練及び評価するためにモデルを長大化する。最後に、色は固定された列に関し、過剰な情報を画像に符号化するのを防ぐ。
ＥＰ３２３９８９７Ａ１で提案された画像変換処理の中で情報が失われる場合、ベイズ誤り率（Bayes Error Rate）が劣化する場合がある（統計的分類では、ベイズ誤り率は、例えば２つのカテゴリのうちの一方へのランダムな結果の任意の分類器の最低の可能な誤り率であり、減らすことのできない誤りと同様である）。
この及び／又は従来の画像化方法における他の上述の問題のための解決策を提供することが望ましい。
第１の態様による一実施形態は、コンピュータにより実施される画像処理方法であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するステップであって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、ステップと、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けするステップであって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、ステップと、
前記色付けされた画像を格納するステップと、を有する画像処理方法を提供し得る。
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するステップであって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、ステップと、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けするステップであって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、ステップと、
前記色付けされた画像を格納するステップと、を有する画像処理方法を提供し得る。
第２の態様による一実施形態は、画像処理機器であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するデジタル画像生成器であって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、デジタル画像生成器と、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けする画像色付け器であって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、画像色付け器と、
前記色付けされた画像を格納する画像記憶装置と、を有する画像処理機器を提供し得る。
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するデジタル画像生成器であって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、デジタル画像生成器と、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けする画像色付け器であって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、画像色付け器と、
前記色付けされた画像を格納する画像記憶装置と、を有する画像処理機器を提供し得る。
第１又は第２の態様による一実施形態は、何も又は殆ど何も情報損失無しに、多変数データセットを画像に変換することを可能にし得る。特に、グローバル多変数データシーケンスは、各データシーケンスの展開の軌跡を失わずに、画像内で符号化され得る。
上述の第１及び第２の態様では、色値を割り当てるステップは、
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分けるステップと、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べるステップであって、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べるステップであって、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、を有して良い。
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分けるステップと、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べるステップであって、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べるステップであって、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、を有して良い。
上述の第１及び第２の態様では、各変数の色は、前記データアイテムの前記平均値に対する前記変数の値の比、及び前記変数の値と前記データアイテムの前記平均値の積、のうちの１つに従い割り当てられて良い。
上述の第１及び第２の態様で、平均値はＬ２ノルムであって良い。
一実施形態は、機械学習用途に適する（限定でないが時系列データセットを含む）多変数データセットの視覚表現を生成するコンピュータにより実施される方法を提供し得る。
特に、第３の態様による一実施形態では、多変数データセットを分類するためのデータ分類方法であって、前記方法は、
第１の態様の画像処理方法に従い、分類されるべき多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び少なくとも１つの予め分類された画像を入力するステップと、
前記色付けされた画像を各々の予め分類された画像と比較するステップと、
前記色付けされた画像と各予め分類された画像との間の類似度に従い、前記多変数データセットを分類するステップと、を有するデータ分類方法を提供し得る。
第１の態様の画像処理方法に従い、分類されるべき多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び少なくとも１つの予め分類された画像を入力するステップと、
前記色付けされた画像を各々の予め分類された画像と比較するステップと、
前記色付けされた画像と各予め分類された画像との間の類似度に従い、前記多変数データセットを分類するステップと、を有するデータ分類方法を提供し得る。
同様に、第４の態様による一実施形態は、多変数データセットの中の潜在的変則性を検出するための変則性検出方法であって、前記方法は、
第１の態様の画像処理方法に従い、検討中の多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び予め分類された画像を入力するステップと、
前記色付けされた画像を前記予め分類された画像と比較するステップと、
前記色付けされた画像と前記予め分類された画像との間の相違度に従い、前記多変数データセットを例外として分類するステップと、を有する変則性検出方法を提供し得る。
第１の態様の画像処理方法に従い、検討中の多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び予め分類された画像を入力するステップと、
前記色付けされた画像を前記予め分類された画像と比較するステップと、
前記色付けされた画像と前記予め分類された画像との間の相違度に従い、前記多変数データセットを例外として分類するステップと、を有する変則性検出方法を提供し得る。
例として、添付の図面を参照する。
（上述した。）畳み込みニューラルネットワークのステージの説明で使用する図である。
（上述した。）以前に提案された画像化技術の説明で使用する図である。
（上述した。）画像を用いる分類及び例外検出の説明で使用する図である。
一実施形態による画像処理方法のフローチャートである。
一実施形態による画像処理機器の図である。
時系列データの傾向を予測する方法のフローチャートである。
画像処理プロセスの一実施形態を示す図である。
図７の画像処理プロセスの第１ステップのフローチャートである。
図７の画像処理プロセスの第２ステップのフローチャートである。
図７の画像処理プロセスの第２ステップの結果として生じる中間画像の例である。
図７の画像処理プロセスの第３ステップのフローチャートである。
図７の画像処理プロセスの第３ステップの結果として生じる画像の例である。
図７の画像処理プロセスの第３ステップの結果として生じる画像の別の例である。
分類システムのブロック図である。
本発明による方法を実行するのに適するコンピューティング装置のブロック図である。
上述のように、画像内のデータの多変数シーケンスの効率的な表現を達成すると同時に、可能な限り多くの元のデータを保持することが望ましい。
この目的のために、一実施形態は、新規な画像処理技術を有し、便宜上、「複数領域カラライゼーション技術（Multi Area Colorization Technique）」として以後参照されることがある。
図４に、複数領域カラライゼーション技術の一実施形態による、コンピュータにより実施される画像処理方法のフローチャートが示される。ステップＳ１で、複数の重畳された線グラフを含むデジタル画像が、特定の多変数データセットについて生成される。各線グラフは、多変数データセットの中の複数の変数のうちの異なる１つに対応し、多変数データセットの連続するデータアイテムに関連する変数のそれぞれの値を表す。例えば、線グラフの水平軸上の各点で、水平軸より上又は下の線グラフの高さは、該データアイテムの変数の値を表す。ステップＳ２で、ステップＳ１で生成されたデジタル画像は、以下のように、多変数データセットの各データアイテムに対してカラライゼーション処理を実行することにより色付けされる。データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及びデータアイテムの平均値に依存して、線グラフの下にある領域を表すピクセルに色値が割り当てられる。データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及びデータアイテムの平均値に依存して、線グラフの上にある領域を表すピクセルに色値が割り当てられる。線グラフの少なくとも２つの領域が重なり合う領域のピクセルの色値が加算される。ステップＳ３で、色付けされた画像が格納される。
図５に、図４の方法を実行する画像処理機器１０が示される。機器１０は、デジタル画像生成器１１、画像色付け器１２、及び画像記憶装置２０を有する。デジタル画像生成器１１は、特定の多変数データセットについて、複数の重畳された線グラフを有するデジタル画像を生成するよう構成される。各線グラフは、多変数データセットの中の複数の変数のうちの異なる１つに対応し、多変数データセットの連続するデータアイテムに関連する変数のそれぞれの値を表す。画像色付け器１２は、以下のように、多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、生成されたデジタル画像を色付けするよう構成される。データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及びデータアイテムの平均値に依存して、線グラフの下にある領域を表すピクセルに色値が割り当てられる。データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及びデータアイテムの平均値に依存して、線グラフの上にある領域を表すピクセルに色値が割り当てられる。線グラフの少なくとも２つの領域が重なり合う領域のピクセルの色値が加算される。画像記憶装置２０は、色付けされた画像を格納するよう構成される。
特定の実施形態が、データセットの中の傾向を予測する際に使用するために、３つの変数、つまりｘ、ｙ、及びｚ軸に沿う動きを有する時系列データを含む多変数データセットの画像化を参照して、以下に説明される。
図６は、時系列データの傾向を予測する方法のフローチャートである。方法は、３つの別個のプロセス：画像処理（Ｐ６１）、分類器訓練（Ｐ６２）、及び傾向予測（Ｐ６３）を有すると考えられる。本願の関心は、これらのうち第１の、画像処理である。
図７は、画像処理プロセスＰ６１の一実施形態を示す図であり、３つのステップ：前処理（ステップＳ７１）、形状提示（ステップＳ７２）、及びカラライゼーション（ステップＳ７３）を有すると考えられる。
図８は、前処理ステップＳ７１のフローチャートである。ステップＳ８０で、ｘ、ｙ、及びｚ軸の各々は、画像の色空間の中の固定位置を割り当てられる。この割り当ては、データセット全体で一貫して使用される限り、ランダムに行われて良い。（本例におけるように）データセットの中の変数（軸）の数は、３以下であり、ＲＧＢ色チャネル空間を使用することが適切である。しかしながら、より高次元では（Ｎ時系列）、ＲＧＢ以外の色空間がより適切であって良い。例えば、ＨＳＶ、ＨＳＬ、及びＨＳＰは、ＲＧＢ色モデルの代替表現であり、人間の視覚が色を生成する属性を知覚する方法により緊密に合わせるために設計され、より高次元に特に適する。各色は、任意の重畳が既に選択された色を再生成しないことを保証するよう選択される。
多変数データセットの特性により、より円滑な表現を達成するために、フィルタリング、ノイズ除去、又はスムーサ、等を適用することが望ましい場合がある。例えば、ステップＳ８１で、データをゼロ中心（zero－center）にするために、各データアイテムから、それ自体の平均が除去される。このような平滑化は、それらの変動に対する平均の比が小さい場合（例えば、平均＝［０．１，０．０１，０．５］であり、１より大きい変動を有する）、任意である。ステップＳ８２で、データ値は、更に、それらが間隔［－１，１］内に残るように、Ｌ２（ユークリッド）ノルムの最大値により除算されて良い。
図９は、形状提示プロセス（ステップＳ７２）のフローチャートである。ステップＳ９０で、前処理ステップＳ７１から出力された前処理済みデータセットは、グラフ上の線として表現される。データセット内の値は、各変数（軸）について別個にプロットされる。残りの線グラフは、表示された場合に図１０（ａ）及び１０（ｂ）に示されたもののうちの１つと同様になる中間画像である。
図１１は、カラライゼーション処理（ステップＳ７３）のフローチャートである。本例では、カラライゼーション処理は、プロットされた線グラフの中の色として、ベクトル（ｘ，ｙ，ｚ）の角度／方向を符号化するステップを含む。
先ず、ステップＳ１１１で、ベクトル（ｘ，ｙ，ｚ）について、変数の値が正か負かに従い、変数が分けられる。
次に、ステップＳ１１２で、任意の正値が最大から最小へと順序付けられ、それとは別に、任意の負値が最大から最小へと順序付けられる。
最後に、ステップＳ１１３で、正値に対応する線と水平軸との間のグラフの部分、及び負値に対応する線と水平軸との間のグラフの部分が、色付けされる。プロットライブラリがグラフ部分を色付けするために再帰的に使用される場合、正値に対応するグラフ部分は、負値に対応するグラフ部分と独立に再帰的に色付けされる。
再順序付けステップＳ１１２は、プロットライブラリの使用を可能にするために実行される。これにより、所与の色で所与の長方形を描くことが可能になるだけである。しかしながら、このステップは、幾つかの他の手段がグラフの下にある領域を色付けするために使用される場合、必須ではない。
このカラライゼーション処理は、画像全体が色付けされるまで、全てのベクトルに対して順次実行さえる。
各々の場合に、各変数の色は、変数の値の、ベクトルの変数のノルムに対する比又はそれとの積に従い選択される。任意のノルムが使用できる。例えば、Ｘ＝ｆ（Ｘ）／ｎｏｒｍ（ｆ（Ｘ））、Ｘ＝［ｘ，ｙ，ｚ］であり、Ｘ［ｔ］＝１のノルム、例えばＬ２（ユークリッド）ノルムを提供する。異なる変数に対応するグラフ部分が重畳されるとき、各変数の値に関する相関的情報を保持するために、色が加算される。例えば、マッピング｛ｘ：ｒ，ｙ：ｇ，ｚ：ｂ｝により、データセットＸ＝［１，－５，２］について、Ｌ２ノルムは３０である。したがって、０～２５５のピクセル色値では、次の通りである：
Ｒ＝（１／３０）＊２５５
Ｇ＝（５／３０）＊２５５
Ｂ＝（２／３０）＊２５５
したがって、先ず、正の高さ２を有するｚについて、線グラフより下にあるグラフ部分のピクセルは、（２／３０）＊２５５（＝Ｂ）に対応する色を与えられる。次に、正の高さ１を有するｘについて、線グラフより下にあるグラフ部分のピクセルは、（３／３０）＊２５５（＝Ｒ＋Ｂ）に対応する色を与えられる。負の高さ－５を有するｙについて、線グラフより上にあるグラフ部分のピクセルは、（５／３０）＊２５５に対応する色を与えられる。このように、多変数データセットの殆ど全ての詳細を表す有色画像が達成される。
Ｒ＝（１／３０）＊２５５
Ｇ＝（５／３０）＊２５５
Ｂ＝（２／３０）＊２５５
したがって、先ず、正の高さ２を有するｚについて、線グラフより下にあるグラフ部分のピクセルは、（２／３０）＊２５５（＝Ｂ）に対応する色を与えられる。次に、正の高さ１を有するｘについて、線グラフより下にあるグラフ部分のピクセルは、（３／３０）＊２５５（＝Ｒ＋Ｂ）に対応する色を与えられる。負の高さ－５を有するｙについて、線グラフより上にあるグラフ部分のピクセルは、（５／３０）＊２５５に対応する色を与えられる。このように、多変数データセットの殆ど全ての詳細を表す有色画像が達成される。
この場合の画像は、画像に適合するために値がゼロの周辺に再び中心を置かれるとき、各データセットの平均が失われるので、データセットの全ての詳細を表さない場合がある。１つの欠点は、この方法が平均の周辺のノイズに影響されやすいことである。平均がメタデータとして保存される場合、時系列と画像＋メタデータとの間には全単射（bijection）がある。
残念ながら本願では色画像を提示できない。しかし、図１２（ａ）及び１２（ｂ）は、それぞれ図１０（ａ）及び１０（ｂ）の中間画像に対応するために、前述のカラライゼーション処理により生成された対応するグレイスケール画像で示す。図１３に、図１０（ａ）／１２（ａ）及び１０（ｂ）／１２（ｂ）と異なるデータセットを表す別の画像が示され、明確さを向上するために、非常に粗いグレイスケールのみが使用されている。しかしながら、理解されるべきことに、実際には、前述の技術により生成された色画像は、非常に多数の異なる色、例えばピクセル色値範囲が０～２５５である２５６色により構成されて良い。
前述の技術は、例えば、以下の画像処理アルゴリズムを用いて実施されて良い。
データセットは、議論されたように画像化された後に、図３（ａ）及び３（ｂ）を参照して前述したように又はそのようなタスクの可能な任意の他の技術を用いて、分類され及び／又は例外についてテストされて良い。画像は、例えば、図１３を参照して記載されるような分類システム３０を用いて処理されて良い。
図１４は、画像、つまり画像１及び画像２を画像記憶装置２０から受信するよう構成される分類システム３０のブロック図である。画像１は既に分類されたデータセットに対応して良く、一方で、画像２は分類の必要なデータに対応して良い。各画像は、画像から、画像の特徴を表すそれぞれの特徴ベクトル、つまり特徴ベクトル１及び特徴ベクトル２を抽出するために、特徴抽出器３１に、本例では畳み込みニューラルネットワーク（ＣＮＮ）に入力される。特徴ベクトルは、コサイン距離又は任意の他の適切な距離指標に基づき、特徴ベクトル間の類似性を、したがってそれぞれの対応するデータウインドウを決定する類似性決定装置３２に入力される。未分類画像と１又は複数の前に分類された画像との間の類似性に基づき、ｋ最近隣のような、類似性に基づき分類する方法を用いて、分類及び例外検出が実質的に実行されて良い。
複数領域カラライゼーション技術の１つの用途は、ウェアラブル且つスマートなセンサを通じて記録された人間の活動の分析である。この特定の使用法は、生データシーケンスを考慮するとき可能ではなかった、画像に基づく活動の分類を可能にする画像化に良好に適する。上述の技術を用いると、ベイズ誤り率の近似を、そして人間にとっては次に異なる活動をより容易に分類することを可能にできる。
図１０（ａ）及び（ｂ）、１２（ａ）及び（ｂ）は、ＵＣＩ日常及び運動活動データセット（UCI Daily and Sports Activities Data Set）として知られるデータセットに対する機械学習プロジェクトの間の例として生成された。データセットは、８人の被検者により彼ら自身のスタイルでそれぞれ５分間行われた、１９個の日常及び運動活動の動きセンサデータを有する。５個のＸｓｅｎｓ ＭＴｘユニットが、胴、腕、及び脚に使用された。動きセンサ時系列は、上述の技術を用いて画像化され、更なる分類のために使用された。
処理は、埋め込みとして他の表現データフォーマットにも適用され得る。例えば、自然言語処理では、言葉のベクトル表現を得ることが可能である。ベクトル表現は、時系列値として考えられる実数値を含む。これらの値は、次に、上述の技術を用いて画像としてプロットされて良い。さらに、画像化は、任意の埋め込み（embedding）に適用されて良い。例えば、画像化は、グラフ埋め込み（graph embedding）に適用されて良い。
図１５は、本発明を実現し、本発明を具現化する方法のステップの一部又は全部を実施するために及び一実施形態の装置のタスクの一部又は全部を実行するために使用できる、データ記憶サーバのようなコンピューティング装置のブロック図である。例えば、図１５のコンピューティング装置は、図４に示した画像処理方法の全てのステップを実施し、及び図５に示した画像処理機器の全部のタスクを実行し、又は図１１のカラライゼーション技術を実施し、及び図５の画像色付け器１２のタスクを実行するために、使用されても良い。
コンピューティング装置は、プロセッサ９９３、及びメモリ９９４を有する。任意で、コンピューティング装置は、コンピューティング装置のような他者、例えば本発明の実施形態の他のコンピューティング装置と通信するためのネットワークインタフェース９９７も有する。
例えば、一実施形態は、このようなコンピューティング装置のネットワークで構成されて良い。任意で、コンピューティング装置は、キーボード及びマウスのような１又は複数の入力メカニズム９９６、及び１又は複数のモニタのようなディスプレイユニット９９５も有する。コンポーネントは、バス９９２を介して互いに接続可能である。
メモリ９９４は、例えば画像処理機器内のコンピュータ記憶装置２０のタスクを実行して良く、コンピュータ実行可能命令を実行する又は格納されたデータ構造を有するよう構成される単一の媒体又は複数の媒体（例えば、集中型又は分散型データベース及び／又は関連するキャッシュ及びサーバ）を表し得るコンピュータ可読媒体を有して良い。コンピュータ実行可能命令は、例えば、汎用コンピュータ、特定目的コンピュータ又は特定目的処理装置（例えば、１又は複数のプロセッサ）によりアクセス可能であり及び１又は複数の機能又は工程を実行させる命令及びデータを有して良い。したがって、用語「コンピュータ可読記憶媒体」は、機械による実行のために命令セットを格納しエンコードし又は持ち運ぶことが可能であり、機械に本開示の方法のうち任意の１又は複数を実行させる任意の媒体も含み得る。用語「コンピュータ可読記憶媒体」は、固体メモリ、光学媒体及び磁気媒体を含むと考えられるが、これらに限定されない。例として且つ限定ではなく、このようなコンピュータ可読媒体は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read－Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read－Only Memory）、ＣＤ－ＲＯＭ（Compact Disc Read－Only Memory）又は他の光ディスク記憶装置、磁気ディスク記憶装置又は他の磁気記憶装置を含む非一時的若しくは有形コンピュータ可読記憶媒体、又は他の媒体、フラッシュメモリ装置（例えば、固体メモリ装置）を有し得る。
プロセッサ９９３は、コンピューティング装置を制御し、処理工程を実行するよう、例えば図４、７、８、９及び／又は１１を参照して記載された及び請求の範囲において定められる方法を実施するためにメモリ９９４に格納されたコンピュータプログラムコードを実行するよう構成される。メモリ９９４は、プロセッサ９９３によりリード及びライトされるデータを格納する。本願明細書で参照されるとき、プロセッサは、マイクロプロセッサ、中央処理ユニット、等のような１又は複数の汎用処理装置を含み得る。プロセッサは、ＣＩＳＣ（complex instruction set computing）マイクロプロセッサ、ＲＩＳＣ（reduced instruction set computing）マイクロプロセッサ、ＶＬＩＷ（very long instruction word）マイクロプロセッサ、又は他の命令セットを実施するプロセッサ、若しくは命令セットの組合せを実施するプロセッサを含み得る。プロセッサは、ＡＳＩＣ（application specific integrated circuit）、ＦＰＧＡ（field programmable gate array）、ＤＳＰ（digital signal processor）、ネットワークプロセッサ、等のような１又は複数の特定目的処理装置も含み得る。１又は複数の実施形態では、プロセッサは、本願明細書で議論する工程又はステップを実行する命令を実行するよう構成される。
ディスプレイユニット９９５は、コンピューティング装置により格納されたデータの提示を表示して良く、ユーザとプログラムとコンピューティング装置に格納されたデータとの間の相互作用を可能にするカーソル及びダイアログボックス及びスクリーンも表示して良い。例えば、ディスプレイユニット９９５は、画像化されるべき多変数データ、及び結果として生じた画像を表示して良い。入力メカニズム９９６は、ユーザが、画像化されるべき多変数データのようなデータ及び命令をコンピューティング装置に入力することを可能にし得る。
ネットワークインタフェース（ネットワークＩ／Ｆ）９９７は、インターネットのようなネットワークに接続され、ネットワークを介して、分類システム３０のような他のコンピューティング装置に接続可能であって良い。ネットワークＩ／Ｆ９９７は、ネットワークを介して他の装置からのデータ入力／へのデータ出力を制御して良い。
マイクロフォン、スピーカ、プリンタ、電源ユニット、ファン、筐体、スキャナ、トラックボール等のような他の周辺装置は、コンピューティング装置に含まれても良い。
本発明を実現する方法は、図１５に示されたようなコンピューティング装置で実行されて良い。このようなコンピューティング装置は、図１５に示した全てのコンポーネントを有する必要はなく、これらのコンポーネントのうちの部分集合で構成されて良い。本発明を具現化する方法は、ネットワークを介して１又は複数のデータ記憶サーバと通信する単一のコンピューティング装置により実行されて良い。コンピューティング装置は、データの少なくとも一部を格納するデータ記憶装置自体であっても良い。
本発明を実現する方法は、互いに協働して動作する複数のコンピューティング装置により実行されて良い。複数のコンピューティング装置のうちの１又は複数は、データの少なくとも一部を格納するデータ記憶サーバであっても良い。
上述の本発明の実施形態は、実施形態のうちの任意の他の実施形態と独立に又は実施形態のうちの１又は複数の他の実施形態との任意の実現可能な組合せで、使用されても良い。
以上の実施形態に加えて、さらに以下の付記を開示する。
（付記１） コンピュータにより実施される画像処理方法であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するステップであって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、ステップと、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けするステップであって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、ステップと、
前記色付けされた画像を格納するステップと、
を有する画像処理方法。
（付記２） 色値を割り当てるステップは、
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分けるステップと、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べるステップであって、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べるステップであって、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
を有する、付記１に記載の画像処理方法。
（付記３） 各変数の色は、前記データアイテムの前記平均値に対する前記変数の値の比、及び前記変数の値と前記データアイテムの前記平均値の積、のうちの１つに従い割り当てられる、付記１又は２に記載の画像処理方法。
（付記４） 前記平均値はＬ２ノルムである、付記１、２、又は３に記載の画像処理方法。
（付記５） 多変数データセットを分類するためのデータ分類方法であって、前記方法は、
付記１乃至４のいずれかに記載の画像処理方法に従い、分類されるべき多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び少なくとも１つの予め分類された画像を入力するステップと、
前記色付けされた画像を各々の予め分類された画像と比較するステップと、
前記色付けされた画像と各予め分類された画像との間の類似度に従い、前記多変数データセットを分類するステップと、
を有するデータ分類方法。
（付記６） 多変数データセットの中の潜在的な例外を検出するための例外検出方法であって、前記方法は、
付記１乃至４のいずれかに記載の画像処理方法に従い、検討中の多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び予め分類された画像を入力するステップと、
前記色付けされた画像を前記予め分類された画像と比較するステップと、
前記色付けされた画像と前記予め分類された画像との間の相違度に従い、前記多変数データセットを例外として分類するステップと、
を有する例外検出方法。
（付記７） コンピュータに格納されると、該コンピュータに付記１乃至４のいずれか一項に記載の画像処理方法、又は付記５に記載のデータ分類方法、又は付記６に記載の例外検出方法を実行させるコンピュータプログラム。
（付記８） 画像処理機器であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するデジタル画像生成器であって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、デジタル画像生成器と、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けする画像色付け器であって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、画像色付け器と、
前記色付けされた画像を格納する画像記憶装置と、
を有する画像処理機器。
（付記９） 前記画像色付け器は、
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分け、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べ、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当て、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べ、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、
ことにより、色値を割り当てる、付記８に記載の画像処理機器。
（付記１０） 前記画像色付け器は、前記データアイテムの前記平均値に対する前記変数の値の比、及び前記変数の値と前記データアイテムの前記平均値の積、のうちの１つに従い各変数の色を割り当てる、付記８又は９に記載の画像処理機器。
（付記１１） 前記平均値はＬ２ノルムである、付記８、９、又は１０に記載の画像処理機器。
（付記１） コンピュータにより実施される画像処理方法であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するステップであって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、ステップと、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けするステップであって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、ステップと、
前記色付けされた画像を格納するステップと、
を有する画像処理方法。
（付記２） 色値を割り当てるステップは、
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分けるステップと、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べるステップであって、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べるステップであって、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
を有する、付記１に記載の画像処理方法。
（付記３） 各変数の色は、前記データアイテムの前記平均値に対する前記変数の値の比、及び前記変数の値と前記データアイテムの前記平均値の積、のうちの１つに従い割り当てられる、付記１又は２に記載の画像処理方法。
（付記４） 前記平均値はＬ２ノルムである、付記１、２、又は３に記載の画像処理方法。
（付記５） 多変数データセットを分類するためのデータ分類方法であって、前記方法は、
付記１乃至４のいずれかに記載の画像処理方法に従い、分類されるべき多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び少なくとも１つの予め分類された画像を入力するステップと、
前記色付けされた画像を各々の予め分類された画像と比較するステップと、
前記色付けされた画像と各予め分類された画像との間の類似度に従い、前記多変数データセットを分類するステップと、
を有するデータ分類方法。
（付記６） 多変数データセットの中の潜在的な例外を検出するための例外検出方法であって、前記方法は、
付記１乃至４のいずれかに記載の画像処理方法に従い、検討中の多変数データセットを表す色付けされた画像を取得するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び予め分類された画像を入力するステップと、
前記色付けされた画像を前記予め分類された画像と比較するステップと、
前記色付けされた画像と前記予め分類された画像との間の相違度に従い、前記多変数データセットを例外として分類するステップと、
を有する例外検出方法。
（付記７） コンピュータに格納されると、該コンピュータに付記１乃至４のいずれか一項に記載の画像処理方法、又は付記５に記載のデータ分類方法、又は付記６に記載の例外検出方法を実行させるコンピュータプログラム。
（付記８） 画像処理機器であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するデジタル画像生成器であって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、デジタル画像生成器と、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けする画像色付け器であって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、画像色付け器と、
前記色付けされた画像を格納する画像記憶装置と、
を有する画像処理機器。
（付記９） 前記画像色付け器は、
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分け、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べ、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当て、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べ、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、
ことにより、色値を割り当てる、付記８に記載の画像処理機器。
（付記１０） 前記画像色付け器は、前記データアイテムの前記平均値に対する前記変数の値の比、及び前記変数の値と前記データアイテムの前記平均値の積、のうちの１つに従い各変数の色を割り当てる、付記８又は９に記載の画像処理機器。
（付記１１） 前記平均値はＬ２ノルムである、付記８、９、又は１０に記載の画像処理機器。
１０ 画像処理機器
１１ デジタル画像生成器
１２ 画像色付け器
２０ 画像記憶装置
１１ デジタル画像生成器
１２ 画像色付け器
２０ 画像記憶装置
Claims (11)
- 多変数データセットを分類するためのデータ分類方法であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するステップであって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、ステップと、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けするステップであって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、ステップと、
前記色付けされた画像を格納するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び少なくとも１つの予め分類された画像を入力するステップと、
前記色付けされた画像を各々の予め分類された画像と比較するステップと、
前記色付けされた画像と各予め分類された画像との間の類似度に従い、前記多変数データセットを分類するステップと、
をコンピュータが実行するデータ分類方法。 - 色値を割り当てるステップは、
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分けるステップと、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べるステップであって、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べるステップであって、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、ステップと、
を有する、請求項１に記載のデータ分類方法。 - 各変数の色は、前記データアイテムの前記平均値に対する前記変数の値の比、及び前記変数の値と前記データアイテムの前記平均値の積、のうちの１つに従い割り当てられる、請求項１又は２に記載のデータ分類方法。
- 前記平均値はＬ２ノルムである、請求項１、２、又は３に記載のデータ分類方法。
- 多変数データセットの中の潜在的な例外を検出するための例外検出方法であって、コンピュータが、
コンピュータにより実施される、多変数データセットを分類するためのデータ分類方法であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するステップであって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、ステップと、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けするステップであって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、ステップと、
前記色付けされた画像を格納するステップと、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び予め分類された画像を入力するステップと、
前記色付けされた画像を前記予め分類された画像と比較するステップと、
前記色付けされた画像と前記予め分類された画像との間の相違度に従い、前記多変数データセットを例外として分類するステップと、
を実行する例外検出方法。 - コンピュータに格納されると、該コンピュータに請求項１～４のいずれか一項に記載のデータ分類方法、又は請求項５に記載の例外検出方法を実行させるコンピュータプログラム。
- 画像分類機器であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するデジタル画像生成器であって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、デジタル画像生成器と、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けする画像色付け器であって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、画像色付け器と、
前記色付けされた画像を格納する画像記憶装置と、
分類システムであって、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び少なくとも１つの予め分類された画像を入力し、
前記色付けされた画像を各々の予め分類された画像と比較し、
前記色付けされた画像と各予め分類された画像との間の類似度に従い、前記多変数データセットを分類する、分類システムと、
を有する画像分類機器。 - 前記画像色付け器は、
前記データアイテムの中の前記変数の値が正か負かに従い、前記変数を分け、
前記データアイテムの全ての正の変数値を、最大値から最小値へと並べ、前記正の変数値に対応する前記線グラフの下の領域について、該領域のピクセルに順番に再帰的に色を割り当て、
前記データアイテムの全ての負の変数値を、最大値から最小値へと並べ、前記負の変数値に対応する前記線グラフの上の領域について、該領域のピクセルに順番に再帰的に色を割り当てる、
ことにより、色値を割り当てる、請求項７に記載の画像分類機器。 - 前記画像色付け器は、前記データアイテムの前記平均値に対する前記変数の値の比、及び前記変数の値と前記データアイテムの前記平均値の積、のうちの１つに従い各変数の色を割り当てる、請求項７又は８に記載の画像分類機器。
- 前記平均値はＬ２ノルムである、請求項７～９のいずれか一項に記載の画像分類機器。
- 例外検出機器であって、
指定された多変数データセットについて、複数の重畳線グラフを有するデジタル画像を生成するデジタル画像生成器であって、各線グラフは、前記多変数データセットの中の複数の変数のうちの異なる１つに対応し、前記多変数データセットの連続データアイテムに関連する変数の個々の値を表す、デジタル画像生成器と、
前記多変数データセットの各データアイテムについてカラライゼーション処理を実行することにより、前記生成されたデジタル画像を色付けする画像色付け器であって、前記カラライゼーション処理は、
前記データアイテムの中の正値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの下の領域を表すピクセルに色値を割り当てるステップと、
前記データアイテムの中の負値を有する各変数について、該変数に予め割り当てられた色及び前記データアイテムの平均値に依存して、該変数の前記線グラフの上の領域を表すピクセルに色値を割り当てるステップと、
前記線グラフの少なくとも２つの領域が重なり合うピクセルについて、前記色値を加算するステップと、を有する、画像色付け器と、
前記色付けされた画像を格納する画像記憶装置と、
分類システムであって、
データ分類の目的で画像認識のために訓練された深層ニューラルネットワークに、前記色付けされた画像及び予め分類された画像を入力し、
前記色付けされた画像を前記予め分類された画像と比較し、
前記色付けされた画像と前記予め分類された画像との間の相違度に従い、前記多変数データセットを例外として分類する、分類システムと、
を有する例外検出機器。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP18181012.8A EP3588441B1 (en) | 2018-06-29 | 2018-06-29 | Imagification of multivariate data sequences |
| EP18181012.8 | 2018-06-29 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020004360A JP2020004360A (ja) | 2020-01-09 |
| JP7225731B2 true JP7225731B2 (ja) | 2023-02-21 |
Family
ID=62837830
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018219065A Active JP7225731B2 (ja) | 2018-06-29 | 2018-11-22 | 多変数データシーケンスの画像化 |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP3588441B1 (ja) |
| JP (1) | JP7225731B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112839059B (zh) * | 2021-02-22 | 2022-08-30 | 北京六方云信息技术有限公司 | Web入侵检测自适应告警过滤处理方法、装置及电子设备 |
| JP7462254B1 (ja) | 2023-11-09 | 2024-04-05 | ＡＩ ｉｎｓｉｄｅ株式会社 | プログラム、方法、情報処理装置、システム |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012203422A (ja) | 2011-03-23 | 2012-10-22 | Toshiba Corp | 学習装置、方法及びプログラム |
| JP2018026108A (ja) | 2016-08-08 | 2018-02-15 | パナソニックＩｐマネジメント株式会社 | 物体追跡方法、物体追跡装置およびプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3239897A1 (en) | 2016-04-29 | 2017-11-01 | Fujitsu Limited | Method and apparatus for determining the similarity between multivariate data sets |
| US10496695B2 (en) * | 2016-06-06 | 2019-12-03 | Think-Cell Software Gmbh | Automated data extraction from scatter plot images |
| CN107609601B (zh) * | 2017-09-28 | 2021-01-22 | 北京计算机技术及应用研究所 | 一种基于多层卷积神经网络的舰船目标识别方法 |
-
2018
- 2018-06-29 EP EP18181012.8A patent/EP3588441B1/en active Active
- 2018-11-22 JP JP2018219065A patent/JP7225731B2/ja active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012203422A (ja) | 2011-03-23 | 2012-10-22 | Toshiba Corp | 学習装置、方法及びプログラム |
| JP2018026108A (ja) | 2016-08-08 | 2018-02-15 | パナソニックＩｐマネジメント株式会社 | 物体追跡方法、物体追跡装置およびプログラム |
Non-Patent Citations (1)
| Title |
|---|
| Waqas Javed，Graphical Perception of Multiple Time Series，IEEE Transactions on Visualization and Computer Graphics，米国，2010年10月28日，Vol. 16, No. 6，927-934 |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3588441B1 (en) | 2023-08-09 |
| JP2020004360A (ja) | 2020-01-09 |
| EP3588441A1 (en) | 2020-01-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Automatic image-based plant disease severity estimation using deep learning | |
| WO2021093468A1 (zh) | 视频分类方法、模型训练方法、装置、设备及存储介质 | |
| CN111507378A (zh) | 训练图像处理模型的方法和装置 | |
| CN111291809B (zh) | 一种处理装置、方法及存储介质 | |
| Abrahim et al. | RETRACTED ARTICLE: Splicing image forgery identification based on artificial neural network approach and texture features | |
| WO2022012668A1 (zh) | 一种训练集处理方法和装置 | |
| JP2011248879A (ja) | テスト画像内のオブジェクトを分類するための方法 | |
| Grigorev et al. | Depth estimation from single monocular images using deep hybrid network | |
| EP3239897A1 (en) | Method and apparatus for determining the similarity between multivariate data sets | |
| Tabernik et al. | Towards deep compositional networks | |
| JP7225731B2 (ja) | 多変数データシーケンスの画像化 | |
| CN115222896A (zh) | 三维重建方法、装置、电子设备及计算机可读存储介质 | |
| Sharma et al. | Automatic facial expression recognition using combined geometric features | |
| Salih et al. | Deep learning for face expressions detection: Enhanced recurrent neural network with long short term memory | |
| Sharma et al. | Solving image processing critical problems using machine learning | |
| Quazi et al. | Image Classification and Semantic Segmentation with Deep Learning | |
| CN113192085A (zh) | 三维器官图像分割方法、装置及计算机设备 | |
| KR20220023841A (ko) | 알츠하이머 병 분류를 위한 mr 이미지 분석 시스템 및 방법 | |
| Prabha et al. | Real Time Facial Emotion Recognition Methods using Different Machine Learning Techniques | |
| US20240071049A1 (en) | Spatially Preserving Flattening in Deep Learning Neural Networks | |
| Metre et al. | Research opportunities for the detection and classification of plant leaf diseases | |
| Thakur et al. | Machine Learning and Deep Learning Techniques | |
| Günseli | Mood analysis of employees by using image-based data | |
| Jayasekara Pathiranage | Convolutional neural networks for predicting skin lesions of melanoma | |
| Jayanthi et al. | Deep Learning Techniques for Prediction, Detection, and Segmentation of Brain Tumors |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220802 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221226 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230110 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230123 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7225731 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |