JP2023508639A - データ増強基盤空間分析モデル学習装置及び方法 - Google Patents

データ増強基盤空間分析モデル学習装置及び方法 Download PDF

Info

Publication number
JP2023508639A
JP2023508639A JP2022531442A JP2022531442A JP2023508639A JP 2023508639 A JP2023508639 A JP 2023508639A JP 2022531442 A JP2022531442 A JP 2022531442A JP 2022531442 A JP2022531442 A JP 2022531442A JP 2023508639 A JP2023508639 A JP 2023508639A
Authority
JP
Japan
Prior art keywords
spatial
spatial image
data
image
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022531442A
Other languages
English (en)
Other versions
JP7362924B2 (ja
Inventor
ペク、ユナ
キム、スミン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UrbanBase Inc
Original Assignee
UrbanBase Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UrbanBase Inc filed Critical UrbanBase Inc
Publication of JP2023508639A publication Critical patent/JP2023508639A/ja
Application granted granted Critical
Publication of JP7362924B2 publication Critical patent/JP7362924B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Architecture (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置は、一つ以上のプロセッサを含み、プロセッサが遂行する動作は、複数の空間イメージを獲得して空間情報を特定するクラスをラベリングするか、クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作、第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して学習データを増強させる動作、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングする動作、及びイメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して空間イメージとラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで空間イメージに対するクラスを判別するモデルを生成する動作を含むことができる。

Description

本発明は、データ増強基盤空間分析モデル学習装置及び方法に関する。
韓国インターネット振興院（ＫＩＳＡ）によれば、２０１９年に集計された韓国内オンラインショッピング市場の規模は約１３３兆ウォンであり、２０１８年の１１１兆ウォンに対比して約２０％の成長傾向を見せている。このようにオンラインショッピング市場の成長傾向が急激に増加するにつれ、オンラインショッピングプラットフォームに登録されるストア及び商品の数が飛躍的に増加しており、消費者がオフライン売場よりオンライン売場を通して物を購入する比率が大幅に上昇している。
一方、オフラインショッピングの形態は、消費者が売場を選び売場内に備えられた商品を目で確認して気に入る商品を購入する形態であったら、オンラインショッピングの形態は、消費者が所望の商品のキーワードを通して商品を検索して購入する形態であって、商品が販売されるプラットフォームが変化するにつれて消費者が商品を探すようになる形態も変わっている。
そのため、オンラインショッピングでは、商品ページに消費者のトラフィックを流入させ得るように商品と関連したキーワードをよく設定することが非常に重要になっている。ただし、韓国内の上位１０個のオンラインショッピングモールにアップロードされた商品の個数だけでも４億個を超える状況で商品毎にキーワードを一々設定することは難しい状況であるため、オンラインショッピングモールには、商品に対するイメージファイルだけで商品のキーワードを設定できる機能のソリューションが要求されている。
このとき、商品のイメージを構成する要素は、大きく空間、事物、雰囲気、色彩に分けられる。購買者もまた商品を検索するとき、商品が使用される空間の用途、商品そのもの、空間の雰囲気、商品の色彩を重要な要素と見なすため、商品のイメージを構成する要素である空間、事物、雰囲気、色彩のいずれか一つのキーワードを組み合わせて検索するようになる。
このように、商品のイメージから自動で空間、事物、雰囲気、色彩に対するキーワードを抽出できるソリューションが要求される状況で導入可能な代表的な技術としては、人工知能を利用したイメージ分類アルゴリズムがある。一方、商品のイメージから空間、事物、雰囲気、色彩を正確に分類するためには、データの品質、データの数量、ラベリング方法、学習の容易性等、考慮すべき要素が多い。これによって、多様な学習データを生成し、人工知能モデルの学習を容易にしながら正確な性能を有するモデルを生成させることのできる技術が必要な実情である。
本発明の実施例において解決しようとする課題は、イメージから自動で該当イメージが示す空間のクラスを分類できるモデルを生成する技術を提供しようとする。
このとき、本発明の実施例が使用する技術であるイメージ分類人工知能アルゴリズムは、学習に使用する学習データの量と質によってモデルの性能に大きな差が発生し得る。特に、人工知能モデルが学習する場合、限定された学習データだけで優れた性能を有するモデルを作るためには、モデルが実際に使用される多様な環境や多様な状況の変数を含む学習データを通してモデルを学習させることが重要である。本発明は、空間イメージを分類するモデルを生成するにあたって、モデルが実際に使用される多様な環境や状況の変数を含む学習データを生成するデータ増強技術を提示する。
ただし、本発明の実施例が解決しようとする技術的課題は、以上において言及した課題に制限されず、以下において説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導出され得る。
本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置は、所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、前記プロセッサが遂行する動作は、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作、前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強させる動作、前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作、及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
Figure 2023508639000002
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508639000003
：定数、
Figure 2023508639000004
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
Figure 2023508639000005
（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
Figure 2023508639000006
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508639000007
：定数、
Figure 2023508639000008
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
Figure 2023508639000009
（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
Figure 2023508639000010
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508639000011
：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である
Figure 2023508639000012
から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である
Figure 2023508639000013
を引いた値である
Figure 2023508639000014
を求め、前記
Figure 2023508639000015
の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含むことができる。
また、前記モデルを生成する動作は、ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに前記学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに前記空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する神経網の重み付けを学習させる動作を含むことができる。
また、前記ＲｅｓＮｅｔアルゴリズムに基づいて設計された神経網のハイパーパラメータのうちネットワーク階層数は、［１８、３４、５０、１０１、１５２、２００］のうち一つの値を有し、クラス個数は、居間／部屋／台所／浴室に分類される４つのクラスを含み、ミニバッチサイズは、［３２、６４、１２８、２５６］のうち一つの値を有し、学習回数は、１０～１５の値のうち一つを有し、学習率は、０．００５または０．０１に設定され、損失関数は、ＳＧＤまたはＡｄａｍに設定され得る。
本発明の一実施例に係るデータ増強基盤空間分析モデル学習方法は、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成するステップ、前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強するステップ、前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングするステップ、及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成するステップを含むことができる。
本発明の実施例によれば、同じ空間を撮影しても撮影するカメラの特性、撮影時間、撮影する人の習慣等、実際の多様な環境や状況により、同じ空間を撮影しても生成されるイメージが変わり得るという変数を学習できるように、原本学習データを変形させて多様な学習データを確保するデータ増強技術を通して学習データの数量を増加させながらも高品質の学習データを確保し、増強された学習データに対するラベリングを自動化して学習が容易でありながら性能が向上したイメージ分類モデルを提供できる。
このようなイメージ分類モデルを使用して、オンラインショッピングモールは、商品のイメージだけで商品と関連したキーワードを使用することで商品ページに消費者のトラフィックを効果的に流入させることができ、消費者もまた自身が所望するイメージを利用して自身に必要なキーワードを探して検索に利用できる。
この他に、本文書を通して直接的または間接的に把握される多様な効果が提供され得る。
本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置が生成したモデルを利用してイメージが示す空間に対するクラスを分類する機能を示した図である。 本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置の機能ブロック図である。 第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。 第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。 第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。 第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。 本発明の一実施例に係るデータ増強基盤空間分析モデル学習方法のフローチャートである。
本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、多様な形態に具現され得、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明の範疇は、請求項により定義されるだけである。
本発明の実施例を説明するにあたって、公知機能または構成についての具体的な説明は、実際に必要な場合の他には省略される。そして、後述の用語は、本発明の実施例での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例等によって変わり得る。それゆえ、その定義は、本明細書全般にわたった内容に基づいて下されるべきである。
図面に表示され、下記に説明される機能ブロックは、可能な具現の例であるだけである。他の具現では、詳細な説明の思想及び範囲を外れない範囲で他の機能ブロックが使用され得る。また、本発明の一つ以上の機能ブロックが個別ブロックで表示されるが、本発明の機能ブロックのうち一つ以上は、同じ機能を実行する多様なハードウェア及びソフトウェア構成の組み合わせであってよい。
また、ある構成要素を含むという表現は、開放型の表現であって、該当構成要素が存在することを単に指すだけであり、さらなる構成要素を排除するものと理解されてはならない。
さらに、ある構成要素が他の構成要素に連結されているとか接続されていると言及される時には、その他の構成要素に直接的に連結または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。
また、「第１、第２」等のような表現は、複数の構成を区分するための用途にだけ使用された表現であって、構成の間の順序やその他の特徴を限定しない。
以下においては、図面を参照して本発明の実施例について説明する。
図１は、本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置１００が生成した人工知能モデルを利用してイメージが示す空間に対するクラスを分類する機能を示した図である。
図１を参照すると、本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置１００は、図１に示されたインターフェースの上段メニューの空間分類、事物検出、スタイル分析、商品推薦機能のうち空間分類機能を提供できる。データ増強基盤空間分析モデル学習装置１００は、図１のインターフェースに使用される人工知能モデルを生成する。人工知能モデルは、図１の左側下段に入力される空間イメージを分析して、空間イメージがどのような名称、用途、または特性を有するのかクラスを判別（ｅｘ．ｌｉｖｉｎｇ ｒｏｏｍ：９９％）できる。このような実施例を具現するためにデータ増強基盤空間分析モデル学習装置１００が有する構成を図２と共に説明する。
図２は、本発明の一実施例に係るデータ増強基盤空間分析モデル学習装置１００の機能ブロック図である。
図２を参照すると、一実施例に係るデータ増強基盤空間分析モデル学習装置１００は、メモリ１１０、プロセッサ１２０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０を含むことができる。
メモリ１１０は、学習データＤＢ１１１、神経網モデル１１３、及び命令語ＤＢ１１５を含むことができる。
学習データＤＢ１１１は、室内空間、外部空間等、特定の空間を撮影した空間イメージファイルを含むことができる。空間イメージは、外部サーバ、外部ＤＢを通して獲得するかインターネット上の空間イメージを獲得できる。このとき、空間イメージは、多数のピクセル（ｅｘ．横Ｍ個、縦Ｎ個の行列形態に構成されたＭ×Ｎ個のピクセル）で構成され得、それぞれのピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の固有色相を示すＲＧＢ元素値（ｘ、ｙ、ｚ）で構成されたピクセル情報を含むことができる。
神経網モデル１１３は、入力された空間イメージを分析して、空間イメージがどのような名称、用途、特徴で使用される空間に該当するかを特定するクラスを判別するイメージ分類人工知能アルゴリズム基盤に学習された人工知能モデルであってよい。人工知能モデルは、後述するプロセッサ１２０の動作により生成されてメモリ１１０に格納され得る。
命令語ＤＢ１１５は、プロセッサ１２０の動作を遂行させることのできる命令語を格納することができる。例えば、命令語ＤＢ１１５は、後述するプロセッサ１２０の動作と対応する動作を遂行するようにするコンピュータコードを格納することができる。
プロセッサ１２０は、データ増強基盤空間分析モデル学習装置１００が含む構成、メモリ１１０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０の全般的な動作を制御できる。プロセッサ１２０は、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を含むことができる。プロセッサ１２０は、メモリ１１０に格納された命令語を実行してラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を駆動させることができ、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７により遂行される動作は、プロセッサ１２０により遂行される動作と理解され得る。
ラベリングモジュール１２１は、複数の空間イメージそれぞれのイメージに含まれた空間情報（ｅｘ．空間の名称、空間の用途、空間の特性等）を特定するクラスをラベリング（マッピング）して人工知能モデルの学習に使用される学習データを生成し、学習データＤＢ１１１に格納することができる。ラベリングモジュール１２１は、外部サーバ、外部ＤＢを通して空間イメージを獲得するかインターネット上の空間イメージを獲得できる。空間イメージには、該当イメージの空間情報を特定するクラス（ｅｘ．部屋、浴室、台所、居間等）が既ラベリングされていてよい。
増強モジュール１２３は、学習データＤＢ１１１に格納された空間イメージ（増強モジュールが変形を加えていない空間イメージを、以下、「第１空間イメージ」と称する）が含むピクセル情報の一部または全部を変更した空間イメージ（増強モジュールが変形を加えた空間イメージを、以下、「第２空間イメージ」と称する）を生成して学習データを増強させ、第２空間イメージを学習データＤＢ１１１に追加して格納することができる。
本発明の実施例に係るデータ増強基盤空間分析モデル学習装置１００が学習させるモデルは、空間イメージのクラスを分類する機能を有する。このとき、空間イメージは、同じ空間が撮影されるものであっても撮影に使用されるカメラの特性、撮影が行われる時間、撮影する人の習慣等、実際の空間イメージが生成される多様な環境や状況により、同じ空間を撮影する場合であっても多様な変数によりイメージファイルに含まれる情報が変わり得る。従って、人工知能モデルの性能向上のためには、学習に使用されるデータの量と質が重要である。特に、撮影に使用されるカメラの特性、撮影時間、撮影する人の習慣によって発生し得る変数を学習できるように、増強モジュール１２３は、一つの空間イメージに対して実際に発生し得る変数を反映する図３乃至図６のデータ増強アルゴリズムを通して学習データの数量を増加させることができる。このとき、ラベリングモジュール１２１は新たに生成され、ラベリングが遂行される前の第２空間イメージに対して、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングするようにして、増強された学習データに対するラベリング過程を自動化することでラベリング時間を短縮することができる。
学習モジュール１２５は、イメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する重み付けを学習させることで、重み付けの相関関係に基づいて新たに入力される空間イメージに対するクラスを判別する人工知能モデルを生成できる。例えば、学習モジュール１２５は、イメージ分類アルゴリズムのうちＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するように神経網の重み付けを学習させて神経網を生成できる。
制御モジュール１２７は、学習が完了した人工知能モデルに空間イメージを入力して、入力された空間イメージに対して人工知能モデルが判別したクラスを該当空間イメージのキーワードに導出することができる。これによって、制御モジュール１２７は、空間イメージを含む商品ページに該当キーワード情報を使用できるようにオンラインショッピングモールサーバの商品ＤＢにキーワードを格納することができる。
入力インターフェース１３０は、ユーザの入力を受信することができる。例えば、学習データに対するクラスをラベリングする場合、ユーザの入力を受信することができる。
ディスプレイ部１４０は、ディスプレイパネルを含んで画像を出力するハードウェア構成を含むことができる。
通信インターフェース１５０は、外部装置（ｅｘ．オンラインショッピングモールサーバ、ユーザ端末等）と通信して情報を送受信できるようにする。このために、通信インターフェース１５０は、無線通信モジュールまたは有線通信モジュールを含むことができる。
以下、データ増強基盤空間分析モデル学習装置１００を構成する各構成が具現する多様な実施例を図３乃至図６と共に説明する。
図３は、第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２３は、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させるように変形するか、または第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させるように変形して、カメラの性能や機種によって一つの空間に対するイメージが異に生成され得る変数まで学習されるようにする第２空間イメージを生成できる。
このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して第２空間イメージを生成できる。
例えば、増強モジュール１２３は、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数１を適用してピクセル情報が変更された第２空間イメージを生成できる。
（数１）
Figure 2023508639000016
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508639000017
：定数、
Figure 2023508639000018
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
数１によれば、
Figure 2023508639000019
が１より大きな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させることができ、
Figure 2023508639000020
が０より大きく１より小さな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させることができる。
また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、
Figure 2023508639000021
により出力される元素値が２５５より過度に大きくならないように
Figure 2023508639000022
を設定でき、
Figure 2023508639000023
関数を使用して最大値が２５５より大きくならないように設定できる。
また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、
Figure 2023508639000024
関数を使用して
Figure 2023508639000025
により出力される元素値が０より小さくならないように
Figure 2023508639000026
関数を使用してすることができる。
加えて、
Figure 2023508639000027
が小数点を有する値に設定される場合、変更されたピクセル情報の元素値が整数になるように
Figure 2023508639000028
関数を使用することができる。
図３Ａを参照すると、左側は、第１空間イメージであり、右側は、
Figure 2023508639000029
を設定して数１を適用した場合の第２空間イメージである。図３Ａの右側第２空間イメージは、第１空間イメージに比して、明るい部分がさらに明るく変わり、暗い部分がさらに暗く変わって対比が増加した新たな学習データが生成されることを確認することができる。
図３Ｂを参照すると、左側は、第１空間イメージであり、右側は、
Figure 2023508639000030
を設定して数１を適用した場合の第２空間イメージである。図３Ｂの右側第２空間イメージは、第１空間イメージに比して、明るい部分があまり明るくなく変わり、暗い部分があまり暗くなく変わって対比が減少した新たな学習データが生成されることを確認することができる。
図３Ｃを参照すると、左側は、一つの色（Ｒ、Ｇ、Ｂ）＝（１８３、１９１、１９４）に統一された第１空間イメージであり、右側は、
Figure 2023508639000031
を設定して数１を適用した場合の第２空間イメージである。図３Ｃを通して一つのピクセル情報が数１によって変わる程度を確認することができる。
図４（ａ）は、第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。
空間イメージに対するクラス判別は、事物の配置や、事物のパターンに大きな影響を受けるため、増強モジュール１２３は、色相を単調に変換させた後、事物の配置と事物のパターンがよりよく学習されるように変数を反映した学習データを生成できる。
このために、増強モジュール１２３は、図４（ａ）の左側イメージのように、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数２を適用してピクセル情報が単調な色相を有しながら配置とパターンが現れる第２空間イメージを生成できる。
（数２）
Figure 2023508639000032
（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
加えて、増強モジュール１２３は、図４（ａ）の右側イメージのように、下記数３を通して第１空間イメージの対比を増加させた後に導出された元素値に、下記数４を適用して、第１空間イメージに含まれた事物の配置とパターンがより克明に現れる第２空間イメージを生成できる。
（数３）
Figure 2023508639000033
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508639000034
：定数、
Figure 2023508639000035
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
（数４）
Figure 2023508639000036
（Ｒ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’）
図４（ｂ）は、第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２３は、カメラを拡大して撮影する場合、イメージにノイズが発生する場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して第２空間イメージを生成できる。例えば、増強モジュール１２３は、乱数発生アルゴリズムを通して任意の座標情報を生成して、第１空間イメージに含まれたピクセルのうち一部の座標を選択し、選択された座標のピクセルが有する元素値に対して下記数５を利用して、ピクセル情報に乱数発生アルゴリズムを利用して算出される乱数を付加してノイズ情報が追加された第２空間イメージを生成できる。
（数５）
Figure 2023508639000037
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508639000038
：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
図４（ｂ）を参照すると、左側は、第１空間イメージであり、右側は、数５を適用してノイズを追加した場合の第２空間イメージを確認することができる。
図５は、第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。
増強モジュール１２３は、カメラの焦点がよく合わない状態で撮影されたイメージを学習するように次の実施例を通して事物の縁が潰れたような第２空間イメージを生成できる。
図５Ａは、説明の便宜のために、横５個×縦５個の行列形態の２５個のピクセルを含む第１空間イメージを仮定して各ピクセル領域を区分した例示である。このとき、各ピクセルは、Ｒ、Ｇ、Ｂの元素値を有するが、Ｒ（Ｒｅｄ）の元素値を基準に実施例を説明する。図５Ａの各ピクセル領域に示された数字は、Ｒの元素値を意味する。
図５Ａの場合、全てのピクセルに後述する方式の演算が遂行されるが、説明の便宜のために、真ん中のピクセルを基準に演算を説明する。図５Ａの場合、増強モジュール１２３は、演算が遂行されるピクセルを中央とするＮ×Ｎ領域（図５ＡでＮは３を仮定）に含まれたピクセルのうちＲ元素値の最大値（Ｒ＿ｍａｘ＝１３０）とＲ元素値の平均値（Ｒ＿ａｖｇ＝１２０）の差（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ＝１０）を計算して、導出される値が既設定された値ｎより小さい場合のピクセル（事物の内側領域に存在するピクセルと判別）と既設定された値ｎより大きい場合のピクセル（事物の枠領域に存在するピクセルと判別）を区分して、図５Ｂの右側のように第１空間イメージに含まれた事物の枠を判別できる。ここで、増強モジュール１２３は、枠領域を除く領域のピクセルに対してのみガウスブラーアルゴリズムを適用して図５Ｃの右側イメージのようなイメージを生成できる。一方、演算が遂行されるピクセルを基準にするＮ×Ｎ領域にピクセルが存在しない領域（ｅｘ．イメージの縁側）が存在するならば、該当ピクセルに対しては上述した演算を省略し、ブラー処理をすることができる。
このように、増強モジュール１２３は、第１空間イメージが含む全てのピクセルそれぞれに対して上の演算を遂行することができる。演算が遂行されるピクセルの場合、該当ピクセルを中央に含むＮ×Ｎ（Ｎは、３以上の奇数）行列大きさに含まれる複数のピクセルをカーネル領域に選択し、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）のうち少なくともいずれか一つの元素値が既設定された値ｎより小さければ、該当ピクセルにガウスブラーアルゴリズムを適用して第２空間イメージを生成できる。
このような演算を第１空間イメージに含まれた全てのピクセルに対して遂行すれば、色相差が大きく開く枠領域のピクセルだけがピクセル情報をそのまま有し、色相差のない領域のピクセルはブラー処理されて、カメラの焦点がよく合わない状態で撮影されたイメージを学習できる第２空間イメージを生成できる。このとき、ブラー処理は、ガウスブラーアルゴリズムを適用できるが、これに限定されず、多様なブラーフィルタを使用することができる。
図５Ｂを参照すると、左側は、第１空間イメージであり、右側は、図５を通して説明した実施例で既設定された値ｎより大きい場合とｎより小さい場合のピクセルを区分して生成されたイメージである。図５Ｂの右側イメージもまた事物の枠を克明に示すため、事物の配置とパターンを明確に認識させるための目的で学習データに追加して使用することができる。
図５Ｃを参照すると、左側は、第１空間イメージであり、右側は、上述した図５の実施例でＮ＝７、ｎ＝２０を適用した実施例であり、枠以外の領域がブラー処理された第２空間イメージを確認することができる。
加えて、図５を通して説明した実施例で既設定された値ｎより大きい場合のピクセルをブラー処理して上述した実施例と反対の効果を発生させた第２空間イメージを学習データＤＢ１１１に追加することもできる。
図６は、第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２３は、イメージの特定部分に焦点が合わない場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、全てのピクセルのそれぞれに乱数情報それぞれを合算してノイズ情報が挿入された第２空間イメージを生成できる。
ラベリングモジュール１２１は、図３乃至図６を通して生成された第２空間データに対して、変形前の原本である第１空間イメージにラベリングされたクラスを、変形後の第２空間イメージに同一にラベリングして、増強された学習データに対するラベリング過程を自動化してラベリング時間を短縮することができる。
以後、学習モジュール１２５は、イメージ分類アルゴリズム基盤に設計されたモデルに原本学習データ（第１空間イメージ）と図３乃至図６の実施例を通して増強された学習データ（第２空間イメージ）を入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成できる。
このようなイメージ分類アルゴリズムは、人工知能の分野で扱う多様な問題を定義し、それを解決するマシンラーニングアルゴリズムを含む。本発明の実施例は、ＲｅｓＮｅｔ、ＬｅＮｅｔ－５、ＡｌｅｘＮｅｔ、ＶＧＧ－Ｆ、ＶＧＧ－Ｍ、ＶＧＧ－Ｓ、ＶＧＧ－１６、ＶＧＧ－１９、ＧｏｏｇＬｅＮｅｔ（ｉｎｃｅｐｔｉｏｎ ｖ１）、ＳＥＮｅｔのアルゴリズムによって設計された人工知能モデルを通して学習を進行できる。
人工知能モデルは、シナプスの結合でネットワークを形成したノードで構成される、問題解決能力を備えるモデル全般を意味し得る。人工知能モデルは、モデルを構成するレイヤの間の重み付けである、モデルパラメータを更新する学習過程、出力値を生成する活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）により定義され得る。
モデルパラメータは、学習を通して決定されるパラメータを意味し、レイヤ連結の重み付けとニューロンの偏向等が含まれる。そして、ハイパーパラメータは、マシンラーニングアルゴリズムで学習の前に設定されるべきパラメータを意味し、ネットワーク階層数（ｎｕｍ＿ｌａｙｅｒ）、学習データ個数（ｎｕｍ＿ｔｒａｉｎｉｎｇ＿ｓａｍｐｌｅｓ）、クラス個数（ｎｕｍ＿ｃｌａｓｓｅｓ）、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）、学習回数（ｅｐｏｃｈｓ）、ミニバッチサイズ（ｍｉｎｉ＿ｂａｔｃｈ＿ｓｉｚｅ）、損失関数（ｏｐｔｉｍｉｚｅｒ）等が含まれる。
本発明の一実施例に係る人工知能モデルのハイパーパラメータは、下記のような設定値を有し得る。例えば、ネットワーク階層数は、イメージの大きさが大きな学習データである場合、［１８、３４、５０、１０１、１５２、２００］の間から選択され得る。このとき、ネットワーク階層数は、学習時間を考慮して初期値１８で学習されて所定個数の学習データが学習された以後には３４に変更され得、これによって正確度が向上し得る。学習データ個数は、全体イメージデータから評価データの個数を引いた値であり、計７９，７５６枚の中で６３，８０６枚が学習データに使用され得、残りの１６，６２５枚は評価データに使用され得る。クラス個数は、居間／部屋／台所／浴室に分類される４つのクラスを含むことができる。ミニバッチサイズは、大きさ値によってコンバージェンス速度及び最終ｌｏｓｓ値に差があるので、［３２、６４、１２８、２５６］等の大きさをそれぞれ試みて適切な値を選択でき、好ましく１２８または２５６の大きさが設定され得る。学習回数は、１０～１５のいずれか一つの値に設定され得る。学習率は、０．００５または０．０１に設定され得る。損失関数（目的関数）は、基本値であるＳＧＤに設定され得、またはイメージ分類に適したＡｄａｍに設定され得る。ただし、上述した設定値は一例示であるだけで、実施例が前記数値に限定されるものではない。
人工知能モデルの学習目的は、損失関数を最小化するモデルパラメータを決定することと見られる。損失関数は、人工知能モデルの学習過程で最適なモデルパラメータを決定するための指標に利用され得る。
図７は、本発明の一実施例に係るデータ増強基盤空間分析モデル学習方法のフローチャートである。図７によるデータ増強基盤空間分析モデル学習方法の各ステップは、図２を通して説明されたデータ増強基盤空間分析モデル学習装置１００により遂行され得、各ステップを説明すると、次のとおりである。
まず、ラベリングモジュール１２１は、複数の空間イメージを獲得して複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する（Ｓ７１０）。以後、増強モジュール１２３は、複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して学習データを増強させる（Ｓ７２０）。次に、ラベリングモジュール１２１は、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングする（Ｓ７３０）。これによって、学習モジュール１２５は、所定のイメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成できる（Ｓ７４０）。
一方、上述した各ステップの主体である構成要素が該当ステップを実施するための過程は、図２乃至図６と共に説明したので、重複した説明は省略する。
上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合等により具現され得る。
ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ等により具現され得る。
ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数等の形態に具現され得る。ソフトウェアコード等が書き込まれたコンピュータプログラムは、コンピュータ読み取り可能書き込み媒体またはメモリユニットに格納されてプロセッサにより駆動され得る。メモリユニットは、プロセッサの内部または外部に位置して、既に公知になった多様な手段によりプロセッサとデータを受け渡しすることができる。
また、本発明に添付のブロック図の各ブロックとフローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションにより遂行されてもよい。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサに搭載され得るので、コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサを通して遂行されるそのインストラクションがブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行する手段を生成するようになる。これらのコンピュータプログラムインストラクションは、特定方法で機能を具現するためにコンピュータまたはその他のプログラム可能なデータプロセシング装備を目指すことのできるコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されることも可能であるので、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されたインストラクションは、ブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能であるので、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが遂行されてコンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を遂行するインストラクションは、ブロック図の各ブロック及びフローチャートの各ステップで説明された機能を実行するためのステップを提供することも可能である。
併せて、各ブロックまたは各ステップは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施例では、ブロックまたはステップで言及された機能が順序を外れて発生することも可能であることを注目すべきである。例えば、引き続き図示されている二つのブロックまたはステップは、実際、実質的に同時に遂行されることも可能であり、またはそのブロックまたはステップが時々該当する機能によって逆順に遂行されることも可能である。
このように、本発明の属する技術の分野における当業者は、本発明がその技術的思想や必須特徴を変更することなく他の具体的な形態で実施され得るということが理解できるだろう。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものとして理解すべきである。本発明の範囲は、詳細な説明よりは後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

Claims (14)

  1. データ増強基盤空間分析モデル学習装置において、
    所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
    前記プロセッサが遂行する動作は、
    複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；
    前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強する動作；
    前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び
    所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成する動作を含む、
    データ増強基盤空間分析モデル学習装置。
  2. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤空間分析モデル学習装置。
  3. 前記第２空間イメージを生成する動作は、
    Figure 2023508639000039
    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
    Figure 2023508639000040
    ：定数、
    Figure 2023508639000041
    ：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項２に記載のデータ増強基盤空間分析モデル学習装置。
  4. 前記第２空間イメージを生成する動作は、
    Figure 2023508639000042
    （Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤空間分析モデル学習装置。
  5. 前記第２空間イメージを生成する動作は、
    Figure 2023508639000043
    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
    Figure 2023508639000044
    ：定数、
    Figure 2023508639000045
    ：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    Figure 2023508639000046
    （Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
    前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤空間分析モデル学習装置。
  6. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤空間分析モデル学習装置。
  7. 前記第２空間イメージを生成する動作は、
    Figure 2023508639000047
    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
    Figure 2023508639000048
    ：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含む、
    請求項６に記載のデータ増強基盤空間分析モデル学習装置。
  8. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である
    Figure 2023508639000049
    から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である
    Figure 2023508639000050
    を引いた値である
    Figure 2023508639000051
    を求め、前記
    Figure 2023508639000052
    の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤空間分析モデル学習装置。
  9. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤空間分析モデル学習装置。
  10. 前記モデルを生成する動作は、
    ＲｅｓＮｅｔ（Ｄｅｅｐ Ｒｅｓｉｄｕａｌ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ）アルゴリズムに基づいて設計された神経網の入力レイヤに前記学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに前記空間イメージそれぞれにラベリングされたクラスが入力されるように設定して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する神経網の重み付けを学習させる動作を含む、
    請求項１に記載のデータ増強基盤空間分析モデル学習装置。
  11. 前記ＲｅｓＮｅｔアルゴリズムに基づいて設計された神経網のハイパーパラメータのうちネットワーク階層数は、［１８、３４、５０、１０１、１５２、２００］のうち一つの値を有し、クラス個数は、居間／部屋／台所／浴室に分類される４つのクラスを含み、ミニバッチサイズは、［３２、６４、１２８、２５６］のうち一つの値を有し、学習回数は、１０～１５の値のうち一つを有し、学習率は、０．００５または０．０１に設定され、損失関数は、ＳＧＤまたはＡｄａｍに設定される、
    請求項１０に記載のデータ増強基盤スタイル分析モデル学習装置。
  12. 請求項１乃至１１のいずれか一項に記載の装置が生成したデータ増強基盤空間分析モデルを含む装置。
  13. データ増強基盤空間分析モデル学習装置が遂行する方法において、
    複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成するステップ；
    前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強するステップ；
    前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングするステップ；及び
    所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力して、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成するステップを含む、
    データ増強基盤空間分析モデル学習方法。
  14. 請求項１３に記載の方法をプロセッサが遂行するようにするコンピュータ読み取り可能書き込み媒体に格納されたコンピュータプログラム。
JP2022531442A 2020-07-23 2020-11-24 データ増強基盤空間分析モデル学習装置及び方法 Active JP7362924B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0091753 2020-07-23
KR1020200091753A KR102208685B1 (ko) 2020-07-23 2020-07-23 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
PCT/KR2020/016688 WO2022019389A1 (ko) 2020-07-23 2020-11-24 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2023508639A true JP2023508639A (ja) 2023-03-03
JP7362924B2 JP7362924B2 (ja) 2023-10-17

Family

ID=74239270

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022531442A Active JP7362924B2 (ja) 2020-07-23 2020-11-24 データ増強基盤空間分析モデル学習装置及び方法

Country Status (6)

Country Link
US (1) US20220358752A1 (ja)
EP (1) EP4040347A4 (ja)
JP (1) JP7362924B2 (ja)
KR (2) KR102208685B1 (ja)
CN (1) CN114830146A (ja)
WO (1) WO2022019389A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117302236B (zh) * 2023-09-27 2024-03-26 湖北天凯风林电子有限公司 一种基于深度学习的车辆状态监测方法及系统

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358024A1 (en) * 2015-06-03 2016-12-08 Hyperverge Inc. Systems and methods for image processing
US20170300783A1 (en) * 2016-04-13 2017-10-19 Xerox Corporation Target domain characterization for data augmentation
JP2018525734A (ja) * 2015-07-22 2018-09-06 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ニューラルネットワークにおける転移学習
CN108520278A (zh) * 2018-04-10 2018-09-11 陕西师范大学 一种基于随机森林的路面裂缝检测方法及其评价方法
JP2018169672A (ja) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
CN110516703A (zh) * 2019-07-18 2019-11-29 平安科技（深圳）有限公司 基于人工智能的车辆识别方法、装置及存储介质
KR20200078214A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 스타일 변환을 위한 영상 처리 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3347817B2 (ja) * 1993-06-22 2002-11-20 株式会社ビュープラス 画像認識装置
KR20100102772A (ko) 2009-03-12 2010-09-27 주식회사 퍼시스 실내환경 분석 시스템 및 그 방법
US20170256038A1 (en) * 2015-09-24 2017-09-07 Vuno Korea, Inc. Image Generating Method and Apparatus, and Image Analyzing Method
KR102645202B1 (ko) * 2017-01-03 2024-03-07 한국전자통신연구원 기계 학습 방법 및 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160358024A1 (en) * 2015-06-03 2016-12-08 Hyperverge Inc. Systems and methods for image processing
JP2018525734A (ja) * 2015-07-22 2018-09-06 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ ニューラルネットワークにおける転移学習
US20170300783A1 (en) * 2016-04-13 2017-10-19 Xerox Corporation Target domain characterization for data augmentation
JP2018169672A (ja) * 2017-03-29 2018-11-01 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
CN108520278A (zh) * 2018-04-10 2018-09-11 陕西师范大学 一种基于随机森林的路面裂缝检测方法及其评价方法
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
KR20200078214A (ko) * 2018-12-21 2020-07-01 삼성전자주식회사 스타일 변환을 위한 영상 처리 장치 및 방법
CN110516703A (zh) * 2019-07-18 2019-11-29 平安科技（深圳）有限公司 基于人工智能的车辆识别方法、装置及存储介质

Also Published As

Publication number Publication date
US20220358752A1 (en) 2022-11-10
KR20220012784A (ko) 2022-02-04
EP4040347A1 (en) 2022-08-10
JP7362924B2 (ja) 2023-10-17
EP4040347A4 (en) 2023-08-23
KR102208685B9 (ko) 2022-03-11
CN114830146A (zh) 2022-07-29
KR102430742B1 (ko) 2022-08-11
KR102208685B1 (ko) 2021-01-28
WO2022019389A1 (ko) 2022-01-27

Similar Documents

Publication Publication Date Title
KR102192899B1 (ko) 이미지에 보케 효과를 적용하는 방법 및 기록매체
US11475246B2 (en) System and method for generating training data for computer vision systems based on image segmentation
Schwartz et al. Deepisp: Toward learning an end-to-end image processing pipeline
JP7140848B2 (ja) 毛髪被覆率分析のためのシステム及び方法
Kao et al. Visual aesthetic quality assessment with a regression model
US8692830B2 (en) Automatic avatar creation
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
KR20200004841A (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
JP6728487B2 (ja) 電子装置及びその制御方法
JP2023537268A (ja) イメージデータベース分析基盤商品推薦装置及び方法
Lin et al. Deep multi-class adversarial specularity removal
US20220358411A1 (en) Apparatus and method for developing object analysis model based on data augmentation
WO2022156621A1 (zh) 基于人工智能的图像上色方法、装置、电子设备、计算机可读存储介质及计算机程序产品
CN108292359A (zh) 眼睛特征识别
US11468571B2 (en) Apparatus and method for generating image
CN108647696B (zh) 图片颜值确定方法及装置、电子设备、存储介质
JP7325637B2 (ja) データ増強基盤スタイル分析モデル学習装置及び方法
JP7362924B2 (ja) データ増強基盤空間分析モデル学習装置及び方法
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance
CN115457015A (zh) 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置
Jiji et al. Extended depth of focus imaging using optics and image processing
Deshpande et al. Fusion of handcrafted edge and residual learning features for image colorization
Mahajan A comprehensive Analysis on Image Colorization using Generative Adversarial Networks (GANs)
Lebron Rivera Underwater Image Enhancement: A Pipeline for Underwater Computer Visions
Nine Data Augmentation GUI Tool for Machine Learning Models

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230803

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230905

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231004

R150 Certificate of patent or registration of utility model

Ref document number: 7362924

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150