JP2023537268A - イメージデータベース分析基盤商品推薦装置及び方法 - Google Patents

イメージデータベース分析基盤商品推薦装置及び方法 Download PDF

Info

Publication number
JP2023537268A
JP2023537268A JP2023504704A JP2023504704A JP2023537268A JP 2023537268 A JP2023537268 A JP 2023537268A JP 2023504704 A JP2023504704 A JP 2023504704A JP 2023504704 A JP2023504704 A JP 2023504704A JP 2023537268 A JP2023537268 A JP 2023537268A
Authority
JP
Japan
Prior art keywords
image
spatial
spatial image
class
space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2023504704A
Other languages
English (en)
Inventor
ペク、ユナ
ヒ ヨン、テ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UrbanBase Inc
Original Assignee
UrbanBase Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UrbanBase Inc filed Critical UrbanBase Inc
Publication of JP2023537268A publication Critical patent/JP2023537268A/ja
Withdrawn legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0631—Item recommendations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0621—Item configuration or customization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0623—Item investigation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/36—Indoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置は、プロセッサを通して、所定の空間に配置された商品に対するイメージファイルを含むイメージデータベースを獲得する動作；イメージファイルに含まれた空間の用途、事物の種類、空間のスタイル及び色相に釣り合う配色を特定するメタデータを抽出して、イメージファイルまたは商品の商品情報にメタデータをマッピングする動作；空間の用途、事物の種類、空間のスタイル及び配色の少なくともいずれか一つに対するカテゴリを決定する動作；及び決定されたカテゴリと対応するメタデータとマッピングされているイメージファイルまたは商品情報をイメージデータベースで検索して推薦する動作を遂行することができる。

Description

本発明は、イメージデータベース分析基盤商品推薦装置及び方法に関する。
韓国インターネット振興院（ＫＩＳＡ）によれば、２０１９年に集計された韓国内オンラインショッピング市場の規模は約１３３兆ウォンであり、２０１８年の１１１兆ウォンに対比して約２０％の成長傾向を見せている。このようにオンラインショッピング市場の成長傾向が急激に増加するにつれ、オンラインショッピングプラットフォームに登録されるストア及び商品の数が飛躍的に増加しており、消費者がオフライン売場よりオンライン売場を通して物を購入する比率が大幅に上昇している。
一方、オフラインショッピングの形態は、消費者が売場を選び売場内に備えられた商品を目で確認して気に入る商品を購入する形態であったら、オンラインショッピングの形態は、消費者が所望の商品のキーワードを通して商品を検索して購入する形態であって、商品が販売されるプラットフォームが変化するにつれて消費者が商品を探すようになる形態も変わっている。
そのため、オンラインショッピングでは、商品ページに消費者のトラフィックを流入させ得るように商品と関連したキーワードをよく設定することが非常に重要になっている。ただし、韓国内の上位１０個のオンラインショッピングモールにアップロードされた商品の個数だけでも４億個を超える状況で商品毎のキーワードを一々設定することは難しい状況であるため、オンラインショッピングモールには、商品に対するイメージファイルだけで商品のキーワードを設定できる機能のソリューションが要求されている。
このとき、商品のイメージを構成する要素は、大きく空間、事物、商品が使用される背景のスタイル（雰囲気）、色相に分けられる。購買者もまた商品を検索するとき、商品が使用される空間の用途、商品そのもの、空間の雰囲気、空間の色相を重要な要素と見なすため、商品のイメージを構成する要素である空間、事物、スタイル、色相のいずれか一つのキーワードを組み合わせて検索するようになる。
このように、商品のイメージから自動で空間、事物、スタイル、色相に対するキーワードを抽出できるソリューションが要求される状況で導入可能な代表的な技術としては、人工知能を利用したイメージ分類アルゴリズムがある。一方、商品のイメージから空間、事物、スタイル、色相を正確に分類するためには、データの品質、データの数量、ラベリング方法、学習の容易性等、考慮すべき要素が多い。これによって、多様な学習データを生成し、人工知能モデルの学習を容易にしながら正確な性能を有するモデルを生成させることのできる技術が必要な実情である。
本発明の実施例において解決しようとする課題は、ショッピングモールが保有する空間、商品等に対する膨大なイメージを含むデータベースに対して、自動でデータベースに含まれたイメージが示す空間の用途、空間の中に配置された商品、空間の雰囲気、空間の色相と釣り合う配色を特定できるメタデータを抽出する技術を提供しようとする。
このとき、本発明の実施例が使用する技術であるイメージ分類人工知能アルゴリズムは、学習に使用する学習データの量と質によってモデルの性能に大きな差が発生し得る。特に、人工知能モデルの学習の場合、限定された学習データだけでも優れた性能を有するモデルを作るためには、モデルが実際に使用される多様な環境や多様な状況の変数を含む学習データを通してモデルを学習させることが重要である。本発明は、空間イメージが内包している多様な情報を分類するモデルを生成するにあたって、モデルが実際に使用される多様な環境や状況の変数を含む学習データを生成するデータ増強技術を提示する。
ただし、本発明の実施例が解決しようとする技術的課題は、以上において言及した課題に制限されず、以下において説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導出され得る。
本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置は、所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、前記プロセッサが遂行する動作は、所定の空間に配置された商品に対するイメージファイルを含むイメージデータベースを獲得する動作；前記イメージファイルに含まれた空間の用途、事物の種類、空間のスタイル及び色相に釣り合う配色を特定するメタデータを抽出して、前記イメージファイルまたは前記商品の商品情報に前記メタデータをマッピングする動作；所定の商品を選定するためのカテゴリ情報として、空間の用途、事物の種類、空間のスタイル及び配色の少なくともいずれか一つに対するカテゴリを決定する動作；及び前記決定されたカテゴリと対応するメタデータとマッピングされているイメージファイルまたは商品情報を前記イメージデータベースで検索して推薦する動作を含むことができる。
また、前記カテゴリを決定する動作は、ユーザの空間を撮影した第１イメージを獲得する動作；前記第１イメージに含まれた空間の用途、事物の種類、空間のスタイル及び配色を特定するメタデータを抽出する動作；及び前記第１イメージで抽出された事物の種類に対するメタデータを含まず、かつ、前記サンプルイメージで抽出された空間の用途、空間のスタイル及び配色に対するメタデータを含むカテゴリの商品選定を決定する動作を含むことができる。
また、前記カテゴリを決定する動作は、ユーザの空間を撮影した第１イメージを獲得する動作；前記第１イメージに含まれた空間の用途、事物の種類、空間のスタイル及び配色を特定するメタデータを抽出する動作；及び前記第１イメージで抽出された事物の種類に対するメタデータのうち前記ユーザが選択した一つの事物に対するメタデータを含み、かつ、前記第１イメージで抽出された空間の用途、空間のスタイル及び配色に対するメタデータを含むカテゴリの商品選定を決定する動作を含むことができる。
また、前記メタデータをマッピングする動作は、空間イメージに含まれた空間の用途を特定する第１神経網モデルを利用して前記メタデータを抽出する動作をさらに含み、前記第１神経網モデルは、プロセッサが、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強する動作；前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成する動作を遂行して生成され得る。
また、前記メタデータをマッピングする動作は、空間イメージに含まれた事物の種類を特定する第２神経網モデルを利用して前記メタデータを抽出する動作をさらに含み、前記第２神経網モデルは、プロセッサが、第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成する動作；前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングする動作；所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作；前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングする動作；及び前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成する動作を遂行して生成され得る。
また、前記メタデータをマッピングする動作は、空間イメージに含まれた空間のスタイルを特定する第３神経網モデルを利用して前記メタデータを抽出する動作をさらに含み、前記第３神経網モデルは、プロセッサが、複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当するスタイル情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；前記複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内で変更した第２空間イメージを生成して前記学習データを増強する動作；前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成する動作を遂行して生成され得る。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、α：定数、β：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、γ：既設定された値であるｎ以下の乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数３に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、α：定数、β：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
前記数４及び５に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、Ｎ：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
前記数６に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、前記（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含むことができる。
また、前記２次学習させたモデルを生成する動作は、前記１次学習されたモデルに前記第２空間イメージを入力して、前記第２事物イメージと前記第２クラスとの相関関係を導出するモデルの重み付けを２次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作を含むことができる。
また、前記第２空間イメージにラベリングする動作は、前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第１クラスと比較して、前記第２クラスと前記第１クラスが同一である場合、前記第２クラスの値を維持し、前記第２クラスと前記第１クラスが異なる場合、前記第２クラスの値を前記第１クラスと同じ値に修正する動作を含むことができる。
また、前記バウンディングボックスは、一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定され得る。
また、前記メタデータをマッピングする動作の前記配色を特定する動作は、前記イメージファイルに含まれた空間イメージの入力を受ける動作；前記空間イメージを構成する色相の種類及び前記空間イメージで前記色相の種類それぞれが使用された比率を判別する動作；前記空間イメージに使用された色相の比率が高い順に、前記空間イメージを構成する前記色相のうちの一部である第１色相を選別する動作；ソフト及びダイナミックを元素とする所定のカラーイメージスケール上に前記第１色相それぞれが位置する元素値を判別する動作；前記第１色相それぞれが前記空間イメージで使用された比率を重み付けとして、前記第１色相それぞれの前記元素値に前記重み付けを加えて組み合わせた配色元素値を計算する動作；及び前記カラーイメージスケールに前記配色元素値を含む配色群を前記空間イメージに釣り合う配色として推薦する動作を含むことができる。
また、前記比率を判別する動作は、ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇアルゴリズムに基づいて前記空間イメージを分析して前記空間イメージを構成する色相の種類及び前記空間イメージで前記色相の種類それぞれが使用された比率を判別する動作を含むことができる。
また、前記第１色相を選別する動作は、前記空間イメージに使用された色相の比率が高い順に前記空間イメージを構成するｎ種類（ｎは、自然数）の色相を選別する動作；及び前記ｎ種類の色相が前記空間イメージで使用された比率の和を１００％に換算して、前記ｎ種類の色相のうち前記比率が高い順に前記比率を累積して合わせたとき、ａ％（ａは、１００以下の自然数）を超えるまでの色相を前記第１色相に選別する動作を含むことができる。
また、前記配色元素値を計算する動作は、前記第１色相それぞれが前記空間イメージで使用された比率を重み付けとして、前記第１色相それぞれの前記元素値に加重算術平均を適用して前記配色元素値を計算する動作を含むことができる。
また、前記配色元素値を計算する動作は、前記第１色相それぞれが前記空間イメージで使用された比率の和を１００％に換算して導出されたそれぞれの比率を前記第１色相それぞれの重み付けとして、前記第１色相それぞれの前記２次元元素値に加重算術平均を適用して前記配色元素値を計算する動作を含むことができる。
また、前記配色元素値を計算する動作は、

（Ｎ＝第１色相の個数、ａ＝空間イメージでＮ個の第１色相が使用された比率の和を１００％に換算したとき、いずれか一つの第１色相が使用された比率、Ｓ：ソフト元素値、Ｄ：ダイナミック元素値、Ｓａｖ：第１色相のソフト値に対する加重算術平均元素値、Ｄａｖ：第１色相のダイナミック値に対する加重算術平均元素値）
前記数７に基づいて計算され得る。
本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置が遂行するイメージデータベース分析基盤商品推薦方法は、所定の空間に配置された商品に対するイメージファイルを含むイメージデータベースを獲得するステップ；前記イメージファイルに含まれた空間の用途、事物の種類、空間のスタイル及び色相に釣り合う配色を特定するメタデータを抽出して、前記イメージファイルまたは前記商品の商品情報に前記メタデータをマッピングするステップ；所定の商品を選定するためのカテゴリ情報として、空間の用途、事物の種類、空間のスタイル及び配色の少なくともいずれか一つに対するカテゴリを決定するステップ；及び前記決定されたカテゴリと対応するメタデータとマッピングされているイメージファイルまたは商品情報を前記イメージデータベースで検索して推薦するステップを含むことができる。
本発明の実施例によれば、ショッピングモールが保有する多くの量のイメージを含むデータベースに対して、自動でデータベースに含まれたイメージが示す空間の用途、空間の中に配置された商品、空間の雰囲気、空間の色相と釣り合う配色を特定したメタデータを生成して、ショッピングモールの管理者に商品情報管理の便宜を提供し、ショッピングモールのユーザに商品検索や商品選定に便宜を提供できる。
また、本発明の実施例が使用するイメージ分類モデルを学習させるにあたって、同じ空間を撮影しても撮影するカメラの特性、撮影時間、撮影する人の習慣等、実際の多様な環境や状況により、同じ空間を撮影する場合にも生成されるイメージが変わり得るという変数を学習できるように、原本学習データを変形させて多様な学習データを確保するデータ増強技術を通して学習データの数量を増加させながらも高品質の学習データを確保することができる。このとき、本発明の実施例は、増強された学習データに対するクラスを原本学習データと同一にラベリングしてラベリング過程を自動化することで、学習が容易でありながら性能が向上したイメージ分類モデルを提供できる。
このようなイメージ分類モデルを使用して、オンラインショッピングモールは、商品のイメージだけで商品と関連したキーワードを使用することで商品ページに消費者のトラフィックを効果的に流入させることができ、消費者もまた自身が所望するイメージを利用して自身に必要なキーワードを探して検索に利用できる。
この他に、本文書を通して直接的または間接的に把握される多様な効果が提供され得る。
本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置が空間の用途、事物の種類、空間のスタイル及び空間と釣り合う配色を特定して商品を推薦する様子を示す例示図である。 本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置の機能ブロック図である。 本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置の動作フローチャートである。 本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置が事物の種類を判別する神経網モデルを学習させる動作の例示図である。 本発明の一実施例によって空間に対するスタイルを分類する神経網が判別するクラスを説明するための例示図である。 イメージデータベース分析基盤商品推薦装置が第１空間イメージ（ａ）のピクセル情報を所定範囲内に変更させた第２空間イメージ（ｂ）の例示図である。 イメージデータベース分析基盤商品推薦装置が第１空間イメージ（ａ）のピクセル情報を所定範囲内に変更させた第２空間イメージ（ｂ）の例示図である。 第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。 第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。 第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。 第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。 本発明の一実施例に係るイメージデータベース基盤商品推薦装置が空間イメージに主に使用された５種類の色相と使用比率を抽出する動作を説明するための例示図である。 色相をソフト及びダイナミックを軸にする２次元座標平面に配置したカラーイメージスケールの例示図である。 カラーイメージスケール上の色相に対してソフト値及びダイナミック値の範囲を基準に分類したグループの例示図である。 カラーパレットに含まれた色相をＲ、Ｇ、Ｂを軸にする３次元座標平面に配置した例示図である。
本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、多様な形態に具現され得、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明の範疇は、請求項により定義されるだけである。
本発明の実施例を説明するにあたって、公知機能または構成についての詳細な説明は、本発明の実施例を説明するにあたって実際に必要な場合の他には省略される。そして、後述の用語は、本発明の実施例での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例等によって変わり得る。それゆえ、その定義は、本明細書全般にわたった内容に基づいて下されるべきである。
図面に表示され、下記に説明される機能ブロックは、可能な具現の例であるだけである。他の具現では、詳細な説明の思想及び範囲を外れない範囲で他の機能ブロックが使用され得る。また、本発明の一つ以上の機能ブロックが個別ブロックで表示されるが、本発明の機能ブロックのうち一つ以上は、同じ機能を実行する多様なハードウェア及びソフトウェア構成の組み合わせであってよい。
また、ある構成要素を含むという表現は、開放型の表現であって、該当構成要素が存在することを単に指すだけであり、さらなる構成要素を排除するものと理解されてはならない。
さらに、ある構成要素が他の構成要素に連結されているとか接続されていると言及される時には、その他の構成要素に直接的に連結または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。
また、「第１、第２」等のような表現は、複数の構成を区分するための用途にだけ使用された表現であって、構成の間の順序やその他の特徴を限定しない。
以下においては、図面を参照して本発明の実施例について説明する。
図１は、本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置１００が空間の用途、事物の種類、空間のスタイル及び空間と釣り合う配色を特定して商品を推薦する様子を示す例示図である。
図１を参照すると、本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置１００は、複数のイメージファイルを含むイメージデータベースに対して、イメージに含まれた空間の用途、事物の種類、空間のスタイル、空間の色相と釣り合う配色を特定するメタデータを抽出してイメージデータベースのイメージファイルとマッピングする過程を経て、ショッピングモール等が保有したイメージデータベースに上述したメタデータがマッピングされるようにアップデートでき、ショッピングモール等のサービス提供者は、このようなメタデータがマッピングされているイメージデータベースを利用してユーザに適した商品を推薦する動作を遂行することができる。イメージデータベース分析基盤商品推薦装置１００は、イメージから上述したメタデータを抽出するために、後述する神経網モデルと配色推薦アルゴリズムを活用できる。
図２は、本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置１００の機能ブロック図である。
図２を参照すると、一実施例に係るイメージデータベース分析基盤商品推薦装置１００は、メモリ１１０、プロセッサ１２０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０を含むことができる。
メモリ１１０は、学習データＤＢ１１１、神経網モデル１１３、空間イメージＤＢ１１５、色相データＤＢ１１７及び命令語ＤＢ１１９を含むことができる。
学習データＤＢ１１１は、室内空間、外部空間等、特定の空間を撮影した空間イメージファイルを含むことができる。空間イメージは、外部サーバ、外部ＤＢを通して獲得するかインターネット上の空間イメージを獲得できる。このとき、空間イメージは、多数のピクセル（ｅｘ．横Ｍ個、縦Ｎ個の行列形態に構成されたＭ×Ｎ個のピクセル）で構成され得、それぞれのピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の固有色相を示すＲＧＢ元素値（ｘ、ｙ、ｚ）で構成されたピクセル情報を含むことができる。
神経網モデル１１３は、イメージに含まれた空間の用途を判別する第１神経網モデル、イメージに含まれた事物の種類を判別する第２神経網モデル、イメージに含まれた空間のスタイルを判別する第３神経網モデルを含むことができる。第１乃至第３神経網モデルは、上述した各目的に応じてイメージに含まれた特定情報を特定するクラスを判別するようにイメージ分類人工知能アルゴリズム基盤に学習された人工知能モデルであってよい。人工知能モデルは、後述するプロセッサ１２０の動作により生成されてメモリ１１０に格納され得る。
空間イメージＤＢ１１５は、所定の空間に配置された客体（ｅｘ．商品）を含む空間イメージファイルを含むことができる。空間イメージは、外部サーバ、外部ＤＢを通して獲得するかインターネット上の空間イメージを獲得できる。このとき、空間イメージは、多数のピクセル（ｅｘ．横Ｍ個、縦Ｎ個の行列形態に構成されたＭ×Ｎ個のピクセル）で構成され得、それぞれのピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の固有色相を示すＲＧＢ元素値（ｘ、ｙ、ｚ）で構成されたピクセル情報を含むことができる。
色相データＤＢ１１７は、複数の色相に対するＲＧＢ情報を含むカラーパレット、多様な元素値（ｅｘ．ソフト、ダイナミック、明度、彩度、色相等）によって色相を分類できるカラーイメージスケールを含むことができる。
命令語ＤＢ１１９は、プロセッサ１２０の動作を遂行させることのできる命令語を格納することができる。例えば、命令語ＤＢ１１９は、後述するプロセッサ１２０の動作と対応する動作を遂行するようにするコンピュータコードを格納することができる。
プロセッサ１２０は、イメージデータベース分析基盤商品推薦装置１００が含む構成、メモリ１１０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０の全般的な動作を制御できる。プロセッサ１２０は、ラベリングモジュール１２１、増強モジュール１２２、学習モジュール１２３、色相判別モジュール１２４、配色判別モジュール１２５、ＤＢ生成モジュール１２６及び制御モジュール１２７を含むことができる。プロセッサ１２０は、メモリ１１０に格納された命令語を実行してラベリングモジュール１２１、増強モジュール１２２、学習モジュール１２３、色相判別モジュール１２４、配色判別モジュール１２５、ＤＢ生成モジュール１２６及び制御モジュール１２７を駆動させることができ、ラベリングモジュール１２１、増強モジュール１２２、学習モジュール１２３、色相判別モジュール１２４、配色判別モジュール１２５、ＤＢ生成モジュール１２６及び制御モジュール１２７により遂行される動作は、プロセッサ１２０により遂行される動作と理解され得る。
ラベリングモジュール１２１は、複数の空間イメージそれぞれのイメージが示す空間の用途（ｅｘ．居間、台所、トイレ、寝室等）、事物の種類（ｅｘ．額縁、ベッド、カーペット、ＴＶ等）、空間のスタイル（ｅｘ．モダン、ロマンチック、クラシック、ナチュラル、カジュアル、北ヨーロッパ、ビンテージ等）を特定するクラスをラベリング（マッピング）して人工知能モデルの学習に使用される学習データを生成し、学習データＤＢ１１１に格納することができる。ラベリングモジュール１２１は、外部サーバ、外部ＤＢを通して空間イメージを獲得するかインターネット上の空間イメージを獲得できる。空間イメージには、特定情報を特定するクラスが既ラベリングされていてよい。
増強モジュール１２２は、学習データＤＢ１１１に格納された空間イメージ（増強モジュールが変形を加えていない空間イメージを、以下、「第１空間イメージ」と称する）が含むピクセル情報を所定範囲内で変更した空間イメージ（増強モジュールが変形を加えた空間イメージを、以下、「第２空間イメージ」と称する）を生成して学習データを増強し、第２空間イメージを学習データＤＢ１１１に追加して格納することができる。このとき、ラベリングモジュール１２１は、新たに生成されてラベリングが遂行される前の第２空間イメージに対して、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングするようにして、増強された学習データに対するラベリング過程を自動化することでラベリング時間を短縮させることができる。
空間イメージは、同じ空間が撮影されるものであっても撮影に使用されるカメラの特性、撮影が行われる時間、撮影する人の習慣等、実際の空間イメージが生成される多様な環境や状況により、同じ空間を撮影する場合であっても多様な変数によりイメージファイルに含まれる情報が変わり得る。従って、人工知能モデルの性能向上のためには、学習に使用されるデータの量と質が重要である。特に、撮影に使用されるカメラの特性、撮影時間、撮影する人の習慣によって発生し得る変数を学習できるように、増強モジュール１２２は、一つの空間イメージに対して実際に発生し得る変数を反映する図７乃至図１０のデータ増強アルゴリズムを通して学習データの数量を増加させることができる。
学習モジュール１２３は、イメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する重み付けを学習させることで、重み付けの相関関係に基づいて新たに入力される空間イメージに対するクラスを判別する人工知能モデルを生成できる。例えば、学習モジュール１２３は、イメージ分類アルゴリズムに基づいて設計された神経網の入力レイヤに学習データに含まれた空間イメージが入力されるように設定し、出力レイヤに空間イメージそれぞれが示すスタイルがラベリングされたクラスが入力されるように設定して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたスタイルクラスとの相関関係を導出するように神経網の重み付けを学習させて神経網を生成できる。
このようなイメージ分類アルゴリズムは、人工知能の分野で扱う多様な問題を定義し、それを解決するマシンラーニングアルゴリズムを含む。本発明の実施例は、ＲｅｓＮｅｔ、ＬｅＮｅｔ－５、ＡｌｅｘＮｅｔ、ＶＧＧ－Ｆ、ＶＧＧ－Ｍ、ＶＧＧ－Ｓ、ＶＧＧ－１６、ＶＧＧ－１９、ＧｏｏｇＬｅＮｅｔ、ＳＥＮｅｔ、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、またはＳＳＤのアルゴリズムによって設計された人工知能モデルを通して学習を進行できる。
人工知能モデルは、シナプスの結合でネットワークを形成したノードで構成される、問題解決能力を有するモデル全般を意味し得る。人工知能モデルは、モデルを構成するレイヤの間の重み付けである、モデルパラメータを更新する学習過程、出力値を生成する活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）により定義され得る。
モデルパラメータは、学習を通して決定されるパラメータを意味し、レイヤ連結の重み付けとニューロンの偏向等が含まれる。そして、ハイパーパラメータは、マシンラーニングアルゴリズムで学習の前に設定されるべきパラメータを意味し、ネットワーク階層数（ｎｕｍ＿ｌａｙｅｒ）、学習データ個数（ｎｕｍ＿ｔｒａｉｎｉｎｇ＿ｓａｍｐｌｅｓ）、クラス個数（ｎｕｍ＿ｃｌａｓｓｅｓ）、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）、学習回数（ｅｐｏｃｈｓ）、ミニバッチサイズ（ｍｉｎｉ＿ｂａｔｃｈ＿ｓｉｚｅ）、損失関数（ｏｐｔｉｍｉｚｅｒ）等が含まれる。
本発明の一実施例に係る第１神経網モデルのハイパーパラメータは、下記のような設定値を有し得る。例えば、ネットワーク階層数は、イメージの大きさが大きな学習データである場合、［１８、３４、５０、１０１、１５２、２００］の間から選択され得る。このとき、ネットワーク階層数は、学習時間を考慮して初期値１８で学習されて所定個数の学習データが学習された以後には３４に変更され得、これによって正確度が向上し得る。学習データ個数は、全体イメージデータから評価データの個数を引いた値であり、計７９，７５６枚の中で６３，８０６枚が学習データに使用され得、残りの１６，６２５枚は評価データに使用され得る。クラス個数は、居間／部屋／台所／浴室に分類される４種類のクラスを含むことができる。ミニバッチサイズは、大きさ値によってコンバージェンス速度及び最終ｌｏｓｓ値に差があるので、［３２、６４、１２８、２５６］等の大きさをそれぞれ試みて適切な値を選択でき、好ましく１２８または２５６の大きさが設定され得る。学習回数は、１０～１５のいずれか一つの値に設定され得る。学習率は、０．００５または０．０１に設定され得る。損失関数（目的関数）は、基本値であるＳＧＤに設定され得、またはイメージ分類に適したＡｄａｍに設定され得る。ただし、上述した設定値は一例示であるだけで、実施例が前記数値に限定されるものではない。
本発明の一実施例に係る第３神経網モデルのハイパーパラメータは、下記のような設定値を有し得る。例えば、ネットワーク階層数は、イメージの大きさが大きな学習データである場合、［１８、３４、５０、１０１、１５２、２００］の間から選択され得る。このとき、ネットワーク階層数は、学習時間を考慮して初期値１８で学習されて所定個数の学習データが学習された以後には３４に変更され得、これによって正確度が向上し得る。学習データ個数は、全体イメージデータから評価データの個数を引いた値であり、計８３，１３４枚の中で６６，５０９枚が学習データに使用され得、残りの１６，６２５枚は評価データに使用され得る。クラス個数は、モダン／ロマンチック／クラシック／ナチュラル／カジュアル／北ヨーロッパ／ビンテージに分類される７種類のクラスを含むことができる。ミニバッチサイズは、大きさ値によってコンバージェンス速度及び最終ｌｏｓｓ値に差があるので、［３２、６４、１２８、２５６］等の大きさをそれぞれ試みて適切な値を選択でき、好ましく１２８または２５６の大きさが設定され得る。学習回数は、１０～１５、または３０のいずれか一つの値に設定され得る。学習率は、０．００５または０．０１に設定され得る。損失関数（目的関数）は、基本値であるＳＧＤに設定され得、またはイメージ分類に適したＡｄａｍに設定され得る。ただし、上述した設定値は一例示であるだけで、実施例が前記数値に限定されるものではない。
人工知能モデルの学習目的は、損失関数を最小化するモデルパラメータを決定することと見られる。損失関数は、人工知能モデルの学習過程で最適なモデルパラメータを決定するための指標に利用され得る。
色相判別モジュール１２４は、配色推薦のために入力された空間イメージを構成する色相の種類を判別でき、空間イメージを構成する色相の種類それぞれが使用された比率を判別できる。例えば、色相判別モジュール１２４は、ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇアルゴリズム（参考文献：ｈｔｔｐｓ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｋ－ｍｅａｎｓ＿ｃｌｕｓｔｅｒｉｎｇ）を利用して空間イメージを構成する色相の種類及び空間イメージで色相の種類それぞれが使用された比率を判別できるが、本発明の実施例が例示されたアルゴリズムにのみ限定されるものではない。
配色判別モジュール１２５は、選別された第１色相それぞれが有するＲＧＢ情報に基づいてソフト及びダイナミックを元素とする所定のカラーイメージスケール上の第１色相の位置を判別して第１色相が有するソフト（ｓｏｆｔ）元素値及び色相のダイナミック（ｄｙｎａｍｉｃ）元素値を判別できる。
ＤＢ生成モジュール１２６は、ウェブ上で主に使用される色相を基準にカラーイメージスケールを生成できる。この部分は、図１１乃至図１４と共に後述する。
入力インターフェース１３０は、ユーザの入力を受信することができる。例えば、学習データに対するクラスをラベリングする場合、ユーザの入力を受信することができる。
ディスプレイ部１４０は、ディスプレイパネルを含んで画像を出力するハードウェア構成を含むことができる。
通信インターフェース１５０は、外部装置（ｅｘ．外部ＤＢサーバ、ユーザ端末等）と通信して情報を送受信できるようにする。このために、通信インターフェース１５０は、無線通信モジュールまたは有線通信モジュールを含むことができる。
図３は、本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置１００の動作フローチャートである。イメージデータベース分析基盤商品推薦装置１００の動作は、制御モジュール１２７の制御によって動作されるものと理解され得る。
図３を参照すると、制御モジュール１２７は、所定の空間に配置された商品に対するイメージファイルを含むイメージデータベースを獲得できる（Ｓ２１０）。イメージデータベースは、空間イメージＤＢ１１５または外部から獲得したＤＢを含むことができる。
以後、制御モジュール１２７は、イメージデータベースのイメージファイルに含まれた空間に対する用途、イメージファイルに含まれた事物の種類、イメージファイルに含まれた空間のスタイル及びイメージファイルに含まれた空間の色相に釣り合う配色を特定するメタデータを抽出して、イメージファイルまたは商品の商品情報にメタデータをマッピングできる（Ｓ２２０）。制御モジュール１２７は、空間の用途、事物の種類、空間のスタイル特定のために神経網モデル１１３に含まれた第１乃至第３神経網を利用できる。制御モジュール１２７は、配色特定のために色相判別モジュール１２４及び配色判別モジュール１２５による配色推薦アルゴリズムを活用できる。
以後、制御モジュール１２７は、所定の商品を選定するためのカテゴリ情報として、空間の用途、事物の種類、空間のスタイル及び配色の少なくともいずれか一つに対するカテゴリを決定できる（Ｓ２３０）。
以後、制御モジュール１２７は、決定されたカテゴリと対応するメタデータとマッピングされたイメージファイルまたは商品情報をイメージデータベースで検索して推薦できる（Ｓ２４０）。
本発明の一実施例によってカテゴリを決定する動作は、ユーザの空間を撮影した第１イメージを獲得する動作、第１イメージに含まれた空間の用途、事物の種類、空間のスタイル及び配色を特定するメタデータを抽出する動作、及び第１イメージで抽出された事物の種類に対するメタデータを含まず、かつ、サンプルイメージで抽出された空間の用途、空間のスタイル及び配色に対するメタデータを含むカテゴリの商品選定を決定する動作を含むことができる。これによって、ユーザは、自身の空間に含まれていない商品の中で自身の空間に釣り合う商品の推薦を受けることができる。
本発明の一実施例によってカテゴリを決定する動作は、ユーザの空間を撮影した第１イメージを獲得する動作、第１イメージに含まれた空間の用途、事物の種類、空間のスタイル及び配色を特定するメタデータを抽出する動作、及び第１イメージで抽出された事物の種類に対するメタデータのうち前記ユーザが選択した一つの事物に対するメタデータを含み、かつ、第１イメージで抽出された空間の用途、空間のスタイル及び配色に対するメタデータを含むカテゴリの商品選定を決定する動作を含むことができる。これによって、ユーザは、自身の空間に対して決定されたカテゴリと自身が追加して決定した商品カテゴリを基盤に適した商品の推薦を受けることができる。
以下、イメージデータベース分析基盤商品推薦装置１００がイメージデータベースに含まれたイメージファイルにメタデータをマッピングするために使用する第１乃至第３神経網モデルの生成動作をそれぞれ説明する。
一実施例によって第１神経網を生成する動作は、次の動作を含むことができる。
まず、ラベリングモジュール１２１は、複数の空間イメージを獲得して複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する。以後、増強モジュール１２２は、複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して学習データを増強させる。次に、ラベリングモジュール１２１は、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングする。これによって、学習モジュール１２３は、所定のイメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成できる。
図４は、本発明の一実施例に係るイメージデータベース分析基盤商品推薦装置１００が事物を分類する第２神経網モデルを学習させる動作の例示図である。
図４を参照すると、一実施例によって第２神経網を生成する動作は、次の動作を含むことができる。
増強モジュール１２２は、第１事物イメージを含む第１空間イメージを獲得して、第１空間イメージが含むピクセル情報のうち一部または全部を変更した第２空間イメージを生成できる（Ｓ３１０）。ラベリングモジュール１２１は、第１空間イメージ内の第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、バウンディングボックスに第１事物イメージを特定する第１クラスを第１空間イメージにラベリングできる（Ｓ３２０）。学習モジュール１２３は、イメージ分類アルゴリズム基盤に設計されたモデルにラベリングされた第１空間イメージを入力して、第１空間イメージからバウンディングボックス内の第１事物イメージの位置と、第１空間イメージから第１事物イメージの第１クラスとの相関関係を導出する人工知能モデルの重み付けを１次学習させることで重み付けに学習された相関関係に基づいて空間イメージに含まれた事物イメージの位置を特定し、事物イメージのクラスを判別するモデルを生成できる（Ｓ３３０）。以後、ラベリングモジュール１２１は、１次学習されたモデルに第２空間イメージを入力して、１次学習された人工知能モデルが第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、１次学習された人工知能モデルが第２事物イメージに対して判別した第２クラスを第２空間イメージにラベリングできる（Ｓ３４０）。このとき、ラベリングモジュール１２１は、１次学習されたモデルに第２空間イメージを入力して、人工知能モデルが第２事物イメージに対して判別した第２クラスを第１クラスと比較して、第２クラスと第１クラスが同一である場合、第２クラスの値を維持し、第２クラスと第１クラスが異なる場合、第２クラスの値を第１クラスと同じ値に修正する動作を遂行して、１次学習されたモデルのエラーを訂正してラベリングできる（Ｓ３４５）。第２空間イメージが第１空間イメージから変形されてもそれぞれのイメージが含む事物のクラスは同一であるため、上のような方法で１次学習されたモデルのエラーを訂正してアウトライアデータを除去できる。
これによって、学習モジュール１２３は、ラベリングが完了した第２空間イメージに基づいて１次学習が完了した人工知能モデルの再学習を遂行して人工知能モデルの重み付けを２次学習させたモデルを生成できる（Ｓ３５０）。具体的に、学習モジュール１２３は、２次学習のために、１次学習が遂行された人工知能モデルにラベリングされた第２空間イメージを入力して、第２空間イメージからバウンディングボックス内の第２事物イメージの位置と、第２空間イメージから第２事物イメージの第２クラスとの相関関係を導出する人工知能モデルの重み付けを２次学習させることで重み付けに学習された相関関係に基づいて空間イメージに含まれた事物イメージの位置を特定し、事物イメージのクラスを判別するモデルを生成できる。
このとき、ラベリングモジュール１２１は、事物情報を特定する複数のクラス（ｅｘ．ｂｏｏｋ、ｓｏｆａ、ｐｈｏｔｏ ｆｒａｍｅ、ｃｕｒｔａｉｎ、ｃａｒｐｅｔ等）を格納したセットを生成して学習データＤＢに格納し、Ｓ３２０ステップのラベリング時に第１空間イメージ内の第１事物イメージの領域に第１事物イメージを特定するためのバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）が指定されると、学習データＤＢに格納されたセットを出力して第１事物イメージを特定する第１クラスをラベリングを遂行するユーザから選択を受けて、第１事物イメージを含むバウンディングボックス領域に第１クラスをラベリングして事物イメージが特定された学習データを生成できる。このとき、バウンディングボックスは、一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定され得る。
一実施例によって第３神経網を生成する動作は、次の動作を含むことができる。
ラベリングモジュール１２１は、複数の空間イメージを獲得して複数の空間イメージそれぞれに該当するスタイル情報を特定するクラスをラベリングするか、クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する。以後、増強モジュール１２２は、複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内に変更した第２空間イメージを生成して学習データを増強させる。次に、ラベリングモジュール１２１は、第１空間イメージにラベリングされたクラスを第２空間イメージにラベリングする。これによって、学習モジュール１２３は、所定のイメージ分類アルゴリズム基盤に設計されたモデルに増強された学習データを入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成できる。
図５は、本発明の一実施例によって空間に対するスタイルを分類する第３神経網が判別するクラスを説明するための例示図である。
図５を参照すると、上述した第３神経網は、入力される空間イメージが示すスタイルを区分するように学習されて空間のスタイルに対するクラスを判別できる。例えば、空間イメージのクラスは、モダンスタイル、ロマンチックスタイル、クラシックスタイル、ナチュラルスタイル、カジュアルスタイル、北ヨーロッパスタイル、ビンテージスタイルを含むことができる。
図５（ａ）は、モダンスタイルのクラスに分類される空間イメージに対する例示である。モダンスタイルは、シンプルで現代的なインテリアスタイルであって、主に２種類以下の色相を使用することが特徴である。ステンレス、ガラス、スチール、鉄、革、金属、大理石等、硬い感じを与える素材を使用するか、モノトーンカラー（白色、黒色、無彩色、鮮明な色、ネイビー色、グレー色）の色を主に使用しながら灰色やその他の暗いトーンの色が添加され得る。また、冷たい、つやつや、滑らか、固い感じを与え、紋なしに光沢が出る仕上げを有し、直線や非定形の形態を示す。パターンを使用する場合、ストライプやチェック等、幾何学的なデザインパターンを利用でき、機能性と実用性を強調するという点でシンプルな簡潔さを追求する「ミニマルスタイル（Ｍｉｎｉｍａｌ Ｓｔｙｌｅ）」を含むことができる。このとき、モダンスタイルのクラスは、「トレンディー、現代的、実用性、機能性、モノトーン、幾何学的パターン、冷たい素材」のキーワードを有する商品とマッチングされ得る。
図５（ｂ）は、ロマンチックスタイルのクラスに分類される空間イメージに対する例示である。ロマンチックスタイルは、柔らかい感じで女性に人気のあるインテリアであって、ナチュラルな素材と色彩を強調することが特徴である。ソフトな織物と柔らかくて暖かい感じの素材（綿織物、木、煉瓦、シルク、リネン）を使用し、空色と緑色トーンのパステルトーン（薄いピンク、ブルー等）と共に使用され得、浪漫的で童話的な感じを与えるインテリアであり、物静かで高級に見える雰囲気である。また、優雅な曲線と植物、花模様等のパターンを活用し、ほのかな照明を使用して全体的に繊細かつ感性的な雰囲気を造成するスタイルであってごついが品格のある「プロヴァンススタイル（Ｐｒｏｖｅｎｃｅ Ｓｔｙｌｅ）」を含むことができる。このとき、ロマンチックスタイルのクラスは、「ロマンチック、感性的、浪漫的、パステルトーン、ソフトな素材、曲線、ほのかな照明」のキーワードを有する商品とマッチングされ得る。
図５（ｃ）は、クラシックスタイルのクラスに分類される空間イメージに対する例示である。クラシックスタイルは、中世以降ヨーロッパの伝統的な建築様式と装飾様式に基づく格式のあるインテリアであって、革、ファブリック、金属、天然木、大理石等、古く高級な素材を使用することが特徴である。また、木と革のカラーを基本としながら、褐色または黒色のような鮮明でトーンダウンした物静かで濃いカラーを使用する。古風で上品な雰囲気であり、空間が広い時にさらに釣り合うスタイルである。また、ヨーロッパ風のクラシックな家具を活用して華やかで装飾的な模様を有し、古風な感じの「アンティークスタイル（Ａｎｔｉｑｕｅ Ｓｔｙｌｅ）」や華やかさと曲線美を強調した「アールヌーヴォースタイル（Ａｒｔ Ｎｏｕｖｅａｕ Ｓｔｙｌｅ）」を含むことができる。このとき、クラシックスタイルのクラスは、「雄壮さ、古風な感じ、華やかな装飾、造形美、物静かなカラー、華やかなカラー、重たいカラー、木、織物」のキーワードを有する商品とマッチングされ得る。
図５（ｄ）は、ナチュラルスタイルのクラスに分類される空間イメージに対する例示である。ナチュラルスタイルは、自然に優しい素材を利用した素朴なスタイルであって、暖かい色感のインテリアからなる家具が使用されることが特徴である。また、木、土、革、綿、麻のように自然的な素材が活用されながら白色、クリーム色、緑色、褐色のような木材色が主に使用され、パステルよりはウッドトーンがさらに活用され得る。また、つやなしまたは光沢が自然な感じまたは自然素材を連想させる質感の素材を強調した単純なデザインでホワイト背景に原木家具が主に配置され得る。従って、植物で自然を演出する「プランテリア（Ｐｌａｎｔｅｒｉｏｒ）」や「ボタニックスタイル（Ｂｏｔａｎｉｃ Ｓｔｙｌｅ）」もナチュラルスタイルに含まれ得る。このとき、ナチュラルスタイルのクラスは、「オーガニック、自然さ、天然素材、木、ホワイト、ブラウン」のキーワードを有する商品とマッチングされ得る。
図５（ｅ）は、カジュアルスタイルのクラスに分類される空間イメージに対する例示である。カジュアルスタイルは、自由で楽なイメージと若く運動感の溢れる個性のあって軽快なインテリアであって、明るい色調の木と金属、ガラス、プラスチック等、自然材と人工材の混用材を多く使用することが特徴である。また、白色と灰色等の基本色相に明るく華やかで鮮やかな色彩をポイントカラーに使用して生動感のある材質感と共に強い色彩の対比でリズム感を付与することができ、格式ばらない自由な雰囲気であって機能的で軽い感覚のデザイン要素が中心である。また、チェックと横型ストライプ、水玉模様が代表的なパターンに使用（幾何学的模様や抽象的模様も使用）され得る。このとき、カジュアルスタイルのクラスは、「独特さ、装飾的、華やかさ、都市的、混乱、洗練された明るさ、カラフルさ、自由さ」のキーワードを有する商品とマッチングされ得る。
図５（ｆ）は、北ヨーロッパスタイルのクラスに分類される空間イメージに対する例示である。北ヨーロッパスタイルは、明るく安らかな色彩の仕上げ材が空間を満たしたインテリアであって、多様な小品とファブリックの活用がポイントである。また、天然木、タイル、ステンレス等、多様な素材が使用され、基本的に白色とベージュ色、ウッドトーンが使用されながらソフトなパステルトーンでポイントを与えることができる。また、単調なデザインの家具と小品を使用し、素材本来の質感と滑らかな仕上げが加味されて機能的で単純でありながら暖かさを追求する。このとき、北ヨーロッパスタイルのクラスは、「清さ、スマートさ、鮮やかさ、シンプルさ、単純さ、滑らかさ、ソフトさ、余裕さ、安楽さ、柔らかさ、暖かさ」のキーワードを有する商品とマッチングされ得る。
図５（ｇ）は、ビンテージスタイルのクラスに分類される空間イメージに対する例示である。ビンテージスタイルは、思い出や懐かしさを呼び起こす過去の痕跡が自然に現れるスタイルであって、粗い金属製品、古いウッド、露出コンクリート、鉄製、煉瓦等、手入れされていない素材を使用することが特徴である。また、濃い褐色や黒色、灰色を活用してあせたか剥げたようなカラーを演出し、粗くごつい感じを与える。また、安らかで自然な模様で天井、壁等をそのまま露出して「インダストリアルスタイル（Ｉｎｄｕｓｔｒｉａｌ Ｓｔｙｌｅ）」を含むことができる。このとき、ビンテージスタイルのクラスは、「産業化、機械的、工場、倉庫、金属、廃原木、煉瓦、露出コンクリート」のキーワードを有する商品とマッチングされ得る。
一方、上述した空間のスタイル分類は例示であるだけで、実施例の変形によって多様なスタイルの空間を判別できるように学習され得る。
以下、イメージデータベース分析基盤商品推薦装置１００が学習に使用されるデータの増強のために第１空間イメージから第２空間イメージを生成する動作を図６乃至図１０と共に具体的に説明する。
図６は、第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２２は、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させるように変形するか、または第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させるように変形して、カメラの性能や機種によって一つの空間に対するイメージが異に生成され得る変数まで学習されるようにする第２空間イメージを生成できる。
このために、増強モジュール１２２は、第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して第２空間イメージを生成できる。
例えば、増強モジュール１２２は、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数１を適用してピクセル情報が変更された第２空間イメージを生成できる。

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、α：定数、β：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
数１によれば、αが１より大きな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させることができ、αが０より大きく１より小さな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させることができる。
また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、αにより出力される元素値が２５５より過度に大きくならないようにβを設定でき、ｍｉｎ関数を使用して最大値が２５５より大きくならないように設定できる。
また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、ｍａｘ関数を使用してβにより出力される元素値が０より小さくならないようにｍａｘ関数を使用してすることができる。
加えて、αが小数点を有する値に設定される場合、変更されたピクセル情報の元素値が整数になるようにｒｏｕｎｄ関数を使用することができる。
図６Ａを参照すると、左側は、第１空間イメージであり、右側は、α：２．５、β：３３０を設定して数１を適用した場合の第２空間イメージである。図６Ａの右側第２空間イメージは、第１空間イメージに比して、明るい部分がさらに明るく変わり、暗い部分がさらに暗く変わって対比が増加した新たな学習データが生成されることを確認することができる。
図６Ｂを参照すると、左側は、第１空間イメージであり、右側は、α：０．８、β：５０を設定して数１を適用した場合の第２空間イメージである。図６Ｂの右側第２空間イメージは、第１空間イメージに比して、明るい部分があまり明るくなく変わり、暗い部分があまり暗くなく変わって対比が減少した新たな学習データが生成されることを確認することができる。
図６Ｃを参照すると、左側は、一つの色（Ｒ、Ｇ、Ｂ）＝（１８３、１９１、１９４）に統一された第１空間イメージであり、右側は、α：２．５、β：３３０を設定して数１を適用した場合の第２空間イメージである。図６Ｃを通して一つのピクセル情報が数１によって変わる程度を確認することができる。
図７は、イメージデータベース分析基盤商品推薦装置が第１空間イメージ（ａ）のピクセル情報を所定範囲内に変更させた第２空間イメージ（ｂ）の例示図である。
空間イメージの色感または色相は、空間のスタイルを決定する重要な要素のうち一つである。従って、増強モジュール１２２がデータ増強のためにＲＧＢ情報を相対的に大幅に変更する場合に生成される第２空間イメージは、原本である第１空間イメージとは異なる色相を有する可能性が高く、第２空間イメージが示す空間のスタイルそのものが第１空間イメージと異なり得る。このような場合、原本である第１空間イメージと新たに生成された第２空間イメージは互いにスタイルそのものが変わり、増強された学習データである第２空間イメージに対するラベリング作業時、原本である第１空間イメージと変更された第２空間イメージは互いに異なるスタイルクラスをラベリングしなければならない必要がある。このような場合、色相の過度な変更は、現実感とかけ離れたデータを生成しながら、第２空間イメージに対して第１空間イメージのクラスと異なるクラスをまたラベリングしなければならない作業を発生させ得る。
このような作業が発生することを防止するために、本発明の実施例は、図７の例示のように空間のスタイル変化のない程度の範囲内で第１空間イメージ（図７（ａ））のＲＧＢ情報を変更して第２空間イメージ（図７（ｂ））を生成し、ラベリングモジュール１２１は、新たに生成されたラベリングが遂行される前の第２空間イメージに対して、第１空間イメージにラベリングされたクラスを第２空間イメージに同一にラベリングを遂行して、学習データの数量を増加させながら増強された学習データに対するラベリングを自動化して性能が向上したイメージ分類モデルを提供できる。
このために、増強モジュール１２２は、下記数２を通して第１空間イメージが含むピクセル情報を所定範囲内で変更した第２空間イメージを生成できる。

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、γ：既設定された値であるｎ以下の乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
数２によれば、γは、既設定された値であるｎより小さな値を有する乱数である。従って、増強モジュール１２２は、第１空間イメージが含むピクセルのいずれか一つの値である（ｘ、ｙ、ｚ）元素値を変更させるために乱数γｒ、γｇ、γｂを発生させて、該当ピクセルの元素値を

に変更でき、このような演算は、第１空間イメージが含む全てのピクセルまたは選択された一部のピクセルに対して適用される方式で第２空間イメージを生成できる。これによって、光が空間に入るか入らないことで、または時間によって撮影されるイメージの色相がある程度変更され得るという変数を学習に反映するように、数２による方式でデータを新たに生成して該当変数を学習させることができる。
図８Ａは、第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。
空間イメージに対するクラス判別は、事物の配置や、事物のパターンに大きな影響を受けるため、増強モジュール１２２は、色相を単調に変換させた後、事物の配置と事物のパターンをよりよく学習されるように変数を反映した学習データを生成できる。
このために、増強モジュール１２２は、図８Ａの左側イメージのように、第１空間イメージが有する全てのピクセル情報に対して、下記数３を適用してピクセル情報が単調な色相を有しながら配置とパターンが現れる第２空間イメージを生成できる。

（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
加えて、増強モジュール１２２は、図８Ａの右側イメージのように、下記数４を通して第１空間イメージの対比を増加させた後に導出された元素値に、下記数５を適用して、第１空間イメージに含まれた事物の配置とパターンがより克明に現れる第２空間イメージを生成できる。

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、α：定数、β：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

（Ｒ：数４で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：数４で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：数４で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’）
また、増強モジュール１２２は、数４と５を使用する前記実施例で数４の代わりに、数２を適用し数５を適用する方式を通して、所定範囲内に変更されたピクセル情報のパターンが克明に現れるように変更された第２空間イメージを生成することもできる。
図８Ｂは、第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２２は、カメラを拡大して撮影する場合、イメージにノイズが発生する場合を学習するための学習データを生成できる。このために、増強モジュール１２２は、第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して第２空間イメージを生成できる。例えば、増強モジュール１２２は、乱数発生アルゴリズムを通して任意の座標情報を生成して、第１空間イメージに含まれたピクセルのうち一部の座標を選択し、選択された座標のピクセルが有する元素値に対して下記数６を利用して、ピクセル情報に乱数発生アルゴリズムを利用して算出される乱数を付加してノイズ情報が追加された第２空間イメージを生成できる。

（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、Ｎ：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
図８Ｂを参照すると、左側は、第１空間イメージであり、右側は、数６を適用してノイズを追加した場合の第２空間イメージを確認することができる。
図９は、第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。
増強モジュール１２１は、カメラの焦点がよく合わない状態で撮影されたイメージを学習するように次の実施例を通して事物の縁が潰れたような第２空間イメージを生成できる。
図９Ａは、説明の便宜のために、横５個×縦５個の行列形態の２５個のピクセルを含む第１空間イメージを仮定して各ピクセル領域を区分した例示である。このとき、各ピクセルは、Ｒ、Ｇ、Ｂの元素値を有するが、Ｒ（Ｒｅｄ）の元素値を基準に実施例を説明する。図９Ａの各ピクセル領域に示された数字は、Ｒの元素値を意味する。
図９Ａの場合、全てのピクセルに後述する方式の演算が遂行されるが、説明の便宜のために、真ん中のピクセルを基準に演算を説明する。図５Ａの場合、増強モジュール１２１は、演算が遂行されるピクセルを中央とするＮ×Ｎ領域（図９ＡでＮは３を仮定）に含まれたピクセルのうちＲ元素値の最大値（Ｒ＿ｍａｘ＝１３０）とＲ元素値の平均値（Ｒ＿ａｖｇ＝１２０）の差（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ＝１０）を計算して、導出される値が既設定された値ｎより小さい場合のピクセル（事物の内側領域に存在するピクセルと判別）と既設定された値ｎより大きい場合のピクセル（事物の枠領域に存在するピクセルと判別）を区分して、図９Ｂの右側のように第１空間イメージに含まれた事物の枠を判別できる。ここで、増強モジュール１２１は、枠領域を除く領域のピクセルに対してのみガウスブラーアルゴリズムを適用して図９Ｃの右側イメージのようなイメージを生成できる。一方、演算が遂行されるピクセルを基準にするＮ×Ｎ領域にピクセルが存在しない領域（ｅｘ．イメージの縁側）が存在するならば、該当ピクセルに対しては上述した演算を省略し、ブラー処理をすることができる。
このように、増強モジュール１２１は、第１空間イメージが含む全てのピクセルそれぞれに対して上の演算を遂行することができる。演算が遂行されるピクセルの場合、該当ピクセルを中央に含むＮ×Ｎ（Ｎは、３以上の奇数）行列大きさに含まれる複数のピクセルをカーネル領域に選択し、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）の少なくともいずれか一つの元素値が既設定された値ｎより小さければ、該当ピクセルにガウスブラーアルゴリズムを適用して第２空間イメージを生成できる。
このような演算を第１空間イメージに含まれた全てのピクセルに対して遂行すれば、色相差が大きく開く枠領域のピクセルだけがピクセル情報をそのまま有し、色相差のない領域のピクセルはブラー処理されて、カメラの焦点がよく合わない状態で撮影されたイメージを学習できる第２空間イメージを生成できる。このとき、ブラー処理は、ガウスブラーアルゴリズムを適用できるが、これに限定されず、多様なブラーフィルタを使用することができる。
図９Ｂを参照すると、左側は、第１空間イメージであり、右側は、図９を通して説明した実施例で既設定された値ｎより大きい場合とｎより小さい場合のピクセルを区分して生成されたイメージである。図９Ｂの右側イメージもまた事物の枠を克明に示すため、事物の配置とパターンを明確に認識させるための目的で学習データに追加して使用することができる。
図９Ｃを参照すると、左側は、第１空間イメージであり、右側は、上述した図９の実施例でＮ＝７、ｎ＝２０を適用した実施例であり、枠以外の領域がブラー処理された第２空間イメージを確認することができる。
加えて、図９を通して説明した実施例で既設定された値ｎより大きい場合のピクセルをブラー処理して上述した実施例と反対の効果を発生させた第２空間イメージをさらに学習データＤＢ１１１に追加することもできる。
図１０は、第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２１は、イメージの特定部分に焦点が合わない場合を学習するための学習データを生成できる。このために、増強モジュール１２１は、第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、全てのピクセルのそれぞれに乱数情報それぞれを合算してノイズ情報が挿入された第２空間イメージを生成できる。
ラベリングモジュール１２１は、図５乃至図８を通して生成された第２空間データに対して、変形前の原本である第１空間イメージにラベリングされたクラスを、変形後の第２空間イメージに同一にラベリングして、増強された学習データに対するラベリング過程を自動化してラベリング時間を短縮させることができる。
以後、学習モジュール１２５は、イメージ分類アルゴリズム基盤に設計されたモデルに原本学習データ（第１空間イメージ）と図６乃至図１０の実施例を通して増強された学習データ（第２空間イメージ）を入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたスタイルクラスとの相関関係を導出するモデルの重み付けを学習させることで、相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成できる。
以下、図１１乃至図１４を通して配色推薦アルゴリズムに関して説明する。
図１１は、本発明の一実施例に係るイメージデータベース基盤商品推薦装置１００が空間イメージに主に使用された５種類の色相と使用比率を抽出する動作を説明するための例示図である。
空間イメージを構成する色相が非常に多い場合、空間イメージを構成する全ての色相の種類と釣り合う配色を判別するように演算するならば全ての色相に対して演算が必要で長い時間がかかり得、イメージ内に非常に低い比率で含まれた色相に対しても演算が遂行されるため非効率的であり得る。従って、色相判別モジュール１２４は、配色推薦に使用される主な色相を選別するために、空間イメージに使用された色相の比率が高い順に空間イメージを構成する色相のうちの一部を演算に使用される主な色相（以下、「第１色相」と称する）に選別できる。
図１１を参照すると、色相判別モジュール１２４は、空間イメージに使用された色相の比率が高い順に空間イメージを構成するｎ種類の色相を選別できる。図１１の場合、ｎ＝５である例示であって、色相判別モジュール１２４は、５種類の色相それぞれが空間イメージで使用された比率の和を１００％に換算できる（図３の場合、Ｃ１色：３０％、Ｃ２色：２５％、Ｃ３色：２０％、Ｃ４色：１５％、Ｃ５色：１０％）。
このとき、色相判別モジュール１２４は、Ｃ１～Ｃ５の５種類の色相のうち前記比率が高い順に前記比率を累積して合わせたとき、ａ％（ａは、１００以下の自然数）を超えるまでの色相を第１色相に選別できる。例えば、ａ％が７０％である場合、Ｃ１、Ｃ２、Ｃ３それぞれの色相が使用された比率を合算したとき、７０％を超えるようになるので、第１色相をＣ１、Ｃ２、Ｃ３に選別できる。
配色判別モジュール１２５は、選別された第１色相それぞれが有するＲＧＢ情報に基づいてソフト及びダイナミックを元素とする所定のカラーイメージスケール上の第１色相の位置を判別して第１色相が有するソフト（ｓｏｆｔ）元素値及び色相のダイナミック（ｄｙｎａｍｉｃ）元素値を判別できる。
図１２は、色相をソフト及びダイナミックを軸にする２次元座標平面に配置したカラーイメージスケールの例示図である。
カラーイメージスケールは、釣り合う配色を有する色相が近く位置するように表現するためのグラフであって、色相が動的であるか－静的であるかによる尺度を示すダイナミック（ｄｙｎａｍｉｃ）値、色相が軟らかいか－硬いかに対する尺度を示すソフト（ｓｏｆｔ）値を基準に色相を分類したグラフである。配色判別モジュール１２５は、第１色相のＲＧＢ情報に基づいてカラーイメージスケール上で第１色相と最も近い数値のＲＧＢ情報を有する色相が位置する座標を判別して、第１色相のソフト（ｓｏｆｔ）元素値及び色相のダイナミック（ｄｙｎａｍｉｃ）元素値を決定できる。本発明の実施例は、多様なカラーイメージスケールを使用することができるが、ＤＢ生成モジュール１２６について後述する部分で、本発明の実施例は、ウェブ（Ｗｅｂ）上で主に使用される色相を基盤にカラーイメージスケールを生成する方法を提示する。
制御モジュール１２７は、第１色相それぞれが有するカラーイメージスケール上の元素値を基準に、空間イメージに最もよく釣り合う配色がカラーイメージスケール上で位置する座標である配色元素値を計算できる。
このとき、制御モジュール１２７は、第１色相それぞれが空間イメージで使用された比率を重み付けとして、第１色相それぞれの元素値に重み付けを加えて組み合わせた配色元素値を計算できる。各元素値に重み付けを加えて組み合わせる実施例は、中央値、平均値、ベクトル和等、多様な方法を実現でき、例えば、加重算術平均を適用できる。
例えば、制御モジュール１２７は、第１色相それぞれが空間イメージで使用された比率の和を１００％に換算し、導出されたそれぞれの比率を第１色相それぞれの重み付けとして、第１色相それぞれの２次元元素値に下記数７のように加重算術平均を適用して配色元素値を計算できる。

（Ｎ＝第１色相の個数、ａ＝空間イメージでＮ個の第１色相が使用された比率の和を１００％に換算したとき、特定第１色相が使用された比率、Ｓ：ソフト元素値、Ｄ：ダイナミック元素値、Ｓａｖ：第１色相のソフト値に対する加重算術平均元素値、Ｄａｖ：第１色相のダイナミック値に対する加重算術平均元素値）
図１１の例示に数７を適用する例示を説明する。図１１において第１色相に選別されたＣ１、Ｃ２、Ｃ３が空間イメージで使用された比率は、Ｃ１：３０％、Ｃ２：２５％、Ｃ３：２０％である。このとき、各比率の和が１００％になるように換算するならば、

のようである。このとき、カラーイメージスケール（Ｓ軸、Ｄ軸）上でＣ１の座標は（Ｓ１、Ｄ１）＝（０．５、０．４）、Ｃ２の座標は（Ｓ２、Ｄ２）＝（０．４、０．３）、Ｃ３の座標は（Ｓ３、Ｄ３）＝（０．３、０．２）であると仮定する。
このとき、配色元素値（Ｓａｖ、Ｄａｖ）は、数７を適用する場合、下記のように（０．４１３３、０．３１３３）に計算され得る。
制御モジュール１２７は、カラーイメージスケールに計算された配色元素値を含む配色群を空間イメージに釣り合う配色として推薦できる。
図１３は、カラーイメージスケール上の色相に対してソフト値及びダイナミック値の範囲を基準に分類したグループの例示図である。
図１３を参照して、図１１の例示を適用する場合、図１１に対して配色元素値（０．４１３３、０．３１３３）は、ソフト範囲０．４～０．６、ダイナミック範囲０．０～０．４に位置する「シンプルな」という配色群に位置する。これによって、制御モジュール１２７は、カラーイメージスケールで「シンプルな」という配色群に属した色相を空間イメージに釣り合う配色として推薦できる。
ＤＢ生成モジュール１２６は、ウェブ上で主に使用される色相を基準にカラーイメージスケールを生成できる。例えば、ＤＢ生成モジュール１２６は、２７５種類の色相を含むカラーパレットを獲得できる。ＤＢ生成モジュール１２６は、ウェブ上でよく使用される色相を使用するためにＨＴＭＬカラーパレットまたはジャバスクリプトカラーパレットを使用することができる。
以後、ＤＢ生成モジュール１２６は、２７５種類の色相に対してソフト及びダイナミック値を決定しなければならないが、値の演算を効率的にするために、まず２７５種類の色相のＲＧＢ情報を基準に色相を分類して３２個のグループに群集させることができる。ＤＢ生成モジュール１２６は、２７５種類の色相のＲＧＢ情報を基準に図１４のようにＲＧＢ３次元座標平面に配置でき、３次元空間上に位置する色相間の距離を基準に近い色相同士で３２個のグループに分類できる。
次に、ＤＢ生成モジュール１２６は、グループに含まれた色相のＲＧＢ情報に基づいてＲＧＢ情報の中央値または平均値を計算して、グループに含まれた色相のうちのＲＧＢ情報が中央値または平均値に最も近い色相を各グループのリーダ色相に選別できる。
これによって、ＤＢ生成モジュール１２６は、各グループのリーダ色相に対してのみＲＧＢ情報に基づいてリーダ色相のソフト値及びダイナミック値を決定できる。決定以後、ＤＢ生成モジュール１２６は、リーダ色相とリーダ色相と同じグループに属した他の色相のＲＧＢ情報の差値を基盤に、リーダ色相のソフト値及びダイナミック値に既設定された数値を加算するか減算してリーダ色相と同じグループである色相のソフト値及びダイナミック値を決定できる。
これによって、ＤＢ生成モジュール１２６は、２７５種類の色相に対して決定されたソフト値及びダイナミック値を基準に、ソフト及びダイナミックを軸に配置してウェブ上で主に使用される色相基盤のカラーイメージスケールを生成でき、ソフト値及びダイナミック値を所定の範囲により分類して図４のような配色群を生成できる。一方、上に例示された２７５の色相と３２個のグループは例示であるだけで、実施する方案によって多様な色相を使用することができ、使用される色相より小さな数でグループに分類して実施例を具現できる。
入力インターフェース１３０は、ユーザが入力するデータまたはウェブ上のデータを獲得し、プロセッサ１２０の演算のために空間イメージの入力を受けることができる。データは、所定の空間に配置された客体に対するイメージと、イメージを構成するピクセルのＲＧＢ情報を含む空間イメージ、複数の色相に対するＲＧＢ情報を含むカラーパレット、所定の元素値（ｅｘ．ソフト、ダイナミック、明度、彩度、色相等）によって色相を分類できる複数のカラーイメージスケールを含むことができる。
上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合等により具現され得る。
ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ等により具現され得る。
ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数等の形態に具現され得る。ソフトウェアコード等が書き込まれたコンピュータプログラムは、コンピュータ読み取り可能書き込み媒体またはメモリユニットに格納されてプロセッサにより駆動され得る。メモリユニットは、プロセッサの内部または外部に位置して、既に公知になった多様な手段によりプロセッサとデータを受け渡しすることができる。
また、本発明に添付のブロック図の各ブロックとフローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションにより遂行されてもよい。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサに搭載され得るので、コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサを通して遂行されるそのインストラクションがブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行する手段を生成するようになる。これらのコンピュータプログラムインストラクションは、特定方法で機能を具現するためにコンピュータまたはその他のプログラム可能なデータプロセシング装備を目指すことのできるコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されることも可能であるので、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されたインストラクションは、ブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能であるので、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが遂行されてコンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を遂行するインストラクションは、ブロック図の各ブロック及びフローチャートの各ステップで説明された機能を実行するためのステップを提供することも可能である。
併せて、各ブロックまたは各ステップは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施例では、ブロックまたはステップで言及された機能が順序を外れて発生することも可能であることを注目すべきである。例えば、引き続き図示されている二つのブロックまたはステップは、実際、実質的に同時に遂行されることも可能であり、またはそのブロックまたはステップが時々該当する機能によって逆順に遂行されることも可能である。
このように、本発明の属する技術の分野における当業者は、本発明がその技術的思想や必須特徴を変更することなく他の具体的な形態で実施され得るということが理解できるだろう。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的なものではないものとして理解すべきである。本発明の範囲は、詳細な説明よりは後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

Claims (26)

  1. イメージデータベース分析基盤商品推薦装置において、
    所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
    前記プロセッサが遂行する動作は、
    所定の空間に配置された商品に対するイメージファイルを含むイメージデータベースを獲得する動作；
    前記イメージファイルに含まれた空間の用途、事物の種類、空間のスタイル及び色相に釣り合う配色を特定するメタデータを抽出して、前記イメージファイルまたは前記商品の商品情報に前記メタデータをマッピングする動作；
    所定の商品を選定するためのカテゴリ情報として、空間の用途、事物の種類、空間のスタイル及び配色の少なくともいずれか一つに対するカテゴリを決定する動作；及び
    前記決定されたカテゴリと対応するメタデータとマッピングされたイメージファイルまたは商品情報を前記イメージデータベースで検索して推薦する動作を含む、
    イメージデータベース分析基盤商品推薦装置。
  2. 前記カテゴリを決定する動作は、
    ユーザの空間を撮影した第１イメージを獲得する動作；
    前記第１イメージに含まれた空間の用途、事物の種類、空間のスタイル及び配色を特定するメタデータを抽出する動作；及び
    前記第１イメージで抽出された事物の種類に対するメタデータを含まず、かつ、前記サンプルイメージで抽出された空間の用途、空間のスタイル及び配色に対するメタデータを含むカテゴリの商品選定を決定する動作を含む、
    請求項１に記載のイメージデータベース分析基盤商品推薦装置。
  3. 前記カテゴリを決定する動作は、
    ユーザの空間を撮影した第１イメージを獲得する動作；
    前記第１イメージに含まれた空間の用途、事物の種類、空間のスタイル及び配色を特定するメタデータを抽出する動作；及び
    前記第１イメージで抽出された事物の種類に対するメタデータのうち前記ユーザが選択した一つの事物に対するメタデータを含み、かつ、前記第１イメージで抽出された空間の用途、空間のスタイル及び配色に対するメタデータを含むカテゴリの商品選定を決定する動作を含む、
    請求項１に記載のイメージデータベース分析基盤商品推薦装置。
  4. 前記メタデータをマッピングする動作は、
    空間イメージに含まれた空間の用途を特定する第１神経網モデルを利用して前記メタデータを抽出する動作をさらに含み、
    前記第１神経網モデルは、プロセッサが、
    複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当する空間情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；
    前記複数の空間イメージのうち第１空間イメージが含むピクセル情報の一部または全部を変更した第２空間イメージを生成して前記学習データを増強する動作；
    前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び
    所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージに対するクラスを判別するモデルを生成する動作を遂行して生成される、
    請求項１に記載のイメージデータベース分析基盤商品推薦装置。
  5. 前記メタデータをマッピングする動作は、
    空間イメージに含まれた事物の種類を特定する第２神経網モデルを利用して前記メタデータを抽出する動作をさらに含み、
    前記第２神経網モデルは、プロセッサが、
    第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成する動作；
    前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングする動作；
    所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作；
    前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングする動作；及び
    前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成する動作を遂行して生成される、
    請求項１に記載のイメージデータベース分析基盤商品推薦装置。
  6. 前記メタデータをマッピングする動作は、
    空間イメージに含まれた空間のスタイルを特定する第３神経網モデルを利用して前記メタデータを抽出する動作をさらに含み、
    前記第３神経網モデルは、プロセッサが、
    複数の空間イメージを獲得して前記複数の空間イメージそれぞれに該当するスタイル情報を特定するクラスをラベリングするか、前記クラスがラベリングされた複数の空間イメージを獲得して学習データを生成する動作；
    前記複数の空間イメージのうち第１空間イメージが含むピクセル情報を所定の範囲内で変更した第２空間イメージを生成して前記学習データを増強する動作；
    前記第１空間イメージにラベリングされたクラスを前記第２空間イメージにラベリングする動作；及び
    所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記増強された学習データを入力し、前記学習データに含まれた空間イメージと前記空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する前記モデルの重み付けを学習させることで、前記相関関係に基づいて空間イメージのスタイルに対するクラスを判別するモデルを生成する動作を遂行して生成される、
    請求項１に記載のイメージデータベース分析基盤商品推薦装置。
  7. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含む、
    請求項４、５または６のいずれか一項に記載のイメージデータベース分析基盤商品推薦装置。
  8. 前記第２空間イメージを生成する動作は、

    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、α：定数、β：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項７に記載のイメージデータベース分析基盤商品推薦装置。
  9. 前記第２空間イメージを生成する動作は、

    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、γ：既設定された値であるｎ以下の乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項４、５または６のいずれか一項に記載のイメージデータベース分析基盤商品推薦装置。
  10. 前記第２空間イメージを生成する動作は、

    （Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数３に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項４、５または６のいずれか一項に記載のイメージデータベース分析基盤商品推薦装置。
  11. 前記第２空間イメージを生成する動作は、

    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、α：定数、β：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））

    （Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
    前記数４及び５に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項４、５または６のいずれか一項に記載のイメージデータベース分析基盤商品推薦装置。
  12. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含む、
    請求項４、５または６のいずれか一項に記載のイメージデータベース分析基盤商品推薦装置。
  13. 前記第２空間イメージを生成する動作は、

    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、Ｎ：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数６に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含む、
    請求項１２に記載のイメージデータベース分析基盤商品推薦装置。
  14. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、前記（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含む、
    請求項４、５または６のいずれか一項に記載のイメージデータベース分析基盤商品推薦装置。
  15. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含む、
    請求項４、５または６のいずれか一項に記載のイメージデータベース分析基盤商品推薦装置。
  16. 前記２次学習させたモデルを生成する動作は、
    前記１次学習されたモデルに前記第２空間イメージを入力して、前記第２事物イメージと前記第２クラスとの相関関係を導出するモデルの重み付けを２次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作を含む、
    請求項５に記載のイメージデータベース分析基盤商品推薦装置。
  17. 前記第２空間イメージにラベリングする動作は、
    前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第１クラスと比較して、前記第２クラスと前記第１クラスが同一である場合、前記第２クラスの値を維持し、前記第２クラスと前記第１クラスが異なる場合、前記第２クラスの値を前記第１クラスと同じ値に修正する動作を含む、
    請求項５に記載のイメージデータベース分析基盤商品推薦装置。
  18. 前記バウンディングボックスは、
    一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定されることを特徴とする、
    請求項５に記載のイメージデータベース分析基盤商品推薦装置。
  19. 前記メタデータをマッピングする動作の前記配色を特定する動作は、
    前記イメージファイルに含まれた空間イメージの入力を受ける動作；
    前記空間イメージを構成する色相の種類及び前記空間イメージで前記色相の種類それぞれが使用された比率を判別する動作；
    前記空間イメージに使用された色相の比率が高い順に、前記空間イメージを構成する前記色相のうちの一部である第１色相を選別する動作；
    ソフト及びダイナミックを元素とする所定のカラーイメージスケール上に前記第１色相それぞれが位置する元素値を判別する動作；
    前記第１色相それぞれが前記空間イメージで使用された比率を重み付けとして、前記第１色相それぞれの前記元素値に前記重み付けを加えて組み合わせた配色元素値を計算する動作；及び
    前記カラーイメージスケールに前記配色元素値を含む配色群を前記空間イメージに釣り合う配色として推薦する動作を含む、
    請求項１に記載のイメージデータベース分析基盤商品推薦装置。
  20. 前記比率を判別する動作は、
    ｋ－ｍｅａｎｓ ｃｌｕｓｔｅｒｉｎｇアルゴリズムに基づいて前記空間イメージを分析して前記空間イメージを構成する色相の種類及び前記空間イメージで前記色相の種類それぞれが使用された比率を判別する動作を含む、
    請求項１９に記載のイメージデータベース分析基盤商品推薦装置。
  21. 前記第１色相を選別する動作は、
    前記空間イメージに使用された色相の比率が高い順に前記空間イメージを構成するｎ種類（ｎは、自然数）の色相を選別する動作；及び
    前記ｎ種類の色相が前記空間イメージで使用された比率の和を１００％に換算して、前記ｎ種類の色相のうち前記比率が高い順に前記比率を累積して合わせたとき、ａ％（ａは、１００以下の自然数）を超えるまでの色相を前記第１色相に選別する動作を含む、
    請求項１９に記載のイメージデータベース分析基盤商品推薦装置。
  22. 前記配色元素値を計算する動作は、
    前記第１色相それぞれが前記空間イメージで使用された比率を重み付けとして、前記第１色相それぞれの前記元素値に加重算術平均を適用して前記配色元素値を計算する動作を含む、
    請求項１９に記載のイメージデータベース分析基盤商品推薦装置。
  23. 前記配色元素値を計算する動作は、
    前記第１色相それぞれが前記空間イメージで使用された比率の和を１００％に換算して導出されたそれぞれの比率を前記第１色相それぞれの重み付けとして、前記第１色相それぞれの前記２次元元素値に加重算術平均を適用して前記配色元素値を計算する動作を含む、
    請求項２２に記載のイメージデータベース分析基盤商品推薦装置。
  24. 前記配色元素値を計算する動作は、
    下記数７に基づいて計算される、

    （Ｎ＝第１色相の個数、ａ＝空間イメージでＮ個の第１色相が使用された比率の和を１００％に換算したとき、いずれか一つの第１色相が使用された比率、Ｓ：ソフト元素値、Ｄ：ダイナミック元素値、Ｓａｖ：第１色相のソフト値に対する加重算術平均元素値、Ｄａｖ：第１色相のダイナミック値に対する加重算術平均元素値）
    請求項２３に記載のイメージデータベース分析基盤商品推薦装置。
  25. イメージデータベース分析基盤商品推薦装置が遂行するイメージデータベース分析基盤商品推薦方法において、
    所定の空間に配置された商品に対するイメージファイルを含むイメージデータベースを獲得するステップ；
    前記イメージファイルに含まれた空間の用途、事物の種類、空間のスタイル及び色相に釣り合う配色を特定するメタデータを抽出して、前記イメージファイルまたは前記商品の商品情報に前記メタデータをマッピングするステップ；
    所定の商品を選定するためのカテゴリ情報として、空間の用途、事物の種類、空間のスタイル及び配色の少なくともいずれか一つに対するカテゴリを決定するステップ；及び
    前記決定されたカテゴリと対応するメタデータとマッピングされたイメージファイルまたは商品情報を前記イメージデータベースで検索して推薦するステップを含む、
    イメージデータベース分析基盤商品推薦方法。
  26. 請求項２５に記載の方法をプロセッサが遂行するようにするコンピュータ読み取り可能書き込み媒体に格納されたコンピュータプログラム。
JP2023504704A 2020-07-23 2021-07-22 イメージデータベース分析基盤商品推薦装置及び方法 Withdrawn JP2023537268A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020200091775A KR102234609B1 (ko) 2020-07-23 2020-07-23 이미지 데이터베이스 분석 기반 상품 추천 장치
KR10-2020-0091775 2020-07-23
PCT/KR2021/009473 WO2022019670A1 (ko) 2020-07-23 2021-07-22 이미지 데이터베이스 분석 기반 상품 추천 장치 및 방법

Publications (1)

Publication Number Publication Date
JP2023537268A true JP2023537268A (ja) 2023-08-31

Family

ID=75466438

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023504704A Withdrawn JP2023537268A (ja) 2020-07-23 2021-07-22 イメージデータベース分析基盤商品推薦装置及び方法

Country Status (6)

Country Link
US (1) US20230153889A1 (ja)
EP (1) EP4184414A1 (ja)
JP (1) JP2023537268A (ja)
KR (2) KR102234609B1 (ja)
CN (1) CN116420155A (ja)
WO (1) WO2022019670A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102234609B1 (ko) * 2020-07-23 2021-04-02 주식회사 어반베이스 이미지 데이터베이스 분석 기반 상품 추천 장치
KR102606918B1 (ko) * 2021-04-28 2023-11-29 이지현 디자인 가이드 장치
KR102507130B1 (ko) * 2021-11-01 2023-03-07 케일리웍스 주식회사 맞춤 액자 제작 서비스 제공 방법 및 장치
KR102391255B1 (ko) * 2021-11-22 2022-04-26 조병현 관심 상품 제공 방법 및 시스템
WO2023128353A1 (ko) * 2021-12-28 2023-07-06 삼성전자 주식회사 공간에 대한 색상 추천 정보를 제공하는 전자 장치 및 방법
KR102443797B1 (ko) * 2022-03-30 2022-09-16 쉐어잇 주식회사 시선 추적을 통한 공간 이미지 추천 장치 및 방법
KR102486510B1 (ko) * 2022-06-03 2023-01-10 주식회사 넘버제로 사용자 맞춤형 악세사리 주문 제작 플랫폼 서비스 제공 방법, 장치 및 시스템
KR20240020372A (ko) 2022-08-08 2024-02-15 조혜령 확장현실에 기반하여 웹브라우저 상에서 오브젝트를 배치하는 방법
KR102596670B1 (ko) * 2022-10-06 2023-10-31 임진희 Ar 마커가 인쇄된 제품을 이용한 증강 현실 컨텐츠 제공 시스템
KR102621076B1 (ko) * 2022-10-20 2024-01-03 황지혜 인공지능 모델을 이용한 공간인식 기반 화훼상품 추천 관리장치 및 그 방법
CN116630304B (zh) * 2023-07-18 2023-09-19 东莞市京品精密模具有限公司 一种基于人工智能的锂电池模具加工检测方法及系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58220524A (ja) * 1982-06-16 1983-12-22 Mitsubishi Electric Corp 信号切換装置
KR20100102772A (ko) 2009-03-12 2010-09-27 주식회사 퍼시스 실내환경 분석 시스템 및 그 방법
JP4982538B2 (ja) * 2009-08-19 2012-07-25 ヤフー株式会社 カラーヒストグラム生成装置、カラーヒストグラム生成方法及びプログラム
KR101657583B1 (ko) * 2015-11-13 2016-09-19 (주)제이케이소프트 모바일 애플리케이션을 이용한 상품 이미지의 해시 태그 추출 시스템 및 방법
KR102634797B1 (ko) * 2016-10-13 2024-02-08 엘지전자 주식회사 증강 현실을 이용한 가전 기기 배치 방법, 그를 수행하는 이동 단말기 및 서버
JP6441980B2 (ja) * 2017-03-29 2018-12-19 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
KR102104312B1 (ko) * 2018-03-05 2020-04-24 한남대학교산학협력단 드론 플랫폼 기반 멀티 스펙트럼 영상의 인공 지능 분류 및 검색 장치
KR102646889B1 (ko) * 2018-12-21 2024-03-12 삼성전자주식회사 스타일 변환을 위한 영상 처리 장치 및 방법
US11455502B2 (en) * 2019-05-31 2022-09-27 Rakuten Group, Inc. Learning device, classification device, learning method, classification method, learning program, and classification program
KR102234609B1 (ko) * 2020-07-23 2021-04-02 주식회사 어반베이스 이미지 데이터베이스 분석 기반 상품 추천 장치

Also Published As

Publication number Publication date
WO2022019670A1 (ko) 2022-01-27
EP4184414A1 (en) 2023-05-24
KR20220012787A (ko) 2022-02-04
KR102485503B1 (ko) 2023-01-05
KR102234609B1 (ko) 2021-04-02
US20230153889A1 (en) 2023-05-18
CN116420155A (zh) 2023-07-11

Similar Documents

Publication Publication Date Title
JP2023537268A (ja) イメージデータベース分析基盤商品推薦装置及び方法
US11854072B2 (en) Applying virtual makeup products
US11854070B2 (en) Generating virtual makeup products
Phan et al. Color orchestra: Ordering color palettes for interpolation and prediction
JP2020526809A (ja) 仮想顔化粧の除去、高速顔検出およびランドマーク追跡
US20220366675A1 (en) Apparatus and method for developing style analysis model based on data augmentation
CN108052765A (zh) 基于人格印象的配色方案自动生成方法及装置
JP2023537262A (ja) 空間イメージ分析基盤配色推薦装置及び方法
CN110163217A (zh) 用于配色或配色辅助的方法、装置以及计算机可读存储媒体
US20220358411A1 (en) Apparatus and method for developing object analysis model based on data augmentation
CN110287343A (zh) 图片生成方法及装置
CN112218006B (zh) 一种多媒体数据处理方法、装置、电子设备及存储介质
US20220358752A1 (en) Apparatus and method for developing space analysis model based on data augmentation
Podlasov et al. Japanese street fashion for young people: A multimodal digital humanities approach for identifying sociocultural patterns and trends
Shamoi et al. Apparel online shop reflecting customer perception
Bohra et al. ColorArt: Suggesting colorizations for graphic arts using optimal color-graph matching
CN116070863B (zh) 一种用于衬衫可替换衣领的生产管理方法及系统
CN116805373A (zh) 彩色底色检测
Bossett et al. Emotion-Based Style Transfer On Visual Art Using Gram Matrices
Zhao et al. Research on the factors affecting accuracy of abstract painting orientation detection
Xue et al. Application of modern architectural color layout in interior design
Sugiyama et al. Texture Synthesis Based on Aesthetic Texture Perception Using CNN Style and Content Features
Bell Understanding Visual Appearance On The Web Using Large-Scale Crowdsourcing And Deep Learning
Farhoodi Publisher Recognition from Book Cover Images

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230123

A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20231218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240115