JP2023508641A - データ増強基盤事物分析モデル学習装置及び方法 - Google Patents

データ増強基盤事物分析モデル学習装置及び方法 Download PDF

Info

Publication number
JP2023508641A
JP2023508641A JP2022531445A JP2022531445A JP2023508641A JP 2023508641 A JP2023508641 A JP 2023508641A JP 2022531445 A JP2022531445 A JP 2022531445A JP 2022531445 A JP2022531445 A JP 2022531445A JP 2023508641 A JP2023508641 A JP 2023508641A
Authority
JP
Japan
Prior art keywords
spatial image
image
class
model
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022531445A
Other languages
English (en)
Other versions
JP7336033B2 (ja
Inventor
キム、スミン
ペク、ユナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
UrbanBase Inc
Original Assignee
UrbanBase Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by UrbanBase Inc filed Critical UrbanBase Inc
Publication of JP2023508641A publication Critical patent/JP2023508641A/ja
Application granted granted Critical
Publication of JP7336033B2 publication Critical patent/JP7336033B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G06T5/70—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/235—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on user input or interaction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

本発明のデータ増強基盤事物分析モデル学習装置は、事物イメージを含む第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成し、第１空間イメージ内の第１事物イメージ領域に指定したバウンディングボックスに第１事物イメージを特定する第１クラスをラベリングし、イメージ分類アルゴリズム基盤に設計されたモデルに第１空間イメージを入力して、バウンディングボックス内の第１事物イメージと第１クラスとの相関関係を導出するモデルの重み付けを１次学習させることで相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成し、１次学習されたモデルに入力した第２空間イメージ内の第２事物イメージをモデルが特定したバウンディングボックスとモデルが判別した第２クラスをラベリングし、第２空間イメージに基づいてモデルの重み付けを２次学習させたモデルを生成できる。

Description

本発明は、データ増強基盤事物分析モデル学習装置及び方法に関する。
韓国インターネット振興院（ＫＩＳＡ）によれば、２０１９年に集計された韓国内オンラインショッピング市場の規模は約１３３兆ウォンであり、２０１８年の１１１兆ウォンに対比して約２０％の成長傾向を見せている。このようにオンラインショッピング市場の成長傾向が急激に増加するにつれ、オンラインショッピングプラットフォームに登録されるストア及び商品の数が飛躍的に増加しており、消費者がオフライン売場よりオンライン売場を通して物を購入する比率が大幅に上昇している。
一方、オフラインショッピングの形態は、消費者が売場を選び売場内に備えられた商品を目で確認して気に入る商品を購入する形態であったら、オンラインショッピングの形態は、消費者が所望の商品のキーワードを通して商品を検索して購入する形態であって、商品が販売されるプラットフォームが変化するにつれて消費者が商品を探すようになる形態も変わっている。
そのため、オンラインショッピングでは、商品ページに消費者のトラフィックを流入させ得るように商品と関連したキーワードをよく設定することが非常に重要になっている。ただし、韓国内の上位１０個のオンラインショッピングモールにアップロードされた商品の個数だけでも４億個を超える状況で商品毎にキーワードを一々設定することは難しい状況であるため、オンラインショッピングモールには、商品に対するイメージファイルだけで商品のキーワードを設定できる機能のソリューションが要求されている。
このとき、商品のイメージを構成する要素は、大きく空間、事物、雰囲気、色彩に分けられる。購買者もまた商品を検索するとき、商品が使用される空間の用途、商品そのもの、空間の雰囲気、商品の色彩を重要な要素と見なすため、商品のイメージを構成する要素である空間、事物、雰囲気、色彩のいずれか一つのキーワードを組み合わせて検索するようになる。
このように、商品のイメージから自動で空間、事物、雰囲気、色彩に対するキーワードを抽出できるソリューションが要求される状況で導入可能な代表的な技術としては、人工知能を利用した客体検出アルゴリズムがある。一方、商品のイメージから空間、事物、雰囲気、色彩を正確に分類するためには、データの品質、データの数量、ラベリング方法、学習の容易性等、考慮すべき要素が多い。これによって、多様な学習データを生成し、人工知能モデルの学習を容易にしながら正確な性能を有するモデルを生成させることのできる技術が必要な実情である。
本発明の実施例において解決しようとする課題は、イメージから自動で該当イメージが含む事物のクラスを分類できるモデルを生成する技術を提供しようとする。
このとき、本発明の実施例が使用する技術である客体検出人工知能アルゴリズムは、学習に使用する学習データの量と質によってモデルの性能に大きな差が発生し得る。特に、人工知能モデル学習の場合、限定された学習データだけでも優れた性能を有するモデルを作るためには、モデルが実際に使用される多様な環境や多様な状況の変数を含む学習データを通してモデルを学習させることが重要である。本発明は、空間イメージを分類するモデルを生成するにあたって、モデルが実際に使用される多様な環境や状況を反映する学習データを生成するデータ増強技術を提示する。
一方、データが増加するほど空間イメージに含まれた事物のクラスを一々ラベリングすることは、非常に長い時間が必要となるという問題が発生する。これによって、本発明の実施例は、１次学習されたモデルを通して増強された学習データに対するクラスを自動でラベリングさせることでデータ精製及び学習過程が自動で遂行される技術を提示する。
ただし、本発明の実施例が解決しようとする技術的課題は、以上において言及した課題に制限されず、以下において説明する内容から通常の技術者に自明な範囲内で多様な技術的課題が導出され得る。
本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置は、所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、前記プロセッサが遂行する動作は、第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成する動作、前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングする動作、所定の客体検出アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作、前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングする動作、及び前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成する動作を含むことができる。
また、前記動作は、事物情報を特定する複数のクラスを格納したセットを生成する動作をさらに含み、前記ラベリングする動作は、前記第１空間イメージ内の第１事物イメージの領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）が指定されると、前記セットを出力して前記第１事物イメージを特定する第１クラスの選択を受けて、前記バウンディングボックスに前記第１クラスをラベリングする動作を含むことができる。
また、前記２次学習させたモデルを生成する動作は、前記１次学習されたモデルに前記第２空間イメージを入力して、前記第２事物イメージと前記第２クラスとの相関関係を導出するモデルの重み付けを２次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作を含むことができる。
また、前記第２空間イメージにラベリングする動作は、前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第１クラスと比較して、前記第２クラスと前記第１クラスが同一である場合、前記第２クラスの値を維持し、前記第２クラスと前記第１クラスが異なる場合、前記第２クラスの値を前記第１クラスと同じ値に修正する動作を含むことができる。
また、前記バウンディングボックスは、一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定されることを特徴とし得る。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
［数１］
Figure 2023508641000002
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508641000003
：定数、
Figure 2023508641000004
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
［数２］
Figure 2023508641000005
（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
［数３］
Figure 2023508641000006
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508641000007
：定数、
Figure 2023508641000008
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数４］
Figure 2023508641000009
（Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、
［数５］
Figure 2023508641000010
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508641000011
：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である
Figure 2023508641000012
から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である
Figure 2023508641000013
を引いた値である
Figure 2023508641000014
を求め、前記
Figure 2023508641000015
の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含むことができる。
また、前記第２空間イメージを生成する動作は、前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含むことができる。
本発明の一実施例に係るデータ増強基盤事物分析モデル学習方法は、第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成するステップ、前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングするステップ、所定のイメージ分類アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成するステップ、前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングするステップ、及び前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成するステップを含むことができる。
本発明の実施例によれば、同じ空間を撮影しても撮影するカメラの特性、撮影時間、撮影する人の習慣等、実際の多様な環境や状況により、同じ空間を撮影する場合にも生成されるイメージが変わり得るという変数を学習できるように、原本学習データを変形させて多様な学習データを確保するデータ増強技術を通して学習データの数量を増加させながらも高品質の学習データを確保し、増強された学習データに対するラベリングを自動化して学習が容易でありながら性能が向上した客体検出（ｏｂｊｅｃｔ ｄｅｔｅｃｔｉｏｎ）モデルを提供できる。
また、１次学習されたモデルを通して増強された学習データに対するクラスを自動でラベリングさせることで、データ増強によりデータが増加するほど空間イメージに含まれた事物のクラスを一々ラベリングすることが非常に長い時間が必要となるという問題を解決できる。
これによって、本発明のイメージ分類モデルを使用するようになると、オンラインショッピングモールは、商品のイメージだけで商品と関連したキーワードを使用することで商品ページに消費者のトラフィックを効果的に流入させることができ、消費者もまた自身が所望するイメージを利用して自身に必要なキーワードを探して検索に利用できる。
この他に、本文書を通して直接的または間接的に把握される多様な効果が提供され得る。
本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が生成したモデルを利用してイメージが含む事物に対するクラスを分類する機能を示した図である。 本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置の機能ブロック図である。 本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する学習方法のフローチャートである。 本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する動作の概念図である。 第１空間イメージに含まれた事物イメージをラベリングする場合、複数のクラスを格納したセットが生成される動作の例示図である。 第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。 第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。 第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。 第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。
本発明の利点及び特徴、そして、それらを達成する方法は、添付の図面と共に詳細に後述されている実施例を参照すると、明確になるだろう。しかし、本発明は、以下において開示される実施例に限定されるものではなく、多様な形態に具現され得、単に、本実施例は、本発明の開示が完全なものとなるようにし、本発明の属する技術の分野における通常の知識を有する者に発明の範疇を完全に知らせるために提供されるものであり、本発明の範疇は、請求項により定義されるだけである。
本発明の実施例を説明するにあたって、公知機能または構成についての具体的な説明は、実際に必要な場合の他には省略される。そして、後述の用語は、本発明の実施例での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例等によって変わり得る。それゆえ、その定義は、本明細書全般にわたった内容に基づいて下されるべきである。
図面に表示され、下記に説明される機能ブロックは、可能な具現の例であるだけである。他の具現では、詳細な説明の思想及び範囲を外れない範囲で他の機能ブロックが使用され得る。また、本発明の一つ以上の機能ブロックが個別ブロックで表示されるが、本発明の機能ブロックのうち一つ以上は、同じ機能を実行する多様なハードウェア及びソフトウェア構成の組み合わせであってよい。
また、ある構成要素を含むという表現は、開放型の表現であって、該当構成要素が存在することを単に指すだけであり、さらなる構成要素を排除するものと理解されてはならない。
さらに、ある構成要素が他の構成要素に連結されているとか接続されていると言及される時には、その他の構成要素に直接的に連結または接続されていてもよいが、中間に他の構成要素が存在してもよいと理解されるべきである。
また、「第１、第２」等のような表現は、複数の構成を区分するための用途にだけ使用された表現であって、構成の間の順序やその他の特徴を限定しない。
以下においては、図面を参照して本発明の実施例について説明する。
図１は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置１００が生成した人工知能モデルを利用してイメージが含む事物に対するクラスを分類する機能を示した図である。
図１を参照すると、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置１００は、図１に示されたインターフェースの上段メニューの空間分類、事物検出、スタイル分析、商品推薦機能のうち事物検出機能を提供できる。データ増強基盤事物分析モデル学習装置１００は、図１のインターフェースに使用される人工知能モデルを生成する。人工知能モデルは、図１の左側下段に入力される空間イメージを分析して、空間イメージが含む事物の位置及び名称を判別できる。このような実施例を具現するためにデータ増強基盤事物分析モデル学習装置１００が有する構成を図２と共に説明する。
図２は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置１００の機能ブロック図である。
図２を参照すると、一実施例に係るデータ増強基盤事物分析モデル学習装置１００は、メモリ１１０、プロセッサ１２０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０を含むことができる。
メモリ１１０は、学習データＤＢ１１１、神経網モデル１１３、及び命令語ＤＢ１１５を含むことができる。
学習データＤＢ１１１は、一つ以上の事物が配置された空間を撮影した空間イメージファイルを含むことができる。空間イメージは、外部サーバ、外部ＤＢを通して獲得するかインターネット上の空間イメージを獲得できる。このとき、空間イメージは、多数のピクセル（ｅｘ．横Ｍ個、縦Ｎ個の行列形態に構成されたＭ×Ｎ個のピクセル）で構成され得、それぞれのピクセルは、Ｒ（Ｒｅｄ）、Ｇ（Ｇｒｅｅｎ）、Ｂ（Ｂｌｕｅ）の固有色相を示すＲＧＢ元素値（ｘ、ｙ、ｚ）で構成されたピクセル情報を含むことができる。
神経網モデル１１３は、入力された空間イメージを分析して該当空間イメージが含む事物イメージの位置及び事物の名称を判別する客体検出人工知能アルゴリズム基盤に学習された人工知能モデルであってよい。人工知能モデルは、後述するプロセッサ１２０の動作により生成されてメモリ１１０に格納され得る。
命令語ＤＢ１１５は、プロセッサ１２０の動作を遂行させることのできる命令語を格納することができる。例えば、命令語ＤＢ１１５は、後述するプロセッサ１２０の動作と対応する動作を遂行するようにするコンピュータコードを格納することができる。
プロセッサ１２０は、データ増強基盤事物分析モデル学習装置１００が含む構成、メモリ１１０、入力インターフェース１３０、ディスプレイ部１４０及び通信インターフェース１５０の全般的な動作を制御できる。プロセッサ１２０は、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を含むことができる。プロセッサ１２０は、メモリ１１０に格納された命令語を実行してラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７を駆動させることができ、ラベリングモジュール１２１、増強モジュール１２３、学習モジュール１２５及び制御モジュール１２７により遂行される動作は、プロセッサ１２０により遂行される動作と理解され得る。
ラベリングモジュール１２１は、空間イメージ内の事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、バウンディングボックスに事物イメージを特定するクラス（ｅｘ．ソファー、額縁、本、カーペット、カーテン等）を空間イメージにラベリングして学習データＤＢ１１１に格納することができる。ラベリングモジュール１２１は、外部サーバ、外部ＤＢを通して空間イメージを獲得するかインターネット上の空間イメージを獲得できる。
増強モジュール１２３は、学習データＤＢ１１１に格納された空間イメージ（増強モジュールが変形を加えていない空間イメージを、以下、「第１空間イメージ」と称する）が含むピクセル情報の一部または全部を変更した空間イメージ（増強モジュールが変形を加えた空間イメージを、以下、「第２空間イメージ」と称する）を生成して学習データを増強させ、第２空間イメージを学習データＤＢ１１１に追加して格納することができる。
本発明の実施例に係るデータ増強基盤事物分析モデル学習装置１００が学習させるモデルは、空間イメージに含まれた事物イメージのクラスを分類する機能を有する。このとき、空間イメージは、同じ空間が撮影されるものであっても撮影に使用されるカメラの特性、撮影が行われる時間、撮影する人の習慣等、実際の空間イメージが生成される多様な環境や状況により、同じ空間を撮影する場合であっても多様な変数によりイメージファイルに含まれる情報が変わり得る。従って、人工知能モデルの性能向上のためには、学習に使用されるデータの量と質が重要である。特に、撮影に使用されるカメラの特性、撮影時間、撮影する人の習慣によって発生し得る変数を学習できるように、増強モジュール１２３は、一つの空間イメージに対して実際に発生し得る変数を反映する図６乃至図９のデータ増強アルゴリズムを通して学習データの数量を増加させることができる。
一方、データが増加するほど空間イメージに含まれた事物のクラスを一々ラベリングすることは非常に長い時間が必要となり得る。これによって、ラベリングモジュール１２３は、第１空間イメージを通して１次学習された人工知能モデルに第２空間イメージを入力して判別された事物の位置（バウンディングボックス）と名称（クラス）を、第２空間イメージにラベリングさせることができる。このとき、ラベリングモジュールは、１次学習されたモデルに第２空間イメージを入力して人工知能モデルが判別した第２クラスと、本来第１空間イメージにラベリングされている第１クラスと比較して、第２クラスと第１クラスが同一である場合、第２クラスの値を維持して第２空間イメージにラベリングさせ、第２クラスと第１クラスが異なる場合、人工知能モデルが判別した第２クラスの値の代わりに、第１空間イメージにラベリングされた第１クラスの値でラベリングすることで、増強された学習データのアウトライアを自動で除去できる。これによって、学習モジュールは、ラベリングされた第２空間イメージを通して人工知能モデルを２次学習させることで、データ精製及び学習過程が自動で遂行されるようにすることができる。
学習モジュール１２５は、客体検出アルゴリズム基盤に設計された人工知能モデルに学習データ（ｅｘ．ラベリングされた第１空間イメージ、またはラベリングされた第２空間イメージ）を入力して、学習データに含まれた空間イメージと空間イメージそれぞれにラベリングされたクラスとの相関関係を導出する重み付けを学習させることで、重み付けの相関関係に基づいて新たに入力される空間イメージに対するクラスを判別する人工知能モデルを生成できる。
このような客体検出アルゴリズムは、人工知能の分野で扱う多様な問題を定義し、それを解決するマシンラーニングアルゴリズムを含む。本発明の実施例は、Ｒ－ＣＮＮ、Ｆａｓｔ Ｒ－ＣＮＮ、Ｆａｓｔｅｒ Ｒ－ＣＮＮ、またはＳＳＤのアルゴリズムによって設計された人工知能モデルの入力レイヤに空間イメージが入力されるように設定し、出力レイヤに空間イメージのバウンディングボックスとラベリングされたクラスが入力されるように設定して、空間イメージから事物イメージを特定するバウンディングボックスの位置とイメージのクラスとの相関関係を導出する人工知能モデルの重み付けを学習させることができる。
人工知能モデルは、シナプスの結合でネットワークを形成したノードで構成される、問題解決能力を有するモデル全般を意味し得る。人工知能モデルは、モデルを構成するレイヤの間の重み付けである、モデルパラメータを更新する学習過程、出力値を生成する活性化関数（Ａｃｔｉｖａｔｉｏｎ Ｆｕｎｃｔｉｏｎ）により定義され得る。
モデルパラメータは、学習を通して決定されるパラメータを意味し、レイヤ連結の重み付けとニューロンの偏向等が含まれる。そして、ハイパーパラメータは、マシンラーニングアルゴリズムで学習の前に設定されるべきパラメータを意味し、学習率（Ｌｅａｒｎｉｎｇ Ｒａｔｅ）、繰り返し回数、ミニバッチサイズ、初期化関数等が含まれる。
人工知能モデルの学習目的は、損失関数を最小化するモデルパラメータを決定することと見られる。損失関数は、人工知能モデルの学習過程で最適なモデルパラメータを決定するための指標に利用され得る。
制御モジュール１２７は、学習が完了した人工知能モデルに空間イメージを入力して、入力された空間イメージに対して人工知能モデルが判別したクラスを該当空間イメージに含まれた事物のキーワードに導出することができる。これによって、制御モジュール１２７は、特定事物を含むイメージを含む商品ページに該当キーワード情報を使用できるようにオンラインショッピングモールサーバの商品ＤＢにキーワードを格納することができる。
入力インターフェース１３０は、ユーザの入力を受信することができる。例えば、学習データに対するクラスをラベリングする場合、ユーザの入力を受信することができる。
ディスプレイ部１４０は、ディスプレイパネルを含んで画像を出力するハードウェア構成を含むことができる。
通信インターフェース１５０は、外部装置（ｅｘ．オンラインショッピングモールサーバ、ユーザ端末等）と通信して情報を送受信できるようにする。このために、通信インターフェース１５０は、無線通信モジュールまたは有線通信モジュールを含むことができる。
図３は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する学習方法のフローチャートであり、図４は、本発明の一実施例に係るデータ増強基盤事物分析モデル学習装置が遂行する動作の概念図である。
図３及び図４を参照すると、増強モジュール１２３は、第１事物イメージを含む第１空間イメージを獲得して、第１空間イメージが含むピクセル情報のうち一部または全部を変更した第２空間イメージを生成できる（Ｓ３１０）。ラベリングモジュール１２１は、第１空間イメージ内の第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、バウンディングボックスに第１事物イメージを特定する第１クラスを第１空間イメージにラベリングできる（Ｓ３２０）。学習モジュール１２５は、客体検出アルゴリズム基盤に設計されたモデルにラベリングされた第１空間イメージを入力して、第１空間イメージからバウンディングボックス内の第１事物イメージの位置と、第１空間イメージから第１事物イメージの第１クラスとの相関関係を導出する人工知能モデルの重み付けを１次学習させることで重み付けに学習された相関関係に基づいて空間イメージに含まれた事物イメージの位置を特定し、事物イメージのクラスを判別するモデルを生成できる（Ｓ３３０）。以後、ラベリングモジュール１２１は、１次学習されたモデルに第２空間イメージを入力して、１次学習された人工知能モデルが第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、１次学習された人工知能モデルが第２事物イメージに対して判別した第２クラスを第２空間イメージにラベリングできる（Ｓ３４０）。このとき、ラベリングモジュール１２１は、１次学習されたモデルに第２空間イメージを入力して、人工知能モデルが第２事物イメージに対して判別した第２クラスを第１クラスと比較して、第２クラスと第１クラスが同一である場合、第２クラスの値を維持し、第２クラスと第１クラスが異なる場合、第２クラスの値を第１クラスと同じ値に修正する動作を遂行して、１次学習されたモデルのエラーを訂正してラベリングできる（Ｓ３４５）。第２空間イメージが第１空間イメージから変形されてもそれぞれのイメージが含む事物のクラスは同一であるため、上のような方法で１次学習されたモデルのエラーを訂正してアウトライアデータを除去できる。
これによって、学習モジュール１２５は、ラベリングが完了した第２空間イメージに基づいて１次学習が完了した人工知能モデルの再学習を遂行して人工知能モデルの重み付けに対して２次学習させたモデルを生成できる（Ｓ３５０）。具体的に、学習モジュール１２５は、２次学習のために、１次学習が遂行された人工知能モデルにラベリングされた第２空間イメージを入力して、第２空間イメージからバウンディングボックス内の第２事物イメージの位置と、第２空間イメージから第２事物イメージの第２クラスとの相関関係を導出する人工知能モデルの重み付けに対して２次学習させることで重み付けに学習された相関関係に基づいて空間イメージに含まれた事物イメージの位置を特定し、事物イメージのクラスを判別するモデルを生成できる。
図５は、第１空間イメージに含まれた事物イメージをラベリングする場合、複数のクラスを格納したセットが生成される動作の例示図である。
図５を参照すると、ラベリングモジュールは、事物情報を特定する複数のクラス（ｅｘ．ｂｏｏｋ、ｓｏｆａ、ｐｈｏｔｏ ｆｒａｍｅ、ｃｕｒｔａｉｎ、ｃａｒｐｅｔ等）を格納したセットを生成して学習データＤＢに格納し、Ｓ３２０ステップのラベリング時に第１空間イメージ内の第１事物イメージの領域に第１事物イメージ（ｅｘ．図５のソファー）を特定するためのバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）が指定されると、学習データＤＢに格納されたセット（ｅｘ．図５の右側ボックス）を出力して第１事物イメージを特定する第１クラスをラベリングを遂行するユーザから選択（ｅｘ．図５の右側ボックスのｓｏｆａ選択）を受けて、第１事物イメージを含むバウンディングボックス領域に第１クラスをラベリングして事物イメージが特定された学習データを生成できる。このとき、バウンディングボックスは、一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定され得る。
以下、データ増強基盤事物分析モデル学習装置１００が第１空間イメージを増強して第２空間イメージを生成する実施例を図６乃至図９と共に説明する。
図６は、第１空間イメージに含まれたピクセル情報を変更してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２３は、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させるように変形するか、または第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させるように変形して、カメラの性能や機種によって一つの空間に対するイメージが異に生成され得る変数まで学習されるようにする第２空間イメージを生成できる。
このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して第２空間イメージを生成できる。
例えば、増強モジュール１２３は、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数１を適用してピクセル情報が変更された第２空間イメージを生成できる。
［数１］
Figure 2023508641000016
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508641000017
：定数、
Figure 2023508641000018
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
数１によれば、
Figure 2023508641000019
が１より大きな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をさらに明るくし、暗い部分をさらに暗くして対比を増加させることができ、
Figure 2023508641000020
が０より大きく１より小さな値を有するように設定する場合、第１空間イメージのピクセルの中で明るい部分をあまり明るくなくし、暗い部分をあまり暗くなくして対比を減少させることができる。
また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、
Figure 2023508641000021
により出力される元素値が２５５より過度に大きくならないように
Figure 2023508641000022
を設定でき、ｍｉｎ関数を使用して最大値が２５５より大きくならないように設定できる。
また、Ｒ、Ｇ、Ｂの元素値は、一般に０から２５５の間の値を有するため、ｍａｘ関数を使用して
Figure 2023508641000023
により出力される元素値が０より小さくならないようにｍａｘ関数を使用してすることができる。
加えて、
Figure 2023508641000024
が小数点を有する値に設定される場合、変更されたピクセル情報の元素値が整数になるようにｒｏｕｎｄ関数を使用することができる。
図６Ａを参照すると、左側は、第１空間イメージであり、右側は、
Figure 2023508641000025
を設定して数１を適用した場合の第２空間イメージである。図３Ａの右側第２空間イメージは、第１空間イメージより、明るい部分がさらに明るく変わり、暗い部分がさらに暗く変わって対比が増加した新たな学習データが生成されることを確認することができる。
図６Ｂを参照すると、左側は、第１空間イメージであり、右側は、
Figure 2023508641000026
を設定して数１を適用した場合の第２空間イメージである。図３Ｂの右側第２空間イメージは、第１空間イメージより、明るい部分があまり明るくなく変わり、暗い部分があまり暗くなく変わって対比が減少した新たな学習データが生成されることを確認することができる。
図６Ｃを参照すると、左側は、一つの色（Ｒ、Ｇ、Ｂ）＝（１８３、１９１、１９４）に統一された第１空間イメージであり、右側は、
Figure 2023508641000027
を設定して数１を適用した場合の第２空間イメージである。図３Ｃを通して一つのピクセル情報が数１によって変わる程度を確認することができる。
図７（ａ）は、第１空間イメージに含まれたピクセル情報にグレースケールを適用してデータを増強する実施例によって生成された第２空間イメージの例示図である。
空間イメージに対するクラス判別は、事物の配置や、事物のパターンに大きな影響を受けるため、増強モジュール１２３は、色相を単調に変換させた後、事物の配置と事物のパターンをさらによく学習されるように変数を反映した学習データを生成できる。
このために、増強モジュール１２３は、図７（ａ）の左側イメージのように、第１空間イメージが有する全てのピクセルが有するピクセル情報に対して、下記数２を適用してピクセル情報が単調な色相を有しながら配置とパターンが現れる第２空間イメージを生成できる。
［数２］
Figure 2023508641000028
（Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
加えて、増強モジュール１２３は、図７（ａ）の右側イメージのように、下記数３を通して第１空間イメージの対比を増加させた後に導出された元素値に、下記数４を適用して、第１空間イメージに含まれた事物の配置とパターンがさらに克明に現れる第２空間イメージを生成できる。
［数３］
Figure 2023508641000029
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508641000030
：定数、
Figure 2023508641000031
：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
［数４］
Figure 2023508641000032
（Ｒ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：数３で求められたｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
図７（ｂ）は、第１空間イメージに含まれたピクセル情報の一部にノイズを追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２３は、カメラを拡大して撮影する場合、イメージにノイズが発生する場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して第２空間イメージを生成できる。例えば、増強モジュール１２３は、乱数発生アルゴリズムを通して任意の座標情報を生成して、第１空間イメージに含まれたピクセルのうち一部の座標を選択し、選択された座標のピクセルが有する元素値に対して下記数５を利用して、ピクセル情報に乱数発生アルゴリズムを利用して算出される乱数を付加してノイズ情報が追加された第２空間イメージを生成できる。
［数５］
Figure 2023508641000033
（ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
Figure 2023508641000034
：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
図７（ｂ）を参照すると、左側は、第１空間イメージであり、右側は、数５を適用してノイズを追加した場合の第２空間イメージを確認することができる。
図８は、第１空間イメージに含まれた事物の枠領域を区分し、枠でない領域にブラーを適用して第２空間イメージを生成する方法を説明するための例示図である。
増強モジュール１２３は、カメラの焦点がよく合わない状態で撮影されたイメージを学習するように次の実施例を通して事物の縁が潰れたような第２空間イメージを生成できる。
図８（ａ）は、説明の便宜のために、横５個×縦５個の行列形態の２５個のピクセルを含む第１空間イメージを仮定して各ピクセル領域を区分した例示である。このとき、各ピクセルは、Ｒ、Ｇ、Ｂの元素値を有するが、Ｒ（Ｒｅｄ）の元素値を基準に実施例を説明する。図５Ａの各ピクセル領域に示された数字は、Ｒの元素値を意味する。
図８（ａ）の場合、全てのピクセルに後述する方式の演算が遂行されるが、説明の便宜のために、真ん中のピクセルを基準に演算を説明する。図８（ａ）の場合、増強モジュール１２３は、演算が遂行されるピクセルを中央とするＮ×Ｎ領域（図８（ａ）でＮは３を仮定）に含まれたピクセルのうちＲ元素値の最大値（Ｒ＿ｍａｘ＝１３０）とＲ元素値の平均値（Ｒ＿ａｖｇ＝１２０）の差（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ＝１０）を計算して、導出される値が既設定された値ｎより小さい場合のピクセル（事物の内側領域に存在するピクセルと判別）と既設定された値ｎより大きい場合のピクセル（事物の枠領域に存在するピクセルと判別）を区分して、図８（ｂ）の右側のように第１空間イメージに含まれた事物の枠を判別できる。ここで、増強モジュール１２３は、枠領域を除く領域のピクセルに対してのみガウスブラーアルゴリズムを適用して図８（ｃ）の右側イメージのようなイメージを生成できる。一方、演算が遂行されるピクセルを基準にするＮ×Ｎ領域にピクセルが存在しない領域（ｅｘ．イメージの縁側）が存在するならば、該当ピクセルに対しては上述した演算を省略し、ブラー処理をすることができる。
このように、増強モジュール１２３は、第１空間イメージが含む全てのピクセルそれぞれに対して上の演算を遂行することができる。演算が遂行されるピクセルの場合、該当ピクセルを中央に含むＮ×Ｎ（Ｎは、３以上の奇数）行列大きさに含まれる複数のピクセルをカーネル領域に選択し、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である（Ｒ＿ｍａｘ、Ｇ＿ｍａｘ、Ｂ＿ｍａｘ）から、カーネル領域に含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である（Ｒ＿ａｖｇ、Ｇ＿ａｖｇ、Ｂ＿ａｖｇ）を引いた値である（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）を求め、（Ｒ＿ｍａｘ－Ｒ＿ａｖｇ、Ｇ＿ｍａｘ－Ｇ＿ａｖｇ、Ｂ＿ｍａｘ－Ｂ＿ａｖｇ）のうち少なくともいずれか一つの元素値が既設定された値ｎより小さければ、該当ピクセルにガウスブラーアルゴリズムを適用して第２空間イメージを生成できる。
このような演算を第１空間イメージに含まれた全てのピクセルに対して遂行すれば、色相差が大きく開く枠領域のピクセルだけがピクセル情報をそのまま有し、色相差のない領域のピクセルはブラー処理されて、カメラの焦点がよく合わない状態で撮影されたイメージを学習できる第２空間イメージを生成できる。このとき、ブラー処理は、ガウスブラーアルゴリズムを適用できるが、これに限定されず、多様なブラーフィルタを使用することができる。
図８（ｂ）を参照すると、左側は、第１空間イメージであり、右側は、図８を通して説明した実施例で既設定された値ｎより大きい場合とｎより小さい場合のピクセルを区分して生成されたイメージである。図５Ｂの右側イメージもまた事物の枠を克明に示すため、事物の配置とパターンを明確に認識させるための目的で学習データに追加して使用することができる。
図８（ｃ）を参照すると、左側は、第１空間イメージであり、右側は、上述した図８の実施例でＮ＝７、ｎ＝２０を適用した実施例であり、枠以外の領域がブラー処理された第２空間イメージを確認することができる。
加えて、図５を通して説明した実施例で既設定された値ｎより大きい場合のピクセルをブラー処理して上述した実施例と反対の効果を発生させた第２空間イメージを学習データＤＢ１１１に追加することもできる。
図９は、第１空間イメージにガウス正規分布によるノイズ情報を追加してデータを増強する実施例によって生成された第２空間イメージの例示図である。
増強モジュール１２３は、イメージの特定部分に焦点が合わない場合を学習するための学習データを生成できる。このために、増強モジュール１２３は、第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、全てのピクセルのそれぞれに乱数情報それぞれを合算してノイズ情報が挿入された第２空間イメージを生成できる。
上述した本発明の実施例は、多様な手段を通して具現され得る。例えば、本発明の実施例は、ハードウェア、ファームウェア（ｆｉｒｍｗａｒｅ）、ソフトウェアまたはそれらの結合等により具現され得る。
ハードウェアによる具現の場合、本発明の実施例に係る方法は、一つまたはそれ以上のＡＳＩＣｓ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｄｅｖｉｃｅｓ）、ＰＬＤｓ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ）、プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ等により具現され得る。
ファームウェアやソフトウェアによる具現の場合、本発明の実施例に係る方法は、以上において説明された機能または動作を遂行するモジュール、手順または関数等の形態に具現され得る。ソフトウェアコード等が書き込まれたコンピュータプログラムは、コンピュータ読み取り可能書き込み媒体またはメモリユニットに格納されてプロセッサにより駆動され得る。メモリユニットは、プロセッサの内部または外部に位置して、既に公知になった多様な手段によりプロセッサとデータを受け渡しすることができる。
また、本発明に添付のブロック図の各ブロックとフローチャートの各ステップの組み合わせは、コンピュータプログラムインストラクションにより遂行されてもよい。これらのコンピュータプログラムインストラクションは、汎用コンピュータ、特殊用コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサに搭載され得るので、コンピュータまたはその他のプログラム可能なデータプロセシング装備のエンコーディングプロセッサを通して遂行されるそのインストラクションがブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行する手段を生成するようになる。これらのコンピュータプログラムインストラクションは、特定方法で機能を具現するためにコンピュータまたはその他のプログラム可能なデータプロセシング装備を目指すことのできるコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されることも可能であるので、そのコンピュータ利用可能またはコンピュータ読み取り可能メモリに格納されたインストラクションは、ブロック図の各ブロックまたはフローチャートの各ステップで説明された機能を遂行するインストラクション手段を内包する製造品目を生産することも可能である。コンピュータプログラムインストラクションは、コンピュータまたはその他のプログラム可能なデータプロセシング装備上に搭載されることも可能であるので、コンピュータまたはその他のプログラム可能なデータプロセシング装備上で一連の動作ステップが遂行されてコンピュータで実行されるプロセスを生成してコンピュータまたはその他のプログラム可能なデータプロセシング装備を遂行するインストラクションは、ブロック図の各ブロック及びフローチャートの各ステップで説明された機能を実行するためのステップを提供することも可能である。
併せて、各ブロックまたは各ステップは、特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示すことができる。また、いくつかの代替実施例では、ブロックまたはステップで言及された機能が順序を外れて発生することも可能であることを注目すべきである。例えば、引き続き図示されている二つのブロックまたはステップは、実際、実質的に同時に遂行されることも可能であり、またはそのブロックまたはステップが時々該当する機能によって逆順に遂行されることも可能である。
このように、本発明の属する技術の分野における当業者は、本発明がその技術的思想や必須特徴を変更することなく他の具体的な形態で実施され得るということが理解できるだろう。それゆえ、以上において記述した実施例は、全ての面で例示的なものであり、限定的ではないものとして理解すべきである。本発明の範囲は、詳細な説明よりは後述する特許請求の範囲により示され、特許請求の範囲の意味及び範囲、そしてその等価概念から導出される全ての変更または変形された形態が本発明の範囲に含まれるものと解釈されるべきである。

Claims (17)

  1. データ増強基盤事物分析モデル学習装置において、
    所定の動作を遂行するようにする命令語を格納する一つ以上のメモリ；及び前記一つ以上のメモリと動作できるように連結されて前記命令語を実行するように設定された一つ以上のプロセッサを含み、
    前記プロセッサが遂行する動作は、
    第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成する動作；
    前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングする動作；
    所定の客体検出アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作；
    前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングする動作；及び
    前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成する動作を含む、
    データ増強基盤事物分析モデル学習装置。
  2. 前記動作は、
    事物情報を特定する複数のクラスを格納したセットを生成する動作をさらに含み、
    前記ラベリングする動作は、
    前記第１空間イメージ内の第１事物イメージの領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）が指定されると、前記セットを出力して前記第１事物イメージを特定する第１クラスの選択を受けて、前記バウンディングボックスに前記第１クラスをラベリングする動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  3. 前記２次学習させたモデルを生成する動作は、
    前記１次学習されたモデルに前記第２空間イメージを入力して、前記第２事物イメージと前記第２クラスとの相関関係を導出するモデルの重み付けを２次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  4. 前記第２空間イメージにラベリングする動作は、
    前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第１クラスと比較して、前記第２クラスと前記第１クラスが同一である場合、前記第２クラスの値を維持し、前記第２クラスと前記第１クラスが異なる場合、前記第２クラスの値を前記第１クラスと同じ値に修正する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  5. 前記バウンディングボックスは、
    一つのバウンディングボックス当たりに一つの事物イメージを含み、バウンディングボックスの内部に事物イメージの枠領域が全て含まれるように設定されることを特徴とする、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  6. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージに含まれたピクセル情報のＲＧＢ情報を構成する（ｘ、ｙ、ｚ）元素値に対して、所定の基準値より大きな値を有する元素値がさらに大きな値を有するように変更し、前記基準値より小さな値を有する元素値がさらに小さな元素値を有するように変更して前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  7. 前記第２空間イメージを生成する動作は、
    ［数１］
    Figure 2023508641000035
    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
    Figure 2023508641000036
    ：定数、
    Figure 2023508641000037
    ：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数１に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項６に記載のデータ増強基盤事物分析モデル学習装置。
  8. 前記第２空間イメージを生成する動作は、
    ［数２］
    Figure 2023508641000038
    （Ｒ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｘ、Ｇ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｙ、Ｂ：ピクセル情報のＲＧＢ情報（ｘ、ｙ、ｚ）のうちｚ、Ｙ：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数２に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  9. 前記第２空間イメージを生成する動作は、
    ［数３］
    Figure 2023508641000039
    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
    Figure 2023508641000040
    ：定数、
    Figure 2023508641000041
    ：定数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    ［数４］
    Figure 2023508641000042
    （Ｒ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｘ’、Ｇ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｙ’、Ｂ：前記ｄｓｔ（Ｉ）の（ｘ’、ｙ’、ｚ’）のうちｚ’、Ｙ：ピクセル情報の変更後の元素値（ｘ’’、ｙ’’、ｚ’’））
    前記数３及び４に基づいて前記第１空間イメージから前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  10. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージに含まれたピクセル情報の一部にノイズ情報を追加して前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  11. 前記第２空間イメージを生成する動作は、
    ［数５］
    Figure 2023508641000043
    （ｓｒｃ（Ｉ）：ピクセル情報の変更前の元素値（ｘ、ｙ、ｚ）、
    Figure 2023508641000044
    ：乱数、ｄｓｔ（Ｉ）：ピクセル情報の変更後の元素値（ｘ’、ｙ’、ｚ’））
    前記数５に基づいて前記第１空間イメージのピクセル情報にノイズ情報を付加して前記第２空間イメージを生成する動作を含む、
    請求項１０に記載のデータ増強基盤事物分析モデル学習装置。
  12. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージが含むピクセルのうち第１ピクセルを真ん中に含むＮ×Ｎ（Ｎは、３以上の自然数）行列大きさに含まれた複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素値のうち最大元素値である
    Figure 2023508641000045
    から前記複数のピクセルのＲ、Ｇ、Ｂそれぞれの元素平均値である
    Figure 2023508641000046
    を引いた値である
    Figure 2023508641000047
    を求め、前記
    Figure 2023508641000048
    の元素値のいずれか一つが既設定された値より小さい場合、前記第１ピクセルをブラー処理をする演算を遂行して前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  13. 前記第２空間イメージを生成する動作は、
    前記第１空間イメージが含む全てのピクセルの個数だけ、平均０及び標準偏差１００の標準ガウス正規分布に従う乱数情報を生成し、前記全てのピクセルのそれぞれに前記乱数情報それぞれを合算してノイズが挿入された前記第２空間イメージを生成する動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  14. 前記モデルを生成する動作は、
    Ｆａｓｔｅｒ Ｒ－ＣＮＮ（ｒｅｇｉｏｎ－ｂａｓｅｄ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）アルゴリズムに基づいて設計された神経網の入力レイヤに事物イメージが含まれた空間イメージが入力されるように設定し、出力レイヤに事物イメージを含むバウンディングボックス及び事物イメージのクラスが入力されるように設定して、入力される空間イメージから入力される空間イメージに含まれた事物イメージのバウンディングボックス領域の相関関係及び入力される空間イメージに含まれた事物イメージのクラスを判別する相関関係を導出する神経網の重み付けを学習させる動作を含む、
    請求項１に記載のデータ増強基盤事物分析モデル学習装置。
  15. 請求項１乃至１４のいずれか一項に記載のデータ増強基盤事物分析モデル学習装置が生成したデータ増強基盤事物分析モデルを含む装置。
  16. データ増強基盤事物分析モデル学習装置が遂行する方法において、
    第１事物イメージを含む第１空間イメージを獲得して、前記第１空間イメージが含むピクセル情報を変更した第２空間イメージを生成するステップ；
    前記第１空間イメージ内の前記第１事物イメージを含む領域にバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）を指定し、前記バウンディングボックスに前記第１事物イメージを特定する第１クラスをラベリングするステップ；
    所定の客体検出アルゴリズム基盤に設計されたモデルに前記第１空間イメージを入力して、前記バウンディングボックス内の前記第１事物イメージと前記第１クラスとの相関関係を導出する前記モデルの重み付けを１次学習させることで、前記相関関係に基づいて空間イメージに含まれた事物イメージを特定し、クラスを判別するモデルを生成するステップ；
    前記１次学習されたモデルに前記第２空間イメージを入力して、前記モデルが前記第２空間イメージ内の第２事物イメージを特定したバウンディングボックスと前記モデルが前記第２事物イメージに対して判別した第２クラスを前記第２空間イメージにラベリングするステップ；及び
    前記第２空間イメージに基づいて前記モデルの重み付けを２次学習させたモデルを生成するステップを含む、
    データ増強基盤事物分析モデル学習方法。
  17. 請求項１６に記載のデータ増強基盤事物分析モデル学習方法をプロセッサが遂行するようにするコンピュータ読み取り可能書き込み媒体に格納されたコンピュータプログラム。
JP2022531445A 2020-07-23 2020-11-24 データ増強基盤事物分析モデル学習装置及び方法 Active JP7336033B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR10-2020-0091759 2020-07-23
KR1020200091759A KR102208688B1 (ko) 2020-07-23 2020-07-23 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
PCT/KR2020/016741 WO2022019390A1 (ko) 2020-07-23 2020-11-24 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2023508641A true JP2023508641A (ja) 2023-03-03
JP7336033B2 JP7336033B2 (ja) 2023-08-30

Family

ID=74239288

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022531445A Active JP7336033B2 (ja) 2020-07-23 2020-11-24 データ増強基盤事物分析モデル学習装置及び方法

Country Status (6)

Country Link
US (1) US20220358411A1 (ja)
EP (1) EP4040349A4 (ja)
JP (1) JP7336033B2 (ja)
KR (2) KR102208688B1 (ja)
CN (1) CN114830145A (ja)
WO (1) WO2022019390A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021067234A1 (en) * 2019-09-30 2021-04-08 Pricewaterhousecoopers Llp Systems and methods for training image detection systems for augmented and mixed reality applications
KR102568482B1 (ko) * 2023-03-02 2023-08-23 (주) 씨이랩 군사용 영상분석을 위한 데이터증강 서비스 제공 시스템

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
US20170300783A1 (en) * 2016-04-13 2017-10-19 Xerox Corporation Target domain characterization for data augmentation
CN108520278A (zh) * 2018-04-10 2018-09-11 陕西师范大学 一种基于随机森林的路面裂缝检测方法及其评价方法
JP2019508801A (ja) * 2016-07-22 2019-03-28 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． なりすまし防止顔認識のための生体検知
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
JP6612487B1 (ja) * 2019-05-31 2019-11-27 楽天株式会社 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム
JP2020098455A (ja) * 2018-12-18 2020-06-25 国立大学法人豊橋技術科学大学 物体識別システム、物体識別方法、並びに、画像識別プログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS58220524A (ja) * 1982-06-16 1983-12-22 Mitsubishi Electric Corp 信号切換装置
JP2006048370A (ja) * 2004-08-04 2006-02-16 Kagawa Univ パターン認識方法、それに用いられる教示データ生成方法およびパターン認識装置
KR20100102772A (ko) 2009-03-12 2010-09-27 주식회사 퍼시스 실내환경 분석 시스템 및 그 방법
WO2017051943A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 영상 생성 방법 및 장치, 및 영상 분석 방법
JP6441980B2 (ja) * 2017-03-29 2018-12-19 三菱電機インフォメーションシステムズ株式会社 教師画像を生成する方法、コンピュータおよびプログラム
US10565475B2 (en) * 2018-04-24 2020-02-18 Accenture Global Solutions Limited Generating a machine learning model for objects based on augmenting the objects with physical properties
KR102646889B1 (ko) * 2018-12-21 2024-03-12 삼성전자주식회사 스타일 변환을 위한 영상 처리 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120288186A1 (en) * 2011-05-12 2012-11-15 Microsoft Corporation Synthesizing training samples for object recognition
US20170300783A1 (en) * 2016-04-13 2017-10-19 Xerox Corporation Target domain characterization for data augmentation
JP2019508801A (ja) * 2016-07-22 2019-03-28 エヌイーシー ラボラトリーズ アメリカ インクＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ． なりすまし防止顔認識のための生体検知
CN108520278A (zh) * 2018-04-10 2018-09-11 陕西师范大学 一种基于随机森林的路面裂缝检测方法及其评价方法
US10489683B1 (en) * 2018-12-17 2019-11-26 Bodygram, Inc. Methods and systems for automatic generation of massive training data sets from 3D models for training deep learning networks
JP2020098455A (ja) * 2018-12-18 2020-06-25 国立大学法人豊橋技術科学大学 物体識別システム、物体識別方法、並びに、画像識別プログラム
JP6612487B1 (ja) * 2019-05-31 2019-11-27 楽天株式会社 学習装置、分類装置、学習方法、分類方法、学習プログラム、及び分類プログラム

Also Published As

Publication number Publication date
CN114830145A (zh) 2022-07-29
WO2022019390A1 (ko) 2022-01-27
KR102208688B9 (ko) 2022-03-11
EP4040349A4 (en) 2024-01-03
US20220358411A1 (en) 2022-11-10
KR20220012785A (ko) 2022-02-04
JP7336033B2 (ja) 2023-08-30
KR102430743B1 (ko) 2022-08-11
EP4040349A1 (en) 2022-08-10
KR102208688B1 (ko) 2021-01-28

Similar Documents

Publication Publication Date Title
CN109740670B (zh) 视频分类的方法及装置
CN109325954B (zh) 图像分割方法、装置及电子设备
Fu et al. Uncertainty inspired underwater image enhancement
Nestmeyer et al. Reflectance adaptive filtering improves intrinsic image estimation
US8692830B2 (en) Automatic avatar creation
JP2023537268A (ja) イメージデータベース分析基盤商品推薦装置及び方法
US20220358411A1 (en) Apparatus and method for developing object analysis model based on data augmentation
GB2586260A (en) Facial image processing
Ruan et al. Aifnet: All-in-focus image restoration network using a light field-based dataset
CN111047543A (zh) 图像增强方法、装置和存储介质
Steffens et al. Cnn based image restoration: Adjusting ill-exposed srgb images in post-processing
Blanch et al. End-to-end conditional gan-based architectures for image colourisation
US20230130281A1 (en) Figure-Ground Neural Radiance Fields For Three-Dimensional Object Category Modelling
US11321938B2 (en) Color adaptation using adversarial training networks
US20220358752A1 (en) Apparatus and method for developing space analysis model based on data augmentation
Hepburn et al. Enforcing perceptual consistency on generative adversarial networks by using the normalised laplacian pyramid distance
US20210150274A1 (en) Object recognition from images using cad models as prior
CN115457015A (zh) 一种基于视觉交互感知双流网络的图像无参考质量评估方法及装置
Chaczko et al. Teaching Computer Vision for telemedicine systems using OpenCV
Prokott et al. Identifying specular highlights: Insights from deep learning
Deshpande et al. Fusion of handcrafted edge and residual learning features for image colorization
Koleini et al. Film Colorization Using Texture Feature Coding and Artificial Neural Networks.
Piccoli Visual Anomaly Detection For Automatic Quality Control
Pavaskar et al. COLORIZATION OF GRAYSCALE IMAGES USING DEEP LEARNING
Mahajan A comprehensive Analysis on Image Colorization using Generative Adversarial Networks (GANs)

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230711

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230815

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230818

R150 Certificate of patent or registration of utility model

Ref document number: 7336033

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150