JP7358117B2 - イメージ自動分類方法及びシステム - Google Patents

Description

本発明は、イメージ自動分類方法及びシステムに関するものである。より詳細には、ＰＣウェブ上の様々なイメージをモバイルウェブの都合に合わせて自動分類し、再構成して提供する方法及びシステムに関するものである。

スマートモバイル環境の急な発展に伴い、モバイルウェブ（Ｍｏｂｉｌｅ Ｗｅｂ）ショッピングモール産業が日に日に成長している。これにより、ＰＣウェブ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ Ｗｅｂ）ショッピングモールの競争力増大のために、ＰＣウェブショッピングモールをモバイルウェブショッピングモール化して提供することが普遍的な傾向となっている。

しかし、ＰＣウェブショッピングモール上に存在する様々なイメージ（例えば、製品イメージ、着用イメージ、製品材質、及び／又は製品色相イメージ等）をモバイルウェブショッピングモールのユーザの都合に合わせて効果的に再構成する方法及びシステムが不十分であり、その必要性が増加している。

一方、人間の脳を摸倣するニューラルネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）が考案されて、コンピュータが自ら外部データを組み合わせ、分析して学習するディープラーニング（ｄｅｅｐ ｌｅａｒｎｉｎｇ）技術が発展するにつれて、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）が画期的に飛躍した。

これにより、コンピュータが人間に代えて膨大な量のデータを分析し、事物やデータを群集化したり、分類したりすることができる。

また、コンピュータ技術の発展により、膨大な量のデータを送受信するのに適したＪｓｏｎ（Ｊａｖａ Ｓｃｒｉｐｔ（登録商標）Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）ファイル形式が使用されることで、より軽量化されたデータフォーマット技術をつなぎ合わせたデータ送受信が可能である。

韓国公開特許第１０－２０１６－００９６８３２号

本発明の実施形態は、ＰＣウェブショッピングモールに存在する様々なイメージをモバイルウェブショッピングモールのユーザの都合に合わせて効果的に再構成するためのイメージ自動分類方法及びシステムを提案する。

詳細には、本発明の実施形態は、ＰＣウェブショッピングモールをモバイルウェブショッピングモール化する過程で、ＰＣウェブショッピングモール上にランダムに並べられた様々な製品イメージをモバイルウェブショッピングモールユーザの都合に合わせて一々手作業で分類しなければならないという問題点を解決するために、ＰＣウェブショッピングモールのランダムイメージをモバイルウェブ構築に適した形式に自動分類するイメージ自動分類方法及びシステムを提供しようとする。

ただし、本発明の実施形態がなそうとする技術的課題は、上記したような技術的課題に限定されず、さらに他の技術的課題が存在しうる。

本発明の一実施形態に係るイメージ自動分類方法は、ウェブショッピングモールから複数の製品の全体コンテンツを取得し、取得した複数の製品の全体コンテンツでそれぞれの製品別の全体コンテンツを分類して格納し、１つの製品の全体コンテンツで複数の製品イメージを抽出し、抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することを含み、最終提供情報は、１つの製品に対する複数の製品イメージを複数のカテゴリ別に分類して、各分類された製品イメージを選択可能なように提供する情報である。

このとき、１つの製品の全体コンテンツに基づいて１つの製品の製品情報を取得することをさらに含み、製品情報は、１つの製品が上衣、下衣、及びワンピースのうち、いずれか１つの製品種類のカテゴリに属するかを表す情報を含むことができる。

また、１つの製品の全体コンテンツで複数の製品イメージを抽出することは、隣接した製品イメージ間のテキストまたは空白の有無に基づいて、隣接した製品イメージをそれぞれの製品イメージに分離することを含むことができる。

また、抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、製品イメージを、製品着用可否を基準に着用ショット及び製品ショットのうち、少なくともいずれか１つのカテゴリに第１次分類することを含むことができる。

また、第１次分類することは、製品イメージ内にポーズ特徴があれば、着用ショットカテゴリに分類し、残りの製品イメージは、製品ショットカテゴリに分類することでありうる。

また、抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、第１次分類されたイメージが着用ショットの場合、着用ショットを、ポーズ形態を基準に正面ショット、背面ショット、全身ショット、クローズアップショット、スタンドショット、またはその他のポーズショットのうち、少なくともいずれか１つのカテゴリに第２次分類することを含むことができる。

また、第２次分類することは、着用ショットで背面ショットを検出することと、背面ショットを除いた正面ショットで全身ショットを検出した後、残りの正面ショットをクローズアップショットに分類することと、全身ショットをスタンドショットとその他のポーズショットに分類することとを含むことができる。

また、抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、第１次分類されたイメージが製品ショットの場合、製品ショットを、ビューポイントを基準に正面側ショット、背面側ショット、上面側ショット、下面側ショット、左面側ショット、または右面側ショットのうち、いずれか１つのカテゴリに第２次分類することを含むことができる。

また、製品ショットで１つの製品のディテールを撮影したディテールショットを分類することをさらに含むことができる。

また、抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、第２次分類されたイメージを第２次分類されたカテゴリのメインショットと残りのサブショットとに最終分類することをさらに含むことができる。

また、メインショットとサブショットとを最終分類する基準は、製品イメージで製品が露出された領域の大きさまたは製品イメージが第２次分類されて属したカテゴリに適用される確率でありうる。

また、最終提供情報は、各製品別の製品情報、第２次分類によるカテゴリ別の名前、及び第２次分類されたカテゴリのメインショットを出力する情報でありうる。また、最終提供情報は、１つのカテゴリのメインショットを選択する入力を受けると、１つのカテゴリに属した残りのサブショットを追加的に一括表示するインターフェースを含むことができる。

また、最終提供情報をユーザにＪｓｏｎ形式のファイルで生成して送信することをさらに含むことができる。

本発明の実施形態に係るイメージ自動分類方法及びシステムは、ＰＣウェブショッピングモール上にランダムに並べられた様々な製品イメージをモバイルウェブショッピングモールで使用するのに適した形式に自動分類して提供することにより、製品イメージを迅速かつ便利に分類させ、ＰＣに比べて小さいディスプレイを有したモバイル環境で製品イメージをユーザにさらに効果的に伝達させることができる。

また、本発明の実施形態に係るイメージ自動分類方法及びシステムは、自動分類した情報をインターフェースで再構成して提供することにより、ユーザをして自動分類されたイメージを便利に確認させることができる。

本発明の実施形態に係るイメージ自動分類システムに対する概念図である。 本発明の実施形態に係るショッピングモールサーバの内部ブロック図である。 本発明の実施形態に係るイメージ自動分類サーバの内部ブロック図である。 本発明の実施形態に係る端末の内部ブロック図である。 本発明の実施形態に係るイメージ自動分類方法に対するフローチャートである。 本発明の実施形態に係る抽出した１つの製品の全体コンテンツを分析して分類するステップに対する細部フローチャートである。 本発明の実施形態に係る抽出した１つの製品の全体コンテンツを分析して分類するステップの細部フローに対する詳細フローチャートである。 本発明の実施形態に係る抽出した１つの製品の全体コンテンツを分析して分類する機能を提供中の形状を示す。 本発明の実施形態に係る最終提供情報の形状を示す。

本発明は、様々な変換を加えることができ、種々の実施形態を有することができるところ、特定の実施形態を図面に例示し、詳細な説明に詳しく説明する。本発明の効果及び特徴、そして、それらを達成する方法は、図面とともに詳しく後述されている実施形態を参照すれば明確になるであろう。しかし、本発明は、以下において開示される実施形態等に限定されるものではなく、様々な形態で実現されることができる。以下の実施形態において、第１、第２などの用語は、限定的な意味ではなく、１つの構成要素を他の構成要素と区別する目的として使用する。また、単数の表現は、文脈上、明白に異なるように意味しない限り、複数の表現を含む。また、「含む」または「有する」などの用語は、明細書上に記載された特徴または構成要素が存在することを意味するものであり、１つ以上の他の特徴または構成要素が付加される可能性を予め排除するものではない。また、図面では、説明の都合上、構成要素等が、その大きさが誇張または縮小され得る。例えば、図面に示された各構成の大きさ及び厚さは、説明の都合上、任意に示したので、本発明が必ずしも図示されたところに限定されない。

以下、添付された図面を参照して本発明の実施形態を詳しく説明する。図面を参照して説明する際に、同一である、又は対応する構成要素は同様の図面符号を付し、これに対する重複する説明は省略する。

図１は、本発明の実施形態に係るイメージ自動分類方法及びシステムに対する概念図である。

図１に示すように、実施形態に係るイメージ自動分類方法及びシステムは、ショッピングモールサーバ１００、イメージ自動分類サーバ２００、及び端末３００を備えることができる。

ここで、図１の各構成要素は、ネットワーク（Ｎｅｔｗｏｒｋ）を介して接続されることができる。ネットワークは、ショッピングモールサーバ１００、イメージ自動分類サーバ２００、及び／又は端末３００などのようなそれぞれのノード相互間に情報交換が可能な接続構造を意味するものである。このようなネットワークの一例には、３ＧＰＰ（３ｒｄ Ｇｅｎｅｒａｔｉｏｎ Ｐａｒｔｎｅｒｓｈｉｐ Ｐｒｏｊｅｃｔ）ネットワーク、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）ネットワーク、ＷＩＭＡＸ（Ｗｏｒｌｄ Ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ Ｍｉｃｒｏｗａｖｅ Ａｃｃｅｓｓ）ネットワーク、インターネット（Ｉｎｔｅｒｎｅｔ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉｒｅｌｅｓｓ ＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ブルートゥース（登録商標）（Ｂｌｕｅｔｏｏｔｈ（登録商標））ネットワーク、衛星放送ネットワーク、アナログ放送ネットワーク、ＤＭＢ（Ｄｉｇｉｔａｌ Ｍｕｌｔｉｍｅｄｉａ Ｂｒｏａｄｃａｓｔｉｎｇ）ネットワークなどが含まれるが、これに限定されない。

また、本発明の実施形態では、自動分類されて提供されるイメージをオンラインショッピングモール上の衣類イメージに限定して説明するが、アクセサリや生活用品など、当業者が実施できる範囲内で様々な実施形態が可能である。

また、以下、本発明の実施形態では、説明の都合上、ＰＣを介して提供されるウェブショッピングモールをウェブショッピングモールと記載し、モバイル端末で提供されるウェブショッピングモールをモバイルショッピングモールと記載して説明する。

＜ショッピングモールサーバ＞
まず、ショッピングモールサーバ１００は、ネットワークを介して製品を注文し、販売できる電子商取引ウェブショッピングモールをユーザ端末に提供することができる。また、このようなショッピングモールサーバ１００は、イメージ自動分類システムで必要なデータを送受信し、格納することができる。

詳細には、図２に示すように、ショッピングモールサーバ１００は、データ送受信部１１０及びデータ格納部１２０を備えることができる。

まず、データ送受信部１１０は、イメージ自動分類が必要なウェブショッピングモール上の製品イメージをイメージ自動分類サーバ２００に送信することができ、イメージ自動分類サーバ２００から生成された最終提供情報を受信できる。

ここで、最終提供情報とは、イメージ自動分類サーバ２００が自動分類されたイメージを容易に区分して確認できるように再構成して生成した最終結果物情報である。このとき、最終提供情報は、当該最終提供情報を効果的に活用できるインターフェースをさらに含んで提供されることができる。

詳細には、ショッピングモールサーバ１００の管理者は、端末を介してショッピングモールサーバ１００に接続して最終提供情報を閲覧し、閲覧された最終提供情報を活用して迅速かつ容易にモバイルショッピングモールを構築できる。すなわち、管理者は、ランダムにイメージが配列されても構わないウェブショッピングモールを構築した後、限定された空間のため、少数のイメージを効果的に配置させなければならないモバイルショッピングモールに変換するとき、最終提供情報を活用できる。

次に、データ格納部１２０は、ウェブショッピングモール及び／又はイメージ自動分類と関連した機能動作に必要な応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。

例えば、データ格納部１２０は、ウェブショッピングモール上の製品イメージ及び／又は製品名などを格納して管理することができる。

また、データ格納部１２０は、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器でありうるし、インターネット（ｉｎｔｅｒｎｅｔ）上で、データ格納部１２０の格納機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）でありうる。

＜イメージ自動分類サーバ＞
次に、イメージ自動分類サーバ２００は、ウェブショッピングモールの様々なイメージをモバイルショッピングモール管理者の都合に合わせて自動分類し、自動分類したイメージを容易に区分して確認できるように再構成した情報を生成できる。

図３を参照してイメージ自動分類サーバ２００の構成要素を詳しく説明すれば、イメージ自動分類サーバ２００は、データ収集部２１０、データ分類部２２０、最終提供情報生成部２３０、データベース２４０、及びデータ配布部２５０を備えることができる。

まず、データ収集部２１０は、ショッピングモールサーバ１００から製品の全体コンテンツを受信したり、ショッピングモールサーバ１００に接続して製品の全体コンテンツを抽出して格納したりすることができる。

次に、データ分類部２２０は、受信及び／又は抽出した製品の全体コンテンツを予め設定された基準及び／又はイメージディープラーニング（Ｉｍａｇｅ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）を利用して分析し、分類することができる。

このとき、データ分類部２２０は、複数の製品イメージ及び／又はテキストなどが接続されてなる製品コンテンツが存在する場合、接続されてなる製品コンテンツをそれぞれの製品イメージ及び／又はテキストに分離することができる。

次に、最終提供情報生成部２３０は、分離された製品イメージを分類カテゴリ（Ｃａｔｅｇｏｒｙ）によって区分及び再構成して最終提供情報を生成できる。

このとき、最終提供情報生成部２３０は、最終提供情報に当該最終提供情報を効果的に活用できるインターフェースをさらに含んで生成することができる。

次に、データベース２４０は、イメージ自動分類と関連した機能動作に必要な応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。

例えば、データベース２４０は、受信及び／又は抽出した製品の全体コンテンツ、イメージ分類基準にしたがって分類された製品イメージ、及び／又は最終提供情報などを格納して管理することができる。

このようなデータベース２４０は、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器でありうるし、インターネット（ｉｎｔｅｒｎｅｔ）上でデータベース２４０の格納機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）でありうる。

次に、データ配布部２５０は、最終提供情報などをショッピングモールサーバ１００及び／又は端末３００に送信してイメージ自動分類を介しての最終結果情報を配布することができる。

＜端末＞
端末３００は、イメージ自動分類システムにおいて、イメージ自動分類サーバ２００が生成した最終提供情報を受信して表示することができ、最終提供情報を活用したモバイルショッピングモールを利用できる環境を提供できる。

また、端末３００は、最終提供情報に含まれたインターフェースを活用できる手段を提供できる。このような端末３００は、モバイルショッピングモールを構築するための管理者の端末３００でありうる。

このような端末３００は、図４に示すように、通信部３１０、入力部３２０、ディスプレイ部３３０、メモリ３４０、及びプロセッサ３５０を備えることができる。

まず、通信部３１０は、イメージ自動分類システムに関連した各種情報を送受信できる。例えば、通信部３１０は、イメージ自動分類サーバ２００が生成した最終提供情報を受信でき、モバイルショッピングモールを利用するための関連データを送受信できる。

このような通信部３１０は、移動通信のための技術標準または通信方式（例えば、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉ Ａｃｃｅｓｓ）、ＨＳＤＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｄｏｗｎｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＨＳＵＰＡ（Ｈｉｇｈ Ｓｐｅｅｄ Ｕｐｌｉｎｋ Ｐａｃｋｅｔ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）、ＬＴＥ－Ａ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ－Ａｄｖａｎｃｅｄ）等）によって構築された移動通信網上で基地局、外部の端末、任意のサーバのうち、少なくとも１つと無線信号を送受信できる。

次に、入力部３２０は、イメージ自動分類システムと関連したユーザの入力を検知できる。例えば、入力部３２０は、最終提供情報で提供するインターフェースと関連したユーザの入力を検知できる。

詳細には、入力部３２０は、ユーザがメインショットを選択する入力を検知すれば、選択されたメインショットと同一のカテゴリに分類されたサブショットを追加的に画面に表示させることができる。

次に、ディスプレイ部３３０は、イメージ自動分類システムと関連したグラフィックイメージを出力できる。

例えば、ディスプレイ部３３０は、最終提供情報及び／又はモバイルショッピングモールをグラフィックイメージで出力して提供することができる。

このようなディスプレイは、液晶ディスプレイ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＬＣＤ）、薄膜トランジスタ液晶ディスプレイ（ｔｈｉｎ ｆｉｌｍ ｔｒａｎｓｉｓｔｏｒ－ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ、ＴＦＴ ＬＣＤ）、有機発光ダイオード（ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ、ＯＬＥＤ）、フレキシブルディスプレイ（ｆｌｅｘｉｂｌｅ ｄｉｓｐｌａｙ）、３次元ディスプレイ（３Ｄ ｄｉｓｐｌａｙ）、電子インキディスプレイ（ｅ－ｉｎｋ ｄｉｓｐｌａｙ）のうち、少なくとも１つを含むことができる。

そして、入力部３２０及びディスプレイ部３３０が接続されてタッチスクリーンとして実現されることができる。

次に、メモリ３４０は、イメージ自動分類システムと関連した各種応用プログラム、データ、及び命令語のうち、いずれか１つ以上を格納することができる。例えば、メモリ３４０は、最終提供情報を活用したモバイルショッピングモールを実行できるアプリケーションなどを格納することができる。

このようなメモリ３４０は、ＲＯＭ、ＲＡＭ、ＥＰＲＯＭ、フラッシュドライブ、ハードドライブなどのような様々な格納機器でありうるし、インターネット（ｉｎｔｅｒｎｅｔ）上でメモリ３４０の格納機能を行うウェブストレージ（ｗｅｂ ｓｔｏｒａｇｅ）でありうる。

最後に、プロセッサ３５０は、前述した各構成要素の全般的な動作を制御し、駆動することができる。

このようなプロセッサ３５０は、ＡＳＩＣｓ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔｓ）、ＤＳＰｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒｓ）、ＤＳＰＤｓ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｄｅｖｉｃｅｓ）、ＰＬＤｓ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｄｅｖｉｃｅｓ）、ＦＰＧＡｓ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙｓ）、制御機（ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロコントローラ（ｍｉｃｒｏ－ｃｏｎｔｒｏｌｌｅｒｓ）、マイクロプロセッサ（ｍｉｃｒｏｐｒｏｃｅｓｓｏｒｓ）、その他の機能実行のための電気的ユニットのうち、少なくとも１つを用いて実現されることができる。

＜イメージ自動分類方法＞
以下、イメージ自動分類方法についての詳細な説明に先立ち、本発明の実施形態では、より効果的な説明のためにウェブショッピングモールに存在する多数の製品のうち、１つの製品に対するイメージ自動分類に限定して説明することができる。しかし、１つの製品に対するイメージ以外の他の製品に対するイメージ自動分類も同じ方式で並列的に行われ、結合されて、最終的には、ウェブショッピングモールに含まれた全体製品のイメージが各々分類された最終提供情報が生成され得る。

図５は、本発明の実施形態に係るイメージ自動分類方法に対するフローチャートである。図６は、本発明の実施形態に係る抽出した１つの製品の全体コンテンツを分析して分類するステップに対する細部フローチャートである。図７は、本発明の実施形態に係る抽出した１つの製品の全体コンテンツを分析して分類するステップの細部フローに対する詳細フローチャートである。

図５に示すように、イメージ自動分類サーバ２００は、ウェブショッピングモールアドレスを介してショッピングモールサーバ１００に接続することができ、接続したショッピングモールサーバ１００から複数の製品の全体コンテンツ（Ｃｏｎｔｅｎｔｓ）を抽出して格納することができる（ステップＳ１０１、ステップＳ１０２）。

これにより、イメージ自動分類サーバ２００は、イメージ自動分類の対象になる製品の全体コンテンツを抽出してイメージ自動分類の基盤データを取得できる。

このとき、製品の全体コンテンツとは、ウェブショッピングモール上に製品を掲示するために使用する製品と関連した製品イメージ及び／又はテキストなどを包括する製品を説明するための全てのコンテンツの集合を意味する。

ここで、本発明の実施形態では、イメージ自動分類サーバ２００がショッピングモールサーバ１００に接続して製品の全体コンテンツを抽出して利用すると説明するが、ショッピングモールサーバ１００が製品の全体コンテンツをイメージ自動分類サーバ２００に送信するなどの様々な実施形態も可能であろう。

次に、複数の製品の全体コンテンツを抽出して格納したイメージ自動分類サーバ２００は、抽出した複数の製品の全体コンテンツのうち、任意の１つの製品の全体コンテンツを分類できる（ステップＳ１０３）。

より詳細には、図６～図７に示すように、イメージ自動分類サーバ２００は、１つの製品を説明するための１つの製品の全体コンテンツで１つの製品イメージが検知されれば、これを抽出及び分離して、複数の製品イメージを取得できる（ステップＳ２０１、ステップＳ２０２）。

すなわち、イメージ自動分類サーバ２００は、製品イメージの各々に対してイメージ分類を行うために、種々の製品イメージとテキストがランダムに並べられた製品の全体コンテンツでそれぞれの製品イメージを分離して抽出することができる。

例えば、イメージ自動分類サーバ２００は、複数の製品コンテンツが連結された製品の全体コンテンツで製品イメージのみを分離するために、製品イメージ間に配置されたテキスト及び／又は空白有無などを基準にそれぞれの製品イメージを分離できる。

これにより、イメージ自動分類サーバ２００は、検知された製品イメージ間のテキスト及び／又は空白があると判断する場合、連結された製品コンテンツを分離できる。他の実施形態において、イメージ自動分類サーバ２００がスクリプト形式で製品の全体コンテンツを受信すれば、スクリプト形式でイメージを表す拡張子ファイルのみを抽出して、製品イメージを分離することもできる。

続いて、イメージ自動分類サーバ２００は、取得した複数の製品イメージに基づいて製品情報を取得できる。（ステップＳ２０３）

詳細には、イメージ自動分類サーバ２００は、取得した複数の製品イメージに基づいてイメージディープラーニングを行って製品情報を取得できる。

このとき、製品情報は、上衣、下衣、及び／又はワンピースなどのように、各製品の属したカテゴリに関する情報でありうる。

実施形態として、イメージ自動分類サーバ２００は、少なくとも１つの製品イメージに基づいてイメージディープラーニングを行って製品の種類が「上衣」に該当するという製品情報を取得できる。

例えば、イメージ自動分類サーバ２００は、オブジェクトのうち、種類別の衣服オブジェクトを分類するファッションディテクタ（ｆａｓｈｉｏｎ ｄｅｔｅｃｔｏｒ）ディープラーニングニューラルネットワークを利用して製品情報を取得できる。

次に、イメージ自動分類サーバ２００は、取得した複数の製品イメージに対して第１の基準を基に第１次分類を行うことができる（ステップＳ２０４、ステップＳ３０１）。

実施形態において、イメージ自動分類サーバ２００は、製品の着用可否に対して第１の基準にて製品イメージを区分することができる。例えば、イメージ自動分類サーバ２００は、人やマネキンが製品を着用した状況を撮影した製品イメージと、製品だけが配置されて撮影した製品イメージを分類できる。

イメージ自動分類サーバ２００は、着用ショットと製品ショットとを区分するために、製品イメージにおけるポーズ（Ｐｏｓｅ）有無を検出できる。

詳細には、イメージ自動分類サーバ２００は、製品イメージにおけるポーズ可否を検出するために、ポーズ認識器を介してのイメージディープラーニングを利用できる。このとき、ポーズ認識器とは、ルール（Ｒｕｌｅ）方式でポーズの有無を判断するアルゴリズムであって、予め設定された規則及び／又は基準にしたがってポーズ有無を判断できる。

詳細には、ポーズ認識器は、製品イメージでキーポイント（Ｋｅｙ ｐｏｉｎｔ、例えば、関節など）が抽出されるか否かによって、製品イメージにおけるポーズの有無を検出できる。ここで、ポーズ別キーポイントは、人のポーズが含まれたイメージをディープラーニングするときに表す特徴ベクトルのパターンを意味する。

そして、ポーズ認識器は、キーポイントがある場合、ポーズがあると判断して、ポーズを含む製品イメージを着用ショットに分類し、キーポイントがない場合、ポーズがないと判断して製品ショットに分類することができる。

例えば、ポーズ認識器は、製品イメージをコンボリューションレイヤ（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｌａｙｅｒ）、整流された線形ユニット関数及びマックスプーリング（ｍａｘ ｐｏｏｌｉｎｇ ｌａｙｅｒ）を含むコンボリューションニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）に入力して出力として製品イメージに対する特徴ベクトルを取得できる。このようなコンボリューションニューラルネットワークは、物体の認識、区別など、コンピュータビジョン問題を解決するのに優れた性能を見せ、ポーズ認識及びポーズ分類に最適化されたイメージディープラーニングアルゴリズムでありうる。

その後、ポーズ認識器は、キーポイントと比較して、所定の類似度以上であれば、検出されたキーポイントに対するポーズがあることと判断することができる。

例えば、ポーズ認識器は、最終出力端に完全連結層（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ｌａｙｅｒ）を配置して、製品イメージに対する特徴ベクトルのポーズ有無を判別できる。まとめると、イメージディープラーニングの１つの種類であるポーズ認識器を利用してポーズ有無を判断したイメージ自動分類サーバ２００は、ポーズが存在すると判断された製品イメージを着用ショットカテゴリ（以下、着用ショット）に分類することができ、ポーズが存在しないと判断された製品イメージを製品ショットカテゴリ（以下、製品ショット）に分類することができる第１次分類を行うことができる。

次に、イメージ自動分類サーバ２００は、第１次分類された製品イメージに対して第２の基準を基に第２次分類することができる（ステップＳ２０５、ステップＳ３０２、ステップＳ３０３）。

ここで、イメージ自動分類サーバ２００は、第１次分類されたイメージが着用ショットの場合と製品ショットの場合とによって異なる分類基準を利用して第２次分類を行うことができる。

まず、第１次分類されたイメージが着用ショットの場合、イメージ自動分類サーバ２００は、第２次分類のために、着用ショットにおけるポーズ形態を基準に利用することができる。

このとき、イメージ自動分類サーバ２００は、ポーズ形態によって正面を表すポーズイメージ（以下、正面ショット）、背面を表すポーズイメージ（以下、背面ショット）、全身を表すポーズイメージ（以下、全身ショット）、クローズアップ（Ｃｌｏｓｅ－ｕｐ）されたポーズイメージ（以下、クローズアップショット）、立っているポーズイメージ（以下、スタンド（Ｓｔａｎｄ）ショット）、及び／又はその他のポーズイメージ（以下、その他のポーズショット）のうち、少なくとも１つのカテゴリに属するイメージに分類することができる。

また、イメージ自動分類サーバ２００は、着用ショットにおけるポーズ形態を判断するために、イメージディープラーニングのうち、着用ショット認識器アルゴリズムを利用できる。

このとき、着用ショット認識器とは、ルール方式で製品イメージに属する人（または、マネキン）のポーズの形態を判断するアルゴリズムであって、予め設定された規則及び／又は基準にしたがってポーズ形態を判断できる。

詳細には、着用ショット認識器は、着用ショットを、１）背面ショット可否、２）全身ショット可否、及び３）スタンドショット可否のうち、少なくともいずれか１つ以上を基準として、１次分類された着用ショットを２次分類することができる。

より詳細には、着用ショット認識器は、１）背面ショット可否、２）全身ショット可否、及び３）スタンドショット可否を順次適用して、先に、１次分類された着用ショットにおいて背面ショット可否を分類基準として背面ショットを分類し、背面ショットでない残りの製品イメージに全身ショット可否を分類基準として適用して全身ショットを分類し、全身ショットでない残りの製品イメージを、スタンドショットを、分類基準として適用してスタンドショットに分類することができる。このような順序で着用ショットを分類する場合、イメージディープラーニング速度が向上し、正確度も向上させることができる。

例えば、着用ショット認識器は、コンボリューションニューラルネットワークを介して出力された特徴ベクトルを各々背面ショット、全身ショット、及びスタンドショットと学習された完全連結層に順次入力して、背面ショットと全身ショット及びスタンドショットを区分できる。

詳細には、背面ショットイメージと学習された完全連結層に特徴ベクトルを入力して、所定の確率以上であれば背面ショットに分類し、所定の確率未満であれば次の全身ショットと学習された完全連結層に入力して全身ショット可否を判定できる。このような方式で、全身ショットとスタンドショットとを区分することにより、着用ショットをポーズ形態によって区分することができる。

まとめると、着用ショット認識器を利用してポーズ形態を判断したイメージ自動分類サーバ２００は、着用ショットが背面ショットであると判断された場合、背面ショットカテゴリ（以下、背面ショット）に分類することができ、着用ショットが背面ショットでないと判断された場合、正面ショットカテゴリ（以下、正面ショット）に分類することができる第２次分類を行うことができる。

また、イメージ自動分類サーバ２００は、正面ショットが全身ショットであると判断された場合、全身ショットカテゴリ（以下、全身ショット）に分類することができ、正面ショットが全身ショットでないと判断された場合、クローズアップショットカテゴリ（以下、クローズアップショット）に分類することができる第２次分類を行うことができる。

また、イメージ自動分類サーバ２００は、全身ショットがスタンドショットであると判断された場合、スタンドショットカテゴリ（以下、スタンドショット）に分類することができ、全身ショットがスタンドショットでないと判断された場合、その他のポーズショットカテゴリ（以下、その他のポーズショット）に分類することができる第２次分類を行うことができる。

例えば、イメージ自動分類サーバ２００は、着用ショットであると判断された１つの製品イメージが正面ショット、全身ショット、及びスタンドショットであると判断された場合に、１つの製品イメージをスタンドショットに分類することができる。また、イメージ自動分類サーバ２００は、着用ショットであると判断された１つの製品イメージが正面ショットと全身ショットであると判断され、スタンドショットでないと判断された場合に、１つの製品イメージをその他のポーズショットに分類することができる。

一方、第１次分類されたイメージが製品ショットの場合、イメージ自動分類サーバ２００は、第２次分類のために、製品ショットがディテールショットであるか否かを基準に製品ショットを分類することができる。詳細には、コンボリューションニューラルネットワークから出力された特徴ベクトルでキーポイントが検出されなければ、製品イメージを製品ショットに区分することができる。

その後、製品ショットを製品全体ショットであるか、ディテールショットであるかの可否と、全体ショットの場合には、ビューポイントによって追加分類することができる。このような分類方式は、ポーズ認識と類似した方式で学習された製品ショット認識器を介してなされることができる。

すなわち、製品ショット認識器もコンボリューションニューラルネットワークを利用し、コンボリューションニューラルネットワークは、ディテールショットと全体ショット、ビューポイント別製品ショットによって学習されたネットワークでありうる。

このとき、ディテールショットとは、製品の一部分をクローズアップして撮影したイメージを意味する。

また、イメージ自動分類サーバ２００は、製品ショットにおけるディテールショット可否を判断するために、製品ショット認識器及び／又はイメージディープラーニングを利用できる。

このとき、製品ショット認識器とは、ルール方式でポーズの形態を判断するアルゴリズムであって、予め設定された規則及び／又は基準にしたがってディテールショット可否を判断できる。

そして、第２次分類の基準は、製品ショットにおける製品に対する全体形態が認識可能であるか否かでありうる。

また、着用ショット認識器を介してポーズ形態を判断したイメージ自動分類サーバ２００は、製品ショットがディテールショットであると判断された場合に、製品ショットをディテールショットカテゴリ（以下、ディテールショット）に分類することができる第２次分類を行うことができる。

加えて、イメージ自動分類サーバ２００は、製品ショットがディテールショットでないと判断された製品ショットに対して、製品ショットにおける製品を眺めた時点であるビューポイント（Ｖｉｅｗｐｏｉｎｔ）を基準に第２次分類することができる。このとき、イメージ自動分類サーバ２００は、製品ショットにおけるビューポイントを判断するために、製品ショット認識器を使用できる。

ここで、製品ショット認識器は、第２次分類において、製品を眺めた時点が正面側、背面側、上面側、下面側、左面側、または右面側であるか否かを判断できる。

また、製品ショット認識器を利用してビューポイントを判断したイメージ自動分類サーバ２００は、製品ショットにおける製品を眺めた時点が正面側、後面側、上面側、下面側、左面側、または右面側等の様々な時点のうち、少なくともいずれか１つの時点であると判断し、製品ショットをビューポイントによって分類することができる第２次分類を行うことができる。

実施形態として、イメージ自動分類サーバ２００は、製品ショットであると判断された１つの製品イメージにおける製品を眺めた時点が正面側であると判断された場合、１つの製品イメージを正面側ショットカテゴリ（以下、正面側ショット）に分類することができる。

また、イメージ自動分類サーバ２００は、製品ショットであると判断された他の１つの製品イメージにおける製品を眺めた時点が左面側であると判断された場合、１つの製品イメージを左面側ショットカテゴリ（以下、左面側ショット）に分類することができる。

以上、前述した実施形態では、イメージ自動分類サーバ２００が製品イメージを分類するために、製品情報、着用可否、ポーズ有無、ポーズ形態、及び／又はビューポイントなどの基準を利用すると説明したが、通常の技術者が実施できる範囲内で様々な実施形態が可能であろう。

次に、イメージ自動分類サーバ２００は、第２次分類されたイメージに対して第３の基準を基に最終分類を行うことができ、最終分類を介して最終分類された製品イメージを取得できる（ステップＳ２０６、ステップＳ３０４）。

そして、イメージ自動分類サーバ２００は、最終分類を介してメイン（Ｍａｉｎ）ショットとサブ（Ｓｕｂ）ショットとを分類できる。

ここで、メインショットとは、製品イメージを分類した各カテゴリにおいて当該カテゴリを最も代表できるＡカットイメージを意味する。

また、サブショットとは、製品イメージを分類した各カテゴリでメインショットを除いた残りのＢカットイメージを意味する。

さらに戻ってきて、イメージ自動分類サーバ２００は、最終分類のために、第２次分類されたイメージにおけるメインショットとサブショットとを分ける基準は、製品露出領域の大きさ及び／又は１つのカテゴリに製品イメージが適用される確率でありうる。ここで、製品露出領域の大きさとは、製品イメージで製品が占める領域の大きさを意味する。また、１つのカテゴリに製品イメージが適用される確率は、製品イメージがカテゴリの分類基準に符合する程度を意味する。

詳細には、イメージ自動分類サーバ２００は、第２次分類されたイメージでの製品露出領域の大きさが大きいほどメインショットに分類することができ、第２次分類されたイメージが分類されて属したカテゴリの第２次分類されたイメージに対する適用確率が大きいほどメインショットに分類することができる。

実施形態として、第２次分類されたイメージが着用ショットの場合、イメージ自動分類サーバ２００は、特定カテゴリに第２次分類された着用ショットである１つの製品イメージの製品露出領域の大きさが特定カテゴリと同一のカテゴリに第２次分類された他の製品イメージの製品露出領域の大きさに比べて大きいか判断することができる。

そして、イメージ自動分類サーバ２００は、着用ショットである１つの製品イメージの製品露出領域の大きさが他の製品イメージの製品露出領域の大きさに比べて最も大きい場合、１つの製品イメージをメインショットに分類することができる。

また、イメージ自動分類サーバ２００は、特定カテゴリに第２次分類された着用ショットである１つの製品イメージが特定カテゴリと同一のカテゴリに第２次分類された他の製品イメージに比べて特定カテゴリの分類基準にさらに符合する場合、１つの製品イメージをメインショットに分類する最終分類を行うことができる。

続いて、イメージ自動分類サーバ２００は、各カテゴリ別に分類されたメインショットを除いた残りの第２次分類されたイメージをサブショットに分類することができる最終分類を行うことができる。

他の実施形態として、第２次分類されたイメージが製品ショットの場合、イメージ自動分類サーバ２００は、特定カテゴリに第２次分類された製品ショットである１つの製品イメージの製品露出領域の大きさが特定カテゴリと同一のカテゴリに第２次分類された他の製品イメージの製品露出領域の大きさに比べて大きいか判断することができる。

そして、イメージ自動分類サーバ２００は、製品ショットである１つの製品イメージの製品露出領域の大きさが他の製品イメージの製品露出領域の大きさに比べて最も大きい場合、製品ショットである１つの製品イメージをメインショットに分類する最終分類を行うことができる。

また、イメージ自動分類サーバ２００は、特定カテゴリに第２次分類された製品ショットである１つの製品イメージが特定カテゴリと同一のカテゴリに第２次分類された他の製品イメージに比べて特定カテゴリの分類基準にさらに符合する場合、製品ショットである１つの製品イメージをメインショットに分類する最終分類を行うことができる。

続いて、イメージ自動分類サーバ２００は、各カテゴリ別に分類されたメインショットを除いた残りの第２次分類されたイメージをサブショットに分類することができる最終分類を行うことができる。

このとき、実施形態では、イメージ自動分類サーバ２００が第２次分類された製品ショットに対して製品露出領域の大きさ及び／又は製品イメージが分類されて属したカテゴリの製品イメージに対する適用確率の程度を利用して最終分類をすると説明したが、他の実施形態では、第２次分類された製品ショットに対して製品露出領域の大きさが最も大きいと判断される特定時点のショット（例えば、正面側ショット）を予め設定し、予め設定された特定時点のショットをメインショットに分類する最終分類を行うこともできるなど、様々な実施形態が可能であろう。

また、イメージ自動分類サーバ２００は、前述したような抽出した製品イメージを分析して分類する機能を図８のような画面で提供することもできる。

これにより、本発明の実施形態は、ウェブショッピングモール上にランダムに並べられた様々な製品イメージを本発明の実施形態での様々な基準にしたがってモバイルショッピングモールで使用するのに適した優先順位順序で自動分類することにより、製品イメージを迅速かつ便利に分類することができ、ＰＣに比べて小さいディスプレイを有したモバイル環境で製品イメージをユーザにさらに効果的に伝達することができる。

さらに、図５についての説明に戻り、任意の１つの製品の全体コンテンツを分析して分類を完了したイメージ自動分類サーバ２００は、他の製品の全体コンテンツを分析して分類することができる。（ステップＳ１０４）

詳細には、イメージ自動分類サーバ２００は、他の製品の全体コンテンツに対して前述した１つの製品の全体コンテンツの分類方法と同様の方式でイメージ自動分類を行うことができる。

このとき、他の製品の全体コンテンツとは、ウェブショッピングモールで抽出された複数の製品の全体コンテンツのうち、任意の１つに選定された１つの製品の全体コンテンツ以外の残りの製品の全体コンテンツの各々を意味できる。また、イメージ自動分類サーバ２００は、他の製品の全体コンテンツに対するイメージ自動分類を介して最終分類された製品イメージを１つの製品の全体コンテンツのように取得することができる。ここで、本発明の実施形態では、１つの製品の全体コンテンツに対するイメージ自動分類を行った後、他の製品の全体コンテンツに対するイメージ自動分類を行って最終分類された製品イメージを取得すると説明したが、これに限定されない。他の実施形態では、ウェブショッピングモールに掲示された全ての製品の全体コンテンツに対して一括的にイメージ自動分類を行った後、最終分類された製品イメージを取得するなどの様々な実施形態が可能である。

次に、イメージ自動分類サーバ２００は、取得した最終分類された製品イメージを再構成して最終提供情報を生成できる（ステップＳ１０５）。

詳細には、イメージ自動分類サーバ２００は、１つの製品の全体コンテンツ及び／又は他の製品の全体コンテンツにおけるイメージ自動分類を介して取得した最終分類された製品イメージに基づいて最終提供情報を生成できる。

このとき、イメージ自動分類サーバ２００は、最終分類された製品イメージを分類カテゴリによって区分が容易なように再構成して最終提供情報を生成でき、最終提供情報を効果的に活用できるインターフェースをさらに含んで提供することができる。

詳細には、図９に示すように、イメージ自動分類サーバ２００は、最終提供情報を介してユーザに各製品別の製品情報、各カテゴリ別の名前及び／又は各製品とカテゴリ別のメインショットなどを先に提供することができる。

詳細には、全体最終提供情報は、各製品に対する最終提供情報が順次並べられた形態でありうる。そして、各製品の最終提供情報は、製品別の製品情報に該当する製品イメージのメインショットがカテゴリ別に順次並べられた形態でありうる。すなわち、最終提供情報は、一行には１つの製品の製品情報とカテゴリ別のメインショットが順次並べられることができ、このような各製品を表す行が一列に並べられた形態で構成されることができる。また、イメージ自動分類サーバ２００は、ユーザから各製品とカテゴリ別のメインショットを選択する入力を受ける場合、メインショットの分類カテゴリに属した残りのサブショットを追加的に一括表示するインターフェースを提供できる。

実施形態として、イメージ自動分類サーバ２００は、ユーザから第１の製品のその他のポーズショットのメインショットを選択する入力を受けた場合、第１の製品のその他のポーズショットに属するサブショットを、ポップアップウィンドウを介して画面に露出することができる。

このとき、イメージ自動分類サーバ２００は、サブショットの露出順序をサブショットに属する各サブショットにおける製品露出領域の大きさが大きいほど、優先的に配置して表示することができ、他の実施形態では、サブショットをランダムな順序で配置して表示することもできる。

これにより、本発明の実施形態は、ウェブショッピングモールのような方式でモバイルショッピングモールに製品イメージを並べる場合に発生し得る不便さを効果的に解決でき、ＰＣに比べて小さいモバイルディスプレイで製品イメージをランダムに表示するものでない、製品別のメインショットを自動分類し、整理して露出することにより、モバイル環境に適した製品イメージディスプレイを容易にすることができる。

また、本発明の実施形態は、イメージ自動分類を介して生成した最終提供情報を活用できるインターフェースを提供することにより、ユーザをして自動分類されたイメージを便利に確認させることができる。

次に、イメージ自動分類サーバ２００は、生成した最終提供情報をショッピングモールサーバ１００及び／又は端末３００に送信することができる。（ステップＳ１０６）

詳細には、イメージ自動分類サーバ２００は、最終提供情報をＪｓｏｎ（ＪａｖａＳｃｒｉｐｔ（登録商標） Ｏｂｊｅｃｔ Ｎｏｔａｔｉｏｎ）ファイル形式で生成することがき、Ｊｓｏｎファイル形式で生成した最終提供情報をショッピングモールサーバ１００及び／又は端末３００に送信することができる。

このように、イメージ自動分類サーバ２００は、膨大な量のデータを送受信するのに適したＪｓｏｎファイル形式を使用することにより、さらに軽量化されたデータフォーマット技術をつなぎ合わせたデータ送信をすることができ、生成した最終提供情報をより円滑にショッピングモールサーバ１００及び／又は端末３００に送信することができる。

前述したように、本発明の実施形態に係るイメージ自動分類方法及びシステムは、ウェブショッピングモール上にランダムに並べられた様々な製品イメージをモバイルショッピングモールで使用するのに適するように自動分類して提供することにより、製品イメージを迅速かつ便利に分類させ、ＰＣに比べて小さいディスプレイを有したモバイル環境で製品イメージがユーザにさらに効果的に伝達されるようにすることができる。

すなわち、管理者は、最終提供情報を介して製品別、カテゴリ別、メインショットを一目で確認可能であり、必要なメインショットとサブショットとを容易にインターフェースとして抽出することができ、抽出されたイメージを介してモバイルショッピングモールを構築することにより、管理者の便宜を向上させることができる。

また、本発明の実施形態に係るイメージ自動分類方法及びシステムは、自動分類した情報をインターフェースとして再構成し提供することにより、ユーザをして自動分類されたイメージを便利に確認させることができる。

以上説明された本発明に係る実施形態は、様々なコンピュータ構成要素を介して実行され得るプログラム命令語の形態で実現されて、コンピュータ読み取り可能な記録媒体に記録されることができる。コンピュータ読み取り可能な記録媒体は、プログラム命令語、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。コンピュータ読み取り可能な記録媒体に記録されるプログラム命令語は、本発明のために特別に設計され、構成されたものであるか、コンピュータソフトウェア分野の当業者に公知されて使用可能なものでありうる。コンピュータ読み取り可能な記録媒体の例には、ハードディスク、フロッピーディスク、及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ及びＤＶＤのような光気録媒体、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気－光媒体（ｍａｇｎｅｔｏ－ｏｐｔｉｃａｌ ｍｅｄｉｕｍ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリ１４０などのような、プログラム命令語を保存し、実行するように特別に構成されたハードウェア装置が含まれる。プログラム命令語の例には、コンパイラによって作られるような機械語コードだけでなく、インタプリタなどを使用してコンピュータにより実行され得る高級言語コードも含まれる。ハードウェア装置は、本発明に係る処理を行うために、１つ以上のソフトウェアモジュールに変更されることができ、その反対も同様である。

本発明において説明する特定実行等は、一実施形態であって、いかなる方法でも本発明の範囲を限定するものではない。明細書の簡潔さのために、従来の電子的な構成、制御システム、ソフトウェア、システムの他の機能的な側面等の記載は省略されることができる。また、図面に図示された構成要素間の線等の接続または接続部材などは、機能的な接続及び／又は物理的または回路的接続を例示的に表したものであって、実際装置では、代替可能であるか、追加の様々な機能的な接続、物理的な接続、または回路接続として表されることができる。また、「必須な」、「重要に」などのように、具体的な言及がなければ、本発明の適用のために必ず必要な構成要素でない場合がある。

また、説明した本発明の詳細な説明では、本発明の好ましい実施形態を参照して説明したが、当該技術分野の熟練された当業者または当該技術分野における通常の知識を有する者であれば、後述する特許請求の範囲に記載された本発明の思想及び技術領域から逸脱しない範囲内で本発明を様々に修正及び変更させることができることが理解できるであろう。したがって、本発明の技術的範囲は、明細書の詳細な説明に記載された内容に限定されるものではなく、特許請求の範囲により決められなければならないであろう。

１００：ショッピングモールサーバ、１１０：データ送受信部、１２０：データ格納部、１４０：フラッシュメモリ、２００：イメージ自動分類サーバ、２１０：データ収集部、２２０：データ分類部、２３０：最終提供情報生成部、２４０：データベース、２５０：データ配布部、３００：端末、３１０：通信部、３２０：入力部、３３０：ディスプレイ部、３４０：メモリ、３５０：プロセッサ

Claims (17)

1. イメージ自動分類サーバのプロセッサで行うイメージ自動分類方法であって、
   ウェブショッピングモールから複数の製品の全体コンテンツを取得し、
   前記取得した複数の製品の全体コンテンツでそれぞれの製品別の全体コンテンツを分類して格納し、
   １つの製品の全体コンテンツで複数の製品イメージを抽出し、
   前記抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成すること、
   を含み、
   前記最終提供情報は、
   前記１つの製品に対する複数の製品イメージを複数のカテゴリ別に分類して、各分類された製品イメージを選択可能なように提供する情報であるイメージ自動分類方法。
2. 前記１つの製品の全体コンテンツに基づいて前記１つの製品の製品情報を取得することをさらに含み、
   前記製品情報は、
   前記１つの製品が上衣、下衣、及びワンピースのうち、いずれか１つの製品種類のカテゴリに属するかを表す情報を含む請求項１に記載のイメージ自動分類方法。
3. 前記１つの製品の全体コンテンツで複数の製品イメージを抽出することは、
   隣接した製品イメージ間のテキストまたは空白の有無に基づいて、前記隣接した製品イメージをそれぞれの製品イメージに分離することを含む請求項１に記載のイメージ自動分類方法。
4. 前記抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、
   前記製品イメージを、製品着用可否を基準に着用ショット及び製品ショットのうち、少なくともいずれか１つのカテゴリに第１次分類することを含む請求項１に記載のイメージ自動分類方法。
5. 前記製品着用可否を基準に着用ショット及び製品ショットのうち、少なくともいずれか１つのカテゴリに第１次分類することは、
   ポーズの有無によるキーポイントを特徴ベクトルとして出力するように学習されたコンボリューションニューラルネットワークを介して前記第１次分類が行われることを含む請求項４に記載のイメージ自動分類方法。
6. 前記コンボリューションニューラルネットワークは、複数のコンボリューションレイヤと整流された線形ユニット関数フィルタを介して前記製品イメージの特徴ベクトルを出力し、前記特徴ベクトルと前記キーポイントとの類似度に応じて前記製品ショットと前記着用ショットとを区分する請求項５に記載のイメージ自動分類方法。
7. 前記第１次分類することは、
   前記製品イメージ内にポーズ特徴があれば、着用ショットカテゴリに分類し、残りの製品イメージは、製品ショットカテゴリに分類することである請求項６に記載のイメージ自動分類方法。
8. 前記抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、
   前記第１次分類されたイメージが前記着用ショットの場合、前記着用ショットを、ポーズ形態を基準に正面ショット、背面ショット、全身ショット、クローズアップショット、スタンドショット、またはその他のポーズショットのうち、少なくともいずれか１つのカテゴリに第２次分類することを含む請求項７に記載のイメージ自動分類方法。
9. 前記第２次分類することは、
   前記着用ショットで背面ショットを検出し、
   前記背面ショットを除いた正面ショットで全身ショットを検出した後、残りの正面ショットをクローズアップショットに分類し、
   前記全身ショットをスタンドショットとその他のポーズショットに分類すること、
   を含む請求項８に記載のイメージ自動分類方法。
10. 前記コンボリューションニューラルネットワークは、前記正面ショット及び背面ショットと学習された完全連結層をさらに備え、
    前記特徴ベクトルを前記正面ショットと学習された完全連結層に入力して、前記正面ショットであるか否かを決定し、前記製品イメージが正面ショットでなければ、前記背面ショットと学習された完全連結層に前記製品イメージを入力して背面ショットであるか否かを決定する請求項９に記載のイメージ自動分類方法。
11. 前記抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、
    前記第１次分類されたイメージが前記製品ショットの場合、
    前記製品ショットを、ビューポイントを基準に正面側ショット、背面側ショット、上面側ショット、下面側ショット、左面側ショット、または右面側ショットのうち、いずれか１つのカテゴリに第２次分類することを含む請求項９に記載のイメージ自動分類方法。
12. 前記製品ショットで前記１つの製品のディテールを撮影したディテールショットを分類することをさらに含む請求項１１に記載のイメージ自動分類方法。
13. 前記抽出された複数の製品イメージを少なくとも１回以上自動分類して１つの製品に対する最終提供情報を生成することは、
    前記第２次分類されたイメージを前記第２次分類されたカテゴリのメインショットと残りのサブショットとに最終分類することをさらに含む請求項１１に記載のイメージ自動分類方法。
14. 前記メインショットと前記サブショットとを最終分類する基準は、
    前記製品イメージで製品が露出された領域の大きさまたは前記製品イメージが第２次分類されて属したカテゴリに適用される確率である請求項１３に記載のイメージ自動分類方法。
15. 前記最終提供情報は、
    各製品別の製品情報、前記第２次分類によるカテゴリ別の名前、及び前記第２次分類されたカテゴリのメインショットを出力する情報である請求項１４に記載のイメージ自動分類方法。
16. 前記最終提供情報は、
    １つのカテゴリのメインショットを選択する入力を受けると、前記１つのカテゴリに属した残りの前記サブショットを追加的に一括表示するインターフェースを含む請求項１５に記載のイメージ自動分類方法。
17. 前記最終提供情報をユーザにＪｓｏｎ形式のファイルで生成して送信することをさらに含む請求項１３に記載のイメージ自動分類方法。

Images