JP6958885B1 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

情報処理装置、情報処理方法、及びプログラム Download PDF

Info

Publication number
JP6958885B1
JP6958885B1 JP2021531262A JP2021531262A JP6958885B1 JP 6958885 B1 JP6958885 B1 JP 6958885B1 JP 2021531262 A JP2021531262 A JP 2021531262A JP 2021531262 A JP2021531262 A JP 2021531262A JP 6958885 B1 JP6958885 B1 JP 6958885B1
Authority
JP
Japan
Prior art keywords
data
garment
manufacturing
modeling
clothes
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021531262A
Other languages
English (en)
Other versions
JPWO2022249442A1 (ja
Inventor
英弟 謝
彦鵬 張
夢▲せん▼ 許
洪騰 許
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
VRC Inc
Original Assignee
VRC Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by VRC Inc filed Critical VRC Inc
Application granted granted Critical
Publication of JP6958885B1 publication Critical patent/JP6958885B1/ja
Publication of JPWO2022249442A1 publication Critical patent/JPWO2022249442A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02PCLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30Computing systems specially adapted for manufacturing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)

Abstract

サーバ(300)は、衣服の3Dモデリングデータ(75)を検索するための検索キーの入力を受け付ける受付手段と、検索キーに基づいて取得された、衣服を仮想的に又は現実に製造するための製造データを取得する取得手段と、取得された製造データを編集する編集手段と、製造データに基づいて生成された衣服の3Dモデルを示す3Dモデリングデータ(75)を生成する生成手段と、3Dモデリングデータ(75)及び製造データを含むレコードをデータベースに記録する記録手段とを有する。

Description

本発明は、衣服の3Dモデリングデータを生成する技術に関する。
衣服の3Dモデリングデータを利用する技術が知られている。例えば特許文献1は、3D衣服モデルを3D人物モデルに適用することを開示している。
特開2017−37637号公報
衣服の3Dモデリングデータを生成するには、衣服を3Dスキャナーでスキャンしたり、又は衣服の型紙データを入力したりする必要があった。これに対し本発明は、衣服の3Dモデリングデータを容易に生成する技術を提供する。
本開示の一態様は、衣服の3Dモデリングデータを検索するための検索情報の入力を受け付ける受付手段と、前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得する取得手段と、前記取得された製造データを編集する編集手段と、前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成する生成手段と、前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録する記録手段とを有する情報処理装置を提供する。
前記3Dモデリングデータは、前記3Dモデルを動かす要素を含んでもよい。
前記取得手段は、前記検索情報が受け付けられると、前記データベースから当該検索情報と類似する要素を含む衣服の製造データを抽出することにより当該製造データを取得し、前記記録手段は、前記編集手段により編集された製造データを含む新たなレコードを前記データベースに記録してもよい。
前記編集手段は、前記抽出された製造データを、当該製造データに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正してもよい。
この情報処理装置は、前記衣服の製造データを、当該衣服を構成する複数の部分の各々の製造データに分解する分解手段を有し、前記編集手段は、前記分解された部分を単位として前記製造データを編集してもよい。
この情報処理装置は、前記検索情報が受け付けられると、前記データベースから当該検索情報と類似する要素を含む衣服の3Dモデリングデータを抽出する抽出手段を有し、前記記録手段は、前記抽出手段により抽出された3Dモデリングデータを修正したデータを含む新たなレコードを前記データベースに記録してもよい。
前記編集手段は、前記抽出された3Dモデリングデータを、当該3Dモデリングデータに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正し、前記記録手段は、前記編集手段により修正されたデータを含む前記新たなレコードを前記データベースに記録してもよい。
前記編集手段は、前記3Dモデリングデータの修正に合わせて前記製造データを修正してもよい。
この情報処理装置は、前記衣服の製造データを、当該衣服を構成する複数の部分の各々の3Dモデリングデータに分解する分解手段を有し、前記編集手段は、前記分解された部分を単位として前記3Dモデリングデータを修正してもよい。
前記データベースが、前記衣服のノーマルマップ、スペキュラマップ、バンプマップ、及びディスプレイスメントマップの少なくとも1種を含んでもよい。
本開示の別の一態様は、衣服の3Dモデリングデータを検索するための検索情報の入力を受け付けるステップと、前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得するステップと、前記取得された製造データを編集するステップと、前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成するステップと、前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録するステップとを有する情報処理方法を提供する。
本開示のさらに別の一態様は、コンピュータに、衣服の3Dモデリングデータを検索するための検索情報の入力を受け付けるステップと、前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得するステップと、前記取得された製造データを編集するステップと、前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成するステップと、前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録するステップとを実行させるためのプログラムを提供する。
本発明によれば、衣服の3Dモデリングデータを容易に生成することができる。
第1実施形態に係る3Dデータシステムの概要の一例を示す図である。 第1実施形態に係る3Dスキャナーのハードウェア構成の一例を示す図。 第1実施形態に係るユーザ端末のハードウェア構成の一例を示す図である。 第1実施形態に係るサーバのハードウェア構成の一例を示す図である。 第1実施形態に係る3Dデータシステムの機能構成の一例を示す図である。 データベースの一例を示す図である。 修正画面の一例を示す図である。 型紙データの修正の一例を示す図である。 確認画面の一例を示す図である。 新たなレコードが記録されたデータベースの一例を示す図である。 第1実施形態に係る動作の一例を示すシーケンスチャートである。 第2実施形態に係る3Dデータシステムの概要の一例を示す図である。 第2実施形態に係るユーザ端末のハードウェア構成の一例を示す図である。 第2実施形態に係る3Dデータシステムの機能構成の一例を示す図である。 第2実施形態に係る動作の一例を示すシーケンスチャートである。 第3実施形態に係る3Dデータシステムの概要の一例を示す図である。 第3実施形態に係る動作の一例を示すシーケンスチャートである。
10、20、30:3Dデータシステム、100:3Dスキャナー、121:スキャン手段、122:送信手段、200:ユーザ端末、211:転送手段、212:受信手段、213:表示制御手段、214:修正指示手段、215:要求手段、300:サーバ、311:受付手段、312:分解手段、313:取得手段、314:送信手段、315:編集手段、316:取得手段、317:生成手段、318:記録手段、319:編集手段、400:ユーザ端末、411:撮影手段、500:製造者端末、600:製造装置
1.第1実施形態
図1は、第1実施形態に係る3Dデータシステム10の概要の一例を示す図である。3Dデータシステム10は、衣服の3Dモデリングデータを生成するサービスを提供する。この衣服とは、人等の対象が着用する物をいう。衣服には、服だけでなく、帽子、バック、手袋、靴等の対象が着用する小物が含まれてもよい。3Dモデリングデータとは3Dモデルを表すデータである。3Dモデルとは仮想空間において対象物を表す仮想オブジェクトである。3Dモデリングデータは、動きを与えるためのデータを有している。そのため、この3Dモデリングデータを用いることにより、例えば仮想的に衣服を着用する人の動きに応じて衣服に動きを付けることができる。
3Dデータシステム10は、3Dスキャナー100と、ユーザ端末200と、サーバ300とを備える。3Dスキャナー100とユーザ端末200とは、例えばアパレルメーカーに設置される。3Dスキャナー100とユーザ端末200とは、LAN(Local Area Network)等の通信ネットワーク40を介して接続されている。サーバ300は、例えば衣服の3Dモデリングデータを生成するサービスを提供する事業者により管理される。ユーザ端末200とサーバ300とは、インターネット等の通信ネットワーク50を介して接続されている。
図2は、3Dスキャナー100のハードウェア構成の一例を示す図である。3Dスキャナー100は、被写体をスキャンする装置である。被写体をスキャンするとは、被写体の外観を複数の方向から撮影し、さらに、基準位置(例えば距離センサー又はデプスセンサーの位置)から被写体の表面までの距離(又はデプス)を複数の点において計測し、外観を撮影した画像上の点と距離データ(又はデプス情報)とを対応付けることをいう。すなわち、被写体をスキャンするとは、距離データ付きの画像を撮影することをいう。3Dスキャナー100は、制御装置101と、カメラ102と、距離センサー103と、筐体104とを備える。
制御装置101は、3Dスキャナー100を制御する。制御装置101は、プロセッサ111と、メモリ112と、通信インターフェース113と、入力装置114と、ディスプレイ115と、入出力インターフェース116とを有する。これらの部位は、バス118を介して接続されている。プロセッサ111は、プログラムに従って、3Dスキャナー100の各部を制御して3Dスキャナー100の機能を実現する処理を行う。プロセッサ111には、例えばCPU(Central Processing Unit)が含まれる。なお、プロセッサ111の数は単一であってもよいし、複数であってもよい。複数のプロセッサ111が用いられる場合、これらのプロセッサ111は、同時に処理を実行してもよいし、逐次処理を実行してもよい。メモリ112は、各種のデータ及びプログラムを記憶する記憶装置である。このプログラムには、3Dスキャナー100の機能を実現するためのプログラムが含まれる。メモリ112には、メインメモリとストレージとが含まれる。メインメモリには、例えばRAM(Random Access Memory)及びROM(Read Only Memory)のうち少なくとも一つが含まれる。ストレージには、例えばHDD(Hard Disk Drive)及びSSD(Solid State Drive)のうち少なくとも一つが含まれる。通信インターフェース113は、3Dスキャナー100を通信ネットワーク40に接続するためのインターフェースである。通信インターフェース113は、通信ネットワーク40を介してユーザ端末200と所定の通信規格に従ってデータ通信を行う。通信インターフェース113には、例えばネットワークアダプタが含まれる。入力装置114は、ユーザの操作に応じた情報を入力する。入力装置114には、例えばタッチセンサ、キーボード、キーパッド、マウス、及びマイクロフォンのうち少なくとも一つが含まれる。ディスプレイ115は、各種の情報を表示する。ディスプレイ115には、例えばLCD(Liquid Crystal Display)が含まれる。ディスプレイ115は、タッチセンサと一体になってタッチスクリーンとして構成されてもよい。入出力インターフェース116は、カメラ102及び距離センサー103を接続するためのインターフェースである。
カメラ102は、光学系を用いて被写体の光の像を撮像素子上に結ばせることにより、被写体の外観の画像を撮影し、撮影した画像を示す画像データを生成する。距離センサー103は、基準位置(センサーの位置)から被写体の表面上の複数の点までの距離を測定する。距離センサー103が測定する部分とカメラ102が撮影する部分との位置関係は予め定義されている。3Dスキャナー100は、複数のカメラ102及び複数の距離センサー103を有してもよい。筐体104は、カメラ102及び距離センサー103を支持する。筐体104は、カメラ102及び距離センサー103の数及び配置に応じて、被写体とカメラ102及び距離センサー103とを相対的に回転させる機構を有してもよい。
図3は、ユーザ端末200のハードウェア構成の一例を示す図である。ユーザ端末200は、3Dモデリングデータを利用するユーザにより使用される端末装置である。ユーザとしては、例えばアパレルメーカーの社員が挙げられる。ユーザ端末200には、例えばスマートフォン、タブレット端末、及びパーソナルコンピュータが含まれる。ユーザ端末200は、プロセッサ201と、メモリ202と、通信インターフェース203と、入力装置204と、ディスプレイ205とを備える。これらの部位は、バス208を介して接続されている。プロセッサ201、メモリ202、通信インターフェース203、入力装置204、及びディスプレイ205は、それぞれ、上述したプロセッサ111、メモリ112、通信インターフェース113、入力装置114、及びディスプレイ115と同様である。ただし、メモリ202には、ユーザ端末200の機能を実現するためのプログラムが記憶される。通信インターフェース203は、ユーザ端末200を通信ネットワーク40及び50に接続するためのインターフェースである。通信インターフェース203は、通信ネットワーク40を介して3Dスキャナー100と所定の通信規格に従ってデータ通信を行う。また、通信インターフェース203は、通信ネットワーク50を介してサーバ300と所定の通信規格に従ってデータ通信を行う。
図4は、サーバ300のハードウェア構成の一例を示す図である。サーバ300は、衣服の3Dモデリングデータを管理する。サーバ300は、本開示に係る情報処理装置の一例である。サーバ300は、プロセッサ301と、メモリ302と、通信インターフェース303とを備える。これらの部位は、バス308を介して接続されている。プロセッサ301、メモリ302、及び通信インターフェース303は、それぞれ、上述したプロセッサ111、メモリ112、及び通信インターフェース113と同様である。ただし、メモリ302には、サーバ300の機能を実現するためのプログラムが記憶される。通信インターフェース303は、サーバ300を通信ネットワーク50に接続するためのインターフェースである。通信インターフェース303は、通信ネットワーク50を介してユーザ端末200と所定の通信規格に従ってデータ通信を行う。
図5は、第1実施形態に係る3Dデータシステム10の機能構成の一例を示す図である。3Dスキャナー100は、スキャン手段121と、送信手段122とを有する。3Dスキャナー100の機能は、プロセッサ111がメモリ112に記憶されたプログラムを実行することにより、プロセッサ111が演算を行い又は3Dスキャナー100の各部を制御して実現される。ユーザ端末200は、転送手段211と、受信手段212と、表示制御手段213と、編集指示手段214と、要求手段215とを有する。ユーザ端末200の機能は、プロセッサ201がメモリ202に記憶されたプログラムを実行することにより、プロセッサ201が演算を行い又はユーザ端末200の各部を制御して実現される。サーバ300は、受付手段311と、分解手段312と、取得手段313と、送信手段314と、編集手段315と、取得手段316と、生成手段317と、記録手段318とを有する。サーバ300の機能は、プロセッサ301がメモリ302に記憶されたプログラムを実行することにより、プロセッサ301が演算を行い又はサーバ300の各部を制御して実現される。
3Dスキャナー100のスキャン手段121は、現実の衣服(以下、「対象衣服」という。)をスキャンして、対象衣服の2D画像データを生成する。例えばスキャン手段121は、図1に示される衣服70の外観を360度の全方向からカメラ102で撮影する。また、スキャン手段121は、基準位置からこの衣服の表面までの距離を360度の全方向から距離センサー103で計測する。そして、スキャン手段121は、撮影した画像上の点と距離データとを対応付ける。これにより、距離データ付きの2D画像データが生成される。以下、特に断りのない限り、距離データ付きの2D画像データを単に「2D画像データ」という。スキャン手段121は、生成した2D画像データを送信手段122に供給する。送信手段122は、スキャン手段121が生成した2D画像データをユーザ端末200に送信する。
ユーザ端末200の転送手段211は、対象衣服の3Dモデリングデータの生成を要求する生成要求をユーザ端末200に送信する。生成要求は、素材データを含む。素材データは、対象衣服の3Dモデリングデータを生成するための(すなわち3Dモデリングデータの素材となる)データであり、対象衣服を構成する要素の少なくとも一部を特定する情報を含む。対象衣服を構成する要素には、例えば、衣服の外観(例えば形状及び色又は模様)、生地の特性(例えば、質感、伸縮性、剛性、及び吸湿性等)、及びその衣服の製造に関わった者(服飾デザイナー、販売者、製造工場、及び生地の販売者等)の識別情報の少なくとも一種が含まれる。素材データは、例えば3Dスキャナー100から受信した2D画像データを含む。この素材データは、データベース330から対象衣服に類似する衣服を検索するための検索クエリ(検索情報の一例)として用いられる。素材データには、3Dスキャナー100から受信した対象衣服の2D画像データが含まれる。また、入力装置204を用いたユーザの操作により対象衣服の質感、伸縮性、及び生地のうち少なくとも一つを示す属性情報が入力された場合には、素材データには、対象衣服の2D画像データに加えて、この属性情報が含まれてもよい。
サーバ300のメモリ302には、データベース330が記憶されている。
図6は、データベース330の一例を示す図である。データベース330には、予め複数のレコードが登録されている。各レコードには、衣服識別子と、2D画像データと、3Dモデリングデータと、型紙データと、属性情報とが含まれる。なお、2D画像データ、3Dモデリングデータ、及び型紙データについては、データ本体がデータベース330に格納されてもよいし、データの格納場所を示す情報だけがデータベース330に格納されてもよい。
衣服識別子は、衣服を一意に識別する情報である。2D画像データは、衣服の二次元画像を示すデータである。例えば2D画像データは、衣服を撮影して得られた画像データである。3Dモデリングデータは、3Dモデルを表すデータである。3Dモデリングデータには、ボーンと呼ばれる、3Dモデルを動かす要素が含まれる。ボーンは、3Dモデルを動かすための、動きの単位となる要素を示す。例えば3Dモデルがポリゴンにより表される場合、ポリゴンの頂点とボーンとの対応関係(いわゆるスキンウェイト)が設定される(いわゆるスキニング)。ボーンが動くと対応するポリゴンがボーンの動きに追従して動き、全体として3Dモデルが動く。ボーンデータ及びスキンウェイトは、一例においては作業者(一般ユーザではなく、訓練された専門家)が手作業で作成したものである。他の例において、ボーンデータ及びスキンウェイトは、既知の3Dモデリング技術を利用して型紙データから作成されてもよい。なお、3Dモデルを動かす要素はボーンに限定されず、例えばジョイントであってもよい。
型紙データは、衣服を製造する際に用いられるデータである。型紙データは、衣服の各パーツの形状及び大きさを示す。型紙データは、衣服を構成するパーツ毎に分けられている。すなわち、型紙データは、衣服を構成する複数の部分に区分して記録されている。このパーツには、例えば襟、前身頃、後身頃、袖、及びポケットが含まれる。型紙データは、例えば衣服を作製するアパレルメーカーから提供される。或いは、型紙データは、3Dデータシステム10の作業者が衣服を分解する等をして、手作業で作成してもよい。属性情報は、衣服の属性を示す情報である。属性情報には、例えば衣服の素材の質感及び伸縮性を示す情報が含まれる。質感は、例えば繊維の織り方又は繊維の粗密であり、素材によって変化する。また、属性情報には、衣服の生地を示す情報(例えば、生地を構成する繊維の材料を示す情報)が含まれてもよい。
図5に戻り、サーバ300の受付手段311は、ユーザ端末200から、対象衣服に類似する衣服を検索するための検索クエリの入力を受け付ける。一例において、検索クエリは対象衣服の素材データを含む。受付手段311は、本開示に係る受付手段の一例である。受付手段311は、この素材データを分解手段312又は取得手段313に供給する。
分解手段312は、受付手段311により受け付けられた検索クエリ、例えば2D画像データを、対象衣服を構成する各々の部分であるパーツに分解する。2D画像データには、衣服を構成する各パーツを特定する情報が含まれる。この分解は、例えば2D画像データに画像認識処理を施すことにより行われる。例えば図1に示される対象衣服が前身頃、後身頃、袖、及びポケットという複数のパーツから構成される場合には、対象衣服の2D画像データがこれらのパーツに分解される。分解手段312は、分解した2D画像データを取得手段313に供給する。なお、取得手段313が対象衣服のパーツを用いずに処理を行う場合には、2D画像データをパーツに分解する処理は行われなくてもよい。
取得手段313は、受付手段311により検索クエリが取得されると、この検索クエリにより示される対象衣服と類似する衣服(以下、「類似衣服」という。)の型紙データをデータベース330から抽出することにより、その型紙データを取得する。類似衣服は、対象衣服と類似する要素を有していてもよい。すなわち、取得手段313は、検索クエリにより示される要素と類似する要素を有する衣服を、類似衣服としてデータベース330から抽出してもよい。この要素には、例えば衣服の形状、色、模様、質感、伸縮性、生地、及びパーツのうち少なくとも一つが含まれる。取得手段313は、抽出した型紙データを送信手段314に供給する。
類似衣服の型紙データを抽出する方法としては、例えば検索クエリに含まれる2D画像データと、データベース330に含まれる2D画像データとを用いて、類似画像検索を行う方法がある。この方法では、データベース330に含まれる2D画像データの中から、検索クエリに含まれる2D画像データと類似するものが検索される。例えば図6に示される衣服識別子が「12345」の衣服の2D画像データが対象衣服の2D画像データと最も類似度が高い場合には、この衣服が類似衣服となり、衣服識別子が「12345」の型紙データがデータベース330から抽出される。
類似衣服の型紙データを抽出する他の方法としては、例えば対象衣服とデータベース330に登録された衣服との間で各要素の類似度をスコアリングする方法がある。この方法では、例えば要素毎に類似度が計算され、それらの類似度が合計される。対象衣服の形状、色、模様、質感、伸縮性、及び生地は、例えば検索クエリに含まれる2D画像データに画像解析を施すことにより特定される。検索クエリに質感、伸縮性、及び生地を示す属性情報が含まれる場合には、対象衣服の質感、伸縮性、及び生地は、この属性情報によって特定されてもよい。データベース330に登録されている衣服の形状、色、及び模様は、例えばデータベース330に含まれる2D画像データに画像解析を施すことにより特定されてもよいし、予めデータベース330に登録されていてもよい。データベース330に登録されている衣服の質感、伸縮性、及び生地は、データベース330に含まれる属性情報により特定される。例えば対象衣服と図6に示される衣服識別子が「12345」の衣服との類似度の合計が最も大きい場合には、この衣服が類似衣服となり、衣服識別子が「12345」の型紙データがデータベース330から抽出される。
上述した他の方法において、類似度の計算に用いられる要素は、例えばユーザの操作により指定されてもよいし、予め定められていてもよい。例えば類似度の計算に用いられる要素が質感である場合には、対象衣服の質感と類似する質感を有する素材で形成された衣服が類似衣服となる。また、上述した他の方法において、スコアリングに重み付けが行われてもよい。重み付けする要素は、例えばユーザの操作により指定されてもよいし、予め定められていてもよい。例えば色を優先する場合には、色の類似度に大きな重みが与えられる。これにより、対象衣服の色と類似する色を有する衣服が他の衣服より優先して類似衣服となる。
また、類似衣服は、全体が対象衣服と類似していなくてもよく、特定のパーツが対象衣服と類似していてもよい。特定のパーツは、例えばユーザの操作により指定されてもよいし、予め定められていてもよい。対象衣服と特定のパーツが類似する類似衣服の型紙データを抽出する場合には、分解手段312によりパーツに分解された2D画像データが用いられる。例えば特定のパーツが袖である場合において、図6に示される衣服識別子が「12345」の衣服の袖が対象衣服の袖と最も類似度が高いときは、衣服識別子が「12345」の型紙データがデータベース330から抽出される。
送信手段314は、各種のデータをユーザ端末200に送信する。ユーザ端末200に送信されるデータには、取得手段313が抽出した類似衣服の型紙データが含まれる。
ユーザ端末200の受信手段212は、サーバ300から各種のデータを受信する。このデータには、類似衣服の型紙データが含まれる。受信手段212は、受信したデータを表示制御手段213に供給する。
表示制御手段213は、受信手段212が受信したデータに基づいて各種の画面をディスプレイ205に表示させる。この画面には、類似衣服の型紙データに基づいて表示される編集画面220が含まれる。編集画面220は、型紙データの修正指示に用いられる。
図7は、編集画面220の一例を示す図である。編集画面220は、衣服を構成するパーツを単位として型紙データを修正(又は編集)する操作を受け付ける。編集画面220には、類似衣服の型紙データが含まれる。この型紙データは、衣服を構成するパーツ毎に予め分解されている。また、編集画面220には、衣服を構成するパーツの置換候補が含まれる。この置換候補には、例えばデータベース330に含まれる類似衣服以外の衣服の型紙データが用いられる。なお、編集画面220には、衣服を構成するパーツの置換候補に加えて、衣服の色、模様、形状、大きさ、質感、伸縮性、及び生地の置換候補が含まれてもよい。これらの置換候補は、パーツ毎に指定又は選択されてもよい。
なお、編集画面220に表示される類似衣服において、対象衣服との相違点が強調して表示されてもよい。この場合、サーバ300が対象衣服と類似衣服との相違点を自動的に抽出する。相違点の抽出には、例えばAI(artificial intelligence)が用いられる。この場合、対象衣服と類似衣服との複数の組み合わせにおいて、対象衣服及び類似衣服の型紙データを入力データとし、類似衣服において服飾の専門家により対象衣服との相違点として特定された部分を特定する情報を出力データとする教師データが機械学習モデルに与えられ、機械学習が行われる。こうして得られた学習済の機械学習モデルに対し、新たな対象衣服及びその類似衣服の型紙データが与えられると、両者の相違点を特定する情報が出力される。サーバ300は、抽出された相違点を特定する情報(例えば、パーツ名)を、類似衣服の型紙データと共にユーザ端末200に送信する。
ユーザは、入力装置204を用いて、編集画面220に含まれる型紙データにより示される類似衣服と対象衣服との相違点に基づいて、これらの衣服の差異が小さくなるように型紙データを修正する操作を行う。この修正する操作は、衣服を構成するパーツ毎に行われる。例えば類似衣服のポケットが対象衣服のポケットと異なる場合、ユーザは、編集画面220に含まれるポケットの置換候補の中から対象衣服のポケットと類似する置換候補を選択し、類似衣服のポケットをこの置換候補に置換する操作を行う。色、模様、形状、大きさ、質感、伸縮性、及び生地についても、同様の方法で修正されてもよい。また、形状及び大きさについては、ユーザは、編集画面220に含まれる型紙データの形状又は大きさが対象衣服の形状又は大きさに近づくように、型紙データの形状又は大きさを変更する操作を行ってもよい。
編集指示手段214は、編集画面220におけるユーザの操作に応じた型紙データの修正指示をサーバ300に送信する。例えば編集画面220において類似衣服のポケットを置換候補に置換する操作が行われた場合には、この置換を指示する修正指示が送信される。
サーバ300の編集手段315は、ユーザ端末200から修正指示を受け付けると、取得手段313が抽出した型紙データをこの修正指示に応じて修正する。具体的には、編集手段315は、型紙データに対応する衣服と検索クエリにより示される衣服との相違点に基づいて型紙データを修正する。修正指示がパーツ毎の修正を指示する場合、編集手段315は、衣服を構成するパーツを単位として型紙データを修正する。修正指示が置換候補への置換を指示する場合、編集手段315は、衣服を構成する複数のパーツのうち一部のパーツの型紙データを、他の衣服の同じパーツの型紙データである置換候補に従って修正することにより、その型紙データを編集する。編集手段315は、修正後の型紙データ(以下、「修正型紙データ」という。)を取得手段316に供給する。
図8は、型紙データの修正の一例を示す図である。例えば、類似衣服のポケットの型紙データを置換候補に置換する修正指示が受け付けられた場合、図8に示されるように、類似衣服のポケットの型紙データをこの置換候補に置換する修正が行われる。なお、ポケット以外のパーツの型紙データについて修正指示が行われていない場合、類似衣服のポケット以外のパーツの型紙データは修正されない。
取得手段316は、編集手段315により修正された修正型紙データを取得する。取得手段316は、修正型紙データを送信手段314に供給する。
送信手段314は、修正型紙データをユーザ端末200に送信する。ユーザ端末200の受信手段212は、サーバ300から修正型紙データを受信する。表示制御手段213は、修正型紙データに基づいて、修正型紙データの確認に用いられる確認画面230をディスプレイ205に表示させる。
図9は、確認画面230の一例を示す図である。確認画面230には、修正型紙データが含まれる。また、確認画面230には、決定ボタン235が含まれる。ユーザは、修正型紙データを確認し、この修正型紙データに応じた3Dモデリングデータを生成する場合には、入力装置204を用いて決定ボタン235を押す操作を行う。
要求手段215は、決定ボタン235が押されると、修正型紙データに応じた3Dモデリングデータの取得要求をサーバ300に送信する。
サーバ300の生成手段317は、ユーザ端末200から取得要求を受信すると、所定のアルゴリズムにより、修正型紙データに基づいて対象衣服の3Dモデルを示す3Dモデリングデータを生成する。この3Dモデリングデータには、3Dモデルを動かす要素であるボーンが含まれる。型紙データに基づく3Dモデリングデータの生成には、例えば既知の3Dモデリング技術が用いられる。例えば図8に示される修正型紙データから、図1に示されるボーン付きの3Dモデリングデータ75が生成される。生成手段317は、3Dモデリングデータを送信手段314に供給する。
送信手段314は、3Dモデリングデータをユーザ端末200に送信する。ユーザ端末200の受信手段212は、サーバ300から3Dモデリングを受信する。表示制御手段213は、3Dモデリングデータをディスプレイ205に表示させる。
サーバ300の記録手段318は、受付手段311により取得された検索クエリに含まれるデータ(例えば2D画像データ)と、取得手段316により取得された型紙データと、生成手段317により取得された3Dモデリングデータとを含む新たなレコードをデータベース330に記録する。
図10は、新たなレコードが記録されたデータベース330の一例を示す図である。図10に示される例では、「23456」という新たな衣服識別子と、図1に示される3Dモデリングデータ75と、図8に示される修正型紙データとを含む新たなレコードがデータベース330に追加される。また、検索クエリに対象衣服の質感、伸縮性、生地等の属性情報が含まれる場合には、新たなレコードにこれらの属性情報が含まれてもよい。
図11は、第1実施形態に係る3Dデータシステム10の動作の一例を示すシーケンスチャートである。この動作は、例えばユーザが現実の或る衣服の3Dモデリングデータを得たいときに、ユーザが入力装置114を用いてこの衣服のスキャンを指示する操作を行ったことを契機として開始される。
ステップS11において、3Dスキャナー100のスキャン手段121は、対象衣服をスキャンする。例えば、図1に示される衣服70がスキャンされる。これにより、衣服70の2D画像データが得られる。ステップS12において、3Dスキャナー100の送信手段122は、ステップS11において得られた対象衣服の2D画像データをユーザ端末200に送信する。例えば図1に示される衣服70の2D画像データが送信される。ユーザ端末200の転送手段211は、3Dスキャナー100から2D画像データを受信する。ユーザ端末200は、3Dスキャナー100から受信した2D画像データを用いて検索クエリを生成する。検索クエリは、ステップS12において受信された2D画像データを含む。
ステップS13において、ユーザ端末200の転送手段211は、検索クエリをサーバ300に送信する。また、入力装置204を用いたユーザの操作により対象衣服の質感や伸縮性を示す属性情報が入力された場合には、検索クエリには、2D画像データに加えてこの属性情報が含まれてもよい。例えば図1に示される衣服70の2D画像データと、衣服70の質感及び伸縮性を示す属性情報を含む検索クエリが送信される。サーバ300の受付手段311は、ユーザ端末200から検索クエリを受信する。
ステップS14において、サーバ300の取得手段313は、ステップS13において受信された検索クエリにより示される対象衣服と類似する類似衣服の型紙データをデータベース330から検索して抽出する。例えば図1に示される衣服70と図6に示されるデータベース330に格納された衣服識別子が「12345」の衣服とが類似する場合、衣服識別子が「12345」の衣服の型紙データがデータベース330から抽出される。
ステップS15において、サーバ300の送信手段314は、ステップS15において抽出された型紙データをユーザ端末200に送信する。例えば図6に示される衣服識別子が「12345」の型紙データが送信される。ユーザ端末200の受信手段212は、サーバ300から型紙データを受信する。
ステップS16において、ユーザ端末200の表示制御手段213は、ステップS15において受信された型紙データに基づいて、ディスプレイ205に編集画面220を表示させる。例えば、図7に示される編集画面220が表示される。この編集画面220には、衣服識別子が「12345」の衣服の型紙データが含まれる。ユーザは、入力装置204を用いて型紙データを修正する操作を行う。例えば衣服識別子が「12345」の衣服のポケットが図1に示される衣服70のポケットと異なる場合、編集画面220に含まれる置換候補の中から衣服70のポケットと類似する置換候補を選択し、衣服識別子が「12345」の衣服のポケットを置換候補に置換する操作を行う。
ステップS17において、ユーザ端末200の編集指示手段214は、編集画面220におけるユーザの操作に応じた修正指示をサーバ300に送信する。例えば衣服識別子が「12345」の衣服のポケットの型紙データを置換候補に置換する修正指示が送信される。サーバ300の編集手段315は、ユーザ端末200から修正指示を受信する。
ステップS18において、サーバ300の編集手段315は、ステップS17において受信された修正指示に従ってステップS14において抽出された型紙データを修正する。例えば衣服識別子が「12345」の衣服のポケットの型紙データを置換候補に置換する修正指示が受信された場合、図8に示されるように、衣服識別子が「12345」の衣服のポケットの型紙データが、ユーザの操作により選択された置換候補に置換される。これにより、ポケット部分が修正された修正型紙データが生成される。取得手段316は、修正型紙データを取得する。
ステップS19において、サーバ300の送信手段314は、ステップS18において取得された修正型紙データをユーザ端末200に送信する。ユーザ端末200の受信手段212は、サーバ300から修正型紙データを受信する。
ステップS20において、ユーザ端末200の表示制御手段213は、ステップS19において受信された修正型紙データに基づいて、確認画面230をディスプレイ205に表示させる。例えば図9に示される確認画面230が表示される。ユーザは、確認画面230に含まれる修正型紙データを確認する。ユーザは、修正型紙データに基づいて3Dモデリングデータを生成する場合には、入力装置204を用いて決定ボタン235を押す操作を行う。
ステップS21において、ユーザ端末200の要求手段215は、決定ボタン235が押されると、修正型紙データに応じた3Dモデリングデータの取得要求を送信する。サーバ300の生成手段317は、ユーザ端末200からこの取得要求を受信する。
ステップS22において、サーバ300の生成手段317は、ステップS21において受信された取得要求に従って、修正型紙データに基づいて3Dモデリングデータを生成する。例えば図8に示される修正型紙データに基づいて図1に示されるボーン付きの3Dモデリングデータ75が生成される。
ステップS23において、サーバ300の送信手段314は、ステップS22において生成された3Dモデリングデータをユーザ端末200に送信する。ユーザ端末200の受信手段212は、サーバ300から3Dモデリングデータを受信する。これにより、図1に示される衣服70の3Dモデリングデータ75が得られる。この3Dモデリングデータは、例えば表示制御手段213によりディスプレイ205に表示されて利用されてもよい。
ステップS24において、サーバ300の記録手段318は、ステップS13において受信された2D画像データと、ステップS18において取得された修正型紙データと、ステップS22において生成された3Dモデリングデータとを含む新たなレコードをデータベース330に記録する。例えば図10に示されるように、「23456」という新たな衣服識別子と、図1に示される衣服70の2D画像データと、図8に示される修正型紙データと、図1に示される3Dモデリングデータ75とを含む新たなレコードがデータベース330に追加される。また、検索クエリに衣服70の質感や伸縮性を示す属性情報が含まれる場合には、図10に示されるように、新たなレコードにこの属性情報が含まれてもよい。
以上説明した第1実施形態によれば、類似衣服の型紙データを修正した修正型紙データから対象衣服のボーン付きの3Dモデリングデータが生成されるため、対象衣服の2D画像データからボーン無しの3Dモデリングデータを生成し、この3Dモデリングデータに手作業でボーンを付加する場合に比べて、3Dモデリングデータに動きを与えるためのデータをより容易に取得することができる。
また、検索クエリが受け付けられると、データベース330にこの検索クエリにより示される衣服の型紙データが追加され、別の対象衣服の3Dモデリングデータを生成する際に使用される。そのため、データベース330に含まれる型紙データが増えるほど、対象衣服の型紙データとデータベース330に含まれる型紙データとの類似度が高くなる。すなわち、データベース330に含まれる型紙データが増えるほど、対象衣服の型紙データとデータベース330に含まれる型紙データの差異は小さくなる。その結果、類似衣服の型紙データの修正量は少なくなる。これにより、型紙データを修正する操作の量が少なくなり、修正型紙データを容易に生成することができる。3Dモデリングデータに動きを与えるためのデータは修正型紙データに基づいて生成されるため、修正型紙データの生成が容易になると、3Dモデリングデータに動きを与えるためのデータもより容易に取得することができる。
2.第2実施形態
第2実施形態に係る3Dデータシステム20は、第1実施形態に係る3Dデータシステム10と異なる構成を有する。第2実施形態では、第1実施形態で説明した3Dスキャナー100は用いられない。また、第2実施形態では、第1実施形態とは異なる方法で対象衣服の3Dモデリングデータが生成される。第2実施形態では、類似衣服の型紙データに代えて、類似衣服の3Dモデリングデータが抽出され、この3Dモデリングデータを修正することにより、対象衣服の3Dモデリングデータが生成される。
図12は、第2実施形態に係る3Dデータシステム20の概要の一例を示す図である。3Dデータシステム20は、ユーザ端末400とサーバ300とを備える。ユーザ端末400は、第1実施形態に係るユーザ端末200と同様に、例えばアパレルメーカーに設置される。ユーザ端末400とサーバ300とは、通信ネットワーク50を介して接続されている。
図13は、ユーザ端末400のハードウェア構成の一例を示す図である。ユーザ端末400は、ユーザ端末200と同様に、3Dモデリングデータを利用するユーザにより使用される端末装置である。ユーザ端末400には、例えばスマートフォン、タブレット端末、及びパーソナルコンピュータが含まれる。ユーザ端末400は、プロセッサ401と、メモリ402と、通信インターフェース403と、入力装置404と、ディスプレイ405と、カメラ406とを備える。これらの部位は、バス408を介して接続されている。プロセッサ401、メモリ402、通信インターフェース403、入力装置404、及びディスプレイ405は、それぞれ、第1実施形態に係るユーザ端末200のプロセッサ201、メモリ202、通信インターフェース203、入力装置204、及びディスプレイ205と同様である。カメラ406は、光学系を用いて被写体の光の像を撮像素子上に結ばせることにより、被写体の外観の画像を撮影し、撮影した画像を示す画像データを生成する。第2実施形態の2D画像データは、第1実施形態に係る3Dスキャナー100により生成された画像データとは異なり、距離データは付加されていない。
図14は、第2実施形態に係る3Dデータシステム20の機能構成の一例を示す図である。第2実施形態に係るユーザ端末400及びサーバ300の機能構成は、それぞれ、基本的には第1実施形態に係るユーザ端末200及びサーバ300の機能構成と同様である。ただし、ユーザ端末400は、ユーザ端末200の機能構成に加えて、撮影手段411を有する。サーバ300は、さらに編集手段319を有する。
ユーザ端末400の撮影手段411は、現実の対象衣服を撮影して、対象衣服の2D画像データを生成する。例えば撮影手段411は、図1に示される衣服70の前後の外観をカメラ406で撮影する。転送手段211は、検索クエリを含む生成要求をサーバ300に送信する。検索クエリは、対象衣服の2D画像データを含む。サーバ300の取得手段316は、類似衣服の3Dモデリングデータをデータベース330から抽出する。類似衣服を決める方法には、例えば第1実施形態で説明した方法と同様の方法が用いられる。類似衣服は、対象衣服と類似する要素を有していてもよい。例えば、検索クエリに対応する対象衣服のパーツと類似するパーツを有する衣服の3Dモデリングデータが抽出される。また、検索クエリに対応する対象衣服の質感と類似する質感を有する素材で形成された衣服の3Dモデリングデータが抽出されてもよい。分解手段312は、取得手段316により抽出された3Dモデリングデータを、衣服を構成するパーツに分解する。送信手段314は、分解手段312により分解された3Dモデリングデータをユーザ端末400に送信する。
ユーザ端末400に表示される編集画面220には、類似衣服の型紙データに代えて、類似衣服の3Dモデリングデータが含まれる。ユーザは、編集画面220に含まれる3Dモデリングデータを修正する操作を行う。ユーザは、入力装置204を用いて、編集画面220に含まれる3Dモデリングデータにより示される類似衣服と対象衣服との相違点に基づいて、これらの衣服の差異が小さくなるように3Dモデリングデータを修正する操作を行う。ユーザ端末400の編集指示手段214は、編集画面220におけるユーザの操作に応じて、3Dモデリングデータの修正指示をサーバ300に送信する。サーバ300の編集手段319は、取得手段313により抽出された3Dモデリングデータをこの修正指示に応じて修正する。具体的には、編集手段319は、取得手段313により抽出された3Dモデリングデータを、この3Dモデリングデータに対応する類似衣服と受付手段311により取得された2D画像データにより示される対象衣服との相違点に基づいて修正する。修正指示がパーツ毎の修正を指示する場合、編集手段319は、取得手段313により抽出された3Dモデリングデータを、衣服を構成するパーツを単位として修正する。サーバ300の送信手段314は、編集手段319により修正された3Dモデリングデータ(以下、「修正3Dモデリングデータ」という。)をユーザ端末400に送信する。すなわち、送信手段314は、修正された3Dモデリングデータをユーザ端末400に出力する。
ユーザ端末400に表示される確認画面230には、修正型紙データに代えて、修正3Dモデリングデータが含まれる。ユーザは、修正3Dモデリングデータを確認し、この修正3Dモデリングデータを利用する場合には、入力装置204を用いて決定ボタン235を押す操作を行う。ユーザ端末400の要求手段215は、修正型紙データに応じた3Dモデリングデータの取得要求に代えて、修正3Dモデリングデータに応じた型紙データの生成要求をサーバ300に送信する。サーバ300の編集手段315は、この生成要求に従って、編集手段319により行われた3Dモデリングデータの修正に合わせて型紙データを修正する。編集手段315は、取得手段313から型紙データを取得する。取得手段313は,データベース330から型紙データを取得する。例えば類似衣服の3Dモデリングデータのポケット部分が修正された場合、編集手段315は、類似衣服のポケットの型紙データを3Dモデリングデータと同様に修正する。或いは、編集手段315は、既知の3Dモデリング技術を用いて、修正3Dモデリングデータから型紙データを生成してもよい。これにより、修正3Dモデリングデータに合わせて修正された型紙データが得られる。
図15は、第2実施形態に係る3Dデータシステム20の動作の一例を示すシーケンスチャートである。この動作は、例えばユーザが現実の或る衣服の3Dモデリングデータを得たいときに、ユーザが入力装置404を用いてこの衣服の撮影を指示する操作を行ったことを契機として開始される。
ステップS31において、ユーザ端末400の撮影手段411は、対象衣服を撮影する。例えば、図1に示される衣服70が撮影される。これにより、衣服70の2D画像データが得られる。ステップS32において、ユーザ端末400の転送手段211は、ステップS31において取得された2D画像データを含む検索クエリをサーバ300に送信する。例えば図1に示される衣服70の2D画像データと衣服70の質感及び伸縮性を示す属性情報とを含む検索クエリが送信される。サーバ300の受付手段311は、ユーザ端末400から検索クエリを受信する。
ステップS33において、サーバ300の取得手段313は、ステップS32において受信された検索クエリにより示される対象衣服と類似する類似衣服の3Dモデリングデータをデータベース330から検索して抽出する。例えば図1に示される衣服70と図6に示されるデータベース330に格納された衣服識別子が「12345」の衣服とが類似する場合、衣服識別子が「12345」の衣服の3Dモデリングデータがデータベース330から抽出される。サーバ300の分解手段312は、取得手段313により抽出された3Dモデリングデータをパーツ毎に分解する。
ステップS34において、サーバ300の送信手段314は、ステップS33において抽出及び分解された3Dモデリングデータをユーザ端末400に送信する。例えば図6に示される衣服識別子が「12345」の3Dモデリングデータが送信される。ユーザ端末400の受信手段212は、サーバ300から3Dモデリングデータタを受信する。
ステップS35において、ユーザ端末400の表示制御手段213は、ステップS34において受信された3Dモデリングデータに基づいて、編集画面220をディスプレイ205に表示させる。この編集画面220には、衣服識別子が「12345」の衣服の3Dモデリングデータが含まれる。ユーザは、入力装置204を用いて3Dモデリングデータを修正する操作を行う。例えば衣服識別子が「12345」の衣服のポケットが図1に示される衣服70のポケットと異なる場合、編集画面220に含まれる置換候補の中から衣服70のポケットと類似する置換候補を選択して、衣服識別子が「12345」の衣服のポケットをこの置換候補に置換する操作を行う。
ステップS36において、ユーザ端末400の編集指示手段214は、編集画面220におけるユーザの操作に応じた修正指示をサーバ300に送信する。例えば編集画面220において衣服識別子が「12345」の衣服のポケットを置換候補に置換する操作が行われた場合には、この置換を指示する修正指示が送信される。サーバ300の編集手段319は、ユーザ端末400から修正指示を受信する。
ステップS37において、サーバ300の編集手段319は、ステップS36において受信された修正指示に従ってステップS33において抽出及び分解された3Dモデリングデータを修正する。例えば衣服識別子が「12345」の衣服のポケットを置換候補に置換する修正指示が受信された場合、衣服識別子が「12345」の衣服の3Dモデリングデータが置換候補に置換される。これにより、ポケット部分が修正された修正3Dモデリングデータが生成される。生成手段317は、修正3Dモデリングデータを取得する。
ステップS38において、サーバ300の送信手段314は、ステップS37において取得された修正3Dモデリングデータをユーザ端末400に送信する。ユーザ端末400の受信手段212は、サーバ300から修正3Dモデリングデータを受信する。
ステップS39において、ユーザ端末400の表示制御手段213は、ステップS38において受信された修正3Dモデリングデータに基づいて、確認画面230をディスプレイ205に表示させる。この確認画面230には、修正3Dモデリングデータが含まれる。ユーザは、確認画面230に含まれる修正3Dモデリングデータを確認する。ユーザは、この修正3Dモデリングデータを利用する場合には、入力装置204を用いて決定ボタン235を押す操作を行う。
ステップS40において、ユーザ端末400の要求手段215は、決定ボタン235が押されると、3Dモデリングデータに応じた型紙データの生成要求を送信する。サーバ300の編集手段315は、ユーザ端末400からこの生成要求を受信する。
ステップS41において、サーバ300の編集手段315は、ステップS40において受信された生成要求に従って、修正3Dモデリングデータに基づいて型紙データを修正する。取得手段316は、編集手段315により修正された型紙データを取得する。
ステップS42において、サーバ300の記録手段318は、ステップS32において受信された2D画像データと、ステップS37において取得された修正3Dモデリングデータと、ステップS41において生成された型紙データとを含む新たなレコードをデータベース330に記録する。
以上説明した第2実施形態によれば、類似衣服の3Dモデリングデータを修正することにより対象衣服のボーン付きの3Dモデリングデータが生成されるため、対象衣服の2D画像データからボーン無しの3Dモデリングデータを生成し、この3Dモデリングデータに手作業でボーンを付加する場合に比べて、3Dモデリングデータに動きを与えるためのデータをより容易に取得することができる。
また、検索クエリが取得されると、データベース330にこの検索クエリに対応する衣服の3Dモデリングデータが追加され、別の対象衣服の3Dモデリングデータを生成する際に使用される。そのため、データベース330に含まれる型紙データが増えるほど、対象衣服の3Dモデリングデータとデータベース330に含まれる3Dモデリングデータとの類似度が高くなる。すなわち、データベース330に含まれる型紙データが増えるほど、対象衣服の3Dモデリングデータとデータベース330に含まれる3Dモデリングデータとの差異は小さくなる。その結果、類似衣服の3Dモデリングデータの修正量は少なくなる。これにより、3Dモデリングデータを修正する操作の量が少なくなるため、対象衣服の3Dモデリングデータに動きを与えるためのデータをより容易に取得することができる。
3.第3実施形態
第3実施形態では、本開示に係る技術はBTO(Built to Order)での衣服の製造支援に用いられる。第3実施形態では、第2実施形態と同様の方法を用いてユーザの所望の衣服の型紙データが生成され、この型紙データを用いてユーザの所望の衣服が製造される。
図16は、第3実施形態に係る3Dデータシステム30の概要の一例を示す図である。3Dデータシステム30は、第2実施形態に係るユーザ端末400及びサーバ300に加えて、製造者端末500と、製造装置600とを備える。ユーザ端末400は、アパレルメーカーから衣服を購入するエンドユーザにより使用される。製造者端末500と製造装置600とは、例えば衣服の製造工場に設置される。製造者端末500と製造装置600とは、LAN等の通信ネットワーク60を介して接続されている。製造者端末500とサーバ300とは、インターネット等の通信ネットワーク50を介して接続されている。製造者端末500は、衣服の製造者により使用される端末装置である。製造者端末500は、第1実施形態に係るユーザ端末200と同様のハードウェア構成を備える。製造装置600は、型紙データに基づいて衣服を製造する装置である。
第3実施形態に係るユーザ端末400及びサーバ300の機能構成は、それぞれ、基本的には第2実施形態に係るユーザ端末400及びサーバ300の機能構成と同様である。ただし、サーバ300の送信手段314は、取得手段316により取得された型紙データを製造者端末500に送信する。すなわち、送信手段314は、取得手段316により取得された型紙データを製造者端末500に出力する。送信手段314は、本開示に係る第2出力手段の一例である。
図17は、第3実施形態に係る3Dデータシステム30の動作の一例を示すシーケンスチャートである。この動作は、例えばユーザが現実の或る衣服に基づく別の衣服を得たいときに、ユーザが入力装置404を用いて或る衣服の撮影を指示する操作を行ったことを契機として開始される。ステップS51〜S62の処理は、基本的には、第2実施形態に係るステップS31〜S42の処理と同様である。ただし、ユーザは、編集画面220に含まれる3Dモデリングデータにより示される衣服が、ユーザが所望の衣服になるように、この3Dモデリングデータを修正する。これにより、ステップS57では、ユーザの所望の衣服の3Dモデリングデータが取得される。また、ステップS61では、ユーザの所望の衣服の型紙データが取得される。
さらに、第3実施形態では、ユーザ端末400上で、修正3Dモデリングデータにより示される衣服を仮想的に試着できるようにしてもよい。この場合、ステップS59においてユーザ端末400に表示される確認画面230には、修正3Dモデリングデータにより示される衣服を着用したキャラクターが含まれる。このキャラクターは、例えばユーザを模したアバターであってもよい。キャラクターは、例えば入力装置204を用いたユーザの操作に応じてくるりと回ったり、歩いたり、決められたポーズを取ったりする等の動作を行う。修正3Dモデリングデータにはボーンが含まれているため、このボーンを利用することにより、キャラクターの動きに合わせて衣服も動く。
ステップS63において、サーバ300の送信手段314は、ステップS61において修正された型紙データを製造者端末500に送信する。製造者端末500は、サーバ300から型紙データを受信する。
ステップS64において、製造者端末500は、ステップS63において受信された型紙データに基づく衣服の製造指示を製造装置600に送信する。この製造指示には、ステップS63において受信された型紙データが含まれる。製造装置600は、製造者端末500から製造指示を受信する。
ステップS65において、製造装置600は、ステップS64において受信された製造指示に従って衣服を製造する。具体的には、製造装置600は、製造指示に含まれる型紙データに基づいて衣服を製造する。これにより、ユーザの所望の衣服が製造される。
以上説明した第3実施形態によれば、類似衣服の3Dモデリングデータを修正することにより生成されたボーン付きの3Dモデリングデータからユーザが所望の衣服の型紙データが生成されるため、ユーザが所望の衣服の型紙データを何もないところから手作業で生成する場合に比べてより容易に取得することができる。また、ユーザは、類似衣服の3Dモデリングデータを修正する操作を行うだけで所望の衣服が得られるため、所望の衣服をより手軽に取得することができる。
4.変形例
本発明は、上述した第1実施形態〜第3実施形態に限定されない。第1実施形態〜第3実施形態の少なくとも一部は、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。上述した各実施形態は、以下の変形例のように変形して実施されてもよい。実施形態の少なくとも一部と変形例の少なくとも一部とは、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。同様に、以下の変形例の少なくとも一部は、組み合わせて用いられてもよいし、実行に伴って切り替えて用いられてもよい。
上述した各実施形態において、型紙データ又は3Dモデリングデータの修正は、ユーザの操作を介さずに行われてもよい。例えばサーバ300の編集手段315又は第1編集手段319は、AIを利用して型紙データ又は3Dモデリングデータを修正する。この変形例では、例えば、複数の対象衣服の各々について、対象衣服の検索クエリ(例えば画像データ)及び類似衣服の型紙データ又は3Dモデリングデータを入力データとし、ユーザの操作に応じて修正された修正型紙データ又は修正3Dモデリングデータを出力データとする教師データを用いて、ユーザがどのように修正を行うのかについて予め機械学習が行われる。そして、検索クエリが受け付けられると、学習済の機械学習モデルに、対象衣服の画像データ及びこの検索クエリに対応する類似衣服の型紙データ又は3Dモデリングデータを入力することにより、修正型紙データ又は修正3Dモデリングデータが生成される。この変形例によれば、ユーザが類似衣服の型紙データ又は3Dモデリングデータを修正する操作を行わなくても、対象衣服又はユーザが所望の衣服の型紙データ及び3Dモデリングデータが得られる。
上述した各実施形態において、検索クエリは対象衣服の2D画像データに限定されない。例えば、検索クエリは、距離データ無しの画像データであってもよい。別の例において、検索クエリには、対象衣服の2D画像データに加えて又はこれに代えて、対象衣服を撮影した画像から生成された3Dモデリングデータが含まれてもよい。この変形例では、3Dスキャナー100又はユーザ端末200は、例えば対象衣服の外観を360度の全方向から撮影した画像に基づいて3Dモデリングデータを生成する。この3Dモデリングデータの生成には、例えば既知の3Dモデリング技術が用いられる。サーバ300の取得手段313は、検索クエリに含まれる3Dモデリングデータと類似する3Dモデリングデータをデータベース330から抽出する。そして、第2実施形態のように、抽出された3Dモデリングデータが修正されて利用される。また、修正3Dモデリングデータに基づいて対象衣服の型紙データが生成される。さらに、上述した各実施形態において、検索クエリには、対象衣服の2D画像データに加えて又はこれに代えて、対象衣服のスケッチ(例えば服飾デザイナーによる手書きの画像)、又は型紙データが含まれてもよい。
上述した各実施形態において、衣服を製造するための製造データは型紙データに限定されない。例えば衣服の製造に3Dプリンタが用いられる場合、製造データは、3Dプリンタが物体を作り出すときに用いられる3Dプリンティング用データであってもよい。また、衣服が編み物である場合、製造データは、編み物を編むときに用いられる編み図を示すデータであってもよい。製造データが衣服を構成するパーツ毎に分解されていない場合、サーバ300の分解手段312は、衣服を構成するパーツ毎に製造データを分解してもよい。この分解は、例えば製造データに画像認識処理を施すことにより行われる。あるいはこの分解は、AIにより行われてもよい。一例として、機械学習モデルに、分解前の製造データを入力データとし、(服飾の専門家により)分解された後のパーツ毎の製造データを出力データとする教師データを与えて機械学習を行うことにより、学習済の機械学習モデルが得られる。
データベース330に記録されるデータは実施形態において例示したものに限定されない。データベース330は、複数の衣服の各々について、属性情報としてノーマルマップ、スペキュラマップ、バンプマップ、及びディスプレイスメントマップの少なくとも1種を含んでもよい。これらのデータも、例えば3Dモデリングデータと同様の手法により生成される。あるいは、これらのデータは、3Dスキャナー等の装置を用いて撮影された画像を用いて生成されてもよい。ノーマルマップは、3Dモデルの表面(ジオメトリ)の法線が指す方向を示すマップである。この情報を使えば、モデルがどのようにライティング又は反映されるかをシミュレーションすることができる。スペキュラマップは、3Dモデルの表面における光沢の量又は反射率の分布を示すマップである。この情報を使えば、色や凹凸は同じままで表面のツヤを表現できる。バンプマップ及びディスプレイスメントマップは、3Dモデルの表面の凹凸を示すマップである。バンプマップは3Dモデルのジオメトリには影響しないが、ディスプレイスメントマップはジオメトリに影響する。これらの情報を使えば、3Dモデル表面の表現をより豊かにすることができる。また、これらの情報は、例えば衣服の生地の傷み具合又は衣服のダメージの評価に用いることができる。例えばダメージの程度を示す情報をデータベース330に記録しておけば、ダメージの程度を検索情報として衣服を検索することができる。
上述した第2実施形態において、対象衣服の3Dモデリングデータがあれば足りる場合には、対象衣服の型紙データは必ずしも生成されなくてもよい。この変形例では、取得手段316は設けられなくてもよい。
上述した第3実施形態において、第1実施形態と同様の方法でユーザが所望の衣服の型紙データが生成されてもよい。例えば類似衣服の型紙データを修正することにより、ユーザが所望の衣服の型紙データが生成されてもよい。
上述した各実施形態において、3Dデータシステム10、20、又は30の構成は上述した例に限定されない。3Dデータシステム10、20、又は30は、上述した装置を1つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。また、3Dデータシステム10、20、又は30の機能を有する主体は、上述した例に限定されない。例えばユーザ端末200又は400がサーバ300の機能の少なくも一部を有してもよい。また、サーバ300の機能は、複数の装置が協働することにより実現されてもよい。さらに、サーバ300は、物理サーバあってもよいし、いわゆるクラウド上に設けられる仮想サーバであってもよい。
上述した実施形態において、3Dデータシステム10、20、又は30の動作は上述した例に限定されない。3Dデータシステム10、20、又は30の処理手順は、矛盾の無い限り、順序が入れ替えられてもよい。また、3Dデータシステム10、20、又は30の一部の処理手順が省略されてもよい。
本開示の別の形態は、3Dデータシステム10、20、又は30、3Dスキャナー100、ユーザ端末200又は400、サーバ300、製造者端末500、製造装置600において行われる処理のステップを有する情報処理方法又は衣服データ処理方法を提供してもよい。また、本開示のさらに別の形態は、3Dスキャナー100、ユーザ端末200又は400、サーバ300、製造者端末500、製造装置600において実行されるプログラムを提供してもよい。このプログラムは、コンピュータが読み取り可能な記録媒体に記憶されて提供されてもよいし、インターネット等を介したダウンロードによって提供されてもよい。

Claims (11)

  1. 衣服の3Dモデリングデータを検索するための検索情報の入力を受け付ける受付手段と、
    前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得する取得手段と、
    前記取得された製造データを編集する編集手段と、
    前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成する生成手段と、
    前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録する記録手段と
    を有し、
    前記取得手段は、前記検索情報が受け付けられると、前記データベースから当該検索情報との類似度が最も高い要素を含む衣服の製造データを抽出することにより当該製造データを取得し、
    前記記録手段は、前記編集手段により編集された製造データを含む新たなレコードを前記データベースに記録し、
    前記編集手段は、前記抽出された製造データを、当該製造データに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正する
    情報処理装置。
  2. 前記衣服の製造データを、当該衣服を構成する複数の部分の各々の製造データに分解する分解手段を有し、
    前記編集手段は、前記分解された部分を単位として前記製造データを編集する
    請求項に記載の情報処理装置。
  3. 衣服の3Dモデリングデータを検索するための検索情報の入力を受け付ける受付手段と、
    前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得する取得手段と、
    前記取得された製造データを編集する編集手段と、
    前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成する生成手段と、
    前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録する記録手段と
    前記検索情報が受け付けられると、前記データベースから当該検索情報との類似度が最も高い要素を含む衣服の3Dモデリングデータを抽出する抽出手段と
    を有し、
    前記記録手段は、前記抽出手段により抽出された3Dモデリングデータを修正したデータを含む新たなレコードを前記データベースに記録し、
    前記編集手段は、前記抽出された3Dモデリングデータを、当該3Dモデリングデータに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正し、
    前記記録手段は、前記編集手段により修正されたデータを含む前記新たなレコードを前記データベースに記録する
    情報処理装置。
  4. 前記編集手段は、前記3Dモデリングデータの修正に合わせて前記製造データを修正する
    請求項に記載の情報処理装置。
  5. 前記衣服の製造データを、当該衣服を構成する複数の部分の各々の3Dモデリングデータに分解する分解手段を有し、
    前記編集手段は、前記分解された部分を単位として前記3Dモデリングデータを修正する
    請求項に記載の情報処理装置。
  6. 前記データベースが、前記衣服のノーマルマップ、スペキュラマップ、バンプマップ、及びディスプレイスメントマップの少なくとも1種を含む
    請求項1乃至のいずれか一項に記載の情報処理装置。
  7. 前記3Dモデリングデータは、前記3Dモデルを動かす要素を含む
    請求項1乃至6のいずれか一項に記載の情報処理装置。
  8. コンピュータシステムが、衣服の3Dモデリングデータを検索するための検索情報の入力を受け付けるステップと、
    前記コンピュータシステムが、前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得するステップと、
    前記コンピュータシステムが、前記取得された製造データを編集するステップと、
    前記コンピュータシステムが、前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成するステップと、
    前記コンピュータシステムが、前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録するステップと
    を有し、
    前記取得するステップにおいて、前記検索情報が受け付けられると、前記データベースから当該検索情報との類似度が最も高い要素を含む衣服の製造データを抽出することにより当該製造データが取得され、
    前記記録するステップにおいて、前記編集された製造データを含む新たなレコードが前記データベースに記録され、
    前記編集するステップにおいて、前記抽出された製造データが、当該製造データに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正される
    情報処理方法。
  9. コンピュータシステムが、衣服の3Dモデリングデータを検索するための検索情報の入力を受け付けるステップと、
    前記コンピュータシステムが、前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得するステップと、
    前記コンピュータシステムが、前記取得された製造データを編集するステップと、
    前記コンピュータシステムが、前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成するステップと、
    前記コンピュータシステムが、前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録するステップと
    前記検索情報が受け付けられると、前記データベースから当該検索情報との類似度が最も高い要素を含む衣服の3Dモデリングデータを抽出するステップと
    を有し、
    前記記録するステップにおいて、前記抽出された3Dモデリングデータを修正したデータを含む新たなレコードが前記データベースに記録され、
    前記編集するステップにおいて、前記抽出された3Dモデリングデータが、当該3Dモデリングデータに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正され、
    前記記録するステップにおいて、前記編集するステップにおいて修正されたデータを含む前記新たなレコードが前記データベースに記録される
    情報処理方法。
  10. コンピュータに、
    衣服の3Dモデリングデータを検索するための検索情報の入力を受け付けるステップと、
    前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得するステップと、
    前記取得された製造データを編集するステップと、
    前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成するステップと、
    前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録するステップと
    を実行させるためのプログラムであって、
    前記取得するステップにおいて、前記検索情報が受け付けられると、前記データベースから当該検索情報との類似度が最も高い要素を含む衣服の製造データを抽出することにより当該製造データが取得され、
    前記記録するステップにおいて、前記編集された製造データを含む新たなレコードが前記データベースに記録され、
    前記編集するステップにおいて、前記抽出された製造データが、当該製造データに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正される
    プログラム。
  11. コンピュータに、
    衣服の3Dモデリングデータを検索するための検索情報の入力を受け付けるステップと、
    前記検索情報に基づいて取得された、前記衣服を仮想的に又は現実に製造するための製造データを取得するステップと、
    前記取得された製造データを編集するステップと、
    前記製造データに基づいて生成された前記衣服の3Dモデルを示す3Dモデリングデータを生成するステップと、
    前記3Dモデリングデータ及び前記製造データを含むレコードをデータベースに記録するステップと
    前記検索情報が受け付けられると、前記データベースから当該検索情報との類似度が最も高い要素を含む衣服の3Dモデリングデータを抽出するステップと
    を実行させるためのプログラムであって、
    前記記録するステップにおいて、前記抽出された3Dモデリングデータを修正したデータを含む新たなレコードが前記データベースに記録され
    前記編集するステップにおいて、前記抽出された3Dモデリングデータが、当該3Dモデリングデータに対応する衣服と前記検索情報により示される衣服との相違点に基づいて修正され、
    前記記録するステップにおいて、前記編集するステップにおいて修正されたデータを含む前記新たなレコードが前記データベースに記録される
    プログラム。
JP2021531262A 2021-05-28 2021-05-28 情報処理装置、情報処理方法、及びプログラム Active JP6958885B1 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/020378 WO2022249442A1 (ja) 2021-05-28 2021-05-28 情報処理装置、情報処理方法、及びプログラム

Publications (2)

Publication Number Publication Date
JP6958885B1 true JP6958885B1 (ja) 2021-11-02
JPWO2022249442A1 JPWO2022249442A1 (ja) 2022-12-01

Family

ID=78282106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021531262A Active JP6958885B1 (ja) 2021-05-28 2021-05-28 情報処理装置、情報処理方法、及びプログラム

Country Status (3)

Country Link
JP (1) JP6958885B1 (ja)
CN (1) CN114556435A (ja)
WO (1) WO2022249442A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187683A (ja) * 1998-03-11 2000-07-04 Toray Ind Inc 衣料・服飾品の製造方法および衣料・服飾品の製造支援装置
JP2001262416A (ja) * 2000-03-16 2001-09-26 Toyobo Co Ltd 衣服の型紙作成システム
WO2007089701A2 (en) * 2006-01-31 2007-08-09 Dragon & Phoenix Software, Inc. System, apparatus and method for facilitating pattern-based clothing design activities
WO2020009066A1 (ja) * 2018-07-02 2020-01-09 株式会社ブルームスキーム 仮想試着装置、仮想試着方法、および仮想試着プログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015120271A1 (en) * 2014-02-07 2015-08-13 Printer Tailored, Llc Customized, wearable 3d printed articles and methods of manufacturing same
CN108197180A (zh) * 2017-12-25 2018-06-22 中山大学 一种服装属性可编辑的服装图像检索的方法
CN112084670B (zh) * 2020-09-14 2024-02-13 广州微咔世纪信息科技有限公司 3d虚拟服装设计方法、终端及存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000187683A (ja) * 1998-03-11 2000-07-04 Toray Ind Inc 衣料・服飾品の製造方法および衣料・服飾品の製造支援装置
JP2001262416A (ja) * 2000-03-16 2001-09-26 Toyobo Co Ltd 衣服の型紙作成システム
WO2007089701A2 (en) * 2006-01-31 2007-08-09 Dragon & Phoenix Software, Inc. System, apparatus and method for facilitating pattern-based clothing design activities
WO2020009066A1 (ja) * 2018-07-02 2020-01-09 株式会社ブルームスキーム 仮想試着装置、仮想試着方法、および仮想試着プログラム

Also Published As

Publication number Publication date
CN114556435A (zh) 2022-05-27
WO2022249442A1 (ja) 2022-12-01
JPWO2022249442A1 (ja) 2022-12-01

Similar Documents

Publication Publication Date Title
AU2016384433B2 (en) Generation of 3D-printed custom wearables
US8571698B2 (en) Simple techniques for three-dimensional modeling
JP6242768B2 (ja) 仮想試着装置、仮想試着方法、およびプログラム
WO2015129353A1 (ja) 仮想試着システム、仮想試着プログラム、仮想試着方法および仮想試着プログラムを記憶した記憶媒体
JP6373026B2 (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP6338966B2 (ja) 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
TWI771106B (zh) 3d資料系統及3d資料生成方法
JP6709993B2 (ja) メイクパーツ生成装置およびメイクパーツ生成方法
CN106709746A (zh) 3d扫描、模型测量一体化的互联网服装定制系统
JP2011209887A (ja) アバター作成方法、アバター作成プログラム、およびネットワークサービスシステム
JP6262105B2 (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
JP2016038810A (ja) 仮想試着装置、仮想試着方法、およびプログラム
Vitali et al. Acquisition of customer’s tailor measurements for 3D clothing design using virtual reality devices
JP6340313B2 (ja) モデリングシステム、モデリングプログラム、及びモデリング方法
JP6980097B2 (ja) サイズ測定システム
CN114667530A (zh) 具有服装和精加工的虚拟预览的数字陈列室
WO2023056104A1 (en) Controllable image-based virtual try-on system
JP5420056B2 (ja) 画像作成システム、画像作成アプリケーションサーバ、画像作成方法およびプログラム
JP6958885B1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2011170761A (ja) モデル画像作成装置、およびモデル画像作成装置のモデル画像作成プログラム
JP2018106736A (ja) 仮想試着装置、仮想試着方法、およびプログラム
JP2001222568A (ja) 服飾デザインのための三次元検証と衣服試作可能なシステム
JP2015228071A (ja) データ出力装置、データ出力方法及び3次元物体製造システム
JP2018113060A (ja) 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
WO2022081745A1 (en) Real-time rendering of 3d wearable articles on human bodies for camera-supported computing devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210531

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210713

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210806

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210818

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210831

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210929

R150 Certificate of patent or registration of utility model

Ref document number: 6958885

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150