JP6834980B2 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP6834980B2
JP6834980B2 JP2017554938A JP2017554938A JP6834980B2 JP 6834980 B2 JP6834980 B2 JP 6834980B2 JP 2017554938 A JP2017554938 A JP 2017554938A JP 2017554938 A JP2017554938 A JP 2017554938A JP 6834980 B2 JP6834980 B2 JP 6834980B2
Authority
JP
Japan
Prior art keywords
design
user
content
information processing
article
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017554938A
Other languages
English (en)
Other versions
JPWO2017098760A1 (ja
Inventor
結生 蟹井
結生 蟹井
一馬 吉井
一馬 吉井
直子 石塚
直子 石塚
文子 志賀
文子 志賀
▲ユエ▼ 欧陽
▲ユエ▼ 欧陽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017098760A1 publication Critical patent/JPWO2017098760A1/ja
Application granted granted Critical
Publication of JP6834980B2 publication Critical patent/JP6834980B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0621Item configuration or customization
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/907Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Finance (AREA)
  • Accounting & Taxation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、通信技術の発達により、個人と企業、個人と個人の間の情報交換が盛んに行われている。通常、一般向けに販売される商品は企業側が一方的にデザインを企画して製品化されたものであるが、昨今は消費者の好みを反映させるため、インターネット等を介してユーザ自身がデザインしたものや、いくつかの部品を用意してユーザ自身に選ばせた組み合わせで受注製作するシステムも提案されている(下記特許文献1、2)。
特開2002−189844号公報 特開2007−280351号公報 特開2010−66366号公報 特開2011−228918号公報 特開2010−134790号公報
しかしながら、ユーザ自身がデザインを行うことや、部品を組み合わせてカスタマイズすることは、自分の好みを反映できる一方、デザインの決定や材料の選択と購入に時間が掛かったり、また、ユーザによっては自分だけのオリジナリティーを表現したいが思い描くイメージ通りにデザインできなかったりといった問題もあった。
ユーザの好みに応じた推薦に関しては、例えば特許文献3では、楽曲集合同士、楽曲と楽曲集合などの組み合わせで類似性を評価し、ユーザの好みに応じた楽曲集合や楽曲を推薦する技術が記載されている。また、特許文献4では、動画から分離した画像データに基づいて画像の構図と特定シーンの構図との類似度情報と、同動画から分離した音声データと特定シーンの音声データとの類似度情報とに基づいて特定シーンを適切に検出し、特定シーンの再生をユーザに提示する技術が記載されている。また、特許文献5には、楽曲の波形データを入力とし、CG映像の動きを制御することで音楽を視覚化する技術が記載されている。しかし、いずれも商品デザイン等の推薦に関しては言及されていない。
そこで、本開示では、ユーザが選択したコンテンツに基づいて物品デザインを生成し、ユーザ負担を軽減することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、ユーザに選択されたコンテンツおよび前記コンテンツに関連する関連情報に基づいて、物品デザインを生成するためのパラメータを抽出する抽出部と、前記パラメータを用いて、指定された物品のデザインを生成する生成部と、前記生成したデザインを前記ユーザへ提示するよう制御する提示制御部と、を備え、前記コンテンツは、音楽データまたは画像データであり、前記関連情報は、前記コンテンツとしての音楽データに埋め込まれているメタデータから抽出したキーワードに基づいて検索した画像データである、情報処理装置を提案する。
本開示によれば、プロセッサが、ユーザに選択されたコンテンツおよび前記コンテンツに関連する関連情報に基づいて、物品デザインを生成するためのパラメータを抽出することと、前記パラメータを用いて、指定された物品のデザインを生成することと、前記生成したデザインを前記ユーザへ提示するよう制御することと、を含み、前記コンテンツは、音楽データまたは画像データであり、前記関連情報は、前記コンテンツとしての音楽データに埋め込まれているメタデータから抽出したキーワードに基づいて検索した画像データである、情報処理方法を提案する。
本開示によれば、コンピュータを、ユーザに選択された、音楽データまたは画像データであるコンテンツと、前記コンテンツに関連する、前記コンテンツとしての音楽データに埋め込まれているメタデータから抽出したキーワードに基づいて検索した画像データである関連情報とに基づいて、物品デザインを生成するためのパラメータを抽出する抽出部と、前記パラメータを用いて、指定された物品のデザインを生成する生成部と、前記生成したデザインを前記ユーザへ提示するよう制御する提示制御部と、として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、ユーザが選択したコンテンツに基づいて物品デザインを生成し、ユーザ負担を軽減することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明する図である。 本実施形態による情報処理システムの全体構成について説明する図である。 本実施形態によるユーザ端末の構成例を示すブロック図である。 本実施形態によるサーバの構成例を示すブロック図である。 本実施形態によるデザイン提示処理を示すフローチャートである。 本実施形態によるデザイン生成処理を示すフローチャートである。 本実施形態によるデザイン提示画面の一例を示す図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
1.本開示の一実施形態による情報処理システムの概要
2.構成
2−1.全体構成
2−2.ユーザ端末の構成
2−3.サーバの構成
3.動作処理
3−1.デザイン提示処理
3−2.デザイン生成処理
4.表示例
5.まとめ
<<1.本開示の一実施形態による情報処理システムの概要>>
本開示の一実施形態による情報処理システムでは、ユーザが思い描く物品デザインをユーザが選択したコンテンツに基づいて生成し、ユーザ負担を軽減することが可能となる。まず、図1を参照して本実施形態による情報処理システムの概要について説明する。なお本実施形態では、物品デザインの一例としてファッション(衣服、靴、鞄、および装飾品を含む)のデザインを行う場合について説明するが、コップ等の食器、電子機器、または玩具等であってもよい。
図1は、本開示の一実施形態による情報処理システムの概要を説明する図である。まず、図1左側に示すように、ユーザは、楽曲情報、撮像画像、またはキーワード(テキストデータ)等の素材をスマートフォン等のユーザ端末1から投稿し、ファッションカテゴリ(トップス、ジャケット/アウター、ワンピース等)を指定する。具体的には、例えば好きな楽曲や、イラスト画像、撮影画像(例えば動物、風景、模様、またはイラスト等を撮影したもの)等をサーバ2(図2参照)にアップロードする。また、キーワードとしては、例えば「夏フェス」、「ハロウィン」、「ヴィンテージ」等が挙げられる。次いで、サーバ2は、投稿された素材からイメージされるファッションデザインを生成し、生成したデザイン画像100を、図1右側に示すようにユーザ端末1からユーザに提示させる。
これにより、ユーザは、ファッションデザインを時間を掛けて生成したり、多数のファッションアイテムから選択して組み立てたりといった煩雑な操作を行うことなく、好きな画像や音楽等の素材を投稿するだけで、これらの素材からイメージされるデザインの商品プレビューを楽しむことができる。また、ユーザが学校の休み時間、仕事の休憩時間、家事の合間、または電車の待ちの時間のような隙間時間に手軽に素材を投稿して商品プレビューを見ることができるようにすることで、購買意欲を想起させることが可能となる。また、ユーザの斬新なコンテンツ選択により思いがけず思考に合うファッションが発見できる。また、斬新なファッションの発見により、新たなファッショントレンドの発信に影響を与えることも期待できる。
以上、本実施形態による情報処理システムの概要について説明した。続いて、本実施形態による情報処理システムの構成および動作処理について具体的に説明する。
<<2.構成>>
<2−1.全体構成>
図2は、本実施形態による情報処理システムの全体構成について説明する図である。図2に示すように、本実施形態による情報処理システムは、ユーザ端末1およびサーバ2を含む。ユーザ端末1およびサーバ2は例えばネットワーク3を介して接続され、データの送受信が可能となる。
ユーザ端末1は、図示するようなスマートフォンに限定されず、例えば携帯電話端末またはタブレット端末等のモバイル端末や、スマートウォッチまたはスマートアイグラス等のウェアラブル端末であってもよい。
サーバ2は、ユーザ端末1からネットワーク3を介して画像または楽曲等のファッションデザインの素材となるコンテンツを受信し、コンテンツに基づいて、指定されたファッションカテゴリのデザインを生成し、生成したデザインを示す画像をユーザ端末1に返送する。
以下、ユーザ端末1およびサーバ2の具体的な構成について順次説明する。
<2−2.ユーザ端末の構成>
図3は、本実施形態によるユーザ端末1の構成例を示すブロック図である。図3に示すように、ユーザ端末1は、制御部10、通信部11、カメラ12、マイクロホン13、操作入力部14、記憶部15、表示部16、およびスピーカ17を有する。
制御部10は、演算処理装置および制御装置として機能し、各種プログラムに従ってユーザ端末1内の動作全般を制御する。制御部10は、例えばCPU(Central Processing Unit)、マイクロプロセッサ等の電子回路によって実現される。
通信部11は、外部装置と有線/無線を介してデータの送受信を行う。例えば通信部11は、カメラ12により取得された撮像画像、マイクロホン13により取得された音声データ、または記憶部15に格納されている楽曲情報等を、操作入力部14から入力されたユーザ操作に応じた制御部10の制御に従って、サーバ2送信する。
カメラ12は、ユーザ操作に応じて周囲を撮像し、撮像した撮像画像を制御部10に出力する。
マイクロホン13は、ユーザ操作に応じて周囲の音声を収音し、収音した音声データを制御部10に出力する。
操作入力部14は、タッチパネル、スイッチ、またはボタン等により実現され、ユーザによる操作入力を検出し、検出した入力信号を制御部10に出力する。
記憶部15は、制御部10の処理に用いられるプログラムや演算パラメータ等を記憶するROM(Read Only Memory)、及び適宜変化するパラメータ等を一時記憶するRAM(Random Access Memory)により実現される。また、記憶部15は、楽曲情報、撮像画像、録音データ(収音した音声データを含む)等のコンテンツを格納する。
表示部16は、出力部の一例であって、液晶ディスプレイ(LCD:Liquid Crystal Display)装置、有機EL(OLED:Organic Light Emitting Diode)ディスプレイ装置などの表示装置により実現される。例えば表示部16は、制御部10の制御に従って、サーバ2から送信されたファッションデザイン画像を表示する。
スピーカ17は、出力部の一例であって、音声信号を再生する。
<2−3.サーバの構成>
図4は、本実施形態によるサーバ2の構成例を示すブロック図である。図4に示すように、サーバ2は、制御部20、通信部21、パラメータモデルDB22、関連情報記憶部23、デザインモデルDB24、およびデザイン記憶部25を有する。
制御部20は、演算処理装置および制御装置として機能し、各種プログラムに従ってサーバ2内の動作全般を制御する。制御部20は、例えばCPU、マイクロプロセッサ等の電子回路によって実現される。また、本実施形態による制御部20は、パラメータ抽出部201、デザイン生成部202、および提示制御部203として機能する。
パラメータ抽出部201は、通信部21を介してユーザ端末1から送信されたファッションデザインの素材となるコンテンツおよび当該コンテンツに関連する関連情報に基づいて、ファッションデザインを生成するためのパラメータを抽出する。抽出するパラメータは、ファッションを決定付ける色、形状、質感(例えば材質)等である。以下、パラメータ抽出部201によるパラメータ抽出について具体的に説明する。
(A.コンテンツに基づくパラメータ抽出)
ユーザから投稿されるファッションデザインの素材となるコンテンツは、例えば画像データ、音声データ、動画データ(画像データと音声データの組み合わせ)、またはテキストデータが想定される。ユーザは、ユーザ端末1のカメラ12でデザインに使いたいイラストや動物等の被写体を撮影して撮影画像を投稿したり、好きな楽曲やミュージックビデオを投稿したり、デザインを説明する説明文やキーワードを投稿したりすることが可能である。投稿されるコンテンツは、単数に限定されず、複数であってもよい。
(A−1.画像コンテンツ)
パラメータ抽出部201は、例えば投稿された撮像画像(紙に描かれたイラストを撮影した画像、模様や柄を撮影した画像、動物や風景を撮影した画像等)を画像解析して得た特徴量をパラメータとして抽出する。例えばパラメータ抽出部201は、画像解析により、撮像画像に含まれる色の種類、被写体の形状、被写体の質感、または被写体等を抽出する。また、パラメータ抽出部201は、色の種類ではなく、例えば撮像画像に写る空の明るさ等から明暗のパラメータを抽出してもよい。
(A−2.音声コンテンツ)
また、パラメータ抽出部201は、投稿された楽曲(音楽コンテンツの一例)を音声解析して得た特徴量をパラメータとして抽出する。例えばパラメータ抽出部201は、音声解析により楽曲の波形、周波数成分、ピッチ、テンポ等を取得し、これらからパラメータ(色、形状、質感等)を抽出する。なお、どのような波形、周波数成分からどのようなパラメータを抽出するかは、例えばパラメータモデルDB22に格納されているモデルデータとのマッチングにより判断され得る。例えばパラメータ抽出部201は、楽曲に含まれるボーカルの声がハイトーンである場合やテンポが速い場合は、「薄い生地」をパラメータとして抽出してもよい。また、パラメータ抽出部201は、楽曲を音声認識し、得られた文章やキーワードに基づいてパラメータを抽出してもよい。例えば、楽曲の中で頻繁に登場するキーワードに対応する色、形状、質感がパラメータとして抽出される。
(A−3.動画コンテンツ)
また、パラメータ抽出部201は、投稿された動画(例えばアーティストのMusic
Video、ユーザがデザインのイメージを口頭やジェスチャーで説明している撮影動画等)を画像データと音声データに分離し、画像解析、シーン検出、音声解析、音声認識等を行って得た特徴量をパラメータとして抽出する。
(A−4.テキストコンテンツ)
また、パラメータ抽出部201は、投稿されたテキスト(例えば抽象的または具体的な説明、キーワード等)を意味解析し(例えば意味統合、話題抽出、文章要約)、色や形状、質感等のデザインを決定付けるパラメータを抽出する。また、投稿されたテキストが外部リンクの場合、パラメータ抽出部201は、リンク先の画像データ、音声データ、またはテキストデータを取得して上記と同様に解析し、パラメータを抽出する。
(B.コンテンツに関連する関連情報に基づくパラメータ抽出)
本実施形態によるパラメータ抽出部201は、各種解析によりコンテンツから直接的にパラメータを抽出することに限定されず、コンテンツと関連する関連情報からもパラメータを抽出し得る。これにより、コンテンツから想起されるイメージをより忠実にデザイン生成に用いることができる。かかる関連情報は、予め関連情報記憶部23に記憶されていてもよいし、必要に応じてネットワーク上の他のサーバから取得されてもよい。本実施形態による関連情報とは、例えばコンテンツに紐付けられた他のコンテンツ、コンテンツに埋め込まれたメタデータ、メタデータから抽出したキーワードに基づいて検索した参照情報等である。このような関連情報からもデザインを決定付けるパラメータを抽出することで、ユーザが指定したコンテンツから思い描かれるデザインをより忠実に生成することができる。以下、各関連情報について具体的に説明する。
(B−1.コンテンツに紐付けられた他のコンテンツ)
コンテンツに紐付けられた他のコンテンツとは、コンテンツと何らかの関係を持つ同種または異種のコンテンツであって、予め関連情報記憶部23に記憶されている。例えば、特定の音楽コンテンツに対して、当該音楽コンテンツが使用されている映画、ドラマ、コマーシャル、テレビ/インターネット番組、ミュージックビデオ等のコンテンツや、かかるコンテンツの詳細情報(タイトル、ジャンル、内容要約、出演者等)が紐付けられていてもよい。これにより、パラメータ抽出部201は、ユーザに投稿された音楽コンテンツの他、当該音楽コンテンツが使用されているコマーシャルや映画等の解析結果やコンテンツ詳細情報から、デザインを決定付けるパラメータ(色、形状、質感等)を抽出することができる。例えば音楽コンテンツの解析により元気良く楽しい曲であることが分かった場合、パラメータ抽出部201は、「元気さ」や「楽しさ」を表す色の種類をパラメータモデルDB22を参照して抽出し、さらに、当該音楽コンテンツに紐付けられてる映像の世界観(頻出するアイテム、モチーフ、背景等)から、色、形状、質感等を抽出する。したがって、例えばユーザが好きなアーティストの曲のミュージックビデオで表現されているそのアーティストの世界観をファッションデザインに反映させることも可能となる。
(B−2.コンテンツに埋め込まれたメタデータ)
コンテンツに埋め込まれたメタデータとは、例えば音楽コンテンツに埋め込まれている、楽曲タイトル、アーティスト名、ジャンル(例えば、ポップ、メタル、ラテン、ユーロビート、ジャズ、テクノ等)、録音した年等の情報である。
(B−3.メタデータから抽出したキーワードに基づいて検索した参照情報)
また、本実施形態では、上述したメタデータから抽出されたキーワードに基づいてネットワーク上を検索して取得した参照情報を関連情報として用いてもよい。例えば、パラメータ抽出部201は、ジャンル毎のリファレンス画像を持つデータベースから検索したジャンルに応じたリファレンス画像(例えば音楽のジャンル別のファッション画像)や、楽曲タイトルやアーティスト名に基づいて検索した画像(例えばライブ映像、CDジャケット、アーティスト自身の画像等)を画像解析し、パラメータを抽出する。
(B−4.ユーザ嗜好/状況の反映)
また、本実施形態では、ユーザの嗜好や状況を反映させた関連情報を紐付けることで、ユーザの好みのデザインをより正確に生成することを可能とする。ユーザの状況には、ユーザの周辺環境(季節、天候、気温、湿度、場所等)、またはユーザの行動(平日の行動パターン、休日の行動パターン、スケジュール等)が含まれる。
ユーザの嗜好の反映は、出力結果(すなわちファッションデザインの提示)に対するユーザのフィードバック(例えば気に入ったか否か)に基づいて、制御部20により所定の学習アルゴリズムを用いて行われ得る。ユーザの嗜好をフィードバックに基づく機械学習で反映させる場合、何らかの初期条件を与えることで、初期状態においてもある程度のユーザ嗜好を反映させることができる。初期条件の設定は、例えばユーザ自身の選択に基づく方法と、ユーザ操作やセンサデータを用いて自動でユーザの好みを学習する方法とが考えられる。なお、機械学習を行わずに初期条件として得られる情報のみで得られた結果を最終結果としてもよい。
(B−4−1.ユーザ自身の選択に基づく入力初期条件の設定)
ユーザ自身の選択に基づく入力初期条件の設定としては、例えば本実施形態によるデザイン自動生成を実行するアプリケーションの初期設定時に、ユーザの嗜好がある程度把握するための質問画面(チェックシート等)をユーザ端末1で提示し、ユーザの回答に基づいて設定する。
また、サーバ2は、極端に特徴の異なる(例えばジャンル、テンポ等が異なる)複数の楽曲をサンプルとしてユーザ端末1で再生し、楽曲に対応する色を入力画面からユーザに選択させ、選択された色を当該楽曲のジャンルまたはテンポ等に関連情報として紐付けて関連情報記憶部23に記憶する。また、ユーザ自身が、楽曲と、当該楽曲から想起される風景等の画像を選択して投稿した場合、サーバ2は、風景等の画像の中における支配的な色をパラメータとして抽出することも可能である。
(B−4−2.ユーザ状況に基づく自動学習)
上述したような初期設定時におけるユーザ選択の他、普段のユーザの状況に基づいてユーザの好みを自動学習し、初期設定することも可能である。
例えば、ユーザがユーザ端末1で日常的に動画や音楽等のコンテンツを視聴している場合、ユーザがいつどのようなコンテンツを視聴しているのかをバックグラウンドで記録し、サーバ2は、これらの記録(すなわち視聴履歴)に基づいてユーザ嗜好を自動学習する。具体的には、視聴履歴に基づいて、例えば朝に激しい曲(テンポが速い等の特徴を持つ曲。例えばメタル等)を聴くのが好きか、または夜に激しい曲を聴くのが好きか等を学習する。これにより、例えばユーザが朝に激しい曲を聴くのが好きな場合、激しい曲に関する当該ユーザの嗜好を反映した関連情報として「朝」が紐付けられて関連情報記憶部23に記憶される。かかる学習結果に基づいて、例えばユーザがメタル等の激しいジャンルの曲を投稿した場合、パラメータ抽出部201は、激しい曲に紐付けられた関連情報「朝」に基づいて、「色の明暗は明るめ」のパラメータを抽出し、また、曲調が激しいので「鋭角的な形状」のパラメータを抽出する。
また、ユーザがユーザ端末1で日常的に音楽を聞きながら写真(撮影画像)を閲覧している場合、ユーザがどのような音楽を聞きながらどのような撮影画像を閲覧しているのかをバックグラウンドで記録し、サーバ2は、これらの記録(すなわち閲覧履歴)に基づいてユーザ嗜好を自動学習する。具体的には、閲覧履歴に基づいて、撮影画像または撮影画像の分類(風景写真、料理の写真、動物の写真、子供の写真、食事中の写真、海の写真、海外旅行の写真等)と、音楽、音楽の種類(ジャンル、テンポ、ピッチ等)を紐付ける。かかる学習結果に基づいて、例えばユーザが旅行の写真を投稿した場合、パラメータ抽出部201は、旅行の写真に紐付けられたユーザがよく聞く音楽の解析結果に基づいて、色や形状のパラメータを抽出する。このように、投稿した写真を見る時にユーザがよく聞く音楽からもデザイン決定のためのパラメータを抽出することで、ユーザがその写真から思い描くイメージをより忠実にデザインすることが可能となる。
なお画像と音楽との紐付けは上述した例に限定されず、例えばユーザのWebブラウジング中に表示された画像とその際のBGM(background music)を紐付けてもよい。
以上説明したように、ユーザ状況(視聴履歴、閲覧履歴等)に基づいて、楽曲、写真、動画等のコンテンツに対してユーザの嗜好を反映させた関連情報の紐付けが可能となる。
また、コンテンツに対するユーザの嗜好を反映させた関連情報の紐付け方法は、閲覧履歴や視聴履歴に基づく自動学習に限定されず、例えばユーザ端末1(スマートフォン、またはウェアラブル端末等)に設けられた各種センサ(例えば心拍センサ、脈拍センサ、温度センサ、発汗量センサ、動きセンサ(ジャイロセンサ、加速度センサ)、マイクロホン等)により検知されたセンサデータに基づく自動学習も可能である。なお、上記各種センサは、ユーザ端末1に設けられるものに限定されず、例えばユーザ端末1と有線/無線接続したイヤホンに設置されていてもよい。この場合、イヤホンのセンサで取得されたセンサデータはユーザ端末1へ有線/無線で送信される。
例えばユーザ端末1における楽曲再生時や画像閲覧時のユーザの心拍、発汗量、体温、または動き等を各種センサで検知し、サーバ2は、これらの検知結果に基づいて楽曲や画像に対するユーザ嗜好を自動学習し、関連情報として紐付ける。また、サーバ2は、例えば楽曲再生時の心拍パターンと写真等の画像閲覧時の心拍パターンをパターンマッチングして、近いパターンの楽曲と画像を紐付けてもよい。
なおパラメータ抽出部201は、ユーザ端末1に設けられたセンサによる検知結果からパラメータを抽出することも可能である。この場合、ユーザ端末1は、日常的に各種センサで検知したセンサデータをサーバ2に送信する。なお送信するタイミングは特に限定しない。より具体的には、例えば皮膚に直接触れるイヤホン等に温度センサを設けてユーザの体温をセンシングし、サーバ2は、センシングされたユーザの体温とその時の天候情報(天気、気温、湿度等)とを比較して、例えば冬であるにも関わらず薄着が好きであることや、寒がりである等の判別を行ってユーザの好みを把握する。そして、パラメータ抽出部201は、パラメータ抽出時にこのようなユーザのファッションに関する好みを考慮することで、「薄手の材質」、「重ね着」、または「保温性のある衣服」等のパラメータを抽出することができる。
また、ユーザ端末1に匂いセンサを設けてユーザが操作している時やポケットや鞄に入れている時にユーザの匂いをセンシングし、サーバ2は、センシングされた匂いデータと、香水の匂いデータベースとをパターンマッチングしてユーザが使用している香水を特定し、ユーザの好みを把握する。そして、パラメータ抽出部201は、パラメータ抽出時にこのようなユーザが使用している香水を考慮して、例えばネットワーク上から当該香水の広告モデルの服装をリファレンスとして取得し、パラメータを抽出することができる。また、パラメータ抽出部201は、匂いの強さに応じてユーザの自己主張度合いを判定し、所定値より強い場合は自己主張が強いユーザと判定して服の色をビビットにする等のパラメータを抽出することもできる。
また、ユーザ端末1にマイクロホンを設けて周囲音や騒音をセンシングし、サーバ2は、センシングされた環境音に基づいてノイズ解析を行い、日常的にユーザの周囲に人が多いか少ないか、例えば都会か田舎か等をユーザの状況として把握する。そして、パラメータ抽出部201は、パラメータ抽出時にこのようなユーザ状況を考慮して、例えば都会で流行しているファッション情報や、田舎に溶け込む/目立つファッション情報等をネットワーク上からリファレンスとして取得し、パラメータを抽出することができる。また、サーバ2は、センシングされた環境音に基づいて音声解析を行い、日常的にユーザの周囲に存在する動物や昆虫等をユーザ状況として把握し、パラメータ抽出時にこれらの動物や昆虫等をモチーフとするパラメータを抽出することができる。
以上、パラメータ抽出部201によるパラメータ抽出について具体的に説明した。
制御部20のデザイン生成部202は、上述したパラメータ抽出部201により抽出されたパラメータを用いて、所定のファッションカテゴリのデザインを生成する。ここで、ファッションカテゴリとは、ファッションに関連する物品であって、例えば衣服、靴、鞄、または装飾品が想定される。より具体的には、トップス、ジャケット/アウター、パンツ、オールインワン、スカート、ワンピース、スーツ/ネクタイ、ファッション雑貨、財布/小物、イヤホン、ヘッドホン、時計、ヘアアクセサリー、アクセサリー(指輪、ネックレス、バングル、イヤリング、ピアス等)、アンダーウェア、レッグウェア、帽子、水着/浴衣、マタニティーウェア、またはベビー服等が想定される。ファッションカテゴリは、ユーザにより特定のカテゴリが指定されてもよいし、トータルコーディネートが指定されてもよい。また、抽出されたパラメータに基づいてシステム側からファッションカテゴリの候補をユーザに提示して選択させてもよい。
パラメータは、上述したようにデザインを決定付ける色、形状、材質等に関するものであるため、デザイン生成部202は、これらのパラメータに従ってファッションデザインを生成する。例えばファッションカテゴリが「ワンピース」であって、明るい色、シンプルで可愛い形状、ふんわりした材質、といったパラメータが抽出された場合、デザイン生成部202は、図1に示すようなシンプルなラインに胸元切り替えでハイウェストの形状で、洋服の色はライトグレー、サーモンピンク、ライトベージュ、またはオレンジ等で明るく、また、ふんわりした材質として袖をレースにしたワンピースのデザインを生成する。なおこのようなパラメータに対応する各種デザインの候補(デザイン生成用データ)は、デザインモデルDB24に格納されている。
また、デザイン生成部202は、モチーフや被写体がパラメータとして抽出された場合、当該モチーフや被写体をそのままプリントしたデザインや、一部をプリントしたデザインを生成してもよい。
また、本実施形態によるデザイン生成部202は、ユーザの外見的特徴を反映させたデザインを生成することも可能である。ファッションのデザインの場合、身に付けるユーザの外見的特徴(例えばスタイルや顔の特徴)によって似合うものとそうでないものがあるためである。デザイン生成の際に外見的特徴を加味するか否かは、予めユーザが選択できるようにしてもよい。ユーザの外見的特徴は、ユーザ端末1から送信されたユーザの撮像画像に基づいてサーバ2の制御部20が判断してもよいし、ユーザが自身で入力したデータであってもよい。撮像画像は全身が写る画像が望ましいが、全身の画像に特に限定せず、例えばサーバ2の制御部20は、顔の大きさ等からスタイルを算出することも可能である。
デザイン生成部202は、顔の特徴量やスタイル情報に基づいて、サーバ2内のデータベース(不図示)またはWeb上の情報からユーザに似ている人物(芸能人、ファッションモデル等)の画像をパターンマッチング等により特定し、当該人物の服装をユーザに似合う服装のリファレンスとする(サイズ、色、形状、材質等)。
また、デザイン生成部202は、特定した人物画像から取得した服装の色、形状、質感と、上述した楽曲のジャンル毎のリファレンス画像から取得した服装の色、形状、質感とをマージしてデザインを生成してもよい。マージ方法については特に限定しないが、例えば初回は楽曲のジャンル毎のリファレンス画像の方を優先して適用し、ユーザの好みに合わない旨のフィードバックがユーザからあった場合はユーザに似ている人物の画像の方を優先して適用してもよい。また、双方の画像から取得し得る服装の色、形状、質感の平均値を取って適用してもよい。また、ユーザからのフィードバックに応じて、双方の画像のどちらを優先的に反映させるかの重み付けを調整してもよい。また、デザイン生成部202は、さらに楽曲のピッチ等の特徴量を反映させて最終的なデザインの調整を行ってもよい。
提示制御部203は、デザイン生成部202により生成されたデザインをユーザへ提示するよう制御する機能を有する。具体的には、提示制御部203は、生成されたデザインを含む画像データを、通信部21からネットワーク3を介してユーザ端末1へ送信し、ユーザ端末1の表示部16で表示するよう制御する。
通信部21は、外部装置と有線/無線を介してデータの送受信を行う。例えば通信部11は、ユーザ端末1とネットワーク3を介して接続し、ユーザが投稿したコンテンツを受信したり、生成したデザインに関する情報を送信したりする。
パラメータモデルDB22は、コンテンツの解析結果(例えば明暗、輝度、波形、周波数成分等)に対応するパラメータ(色、形状、質感等のファッションデザインを決定付けるパラメータ)のモデルデータを格納する。
関連情報記憶部23は、コンテンツに関連する関連情報を格納する。関連情報の具体例については上述したため、ここでの説明は省略する。
デザインモデルDB24は、パラメータに対応する各種デザインの候補(デザイン生成用データ)を格納する。
デザイン記憶部25は、ユーザ端末1でユーザに提示したデザインがユーザ操作により保存指示された場合に、当該デザインデータを記憶する。また、デザイン記憶部25は、デザインをユーザ毎に記憶してデザインのアイデアリストとして保存する。
以上、サーバ2の構成について具体的に説明した。なお図4に示す構成は一例であって、例えば各種データベース(パラメータモデルDB22、関連情報記憶部23、デザインモデルDB24、およびデザイン記憶部25)は、ネットワーク上の他サーバにあってもよい。
続いて、本実施形態による動作処理について図5および図6を参照して具体的に説明する。
<<3.動作処理>>
<3−1.デザイン提示処理>
図5は、本実施形態によるデザイン提示処理を示すフローチャートである。図5に示すように、まず、サーバ2は、デザイン生成の素材となるコンテンツを取得する(ステップS103)。具体的には、サーバ2は、ユーザによりユーザ端末1から投稿される画像、楽曲、またはテキスト等を通信部21で受信する。
次に、サーバ2は、デザインの対象となるファッションカテゴリを取得する(ステップS106)。ファッションカテゴリは、例えばユーザによりユーザ端末1で選択され、上記コンテンツと併せて送信され得る。
次いで、サーバ2は、プロやアマチュアによるデザインを実行する場合(ステップS109/Yes)、登録された所定の外部装置へデザイン依頼を送信する(ステップS112)。具体的には、サーバ2は、ユーザから投稿されたコンテンツ、および指定されたファッションカテゴリを、デザイン依頼として通信部21から所定の外部装置へ送信する。この際、サーバ2は、ユーザ嗜好情報、ユーザ状況、またはユーザの外見的特徴等を併せて送信してもよい。本実施形態において、プロやアマチュアによるデザインの実行は、コンテンツの投稿時等にユーザが選択できるようにする。
次に、サーバ2は、プロやアマチュアにより生成されたデザインを外部装置から受信する(ステップS115)。
一方、プロやアマチュアによるデザインを実行しない場合、すなわちデザインを自動生成する場合(ステップS109/No)、サーバ2の制御部20は、投稿されたコンテンツに基づいて、指定されたファッションカテゴリのデザインを生成する(ステップS118)。
次いで、サーバ2の提示制御部203は、生成されたデザインをユーザに提示する(ステップS121)。具体的には、提示制御部203は、デザイン生成部202により生成されたデザインを通信部21からユーザ端末1へ送信し、ユーザ端末1の表示部16で表示するよう制御する。この際、提示制御部203は、生成したデザインと類似する商品の有無をアラーム機能により通知し、肖像権や著作権に対応することも可能である。また、サーバ2は、生成したデザインをユーザが利用しているソーシャルネットワーク上で公開し、他ユーザからの評価やコメントを取得できるようにしてもよい。
次に、ユーザからデザイン変更の指示があった場合(ステップS124/Yes)、サーバ2は、上記ステップS109〜S121を繰り返し、ユーザ指示を反映したデザインを再度ユーザに提示する。デザイン変更の指示は、例えば色、形状、または質感の変更や、ファッションカテゴリの変更、新たなコンテンツの投稿、コンテンツの変更等が想定される。
次いで、サーバ2は、ユーザによるデザイン保存指示に応じて、ユーザに提示したデザインをデザイン記憶部25に保存する(ステップS127)。また、ユーザによるデザインの保存指示は、ユーザがデザインを気に入ったことを意味するため、サーバ2は、当該フィードバックに基づいてユーザの嗜好情報(どのようなファッションが好みであるか等)を取得し得る。
以上、本実施形態によるデザイン提示処理について説明した。なお、本実施形態によるサーバ2は、プロやアマチュアによるデザインとデザイン生成部202により自動生成したデザインとの両方をユーザに提示するようにしてもよい。また、サーバ2は、デザイン生成部202により自動生成された複数のデザインをユーザに提示するようしてもよい。さらに、サーバ2は、保存したデザインに対してユーザにより商品化申請の指示があった場合、商品化のため当該デザインを所定の外部装置に送信し、商品化依頼を行ってもよい。
<3−2.デザイン生成処理>
続いて、図5のステップS118に示すデザイン生成処理について、図6を参照して具体的に説明する。図6は、本実施形態によるデザイン生成処理を示すフローチャートである。
図6に示すように、まず、サーバ2のパラメータ抽出部201は、取得したコンテンツの関連情報を取得する(ステップS133)。関連情報とは、上述したように、例えばコンテンツに紐付けられた他のコンテンツ、コンテンツに埋め込まれたメタデータ、メタデータから抽出したキーワードに基づいて検索した参照情報等である。
次に、パラメータ抽出部201は、取得したコンテンツを解析する(ステップS136)。例えばパラメータ抽出部201は、画像解析、シーン検出、音声解析、音声認識、または意味解析等を行う。
次いで、パラメータ抽出部201は、コンテンツの解析結果およびコンテンツの関連情報からファッションデザインを決定付けるためのパラメータ(色、形状、質感等)を抽出する(ステップS139)。
そして、デザイン生成部202は、抽出したパラメータを用いて、指定されたファッションカテゴリのデザインを生成する(ステップS142)。この際、デザイン生成部202は、デザインモデルDB24に格納されているパラメータに応じたデザイン生成用データを用いてもよい。
<<4.表示例>>
続いて、本実施形態によるデザインのユーザ提示例について説明する。本実施形態によるデザインの提示は、例えば図1に示すようにユーザ端末1でデザインを1つ表示させる他、複数のデザインを表示させる方法であってもよい。以下図7を参照して具体的に説明する。
図7は、本実施形態によるデザイン提示画面の一例を示す図である。図示された例では、画面110に、生成したデザイン画像111と、選択画面112と、選択した情報を考慮して生成したデザイン画像群113とが表示されている。選択画面112には、デザインを生成する際に考慮する情報が示される。例えば「匂い」が選択された場合、サーバ2のデザイン生成部202は、ユーザから投稿されたコンテンツや関連情報から抽出されたパラメータに加えて、匂い毎のパラメータを考慮したデザインを生成する。具体的には、例えば花の香り、グレープフルーツの匂い、またはユーザの香り(ユーザ端末1に設けられた匂いセンサにより取得した匂いデータが用いられる)等から抽出した各パラメータを考慮して各々デザインを生成する。また、「音楽」が選択された場合、サーバ2のデザイン生成部202は、ユーザから投稿されたコンテンツや関連情報から抽出されたパラメータに加えて、音楽のジャンル毎のパラメータを考慮したデザインを生成する。具体的には、例えばラテン、ジャズ、カントリー、R&B、テクノ、またはポップ等から抽出した各パラメータを考慮して各々デザインを生成する。
デザイン画像群113には、上述したように各パラメータを考慮して各々生成された複数のデザインが表示されている。例えばユーザがデザイン画像群113から1のデザイン画像を選択すると、画面110の上方(図7においてデザイン画像111が表示されている領域)に拡大表示され得る。
また、本実施形態によるデザインの提示は、3D表示により行ってもよい。この場合、デザイン生成部202は、3次元の形状データを有するファッションデザインを生成する。3Dで表示することで、ユーザは、ユーザ端末1の表示部16のような2次元の画面上で、デザインの角度を自由に変更して確認することができる。また、提示制御部203は、ユーザ操作に応じて様々なフィルターをかけた状態のファッションデザインを表示することも可能である。
例えば、提示制御部203は、季節フィルターとして、季節毎に所定の背景、光加減、材質、または色の組み合わせでファッションデザインを表示させることも可能である。例えば春フィルターが選択された場合、提示制御部203は、背景に桜の木や桜の花びらが舞う様子を表示し、さらにデザイン生成部202により材質と色を春に合わせたものに変更されたファッションデザインを表示する。また、例えば夏フィルターが選択された場合、提示制御部203は、背景に海、ひまわり、砂浜等を表示し、さらに強い日差しを再現し、また、デザイン生成部202により材質と色を夏に合わせたものに変更されたファッションデザインを表示する。これにより、ユーザは、提示されたファッションデザインが季節に合うか否かを直感的に確認することができる。
また、提示制御部203は、風フィルターとして、提示したデザインの洋服が風になびく様子を表示させることも可能である。これにより、ユーザは、提示されたデザインの洋服に使用されている素材の軽さや質感を直感的に確認することができる。また、提示制御部203は、照明フィルターとして、提示されたファッションデザインの色を指定された光加減に応じて変更させることで、ユーザは、室内、屋外、晴天時、または曇天時等の周囲の照度が異なる場合におけるファッションデザインの色の見え方の違いを直感的に把握することができる。
また、提示制御部203は、ファッションフィルターとして、提示したファッションデザインのテイストを変更して表示させることも可能である。具体的には、提示制御部203は、デザイン生成部202により生成された、所定のファッションのテイストが反映されたファッションデザインを表示させる。ファッションのテイストとは、例えばプレッピー、アメカジ(アメリカンカジュアル)、エキセントリック、オリエンタル、コケティッシュ、スポーティー、ドレッシー、ノスタルジック、フェミニン、ミリタリー、ヴィクトリアン、マニッシュ、マリン等が挙げられる。
また、提示制御部203は、材質フィルターとして、提示したファッションデザインの材質をユーザに選択された材質に変更して表示することも可能である。材質の選択項目としては、例えば「質感(硬−柔)」、「光沢(つや−マット)」、「素材(重−軽、厚−薄)」等が想定される。
<<5.まとめ>>
上述したように、本開示の実施形態による情報処理システムでは、ユーザが選択したコンテンツに基づいて物品デザインを生成し、ユーザ負担を軽減することが可能となる。
これにより、例えば好きなアーティストのコンサートに着て行くファッションをデザインしたい場合、ユーザは、当該アーティストの楽曲やミュージックビデオを素材コンテンツとして投稿し、楽曲やミュージックビデオで用いられるモチーフや色合い、雰囲気等の世界観が反映されたファッションアイテムを取得することができる。
また、ユーザが一人とは限らず、サーバ2は、例えば複数ユーザがソーシャルネットでやり取りしたコンテンツ(例えば撮像画像、メッセージの内容等)に基づいて、複数のファッションデザインを生成してもよい。この際、サーバ2は、ファッションデザインの一部が各ユーザがそれぞれ発信した撮像画像やメッセージ内容に応じたものにすることで、全体での統一感を維持しつつも、一部がそれぞれ異なる複数のファッションデザインを提示することができる。また、サーバ2は、ユーザにより指定された1以上の他ユーザの外見的特徴や嗜好情報等を考慮して、統一感を維持しつつも、一部がそれぞれ異なる複数のファッションデザインを生成してもよい。具体的には、サーバ2は、ファッションデザインの一部を、各ユーザ(ユーザ本人および指定した1以上の他ユーザ)の外見的特徴や嗜好情報等を考慮してそれぞれ変更した複数のファッションデザインを生成する。
また、サーバ2は、ユーザから投稿されたコンテンツの他、デザインの指示が入力された場合、これに従ったデザインを生成することも可能である。例えば、ユーザが古くなった鞄の撮像画像と、「素材はもっと柔らかめで柄を夏仕様に」といった説明文を投稿すると、サーバ2のデザイン生成部202は、撮像画像から抽出した鞄の形状と、説明文から抽出されるパラメータ(素材:柔らかめ、柄:夏仕様)とに基づいて、新しい鞄のデザインを生成することができる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したユーザ端末1、またはサーバ2に内蔵されるCPU、ROM、およびRAM等のハードウェアに、ユーザ端末1、またはサーバ2の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、上述した実施形態では、ユーザ端末1およびサーバ2から成る情報処理システムとして説明したが、本開示はこれに限定されず、例えばサーバ2が有する制御部20の各種機能や関連情報記憶部23をユーザ端末1が有する構成としてもよい。これにより、ユーザ端末1は、上述したパラメータ抽出、デザイン生成、および提示制御の少なくとも一部を実行可能となる。また、上述したサーバ2で行われる全ての処理をユーザ端末1のみで実行することも可能である。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
(1)
ユーザに選択されたコンテンツおよび前記コンテンツに関連する関連情報に基づいて、物品デザインを生成するためのパラメータを抽出する抽出部と、
前記パラメータを用いて、指定された物品のデザインを生成する生成部と、
前記生成したデザインを前記ユーザへ提示するよう制御する提示制御部と、
を備える、情報処理装置。
(2)
前記関連情報は、前記コンテンツに紐付けられた同じまたは異なる種別のコンテンツである、前記(1)に記載の情報処理装置。
(3)
前記コンテンツは、音楽データまたは画像データである、前記(1)または(2)に記載の情報処理装置。
(4)
前記関連情報は、前記コンテンツに埋め込まれているメタデータである、前記(3)に記載の情報処理装置。
(5)
前記関連情報は、音楽データに埋め込まれているメタデータから抽出したキーワードに基づいて検索した画像データである、前記(4)に記載の情報処理装置。
(6)
前記関連情報は、前記コンテンツに紐付けられた、ユーザの嗜好または状況が反映されたコンテンツである、前記(2)に記載の情報処理装置。
(7)
前記抽出部は、前記ユーザに選択されたコンテンツである音楽データまたは画像データを解析して得た特徴量からパラメータを抽出する、前記(1)〜(6)のいずれか1項に記載の情報処理装置。
(8)
前記パラメータは、色、形状、または質感の少なくともいずれかである、前記(1)〜(7)のいずれか1項に記載の情報処理装置。
(9)
前記生成部は、ユーザの外見的特徴をさらに用いて前記物品のデザインを生成する、前記(1)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記生成部は、前記物品として、衣服、靴、鞄、装飾品、またはインテリアのデザインを生成する、前記(1)〜(9)のいずれか1項に記載の情報処理装置。
(11)
前記関連情報は、センサによる検知結果に基づいて前記コンテンツと関連付けられる、前記(1)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記センサは、心拍センサである、前記(11)に記載の情報処理装置。
(13)
前記関連情報は、音楽データまたは画像データである、前記(12)に記載の情報処理装置。
(14)
前記抽出部は、センサによる検知結果に基づいて、前記物品デザインを生成するためのパラメータを抽出する、前記(1)〜(13)のいずれか1項に記載の情報処理装置。
(15)
前記センサは、匂いセンサである、前記(14)に記載の情報処理装置。
(16)
前記生成部は、ユーザからの変更指示に応じて前記物品のデザインを変更する、前記(1)〜(15)のいずれか1項に記載の情報処理装置。
(17)
プロセッサが、
ユーザに選択されたコンテンツおよび前記コンテンツに関連する関連情報に基づいて、物品デザインを生成するためのパラメータを抽出することと、
前記パラメータを用いて、指定された物品のデザインを生成することと、
前記生成したデザインを前記ユーザへ提示するよう制御することと、
を含む、情報処理方法。
(18)
コンピュータを、
ユーザに選択されたコンテンツおよび前記コンテンツに関連する関連情報に基づいて、物品デザインを生成するためのパラメータを抽出する抽出部と、
前記パラメータを用いて、指定された物品のデザインを生成する生成部と、
前記生成したデザインを前記ユーザへ提示するよう制御する提示制御部と、
として機能させるための、プログラム。
1 ユーザ端末
10 制御部
11 通信部
12 カメラ
13 マイクロホン
14 操作入力部
15 記憶部
16 表示部
17 スピーカ
2 サーバ
20 制御部
201 パラメータ抽出部
202 デザイン生成部
203 提示制御部
21 通信部
22 パラメータモデルDB
23 関連情報記憶部
24 デザインモデルDB
25 デザイン記憶部
3 ネットワーク

Claims (15)

  1. ユーザに選択されたコンテンツおよび前記コンテンツに関連する関連情報に基づいて、物品デザインを生成するためのパラメータを抽出する抽出部と、
    前記パラメータを用いて、指定された物品のデザインを生成する生成部と、
    前記生成したデザインを前記ユーザへ提示するよう制御する提示制御部と、
    を備え
    前記コンテンツは、音楽データまたは画像データであり、
    前記関連情報は、前記コンテンツとしての音楽データに埋め込まれているメタデータから抽出したキーワードに基づいて検索した画像データである、
    情報処理装置。
  2. 前記関連情報は、前記コンテンツに紐付けられた同じまたは異なる種別のコンテンツである、請求項1に記載の情報処理装置。
  3. 前記関連情報は、前記コンテンツに紐付けられた、ユーザの嗜好または状況が反映されたコンテンツである、請求項2に記載の情報処理装置。
  4. 前記抽出部は、前記ユーザに選択されたコンテンツである音楽データまたは画像データを解析して得た特徴量からパラメータを抽出する、請求項1〜のいずれか1項に記載の情報処理装置。
  5. 前記パラメータは、色、形状、または質感の少なくともいずれかである、請求項1〜のいずれか1項に記載の情報処理装置。
  6. 前記生成部は、ユーザの外見的特徴をさらに用いて前記物品のデザインを生成する、請求項1〜のいずれか1項に記載の情報処理装置。
  7. 前記生成部は、前記物品として、衣服、靴、鞄、装飾品、またはインテリアのデザインを生成する、請求項1〜のいずれか1項に記載の情報処理装置。
  8. 前記関連情報は、センサによる検知結果に基づいて前記コンテンツと関連付けられる、請求項1〜のいずれか1項に記載の情報処理装置。
  9. 前記センサは、心拍センサである、請求項に記載の情報処理装置。
  10. 前記関連情報は、音楽データまたは画像データである、請求項に記載の情報処理装置。
  11. 前記抽出部は、センサによる検知結果に基づいて、前記物品デザインを生成するためのパラメータを抽出する、請求項1〜10のいずれか1項に記載の情報処理装置。
  12. 前記センサは、匂いセンサである、請求項11に記載の情報処理装置。
  13. 前記生成部は、ユーザからの変更指示に応じて前記物品のデザインを変更する、請求項1〜12のいずれか1項に記載の情報処理装置。
  14. プロセッサが、
    ユーザに選択されたコンテンツおよび前記コンテンツに関連する関連情報に基づいて、物品デザインを生成するためのパラメータを抽出することと、
    前記パラメータを用いて、指定された物品のデザインを生成することと、
    前記生成したデザインを前記ユーザへ提示するよう制御することと、
    を含み、
    前記コンテンツは、音楽データまたは画像データであり、
    前記関連情報は、前記コンテンツとしての音楽データに埋め込まれているメタデータから抽出したキーワードに基づいて検索した画像データである、情報処理方法。
  15. コンピュータを、
    ユーザに選択された、音楽データまたは画像データであるコンテンツと、前記コンテンツに関連する、前記コンテンツとしての音楽データに埋め込まれているメタデータから抽出したキーワードに基づいて検索した画像データである関連情報とに基づいて、物品デザインを生成するためのパラメータを抽出する抽出部と、
    前記パラメータを用いて、指定された物品のデザインを生成する生成部と、
    前記生成したデザインを前記ユーザへ提示するよう制御する提示制御部と、
    として機能させるための、プログラム。
JP2017554938A 2015-12-08 2016-09-02 情報処理装置、情報処理方法、およびプログラム Active JP6834980B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015239081 2015-12-08
JP2015239081 2015-12-08
PCT/JP2016/075823 WO2017098760A1 (ja) 2015-12-08 2016-09-02 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2017098760A1 JPWO2017098760A1 (ja) 2018-09-20
JP6834980B2 true JP6834980B2 (ja) 2021-02-24

Family

ID=59013923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017554938A Active JP6834980B2 (ja) 2015-12-08 2016-09-02 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US11288723B2 (ja)
EP (1) EP3389002A1 (ja)
JP (1) JP6834980B2 (ja)
CN (1) CN108292320A (ja)
WO (1) WO2017098760A1 (ja)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11288723B2 (en) 2015-12-08 2022-03-29 Sony Corporation Information processing device and information processing method
DE112018003894T5 (de) * 2017-07-31 2020-04-16 Sony Corporation Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahrenund programm
CN109426780A (zh) * 2017-08-28 2019-03-05 青岛海尔洗衣机有限公司 穿戴物品信息采集系统和方法
CN109427090A (zh) * 2017-08-28 2019-03-05 青岛海尔洗衣机有限公司 穿戴物品3d模型构建系统和方法
US10769481B2 (en) * 2017-09-07 2020-09-08 Myntra Design Private Limited System and method for extraction of design elements of fashion products
JP2019067055A (ja) * 2017-09-29 2019-04-25 日本電気株式会社 端末装置、検索装置、解析装置、推定装置、システム、端末装置の動作方法及びプログラム
KR102045017B1 (ko) * 2018-02-12 2019-11-29 송우상 이미지/텍스트 기반 디자인 생성 장치 및 방법
CA3111613A1 (en) * 2018-09-26 2020-04-02 Robert Anthony Baker Automated manufacturing architectural millwork
JP2021005252A (ja) * 2019-06-26 2021-01-14 パナソニックIpマネジメント株式会社 コンテンツ生成システム、コンテンツ生成方法及びプログラム
WO2021009880A1 (ja) 2019-07-17 2021-01-21 株式会社アシックス デザイン支援装置及びデザイン支援方法
CN110659953A (zh) * 2019-08-16 2020-01-07 大连隆生服饰有限公司 一种皮衣定制的生产系统
WO2021145213A1 (ja) * 2020-01-14 2021-07-22 ソニーグループ株式会社 情報処理装置、および情報処理方法、並びにプログラム
WO2022145525A1 (ko) * 2020-12-29 2022-07-07 주식회사 디자이노블 학습된 조건 기반의 디자인 생성 방법 및 그 장치
JP7353411B1 (ja) * 2022-03-24 2023-09-29 株式会社Zozo 情報処理装置、情報処理方法及び情報処理プログラム
KR102585912B1 (ko) * 2022-12-14 2023-10-06 주식회사 딥노이드 디자인권이 적용된 제품군을 자동으로 탐색하기 위한 장치 및 이를 위한 방법

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001216528A (ja) * 2000-02-02 2001-08-10 Kazuhiro Shiina 通信ネットワークを用いたシュミレーションシステム
JP2002189844A (ja) 2000-12-22 2002-07-05 Casio Comput Co Ltd 表示制御装置及び製品デザインシステム
JP2004287471A (ja) * 2001-03-02 2004-10-14 Ccp:Kk 自動編集システム
JP2003055826A (ja) * 2001-08-17 2003-02-26 Minolta Co Ltd サーバおよび仮想試着用データ管理方法
US6882897B1 (en) 2004-01-05 2005-04-19 Dennis S. Fernandez Reconfigurable garment definition and production method
WO2007043679A1 (ja) * 2005-10-14 2007-04-19 Sharp Kabushiki Kaisha 情報処理装置およびプログラム
JP4935275B2 (ja) 2006-03-14 2012-05-23 大日本印刷株式会社 情報提供システム及び情報提供方法等
KR20080002187A (ko) * 2006-06-30 2008-01-04 주식회사 케이티 개인 감성 및 상황 변화에 따른 맞춤형 감성 서비스 시스템및 그 방법
CA2689757A1 (en) * 2007-07-18 2009-01-18 Steven C. Kays Adaptive electronic design
US8666909B2 (en) * 2007-11-02 2014-03-04 Ebay, Inc. Interestingness recommendations in a computing advice facility
JP5293018B2 (ja) 2008-09-09 2013-09-18 ソニー株式会社 音楽情報処理装置、音楽情報処理方法およびコンピュータプログラム
US8615290B2 (en) * 2008-11-05 2013-12-24 Apple Inc. Seamlessly embedded heart rate monitor
JP2010113593A (ja) 2008-11-07 2010-05-20 Sony Corp 情報処理装置、情報処理方法及び情報処理プログラム
JP5206378B2 (ja) 2008-12-05 2013-06-12 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
KR20120018380A (ko) 2009-06-30 2012-03-02 나이키 인터내셔널 엘티디. 소비재의 디자인
US8904450B2 (en) * 2009-10-13 2014-12-02 Sony Corporation Individual internet video link channel
JP2011228918A (ja) 2010-04-20 2011-11-10 Sony Corp 情報処理装置、情報処理方法およびプログラム
WO2011152844A1 (en) * 2010-06-01 2011-12-08 Hewlett-Packard Development Company, L.P. Image clustering using a personal clothing model
GB201102794D0 (en) * 2011-02-17 2011-03-30 Metail Ltd Online retail system
US9183510B1 (en) 2011-10-03 2015-11-10 Tastebud Technologies, Inc. Method and system for personalized recommendation of lifestyle items
US9690368B2 (en) * 2011-12-30 2017-06-27 Adidas Ag Customization based on physiological data
JP5367872B2 (ja) * 2012-05-25 2013-12-11 テレコム・イタリア・エッセ・ピー・アー 選択されたコンテンツアイテムをユーザーに提供する方法
US20140012406A1 (en) 2012-07-05 2014-01-09 Nike, Inc. Rapid Manufacturing Customization Of Footwear Components
US9898742B2 (en) * 2012-08-03 2018-02-20 Ebay Inc. Virtual dressing room
US9788600B2 (en) * 2012-12-19 2017-10-17 New Balance Athletics, Inc. Customized footwear, and systems and methods for designing and manufacturing same
US20140180864A1 (en) * 2012-12-20 2014-06-26 Ebay Inc. Personalized clothing recommendation system and method
US20140365336A1 (en) * 2013-06-07 2014-12-11 Bby Solutions, Inc. Virtual interactive product display with mobile device interaction
US9852441B2 (en) * 2013-07-31 2017-12-26 Rovi Guides, Inc. Methods and systems for recommending media assets based on scent
KR101821284B1 (ko) * 2013-08-22 2018-01-23 비스포크, 인코포레이티드 커스텀 제품을 생성하기 위한 방법 및 시스템
US20150088921A1 (en) * 2013-09-20 2015-03-26 Ebay Inc. Search guidance
US10088972B2 (en) * 2013-12-31 2018-10-02 Verint Americas Inc. Virtual assistant conversations
US20150277155A1 (en) * 2014-03-31 2015-10-01 New Eye London Ltd. Customized eyewear
WO2016049060A1 (en) * 2014-09-22 2016-03-31 Ebay Inc. Machine generated recommendation and notification models
US20170352091A1 (en) * 2014-12-16 2017-12-07 Metail Limited Methods for generating a 3d virtual body model of a person combined with a 3d garment image, and related devices, systems and computer program products
US11288723B2 (en) 2015-12-08 2022-03-29 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
CN108292320A (zh) 2018-07-17
EP3389002A4 (en) 2018-10-17
US20180374136A1 (en) 2018-12-27
EP3389002A1 (en) 2018-10-17
US11288723B2 (en) 2022-03-29
WO2017098760A1 (ja) 2017-06-15
JPWO2017098760A1 (ja) 2018-09-20

Similar Documents

Publication Publication Date Title
JP6834980B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Friedlander Rock and roll: A social history
JP6773190B2 (ja) 情報処理システム、制御方法、および記憶媒体
WO2018045358A1 (en) Generating theme-based videos
JP2016513918A (ja) マルチメディアプレゼンテーションシステム
JP2014203377A (ja) 画像処理装置および記憶媒体
Peterson Clubbing masculinities: Gender shifts in gay men's dance floor choreographies
JP7136099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2014142876A (ja) データ生成装置、コンテンツ再生装置、および記憶媒体
WO2016084453A1 (ja) 情報処理装置、制御方法、およびプログラム
Kim Reappropriating Desires in Neoliberal Societies through KPop
Sherlock ‘It’s kind of where the shoe gets you to I suppose’: Materializing identity with footwear
Engel The Muff affair: fashioning celebrity in the portraits of late-eighteenth-century British actresses
Sharma Choreographing the queer: Visual and textual stimuli in Mandeep Raikhy’s dance-making process
Mattar Miso soup for the ears: Contemporary Japanese popular music and its relation to the genres familiar to the Anglophonic audience
Woldu Do these sequins make my butt look fat? Wardrobe, image, and the challenge of identity in the music of Black American women
Lascity Brand references and music video intertextuality: Lessons from Summer Girls and She Looks So Perfect
Wallace Varda, Cléo and Pomme in Paris: the figure of the chanteuse in Cléo de 5 à 7 and L’Une chante, l’autre pas
Guevara Of fabric and fabrication: Lila Downs’ refashioning of transnational music
O'Gara “This Is Not a Performance”: Coming-Out Videos, LGBTQ+ Microcelebrity, and the Tenuous Rise of New Queer YouTube
Dudrah “Balle-Balle, Balle-Balle”: Fashion–British bhangra style
Tysowski The Leather Diaries and the Rise and Fall of Rocket Queen
Beyer Beyond the Binary: A Close Reading of Gender-Fluid Masculinities in Gucci's Spring/Summer 2016 Campaign
Hall Analysis and characterization of “Gowns by Adrian”: the costume design aesthetic and philosophy of Gilbert Adrian, 1928-1941.
Fallon Theology of Style: Expressing the Unique and Unrepeatable You

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190208

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20190214

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190222

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20190515

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20190522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190826

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201027

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210118

R151 Written notification of patent or utility model registration

Ref document number: 6834980

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151