JP7439431B2 - 情報配信装置、情報生成方法、及び情報生成プログラム - Google Patents

情報配信装置、情報生成方法、及び情報生成プログラム Download PDF

Info

Publication number
JP7439431B2
JP7439431B2 JP2019174269A JP2019174269A JP7439431B2 JP 7439431 B2 JP7439431 B2 JP 7439431B2 JP 2019174269 A JP2019174269 A JP 2019174269A JP 2019174269 A JP2019174269 A JP 2019174269A JP 7439431 B2 JP7439431 B2 JP 7439431B2
Authority
JP
Japan
Prior art keywords
try
target image
data
image
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019174269A
Other languages
English (en)
Other versions
JP2021051563A (ja
Inventor
雅之 永野
立巳 長沼
智 廣瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2019174269A priority Critical patent/JP7439431B2/ja
Priority to US16/996,958 priority patent/US11580674B2/en
Publication of JP2021051563A publication Critical patent/JP2021051563A/ja
Priority to JP2024021467A priority patent/JP2024045564A/ja
Application granted granted Critical
Publication of JP7439431B2 publication Critical patent/JP7439431B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/06Buying, selling or leasing transactions
    • G06Q30/0601Electronic shopping [e-shopping]
    • G06Q30/0641Shopping interfaces
    • G06Q30/0643Graphical representation of items or shoppers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/60Editing figures and text; Combining figures or text

Landscapes

  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Theoretical Computer Science (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Development Economics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)

Description

本発明は、情報配信装置、情報生成方法、及び情報生成プログラムに関する。
複数の端末装置間を通信可能な状態とすることにより、仮想空間においてリアルタイムで対話を行いつつショッピングを行うことが可能なシステムが知られている(例えば、特許文献1参照)。
特許第5845830号公報
上記のようなシステムにおいて、例えば衣服等の試着を行う場合、ユーザが自ら試着を行う場合が前提となっている。これに対して、ユーザが自分以外の第三者に対しても試着を実行可能なシステムが求められている。
本発明は、上記に鑑みてなされたものであり、ユーザが自分以外の第三者に対しても試着を実行可能な情報配信装置、情報生成方法、及び情報生成プログラムを提供することを目的とする。
本発明に係る情報配信装置は、特定の対象物を含む撮影画像を撮影する撮影部と、前記撮影画像の中から前記特定の対象物の対象画像を取得する対象画像取得部と、仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成する試着データ生成部とを備える。
本発明に係る情報生成方法は、特定の対象物を含む撮影画像を撮影することと、前記撮影画像の中から前記特定の対象物の対象画像を取得することと、仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成することとを含む。
本発明に係る情報生成プログラムは、特定の対象物を含む撮影画像を撮影する処理と、前記撮影画像の中から前記特定の対象物の対象画像を取得する処理と、仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成する処理とをコンピュータに実行させる。
本発明によれば、ユーザが自分以外の第三者に対しても試着を実行可能となる。
図1は、第1実施形態に係る情報配信システムの一例を模式的に示す図である。 図2は、情報配信システムの一例を示す機能ブロック図である。 図3は、試着対象物を撮影した撮影画像の一例を示す図である。 図4は、試着対象物を撮影した撮影画像の一例を示す図である。 図5は、試着対象物を撮影した撮影画像の一例を示す図である。 図6は、試着対象物を撮影した撮影画像の一例を示す図である。 図7は、登録画像を含む撮影画像の一例を示す図である。 図8は、情報配信システムの動作の一例を示すフローチャートである。 図9は、第2実施形態に係る情報配信システムの一例を示す図である。 図10は、情報配信システムの動作の一例を示すフローチャートである。 図11は、第3実施形態に係る情報配信システムの一例を示す図である。 図12は、情報配信システムの動作の一例を示すフローチャートである。
以下、本発明の実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
[第1実施形態]
図1は、第1実施形態に係る情報配信システム100の一例を模式的に示す図である。図1に示すように、情報配信システム100は、サーバ10と、配信装置(情報配信装置)20と、受信装置(情報受信装置)30とを備える。配信装置20、サーバ10、及び受信装置30は、ネットワークNWを介して通信可能である。また、配信装置20と受信装置30とは、互いに離れた位置に配置される。例えば、配信装置20及び受信装置30の一方に対して、他方が遠隔地に配置される。情報配信システム100では、例えば遠隔地との間において情報を相互に通信可能である。
図2は、情報配信システム100の一例を示す機能ブロック図である。図2に示すように、サーバ10は、通信部12と、制御部13と、記憶部14とを有する。
通信部12は、例えばネットワークNWを介して配信装置20及び受信装置30との間で情報の通信が可能である。通信部12は、有線及び無線のいずれの通信を行うものであってもよい。
制御部13は、CPU(Central Processing Unit)等の処理装置と、RAM(Random Access Memory)又はROM(Read Only Memory)等の記憶装置を有する。制御部13は、登録処理部13a及び通信制御部13bを有する。
登録処理部13aは、受信者についての登録処理を行う。登録処理としては、例えば受信装置30から送信される受信者の識別情報及び登録アバターを記憶部14に記憶させる。
通信制御部13bは、配信装置20及び受信装置30との間の通信を制御する。通信制御部13bは、配信装置20及び受信装置30から送信される情報を通信部12に受信させる。また、通信制御部13bは、配信装置20及び受信装置30に対して通信部12に情報を送信させる。
記憶部14は、各種情報を記憶する。記憶部14は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部14として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部14は、登録情報記憶部14aを有する。登録情報記憶部14aは、受信者についての登録情報を記憶する。登録情報は、受信者を識別する識別情報と、受信者の仮想空間における登録アバターとを含む。登録アバターは、例えば仮想空間において三次元で存在する。
また、配信装置20は、入出力部21と、通信部22と、制御部23と、記憶部24と、撮影部25と、HMD26とを有する。
入出力部21は、例えば撮影部25、ヘッドマウントディスプレイ(HMD)26に接続される。撮影部25は、撮影画像を撮影する。入出力部21は、撮影部25で撮影される撮影画像が入力される。また、入出力部21は、所定の表示情報をHMD26に出力する。
通信部22は、例えばネットワークNWを介してサーバ10との間で情報の通信が可能である。通信部22は、有線及び無線のいずれの通信を行うものであってもよい。
制御部23は、CPU等の処理装置と、RAM又はROM等の記憶装置を有する。入出力制御部23aと、通信制御部23bと、対象画像取得部23cと、試着データ生成部23dとを有する。
入出力制御部23aは、入出力部21に入力される撮影画像を取得する。また、入出力制御部23aは、HMD26に表示させる表示情報を入出力部21から出力させる。
通信制御部23bは、通信部22における情報の送受信を制御する。通信制御部23bは、例えば後述する登録アバター等、通信部22で受信する情報を取得する。通信制御部23bは、撮影部25で撮影される撮影画像、後述する試着データ生成部23dで生成される試着データを通信部22から送信させる。
対象画像取得部23cは、撮影画像の中から特定の対象物の対象画像を取得する。以下、特定の対象物として、試着対象物を例に挙げて説明する。対象画像取得部23cは、例えば、試着対象物を把持して撮影する配信者の腕の動きに基づいて対象画像を取得する。対象画像取得部23cは、取得した対象画像を記憶部24に記憶させる。
試着データ生成部23dは、サーバ10に登録される仮想空間における登録アバターと、対象画像取得部23cで取得される対象画像とに基づいて、試着データを生成する。試着データ生成部23dは、サーバ10に対して登録アバターを送信するよう要求する。なお、サーバ10から登録アバターが送信される場合、通信制御部23bにおいて取得される。試着データ生成部23dは、登録アバターに対して対象画像を重畳させることで、アバターとしての試着データである試着アバターを生成可能である。また、試着データ生成部23dは、登録アバターに基づく登録画像を生成し、撮影画像のうち対象画像に対応する部位にリアルタイムで登録画像を配置することで、登録画像を含む撮影画像を試着データとして生成する。ここで、登録アバターに基づく登録画像とは、例えば、登録アバターの頭、胴体、手足など登録アバターの部分的な画像である。試着データ生成部23dは、生成した試着データを記憶部24に記憶させる。
記憶部24は、各種情報を記憶する。記憶部24は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部24として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部24は、対象画像記憶部24aと、試着データ記憶部24bとを有する。対象画像記憶部24aは、対象画像取得部23cで取得された対象画像を記憶する。試着データ記憶部24bは、試着データ生成部23dで生成された試着データを記憶する。なお、登録画像を含む撮影画像が試着データとして生成される場合、当該撮影画像は試着データ記憶部24bに記憶されなくてもよい。また、記憶部24は、特定の対象物として試着対象物Cを含む撮影画像IMを撮影する処理と、撮影された撮影画像IMの中から試着対象物Cの対象画像Qを取得する処理と、登録アバターと、取得した対象画像Qとに基づいて試着データTDを生成する処理とをコンピュータに実行させる情報生成プログラムを記憶する。
また、受信装置30は、入出力部31と、通信部32と、制御部33と、記憶部34と、撮影部35と、表示部36とを有する。受信装置30は、キーボード、マウス、スイッチ、タッチパネル等の不図示の入力装置を有している。
入出力部31は、例えば撮影部35及び表示部36に接続される。入出力部31は、撮影部35で撮影される撮影画像が入力される。また、入出力部31は、所定の表示情報を表示部36に出力する。
通信部32は、例えばネットワークNWを介してサーバ10との間で情報の通信が可能である。通信部32は、有線及び無線のいずれの通信を行うものであってもよい。
制御部33は、CPU等の処理装置と、RAM又はROM等の記憶装置を有する。入出力制御部33aと、通信制御部33bとを有する。
入出力制御部33aは、入出力部21に入力される撮影画像を取得する。また、入出力制御部33aは、表示部36に表示させる表示情報を入出力部21から出力させる。通信制御部33bは、配信装置20から送信され通信部32で受信した試着データを取得し、記憶部34に記憶させる。また、通信制御部33bは、所定の情報を通信部32から送信させる。
記憶部34は、各種情報を記憶する。記憶部24は、例えばハードディスクドライブ、ソリッドステートドライブ等のストレージを有している。なお、記憶部24として、リムーバブルディスク等の外部記憶媒体が用いられてもよい。記憶部34は、試着データ記憶部34aを有する。試着データ記憶部34aは、通信部32で受信した試着データを記憶する。
撮影部35は、登録アバターを生成するための受信者の画像を撮影する。表示部36は、試着データを表示可能である。表示部36としては、液晶ディスプレイ等のフラットパネルディスプレイであってもよいし、HMDであってもよい。
次に、上記のように構成された情報配信システム100の動作の一例を説明する。本実施形態において、配信者P1及び受信者P2は、一方に対して他方が遠隔地に存在する。例えば、配信者P1は、衣服を販売する実店舗に赴くことが可能な位置に存在する。一方、受信者P2は、当該実店舗に対して遠隔地に存在するため、赴くことが困難である。このような状況において、本実施形態では、配信者P1が実店舗に赴き、受信者P2の好む衣服を選ぶ場合を例に挙げて説明する。
配信者P1及び受信者P2は、例えばサーバ10の登録情報記憶部14aにおいて登録情報が記憶されており、互いの容姿を知った状態である。ここで、登録情報記憶部14aに登録情報を記憶する場合について説明する。以下、受信者P2の登録情報を記憶する場合を例に挙げて説明するが、配信者P1の登録情報を記憶する場合についても同様の説明が可能である。
まず、サーバ10にアカウントの作成を開始する。例えば、受信者P2を識別できるユーザ識別情報を受信装置30の不図示の入力装置等により入力する。次に、撮影部35により、受信者P2の容姿を撮影する。この場合、受信者P2の顔画像を含むようにする。また、受信者P2の全身の情報を含むことが好ましい。また、受信者P2の正面、背面、左右の側面のそれぞれから撮影した情報を含むことが好ましい。なお、受信者P2の腕の長さ、足の長さ、身長、体重、胴囲、頭囲等の身体情報を数値として不図示の入力装置から別途入力するものであってもよい。サーバ10では、撮影した画像に基づいて登録アバターが生成され、ユーザ識別情報と対応付けた状態で登録情報記憶部14aに記憶される。
このような状態において、配信者P1は、配信装置20を携えて所定の実店舗に赴き、受信者P2が好みそうな衣服(試着対象物)を選択する。このとき、配信者P1は、試着対象物を選択する様子を撮影部25により撮影する。例えば、配信者P1は、HMD26を装着した状態で、当該HMDに固定された撮影部25により試着対象物を撮影する。撮影部25により撮影された撮影画像は、制御部23の対象画像取得部23cによってリアルタイムで解析されると共に、通信制御部23bにより通信部22からネットワークNWを介してサーバ10に送信される。また、当該撮影画像は、サーバ10の通信制御部13bにより通信部12からネットワークNWを介して受信者P2の受信装置30に送信される。
受信装置30では、通信部32において撮影画像を受信する。通信制御部33bは、受信された撮影画像を取得する。入出力制御部33aは、取得された撮影画像を入出力部31から表示部36に出力させる。表示部36は、撮影画像を表示する。受信者P2は、表示部36に表示される撮影画像を見ることにより、試着対象物を選んでいる状況を配信者P1と共有することができる。
配信者P1は、受信者P2が好みそうな試着対象物Cを見つけた場合、当該試着対象物Cを把持した状態で撮影部25により撮影する。この時、配信者P1の手の動きが映るようにする。配信者P1は、例えば試着対象物Cを両手で把持した状態で所定の高さ位置まで持ち上げ、両手を広げる第1動作を行う。図3は、試着対象物Cを撮影した撮影画像の一例を示している。図3に示すように、撮影画像IM1には、配信者P1が試着対象物Cを目線の高さまで持ち上げて広げた状態で把持する手H1が映っている。
対象画像取得部23cは、例えば撮影画像の中に配信者P1の手H1が所定の高さよりも高い位置に存在し、かつ両手の間隔が所定間隔以上の状態で試着対象物Cを保持している場面を検出した場合、第1動作が行われたと判断することができる。対象画像取得部23cは、撮影画像の中に配信者P1が上記第1動作を行う場面を検出した場合、配信者P1が把持する試着対象物Cの画像を対象画像として取得する。対象画像取得部23cは、例えば画像処理等により試着対象物Cの範囲を確定することができる。対象画像取得部23cは、取得した対象画像を記憶部24の対象画像記憶部24aに記憶させる。
また、配信者P1は、例えば第1動作により両手を広げた状態から、両手を近づける方向に移動させ、試着対象物Cの裏側が映るように試着対象物Cを持ち替えて再び両手を広げる第2動作を行う。図4及び図5は、試着対象物Cを撮影した撮影画像の一例を示している。図4に示す撮影画像IM2は、配信者P1が試着対象物Cを持ち替えようとして両手を近づけた場面の一例である。また、図5に示す撮影画像IM3は、配信者P1が試着対象物Cを持ち替えた後、試着対象物Cの裏側を手前側に向けて再び両手を広げた場面の一例である。
対象画像取得部23cは、第1動作の後、例えば配信者P1の両手が一旦近づいて再び離れる場面を検出した場合、第2動作が行われたと判断することができる。対象画像取得部23cは、撮影画像の中に配信者P1が上記第2動作を行う場面を検出した場合、配信者P1が把持する試着対象物Cの裏側の画像を新たに対象画像として取得する。対象画像取得部23cは、取得した対象画像を記憶部24の対象画像記憶部24aに記憶させる。
試着データ生成部23dは、対象画像記憶部24aに対象画像が記憶されたことを検出した場合、サーバ10に対して受信者P2の登録情報のうち登録アバターを送信するように要求する。サーバ10は、当該要求に対して、受信者P2の登録アバターを通信部12から送信する。配信装置20の通信部22は、送信された登録アバターを受信する。通信制御部23bは、受信した登録アバターを取得する。
試着データ生成部23dは、取得した登録アバターと、対象画像記憶部24aに記憶された対象画像とに基づいて、受信者P2の試着データを生成する。試着データは、受信者P2が試着対象物Cを試着した場合の外見について、受信装置30の表示部36に表示させるためのデータである。
試着データ生成部23dは、登録アバターに対して対象画像を重畳させることで、試着アバターを生成することができる。当該試着アバターは、アバターとしての試着データである。試着データ生成部23dは、例えば登録アバターの正面側には試着対象物Cの正面を映した対象画像を重畳させ、登録アバターの背面側には試着対象物Cの裏面を映した対象画像を重畳させる。図6は、試着アバターの一例を示す図である。図6に示す試着アバターA1は、登録アバターA0の正面側に試着対象物Cの正面側の対象画像Q1を重畳させた状態を示している。また、図6に示す試着アバターA2は、登録アバターA0の背面側に試着対象物Cの裏面側の対象画像Q2を重畳させた状態を示している。通信制御部23bは、生成された試着アバターA1、A2を通信部22からネットワークNWを介してサーバ10に送信させる。サーバ10では、通信部12において試着アバターA1、A2を受信する。通信制御部13bは、受信した試着アバターA1、A2を通信部12からネットワークNWを介して受信装置30に送信する。
受信装置30では、通信部32により当該試着アバターを受信する。通信制御部33bは、受信された試着アバターを取得する。入出力制御部33aは、取得した試着アバターを入出力部31から表示部36に出力させる。表示部36は、当該試着アバターを表示する。つまり、試着対象物Cの対象画像が重畳された状態の受信者P2の登録アバターが表示部36に表示される。
また、試着データ生成部23dは、登録アバターに基づく登録画像を生成し、撮影画像において対象画像に対応する部位にリアルタイムで登録画像を配置することで、撮影画像として試着データを生成することができる。図7は、登録画像を含む撮影画像の一例を示す図である。図7に示す撮影画像IM4は、配信者P1が把持した状態の試着対象物Cの対象画像Qに対応する位置に登録画像IM5が配置された状態となっている。通信制御部23bは、登録画像IM5を含む撮影画像IM4を通信部22からネットワークNWを介してサーバ10に送信させる。サーバ10では、通信部12において当該撮影画像IM4を受信する。通信制御部13bは、受信した撮影画像IM4を通信部12からネットワークNWを介して受信装置30に送信する。
この場合、受信装置30では、通信部32により当該撮影画像IM4を受信する。通信制御部33bは、受信された撮影画像IM4を取得する。入出力制御部33aは、取得した撮影画像IM4を入出力部31から表示部36に出力させる。表示部36は、当該撮影画像IM4を表示することで、試着データを表示することができる。つまり、試着対象物Cの対象画像Qに対応するように受信者P2の登録画像IM5が配置された状態の撮影画像IM4が表示部36に表示される。
このように、受信者P2は、試着対象物Cが販売される店舗に対して遠隔地に存在する場合でも、表示部36に表示される試着データTDを見ることにより、試着した状態を確認することができる。また、試着データとして試着アバターが生成される場合、受信者P2は、正面側及び背面側の好きな向きから試着状態を確認することができる。また、撮影画像として試着データが生成される場合、配信者P1が撮影する撮影画像をリアルタイムで見ながら試着状態を確認することができる。
図8は、情報配信システム100の動作の一例を示すフローチャートである。図8に示すように、配信者P1が撮影部25により試着対象物を撮影する場合(ステップS101)、対象画像取得部23cは、撮影部25により撮影された撮影画像に試着対象物C等の試着対象物が含まれるか否かをリアルタイムで解析する(ステップS102)。ステップS102において、対象画像取得部23cは、例えば撮影画像の中に配信者P1による第1動作及び第2動作の場面が含まれるかを解析する。試着対象物が検出された場合(ステップS102のYes)、対象画像取得部23cは、試着対象物の対象画像を取得し(ステップS103)、取得した対象画像を記憶部24の対象画像記憶部24aに記憶させる。
試着データ生成部23dは、対象画像記憶部24aに対象画像が記憶されたことを検出した場合、サーバ10に登録アバターを送信するよう要求(ステップS104)。サーバ10は、ステップS104の要求を受信した場合(ステップS105)、登録アバターを配信装置20に送信する(ステップS106)。通信制御部23bは、サーバ10から送信される登録アバターを取得する(ステップS107)。試着データ生成部23dは、取得した登録アバターと、対象画像記憶部24aに記憶された対象画像とに基づいて、受信者P2の試着データを生成する(ステップS108)。ステップS108において、試着データ生成部23dは、例えば登録アバターに対して対象画像を重畳させることで、試着アバターを生成することができる。また、試着データ生成部23dは、取得した登録アバターに基づいて、受信者P2の登録画像を生成し、撮影画像において対象画像に対応する部位に登録画像を配置することで、登録画像を含む撮影画像を試着データとして生成することができる。通信制御部23bは、生成された試着データを通信部22からネットワークNWを介してサーバ10に送信させる(ステップS109)。サーバ10では、通信部12により当該試着データを受信し、受信した試着データを通信部12からネットワークNWを介して受信装置30に送信する(ステップS110)。
受信装置30では、通信部32により当該試着データを受信する(ステップS111)。通信制御部33bは、受信された試着データを取得する。入出力制御部33aは、取得した試着データを入出力部31から表示部36に出力させる。表示部36は、当該試着データを表示する(ステップS112)。
以上のように、本実施形態に係る配信装置20は、特定の対象物として試着対象物Cを含む撮影画像IMを撮影する撮影部25と、撮影画像IMの中から試着対象物Cの対象画像Qを取得する対象画像取得部23cと、登録アバターと、対象画像Qとに基づいて試着データTDを生成する試着データ生成部23dとを備える。
また、本実施形態に係る情報生成方法は、特定の対象物として試着対象物Cを含む撮影画像IMを撮影することと、撮影された撮影画像IMの中から試着対象物Cの対象画像Qを取得することと、登録アバターと、取得した対象画像Qとに基づいて試着データTDを生成することとを含む。
また、本実施形態に係る情報生成プログラムは、特定の対象物として試着対象物Cを含む撮影画像IMを撮影する処理と、撮影された撮影画像IMの中から試着対象物Cの対象画像Qを取得する処理と、登録アバターと、取得した対象画像Qとに基づいて試着データTDを生成する処理とをコンピュータに実行させる。
上記の構成によれば、配信装置20において、受信者P2の登録アバターと試着対象物の対象画像とを用いて試着データを生成することができるため、自分以外の受信者P2に対しても試着対象物の試着を実行可能となる。
本実施形態に係る配信装置20において、試着データ生成部23dは、登録アバターに対して対象画像Qを重畳させることで、アバターとしての試着データTDである試着アバターを生成する。これにより、アバターとしての試着データTDを受信者P2に提供することができる。
本実施形態に係る配信装置20において、試着データ生成部23dは、登録アバターに基づく登録画像を生成し、撮影画像IMに含まれる対象画像Qに対応する部位に登録画像の配置を行うことで、撮影画像IMとしての試着データTDを生成する。これにより、撮影画像IMを送信することで試着データTDを受信者P2に提供することができる。
本実施形態に係る配信装置20において、対象画像取得部23cは、試着対象物Cを把持して撮影する配信者P1の腕の動きに基づいて対象画像Qを取得する。これにより、配信者P1の動作に応じて対象画像Qを確実に取得することができる。
[第2実施形態]
図9は、第2実施形態に係る情報配信システム200の一例を示す図である。第1実施形態では、配信装置20において試着データを生成する構成を例に挙げて説明したが、本実施形態に係る情報配信システム200では、図9に示すように、サーバ110において試着データを生成する構成となっている。
配信装置120は、入出力部121と、通信部122と、制御部123と、記憶部124と、撮影部125と、HMD126とを有する。入出力部121、通信部122、撮影部125及びHMD126は、それぞれ第1実施形態に係る入出力部21、通信部22、撮影部25及びHMD26と同様である。本実施形態において、記憶部124には、対象画像記憶部及び試着データ記憶部が設けられない構成である。
制御部123は、入出力制御部123aと、通信制御部123bと、対象画像取得部123cとを有する。本実施形態において、制御部123には、試着データ生成部が設けられない構成である。入出力制御部123a及び対象画像取得部123cについては、それぞれ第1実施形態に記載の入出力制御部23a及び対象画像取得部23cと同様である。
通信制御部123bは、対象画像取得部123cにより対象画像が取得された場合、通信部122を介して対象画像をサーバ110に送信させる。この処理により、取得された対象画像がサーバ110に送信される。
サーバ110は、通信部112、制御部113、記憶部114を有する。通信部112は、第1実施形態と同様、例えばネットワークNWを介して配信装置120及び受信装置130との間で情報の通信が可能である。
記憶部114は、登録情報記憶部114aと、対象画像記憶部114bと、試着データ記憶部114cとを有する。登録情報記憶部114aは、第1実施形態と同様、受信者P2の登録情報を記憶する。対象画像記憶部114bは、受信した対象画像を記憶する。試着データ記憶部114cは、後述する試着データ生成部113dで生成される試着データを記憶する。
制御部113は、登録処理部113a、通信制御部113b、試着データ生成部113dを有する。登録処理部113a及び通信制御部113bについては、第1実施形態における登録処理部13a及び通信制御部13bと同様の構成ある。なお、通信制御部113bは、通信部112で受信する対象画像を取得し、対象画像記憶部114bに記憶させる。また、通信制御部113bは、後述する試着データ記憶部114cに試着データが記憶された場合、当該試着データを通信部112から受信装置130に送信させる。
試着データ生成部113dは、対象画像記憶部114bに対象画像が記憶された場合、当該対象画像と、登録情報記憶部114aに記憶される登録アバターとに基づいて、試着データを生成する。試着データ生成部113dは、生成した試着データを、記憶部114の試着データ記憶部114cに記憶させる。試着データ生成部113dによる試着データの生成処理については、第1実施形態と同様である。
受信装置130は、入出力部131と、通信部132と、制御部133と、記憶部134と、撮影部135と、表示部136とを有する。受信装置130の各部の構成については、第1実施形態に記載の受信装置30と同様である。
図10は、情報配信システム200の動作の一例を示すフローチャートである。図10に示すように、配信者P1が撮影部125により試着対象物を撮影する場合(ステップS201)、対象画像取得部123cは、撮影画像に試着対象物が含まれるか否かをリアルタイムで解析する(ステップS202)。試着対象物が検出された場合(ステップS202のYes)、対象画像取得部123cは、試着対象物の対象画像を取得する(ステップS203)。通信制御部123bは、対象画像が取得された場合、当該対象画像を通信部122からネットワークNWを介してサーバ10に送信させる(ステップS204)。
サーバ10では、通信部112において対象画像を受信する(ステップS205)。通信制御部113bは、受信した対象画像を取得し、記憶部114の対象画像記憶部114bに記憶させる。試着データ生成部113dは、対象画像記憶部114bに対象画像が記憶されたことを検出した場合、記憶部114の登録情報記憶部114aに記憶される登録アバターを取得する(ステップS206)。試着データ生成部113dは、取得した登録アバターと、対象画像記憶部24aに記憶された対象画像とに基づいて、受信者P2の試着データを生成する(ステップS207)。試着データ生成部113dは、生成した試着データを記憶部114の試着データ記憶部114cに記憶させる。通信制御部113bは、試着データ記憶部114cに記憶された試着データを通信部112からネットワークNWを介して配信装置120及び受信装置130に送信させる(ステップS208)。
配信装置120では、通信部122により当該試着データを受信する(ステップS209)。通信制御部123bは、受信された試着データを取得する。入出力制御部123aは、取得した試着データを入出力部121からHMD126に出力させる。HMD126は、当該試着データを表示する(ステップS210)。
受信装置130では、通信部132により当該試着データを受信する(ステップS211)。通信制御部133bは、受信された試着データを取得する。入出力制御部133aは、取得した試着データを入出力部131から表示部136に出力させる。表示部136は、当該試着データを表示する(ステップS212)。
以上のように、本実施形態に係る情報配信システム200は、仮想空間における登録アバターが予め生成された受信者P2に対する試着対象物Cを実空間で撮影可能な撮影部125、撮影部125により撮影された撮影画像IMの中から試着対象物Cの対象画像Qを取得する対象画像取得部123c、並びに、撮影画像IM及び対象画像Qを送信可能な側通信部122、を有する配信装置120と、登録アバターを記憶する記憶部114、配信装置120から送信される撮影画像IM及び対象画像Qを受信する通信部112、並びに、記憶部114に記憶される登録アバターと受信した対象画像Qとに基づいて試着データTDを生成する試着データ生成部113d、を有し、生成した試着データTDを通信部112から送信可能なサーバ110と、サーバ110から送信される試着データTDを受信する通信部132、及び、受信した試着データTDを表示する表示部136、を有する受信装置130とを備える。この構成により、サーバ110において試着データTDを生成する構成であるため、配信装置120側の処理の負担を軽減することができる。
[第3実施形態]
図11は、第3実施形態に係る情報配信システム300の一例を示す図である。上記の第2実施形態では、配信装置120において配信者P1の所定の動作に基づいて対象画像Qを取得する構成を例に挙げて説明した。これに対して、第3実施形態に係る情報配信システム300では、対象画像Qの取得処理が異なっている。
図11に示すように、情報配信システム300において、配信装置220は、入出力部221と、通信部222と、制御部223と、記憶部224と、撮影部225と、HMD226とを有する。入出力部221、通信部222、撮影部225及びHMD226は、それぞれ第2実施形態に係る入出力部221、通信部222、撮影部225及びHMD226と同様である。
本実施形態では、試着対象物にAR(Augmented Reality)マーカー等の識別情報が予め付与される。この識別情報は、例えば撮影部225により撮影することが可能である。制御部223には、識別情報検出部223cが設けられる。識別情報検出部223cは、撮影部225により撮影される撮影画像の中に識別情報が含まれる場合に、当該識別情報を検出する。識別情報が検出される場合、通信制御部223bは、検出された識別情報を通信部222からネットワークNWを介してサーバ210に送信させる。
サーバ210は、通信部212、制御部213、記憶部214を有する。通信部212は、第2実施形態と同様、例えばネットワークNWを介して配信装置220及び受信装置230との間で情報の通信が可能である。
記憶部214は、登録情報記憶部214aと、試着データ記憶部214cと、データベース部214dとを有する。登録情報記憶部214a及び試着データ記憶部214cは、第2実施形態の登録情報記憶部114a及び試着データ記憶部114cと同様である。データベース部214dは、識別情報が付与された試着対象物に対応する対象画像を記憶する。本実施形態において、データベース部214dは、試着対象物に対応する対象画像と当該試着対象物の識別情報とを対応付けた状態で記憶する。
制御部213は、登録処理部213a、通信制御部213b、対象画像取得部213c及び試着データ生成部213dを有する。登録処理部213a及び通信制御部213bについては、第2実施形態における登録処理部213a及び通信制御部213bと同様である。通信制御部213bは、通信部212で受信する識別情報を取得する。
対象画像取得部213cは、通信制御部213bで取得された識別情報に対応する対象画像を記憶部214のデータベース部214dから取得する。
試着データ生成部213dは、取得された対象画像と、登録情報記憶部214aに記憶される登録アバターとに基づいて、試着データを生成する。試着データ生成部213dは、生成した試着データを、記憶部214の試着データ記憶部214cに記憶させる。試着データ生成部213dによる試着データの生成処理については、第2実施形態と同様である。
受信装置230は、入出力部231と、通信部232と、制御部233と、記憶部234と、撮影部235と、表示部236とを有する。受信装置230の各部の構成については、第2実施形態に記載の受信装置130と同様である。
図12は、情報配信システム300の動作の一例を示すフローチャートである。図12に示すように、配信者P1が撮影部225により試着対象物を撮影する場合(ステップS301)、識別情報検出部223cは、撮影画像に試着対象物の識別情報が含まれるか否かをリアルタイムで解析する(ステップS302)。識別情報が検出された場合(ステップS302のYes)、通信制御部223bは、検出された識別情報を通信部222からネットワークNWを介してサーバ210に送信させる(ステップS303)。
サーバ210では、通信部212において識別情報を受信する(ステップS304)。通信制御部213bは、受信した識別情報を取得する。対象画像取得部213cは、通信制御部213bで取得された識別情報に対応する対象画像をデータベース部214dから取得する(ステップS305)。また、試着データ生成部213dは、記憶部214の登録情報記憶部214aに記憶される登録アバターを取得する(ステップS306)。試着データ生成部213dは、取得した登録アバター及び対象画像に基づいて、受信者P2の試着データを生成する(ステップS307)。試着データ生成部213dは、生成した試着データを記憶部214の試着データ記憶部214cに記憶させる。通信制御部213bは、試着データ記憶部214cに記憶された試着データを通信部212からネットワークNWを介して配信装置220及び受信装置230に送信させる(ステップS308)。
配信装置220では、通信部222により当該試着データを受信する(ステップS309)。通信制御部223bは、受信された試着データを取得する。入出力制御部223aは、取得した試着データを入出力部221からHMD226に出力させる。HMD226は、当該試着データを表示する(ステップS310)。
また、受信装置230では、通信部232により当該試着データを受信する(ステップS311)。通信制御部233bは、受信された試着データを取得する。入出力制御部233aは、取得した試着データを入出力部231から表示部236に出力させる。表示部236は、当該試着データを表示する(ステップS312)。
以上のように、本実施形態に係る情報配信システム300は、試着対象物について予め付与された識別情報を検出する識別情報検出部223cと、識別情報が付与された試着対象物に対応する対象画像を記憶するデータベース部214dと、を更に備え、対象画像取得部213cは、識別情報検出部223cにより識別情報が検出された場合、検出された識別情報に対応する対象画像をデータベース部214dから取得する。これにより、試着対象物に付与された識別情報を検出することで、対象画像をより簡単にかつ確実に取得することができる。
本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記第3実施形態では、第2実施形態と同様にサーバ210において試着データを生成する構成を例に挙げて説明したが、これに限定されず、第1実施形態と同様に配信装置20において試着データを生成する構成についても適用することができる。
10,110,210…サーバ
20,120,220…配信装置
30,130,230…受信装置
100,200,300…情報配信システム

Claims (8)

  1. 特定の対象物を含む撮影画像を撮影する撮影部と、
    前記撮影画像の中から前記特定の対象物の対象画像を取得する対象画像取得部と、
    仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成する試着データ生成部と
    を備え
    前記試着データ生成部は、前記登録アバターに基づく登録画像を生成し、前記撮影画像に含まれる前記対象画像に対応する部位に前記登録画像の配置を行うことで、前記撮影画像としての前記試着データを生成する
    情報配信装置。
  2. 特定の対象物を含む撮影画像を撮影する撮影部と、
    前記撮影画像の中から前記特定の対象物の対象画像を取得する対象画像取得部と、
    仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成する試着データ生成部と
    を備え、
    前記対象画像取得部は、前記特定の対象物を把持して撮影する配信者の腕の動きに基づいて前記対象画像を取得する
    情報配信装置。
  3. 前記試着データ生成部は、前記登録アバターに対して前記対象画像を重畳させることで、アバターとしての前記試着データである試着アバターを生成する
    請求項1又は請求項2に記載の情報配信装置。
  4. 前記特定の対象物について予め付与された識別情報を検出する識別情報検出部と、
    前記識別情報が付与された前記特定の対象物に対応する前記対象画像を記憶するデータベース部と、を更に備え、
    前記対象画像取得部は、前記識別情報検出部により前記識別情報が検出された場合、検出された前記識別情報に対応する前記対象画像を前記データベース部から取得する
    請求項1に記載の情報配信装置。
  5. 特定の対象物を含む撮影画像を撮影することと、
    前記撮影画像の中から前記特定の対象物の対象画像を取得することと、
    仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成することと、
    生成した前記試着データを情報受信装置に送信することと
    を含み、
    前記試着データを生成する場合には、前記登録アバターに基づく登録画像を生成し、前記撮影画像に含まれる前記対象画像に対応する部位に前記登録画像の配置を行うことで、前記撮影画像としての前記試着データを生成する
    情報生成方法。
  6. 特定の対象物を含む撮影画像を撮影することと、
    前記撮影画像の中から前記特定の対象物の対象画像を取得することと、
    仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成することと、
    生成した前記試着データを情報受信装置に送信することと
    を含み、
    前記対象画像を取得する場合には、前記特定の対象物を把持して撮影する配信者の腕の動きに基づいて前記対象画像を取得する
    情報生成方法。
  7. 特定の対象物を含む撮影画像を撮影する処理と、
    前記撮影画像の中から前記特定の対象物の対象画像を取得する処理と、
    仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成する処理と
    をコンピュータに実行させ
    前記試着データを生成する処理では、前記登録アバターに基づく登録画像を生成し、前記撮影画像に含まれる前記対象画像に対応する部位に前記登録画像の配置を行うことで、前記撮影画像としての前記試着データを生成する
    情報生成プログラム。
  8. 特定の対象物を含む撮影画像を撮影する処理と、
    前記撮影画像の中から前記特定の対象物の対象画像を取得する処理と、
    仮想空間における登録アバターと、前記対象画像とに基づいて試着データを生成する処理と
    をコンピュータに実行させ、
    前記対象画像を取得する処理では、前記特定の対象物を把持して撮影する配信者の腕の動きに基づいて前記対象画像を取得する
    情報生成プログラム。
JP2019174269A 2019-09-25 2019-09-25 情報配信装置、情報生成方法、及び情報生成プログラム Active JP7439431B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2019174269A JP7439431B2 (ja) 2019-09-25 2019-09-25 情報配信装置、情報生成方法、及び情報生成プログラム
US16/996,958 US11580674B2 (en) 2019-09-25 2020-08-19 Information distribution apparatus, information generation method, and information generation program
JP2024021467A JP2024045564A (ja) 2019-09-25 2024-02-15 情報配信装置、情報生成方法、及び情報生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019174269A JP7439431B2 (ja) 2019-09-25 2019-09-25 情報配信装置、情報生成方法、及び情報生成プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024021467A Division JP2024045564A (ja) 2019-09-25 2024-02-15 情報配信装置、情報生成方法、及び情報生成プログラム

Publications (2)

Publication Number Publication Date
JP2021051563A JP2021051563A (ja) 2021-04-01
JP7439431B2 true JP7439431B2 (ja) 2024-02-28

Family

ID=74881285

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019174269A Active JP7439431B2 (ja) 2019-09-25 2019-09-25 情報配信装置、情報生成方法、及び情報生成プログラム
JP2024021467A Pending JP2024045564A (ja) 2019-09-25 2024-02-15 情報配信装置、情報生成方法、及び情報生成プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024021467A Pending JP2024045564A (ja) 2019-09-25 2024-02-15 情報配信装置、情報生成方法、及び情報生成プログラム

Country Status (2)

Country Link
US (1) US11580674B2 (ja)
JP (2) JP7439431B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170761A (ja) 2010-02-22 2011-09-01 Brother Industries Ltd モデル画像作成装置、およびモデル画像作成装置のモデル画像作成プログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL7601442A (en) 1975-02-25 1976-08-27 Gen Electric Integrated circuit light detector amplifier - has semiconductor substrate divided into insulated photo-diode and signal transistor zones
JP5845830B2 (ja) 2011-11-09 2016-01-20 ソニー株式会社 情報処理装置、表示制御方法、およびプログラム
US9626804B2 (en) * 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
CN105631455B (zh) * 2014-10-27 2019-07-05 阿里巴巴集团控股有限公司 一种图像主体提取方法及系统
US10339593B2 (en) * 2015-07-07 2019-07-02 Lutzy Inc. System and network for outfit planning and wardrobe management
US11403699B2 (en) * 2019-08-29 2022-08-02 Lg Electronics Inc. Multimedia device and method for controlling the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011170761A (ja) 2010-02-22 2011-09-01 Brother Industries Ltd モデル画像作成装置、およびモデル画像作成装置のモデル画像作成プログラム

Also Published As

Publication number Publication date
US11580674B2 (en) 2023-02-14
US20210090303A1 (en) 2021-03-25
JP2021051563A (ja) 2021-04-01
JP2024045564A (ja) 2024-04-02

Similar Documents

Publication Publication Date Title
JP5843340B2 (ja) 3次元環境共有システム及び3次元環境共有方法
CN108986766B (zh) 信息显示终端以及信息显示方法
JP4757115B2 (ja) 画像処理装置、画像処理方法
JP5869712B1 (ja) 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム
JP6720385B1 (ja) プログラム、情報処理方法、及び情報処理端末
JP2002058045A (ja) 現実の物体をバーチャル3次元空間に登場させるためのシステム及び方法
WO2020239251A1 (en) Methods and systems for determining body measurements and providing clothing size recommendations
JP6550549B1 (ja) 配信ユーザの動きに基づいて生成されるキャラクタオブジェクトのアニメーションを含む動画をライブ配信する動画配信システム、動画配信方法及び動画配信プログラム
JP2016038813A (ja) 仮想試着装置、仮想試着システム、仮想試着方法、およびプログラム
KR20210065423A (ko) 증강현실 기반의 오프라인 매장에서의 가상 피팅시스템
WO2009066219A1 (en) Methods and devices for receiving and transmitting an indication of presence
JP5890359B2 (ja) 端末装置、表示方法、プログラム、および表示システム
JP2023029520A (ja) 表示制御装置、制御方法、プログラム及び記憶媒体
JP7439431B2 (ja) 情報配信装置、情報生成方法、及び情報生成プログラム
JP6691631B1 (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
JP2018190335A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
KR20210025102A (ko) 배신 유저의 움직임에 기초하여 생성되는 캐릭터 오브젝트의 애니메이션을 포함하는 동화상을 라이브 배신하는 동화상 배신 시스템, 동화상 배신 방법 및 동화상 배신 프로그램
JP2022167902A (ja) 動画処理方法、サーバ装置及びコンピュータプログラム
JP2002183525A (ja) 仮想空間を利用したオンラインショッピングシステム
CN109756728B (zh) 图像显示方法及装置,电子设备,计算机可读存储介质
JP2021131490A (ja) 情報処理装置、情報処理方法、プログラム
JP6941715B2 (ja) 表示装置、表示プログラム、表示方法及び表示システム
JP2018190395A (ja) 仮想空間を提供するための方法、当該方法をコンピュータに実行させるためのプログラム、および当該プログラムを実行するための情報処理装置
JP7397282B2 (ja) 静止判定システム及びコンピュータプログラム
JP2023152511A (ja) 試着画面表示システム及び試着画面表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230831

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230912

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231110

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240129

R150 Certificate of patent or registration of utility model

Ref document number: 7439431

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150