JP6960714B1

JP6960714B1 - 表示システム

Info

Publication number: JP6960714B1
Application number: JP2021061203A
Authority: JP
Inventors: 功憲末次
Original assignee: 功憲末次
Priority date: 2021-03-31
Filing date: 2021-03-31
Publication date: 2021-11-05
Anticipated expiration: 2041-03-31
Also published as: US20220318891A1; JP2022157143A

Abstract

【課題】マネキンが被服を着用した状態の３次元形状を、ユーザ所望の態様に加工して表示することができる表示システム及びプログラムを提供する。【解決手段】マネキンをコンピュータグラフィックス処理可能な３次元形状で表現したマネキン３Ｄデータと被服をコンピュータグラフィックス処理可能な３次元形状で表現した被服３Ｄデータとを合成して、前記マネキンが前記被服を着用した状態の３次元形状を表す着用３Ｄデータを作成する着用３Ｄ作成部１１１と、前記着用３Ｄデータに基づいて、前記マネキンが前記被服を着用した状態の３次元形状を表示する表示部１１２と、を備えた被服販売のための表示システム１において、着用３Ｄ作成部１１１は、前記マネキンが前記被服を着用した状態の３次元形状のうち、ユーザにより指定された部分を、指定された態様で加工処理を行う。【選択図】図１

Description

本発明は、マネキンが被服を着用した状態の３次元形状を表示する表示システムに関する。

従来、ユーザが実店舗やインターネットにおいて被服を購入する際に、当該被服を実際に試着せずに当該被服が自己の体形に合うかをチェックしたいというニーズがあった。さらには、ユーザが被服を試着した状態で様々なポーズをとっている様子を前後左右からチェックして、着こなしを確かめたいというニーズがあった。

このようなニーズを満たすために、ユーザ端末や実店舗に設置されているディスプレイ等に、あたかもユーザが被服を着用したかのようなマネキンの３次元画像を表示する技術が存在する（例えば、特許文献１参照）。
マネキンをユーザに見立てることで、ユーザは自己が被服を着用した状態を把握することができ、被服の購入に役立てることができる。しかしながら、被服を着用させるマネキンの体形はユーザに近いものを選択できたとしても、マネキンの顔がユーザの顔とかなり異なる場合には、そのマネキンが着用している被服がユーザに似合うかどうかを判断するのが難しいという問題があった。

また、従来、マネキンの胴体にユーザの顔写真を合成した画像を表示する技術は存在したが（例えば、特許文献１参照）、当該マネキンが本物のユーザのように見える場合があり、ファッションの分野や被服類の購買に利用する場合にはリアル過ぎて不気味な印象になるという問題があった。

また、各種シチュエーションや、予想されるユーザの体形等の変化に合わせて、ユーザが化粧をした状態、日焼けをした状態、減量した状態等での着こなしをチェックしたいというニーズがあった。

特開２００２−１８３５４２公報

本発明は、マネキンが被服を着用した状態の３次元形状を、ユーザ所望の態様に加工して表示することができる表示システムを提供することを目的とする。
また、本発明は、ユーザが実際に被服を試着しなくても、あたかもユーザが被服を着用したような状態を表示し、ユーザの着こなしをチェックすることができる表示システムを提供することを目的とする。
また、本発明は、試着に用いるマネキンが本物の人のように見えるのを防ぐことができる表示システムを提供することを目的とする。
また、本発明は、ユーザが実際に所定のシチュエーションになくても、所定のシチュエーションにおけるユーザの着こなしをチェックすることができる表示システムを提供することを目的とする。

上記目的を達成するために、本発明の表示システムは、
マネキンをコンピュータグラフィックス処理可能な３次元形状で表現したマネキン３Ｄデータと被服をコンピュータグラフィックス処理可能な３次元形状で表現した被服３Ｄデータとを合成して、前記マネキンが前記被服を着用した状態の３次元形状を表す着用３Ｄデータを作成する着用３Ｄ作成手段と、前記着用３Ｄデータに基づいて、前記マネキンが前記被服を着用した状態の３次元形状を表示する表示手段と、を備えた被服販売のための表示システムであって、
前記着用３Ｄ作成手段は、前記マネキンが前記被服を着用した状態の３次元形状のうち、ユーザにより指定された部分を、指定された態様で加工処理を行うことを特徴とする。

この特徴によれば、着用３Ｄ作成手段は、着用３Ｄデータ表示手段により表示された、マネキンが被服を着用した状態の３次元形状のうち、ユーザにより指定された部分を、指定された態様で加工処理を行うため、ユーザ所望の態様に加工された、マネキンが前記被服を着用した状態の３次元形状を表示することができる。

上記発明において、
前記着用３Ｄ作成手段は、前記マネキンの顔を前記ユーザの顔に置換して、前記着用３Ｄデータを作成することを特徴とする。

この特徴によれば、実際にユーザが試着しなくても、あたかもユーザが被服を着用したかのような３次元形状を表示することができるため、ユーザは自己の着こなしをチェックすることができる。

上記発明において、
前記着用３Ｄ作成手段は、前記ユーザの指定に応じて、前記マネキンが前記被服を着用した状態の３次元形状の少なくとも一部をぼかす加工処理と、皮膚の色と髪の色と眉毛の色と目の色との少なくとも１つを変化させる加工処理と、顔の化粧の濃さを調整する加工処理と、肌の張りの度合いを調整する加工処理と、顔の表情を変化させる加工処理と、の少なくとも１つの加工処理を行うことを特徴とする。

この特徴によれば、ユーザ所望の態様に加工された、マネキンが被服を着用した状態の３次元形状を表示することができる。また、ぼかし処理を行うことで、リアルさを軽減し、マネキンがまるで実際の人間のように見えて不気味な印象となるのを防ぐことができる。

上記発明において、
前記ユーザの顔を表す画像データは、前記ユーザの登録処理又は認証処理の際に入力されることを特徴とする。

本発明によれば、ユーザはシステム利用の際にユーザの顔写真等を入力することができ、入力忘れを防止することができるとともにセキュリティを向上させることができる。

上記発明において、
前記マネキンが前記被服を着用した状態の３次元形状に背景を合成した背景合成画像を表示するための背景合成データを作成する背景合成手段をさらに備え、
前記表示手段は、
前記背景合成手段により生成された背景合成データに基づいて、前記背景合成画像を表示することを特徴とする。

本発明によれば、ユーザが実際に所定のシチュエーションになくても、所定のシチュエーションにおけるユーザの着こなしをチェックすることができる。

上記発明において、
前記背景合成手段は、前記ユーザの指定に応じて、動物が表示された背景と、人物が表示された背景と、シーンを表す背景と、季節を表す背景と、の少なくとも１つの背景を合成することを特徴とする。

本発明によれば、各種シチュエーションにおけるユーザの着こなしをチェックすることができる。

上記発明において、
前記背景合成手段は、前記マネキンが前記被服を着用した状態の３次元形状に対して、ＡＩにより所定のマッチ度を有すると判定されたシーンを表す背景を合成することを特徴とする。

本発明によれば、自動的に背景を表示することで、所定の被服に合うシチュエーションをチェックすることができる。

本発明のプログラムは、
コンピュータを、マネキンをコンピュータグラフィックス処理可能な３次元形状で表現したマネキン３Ｄデータと被服をコンピュータグラフィックス処理可能な３次元形状で表現した被服３Ｄデータとを合成して、前記マネキンが前記被服を着用した状態の３次元形状を表す着用３Ｄデータを作成する着用３Ｄ作成手段と、前記着用３Ｄデータに基づいて、前記マネキンが前記被服を着用した状態の３次元形状を表示する表示手段と、して機能させるためのプログラムであって、
前記着用３Ｄ作成手段は、前記着用３Ｄデータ表示手段により表示された前記マネキンが前記被服を着用した状態の３次元形状のうち、ユーザにより指定された部分を指定された態様で加工処理を行うことを特徴とする。

本発明によれば、ユーザ所望の態様に加工された、マネキンが被服を着用した状態の３次元形状を表示することができる。

本発明の実施形態に係る表示システムの全体構成図である。同実施形態に係る表示システムの制御ノードの機能構成図である。同実施形態に係る表示システムが行う処理手順を示すフローチャートである。

以下、本発明の実施形態について、図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る表示システム１の全体構成図である。同図に示すように、表示システム１は、ブロックチェーンネットワーク２０を構成する複数のノード１０を備えている。複数のノード１０は、表示システム１を制御し、マネキンが被服を着用した状態の３次元形状を生成し表示する制御を行う制御ノード１１と、被服を販売する実店舗に設置されている実店舗端末１２と、インターネット上の各種ＥＣサイトを利用するユーザが所持するユーザ端末１３と、を含み、これらのノード１０はブロックチェーンネットワーク２０を介して相互に通信可能に構成されている。実店舗端末１２は、例えば、ＰＣ、モニター装置等の通信端末であり、ユーザ端末１３は、例えば、ＰＣ、携帯情報端末等の通信端末である。なお、図１では、実店舗端末１２及びユーザ端末１３をそれぞれ１つずつ図示しているが、実際には複数存在する。

また、ここでの「被服」には、帽子、眼鏡、マスク、イヤホン、カバン、指輪、アクセサリー、靴、マフラー、スカーフ、手袋、ベルト、財布等、マネキンが着用する可能性があるもの全てが含まれる。

制御ノード１１は、通信機能を有するコンピュータであり、ハードウェアとして、ＣＰＵと、ＲＡＭ、ＲＯＭ、ハードディスク等の記憶装置と、ブロックチェーンネットワーク２０を介した通信を制御する通信インターフェースと、キーボードやディスプレイ等の入出力インターフェースと、を備えている。制御ノード１１の記憶装置には、各種データ、プログラム等のソフトウェアが記憶されている。例えば、制御ノード１１の記憶装置に記憶されているデータとしては、予め、作成され保存されている各種の形体を有するマネキンの３次元形状データ、予め入力された実店舗やＥＣサイトで販売されている被服データや各被服の物理特性、表示システム１への会員登録時又は認証時に入力されたユーザの顔写真データ、表示システム１を利用するユーザの使用履歴、行動履歴等が存在する。また、制御ノード１１の記憶装置に記憶されているプログラムとしては、マネキン及び被服をコンピュータグラフィックス処理可能な３次元形状で表現するためのプログラム、マネキン及び被服の３次元形状を合成してマネキンが被服を着用した状態の３次元形状を作成し表示するためのプログラム、予め保存されている複数のマネキンのうちいずれのマネキンを使用するかを求めるためのプログラム、ユーザの指定に応じてマネキンが被服を着用した状態の３次元形状の加工処理を行うためのプログラム、背景を合成するためのプログラム等が存在する。制御ノード１１のＣＰＵが記憶装置に記憶されているソフトウェアに従って処理を実行することにより、図２に示す機能構成が制御ノード１１に実現される。

着用３Ｄ作成部１１１は、マネキンをコンピュータグラフィックス処理可能な３次元形状で表現したマネキン３Ｄデータと、被服をコンピュータグラフィックス処理可能な３次元形状で表現した被服３Ｄデータと、を合成して、マネキンが被服を着用した状態の３次元形状を表す着用３Ｄデータを作成する。なお、ここで作成される着用３Ｄデータは、ＶＲ環境やＡＲ環境で表示するためのデータであってもよいし、３Ｄホログラムとして表示するためのデータであってもよい。

また、着用３Ｄ作成部１１１は、マネキンが被服を着用した状態の３次元形状のうち、ユーザにより指定された部分を、指定された態様で加工処理を行う。なお、ユーザによる指定は、ユーザ端末１３のディスプレイ上に被服を着用したマネキンが表示されてから、加工する部分及び加工する態様を指定してもよいし、ディスプレイ上に被服を着用したマネキンが表示される前に予め指定してもよい。

具体的には、例えば、ユーザの顔への置換が指定された場合、着用３Ｄ作成部１１１は、試着に使用するマネキンの顔をユーザの顔に置換する処理を行う。本実施形態では、ユーザの顔を表す画像データは、ユーザが表示システム１を利用するための会員登録を行う際、又は、認証処理の際に入力される。

また、顔の置換以外の加工処理としては、着用３Ｄ作成部１１１は、ユーザの指定に応じて、マネキンが被服を着用した状態の３次元形状の少なくとも一部をぼかすぼかし処理、皮膚の色、髪の色、眉毛の色、目の色等を変化させる加工処理、顔の化粧の濃さを調整する加工処理、肌の張りの度合いを調整する加工処理、顔の表情を変化させる加工処理等を行う。

ぼかし処理を行う部分としては、体をぼかしてもよいし、被服をぼかしてもよい。体をぼかす場合には、体全体をぼかしてもよいし、体の部分をぼかしてもよい。体の部分として、手先、足先等、特定の部分だけをぼかしてもよい。また、部分的に隠してもよい。隠し方は黒色で隠してもよいし、白で隠してもよい。布でかくしてもよいし、木材で隠してもよい。
ぼかし処理の手法としては、公知の任意の技術を用いることができる。ぼかし処理を行う場合、抽象化レベル０、１、２、３等、絵画で例えると写実的なリアルな顔の表現から徐々に段階を経て抽象化した表現にパラメーターなどを用いてレベル調整ができるようにするとよい。デフォルトで設定した抽象化レベルからユーザーの好みやＡＩによりさらに調整できるようにしてもよい。ぼかし処理を行う場合、ユーザの顔等をぼかしつつ、色彩や雰囲気等は忠実に再現できるようにし、違和感のない表現とするのが好ましい。このようなぼかし処理を行うことで、ユーザの顔や人物像の見え方がリアル過ぎて不気味な印象となってしまうのを防ぐことができる。

また、皮膚の色の加工処理を行う場合、皮膚の色を日焼けで濃くするか、日焼けしていない状態で薄くするかを、パラメーター（例えば、レベル１、２、‥等）を用いて調整できるようにするとよい。

また、顔の化粧の濃さを調整する加工処理を行う場合、ナチュラル化粧のレベル調整から濃いめの化粧のレベル調整までレベル別に調整できるようにし、また、眉毛の濃さ、目の周囲の濃さ、付けまつげの長さ・濃さ、髭の濃さ等、部位別にレベルを調整できるようにするとよい。

また、肌の張りの度合いを調整する加工処理を行う場合、肌のハリのレベル１、２、‥等のパラメーターを用いて調整できるようにするとよい。同じユーザでも、時間帯や、運動前後等のシーンによって、肌のハリの度合いが異なるため、そのレベル調整を行うとよい。

顔の表情を変化させる加工処理を行う場合には、喜怒哀楽などの表情のレベル、笑う表情については大きく笑う場合と小さく微笑む場合等、段階的に調整できるようにするとよい。

以上のように、ユーザの指定に応じて、皮膚の色、髪の色、眉毛の色、目の色等を加工できるようにすることで、ユーザは当該加工した色が被服とマッチするか、被服がユーザに似合うかどうかを判断することができる。

表示部１１２は、作成された表示用のデータに基づいてディスプレイ等への表示処理を行う。具体的には、表示部１１２は、着用３Ｄ作成部１１１が作成した着用３Ｄデータに基づいて、マネキンが被服を着用した状態の３次元形状を表示する。なお、着用３Ｄデータが、ＶＲ環境又はＡＲ環境で表示するためのデータ、或いは、３Ｄホログラムとして表示するためのデータである場合には、表示部１１２はそれぞれの表示技術にしたがって、バーチャル空間、現実空間、実店舗端末１２やユーザ端末１３のディスプレイ等に表示する。これにより、ユーザ所望の態様に加工された、マネキンが被服を着用した状態の３次元形状を表示することができる。
また、後述する背景合成部１１３により背景合成データが生成された場合には、当該背景合成データに基づいて、マネキンが被服を着用した状態の３次元形状に背景を合成した背景合成画像を表示する。

背景合成部１１３は、ユーザの指定に基づいて、マネキンが被服を着用した状態の３次元形状に背景を合成した背景合成画像を表示するための背景合成データを作成する「背景合成処理」を行う。これにより、表示部１１２は、背景合成データに基づいて、所定の背景をバックに、被服を着用したマネキンが所定のポーズをとっている様子を表示することができる。

なお、「背景」の種類としては、例えば、動物が表示された背景、人物が表示された背景、各種シーンを表す背景、季節を表す背景等が存在する。
各種シーンとしては、観劇、卒業式、山登り、海岸、ドライブ、マラソン、花見、散歩等がある。
季節を表す背景としては、桜が開花した樹木を表示した背景、ひまわりが咲きトンボが飛んでいる背景、紅葉の樹木を表示した背景、雪に埋もれた森林を表示した背景等がある。

また、ユーザにより背景のＡＩ判定が指定された場合には、背景合成部１１３は、マネキンが被服を着用した状態の３次元形状に対して、ＡＩにより所定のマッチ度を有すると判定されたシーンを表す背景を合成する。
例えば、被服がスポーツウエアの場合には、マラソン、山登り、散歩等のシーンが適合し、ＡＩにより高いマッチ度を有すると判定されるため、背景合成部１１３は、マネキンがスポーツウエアを着用した状態の３次元形状に対してマラソン、山登り、散歩等のシーンを表す背景を合成する。

このように、マネキンが被服を着用した状態の３次元形状に背景を合成して表示することで、ユーザは、所定のシーンや季節において、ユーザが着用した被服がユーザに似合うかどうかを判断することができる。
使用方法としては、例えば、ユーザは、真夏の背景やシーンに似合う着こなしと、真冬の背景やシーンに似合う着こなしとを入れ替えて、合成表示しながら、季節やシーンに似合う衣服を選ぶことができる。また、スポーツ観戦をする際に、ラグビー、サッカー等、各種スポーツシーンに応じて、適切な被服を選択することができる。また、ビジネスシーンにおいても、格式ばったシーンと少しカジュアルなビジネスシーンとを比較しながら、被服を選択することができる。また、犬の散歩をする場合、この犬種と一緒に歩くなら似合う被服は何だろう、と考えるのに役立つ。また、自分以外の１又は複数のグループユーザや動物を表示して、似合う被服を選択することができる。例えば、隣にいる人とのペアルックを表示して、当該ペアルックの被服が似合うかどうかを判断することができる。グループは、４人組のグループであっても１１人のチームであってもよい。

次に、図３に示すフローチャートを参照して、表示システム１行う処理手順について説明する。ユーザは予め自己の顔写真をデジタルカメラ等で撮影して、自己の顔の画像データを準備しておく。

ユーザは、ユーザ端末１３を操作して、表示システム１を利用するための会員登録を行う。この際に、ユーザは、自己の顔の画像データをユーザ端末１３に取り込む操作を行う。これにより、ユーザ端末１３は、ユーザの顔の画像データを読み込んで制御ノード１１に送信し、制御ノード１１の記憶装置に記録する（ステップＳ１）。

次に、ユーザは、ユーザ端末１３を操作して、自己の体形に近いマネキンが所定の被服を着用したマネキンを表示するための指示を行う。これにより、表示システム１の制御ノード１１は、ユーザの指示の内容を解析する（ステップＳ２）。具体的には、ユーザは指示を行う際に、マネキンの体形の種類の指定、被服の指定、マネキンの顔の置換、マネキン及び被服の加工処理、背景の指定等を行ったか否かを判定する。

ユーザが所定の指定をした場合には（ステップＳ２：Ｙｅｓ）、制御ノード１１は、ユーザにより指定されたマネキン及び被服を選択し、ユーザにより指定された部分を指定された態様で加工処理を行った上で（ステップＳ３）、表示用のデータを作成する（ステップＳ４）。具体的には、マネキンの顔や被服の加工処理の指定があった場合には、着用３Ｄ作成部１１１は、指定された部分の加工処理を行った上で、マネキンが被服を着用した状態の３次元形状を表す着用３Ｄデータを作成する。また、特定の背景の指定があった場合には、背景合成部１１３は、マネキンが被服を着用した状態の３次元形状に当該特定の背景を合成した背景合成画像を表示するための背景合成データを作成する背景合成処理を行う。

一方、ユーザが各種指定を行わなかった場合には（ステップＳ２：Ｎｏ）、制御ノード１１は、加工処理や背景合成処理を行わずに、予め記憶装置に記憶されているマネキンデータ及び被服データを用いてマネキン及び被服の合成処理を行い、マネキンが被服を着用した状態の３次元形状を表す着用３Ｄデータを作成する（ステップＳ４）。
表示部１１２は、ステップＳ４で作成された表示用のデータに基づいて、マネキンが被服を着用した状態の３次元形状や、当該３次元形状に背景を合成した背景合成画像を表示する（ステップＳ５）。

以上、説明したように、本発明の実施形態に係る上記表示システム１は、マネキンが被服を着用した状態の３次元形状を、ユーザ所望の態様に加工して、表示することができる。また、マネキンの顔をユーザの顔に置換して、着用３Ｄデータを作成することができるため、ユーザが実際に被服を試着しなくても、あたかも試着しているかのような３次元形状を表示し、ユーザの着こなしをチェックすることができる。また、ぼかし処理を行うことで、リアルさを軽減し、マネキンがまるで実際の人間のように見えて不気味な印象となるのを防ぐことができる。また、ユーザが実際に所定のシチュエーションになくても、所定のシチュエーションにおけるユーザの着こなしをチェックすることができる。また、日焼けした場合はどのような顔色になるか、少しやせた場合、少し太った場合はどのような顔になるか、お化粧を少し濃いめにした場合はどのような雰囲気になるかもチェックすることができる。

なお、上述した実施形態は一例に過ぎず、本発明は特許請求の範囲に記載の発明の要旨を変更しない範囲内で、種々変形して実施することができる。

例えば、置換処理については、顔の置換のみならず、髪の毛、腕等を置換できるようにしてもよい。例えば、髪の毛だけを別のものに入れ替えてもよいし、腕の筋肉だけを盛り付けることもできる。また、顔だけ別人の顔や別のキャラクターに入れ替えてもよい。

また、表示システム１の通信方式は、上述した実施形態におけるブロックチェーンネットワーク２０に限定されることはなく、例えば、Ｐ２Ｐ（ピアツーピア）やクライアント・サーバー通信であってもよいし、分散ストーレージ型ブロックチェーンを使用した通信であってもよいし、これらを組み合わせた通信方式であってもよい。

また、上述した実施形態では、表示システム１は複数のノード１０で構成されているとして説明したが、表示システム１の装置構成はこれに限定されることはない。例えば、表示システム１は１つの装置で構成されていてもよいし、クライアント・サーバシステムで構成されていてもよい。表示システム１が１つの装置で構成されている場合には、当該装置はインターネット等の通信網に接続してないスタンドアロンの装置であってもよい。

また、本発明に係る表示システム１において販売する被服は、ユーザが実際に身に着けることができる被服に限らず、デジタル形態の被服であってもよい。デジタル形態の被服は、購入したユーザが観賞用として眺めたり、コンピュータゲームや映画などのキャラクターに着せたり、インターネット上又はインターネットに接続していないローカルコンピューター環境でコミュニケーションをとる自分の分身としてのキャラクター（アバター）に着せたり、実際の被服を製作するために使用することができる。また、販売する被服は、ＥＣサイトを経由せずに、ＩｏＴ形式で販売してもよい。

１表示システム
１０ノード
１１制御ノード
１１１着用３Ｄ作成部
１１２表示部
１１３背景合成部
１２実店舗端末
１３ユーザ端末
２０ブロックチェーンネットワーク

Claims

マネキンをコンピュータグラフィックス処理可能な３次元形状で表現したマネキン３Ｄデータと被服をコンピュータグラフィックス処理可能な３次元形状で表現した被服３Ｄデータとを合成して、前記マネキンが前記被服を着用した状態の３次元形状を表す着用３Ｄデータを作成する着用３Ｄ作成手段と、前記着用３Ｄデータに基づいて、前記マネキンが前記被服を着用した状態の３次元形状を表示する表示手段と、を備えた被服販売のための表示システムであって、
前記マネキンが前記被服を着用した状態の３次元形状に対して、ＡＩにより所定のマッチ度を有すると判定されたシーンを表す背景を合成し、該背景を合成した背景合成画像を表示するための背景合成データを作成する背景合成手段を備え、
前記表示手段は、前記背景合成手段により生成された背景合成データに基づいて、前記背景合成画像を表示することを特徴とする表示システム。