JP6173984B2 - 3dモデリング情報作成支援システム、3dモデリング情報作成支援方法、及び3dモデリング情報作成支援プログラム - Google Patents

3dモデリング情報作成支援システム、3dモデリング情報作成支援方法、及び3dモデリング情報作成支援プログラム Download PDF

Info

Publication number
JP6173984B2
JP6173984B2 JP2014162652A JP2014162652A JP6173984B2 JP 6173984 B2 JP6173984 B2 JP 6173984B2 JP 2014162652 A JP2014162652 A JP 2014162652A JP 2014162652 A JP2014162652 A JP 2014162652A JP 6173984 B2 JP6173984 B2 JP 6173984B2
Authority
JP
Japan
Prior art keywords
information
unit
user
external shape
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014162652A
Other languages
English (en)
Other versions
JP2016036597A (ja
Inventor
慎吾 畔上
慎吾 畔上
英勝 齊藤
英勝 齊藤
明子 渋谷
明子 渋谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SoftBank Corp
Original Assignee
SoftBank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SoftBank Corp filed Critical SoftBank Corp
Priority to JP2014162652A priority Critical patent/JP6173984B2/ja
Publication of JP2016036597A publication Critical patent/JP2016036597A/ja
Application granted granted Critical
Publication of JP6173984B2 publication Critical patent/JP6173984B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、ユーザーの身体的特徴が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援システム、3Dモデリング情報作成支援方法、及び3Dモデリング情報作成支援プログラムに関する。
近年、健康志向が高まり、ユーザーの生活習慣の改善、すなわち、ユーザーの健康管理を支援するため、ユーザー個人の健康情報を管理するシステムが知られている(例えば、特許文献1)。特許文献1に開示された技術は、体脂肪率を測定するため体脂肪計測定装置であり、体脂肪率を測定して体内脂肪を知ることにより成人病の予防を図ることができる。
特開2005−118149号公報
しかしながら、特許文献1に開示された技術は、生体電気インピーダンス法に基づいたものであるが、実際にインピーダンス値から脂肪率に換算するには、被測定者の体型情報が必要なため、通常、性別、身長、体重を予め測定前に設定しておき、設定値と測定されたインピーダンス値から体脂肪率を求めることとなる。この他にも人種、アスリート、大人/子供の区別や年齢といった情報を入力する場合もあるため、その入力される操作が多く、極めて煩雑で使い勝手の悪いものである。
健康情報を管理するシステムでは、所定の部位のみを入力することで身体の所定部位に関する推測値を精度よく算出することが望まれているが、現在そのような推定値を精度よく算定することができるシステムは存在しなかった。
そこで、本発明は、上記のような問題を解決するものであり、ユーザーが部分的又は全体的な身体情報を入力するだけで、身体の所定部位に関する推測値を精度よく算出できる3Dモデリング情報作成支援システム、3Dモデリング情報作成支援方法、及び3Dモデリング情報作成支援プログラムを提供することを目的とする。
上記課題を解決するために、本発明は、少なくともユーザーに関する全身の外的形状が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援システムであって、
ユーザーの身体の一部を撮影部により撮影し、撮影部が撮影した画像を解析部により解 析してユーザーの全体的な外的形状を含む身体情報を取得する情報取得部と、
身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関する推測値、及び全体的な外的形状に対する所定部位の相関情報を算定する解析部と、
算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と
データ蓄積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外 的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
ユーザー操作に基づいて、ユーザーの部分的な外的形状に関する実測値を入力する実測 値入力部と
を備え
解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身写真 を作成するとともに、所定部位の大きさと、実測値入力部により入力された実測値との比 率に基づいて、推測値及び相関情報を算定することを特徴とする。
また、本発明は、少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現 されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成 支援システムであって、
ユーザーの身体の一部又は全部を撮影部により撮影し、撮影部が撮影した画像を解析部 により解析してユーザーの全体的な外的形状を含む身体情報を取得する情報取得部と、
身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関する推測値 、及び全体的な外的形状に対する所定部位の相関情報を算定する解析部と、
算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と、
データ蓄積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外 的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
少なくとも外的形状を含む身体の類型をパターンデータとして記憶するパターン記憶部 と、
ユーザー操作に基づいて、パターン記憶部から任意のパターンデータを読み出すパター ン選択部と
を備え、
解析部は、身体の一部又は全部を撮影した写真の縮尺を統一して、パターン選択部で選 択されたパターンデータに対して当てはめるとともに、所定部位の大きさと、パターンデ ータとの比率に基づいて、推測値及び相関情報を算定する
ことを特徴とする。
さらに、少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオ ブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援シス テムであって、
ユーザーの身体の一部又は全部を撮影部により撮影し、撮影部が撮影した画像を解析部 により解析してユーザーの全体的な外的形状を含む身体情報を取得する情報取得部と、
身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関する推測値 、及び全体的な外的形状に対する所定部位の相関情報を算定する解析部と、
算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と、
データ蓄積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外 的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
寸法が既知である比較対象物に関する寸法情報を記憶する既知情報蓄積部と、
撮影部が撮影した画像内に比較対象物が写っている場合に、当該画像内に写っている比 較対象物を抽出し、抽出された比較対象物の寸法情報を取得する既知情報取得部と
を備え、
解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身写真 を作成するとともに、所定部位の大きさと、既知情報取得部が取得した寸法情報との比率 、及び画像内における比較対象物及びユーザーの身体との対比結果とに基づいて、推測値 及び相関情報を算定する
ことを特徴とする。
また、他の発明は、少なくともユーザーに関する全身の外的形状が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援方法であって、
情報取得部が、ユーザーの身体の一部を撮影部により撮影し、撮影部が撮影した画像を 解析部により解析してユーザーの全体的な外的形状を含む身体情報を取得する情報取得ス テップと、
解析部が、身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関 する推測値、及び全体的な外的形状に対する所定部位の相関情報を算定する解析ステップ と、
算定された推測値及び相関情報をデータ蓄積部に蓄積し、マネキン生成部が、データ蓄 積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外的形状が再 現された3Dモデリング情報を生成するステップと、
ユーザー操作に基づいて、実測値入力部が、ユーザーの身体的特徴の実測値を受け付け るステップと
を備え、
解析ステップにおいて、解析部は、部分的に撮影した身体部分の写真の縮尺を統一して つなぎ合わせて全身写真を作成するとともに、所定部位の大きさと、実測値入力部により 入力された実測値との比率に基づいて、推測値及び相関情報を算定する
ことを特徴とする。
少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援方法であって
情報取得部が、ユーザーの身体の一部又は全部を撮影部により撮影し、撮影部が撮影し た画像を解析部により解析してユーザーの全体的な外的形状を含む身体情報を取得する情 報取得ステップと、
解析部が、身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関 する推測値、及び全体的な外的形状に対する所定部位の相関情報を算定する解析ステップ と、
算定された推測値及び相関情報をデータ蓄積部に蓄積し、マネキン生成部が、データ蓄 積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外的形状が再 現された3Dモデリング情報を生成するステップと、
ユーザー操作に基づいて、パターン記憶部に記憶されたパターンデータとしての、少な くとも外的形状を含む身体の類型をパターン選択部が読み出すステップと
を備え、
解析ステップにおいて、解析部は、身体の一部又は全部を撮影した写真の縮尺を統一し て、パターン選択部で選択されたパターンデータに対して当てはめるとともに、所定部位 の大きさと、パターンデータとの比率に基づいて、推測値及び相関情報を算定する
ことを特徴とする。
少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援方法であって
寸法が既知である比較対象物に関する寸法情報を既知情報蓄積部が記憶するステップと
情報取得部が、ユーザーの身体の一部又は全部を撮影部により撮影し、撮影部が撮影し た画像を解析部により解析してユーザーの全体的な外的形状を含む身体情報を取得する情 報取得ステップと、
解析部が、身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関 する推測値、及び全体的な外的形状に対する所定部位の相関情報を算定する解析ステップ と、
算定された推測値及び相関情報をデータ蓄積部に蓄積し、マネキン生成部が、データ蓄 積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外的形状が再 現された3Dモデリング情報を生成するステップと、
撮影部が撮影した画像内に比較対象物が写っている場合に、既知情報取得部が、当該画 像内に写っている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得するステ ップと
を備え、
解析ステップにおいて、解析部は、部分的に撮影した身体部分の写真の縮尺を統一して つなぎ合わせて全身写真を作成するとともに、所定部位の大きさと、既知情報取得部が取 得した寸法情報との比率、及び画像内における比較対象物及びユーザーの身体との対比結 果とに基づいて、推測値及び相関情報を算定する
ことを特徴とする3Dモデリング情報作成支援方法。
ここで、本発明において、「部分的」な身体的な特徴としては、例えば手や顔、足などの身体の一部の外的な形状や大きさ、色、乾燥状態の他、温度や水分、脂肪分などの内的な状態も含まれる。一方、「全体的」な身体的特徴としては、身長や体型、同一スケールにおける身体各部のサイズ及び形状、身体各部のサイズや形状の比率などの外的な特徴の他、体重や体脂肪率、健康状態などの内的な特徴も含まれる。
本発明において、「身体情報を取得」とは、測定器を用いて身体部分や体温などを実測すること、ユーザーが入力手段を用いて入力すること、撮影により静止画や動画を記録することなどが含まれる。また、「身体の所定部位」とは、観測や計測の対象となる部位であり、ウエストやバスト、肩幅、首回りなど身体のいずれの部位を含む。
本発明において、「部分的又は全体的な身体的特徴を相互に補完」とは、取得された複数の部分的・全体的な情報の条件(単位や縮尺など)を統一することにより、推定値などを用いて不足している情報を補って、情報間の連続性を確保することを意味する。例えば、部分的に撮影した身体部分をつなぎ合わせて全身写真を作成する際に、撮影された身体部分の縮尺を統一したり、部分的に撮影した身体部分を、全身写真に当てはめられるように、その縮尺を合わせたりなどが挙げられる。
本発明において、「相関情報」とは、部分的又は全体的な身体的特徴の相互の関係性を意味し、例えば、腕の太さとウエストのサイズとの相関など外的な関連性の他、腕の太さと体重や体脂肪率との相関など、外的と内的との関連性も含まれる。
このような本発明によれば、ユーザーの部分的又は全体的な身体的特徴に関する身体情報に基づいて、身体の所定部位に関する推測値及び、取得された身体的特徴(身体情報)との相関情報を蓄積し、集計することができる。集計された情報は、いわゆるビックデータとして利用が可能であり、ビックデータを解析することによって、ユーザーが部分的又は全体的な身体情報を入力するだけで、身体の所定部位に関する推測値を精度よく算出できるようになることが期待される。
上記発明において、情報取得部は、ユーザーの身体の一部又は全部を撮影する撮影部と、解析部は、撮影部が撮影した画像を解析して身体情報を算出する画像解析部とを有することが好ましい。
なお、ここで「撮影部」が撮影する画像としては、静止画でもよく、動画で合ってもよい。この場合には、写真撮影という簡単な操作で身体的特徴を入力することができるため、操作を簡略化することができる。
上記発明において、データ蓄積部に蓄積され、集計された推測値及び相関情報に基づいて補正用データを生成する補正用データ生成部と、補正用データに基づいて、解析部において算出されたユーザーの身体の所定部位に関する推測値を補正するデータ補正部と、をさらに備えることが好ましい。
この場合には、多数のユーザーから収集した推測値や実測値、相関情報に基づいてビックデータを構築し、このビックデータに基づいて推測値算出の方式を修正して補正用データを生成し、この補正用データを介してビックデータにから得られた情報を反映させることによって、次回からの推測値算出の精度を高めることができる。
上記発明において、ユーザー操作に基づいて、当該ユーザーの身体的特徴の実測値を入力する実測値入力部をさらに備え、解析部は、実測値入力部により入力された実測値に基づいて推測値及び相関情報を算定することが好ましい。ここで、実測値として入力される身体的特徴としても、部分的、全体的、外的、内的な特徴が含まれ、上述したように、例えば手や顔、足などの身体の一部の外的な形状や大きさ、色、乾燥状態の他、温度や水分、脂肪分長や体型、同一スケールにおける身体各部のサイズ及び形状、身体各部のサイズや形状の比率などの外的な特徴の他、体重や体脂肪率、健康状態などの内的な特徴が含まれる。
この場合には、実際にユーザーが測定したリアルな情報を取得することができ、推測値と実測値との差分をなくすように相関情報を修正することで、蓄積されるビックデータの信憑性を高めることができ、次回からの推測値の算出に反映させ、その精度を高めることができる。
上記発明において、身体的特徴の類型をパターンデータとして記憶するパターン記憶部と、ユーザー操作に基づいて、パターン記憶部から任意のパターンデータを読み出すパターン選択部とをさらに備え、解析部は、パターン選択部で選択されたパターンデータに対して、情報取得部が取得した身体情報を当てはめることにより、推測値及び相関情報を算定することが好ましい。
この場合には、ユーザーが自分自身に近い身体的特徴の類型を選択し、そのパターンデータに、部分的な身体情報を当てはめることによって、推測値や相関情報を算定するにあたり、誤差が生じる範囲を縮小することができ、推測値及び相関情報の精度を高めることができる。
上記発明において、寸法が既知である比較対象物に関する寸法情報を記憶する既知情報蓄積部と、撮影部が撮影した画像内に比較対象物が写っている場合に、当該画像内に写っている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得する既知情報取得部と、をさらに備え、解析部は、既知情報取得部が取得した寸法情報と、画像内における比較対象物及びユーザーの身体との対比結果とに基づいて、推測値及び相関情報を算定することが好ましい。
ここで「寸法が既知である比較対象物」としては、煙草の箱やライター、クレジットカードなどサイズが一定で、身近にある一般的な物品の他、スマートフォンや携帯電話、タブレットPC、デジタルカメラなど機種からその寸法が判断できる物品であってもよい。
この場合には、寸法が既知である比較対象物と比較することによって、実測値に近い身体情報を取得することができ、推測値や相関情報を算定するにあたり、誤差が生じる範囲をさらに縮小することができ、推測値及び相関情報の精度を高めることができる。なお、ユーザーが鏡に映った自身の姿を、スマートフォンなどでいわゆる「自分撮り」した場合には、ユーザーの全身と、機種などから寸法を判断できる比較対象物としてのスマートフォンとが、同一の画像内に同一条件で映り込むため、より正確に推測値や相関情報を算定することができる。
また、これらの3Dモデリング情報作成支援システム及び3Dモデリング情報作成支援方法は、所定の言語で記述された本発明のゲームプログラムをコンピュータ上で実行することにより実現することができる。
すなわち、本プログラムは、少なくともユーザーに関する全身の外的形状が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援プログラムであって、コンピュータを、
ユーザーの身体の一部を撮影部により撮影し、撮影部が撮影した画像を解析部により解 析してユーザーの全体的な外的形状を含む身体情報を取得する情報取得部、
身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関する推測値 、及び全体的な外的形状に対する所定部位の相関情報を算定する解析部、
算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部、
データ蓄積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外 的形状が再現された3Dモデリング情報を生成するマネキン生成部、及び
ユーザー操作に基づいて、ユーザーの部分的な外的形状に関する実測値を入力する実測 値入力部
として機能させ、
解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身写真 を作成するとともに、所定部位の大きさと、実測値入力部により入力された実測値との比 率に基づいて、推測値及び相関情報を算定する
ことを特徴とする。
また、本プログラムは、少なくともユーザーに関する全身の外的形状を含む身体的特徴 が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情 報作成支援プログラムであって、コンピュータを、
ユーザーの身体の一部又は全部を撮影部により撮影し、撮影部が撮影した画像を解析部 により解析してユーザーの全体的な外的形状を含む身体情報を取得する情報取得部、
身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関する推測値 、及び全体的な外的形状に対する所定部位の相関情報を算定する解析部、
算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部、
データ蓄積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外 的形状が再現された3Dモデリング情報を生成するマネキン生成部、
少なくとも外的形状を含む身体の類型をパターンデータとして記憶するパターン記憶部 、及び
ユーザー操作に基づいて、パターン記憶部から任意のパターンデータを読み出すパター ン選択部
として機能させ、
解析部は、身体の一部又は全部を撮影した写真の縮尺を統一して、パターン選択部で選 択されたパターンデータに対して当てはめるとともに、所定部位の大きさと、パターンデ ータとの比率に基づいて、推測値及び相関情報を算定する
ことを特徴とする。
さらに、本プログラムは、少なくともユーザーに関する全身の外的形状を含む身体的特 徴が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング 情報作成支援プログラムであって、コンピュータを、
ユーザーの身体の一部又は全部を撮影部により撮影し、撮影部が撮影した画像を解析部 により解析してユーザーの全体的な外的形状を含む身体情報を取得する情報取得部と、
身体情報に含まれるユーザーの部分的な外的形状から、身体の所定部位に関する推測値 、及び全体的な外的形状に対する所定部位の相関情報を算定する解析部と、
算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と、
データ蓄積部に蓄積された推測値及び相関情報に基づいて、ユーザーに関する全身の外 的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
寸法が既知である比較対象物に関する寸法情報を記憶する既知情報蓄積部と、
撮影部が撮影した画像内に比較対象物が写っている場合に、当該画像内に写っている比 較対象物を抽出し、抽出された比較対象物の寸法情報を取得する既知情報取得部
として機能させ、
解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身写真 を作成するとともに、所定部位の大きさと、既知情報取得部が取得した寸法情報との比率 、及び画像内における比較対象物及びユーザーの身体との対比結果とに基づいて、推測値 及び相関情報を算定する
ことを特徴とする。

このような発明によれば、3Dモデリング情報作成支援プログラムを使用することで、特別な処理装置を必要とせず、上述した3Dモデリング情報作成支援システム及び3Dモデリング情報作成支援方法を、様々な情報処理装置において実現することができる。すなわち、この3Dモデリング情報作成支援プログラムを、汎用的なコンピュータやICチップにインストールし、CPU上で実行することにより、上述した各機能を有するオブジェクト制御装置を容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。そして、このようなオブジェクト制御プログラムは、コンピュータで読み取り可能な記録媒体に記録することができ、汎用のコンピュータや専用コンピュータを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
以上述べたように、この発明によれば、集計された情報を、いわゆるビックデータとして利用して、ユーザーが部分的又は全体的な身体情報を入力するだけで、身体の所定部位に関する推測値を精度よく算出できるようになることが期待される。
実施形態に係る3Dモデリング情報作成支援システムの全体構成を示す概念図である。 実施形態に係るユーザー端末全体の基本内部構造を示すブロック図である。 実施形態に係る3Dモデリング情報作成支援機能に係るCPUの内部構造を示すブロック図である。 実施形態に係る情報処理部及び解析部の内部構成を示すブロック図である。 実施形態に係る管理サーバの内部構成を示すブロック図である。 実施形態に係る3Dモデリング情報作成支援作成方法を示すフローチャート図である。
(3Dモデリング情報作成支援システム)
以下に添付図面を参照して、本発明に係る3Dモデリング情報作成支援システムの実施形態を詳細に説明する。図1は、本実施形態に係る3Dモデリング情報作成支援システムの全体構成を示す概念図である。
図1に示すように、本実施形態に係る3Dモデリング情報作成支援システムは、ユーザーの身体的特徴が再現されたオブジェクトデータである3Dモデリング情報を生成するシステムである。通信ネットワーク5には、ユーザーが所持するユーザー端末1と、ユーザー端末1に対して本システムに係るアプリケーション及び各種データを配信する管理サーバ2とが接続されている。
通信ネットワーク5は、通信プロトコルTCP/IPを用いたIP網であって、種々の通信回線(電話回線やISDN回線、ADSL回線、光回線などの公衆回線、専用回線、無線通信網)を相互に接続して構築される分散型の通信ネットワークである。この通信ネットワーク5には、10BASE−Tや100BASE−TX等によるイントラネット(企業内ネットワーク)や家庭内ネットワークなどのLANなども含まれる。
無線基地局3は、中継装置4を通じて通信ネットワーク5に接続され、ユーザー端末1との間で無線通信接続を確立し、ユーザー端末1による通話やデータ通信を提供する装置である。中継装置4は、通信ネットワーク5に接続するためのモデムやターミナルアダプタ、ゲートウェイ装置等のノード装置であり、通信経路の選択や、データ(信号)の相互変換を行い、無線基地局3と、通信ネットワーク5との間における中継処理を行う。
管理サーバ2は、通信ネットワーク5上に配置されて、ユーザー管理、データ収集管理など、システム全体を管理・制御するサーバ装置である。また、管理サーバ2には、Webサーバが含まれ、WWW(World Wide Web)等のドキュメントシステムにおいて、HTML(Hyper Text Markup Language)ファイルや画像ファイル、音楽ファイルなどの情報送信を行うサーバコンピュータ或いはその機能を持ったソフトウェアであり、HTML文書や画像などの情報を蓄積しておき、Webブラウザなどのクライアントソフトウェアの要求に応じて、インターネットなどのIP網を通じて、これらの情報を送信する。
ユーザー端末1は、無線通信を利用した、携帯可能なスマートフォン、又は携帯電話機であり、基地局等の中継点と携帯電話機が無線で通信し、通話やデータ通信等の通信サービスを移動しつつ受けることができる。この携帯電話機の通信方式としては、例えば、FDMA方式、TDMA方式、CDMA方式、W−CDMA方式、第3、4世代方式の他、PHS(Personal Handyphone System)方式等が挙げられる。また、このユーザー端末1は、アプリケーションソフトの実行機能、或いはGPS(Global Positioning System)等による位置情報取得機能等、種々の機能が搭載され、携帯情報端末(PDA)としての機能も果たす。
また、このユーザー端末1は、通信ネットワーク5にアクセスして、データの送受信を行うブラウザ機能も備えている。このブラウザ機能は、Webページを閲覧するためのアプリケーションソフトであり、通信ネットワーク5からHTML(HyperText Markup Language)ファイルや画像ファイル、音楽ファイルなどをダウンロードし、レイアウトを解析して表示・再生する。フォームを使用してユーザーがデータをWebサーバに送信したり、JavaScript(登録商標)やFlash、及びJava(登録商標)などで記述されたアプリケーションソフトを動作させたりすることも可能である。
ユーザー端末1は、図1に示すように、矩形状の本体100を有しており、この本体100には、グラフィックを表示する表示部である液晶ディスプレイ(LCD)165が備えられ、このLCD165の画面内に3次元的に表示されたアバターである3Dモデリング情報501が表示される。この3Dモデリング情報501とは、いわゆるマネキン情報とも呼ばれ、ユーザーの体型情報、すなわち外的・内的な身体的特徴が反映され、3次元形状で表示されたアバターである。この3Dモデリング情報501は、3次元空間内を撮影する仮想的なカメラによって360度全周から立体的な表示が可能となっている。
また、ユーザー端末1には、3Dモデリング情報501を操作する操作信号の入力デバイスとして、タッチパネル300が備えられている。タッチパネル300は、ユーザーの指先やペンなどを用いたタッチ操作による圧力によって操作信号を入力する入力デバイスであり、グラフィックを表示する表示部であるLCD165と、LCD165に表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサー168とが重畳されて構成され、LCD165に表示された3Dモデリング情報501の表示位置に対応した座標位置を、タッチ操作によって特定可能となっている。なお、ユーザー端末1は、ボタンスイッチや方向キー等の操作ボタン166が備えられており、この操作ボタン166を用いても、操作信号を入力できるようになっている。
(各装置の内部構造)
次いで、上述した3Dモデリング情報作成支援を構成する各装置の内部構造について説明する。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。
(1)ユーザー端末1
先ず、以上説明した表示・操作が可能なタッチパネル300を備えたユーザー端末1の具体的な内部構成について、以下に詳述する。図2は、本実施形態に係るユーザー端末1の内部構成を示すブロック図である。同図に示すように、ユーザー端末1は、アンテナ101に接続されたデュプレクサ102と、このデュプレクサ102に接続された受信系モジュール及び送信系モジュールとを備えている。
受信系モジュールとしては、低ノイズアンプ110、ミキサ111、IFアンプ112、直交ミキサ113、A/Dコンバータ114、復調器115、チャネルデコーダ116、音声デコーダ117、D/Aコンバータ118、スイッチ付きアンプ119、及びスピーカ120を備えている。一方、送信系モジュールとしては、マイク140、アンプ139、A/Dコンバータ138、音声エンコーダ137、チャネルエンコーダ136、変調器135、D/Aコンバータ134、直交ミキサ133、IFアンプ132、ミキサ131、及びパワーアンプ130を備えている。
また、ユーザー端末1は、制御系モジュールとして、シンセサイザ103、タイムベース150、CPU169、RAM152、ROM153、EEPROM151を備え、ユーザーインターフェース系モジュールとして、加速度センサー164、LCD165、操作ボタン166、LED167、タッチセンサー168、及びバイブレータ174を備え、さらに、電源系モジュールとして、電源系電池171、電源172、及びA/Dコンバータ173を備える。前述のタッチパネル300は、グラフィックを表示するLCD165と、LCD165に表示されたグラフィックの座標位置に対応した操作信号を受け付けるタッチセンサー168とが重畳されて構成されている。
前記アンテナ101は、電波回線を介して基地局(図示せず)に対し信号を送受信する。デュプレクサ102は、送受信される信号の入出力を切り替える回路であり、アンテナ101が受信した信号を低ノイズアンプ110に入力し、パワーアンプ130から出力された信号をアンテナ101に出力する。
受信系モジュールにおいて、低ノイズアンプ110は、デュプレクサ102から入力された信号を増幅し、ミキサ111に出力する。ミキサ111は、低ノイズアンプ110の出力を受け、特定の周波数だけ分離して中間周波数信号として出力する。IFアンプ112は、ミキサ111から出力された中間周波数信号を増幅する。直交ミキサ113は、IFアンプ112の出力を受け直交復調する。A/Dコンバータ114は、直交ミキサ113の出力をデジタル化する。復調器115は、A/Dコンバータ114の出力を復調する。チャネルデコーダ116は、復調器115の出力に対して誤り訂正を行う。誤り訂正を行った信号には、制御メッセージ及び音声データが含まれる。制御メッセージはCPU169に、音声データは音声デコーダ117に送出される。
係るチャネルデコーダ116から音声デコーダ117に入力された信号は、音声データにデコードされ、D/Aコンバータ118に受け渡される。D/Aコンバータ118は音声デコーダ117の出力をアナログ信号に変換する。スイッチ付きアンプ119は、CPU169からの制御信号に基づいて、適宜のタイミングで切り替えられ、スイッチONの状態においてD/Aコンバータ118の出力を増幅する。スピーカ120はスイッチ付きアンプ119の出力を増幅する。
一方、送信系モジュールにおいて、マイク140は、ユーザーからの音声信号を受け、この音声信号をアナログ信号として出力する。アンプ139は、マイク140から出力されるアナログ信号を増幅する。A/Dコンバータ138は、アンプ139の出力をデジタル信号に変換する。音声エンコーダ137はA/Dコンバータ138の出力をコード化して圧縮し、音声データとして出力する。チャネルエンコーダ136は、CPU169からの制御メッセージと音声エンコーダ137からの音声データとを合わせ、誤り訂正符号を付加する。
そして、変調器135は、チャネルエンコーダ136の出力を変調する。D/Aコンバータ134は、変調器135の出力をアナログ信号に変換する。直交ミキサ133は、D/Aコンバータ134の出力を、IF周波数信号(中間周波数信号)に変換する。IFアンプ132は直交ミキサ133の出力を増幅する。ミキサ131は、IFアンプ132の出力する信号の周波数を上げる。パワーアンプ130は、ミキサ131の出力を増幅する。なお、前記シンセサイザ103は、通信中に、ミキサ111、直交ミキサ113、ミキサ131、直交ミキサ133の同期をとる。タイムベース150は、クロック信号を各部に供給する。
ユーザーインターフェース系において、加速度センサー164は、加速度の大きさ及び方向を検出するセンサーであり、本実施形態では、3軸方向(X,Y,Z軸方向)への加速度を検知するようになっている。この加速度センサーが検知した加速度に応じた操作信号が、ユーザー端末1本体のCPU169に対して出力される。
LCD165は、ユーザーにメッセージや入力文字などを表示させる液晶ディスプレイである。タッチパネル300上のGUIでは、このLCD165を介して文字や図形、動画などのグラフィックを表示することができ、タッチパネル300上のタッチセンサー168を通じて、操作信号を取得する。
LED167は、点灯及び消灯によりユーザーにメッセージを伝えるためのものである。タッチセンサー168は、ユーザーの指がタッチパネル表面に接触したことを検出し、タッチパネル300表面に対する圧力によって操作信号を取得する。バイブレータ174は、着信を知らせるデバイスであり、着信すると振動する。また、電源系電池171は、電源172及びA/Dコンバータ173に電力を供給する。電源172はユーザー端末1の電源である。A/Dコンバータ173は、信号をCPU169に供給する。
CPU169は、上記各部を制御する演算処理装置であり、ROM153に格納されたプログラムのコマンドを順次実行し、種々の機能を果たす。RAM152は、CPU169のワーキングメモリ等として使用され、CPU169による演算結果を一時的に格納する。ROM153にはCPU169用のプログラムが記録され、CPU169からの要求に応じて、プログラムの実行命令を順次出力する。EEPROM151には、短縮ダイヤルなどのユーザーデータや、機体固有のIDや電話番号が記録されている。
そして、本実施形態においては、CPU169は、アプリケーションを実行するアプリケーション実行部としても機能し、このアプリケーション実行部で本発明の3Dモデリング情報作成支援プログラムなどのソフトウェアが実行されることによって、種々のモジュールを含む3Dモデリング情報支援作成機能モジュールがCPU169上に仮想的に構築される。
(CPU内の内部構成)
次いで、CPU169上で仮想的に構築される3Dモデリング情報支援作成機能モジュール群の内部構造について説明する。図3は、本実施形態に係る3Dモデリング情報作成支援に係る内部構成を示すブロック図である。
ユーザー端末1は、図3に示すように、ユーザーインターフェース系のモジュールとして入力インターフェース12と、出力インターフェース13とを備えている。入力インターフェース12は、上述した操作ボタン166やタッチパネル300などユーザー操作を入力するデバイスである。出力インターフェース13は、上述したLCD165やスピーカ120など、映像や音響を出力するデバイスである。
また、ユーザー端末1は、通信系のモジュールとして無線インターフェース11を備えている。無線インターフェース11は、通話やデータ通信が可能な無線通信インターフェースであり、無線データ通信によるパケットデータの送受信を行うことができる。本実施形態では、通信ネットワーク上に配置された管理サーバ2から、3Dモデリング情報作成支援プログラムをダウンロードしている。
撮影部16は、ユーザー端末1に取り付けられた、ユーザーの身体の一部又は全部を撮影する撮像装置であって、レンズと、CCDである固定撮像素子から構成され、入射された被写体像を表す光がCCDの受光面に結像され、カメラ信号処理回路及びA/D変換器等を介してCPU169に画像データが送信される。この画像データには、動画及び静止画が含まれ、動画データは、多数の連続画像がフレームとなったストリーミング形式で、CPU169に転送される。
外部撮像機器18は、ユーザー端末1に取り付けられた撮影部16以外の撮像装置であり、通常の撮像装置の他、衣類等を透過した状態の画像データを撮影する赤外線カメラや、後方散乱X線カメラなどが含まれる。これらの外部撮像機器18は、例えば、各ユーザーが所持するものであってもよく、また、例えば、本サービスを提供するサービス提供者が運営する店舗に設置されてもよい。
体組成測定機器19とは、体重計や、体組成計など各種の体組成情報(体重、体脂肪率、BMI(体格指数:BodyMathIndex)、基礎代謝レベル、骨格筋レベル、骨レベル、内臓脂肪レベル、水分量、身体年齢など)を測定する測定機器である。これら外部撮像機器18及び体組成測定機器19は、無線通信又は有線通信によってユーザー端末1と接続可能であり、測定された体組成情報及び画像データを送信している。
CPU169は、本発明に係るプログラムの他、一般のOSやブラウザソフト、画像再生アプリケーションなどのアプリケーションを実行するモジュールである。本実施形態において、CPU169上には、3Dモデリング情報を作成するモジュールとして、情報取得部182と、解析部181と、マネキン生成部184と、表示情報生成部185とが構築される。
情報取得部182は、ユーザーの部分的又は全体的な身体的特徴に関する身体情報を取得するモジュールである。この情報取得部182において、取得される「身体情報」とは、測定器を用いて身体部分や体温など実測された身体的な特徴に関する情報の他、ユーザーが入力手段を用いて入力した情報、撮影されることで取得される静止画や動画などの撮影データが含まれる。そして、情報取得部182には、撮影データ取得部182aと、実測値入力部182bと、パターン選択部182cとを有している。
一方、解析部181は、身体情報に含まれるユーザーの部分的又は全体的な身体的特徴を相互に補完して、身体の所定部位に関する推測値、及び部分的又は全体的な身体的特徴との相関情報を算定するモジュールであり、解析部181には、画像解析部181aとを有している。
ここで、「身体の所定部位」とは、観測や計測の対象となる部位であり、ウエストやバスト、肩幅、首回りなど身体のいずれかの部位を含む。また、「部分的又は全体的な身体的特徴を相互に補完」とは、取得された複数の部分的・全体的な情報の条件(単位や縮尺など)を統一することにより、推定値などを用いて不足している情報を補って、情報間の連続性を確保することを意味する。例えば、部分的に撮影した身体部分をつなぎ合わせて全身写真を作成する際に、撮影された身体部分の縮尺を統一したり、部分的に撮影した身体部分を、全身写真に当てはめられるように、その縮尺を合わせたりなどが挙げられる。
さらに、「相関情報」とは、部分的又は全体的な身体的特徴の相互の関係性を意味し、例えば、腕の太さとウエストのサイズとの相関など外的な関連性の他、腕の太さと体重や体脂肪率との相関など、外的と内的との関連性も含まれる。なお、解析部181によって、算定された身体の所定部位に関する推測値、及び部分的又は全体的な身体的特徴との相関情報は、体型データ蓄積部153cに蓄積されるとともに、無線インターフェース11を介して管理サーバ2に送信される。体型データ蓄積部153cは、解析部181によって算定された推測値及び相関情報を蓄積する記憶装置である。
マネキン生成部184は、体型データ蓄積部153cに蓄積された推測値及び相関情報に基づいて、3Dモデリング情報を生成するモジュールである。ここで、3Dモデリング情報は、ユーザーの身体的特徴が再現されたオブジェクトデータであり、具体的には、例えば身長、体重の他、胸囲、胴囲、腰囲、肩幅、上半身の長さ、下半身の長さなど詳細な情報が含まれている。さらに、骨格、筋肉、皮下脂肪などで構成される身体全体の形態学的・数量的特性の他、内的な身体的特徴を含めてもよい。
表示情報生成部185は、LCD165に表示される表示情報を生成するモジュールであり、推測値及び相関情報を算定する処理中における各画像を表示させたり、マネキン生成部184で作成された3Dモデリング情報501を画面上に表示させたりする。本実施形態において、表示情報生成部185では、3次元空間内に視野範囲を定める仮想的なカメラを配置し、その仮想的なカメラが撮像した3Dモデリング情報501を二次元平面としてウインドウに表示する。
具体的に、表示情報生成部185は、先ず、3次元空間を仮想的に構成し、この3次元空間内の3次元座標上に存在する3Dモデリング情報501やカメラの座標位置を制御して3次元を構成させる。さらに、表示情報生成部185は、構成された3次元空間のデータを取得し、撮影画面の視野範囲に応じた二次元画像を演算処理して、撮影画面に3次元空間を二次元的に表示する。本実施形態においてLCD165には、3Dモデリング情報501を中心として、3Dモデリング情報を360度全周から撮影したような画像が表示され、自分の体型が反映された3Dモデリングを客観的に視認することができるようになっている。
(情報取得部182及び解析部181の具体的な処理内容)
本実施形態において、情報取得部182と解析部181は、3Dモデリング情報を作成するための各モードに応じて上記の各機能モジュールが選択され実行するようになっている。以下、モード毎における各機能モジュールの具体的な処理内容を説明する。図4(a)〜(h)は、各モードにおける解析部181及び情報取得部182の内部構成を示すブロック図である。
(モード1)
先ず、ユーザーが自分の身体的特徴を入力することで推測値及び相関情報を算定するモード1について説明する。モード1では、図4(a)に示すように、情報取得部182には、実測値入力部182bを備えている。
実測値入力部182bは、ユーザー操作に基づいて、当該ユーザーの身体的特徴の実測値の入力を受け付けるモジュールである。ここで、実測値入力部182bに対して実測値として入力される身体的特徴としては、部分的、全体的、外的、内的な特徴が含まれ、上述したように、例えば手や顔、足などの身体の一部の外的な形状や大きさ、色、乾燥状態の他、温度や水分、脂肪分長や体型、同一スケールにおける身体各部のサイズ及び形状、身体各部のサイズや形状の比率などの外的な特徴や、体組成測定機器19から取得した体重や体脂肪率、健康状態などの内的な特徴の入力を受け付ける。
この際、実測値入力部182bは、表示情報生成部185を制御して、入力すべき身体的特徴の実測値を入力すべき入力欄をLCD165に表示させる。そして、実測値入力部182bは、ユーザー自身が入力した身体的特徴の実測値を、入力インターフェース12を介して取得する。その後、解析部181は、実測値入力部182bにより入力された実測値に基づいて推測値及び相関情報を算定する。
(モード2)
次いで、パターンデータを選択し、その上で実測値を入力して補正することで推測値及び相関情報を算定するモード2について説明する。モード2では、図4(b)に示すように、情報取得部182内において、実測値入力部182bとパターン選択部182cを備えている。また、ここでは、複数のパターンデータを蓄積するパターン記憶部153aが用いられる。
パターン記憶部153aには、身体的特徴の類型をパターンデータとして記憶されている。ここで、パターンデータとしては、標準となる人物の身体情報と、当該身体情報に基づいて表示されるマネキン(サンプル3Dモデリング)の画像情報とが関連付けて蓄積されている。この標準となる人物の身体情報としては、例えば、年齢別、身長別、性別、国籍別、体型別(痩せ型、普通型、肥満型)などの各区分によって分けられ、これらの区分を組み合わせた身体情報と表示情報とが蓄積されている。
そして、モード2が実行されると、先ず、パターン選択部182cは、表示情報生成部185を制御して、パターン記憶部153aから、標準となるマネキン(サンプル3Dモデリング)のパターンデータを抽出して、複数の3Dモデリング画像を画面上に複数表示させる。そして、パターン選択部182cは、ユーザー操作に基づいて、パターン記憶部153aから任意のパターンデータを読み出す。一方、実測値入力部182bは、上述したように、ユーザー操作に基づいて、当該ユーザーにおける身体的特徴の実測値の入力を受け付けて身体情報を取得する。そして、解析部181には、パターン選択部182cで選択されたパターンデータに対して、実測値入力部182bが取得した身体情報を当てはめることにより、推測値及び相関情報を算定する。
(モード3)
次いで、パターンデータを選択するとともに、ユーザー自身のいずれかのパーツ(手、足、頭など)を撮影した画像に基づいて、身体情報を補正して推測値及び相関情報を算定するモード3について説明する。このモード3では、図4(c)に示すように、情報取得部182内にはパターン選択部182cと撮影データ取得部182aを有し、解析部181には画像解析部181aを有している。また、ここでは、画像処理記憶部153bに蓄積されたデータを用いている。
画像処理記憶部153bは、画像解析部181aにおいて画像処理されるための各種データ及びプログラムを蓄積する記憶装置であり、本実施形態では、カメラの特性(レンズの歪み、焦点距離)に基づいたレンズ歪補正を行うためのレンズ歪補正用のパラメータ、画素毎の勾配強度を算出するプログラム、勾配の方向からエッジの局所的方向からエッジを抽出するプログラム、及びエッジに基づいて画像内の輪郭を特定プログラムなど各種画像認識処理に必要な各種データや、3D画像作成に必要なソフトウェア等が蓄積されている。
モード3が実行されると、先ず、パターン選択部182cは、上述したように、操作信号から選択されたパターンデータを決定する。一方、撮影データ取得部182aでは、表示情報生成部185を制御して、ユーザーの部分的な身体的特徴を撮影させるように指示を表示させる。この際、撮影データ取得部182aでは、いずれの部分的な身体的特徴(手、足、又は顔など)を撮影するかを指示してもよく、ユーザーに選択させてもよい。撮影された画像は、画像解析部181aに入力される。
画像解析部181aは、撮影部16が撮影した画像を解析して、部分的な身体的特徴に関する身体情報を算出するモジュールである。この画像解析部181aでは、画像処理記憶部153bに蓄積された画像認識処理を行うための各種データ及びプログラムを用いることで、撮影された画像から身体情報の形状を特定する。さらに、画像解析部181aでは、身体情報の寸法情報を特定する。身体情報の寸法情報を特定する方法としては、例えば、画面中に表示される部分的な身体情報が占める割合によって推定してもよい。そして、解析部181には、パターン選択部182cで選択されたパターンデータに対して、画像解析部181aで解析された身体情報を当てはめることにより、推測値及び相関情報を算定する。
(モード4)
次いで、パターンデータを選択するとともに、ユーザー自身の部分的な身体的特徴及び寸法が既知である比較対象物を撮影した画像から身体情報を補正することで推測値及び相関情報を算定するモード4について説明する。
すなわち、モード4では、図4(d)に示すように、モード3の処理において撮影された部分的な身体的特徴の寸法情報を、同時に撮影された比較対象物に基づいて特定するものである。ここで、「寸法が既知である比較対象物」とは、その寸法が判断できる物品であって、例えば、煙草の箱やライター、クレジットカードなどサイズが一定で、身近にある一般的な物品の他、スマートフォンや携帯電話、タブレットPC、デジタルカメラなど機種が含まれる。既知情報蓄積部153eには、寸法が既知である比較対象物に関する寸法情報(物品の形状及び寸法情報)を記憶している。
モード4が実行されると、先ず、パターン選択部182cは、上述したように、操作信号から選択されたパターンデータを決定する。一方、撮影データ取得部182aでは、表示情報生成部185を制御して、ユーザーの部分的な身体的特徴と比較対象物とを含めて撮影することを指示する。この際、解析部181では、いずれの比較対象物を撮影するか選択させてもよく、ユーザーに選択させてもよい。さらに、撮影データ取得部182aでは、画面上の所定位置に比較対象物が配置されるガイド用の表示情報を表示させることもできる。例えば、画面上の中心に円形の枠を表示させ、メッセージとして「手の平に硬貨を置き、枠内に硬貨が位置するように撮影して下さい。」と表示させる。なお、解析部181では、モード3と同様に、部分的な身体的特徴についての指示も行う。
画像解析部181aでは、撮影部16によって撮影された画像データを取得して、画像認識機能によって画像データを解析して部分的な身体的特徴の形状を特定する。画像解析部181aで解析された画像は、既知情報取得部182dに送信される。既知情報取得部182dは、撮影部16が撮影した画像内に比較対象物が写っている場合に、当該画像内に写っている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得するモジュールであり、画像解析部181aから取得した画像に基づいて、既知情報蓄積部153eを参照し、比較対象物の寸法情報を取得する。その後、比較対象物の寸法情報は、解析部181に送信される。
解析部181は、既知情報取得部182dが取得した寸法情報と、画像内における比較対象物及びユーザーの身体との対比結果とに基づいて、推測値及び相関情報を算定する。具体的に、解析部181は、既知情報取得部182dによって取得された寸法情報と、画面上における比較対象物の寸法情報との比率を求め、その比率に基づいて、画像内に表示された部分的な身体的特徴の寸法情報を特定する。そして、解析部181には、パターン選択部182cで選択されたパターンデータに対して、画像解析部181aで解析された身体情報を当てはめることにより、推測値及び相関情報を算定する。
(モード5)
次いで、パターンデータを選択するとともに、ユーザー自身を動画で撮影して身体情報を補正することで推測値及び相関情報を算定するモード5について説明する。モード5では、図4(e)に示すように、情報取得部182には、パターン選択部182cと撮影データ取得部182aとを有し、解析部181は画像解析部181aを有している。
この場合、先ず、パターン選択部182cは、上述したように、操作信号から選択されたパターンデータを決定する。また、撮影データ取得部182aでは、表示情報生成部185を制御して、ユーザー全体を動画で撮影するように指示を出力する。この際、撮影部16を所定の位置に固定して、ユーザーを撮影部16の前で1回転させるように指示を出す。
その後、画像解析部181aは、撮影部16によって撮影された動画データを取得し、画像認識機能によって動画データを解析してユーザーの全体的な身体的特徴に関する身体情報を算出する。具体的には、動画データの内、所定の角度(正面、側面など)から撮影された1又は複数のコマ画像によってユーザーの形状を3次元的に特定する。この際、ユーザーの形状は、例えば、画像内に含まれる顔、目、肩、腰などの部位を基準点として認識することで行う。
さらに、画像解析部181aでは、特定されたユーザーの全体的な身体情報の寸法情報を特定する。この処理としては、例えば、画面上に表示されている身体の占める割合などから特定してもよく、上記基準点にいずれかに基づいて寸法情報を特定してもよい。そして、解析部181には、パターン選択部182cで選択されたパターンデータに対して、画像解析部181aで解析された身体情報を当てはめることにより、推測値及び相関情報を算定する。
(モード6)
次いで、ユーザー自身を動画で撮影することのみで推測値及び相関情報を算定するモード6について説明する。モード6では、図4(f)に示すように、情報取得部182には、撮影データ取得部182aを有し、解析部181は画像解析部181aを有している。
先ず、撮影データ取得部182aでは、表示情報生成部185を制御して、ユーザー全体を動画で撮影するように指示を出力する。この際、撮影部16を所定の位置に固定して、ユーザーを撮影部16の前で1回転させるように指示を出す。その後、画像解析部181aは、撮影部16によって撮影された動画データを取得し、上記のモード5のように、画像認識機能によって動画データを解析してユーザーの全体的な身体的特徴に関する身体情報を算出する。
さらに、画像解析部181aでは、ユーザーの全体的な身体情報の寸法情報を特定する。この処理としては、例えば、画面上に表示されている身体の占める割合などから特定してもよく、上記基準点にいずれかに基づいて寸法情報を特定してもよい。そして、解析部181は、画像解析部181aにより解析された、ユーザーの全体的な身体情報に基づいて推測値及び相関情報を算定する。
(モード7)
次いで、ユーザー自身を撮影する際、カメラのピントから被写体までの距離を測定することで、推測値及び相関情報を算定するモード7について説明する。モード7では、図4(g)に示すように、解析部181では、画像解析部181aを有し、情報取得部182は撮影データ取得部182aを有している。
先ず、撮影データ取得部182aでは、表示情報生成部185を制御して、ユーザーの部分的又は全体的な身体情報を静止画として撮影するように指示を出力する。その後、画像解析部181aは、撮影部16によって撮影された画像データを取得し、画像を解析して、部分的又は全体的な身体的特徴に関する身体情報を算出する。この際、ユーザーの形状は、例えば、画像内に含まれる顔、肩、腰などの部位を基準点として認識することで行う。
画像解析部181aには、撮影部16から被写体までの距離を測定する撮影距離算出部181cを有している。撮影距離算出部181cでは、撮影部16においてピント合わせを行った際の調整値を取得し、その調整値から撮影部16から被写体までの距離を測定するようになっている。
そして、画像解析部181aでは、撮影部16から被写体までの距離に基づいて、ユーザーの部分的又は全体的な身体情報の寸法情報を特定する。そして、解析部181は、画像解析部181aにより解析された、ユーザーの全体的な身体情報に基づいて推測値及び相関情報を算定する。
(モード8)
ユーザー自身を撮影した静止画のみから身体情報を取得することで推測値及び相関情報を算定するモード8について説明する。モード8では、図4(h)に示すように、情報取得部182は撮影データ取得部182aを有し、解析部181では画像解析部181aを有している。
撮影データ取得部182aでは、上述したように、表示情報生成部185を制御して、ユーザーの部分的又は全体的な身体的特徴が撮影された静止画を取得する。画像解析部181aでは、撮影部16によって撮影された静止画の画像データを取得し、画像を解析して、ユーザーの部分的又は全体的な身体的特徴に関する身体情報を算出する。この際、ユーザーの形状は、全体的な身体的特徴が撮影されている場合には、画像内に含まれる顔、目、肩、腰などの部位を基準点として認識する。
画像解析部181aでは、ユーザーの全体的な身体情報の寸法情報を特定する。この処理としては、例えば、画面上に表示されている身体の占める割合などから特定してもよく、上記基準点にいずれかに基づいて寸法情報を特定してもよい。解析部181は、画像解析部181aにより解析された、ユーザーの全体的な身体情報に基づいて推測値及び相関情報を算定する。
なお、上述した各モードは、一例であり、それぞれの機能を組み替えて用いてもよい。例えば、モード5やモード6において動画撮影する場合に、ユーザーの部分的な身体的特徴や比較対象物を撮影することもできる。また、モード3及び4において、パターンを選択することなく、ユーザーの部分的な身体的特徴や比較対象物を撮影することのみで、推測値及び相関情報を算定してもよい。さらには、各モードの処理を適宜組み合わせて、推測値及び相関情報の精度を向上させてもよい。
さらに、上述したモードにおいて、ユーザーの部分的又は全体的な身体的特徴を撮影する場合には、例えば、鏡を用いて撮影させて、鏡越しに撮影された撮影データからユーザーの身体情報を取得するようにしてもよい。次いで、このような鏡を用いた処理方法について説明する。
(鏡を用いた撮影モード)
鏡を用いた撮影モードでは、モード4と同様に、情報取得部182は、撮影データ取得部182aと、パターン選択部182cと、既知情報取得部182dとを有している。一方、解析部181では、画像解析部181aを有している。なお、撮影部16はここでは静止画を撮影するものとする。
先ず、パターン選択部182cは、表示情報生成部185を制御して、パターンデータを画面上に複数表示させる。そして、パターン選択部182cは、操作信号から選択されたパターンデータを決定する。撮影データ取得部182aでは、表示情報生成部185を制御して、ユーザーの全体を鏡越しに撮影させるように指示を表示させる。この際、解析部181では、ユーザーの部分的な身体的特徴と比較対象物とを含めて撮影することを指示する。
ここで、比較対象物は、撮影部16を有するユーザー端末1である。さらに、撮影データ取得部182aでは、画面上の所定位置にユーザーが適切な位置に配置されるようにガイド用の表示情報(人型をした枠)を表示させたり、比較対象物であるユーザー端末1の配置場所を示すガイド用の枠を表示させてもよい。なお、この人型の枠を表示させる場合には、例えば、パターン選択部182cによって選択されたパターンデータに基づいて表示形態を変化させることもでき、また、実測値入力部182bを通じて入力された身体情報(身長、体重などの簡易情報でよい。)に基づいて表示形態を変化させることもできる。
画像解析部181aでは、撮影部16によって撮影された画像データを取得して、画像認識機能によって画像データを解析して全体的な身体的特徴の形状を特定する。既知情報取得部182dは、撮影部16が撮影した画像内に比較対象物が写っている場合に、当該画像内に写っている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得する。
解析部181は、既知情報取得部182dが取得した寸法情報と、画像内における比較対象物及びユーザーの身体との対比結果とに基づいて、推測値及び相関情報を算定する。具体的に、解析部181は、既知情報取得部182dによって取得された寸法情報と、画面上における比較対象物の寸法情報との比率を求め、その比率に基づいて、画像内に表示された部分的な身体的特徴の寸法情報を特定する。そして、解析部181は、パターン選択部182cで選択されたパターンデータに対して、画像解析部181aで解析された身体情報を当てはめることにより、推測値及び相関情報を算定する。
なお、ここでは、パターンデータの選択を受け付けて、パターンデータに対して、画像解析部181aで解析された身体情報を当てはめることにより、推測値及び相関情報を算定したが、例えば、パターンデータの選択を受け付けず、鏡越しで撮影されたユーザーの全体像の寸法情報や形状から直接、推測値及び相関情報を算定してもよい。さらに、上述した説明では、画像データに基づいて画像解析したが、動画データを用いて画像解析することもできる。
また、CPU169には、解析部181において算出されたユーザーの身体の所定部位に関する推測値を補正するデータ補正部183を有している。ここで、データ補正部183は、管理サーバ2によって生成された補正用データに基づいて補正する場合と、ユーザー操作主導により補正する場合とが含まれる。
・補正用データに基づいて補正する場合
先ず、補正用データに基づいて補正する場合について説明する。ユーザー端末1には、集計された推測値及び相関情報に基づいて生成された補正用データを蓄積する補正用データ蓄積部153dを有している。なお、この補正用データとは、各ユーザー端末1の解析部181によって解析された推測値及び相関情報が管理サーバ2側で集計され、管理サーバ2側において、集計された推測値及び相関情報に基づいて生成されたデータである。この補正用データは、所定間隔毎に管理サーバ2から取得している。そして、データ補正部183は、上述した各モードに応じ、解析部181において算出されたユーザーの身体の所定部位に関する推測値を補正用データに基づいて補正する。
・ユーザー操作主導により補正する場合
次いで、ユーザー操作主導により補正する場合について説明する。ここで、ユーザー操作には、直接ユーザーが身長、胸囲、胴囲、又は腰囲などを測定してその測定値を直接入力する場合と、外部機器から測定された測定値が入力される場合とがある。
直接ユーザー操作によって測定値が入力された場合には、実測値入力部182bにおいてその入力された測定値を受け付け、その情報がデータ補正部181bに送信される。そして、データ補正部181bは、解析部181において算出されたユーザーの身体の所定部位に関する推測値を、受け付けた入力情報に基づいて補正する。なお、実測値入力部182bでは、身体の部位毎に入力を受け付け可能となっている。したがって、購入した商品を着たときに、例えば、身体の一部に違和感がある場合、その部位のみ修正させることができる。
・外部機器を用いた補正
一方、外部機器から入力されたデータに基づいて補正を行う場合には、外部撮像機器18によって撮影された画像データに基づいて補正を行う場合と、体組成測定機器19で測定された体組成情報に基づいて補正を行う場合とがある。
(a)外部撮像機器18を用いた補正処理
外部撮像機器18によって撮影された画像データに基づいて補正を行う場合には、例えば、以下のような補正処理がある。
例えば、外部撮像機器18として赤外線カメラを用いられた場合には、赤外線カメラで撮影され、衣類部分が透過された画像が実測値入力部182bに入力される。また、例えば、外部撮像機器18として後方散乱X線装置を用いられた場合には、検査対象物からの反射の大小を測定し、衣類部分が透過された画像が実測値入力部182bに入力される。
実測値入力部182bで取得したこれらの透過画像は画像解析部181aに入力され、画像解析されることで、当該衣類部分が透過された画像から身体情報(形状及び寸法情報)を特定される。そして、身体情報はデータ補正部181bに入力され、データ補正部181bでは、解析部181において算出されたユーザーの身体の所定部位に関する推測値を、透過された画像から解析された身体情報(形状及び寸法情報)に基づいて補正する。
このように外部撮像機器18から取得された画像データは、解析部181に入力され、上述した画像解析処理によって、衣類部分が透過された状態で身体情報が認識される。このように、衣類部分が透過され、体型のシルエットを明確にすることで、正確な体型に基づいて3Dモデリング情報を作成することができる。
(b)体組成測定機器を用いた補正
体組成測定機器から入力されたデータに基づく補正処理としては、例えば、以下のような補正処理がある。
例えば、体重と体脂肪率、BMI、及び内臓脂肪レベルから、身体のどの部分の脂肪が増減したかを推定して、解析部181において算出されたユーザーの身体の所定部位に関する推測値を補正することもできる。また、他の処理方法としては、基礎代謝量、骨格筋レベル、骨レベル、及び身体年齢情報から加齢による身体の増減(身長が縮む、及び肩幅が狭くなる等)を推定し、解析部181において算出されたユーザーの身体の所定部位に関する推測値を補正することもできる。さらに、他の処理方法としては、水分量、身体年齢情報から年齢による肌のたるみの増減(頬のたるみ、しわ等)を推定し、解析部181において算出されたユーザーの身体の所定部位に関する推測値を補正することもできる。なお、このような体組成情報との相関情報は、予め体型データ蓄積部153cに蓄積されているものとする。
このように測定した体組成情報に連動して、解析部181において算出されたユーザーの身体の所定部位に関する推測値を補正(メンテナンス)することで、3Dモデリング情報を現在の自己の体型と合致した体型とすることができる。これにより、ユーザーは、リアルタイムに3Dモデリング情報の体型変化を客観的に認識することができるので、ヘルスケアと美容に対する意識向上も期待できる。
ここで、CPU169は、体組成測定機器19から取得した体組成情報を、日付情報とともにROM153内に蓄積しておき、過去と現在との体型の差などを表示することもできる。また、CPU169は、所定期間、体組成測定機器19と接続されなかった場合には、身体情報を更新する時期であることを知らせる情報を画面上にポップアップ表示させることもできる。この際、CPU169は、体組成測定機器19などを所持していないユーザーに対しては、体重、胸囲、胴囲、腰囲などの入力を受け付ける入力欄を表示させる。そしてユーザー自身が入力した入力情報を取得し、その入力情報に基づいて、3Dモデリング情報の身体情報を補正する。
なお、更新時期を知らせる通知は、ユーザーによってオン/オフの切り替えが可能であり、また、お知らせするタイミングもユーザーによって設定(月に一度、又は隔月に一度など)することができる。なお、上述したCPU169による補正処理は、ユーザーの選択操作によっていずれの方法で補正するかは選択可能であり、また、補正処理を行わないことも可能である。
さらに、CPU169では、体組成測定機器19で測定した体組成情報に基づいて、ユーザーの未来の体型又は顔の変化を予測して画面上に表示させる未来予測機能を有している。この未来予測機能は、体組成情報に基づいて、体型データ蓄積部153cに蓄積された身体情報を参照して、所定年後におけるユーザーの顔や全身の変化を予測して画面上に表示する。具体的に、顔の変化としては、肌のたるみ(頬のたるみ、しわ等)を予測して3Dモデリング情報の顔画像を変化させる。一方、全身の変化として、筋肉量の低下による身体の肌たるみ、筋肉量及び骨密度の低下による姿勢変化などを予測して3Dモデリング情報の全体画像を変化させる。
(2)管理サーバ2の内部構成
次いで、管理サーバ2の内部構成について説明する。管理サーバ2は、単一のサーバ装置の他、Webサーバやデータベースサーバなど複数のサーバ群から構成することができ、本実施形態では、図5に示すように、通信インターフェース21と、制御部22と、記憶部23とを備えている。
記憶部23は、本システムに関する各種の情報を蓄積するデータベース群であり、ここでは、会員データベース231と、パターン記憶部232と、体型データ蓄積部233と、画像処理記憶部234と、補正用データ蓄積部235とを備えている。会員データベース231は、ユーザー端末1に関する情報を蓄積するデータベースであり、本実施形態では、ユーザー端末1を識別するユーザーID(ユーザー端末1のIPアドレス等)に、ユーザーに関する情報(端末のメールアドレス、電話番号の他、年齢、性別などの基本個人情報)などが関連付けて記録されている。また、このユーザーIDには、ユーザーの身体情報が関連付けて蓄積されている。
パターン記憶部232には、身体的特徴の類型をパターンデータとして記憶されている。体型データ蓄積部233は、ユーザー端末1から取得した各データを蓄積する記憶装置であり、各ユーザー端末1で算定された推測値及び相関情報の他、撮影データ取得部182aで取得された画像、実測値入力部182bで取得した実測値、既知情報取得部182dで取得された既知情報、さらには、ユーザー情報(性別、年齢等)を取得して蓄積している。補正用データ蓄積部235は、体型データ蓄積部233に蓄積され、集計された推測値及び相関情報に基づいて分析処理されて生成された補正用データを蓄積する記憶装置である。画像処理記憶部234とは、上述した画像処理記憶部153bと同様なデータ構成となっている。
通信インターフェース21は、通信ネットワーク5を通じて、ユーザー端末1や各サーバ装置との間でデータの送受信を行う通信インターフェースである。本実施形態において通信インターフェース21は、通信ネットワーク5を介して、ユーザー端末1で作成された3Dモデリング情報の身体情報などを受信するとともに、各ユーザーの身体情報を集計・分析した結果、更新された各種の身体情報などを配信するようになっている。
制御部22は、CPUやDSP(Digital Signal Processor)等のプロセッサ、メモリ、及びその他の電子回路等のハードウェア、或いはその機能を持ったプログラム等のソフトウェア、又はこれらの組み合わせなどによって構成された演算モジュールであり、プログラムを適宜読み込んで実行することにより種々の機能モジュールを仮想的に構築し、構築された各機能モジュールによって、各部の動作制御、ユーザー操作に対する種々の処理を行っている。そして、本実施形態において、制御部22には、認証部221と、会員登録部222と、履歴情報取得部224と、分析部223とを備えている。
認証部221は、アクセス者の正当性を検証するコンピュータ或いはその機能を持ったソフトウェアであり、通信ネットワーク5を通じてユーザー端末1又はユーザー端末1のIPアドレス等の識別子を取得し、会員データベース231を照合することによって、アクセス者にその権利があるか否かや、そのアクセス者が本人であるか否かなどを確認するモジュールである。
会員登録部222は、本システムを利用するユーザーの会員登録を処理するモジュールであり、ユーザー端末1からのアクセスを受け付けて会員登録を行う。具体的に、会員登録部222は、先ず、ユーザー端末1を特定するための識別情報として、ユーザー端末1のIPアドレス、MACアドレスなどを取得して会員データベース231に記録するとともに、その後、ユーザーからの個人情報入力があった場合には、そのユーザーIDに、ユーザーが所持するユーザー端末1に関する情報(ユーザー端末1のメールアドレス、電話番号、ユーザーの氏名、年齢、性別などの個人情報など)を会員データベース231に関連付けて記録する。
履歴情報取得部224は、各ユーザー端末1において処理された各データを取得するモジュールであり、本実施形態では、算定された推測値及び相関情報の他、撮影データ取得部182aで取得された画像、実測値入力部182bで取得した実測値、既知情報取得部182dで取得された既知情報などの情報を取得し、これらの情報を体型データ蓄積部233に入力する。
分析部223は、体型データ蓄積部233に蓄積されたデータを分析するモジュールであり、補正データ生成部223aと、パターン生成部223bとを有している。補正データ生成部223aは、体型データ蓄積部233に蓄積され、集計された推測値及び相関情報に基づいて補正用データを生成するモジュールであり、例えば、身体の部分的な身体的特徴の形状及び寸法情報と、身体全体の身体情報との関連性を分析した、補正用データを作成する。これら作成された補正用データは、補正用データ蓄積部235に記憶されるとともに、各ユーザー端末1に配信される。
また、パターン生成部223bは、パターン記憶部232に蓄積する3Dモデリングに関する情報を作成するモジュールである。パターン生成部223bは、体型データ蓄積部233に蓄積されたユーザー情報に基づいて3Dモデリングのパターンを作成する。ここで作成されるパターンとしては、例えば、人物の身体情報を、年齢別、身長別、性別、国籍別、体型別(痩せ型、普通型、肥満型)などの各区分によって分類する。このように分類された分析結果は、パターン記憶部232に入力されるとともに、各ユーザー端末1に配信される。なお、補正用データ及びパターンデータのユーザー端末1に対するデータ配信タイミングとしては、所定間隔であってもよく、また、各データベース内が更新される度に行ってもよい。
(3Dモデリング情報作成支援方法)
以上の構成を有する3Dモデリング情報作成支援システムを動作させることで、ユーザーの身体的特徴が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援方法を実施することができる。図6は、本実施形態に係る方法を示すフローチャート図である。なお、ここでは、予め、ユーザー端末1のROM153には、3Dモデリング情報作成支援プログラムがインストールされるとともに、各データベース153a〜153e内に所定のデータが記録されているものとする。
先ず、管理サーバ2では、常時、制御部22では、ユーザー端末1に対して配信すべきデータがあるか否かを判断している(S201)。ここで、配信すべきか否かの条件とは、例えば、ユーザー端末1が本アプリケーションをインストールした場合や、例えば、記憶部23内の各データベースにおいてデータ更新があったり、更新タイミングが到達されたなどが含まれる。
配信すべきデータがない場合には(S201における“N”)、サーバ装置はユーザー端末からの履歴情報を取得するまで待機する。一方、配信すべきデータがある場合には(S201における“Y”)、制御部22は、各データベース内における各種データをユーザー端末1に送信する。
ユーザー端末1では、各種データを受信すると(S101)、ROM153内の各データベース153a〜153d内に各種データを新規に登録したり、更新処理したりする。その後、ユーザー端末1のCPU169において、本プログラムが実行された場合には(S102)、先ず、画面上に3Dモデリング情報作成メニューを表示させる。ユーザー操作によって、3Dモデリング情報作成メニューが選択されると(S103)、3Dモデリング情報作成処理が行われる。CPU169では、上記モード1〜モード8や鏡を介して撮影するモードなど各モードの選択画面を表示させ、いずれかのモードの選択を、入力インターフェース12を通じて受け付ける(S104)。
モードが決定された後、情報取得部182は、ユーザーによって選択されたモードに応じて、ユーザーの部分的又は全体的な身体的特徴に関する身体情報を取得する(S105)。そして、解析部181は、身体情報に含まれるユーザーの部分的又は全体的な身体的特徴を相互に補完して、身体の所定部位に関する推測値、及び部分的又は全体的な身体的特徴との相関情報を算定する(S106)。
ここで、例えば、選択されたモードに、ユーザー操作に基づいて、当該ユーザーの身体的特徴における実測値の入力を受け付ける処理が含まれている場合には、実測値入力部182bによって実測値の入力を受け付けるとともに、解析部181では、入力された実測値に基づいて推測値及び相関情報を算定する。この際、端末1に補正用データが蓄積されている場合には、データ補正部186は、補正用データに基づいて算出されたユーザーの身体の所定部位に関する推測値を補正する。
さらには、選択されたモードに、パターンデータを用いる場合には、ユーザー操作に基づいて、パターン選択部182cが任意のパターンデータをパターン記憶部153aから読み出すとともに、解析部181では、選択されたパターンデータに対して、取得された身体情報を当てはめることにより、推測値及び相関情報を算定する。
さらに、選択されたモードに、撮影データを用いる場合には、撮影部16により、ユーザーの身体の一部又は全部を撮影し、解析部181では、撮影した画像を解析して身体情報を算出する。算出された身体情報に基づいて、推測値及び相関情報を算定する。
なお、撮影された画像内に、寸法が既知である比較対象物が写っている場合に、当該画像内に写っている比較対象物を抽出して、比較対象物に関する寸法情報が記憶された既知情報蓄積部153eから、抽出された比較対象物の寸法情報を取得するとともに、解析部181では、取得された寸法情報と、画像内における比較対象物及びユーザーの身体との対比結果とに基づいて、推測値及び相関情報を算定する。
これらのように解析部181で算定された推測値及び相関情報は、体型データ蓄積部153cに蓄積されるとともに、マネキン生成部184によってユーザーの身体的特徴が再現されたオブジェクトデータである3Dモデリング情報が生成され、表示情報生成部185の制御によってLCD165上に表示される(S107)。
ユーザーは、この画面上に表示された3Dモデリング情報501を視認して、画面上に表示された補正アイコンか保存アイコンのいずれかを選択する。ここで、ユーザー操作によって保存アイコンが選択された場合(S108における“N”)、作成された3Dモデリング情報データがROM153に上書き保存される(S109)。
一方、ユーザー操作によって補正アイコンが選択された場合(S108における“Y”)、CPU169は、補正方法を選択する画面を表示させる。なお、本実施形態において、3Dモデリング情報501を補正する方法としては、入力インターフェース12を通じて入力された体型入力情報に基づいて補正する方法と、外部機器を用いて取得したデータに基づいて補正を行う方法とがある。さらには、上述した各モードに応じた処理を行ってもよい。
CPU169では、補正処理方法の選択を受け付けると、ユーザーからの操作に応じて各情報を取得して、推定値及び相関情報を再度算定して補正処理を行い、3Dモデリング情報を再表示する(S104〜S107)。この補正処理は、ユーザー操作に応じて保存ボタンが選択されるまで(S108における“N”)、繰り返される。
ユーザー操作に応じて保存ボタンが選択されると(S108における“N”)、3Dモデリング情報のデータがROM153に記憶される(S109)。この際、CPU169では、3Dモデリング情報を作成した際の操作履歴情報(算定した推定値及び相関情報、画像、入力された身体情報等)を管理サーバ2に配信する(S110)。
管理サーバ2の履歴情報取得部224において、これらの履歴情報(算定された推測値及び相関情報等)を取得すると(S203)、これらの情報を体型データ蓄積部233に蓄積して、算定された推測値及び相関情報を集計する。その後、分析部223の補正データ作成部223a及びパターン作成部223bでは、蓄積された各データに基づいて分析を行い(S204)、集計された推測値及び相関情報に基づいて補正用データを生成したり、パターンデータを新規作成又は更新したりする。これらの情報は、補正用データ蓄積部235又はパターン記憶部232に蓄積される。
制御部22では、その後、所定のタイミングで配信すべきデータの有無を判断しており(S201)、分析部223によって分析され、作成・更新された補正用データ又はパターンデータがある場合には、配信すべきデータがあると判断し(S201における“Y”)、各種更新された情報をユーザー端末1に配信する(S202)。
このように、ユーザー端末1において実行される推定値及び相関情報の内容は、常に管理サーバ2に抽出されてデータ分析される。そして、管理サーバ2でデータ分析されて、各データベース内のデータは更新され、その更新されたデータは、ユーザー端末1に配信されて、次回の3Dモデリング情報作成処理に反映される。
(3Dモデリング情報作成支援プログラム)
上述した本実施形態係る3Dモデリング情報作成支援システム及び3Dモデリング情報作成支援方法は、所定の言語で記述された入力プログラムをコンピュータ上で実行することにより実現することができる。すなわち、このプログラムを、ユーザー端末やWebサーバ等のコンピュータやICチップにインストールし、CPU上で実行することにより、上述した各機能を有するシステムを容易に構築することができる。このプログラムは、例えば、通信回線を通じて配布することが可能であり、またスタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。
このような3Dモデリング情報作成支援プログラムは、パーソナルコンピューターで読み取り可能な記録媒体に記録することができる。具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはCD−ROMやDVD−ROM等の光ディスクの他、RAMカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピュータ読み取り可能な記録媒体によれば、汎用のコンピュータや専用コンピュータを用いて、上述したシステムや方法を実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。
(作用・効果)
このような本実施形態によれば、ユーザーの部分的又は全体的な身体的特徴に関する身体情報に基づいて、身体の所定部位に関する推測値及び、取得された身体的特徴(身体情報)との相関情報を蓄積し、集計することができる。集計された情報は、いわゆるビックデータとして利用が可能であり、ビックデータを解析することによって、ユーザーが部分的又は全体的な身体情報を入力するだけで、身体の所定部位に関する推測値を精度よく算出できるようになることが期待される。
本実施形態において、情報取得部182は、ユーザーの身体の一部又は全部を撮影する撮影部16から画像データを取得し、画像解析部181aは、撮影部が撮影した画像を解析して身体情報を算出しているので、写真撮影という簡単な操作で身体的特徴を入力することができるため、操作を簡略化することができる。
さらに、本実施形態において、データ蓄積部に蓄積され、集計された推測値及び相関情報に基づいて補正用データを生成する補正用データ生成部223aと、補正用データに基づいて、解析部181において算出されたユーザーの身体の所定部位に関する推測値を補正するデータ補正部183を有しているので、多数のユーザーから収集した推測値や実測値、相関情報に基づいてビックデータを構築し、このビックデータに基づいて推測値算出の方式を修正して補正用データを生成し、この補正用データを介してビックデータにから得られた情報を反映させることによって、次回からの推測値算出の精度を高めることができる。
さらに、本実施形態では、ユーザー操作に基づいて、当該ユーザーの身体的特徴の実測値を入力する実測値入力部182bをさらに備え、解析部181は、実測値入力部182bにより入力された実測値に基づいて推測値及び相関情報を算定するので、実際にユーザーが測定したリアルな情報を取得することができ、推測値と実測値との差分をなくすように相関情報を修正することで、蓄積されるビックデータの信憑性を高めることができ、次回からの推測値の算出に反映させ、その精度を高めることができる。
本実施形態では、パターン記憶部153aにおいて、身体的特徴の類型をパターンデータとして記憶しており、パターン選択部182cでは、ユーザー操作に基づいて、パターン記憶部153aから任意のパターンデータを読み出し、解析部181では、パターン選択部182cで選択されたパターンデータに対して、情報取得部182が取得した身体情報を当てはめることにより、推測値及び相関情報を算定しているので、ユーザーが自分自身に近い身体的特徴の類型を選択し、そのパターンデータに、部分的な身体情報を当てはめることによって、推測値や相関情報を算定するにあたり、誤差が生じる範囲を縮小することができ、推測値及び相関情報の精度を高めることができる。
さらに、本実施形態では、既知情報蓄積部153eにおいて、寸法が既知である比較対象物に関する寸法情報を記憶しており、既知情報取得部182dでは、撮影部16が撮影した画像内に比較対象物が写っている場合に、当該画像内に写っている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得している。そして、解析部181では、既知情報取得部182dが取得した寸法情報と、画像内における比較対象物及びユーザーの身体との対比結果とに基づいて、推測値及び相関情報を算定しているので、寸法が既知である比較対象物と比較することによって、実測値に近い身体情報を取得することができ、推測値や相関情報を算定するにあたり、誤差が生じる範囲をさらに縮小することができ、推測値及び相関情報の精度を高めることができる。
なお、本実施形態では、ユーザーが鏡に映った自身の姿を、スマートフォンなどでいわゆる「自分撮り」させ、その自分撮りさせた画像に基づいて推測値及び相関情報を算定していることで、ユーザーの全身と、機種などから寸法を判断できる比較対象物としてのスマートフォンとが、同一の画像内に同一条件で映り込むため、より正確に推測値や相関情報を算定することができる。
1…ユーザー端末
2…管理サーバ
3…無線基地局
4…中継装置
5…通信ネットワーク
11…無線インターフェース
12…入力インターフェース
13…出力インターフェース
16…撮影部
18…外部撮像機器
19…体組成測定機器
21…通信インターフェース
22…制御部
23…記憶部
100…本体
101…アンテナ
153a…パターン記憶部
153b…画像処理記憶部
153c…体型データ蓄積部
153d…補正用データ蓄積部
153e…既知情報蓄積部
169…CPU
181…解析部
181a…画像解析部
181b…データ補正部
181c…測定距離取得部
182…情報取得部
182a…撮影データ取得部
182b…実測値入力部
182c…パターン選択部
182d…既知情報取得部
183…データ補正部
184…マネキン生成部
185…表示情報生成部
221…認証部
222…会員登録部
223…分析部
223a…補正データ生成部
223b…パターン生成部
224…履歴情報取得部
231…会員データベース
232…パターン記憶部
233…体型データ蓄積部
234…画像処理記憶部
235…補正用データ蓄積部
501…3Dモデリング情報

Claims (10)

  1. 少なくともユーザーに関する全身の外的形状が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援システムであって、
    前記ユーザーの身体の一部を撮影部により撮影し、前記撮影部が撮影した画像を解析部 により解析して前記ユーザーの全体的な外的形状を含む身体情報を取得する情報取得部と、
    前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定部位に関する推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定する解析部と、
    算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と
    前記データ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する 全身の外的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
    ユーザー操作に基づいて、ユーザーの部分的な外的形状に関する実測値を入力する実測 値入力部と
    を備え
    前記解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身 写真を作成するとともに、前記所定部位の大きさと、前記実測値入力部により入力された 実測値との比率に基づいて、前記推測値及び前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援システム。
  2. 少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援システムであ って、
    前記ユーザーの身体の一部又は全部を撮影部により撮影し、前記撮影部が撮影した画像 を解析部により解析して前記ユーザーの全体的な外的形状を含む身体情報を取得する情報 取得部と、
    前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定部位に関す る推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定する解析部 と、
    算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と、
    前記データ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する 全身の外的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
    少なくとも外的形状を含む身体の類型をパターンデータとして記憶するパターン記憶部 と、
    ユーザー操作に基づいて、前記パターン記憶部から任意のパターンデータを読み出すパ ターン選択部と
    を備え、
    前記解析部は、身体の一部又は全部を撮影した写真の縮尺を統一して、前記パターン選 択部で選択されたパターンデータに対して当てはめるとともに、前記所定部位の大きさと 、前記パターンデータとの比率に基づいて、前記推測値及び前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援システム。
  3. 少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援システムであ って、
    前記ユーザーの身体の一部又は全部を撮影部により撮影し、前記撮影部が撮影した画像 を解析部により解析して前記ユーザーの全体的な外的形状を含む身体情報を取得する情報 取得部と、
    前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定部位に関す る推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定する解析部 と、
    算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と、
    前記データ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する 全身の外的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
    寸法が既知である比較対象物に関する寸法情報を記憶する既知情報蓄積部と、
    前記撮影部が撮影した画像内に前記比較対象物が写っている場合に、当該画像内に写っ ている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得する既知情報取得部
    を備え、
    前記解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身 写真を作成するとともに、前記所定部位の大きさと、前記既知情報取得部が取得した寸法 情報との比率、及び前記画像内における比較対象物及びユーザーの身体との対比結果とに 基づいて、前記推測値及び前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援システム。
  4. 前記データ蓄積部に蓄積され、集計された推測値及び相関情報に基づいて補正用データを生成する補正用データ生成部と、
    前記補正用データに基づいて、前記解析部において算出された前記ユーザーの前記身体の所定部位に関する推測値を補正するデータ補正部と、
    をさらに備えることを特徴とする請求項1乃至3のいずれかに記載の3Dモデリング情報作成支援システム。
  5. 少なくともユーザーに関する全身の外的形状が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援方法であって、
    情報取得部が、前記ユーザーの身体の一部を撮影部により撮影し、前記撮影部が撮影し た画像を解析部により解析して前記ユーザーの全体的な外的形状を含む身体情報を取得する情報取得ステップと、
    解析部が、前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定部位に関する推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定する解析ステップと、
    算定された推測値及び相関情報をデータ蓄積部に蓄積し、マネキン生成部が、前記デー タ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する全身の外的 形状が再現された3Dモデリング情報を生成するステップと
    ユーザー操作に基づいて、実測値入力部が、ユーザーの身体的特徴の実測値を受け付け るステップと
    を備え
    前記解析ステップにおいて、前記解析部は、部分的に撮影した身体部分の写真の縮尺を 統一してつなぎ合わせて全身写真を作成するとともに、前記所定部位の大きさと、前記実 測値入力部により入力された実測値との比率に基づいて、前記推測値及び前記相関情報を 算定する
    ことを特徴とする3Dモデリング情報作成支援方法。
  6. 少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援方法であって
    情報取得部が、前記ユーザーの身体の一部又は全部を撮影部により撮影し、前記撮影部 が撮影した画像を解析部により解析して前記ユーザーの全体的な外的形状を含む身体情報 を取得する情報取得ステップと、
    解析部が、前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定 部位に関する推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定 する解析ステップと、
    算定された推測値及び相関情報をデータ蓄積部に蓄積し、マネキン生成部が、データ蓄 積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する全身の外的形状 が再現された3Dモデリング情報を生成するステップと、
    ユーザー操作に基づいて、パターン記憶部に記憶されたパターンデータとしての、少な くとも外的形状を含む身体の類型をパターン選択部が読み出すステップと
    を備え、
    前記解析ステップにおいて、前記解析部は、身体の一部又は全部を撮影した写真の縮尺 を統一して、前記パターン選択部で選択されたパターンデータに対して当てはめるととも に、前記所定部位の大きさと、前記パターンデータとの比率に基づいて、前記推測値及び 前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援方法。
  7. 少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援方法であって
    寸法が既知である比較対象物に関する寸法情報を既知情報蓄積部が記憶するステップと
    情報取得部が、前記ユーザーの身体の一部又は全部を撮影部により撮影し、前記撮影部 が撮影した画像を解析部により解析して前記ユーザーの全体的な外的形状を含む身体情報 を取得する情報取得ステップと、
    解析部が、前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定 部位に関する推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定 する解析ステップと、
    算定された推測値及び相関情報をデータ蓄積部に蓄積し、マネキン生成部が、前記デー タ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する全身の外的 形状が再現された3Dモデリング情報を生成するステップと、
    前記撮影部が撮影した画像内に前記比較対象物が写っている場合に、既知情報取得部が 、当該画像内に写っている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得 するステップと
    を備え、
    前記解析ステップにおいて、前記解析部は、部分的に撮影した身体部分の写真の縮尺を 統一してつなぎ合わせて全身写真を作成するとともに、前記所定部位の大きさと、前記既 知情報取得部が取得した寸法情報との比率、及び前記画像内における比較対象物及びユー ザーの身体との対比結果とに基づいて、前記推測値及び前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援方法。
  8. 少なくともユーザーに関する全身の外的形状が再現されたオブジェクトデータである3Dモデリング情報を生成する3Dモデリング情報作成支援プログラムであって、コンピュータを、
    前記ユーザーの身体の一部を撮影部により撮影し、前記撮影部が撮影した画像を解析部 により解析して前記ユーザーの全体的な外的形状を含む身体情報を取得する情報取得部、 前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定部位に関す る推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定する解析部
    算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部、
    前記データ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する 全身の外的形状が再現された3Dモデリング情報を生成するマネキン生成部、及び
    ユーザー操作に基づいて、ユーザーの部分的な外的形状に関する実測値を入力する実測 値入力部
    として機能させ、
    前記解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身 写真を作成するとともに、前記所定部位の大きさと、前記実測値入力部により入力された 実測値との比率に基づいて、前記推測値及び前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援プログラム。
  9. 少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援プログラムで あって、コンピュータを、
    前記ユーザーの身体の一部又は全部を撮影部により撮影し、前記撮影部が撮影した画像 を解析部により解析して前記ユーザーの全体的な外的形状を含む身体情報を取得する情報 取得部、
    前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定部位に関す る推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定する解析部
    算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部、
    前記データ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する 全身の外的形状が再現された3Dモデリング情報を生成するマネキン生成部、
    少なくとも外的形状を含む身体の類型をパターンデータとして記憶するパターン記憶部 、及び
    ユーザー操作に基づいて、前記パターン記憶部から任意のパターンデータを読み出すパ ターン選択部
    として機能させ、
    前記解析部は、身体の一部又は全部を撮影した写真の縮尺を統一して、前記パターン選 択部で選択されたパターンデータに対して当てはめるとともに、前記所定部位の大きさと 、前記パターンデータとの比率に基づいて、前記推測値及び前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援プログラム。
  10. 少なくともユーザーに関する全身の外的形状を含む身体的特徴が再現されたオブジェク トデータである3Dモデリング情報を生成する3Dモデリング情報作成支援プログラムで あって、コンピュータを、
    前記ユーザーの身体の一部又は全部を撮影部により撮影し、前記撮影部が撮影した画像 を解析部により解析して前記ユーザーの全体的な外的形状を含む身体情報を取得する情報 取得部と、
    前記身体情報に含まれる前記ユーザーの部分的な外的形状から、身体の所定部位に関す る推測値、及び前記全体的な外的形状に対する前記所定部位の相関情報を算定する解析部 と、
    算定された推測値及び相関情報を蓄積し、集計するデータ蓄積部と、
    前記データ蓄積部に蓄積された推測値及び相関情報に基づいて、前記ユーザーに関する 全身の外的形状が再現された3Dモデリング情報を生成するマネキン生成部と、
    寸法が既知である比較対象物に関する寸法情報を記憶する既知情報蓄積部と、
    前記撮影部が撮影した画像内に前記比較対象物が写っている場合に、当該画像内に写っ ている比較対象物を抽出し、抽出された比較対象物の寸法情報を取得する既知情報取得部 として機能させ、
    前記解析部は、部分的に撮影した身体部分の写真の縮尺を統一してつなぎ合わせて全身 写真を作成するとともに、前記所定部位の大きさと、前記既知情報取得部が取得した寸法 情報との比率、及び前記画像内における比較対象物及びユーザーの身体との対比結果とに 基づいて、前記推測値及び前記相関情報を算定する
    ことを特徴とする3Dモデリング情報作成支援プログラム。
JP2014162652A 2014-08-08 2014-08-08 3dモデリング情報作成支援システム、3dモデリング情報作成支援方法、及び3dモデリング情報作成支援プログラム Expired - Fee Related JP6173984B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014162652A JP6173984B2 (ja) 2014-08-08 2014-08-08 3dモデリング情報作成支援システム、3dモデリング情報作成支援方法、及び3dモデリング情報作成支援プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014162652A JP6173984B2 (ja) 2014-08-08 2014-08-08 3dモデリング情報作成支援システム、3dモデリング情報作成支援方法、及び3dモデリング情報作成支援プログラム

Publications (2)

Publication Number Publication Date
JP2016036597A JP2016036597A (ja) 2016-03-22
JP6173984B2 true JP6173984B2 (ja) 2017-08-02

Family

ID=55528231

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014162652A Expired - Fee Related JP6173984B2 (ja) 2014-08-08 2014-08-08 3dモデリング情報作成支援システム、3dモデリング情報作成支援方法、及び3dモデリング情報作成支援プログラム

Country Status (1)

Country Link
JP (1) JP6173984B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MA41117A (fr) * 2014-12-05 2017-10-10 Myfiziq Ltd Imagerie d'un corps
KR102129954B1 (ko) * 2017-06-23 2020-07-03 정승권 3d 스캔이 가능한 이동 단말
JP7442960B2 (ja) * 2018-07-26 2024-03-05 ポーラ化成工業株式会社 肌状態の鑑別法
KR102323328B1 (ko) * 2019-09-17 2021-11-09 주식회사 날마다자라는아이 스마트 체중계를 이용한 어린이의 성장 상태 측정 시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS51136386A (en) * 1975-05-20 1976-11-25 Mitsubishi Electric Corp Method of measuring healthy degree with somatotype and functions
JPH0824242A (ja) * 1994-07-13 1996-01-30 Sekisui Chem Co Ltd 体型画像補正装置
JP4551626B2 (ja) * 2002-04-04 2010-09-29 香川県 手の立体計測法及び立体計測装置
JP4676206B2 (ja) * 2005-01-19 2011-04-27 株式会社タニタ 内臓脂肪推定装置
JP2010051558A (ja) * 2008-08-28 2010-03-11 Aisin Seiki Co Ltd 撮影装置及び身体サイズ測定システム
US8823775B2 (en) * 2009-04-30 2014-09-02 Board Of Regents, The University Of Texas System Body surface imaging
JP6116486B2 (ja) * 2011-12-28 2017-04-19 山田電器工業株式会社 寸法計測方法
JP5990820B2 (ja) * 2012-07-19 2016-09-14 株式会社タニタ 生体測定装置及び体画像作成プログラム

Also Published As

Publication number Publication date
JP2016036597A (ja) 2016-03-22

Similar Documents

Publication Publication Date Title
JP6091472B2 (ja) 商品等提供システム、商品等提供方法、及び商品等提供プログラム
US9338311B2 (en) Image-related handling support system, information processing apparatus, and image-related handling support method
CN103140862B (zh) 用户界面系统及其操作方法
CN102754060B (zh) 确定用于显示的信息的方法和装置
JP6173984B2 (ja) 3dモデリング情報作成支援システム、3dモデリング情報作成支援方法、及び3dモデリング情報作成支援プログラム
WO2012063560A1 (ja) 画像処理システム、画像処理方法、及び画像処理プログラムを記憶した記憶媒体
JP6196024B2 (ja) 情報提供システム、電子機器、制御方法及び制御プログラム
JP2018084890A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7144571B2 (ja) 情報機器、及びカメラ画像共有システム
CN109410276B (zh) 关键点位置确定方法、装置及电子设备
CN107481082A (zh) 一种虚拟试衣方法及其装置、电子设备及虚拟试衣系统
CN110457571B (zh) 获取兴趣点信息的方法、装置、设备及存储介质
KR20230035382A (ko) 신장 측정 방법 및 장치, 및 단말기
CN106845738A (zh) 人群数目推送方法及装置
WO2011096343A1 (ja) 撮影位置提案システム、撮影位置提案装置、撮影位置提案方法、及び撮影位置提案用プログラム
CN106650217B (zh) 信息处理装置以及信息处理方法
WO2019000464A1 (zh) 一种图像显示方法、装置、存储介质和终端
CN107255812A (zh) 基于3d技术的测速方法、移动终端、及存储介质
JP5917999B2 (ja) 情報提供システム、情報提供方法、および電子機器
US20190231012A1 (en) Systems and methods for preparing custom clothing patterns
JP2015156540A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP7148624B2 (ja) 画像提案装置、画像提案方法及び画像提案プログラム
CN115552879A (zh) 锚点信息处理方法、装置、设备及存储介质
JP2010176588A (ja) 端末装置、画像処理方法及びプログラム
JP2014160963A (ja) 画像処理装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20151112

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170705

R150 Certificate of patent or registration of utility model

Ref document number: 6173984

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees