JP7235826B2 - 人体の方向を検出する検出装置、および、人体の方向を検出する検出方法 - Google Patents

Description

本発明は、人体の方向の検出装置、および、人体の方向の検出方法に関するものであって、特に、スマート全身鏡に適用する人体の方向の検出装置、および、人体の方向の検出方法に関するものである。

スマート全身鏡は、即時のバーチャル相互作用(real-time virtual interaction)を用いて、ユーザーが、鏡の前で、バーチャルで服を選択できるものである。スマート全身鏡上のカメラがユーザーの存在を検出するとき、全身鏡のディスプレイは、即座に、イメージを捕捉することができる。ディスプレイ時、スマート全身鏡は、ユーザーにより選択されたバーチャル衣服を、ディスプレイスクリーン中のユーザーに適用する。

家庭用スマート全身鏡は、オンラインショッピングの便利性と実店舗での買い物体験を併せたものである。一方、ショッピングモールでも、スマート全身鏡、広告掲示板、および、対話型装置を設置して、ユーザーに、製品の体験や、関連サービスを受けることができるようにしている。たとえば、ユーザーは、スマート全身鏡を用いて、選択した衣服を着用した状態を見ることができる。

しかし、ユーザーが、スマート全身鏡、あるいは、その他の類似の対話型装置を用いるとき、身体は横向けであるが、顔は鏡の正面を向いて、身体上の衣類の様子を見ることがよくある。この時、スマート全身鏡が、人体の方向を判断する機能を有さない場合、不合理な視覚効果をもたらす。さらに、スマート全身鏡が、ユーザーの顔の検出を、人体の方向の判断とする場合、スマート全身鏡は、ユーザーの顔により判断を誤らせて、人体も正面であると判断し、バーチャル衣服は、まだ、正面の様子を表す。この状況下で、視覚効果は不合理になる。

よって、ユーザーの身体の方向をどのように判断するかが、この分野で解決される問題の一つになっている。

本発明は、人体の方向を検出する検出装置、および、人体の方向を検出する検出方法を提供する。

本発明の一特徴にしたがって、本発明は、人体の方向を検出する検出装置を提供する。検出装置は、カメラ、および、処理装置を有する。カメラは、人体イメージを捕捉する。処理装置は、人体イメージ中の人頭の輪郭イメージを切り取って、入力イメージを得るとともに、入力イメージを分類器に入力する。分類器は、入力イメージの複数の人体方向確率を出力する。処理装置は、最大の人体方向確率を見つけ出すとともに、最大の人体方向確率が、正確なスレショルドより大きいか否か判断する。最大の人体方向確率が、正確なスレショルドより大きいとき、処理装置は、最大の人体方向確率に対応する人体の方向を、判断された人体の方向であると見なす。

本発明の一特徴にしたがって、本発明は、人体の方向を検出する検出方法を提供する。人体の方向を検出する検出方法は、カメラで、人体イメージを捕捉する工程と、人体イメージ中の人頭の輪郭イメージを切り取って、入力イメージを得るとともに、入力イメージを分類器に入力する工程と、分類器が、入力イメージの複数の人体方向確率を出力する工程と、最大の人体方向確率を見つけるとともに、最大の人体方向確率が、正確なスレショルドより高いか否か判断する工程と、を有し、高い場合、最大の人体方向確率に対応する人体の方向は、判断された人体の方向であると見なされる。

本発明の実施形態に示される人体の方向を検出する検出装置、および、人体の方向を検出する検出方法は、人体の方向を正確に判断することができる。本発明で記述される人体の方向の判断は、たとえば、人体の正面、左側、右側、あるいは、背面であり、よって、スマート全身鏡は、さらに正確に、バーチャル衣服を人体イメージに適用することができる。ユーザーが、体を横に向きを変え、ユーザーの頭部を正面にする、つまり、スマート全身鏡の方を向いても、ユーザーは、スマート全身鏡中で試着結果を合理的に見ることができ、これにより、ユーザー体験を向上させる。さらに、本発明の実施形態で示される人体の方向を検出する検出装置、および、人体の方向を検出する検出方法は、さらに、スマート全身鏡により出力されるデータを別のサーバに送信して、スマート全身鏡の使用率を計算する、あるいは、データを分析として用いて、別の目的を達成することができる。

本発明の上述の、およびその他の長所と特徴を得る方式を記述するため、前述の簡単に描写された原理は、更に具体的に、図面で示される具体的な実施形態により説明する。これらの図面は、本発明の例を示すものであり、本発明を限定するものではないことを理解すべきである。本発明の原理は、図面の描写、および、付加された特徴と詳細の解釈によって説明される。
本発明の一実施例による人体の方向を検出する検出装置のブロック図である。 本発明の一実施例によるスマート全身鏡に適用される人体の方向を検出する検出装置を示す図である。 本発明の一実施例による人体の方向を検出する検出方法のブロック図（その１）である。 本発明の一実施例による人体の方向を検出する検出方法のブロック図（その２）である。 本発明の一実施例による入力イメージを得ることを示す図である。 本発明の一実施例による人体イメージを示す図である。 本発明の一実施例による分類器操作方法を説明する図である。 本発明の一実施例による骨格特徴点を示す図である。 本発明の一実施例による骨格特徴点により、人体の方向を判断する方法を説明する図（その１）である。 本発明の一実施例による骨格特徴点により、人体の方向を判断する方法を説明する図（その２）である。

本明細書で記述されるのは、本発明を実施する最適な方式であり、目的は、本発明の精神を説明することであり、本発明の範囲を限定するものではなく、本発明は、特許請求の範囲をもって結論とする。

本発明は、特定の実施形態に関連するとともに、図面を参照しながら記述されるが、本発明はそれらに制限されず、且つ、請求項だけによって制限される。さらに理解できることは、ここで用いられる用語“有する”“含む”等は、特定の技術特徴、数値、工程、操作、素子、および／または、コンポーネンツの存在を表示しているが、さらに多くのその他の特徴、数値、工程、操作、素子、コンポーネンツ、および／または、それらの群の存在や追加を排除するものではない。

請求項の範囲中で素子を修飾する、たとえば、“第一”、“第二”、“第三”等の用語は、それ自身は何ら優先権、優先度、または、各素子間の順序、または、方法が実行される動作の順序を暗示するものではなく、単なる標識として用いて、同じ名称を有する (異なる順序用語を有する)異なる素子を区分する。

図１、図２および、図３Ａと図３Ｂを参照する。図１は、本発明の一実施例による人体の方向を検出する検出装置１００のブロック図である。図２は、本発明の一実施例によるスマート全身鏡２００に適用される人体の方向を検出する検出装置１００を示す図である。図３Ａは、本発明の一実施例による人体の方向を検出する検出方法３００のブロック図である。図３Ｂは、本発明の一実施例による人体の方向を検出する検出方法３５０のブロック図である。

一実施形態において、人体の方向を検出する検出装置１００は、スマート全身鏡２００に適し、人体の方向を検出する検出装置１００は、カメラ１０、および、処理装置２０を有する。一実施形態において、カメラ１０は、少なくとも一つの電荷結合素子 (ＣＣＤ)、あるいは、相補型ＭＯＳ(complementary metal-oxide semiconductor、ＣＭＯＳ)センサーで構成される。

一実施形態において、カメラ１０は、スマート全身鏡２００上に設置されて、スマート全身鏡２００の前側のイメージを捕捉する。一実施形態において、カメラ１０は、スマート全身鏡２００のディスプレイ４０の周辺に設置され、たとえば、カメラ１０は、ディスプレイ４０の上右隅、中間の真上、あるいは、上左隅に設置される。

一実施形態において、処理装置２０は、プロセッサ、および／または、グラフィックスプロセッシングユニット (ＧＰＵ)を有する。

一実施形態において、処理装置２０は、マイクロコンロトーラー、マイクロプロセッサ、デジタルシグナルプロセッサ、特定用途向け集積回路 (ＡＳＩＣ)、あるいは、ロジック回路により実施される。

一実施形態において、処理装置２０は、ラズベリーＰｉ(Raspberry)により実施される。ラズベリーＰｉは、小型コンピュータとしてみなされる。ラズベリーＰｉは、廉価で、取得しやすく、携帯が容易、装着が簡単、安定した操作であり、且つ、その他の周辺装置に接続することができるという特性がある。よって、ラズベリーＰｉは、スマート全身鏡２００にインストールすることができる。一実施形態において、ラズベリーＰｉは保存空間を有する。

一実施形態において、ラズベリーＰｉは、人体の方向を検出する検出方法３００、および、人体の方向を検出する検出方法３５０における全操作を実行することができ、全操作は、スマート全身鏡２００の局部端で実行される。

一実施形態において、計算量が大きく、且つ、ラズベリーＰｉがすぐに全計算を処理できない時、ラズベリーＰｉは、サーバにデータを送信することができる。このサーバは、よい計算パフォーマンスを有するリモートサーバである。このサーバは計算し、且つ、計算結果をラズベリーＰｉに返す。

一実施形態において、人体の方向を検出する検出装置１００はさらに、ストレージデバイス３０を有する。ストレージデバイス３０は、リードオンリメモリ、フラッシュメモリ、フロッピーディスク、ハードディスク、光学ディスク、フラッシュドライブ、テープ、ネットワークによりアクセスされるデータベース、あるいは、当業者が容易に考え出すことができる同じ機能を有するストレージ媒体として実施される。

一実施形態において、処理装置２０は、スマート全身鏡２００の局部端で、人体の方向を検出する検出方法３００、あるいは、人体の方向を検出する検出方法３５０を実行し、得られた結果(つまり、人体の方向の判断、判断された人体の方向、たとえば、身体の正面、身体の左側、身体の右側、および、身体の背面)をサーバに返す。サーバは、受け取った結果を、その他の応用、たとえば、データ分析に用いる。

一実施形態において、図２に示されるように、ユーザーＵＳＲが、スマート全身鏡２００の前方を歩くとき、カメラ１０は、ユーザーＵＳＲを捕捉することができ、スマート全身鏡２００のディスプレイ４０は、タッチスクリーンである。ユーザーＵＳＲは、タッチスクリーンにより、衣服を選択して着用するとともに、処理装置２０は、既知の方法、たとえば、拡張現実 (Augmented Reality、ＡＲ)を用い、ディスプレイ４０上で、バーチャル衣服がユーザーＵＳＲに適用されるバーチャルリアリティイメージＵＳＲ’を表示することができる。拡張現実は、カメラ１０により捕捉されるイメージの位置と角度を計算し、且つ、イメージ分析技術を加えた技術であり、よって、ディスプレイ４０上のバーチャル衣服は、実際のシーン(たとえば、ユーザーＵＳＲ)と結合されて、バーチャル衣服がユーザーＵＳＲに適用されるバーチャルリアリティイメージＵＳＲ’が、ディスプレイ４０上で表示される。たとえば、ユーザーＵＳＲは、実際にズボンを着用した状態で、ディスプレイ４０のインターフェースにより、着用したいスカートを選択する。拡張現実技術により、ディスプレイ４０は、バーチャルスカートを着用するユーザーイメージＵＳＲ’を表示することができる。しかし、これは単なる例であり、この案は、拡張現実方法により実施されることに制限されない。

一実施形態において、ユーザーＵＳＲは、多種の方式で、着用した衣類を選択することができ、たとえば、衣類タグのＱＲコード（登録商標）をスキャンする、タッチスクリーン、あるいは、その他の物理、または、バーチャル入力インターフェースから選択する。

図３Ａを参照すると、工程３０５において、カメラ１０は人体イメージを捕捉する。工程３１５において、処理装置２０は、人体イメージＩＭＧ１中の人頭の輪郭イメージを切り取って、入力イメージＩＭＧ２を得るとともに、入力イメージＩＭＧ２を分類器に入力し、分類器は、入力イメージＩＭＧ２の複数の人体方向確率を出力する。工程３２５において、処理装置２０は、これらの人体方向確率の最大確率を見つけるとともに、これらの人体方向確率の最大確率が、正確なスレショルドより高いか否か判断する。これらの人体方向確率の最大確率が、正確なスレショルドより大きいとき、処理装置２０は、最大の人体方向確率に対応する人体の方向を、判断された人体の方向としてみなす。

以下はさらに、図３Ｂを用いて、本発明の人体の方向を検出する検出方法３５０を説明する。

工程３１０において、カメラ１０は、スマート全身鏡２００前方の初期イメージＩＭＧ０を捕捉する。たとえば、図２に示されるように、カメラ１０は、スマート全身鏡２００前方のユーザーＵＳＲを捕捉し、捕捉したユーザーイメージは、初期イメージであると見なされる。しかし、これは単なる例である。本発明は、スマート全身鏡２００上にカメラ１０を設置することに制限されず、スマート全身鏡２００前方の初期イメージＩＭＧ０を捕捉することにも制限されない。カメラ１０は、一人体イメージを捕捉することだけを必要とし、本発明の人体の方向を検出する検出方法３５０を適用することができる。

工程３２０において、処理装置２０は、初期イメージＩＭＧ０中の人体イメージＩＭＧ１をトリミング(crop)し、人体イメージＩＭＧ１中の人頭の輪郭イメージを切り取るとともに、入力イメージＩＭＧ２を得る。その後、入力イメージＩＭＧ２を分類器に入力し、分類器は、この入力イメージＩＭＧ２の複数の人体方向確率、および、複数の骨格特徴点を出力する。

図４、および、図５を参照する。図４は、本発明の一実施例による入力イメージＩＭＧ２を得ることを示す図である。図５は、本発明の一実施例による人体イメージＩＭＧ３～ＩＭＧ４を示す図である。

一実施形態において、カメラ１０の設置後、処理装置２０は、顔、および、頭部形状(頭部の輪郭)で、カメラ１０により捕捉される初期イメージＩＭＧ０中に、ユーザーイメージＵＳＲ’があるか否か検出する。ある場合、処理装置２０は、人体イメージＩＭＧ１ (人体イメージＩＭＧ１は、ユーザーイメージＵＳＲ’である)をトリミング(crop)する。

一実施形態において、処理装置２０は、別の訓練された畳み込みニューラルネットワーク(ＣＮＮ)、特徴点アルゴリズム、あるいは、その他の既知の顔認識方法を用いて、顔、および／または、頭部形状(頭部の輪郭)を見つけることができる。

一般的に言えば、ユーザーＵＳＲがスマート全身鏡２００を見るとき、横向きで立っていても、鏡の方向を見る。図５の人体イメージＩＭＧ３、および、人体イメージＩＭＧ４で示されるように、人体イメージＩＭＧ３、および、人体イメージＩＭＧ４の顔は正面を向く。しかし、人体イメージＩＭＧ３の人体の方向はイメージの右側方向であり、人体イメージＩＭＧ４の人体の方向はイメージの左側方向である。人体の方向が、人の顔のイメージに基づいて判断される場合、これらの環境下で、人体の方向の判断は不正確である。

よって、図４において、処理装置２０は、人体イメージＩＭＧ１中の人頭の輪郭イメージ (あるいは、顔のイメージ)を切り取って、入力イメージＩＭＧ２を得る。イメージＩＭＧ２を入力することにより、人体の方向を判断する効果を達成して、処理装置２０が、人体の方向を判断するとき、頭部輪郭イメージ (あるいは、顔のイメージ)により影響されるのを防止することができる。

いくつかの例において、処理装置２０はまず、人頭の輪郭のイメージ (あるいは、人の顔のイメージ)を構成し、その後、イメージ中の人頭 (あるいは、人の顔のイメージ)の切り取りを実行する。

いくつかの例において、処理装置２０は、人頭の輪郭のイメージをトリミングする前、まず、人の顔のイメージの全部、あるいは、一部にしたがって、人体の方向が背面であるか否か判断する。処理装置２０は、人体イメージ中の人頭の輪郭イメージ中に、人の顔がないと判断するとともに、その後、人体の背面であると判断する。

次に、処理装置２０は、入力イメージＩＭＧ２を分類器に入力し、分類器は、入力イメージの複数の人体方向確率、および、複数の骨格特徴点を出力する。

図６は、本発明の一実施例による分類器操作方法を説明する図である。

一実施形態において、図６に示されるように、分類器は、畳み込みニューラルネットワークにより実施される。畳み込みニューラルネットワークが訓練段階で、入力イメージＩＭＧ２を受信した後、層ごとの特徴値を引き出す。

一実施形態において、畳み込みニューラルネットワークの訓練段階期間中、人体方向確率、および、複数の骨格特徴点の認識精度は、複数の入力イメージに対して、別々に訓練される。処理装置２０はまず、手動で表示されたイメージ、および、対応するイメージの実際の方向データと実際の特徴点位置データを、畳み込みニューラルネットワークに入力して、訓練を実行する。

その後、畳み込みニューラルネットワークは、全結合層 (ＦＣＬ)で、複数の人体方向確率、および、複数の骨格特徴点(これらのパラメータは中空円で示される)を出力する。処理装置２０は、これらの人体方向確率、および、実際の方向データから回帰損失を計算するとともに、骨格特徴点、および、複数の実際の特徴点位置データから、ユークリッド距離損失を計算する。処理装置２０は、その後、回帰損失とユークリッド距離損失を足して、全損を出し、誤差逆伝搬(back-propagation)方法を用いて、畳み込みニューラルネットワークのパラメータ、あるいは、重量を調整するとともに、それらを畳み込みニューラルネットワークに戻して、訓練を続けるので、全損は、徐々に、減少するとともに、一定値に達する。ユークリッド距離のアルゴリズムは：

である。

ＣＮＮアーキテクチャの最終出力は、人体の各方向の確率、および、各骨格特徴点の座標であるので、ユークリッド距離が用いられて、二点間の距離を計算する。各骨格特徴点の座標は、距離アルゴリズムにより、実際の特徴点位置とどのくらいの誤差があるのか知ることができ、人体の各方向の確率と実際の方向の誤差が、ロジスティック回帰のアルゴリズムにより計算される。ロジスティック回帰アルゴリズムは：

である。

ロジスティック回帰アルゴリズムに二個の“ｙ”があり、一つは、ＣＮＮアーキテクチャ判断の確率であり、もう一つは実際の確率である。符号“ｍ”は、方向(方向の数量)を表し、このロジスティック回帰アルゴリズム中の“ｍ”は４である(四方向)。たとえば、モデルにより判断される各方向の確率は(０．６４、０．０３、０．３２、０．１)であるが、実際の方向確率(実際の方向では、一方向だけある)は(１、０、０、０)であり、これらの値を算定式に代入する。第一方向において(ｍ=１)、処理装置２０は、二個の“ｙ”に、０．６４ と１を代入して計算する。その他の方向の計算は、類似性により推定することができる。

一実施形態において、これらの人体方向確率は、畳み込みニューラルネットワークにより出力される複数の特徴ベクトルに対応する。たとえば、身体正面の特徴ベクトル、左側身体の特徴ベクトル、右側身体の特徴ベクトル、および、身体背面の特徴ベクトルである。たとえば、畳み込み層は、複数の特徴ベクトルを出力し、各特徴ベクトルに、プール操作(pooling operation)を実行し、その後、特徴ベクトルスプライシング(splicing)を実行する。最後に、全結合層の活性化関数(softmax)操作により、複数の対応する特徴ベクトルの人体方向確率が得られる。

一実施形態において、人体の方向の確率は、それぞれ、人体の正面の確率 (たとえば、９７％)、人体の左側の確率 (たとえば、１％)、人体の右側の確率 (たとえば、０％)、および、背面の確率 (たとえば、２％)である。処理装置２０はまず、人体の方向の最大の確率 (すなわち、人体の正面の確率９７％)を有する人を判断し、その後、対応する人体の方向 (すなわち、人体の正面の確率)、および、実際の方向データに基づいて、回帰損失を計算する。

図７は、本発明の一実施例による骨格特徴点を示す図である。

一実施形態において、骨格の実際の特徴点位置は、三組の座標のセットである。実際の特徴点位置は、手動で、入力イメージＩＭＧ２上で表示され、表示された座標は、順次、畳み込みニューラルネットワークに入力される。たとえば、図７に示されるように、実際の特徴点位置は、左から右に、順番に、左肩の実際の特徴点Ａの座標、襟(胸)の実際の特徴点Ｂの座標、および、右肩の実際の特徴点Ｃの座標を入力する。表示方式は: {[１０５、１４２]、[１３１、１９５]、[２７０、１４４]}であり、実際の特徴点位置、および、入力イメージＩＭＧ２が畳み込みニューラルネットワークに入力されて、訓練を実行する。さらに、実際の方向データを入力して、畳み込みニューラルネットワークを訓練する以外に、実際の特徴点座標データも、一緒に、畳み込みニューラルネットワーク訓練に入力され、畳み込みニューラルネットワークが、さらに正確に、人体の方向を判断することができるようにする。

一実施形態において、処理装置２０が、入力イメージＩＭＧ２を畳み込みニューラルネットワーク中に入力するとき、畳み込みニューラルネットワークにより出力される骨格特徴点も、同じ順番(たとえば、左から右)を有するとともに、左肩特徴点Ａ’の座標、胸特徴点Ｂ’の座標、および、右肩特徴点Ｃ’の座標を出力する。一実施形態において、骨格特徴点は、左肩特徴点座標、右肩特徴点座標、および、胸特徴点座標を有する。

一実施形態において、全結合層ＦＣＬ中で畳み込みニューラルネットワークにより出力される骨格特徴点はすでに、座標を有しているので、処理装置２０は、骨格特徴点と実際の特徴点の位置データに基づいて、ユークリッド距離損失を計算することができる。

その後、処理装置２０は、誤差逆伝搬方法を用いて、神経、重量、層数、および、その他のパラメータを調整し、その後、全損が全損スレショルドより小さくなるまで、畳み込みニューラルネットワークを訓練し、畳み込みニューラルネットワークはすでに訓練されていることを示す。全損が全損スレショルドより低いとき、畳み込みニューラルネットワークにより出力される複数の人体方向確率と複数の骨格特徴点、および、手動で表示される実際の方向データと実際の特徴点位置データ間の差異が小さいことを意味する。この時、畳み込みニューラルネットワークは、各種入力イメージ中の人体の方向を判断することができる。

一実施形態において、分類器は、ストレージデバイス３０中に保存される畳み込みニューラルネットワークプログラムであり、処理装置２０は、分類器を読み取り、および、実行する。

一実施形態において、処理装置２０が、ラズベリーＰｉにより実施されるとき、分類器は、ラズベリーＰｉの保存空間中に保存される畳み込みニューラルネットワークプログラムになる。ラズベリーＰｉ 中のプロセッサは、保存空間中の分類器を読み取り、それを実行することができる。

一実施形態において、分類器は、ハードウェア回路により実施される。

工程３３０において、処理装置２０は、これらの人体方向確率の最大確率を見つけるとともに、これらの人体方向確率の最大確率が、正確なスレショルドより大きいか否か判断する。

これらの人体方向確率の最大確率が、正確なスレショルドより大きいとき、処理装置２０は、これらの人体方向確率の最大確率に対応する人体の方向を、判断された人体の方向であると見なすとともに、工程３４０が実行される。

一実施形態において、人体の方向の確率は、人体の正面の確率 (たとえば、９７％)、人体の左側の確率 (たとえば、１％)、人体の右側の確率 (たとえば、０％)、および、背面の確率 (たとえば、２％)であり、処理装置２０は、これらの最大人体方向確率値 (つまり、人体の正面の確率９７％)が、正確なスレショルドより大きいか否か判断する。正確なスレショルドが７０％である場合、人体の正面の確率９７％は、正確なスレショルドより高く、処理装置２０は、人体の正面が判断された人体の方向であると見なすとともに、処理装置２０は工程３４０を実行する。

一実施形態において、人体の方向が判断された後、スマート全身鏡は、さらに正確に、バーチャル衣服を人体イメージに適用することができ、ユーザーＵＳＲが、異なる身体角度に対応するバーチャル衣服を着用するイメージを見ることができるようになる。

工程３４０において、処理装置２０は、判断された人体の方向を出力する。別の実施形態において、処理装置２０は、判断された人体の方向を計算して、ユーザーの使用習慣情報を得る。一実施形態において、処理装置２０は、判断された人体の方向を、ラズベリーＰｉ あるいは、サーバ、たとえば、拡張現実モジュール、バーチャル衣服展示モジュール等中に保存される別のモジュールに送信して、ユーザーが、バーチャル衣服を着用するイメージ、あるいは、異なる身体の角度に対応するバーチャル製品を着用するイメージを見ることができるようにする。一実施形態において、ディスプレイ４０は、ディスプレイモジュール、および、拡張現実モジュールを有する。処理装置２０が、判断された人体の方向を拡張現実モジュールに送信後、拡張現実モジュールは、判断された人体の方向にしたがって、カメラ１０により捕捉される人体イメージとバーチャル製品を結合して、結合イメージを生成し、ディスプレイモジュールにより、ディスプレイ４０上で、結合イメージを表示する。

一方、工程３３０において、これらの人体方向確率の最大確率が、正確なスレショルドより小さいと判断するとき、処理装置２０は工程３３５を実行する。

一実施形態において、人体方向確率は、人体の正面の確率 (たとえば、６４％)、人体の左側の確率 (たとえば、３％)、人体の右側の確率 (たとえば、３２％)、および、人体の背面の確率 (たとえば、１％)であり、処理装置２０は、最大これらの人体方向確率 (つまり、人体の正面の確率６４％)が、正確なスレショルドより大きいか否か判断する。正確なスレショルドが７０％である場合、人体の正面の確率６４％は、正確なスレショルドより小さい。この状況は、分類器により出力される人体の方向は明らかな偏向がなく、骨格特徴点により、さらに詳細な判断を必要とすることを意味する。よって、処理装置２０は、工程３３５を実行する。

言い換えると、人体の方向の最大確率が、正確なスレショルドより小さいとき、処理装置２０は、骨格特徴点により判断された人体の方向が、確認された人体の方向であると見なす (工程３３５)。

工程３３５において、これらの骨格特徴点により、処理装置２０により判断される人体の方向は、判断された人体の方向であると見なされる。

図８Ａと図８Ｂは、本発明の一実施例による骨格特徴点による人体の方向を判断する方法を説明する図である。

図８Ａ、および、図８Ｂ中の骨格特徴点は、分類器により出力され、順に、左肩特徴点Ａ’の座標、胸特徴点Ｂ’の座標、および、右肩特徴点Ｃ’の座標である。

一実施形態において、処理装置２０は、左肩特徴点Ａ’と右肩特徴点Ｃ’間で、第一直線Ｌ１を接続するとともに、第一直線Ｌ１の中間部分を、円中心０とみなす。その後、円中心０、および、第一直線Ｌ１の半分の長さを半径とし(つまり、円中心０から左肩特徴点Ａ’の長さは半径である)、円形が描かれる。さらに、第二直線Ｌ２は、胸特徴点Ｂ’と円中心０の座標を接続することにより形成されるとともに、第二直線Ｌ２と円中心０間の角度が計算される。二個の挟み角間で、９０度より小さい一角度αが選択されて、人体の方向を判断する。別の実施形態において、処理装置２０はさらに、二個の挟み角が角度スレショルドより小さいか否か判断し、角度スレショルドは、９０度より小さく、且つ、０度より大きい角度である。一実施形態において、角度スレショルドは４５度に設定される。二個の挟み角の一つが、４５度より小さく、且つ、挟み角が、第一直線Ｌ１の左側にある場合、判断された人体の方向が左側であると判断する。二個の挟み角のひとつが、４５度より小さく、且つ、この挟み角が、第一直線Ｌ１の右側に位置する場合、判断された人体の方向が右側であると判断するとともに、二個の挟み角がどちらも４５度より大きい場合、判断された人体の方向が正面であると判断する。角度スレショルドは、たとえば、８０度、４５度、６０度、あるいは、３０度であり、且つ、必要に応じて設計される。

一実施形態において、処理装置２０は、第一直線Ｌ１を水平位置に回転させるとともに、三個の座標を一緒に回転させて、第一直線Ｌ１の左、あるいは、右側上の挟み角 αの計算と確認を促進し、たとえば、挟み角 αが９０度より小さいか否か計算する。

一実施形態において、処理装置２０が、挟み角αが９０度に等しいと判断するとき、判断された人体の方向が、人体の正面になると判断されることを意味する。

一実施形態において、図８Ａに示されるように、処理装置２０は、９０度より小さい挟み角αが、第一直線Ｌ１の左側に位置すると判断し、人体の方向が左側身体であると判断する。別の実施形態において、処理装置２０はさらに、９０度より小さい挟み角αが、４５度より小さいか否か判断する。挟み角αが、４５度より小さく、且つ、挟み角が、第一直線Ｌ１の左側に位置する場合、判断された人体の方向が左側身体であると判断する。挟み角αが、４５度より小さく、且つ、挟み角が、第一直線Ｌ１の右側に位置する場合、判断された人体の方向が右側身体であると判断する。挟み角 αが４５度より大きい場合、判断された人体の方向が正面であると判断する。

一実施形態において、図８Ａに示されるように、処理装置２０が、９０度より小さい挟み角α が、第一直線Ｌ１の左側に位置し、且つ、挟み角 α が、４５度より小さいと判断し、判断された人体の方向が左側であると判断する。一実施形態において、左肩特徴点Ａ’と胸特徴点Ｂ’の接続は、９０度より小さい挟み角αに対応する辺縁であり、且つ、対応する辺縁は、円中心０の相対する左側に位置し、その後、処理装置２０は、判断された人体の方向が左側身体であると判断する。

一実施形態において、図８Ｂに示されるように、処理装置２０が、９０度より小さい挟み角が、第一直線Ｌ１の右側に位置し、且つ、挟み角 α が、４５度より小さいと判断する場合、処理装置２０は、判断された人体の方向が右側身体であると判断する。一実施形態において、右肩特徴点Ｃ’と胸特徴点Ｂ’の接続は、９０度より小さい挟み角αに対応する辺縁であり、且つ、対応する辺縁は、円中心０の相対する右側に位置し、処理装置２０は、判断された人体の方向が右側身体であると判断する。

一実施形態において、処理装置２０は、初期イメージＩＭＧ０から、人体イメージＩＭＧ１を引き出すとともに、人体イメージＩＭＧ１中の頭部輪郭イメージ中に、人の顔があるか否か判断する。処理装置２０が、人体イメージＩＭＧ１中の頭部輪郭イメージに、顔がないと判断するとき、判断された人体の方向が、人体の背面であると判断する。

上述から分かるように、分類器はマルチタスクアーキテクチャであり、二つの件は、同じアーキテクチャ、たとえば、畳み込みニューラルネットワークアーキテクチャで完成され、大幅に、処理装置２０により用いられるリソース (たとえば、ラズベリーＰｉで実施される)を減少させることができる。人体が、明確な横向け位置にある時、畳み込みニューラルネットワークは、明確な(正確なスレショルドより大きい)人体方向確率を出力することができるとともに、この人体確率に対応する人体の方向は、判断された人体の方向であると見なされる。しかし、人体が、不明瞭な横向け位置にある時、畳み込みニューラルネットワークにより出力される人体の方向の全ての確率は、正確なスレショルドより高くない。この場合、人体の方向を検出する検出装置１００は、肩、および、胸の位置により、骨格特徴点を用いて、さらに正確に、挟み角 α を計算するとともに、挟み角 αの位置により、判断された人体の方向を判断する。

本発明の実施形態で示される人体の方向を検出する検出装置、および、人体の方向を検出する検出方法は、正確に、人体の方向を判断することができる。本発明で記述される人体の方向の判断は、人体の正面、左側、右側、あるいは、背面であり、よって、スマート全身鏡は、さらに正確に、バーチャル衣服を人体イメージに適用することができる。ユーザーが、横に向きを変えて、ユーザーの頭部を正面にしても、つまり、スマート全身鏡の方を向いても、ユーザーは、スマート全身鏡で、試着結果を合理的に見ることができ、これにより、良いユーザー体験が達成される。さらに、本発明の実施形態に示される人体の方向を検出する検出装置、および、人体の方向を検出する検出方法はさらに、スマート全身鏡により出力されるデータを別のサーバに送信して、スマート全身鏡の使用率を計算する、あるいは、データを分析として用いて、別の目的を達成することができる。

本発明では好ましい実施例を前述の通り開示したが、これらは決して本発明に限定するものではなく、当該技術を熟知する者なら誰でも、本発明の思想を脱しない範囲内で各種の変形を加えることができる。

１００ 人体の方向を検出する検出装置
１０ カメラ
２０ 処理装置
３０ ストレージデバイス
４０ ディスプレイ
ＵＳＲ ユーザー
３００ 人体の方向を検出する検出方法
３０５～３２５、３１０～３４０ 工程
ＩＭＧ０ 初期イメージ
ＵＳＲ’ ユーザーイメージ
ＩＭＧ１、ＩＭＧ３、ＩＭＧ４ 人体イメージ
ＩＭＧ２ 入力イメージ
ＦＣＬ 全結合層
Ａ 左肩の実際の特徴点
Ｂ 襟(胸)の実際の特徴点
Ｃ 右肩の実際の特徴点
Ａ’左肩特徴点
Ｂ’胸特徴点
Ｃ’右肩特徴点
Ｌ１ 第一直線
Ｌ２ 第二直線
α 挟み角
０ 円中心

Claims (5)

1. 人体の方向を検出する検出方法であって、
   カメラを用いて、人体イメージを捕捉する工程と、
   前記人体イメージ中の人頭の輪郭イメージを切り取って、入力イメージを得るとともに、前記入力イメージを分類器に入力し、前記分類器が、前記入力イメージの複数の人体方向確率を出力する工程と、
   最大の人体方向確率を見つけるとともに、前記最大の人体方向確率が、正確なスレショルドより大きいか否か判断する工程、および、
   前記最大の人体方向確率が、前記正確なスレショルドより大きいとき、前記最大の人体方向確率に対応する前記人体の方向が、判断された人体の方向であると見なす工程、を有し、
   前記分類器は、前記入力イメージの複数の骨格特徴点を出力し、
   前記最大の人体方向確率が、前記正確なスレショルドより小さいとき、前記骨格特徴点により判断された前記人体の方向を、前記判断された人体の方向であると見なすことを特徴とする人体の方向を検出する検出方法。
2. 前記分類器は、畳み込みニューラルネットワーク (ＣＮＮ)により実行され、
   前記畳み込みニューラルネットワークが、訓練段階で、前記入力イメージを受信した後、前記畳み込みニューラルネットワークは、全結合層で、前記人体方向確率、および、骨格特徴点を出力し、前記最大の人体方向確率、および、実際の方向データに対応する前記人体の方向で、回帰損失を計算するとともに、前記骨格特徴点、および、複数の実際の特徴点位置データで、ユークリッド距離損失を計算し、その後、前記回帰損失と前記ユークリッド距離損失を加算して、全損を得るとともに、誤差逆伝搬方法を用いて、前記畳み込みニューラルネットワークのパラメータを調整して、前記畳み込みニューラルネットワークを再訓練して、各訓練後、前記計算された全損が小さくなり、
   前記人体方向確率は、前記畳み込みニューラルネットワークにより出力される複数の特徴ベクトルに対応することを特徴とする請求項１に記載の人体の方向を検出する検出方法。
3. 前記人体方向確率は、それぞれ、人体の正面の確率、人体の左側の確率、人体の右側の確率、および、人体の背面の確率であり、前記骨格特徴点はさらに、左肩特徴点座標、右肩特徴点座標、および、胸特徴点座標を有し、
   前記左肩特徴点座標と前記右肩特徴点座標間の間で第一直線を接続し、前記第一直線の中間点を円中心と見なし、
   前記胸特徴点座標と前記円中心を接続して、第二直線を形成し、
   前記第二直線と前記第一直線の間の挟角の角度を計算し、および
   角度スレショルドより小さい前記挟角の第一挟角を選択して、前記判断された人体の方向を判断し、
   前記角度スレショルドは、９０度より小さく、且つ、０度より大きい一角度であり、前記第一挟角が９０度に等しいとき、これは、前記判断された人体の方向が、前記人体の正面であることを意味し、
   前記第一挟角が、前記角度スレショルド以下で、および、前記第一挟角が、前記第一直線の前記左側にあるとき、前記判断された人体の方向は、左側身体であり、
   前記第一挟角が、前記角度スレショルド以下で、且つ、前記第一挟角が、前記第一直線の前記右側に位置するとき、前記判断された人体の方向は、右側身体であり、および、
   前記第一挟角が全て、前記角度スレショルドより大きいとき、前記判断された人体の方向は、前記人体の正面であり、
   前記人体イメージ中の前記人頭の輪郭イメージに、人の顔があるか否か判断し、
   処理装置が、前記人体イメージ中の前記人頭の輪郭イメージに、顔がないと判断するとき、前記判断された人体の方向は、前記人体の前記背面であることを特徴とする請求項１に記載の人体の方向を検出する検出方法。
4. さらに、
   前記判断された人体の方向を統計(counting)して、使用習慣情報を得る工程と、
   前記判断された人体の方向を、拡張現実モジュールに送信する工程と、
   前記判断された人体の方向にしたがって、前記拡張現実モジュールにより、前記人体イメージとバーチャル製品を結合して、結合イメージを生成する工程、および、
   ディスプレイモジュールにより、ディスプレイ上で、前記結合イメージを表示する工程、
   を有することを特徴とする請求項１に記載の人体の方向を検出する検出方法。
5. 人体の方向を検出する検出装置であって、
   人体イメージを捕捉するカメラ、および
   前記人体イメージ中の人頭の輪郭イメージを切り取って、入力イメージを得るとともに、前記入力イメージを分類器に入力し、前記分類器が、前記入力イメージの複数の人体方向確率を出力する処理装置、を有し、
   前記処理装置は、最大の人体方向確率を見つけるとともに、前記最大の人体方向確率が、正確なスレショルドより大きいか否か判断し、
   前記最大の人体方向確率が、前記正確なスレショルドより大きいとき、前記処理装置は、前記最大の人体方向確率に対応する前記人体の方向を、判断された人体の方向であると見なし、
   前記分類器は、前記入力イメージの複数の骨格特徴点を出力し、
   前記最大の人体方向確率が、前記正確なスレショルドより小さいとき、前記骨格特徴点により判断された前記人体の方向を、前記判断された人体の方向であると見なすことを特徴とする人体の方向を検出する検出装置。

Images