JP2024046583A - 情報処理装置、方法、プログラム、およびシステム - Google Patents

Abstract

【課題】身体表面の情報を効率的に分析するための技術を提供する。【解決手段】本開示の一態様のプログラムは、コンピュータを、対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段、対象者の身体表面を表現する２次元のベース画像において、複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段、ベース画像において、第１種線分と対象者の身体表面とが交差する交差点を特定する手段、として機能させる。【選択図】図４

Description

本開示は、情報処理装置、方法、プログラム、およびシステムに関する。

人を健康状態に導くための様々なサービス（例えば、トレーナーによる指導、整体、など）において、対象者の身体の曲がり具合や姿勢などの情報は有用である。人体の点群データまたは画像から関節の位置を推定する技術が知られている。しかしながら、関節の位置の推定結果のみからは、例えば身体が丸まっていないかなどを判別することは困難であり、身体表面の状態（例えば、形状または位置）を把握可能な技術が望まれる。

特許文献１には、過去の基礎モデル（人の骨格相当）の変形ノード（基礎モデルの変形を制御するためのノード）位置に基づき参照表面（人の場合、関節位置に対する体表面に相当）を構成することが開示されている。

国際公開第２０１９／１６７７６０号

特許文献１に記載の技術は、３Ｄモデルを対象として参照表面を構成する処理を行うため、計算量が大きくなる。

本開示の目的は、身体表面の状態を効率的に分析するための技術を提供することである。

本開示の一態様のプログラムは、コンピュータを、対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段、対象者の身体表面を表現する２次元のベース画像において、複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段、ベース画像において、第１種線分と対象者の身体表面とが交差する交差点を特定する手段、として機能させる。

本実施形態の情報処理システムの構成を示すブロック図である。 本実施形態のクライアント装置の構成を示すブロック図である。 本実施形態のサーバの構成を示すブロック図である。 本実施形態の一態様の説明図である。 本実施形態の情報処理の全体フローを示す図である。 図５の分析処理のフローチャートである。 図６の関節点の推定の説明図である。 図６の補完点の設定の説明図である。 図６の補助線の設定の説明図である。 図６の交差点の特定の説明図である。 図６のボディラインの特定の説明図である。

以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。

（１）情報処理システムの構成
情報処理システムの構成について説明する。図１は、本実施形態の情報処理システムの構成を示すブロック図である。

図１に示すように、情報処理システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。

クライアント装置１０は、サーバ３０にリクエストを送信する情報処理装置の一例である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。クライアント装置１０のユーザは、後述する身体表面のセンシングが行われる対象者と同一人物であってもよいし、異なる人物であってもよい。例えば、ユーザは、対象者に対して健康増進のためのサービスを提供する者（例えば、トレーナー、整体師、医療関係者、など）であってもよい。

サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供する情報処理装置の一例である。サーバ３０は、例えば、サーバコンピュータである。

（１－１）クライアント装置の構成
クライアント装置の構成について説明する。図２は、本実施形態のクライアント装置の構成を示すブロック図である。

図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４とを備える。クライアント装置１０は、ディスプレイ２１と、センサ２２とに接続される。

記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、ウェブブラウザ、または身体表面の状態を分析するためのアプリケーション）のプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）

プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するコンピュータである。プロセッサ１２は、例えば、以下の少なくとも１つである。
・ＣＰＵ（Central Processing Unit）
・ＧＰＵ（Graphic Processing Unit）
・ＡＳＩＣ（Application Specific Integrated Circuit）
・ＦＰＧＡ（Field Programmable Array）

入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスから情報（例えば、ユーザの指示、またはセンシング結果）を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報（例えば画像）を出力するように構成される。
入力デバイスは、例えば、センサ２２、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイ２１、スピーカ、又は、それらの組合せである。

通信インタフェース１４は、クライアント装置１０と外部装置（例えばサーバ３０）との間の通信を制御するように構成される。

ディスプレイ２１は、画像（静止画、または動画）を表示するように構成される。ディスプレイ２１は、例えば、液晶ディスプレイ、または有機ＥＬディスプレイである。

センサ２２は、対象者の身体表面をセンシングする。センサ２２は、典型的には光（レーザを含み得る）を用いて２次元または３次元のセンシングを行う光学センサに相当するが、光学センサには限られない。センサ２２は、センシング結果をクライアント装置１０へ送信する。

一例として、センサ２２は、深度センサ（例えば、ＬｉＤＡＲ（light detection and ranging））を含む。この場合に、センサ２２は、センシングを行うことで点群データを生成する。以降の説明において、画像とは点群データを含むこととする。

別の例として、センサ２２は、１つのＲＧＢカメラを含む。この場合に、センサ２２は、センシングを行うことで２次元画像を生成する。

さらなる別の例として、センサ２２は、複数のＲＧＢカメラを含む。この場合に、センサ２２は、センシングを行うことで、複数の（視点の異なる）２次元画像を生成する。なお、ステレオマッチング技術によれば、複数の２次元画像の間で対応する点について、深度を計算することが可能である。

（１－２）サーバの構成
サーバの構成について説明する。図３は、本実施形態のサーバの構成を示すブロック図である。

図３に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。

記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。

プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム

データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果

プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するコンピュータである。プロセッサ３２は、例えば、以下の少なくとも１つである。
・ＣＰＵ
・ＧＰＵ
・ＡＳＩＣ
・ＦＰＧＡ

入出力インタフェース３３は、サーバ３０に接続される入力デバイスから情報（例えばユーザの指示）を取得し、かつ、サーバ３０に接続される出力デバイスに情報（例えば画像）を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。

通信インタフェース３４は、サーバ３０と外部装置（例えばクライアント装置１０）との間の通信を制御するように構成される。

（２）実施形態の一態様
本実施形態の一態様について説明する。図４は、本実施形態の一態様の説明図である。

以降の説明では、サーバ３０が情報処理（特に分析処理）の大部分を行う例を示すが、以下に説明する情報処理の全部または一部をクライアント装置１０が行ってもよい。つまり、クライアント装置１０が、対象者のセンシング結果の分析を行い、分析結果を対象者本人に提示してもよい。或いは、第１のクライアント装置１０が、対象者のセンシング結果の分析を行い、サーバ３０が分析結果を取得（および必要に応じて蓄積）し、対象者とは異なるユーザ（例えばトレーナ）に第２のクライアント装置１０を介して提示してもよい。

図４に示すように、センサ２２は、対象者ＴＲ１０の身体表面のセンシングを行う。クライアント装置１０は、センサ２２からセンシング結果ＳＲ１１を取得し、サーバ３０へ送信する。

サーバ３０は、センシング結果ＳＲ１１に基づいて、対象者ＴＲ１０の関節に対応する複数の関節点（具体的には、各関節の位置）を推定する。

サーバ３０は、対象者ＴＲ１０の身体表面を表現する２次元のベース画像を取得する。ベース画像は、センシング結果ＳＲ１１に基づいて生成されてもよいし、センシング結果ＳＲ１１そのものであってもよい。例えばセンシング結果ＳＲ１１が点群データに相当する場合に、かかる点群データを任意の視点から見た２次元画像が生成されてよい。視点は、予め定められていてもよいし、ユーザが選択できるようにしてもよい。ベース画像は、クライアント装置１０、サーバ３０、または図示しない他の装置によって生成されてよい。或いは、センシング結果ＳＲ１１がＲＧＢ画像に相当する場合に、当該ＲＧＢ画像を、ベース画像として用いることができる。

サーバ３０は、推定した複数の関節点のうち少なくとも１つについて、ベース画像において、当該関節点を通る補助線（「第１種線分」の一例）を設定する。

サーバ３０は、設定した補助線と、ベース画像に表現された対象者ＴＲ１０の身体表面とが交差する交差点を特定する。サーバ３０は、当該交差点の特定結果、または当該特定結果に基づくさらなる演算を行った結果を、対象者ＴＲ１０の身体表面の状態の分析結果ＡＲ１２として、クライアント装置１０へ送信する。

クライアント装置１０は、分析結果ＡＲ１２に基づく画面をディスプレイ２１に表示する。ユーザは、かかる画面をリアルタイムで、または振り返りとして確認することで、対象者ＴＲ１０の身体表面の状態を把握できる。サーバ３０は、２次元のベース画像上で各種の処理を行うことで、対象者ＴＲ１０の身体表面の状態を効率的に分析することができる。

（３）情報処理
本実施形態の情報処理について説明する。図５は、本実施形態の情報処理の全体フローを示す図である。図６は、図５の分析処理のフローチャートである。図７は、図６の関節点の推定の説明図である。図８は、図６の補完点の設定の説明図である。図９は、図６の補助線の設定の説明図である。図１０は、図６の交差点の特定の説明図である。図１１は、図６のボディラインの特定の説明図である。

本実施形態の情報処理は、例えばユーザまたは対象者が、当該情報処理を呼び出すための操作をクライアント装置１０に対して行うことで開始し得る。

図５に示すように、クライアント装置１０は、身体表面のセンシング（Ｓ１１０）を実行する。
具体的には、クライアント装置１０は、センサ２２に、対象者の身体表面をセンシングさせる。クライアント装置１０は、センシング結果を取得する。

クライアント装置１０は、センシング条件（例えば、センサ２２の位置もしくは姿勢（向き）（例えば外部パラメータ）、センサ２２の内部パラメータ、対象者の位置もしくは姿勢（向き）、またはセンシング日時）に関する情報をさらに取得してもよい。

また、クライアント装置１０は、対象者を特定可能な情報（例えば、ＩＤ）をさらに取得してもよい。これにより、分析結果を対象者に関連付けることができるので、例えば対象者の身体表面の分析結果を長期間に亘って蓄積し、経時的な比較を行うことができる。

ステップＳ１１０において、センサ２２は、１時点におけるセンシングを行ってもよいし、複数時点に亘るセンシングを行ってもよい。例えば、センサ２２は、所定期間内（例えば５秒間）に複数回のセンシングを行い、これらのセンシング結果をクライアント装置１０へ送信してもよい。或いは、センサ２２は、所定の運動単位（例えば１レップ、または１セットの運動）が行われている間に複数回のセンシングを行い、これらのセンシング結果をクライアント装置１０へ送信してもよい。

ステップＳ１１０の後に、クライアント装置１０は、分析要求（Ｓ１１０）を実行する。
具体的には、クライアント装置１０は、ステップＳ１１０において取得したセンシング結果を含む分析要求を生成し、サーバ３０へ送信する。分析要求は、さらに以下の少なくとも１つを含むこともできる。
・センシング条件に関する情報
・ベース画像に対応する視点（例えば、正面、背面、左面、右面、上面、下面またはそれらの組み合わせ）
・対象者を特定可能な情報
・分析の内容を特定可能な情報

ステップＳ１１１の後に、サーバ３０は、分析（Ｓ１３０）を実行する。
具体的には、サーバ３０は、ステップＳ１１０において送信された分析要求を受信する。クライアント装置１０は、分析要求に応じて、対象者の身体表面の状態に関する分析を行う。

以下、サーバ３０が行う分析処理の一例について詳細に説明する。なお、前述のとおり、分析処理の一部または全部はクライアント装置１０によって実行され得る。
図６に示すように、サーバ３０は、関節点の推定（Ｓ１３０１）を実行する。
具体的には、サーバ３０は、クライアント装置１０から取得した分析要求に含まれるセンシング結果に基づいて、対象者の身体の関節に対応する複数の関節点を推定する。
ステップＳ１３０１の第１例として、サーバ３０は、センシング結果としての点群データにおいて、各関節に対応する点を特定し、特定した点の位置（３次元座標）を取得することで、関節点を推定する。

ステップＳ１３０１の第２例として、サーバ３０は、センシング結果としてのＲＧＢ画像に基づく入力データに、学習済みモデルを適用することで、関節点を推定する。学習済みモデルは、入力データに基づいて、関節の位置の推論を行う。学習済みモデルは、学習用のＲＧＢ画像に基づく入力データと、当該画像における関節の位置を示す正解ラベルとを含む学習データを用いた教師あり学習によって構築可能である。

例えば図７に示すように、サーバ３０は、対象者の身体表面ＢＩ２１を含む２次元画像（ベース画像）ＩＭ２０に基づく入力データに、学習済みモデルを適用することで関節点を推定する。これにより、サーバ３０は、複数の関節点ＪＰ２２を決定する。図７～図１１において、推定された関節点ＪＰ２２は、二重丸のシンボルでプロットされている。

ステップＳ１３０１の後に、サーバ３０は、ベース画像の取得（Ｓ１３０２）を実行する。
具体的には、サーバ３０は、クライアント装置１０から取得した分析要求に対応するベース画像を取得する。

ステップＳ１３０２の第１例として、サーバ３０は、分析要求に含まれるセンシング結果（例えば点群データ）に基づいてベース画像を生成する。例えば、サーバ３０は、点群データを任意の視点から見た場合の２次元画像としてレンダリングすることで、対象者の身体表面を表現するベース画像を生成する。さらに、ベース画像を生成することで、ステップＳ１３０１における関節点の推定結果（つまり、関節点の３次元位置）に対応する、ベース画像における関節点（つまり、関節点の２次元座標）が特定される。

ステップＳ１３０２の第２例として、サーバ３０は、分析要求に含まれるセンシング結果（例えばＲＧＢ画像）をベース画像として取得する。この場合に、サーバ３０は、ステップＳ１３０１における関節点の推定結果を、ベース画像における関節点の推定結果として用いる。

ステップＳ１３０２の後に、サーバ３０は、補完点の設定（Ｓ１３０３）を実行する。
具体的には、サーバ３０は、ステップＳ１３０２において取得したベース画像上において、ステップＳ１３０１において推定された複数の関節点の間に１以上の補完点を設定する。一例として、サーバ３０は、人体の構造（骨格構造）において互いに隣接する（つまり、骨を介して接続されている）２つの関節点の間を線分で接続し、当該線分の途中に補完点を設定する。補完点は、各線分上に所定の間隔で設定されてもよいし、各線分に対して割り当てられた数に従って設定されてもよい。

なお、分析要求に含まれるセンシング結果が例えば点群データである場合に、補完点は３次元空間で設定されてもよい。この場合に、補完点の設定（Ｓ１３０３）は、ベース画像の取得（Ｓ１３０２）に先立って行われる。そして、ステップＳ１３０２においてベース画像を生成することで、ステップＳ１３０３において設定された補完点に対応する、ベース画像における補完点（つまり、補完点の２次元座標）が特定される。

例えば図８に示すように、サーバ３０は、ベース画像ＩＭ２０において、隣接する２つの関節点ＪＰ２２の間をそれぞれ線分で接続し、当該線分上に等間隔で補完点ＩＰ２３を設定する。図８～図１１において、設定された補完点ＩＰ２４は、白丸のシンボルでプロットされている。

ステップＳ１３０３の後に、サーバ３０は、補助線の設定（Ｓ１３０４）を実行する。
具体的には、サーバ３０は、ステップＳ１３０２において取得したベース画像において、ステップＳ１３０１において推定された関節点、またはステップＳ１３０３において設定した補完点のうち少なくとも１つの点について、当該点を通る補助線を設定する。補助線の向きは、当該補助線の通る点と人体の構造において隣接する他の点（関節点または補完点）とを接続する線分（「第２種線分」の一例）に対して所定の角度をなすように定められる。所定の角度は例えば９０度であるがこれに限られない。

例えば図９に示すように、サーバ３０は、ベース画像ＩＭ２０において、関節点ＪＰ２２および補完点ＩＰ２３のそれぞれについて、当該点と人体の構造において隣接する他の点とを結ぶ線分に対して９０度をなす補助線ＳＬ２４を設定する。図９～図１１において、補助線ＳＬ２４は、破線で描かれている。

ステップＳ１３０４の後に、サーバ３０は、交差点の特定（Ｓ１３０５）を実行する。
具体的には、サーバ３０は、ステップＳ１３０２において取得したベース画像において、ステップＳ１３０４において設定した補助線が、ベース画像に表現された対象者の身体表面（つまり、対象者の身体と外界との境界）と交差する交差点を特定する。

例えば図１０に示すように、サーバ３０は、ベース画像ＩＭ２０において、補助線ＳＬ２４が対象者の身体表面と交差する交差点ＳＰ２５を特定する。図１０～図１１において、特定された交差点ＳＰ２５は、黒丸のシンボルでプロットされている。

ステップＳ１３０５の後に、サーバ３０は、ボディラインの特定（Ｓ１３０６）を実行する。
具体的には、サーバ３０は、ステップＳ１３０５において特定した複数の交差点同士を接続する線分を対象者のボディライン（「第３種線分」の一例）として特定する。

例えば図１１に示すように、サーバ３０は、ベース画像ＩＭ２０において、複数の交差点ＳＰ２５同士を接続する線分を対象者のボディラインＢＬ２６として特定する。なお、ボディラインＢＬ２６は、折れ線に限られず曲線によって表現されてもよい。例えば複数の交差点ＳＰ２５、またはその付近を通る曲線（例えばスプライン曲線）をボディラインＢＬ２６として特定可能である。

ステップＳ１３０６の後に、サーバ３０は、姿勢の評価（Ｓ１３０７）を実行する。
具体的には、サーバ３０は、ステップＳ１３０６におけるボディラインの特定結果に基づいて、対象者の姿勢を評価する。ステップＳ１３０７の第１例として、サーバ３０は、ボディラインを構成する２つの連続する線分がなす角度を算出する。さらに、サーバ３０は、算出した角度を閾値と比較してもよい。ステップＳ１３０７の第２例として、サーバ３０は、ボディラインを構成する線分が基準線に対してなす角度を算出する。基準線は、例えば対象者が行った運動の種目に応じて決定され得る。さらに、サーバ３０は、算出した角度を閾値と比較してもよい。

サーバ３０は、ステップＳ１３０７における姿勢の評価結果（加えて、必要に応じて各ステップの実行結果）を、対象者の身体表面の状態の分析結果として扱い、ステップＳ１３０の処理を終了する。
なお、分析処理の第１変形例として、サーバ３０は、ステップＳ１３０７の実行を省略してもよい。この場合に、サーバ３０は、ステップＳ１３０６におけるボディラインの特定結果（加えて、必要に応じて各ステップの実行結果）を、対象者の身体表面の状態の分析結果として扱い、ステップＳ１３０の処理を終了することができる。
分析処理の第２変形例として、サーバ３０は、ステップＳ１３０６～Ｓ１３０７の実行を省略してもよい。この場合に、サーバ３０は、ステップＳ１３０５における交差点の特定結果（加えて、必要に応じて各ステップの実行結果）を、対象者の身体表面の状態の分析結果として扱い、ステップＳ１３０の処理を終了することができる。

ステップＳ１３０の後に、サーバ３０は、分析応答（Ｓ１３１）を実行する。
具体的には、サーバ３０は、ステップＳ１３０における分析結果を含む分析応答を生成し、クライアント装置１０へ送信する。これにより、サーバ３０は、ステップＳ１３０における分析結果を可視化することができる。

ステップＳ１３１の後に、クライアント装置１０は、画面表示（Ｓ１１２）を実行する。
具体的には、クライアント装置１０は、ステップＳ１３１において送信された分析応答を受信する。クライアント装置１０は、分析応答に基づく画面をディスプレイ２１に表示する。

ステップＳ１１２の第１例として、クライアント装置１０は、ステップＳ１３０５における交差点の特定結果を含む画面をディスプレイ２１に表示する。クライアント装置１０は、例えばベース画像に交差点が重畳された画面をディスプレイ２１に表示する。

ステップＳ１１２の第２例として、クライアント装置１０は、ステップＳ１３０６におけるボディラインの特定結果を含む画面をディスプレイ２１に表示する。クライアント装置１０は、例えばベース画像にボディラインが重畳された画面をディスプレイ２１に表示する。

ステップＳ１１２の第３例として、クライアント装置１０は、ステップＳ１３０７における姿勢の評価結果を含む画面をディスプレイ２１に表示する。クライアント装置１０は、例えば姿勢の評価結果を視覚的に（例えば、数字、テキスト、アイコンなどを用いて）表現する画面をディスプレイ２１に表示する。或いは、クライアント装置１０は、ベース画像に重畳されたボディラインと対応付けて評価結果を視覚的に表現する画面をディスプレイ２１に表示してもよい。

ステップＳ１１２の第１例～第３例は組み合わせ可能である。例えば、ベース画像に、交差点およびボディラインの両方が重畳されてもよい。さらに、関節点、補完点、または補助線の少なくとも１つがベース画像に重畳されてもよい。また、ベース画像の代わりにセンシング結果（例えば点群データ）、または当該センシング結果に基づいて生成され対象者の身体表面を表現する３次元の画像（例えばアバター）に対して、上記各種の情報が重畳されてもよい。

ステップＳ１１２の後に、クライアント装置１０は、身体表面のセンシング（Ｓ１１０）を再実行してもよいし、本実施形態の情報処理を終了してもよい。ステップＳ１１０～Ｓ１１２を繰り返すことで、ユーザは対象者の身体表面の状態の分析結果をリアルタイムに確認することができる。

（４）小括
以上説明したように、本実施形態のサーバ３０は、対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する。サーバ３０は、対象者の身体表面を表現する２次元のベース画像において、推定した複数の関節点のうち少なくとも１つについて、当該関節点を通る補助線を設定し、ベース画像において補助線と対象者の身体表面とが交差する交差点を特定する。つまり、２次元のベース画像の処理により対象者の身体表面の状態を分析するので、分析に必要な計算量を抑制することができる。

サーバ３０は、ベース画像において、推定された複数の関節点の間に１以上の補完点を設定してもよい。サーバ３０は、設定した１以上の補完点のそれぞれについて、当該補完点と、当該補完点と隣接する他の補完点または関節点のいずれかとの間を接続する線分に対して所定の角度をなし、かつ当該補完点を通る補助線をさらに設定してもよい。サーバ３０は、ベース画像において、補完点を通る補助線と対象者の身体表面とが交差する交差点をさらに特定してもよい。これにより、特定可能な交差点の数を増やし、対象者の身体表面の状態をより詳細に分析することができる。

サーバ３０は、特定された交差点に基づいて対象者の姿勢の評価を行ってもよい。これにより、ユーザは、対象者の身体表面の状態を適切に把握できる。

サーバ３０は、設定された複数の補助線に対して複数の交差点を特定し、当該複数の交差点同士を接続するボディラインを特定し、当該ボディラインがなす角度を算出してもよい。これにより、ユーザは、対象者の身体表面の形状（傾き、曲がり具合、など）を定量的に把握できる。

サーバ３０は、特定された交差点を可視化してもよい。これにより、ユーザは、対象者の身体表面の形状を視覚的に把握することができる。

サーバ３０は、対象者の身体表面をセンシングした結果、または当該結果に基づいて生成され対象者の身体表面を表現する２次元または３次元の画像に対して交差点を重畳してもよい。これにより、ユーザは、各交差点と対象者の身体の部位との対応関係、および対象者の身体表面の形状を視覚的に把握することができる。

サーバ３０は、対象者の身体表面をセンシングした結果、または当該結果に基づいて生成され対象者の身体表面を表現する２次元または３次元の画像に対して複数の交差点と当該複数の交差点同士を接続するボディラインとを重畳してもよい。これにより、ユーザは、各交差点およびボディラインと対象者の身体の部位との対応関係、および対象者の身体表面の形状を視覚的に把握することができる。

所定の角度は９０度であってよい。これにより、関節点または補完点に対して妥当な交差点を特定することができる。

（５）変形例
本実施形態の変形例について説明する。

（５－１）変形例１
変形例１について説明する。変形例１は、補完点を設定する代わりに、各関節点に対して複数の補助線を設定する例である。

具体的には、サーバ３０は、図６と同様にステップＳ１３０１～Ｓ１３０２を実行する。
ステップＳ１３０２の後に、サーバ３０は、補助線の設定（Ｓ１３０４）を実行する（つまり、補完点の設定（Ｓ１３０３）をスキップする）。
具体的には、サーバ３０は、ステップＳ１３０２において取得したベース画像において、ステップＳ１３０１において推定された関節点のうち少なくとも１つの点について、当該関節点を通り、かつ互いの向きの異なる複数の補助線を設定する。各補助線の向きは、当該補助線の通る点と人体の構造において隣接する他の関節点とを結ぶ線分に対して所定の角度をなすように定められる。所定の角度は例えば９０度を含むが、これに限られない。一例として、所定の角度は、９０度と、９０度に対して所定の角度（例えば１度）ずつ増減させた角度とを含み得る。補助線の数、および補助線間の角度差はユーザによって指定されてもよい。

ステップＳ１３０４の後に、サーバ３０は、図６と同様にステップＳ１３０５～Ｓ１３０７を実行する。

変形例１によれば、補完点を設定せずとも、１つの関節点に対して複数の交差点を得ることができる。つまり、計算量を抑制しながら、対象者の関節に対応する身体表面の状態を効率的に分析することができる。

なお、変形例１は、本実施形態と組み合わせ可能である。つまり、サーバ３０は、補完点の設定と、複数の補助線の設定との双方を行うことができる。この場合に、サーバ３０は、補完点に対して複数の補助線を設定してもよい。

（５－２）変形例２
変形例２について説明する。変形例２は、交差点を、身体のいずれの部位、または部位間に関連付ける例である。

具体的には、本実施形態の情報処理では、交差点の特定（Ｓ１３０５）後に、ボディラインの特定（Ｓ１３０６）および姿勢の評価（Ｓ１３０７）を実行する。本変形例２の情報処理では、これらの処理に代えて、またはこれらの処理に加えて、サーバ３０は、ステップＳ１３０５に特定した交差点のうち１つまたは複数を、人間の身体のいずれかの部位、または部位間（人体の構造において互いに隣接する部位間）に対して関連付ける。

具体的には、サーバ３０は、ステップＳ１３０１において推定した各関節点に対応する部位を特定する。関節点に対応する部位は予め定義されている。例えば、部位は、以下のいずれかであってよい。
・頭
・肩中央
・右（左）肩
・右（左）肘
・右（左）手首
・胸腰
・骨盤中央
・右（左）骨盤
・右（左）膝
・右（左）足首
・右（左）足
・右（左）つま先
また、部位間として、例えば肩中央－右肩間、胸腰－骨盤中央間、などの組み合わせがあり得る。

サーバ３０は、交差点が補助線によっていずれかの関節点に接続されている場合に、当該交差点を、当該関節点に対応する部位に関連付ける。

サーバ３０は、交差点が補助線によっていずれかの補完点に接続されていて、かつ当該補完点が同一の部位に対応する関節点の間に設定されている場合に、当該交差点を、当該部位に関連付ける。

サーバ３０は、交差点が補助線によっていずれかの補完点に接続されていて、かつ当該補完点が第１部位と第２部位との間の関節点に設定されている場合に、当該交差点を、第１部位、第２部位、または第１部位と第２部位との間、のいずれかに関連付ける。第１例として、サーバ３０は、かかる交差点を、当該交差点から各関節点までの距離に応じて、第１部位、または第２部位のいずれかを選択して関連付けてもよい。第２例として、サーバ３０は、かかる交差点を、当該交差点から各関節点までの距離に応じて、第１部位、第２部位、または第１部位と第２部位との間のいずれかに固定的に関連付けてもよい。

このようにして、サーバ３０は、身体の部位、または部位間に１以上の交差点を関連付ける。
サーバ３０は、任意の部位または部位間（以下、「関心部位」という）に対応する交差点（および当該交差点同士を接続するボディライン）を、他の交差点（および他のボディライン）と異なる態様（例えば、色、透明度、またはシンボルの形状もしくはサイズ）で表示（例えば強調表示）してもよい。これにより、対象者の身体のうち関心部位の状態の視認性を高めることができる。関心部位は、ユーザまたは対象者によって指定されてもよいし、対象者が行う運動の種目に応じて予め定められてもよい。

また、サーバ３０は、例えば、肩（肩中央、右肩、左肩、またはこれらの部位間の少なくとも１つ）に関連付けられる交差点間のボディラインの角度を、例えば「肩のまがり」のように関連する部位を表す情報とともに、ユーザに提示してもよい。これにより、ユーザは、提示された分析結果がどの部位に関する情報であるかを容易に把握することができる。

（６）その他の変形例
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。ディスプレイ２１は、クライアント装置１０に内蔵されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。

上記説明では、各処理において各ステップを特定の順序で実行する例を示したが、各ステップの実行順序は、依存関係がない限りは説明した例に制限されない。上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。例えば、いずれかの装置によって行われるとして説明された処理が別の装置によって行われたり、複数の装置のやり取りによって行われるとして説明された処理が単一の装置（例えばクライアント装置１０）によって行われたりしてもよい。

上記説明では、ステップＳ１３０３において関節点同士の間にどのように補完点を設定するか（つまり、関節点同士を接続する各線分における設定間隔または設定数）が予め定められている例を述べた。しかしながら、補完点をどのように設定するか（例えば粗く設定するか密に設定するか）はユーザ指示に応じて決定されてよい。具体的には、ユーザは、補完点の設定を制御する対象となる部位（以下、「第１部位」）と、その制御内容とをクライアント装置１０に対して指示する。かかるユーザ指示は、例えば補間点の設定の粗密を直感的に調整しやすいスライドバーなどのオブジェクトによって受け付けられてよい。クライアント装置１０は、ユーザ指示をサーバ３０へ送信する。ユーザ指示は、分析要求に含められてもよい。サーバ３０は、ユーザ指示に応じて第１部位を特定し、当該第１部位に人体の構造に基づいて予め関連付けられている複数の関節点の間で設定される補完点の数を制御するパラメータ（例えば、関節点同士を接続する線分に対する補完点の設定間隔または設定数）を決定する。そして、サーバ３０は、ステップＳ１３０３において、決定されたパラメータに従って、第１部位に関連付けられる複数の関節点の間に１以上の補完点を設定する。これにより、例えば、ユーザは、関心のある部位に設定される補完点を増やすことで詳細な分析結果を得ることができる。或いは、ユーザは、関心のない部位に設定される補完点を減らすことで分析（Ｓ１３０）の計算量を抑え、身体形状のセンシング（Ｓ１１０）～画面表示（Ｓ１１２）までのディレイを減らすことができる。なお、ユーザが様々な補完点の設定を試せるように、サーバ３０は同一のセンシング結果に対して繰り返し分析（Ｓ１３０）を行ってもよい。

上記説明では、センシング結果としての点群データに基づいてベース画像を生成する例を述べた。しかしながら、センシング結果は、撮影方向の異なる複数の点群データであってもよい。この場合に、ベース画像は、これら複数の点群データを３次元位置合わせした結果（以下、「合成点群データ」という）に基づいて生成され得る。つまり、一例として、サーバ３０は、合成点群データを任意の視点から見た場合の２次元画像としてレンダリングすることで、対象者の身体表面を表現するベース画像を生成してもよい。これにより、第１の点群データの死角を第２の点群データによって補い、様々な視点に対して十分な数の点を確保できるので、例えば対象者の正面方向のベース画像に加えて、対象者の側面方向のベース画像、対象者の上面方向のベース画像、またはこれらの組み合わせを生成し、多視点から対象者の身体表面の状態を効率的に分析することができる。

（７）付記
実施形態および変形例で説明した事項を、以下に付記する。

（付記１）
コンピュータ（３０）を、
対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段（Ｓ１３０１）、
対象者の身体表面を表現する２次元のベース画像において、複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段（Ｓ１３０４）、
ベース画像において、第１種線分と対象者の身体表面とが交差する交差点を特定する手段（Ｓ１３０５）、
として機能させるプログラム。

（付記２）
コンピュータを、ベース画像において、推定された複数の関節点の間に１以上の補完点を設定する手段（Ｓ１３０３）、として機能させ、
第１種線分を設定する手段は、１以上の補完点のそれぞれについて、当該補完点と、当該補完点と隣接する他の補完点または関節点のいずれかとの間を接続する第２種線分に対して所定の角度をなし、かつ当該補完点を通る第１種線分をさらに設定し、
特定する手段は、ベース画像において、補完点を通る第１種線分と対象者の身体表面とが交差する交差点をさらに特定する、
付記１に記載のプログラム。

（付記３）
コンピュータを、特定された交差点に基づいて対象者の姿勢の評価を行う手段（Ｓ１３０７）、としてさらに機能させる、
付記２に記載のプログラム。

（付記４）
特定する手段は、設定された複数の第１種線分に対して複数の交差点を特定し、
姿勢の評価を行う手段は、複数の交差点同士を接続する第３種線分を特定し、当該第３種線分がなす角度を算出する、
付記３に記載のプログラム。

（付記５）
コンピュータを、特定された交差点を可視化する手段（Ｓ１３１）、としてさらに機能させる、付記２に記載のプログラム。

（付記６）
可視化する手段は、対象者の身体表面をセンシングした結果、または当該結果に基づいて生成され対象者の身体表面を表現する２次元または３次元の画像に対して、交差点を重畳する、
付記５に記載のプログラム。

（付記７）
特定する手段は、設定された複数の第１種線分に対して複数の交差点を特定し、
コンピュータを、複数の交差点同士を接続する第３種線分を特定する手段（Ｓ１３０６）、としてさらに機能させ、
可視化する手段は、対象者の身体表面をセンシングした結果、または当該結果に基づいて生成され対象者の身体表面を表現する２次元または３次元の画像に対して、複数の交差点と当該複数の交差点同士を接続する第３種線分とを重畳する、
付記６に記載のプログラム。

（付記８）
コンピュータを、ユーザ指示に応じて、人間の身体の第１部位に関連付けられる複数の関節点の間で設定される補完点の数を制御するパラメータを決定する手段、
補完点を設定する手段は、決定されたパラメータに従って、第１部位に関連付けられる複数の関節点の間に１以上の補完点を設定する、
付記２に記載のプログラム。

（付記９）
所定の角度は、９０度である、
付記２に記載のプログラム。

（付記１０）
複数の関節点のうち少なくとも１つについて、当該関節点を通り、かつ向きの異なる複数の第１種線分を設定し、
特定する手段は、ベース画像において、複数の関節点の各々に設定された全ての第１種線分に対して交差点を特定する、
付記１に記載のプログラム。

（付記１１）
コンピュータを、人間の身体の少なくとも１つの部位に対して１以上の交差点を関連付ける手段、としてさらに機能させる、
付記１に記載のプログラム。

（付記１２）
対象者の身体表面をセンシングした結果は、撮影方向の異なる複数の点群データであり、
ベース画像は、複数の点群データを３次元位置合わせした結果に基づいて生成される、
付記１に記載のプログラム。

（付記１３）
コンピュータ（３０）によって実行される方法であって、
対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定するステップ（Ｓ１３０１）と、
対象者の身体表面を表現する２次元のベース画像において、複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定するステップ（Ｓ１３０４）と、
ベース画像において、第１種線分と対象者の身体表面とが交差する交差点を特定するステップ（Ｓ１３０５）と
を具備する方法。

（付記１４）
対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段（Ｓ１３０１）と、
対象者の身体表面を表現する２次元のベース画像において、複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段（Ｓ１３０４）と、
ベース画像において、第１種線分と対象者の身体表面とが交差する交差点を特定する手段（Ｓ１３０５）と
を具備する情報処理装置（３０）。

（付記１５）
第１コンピュータ（３０）および第２コンピュータ（１０）を具備するシステム（１）であって、
第１コンピュータは、
第２コンピュータから対象者の身体表面をセンシングした結果を取得する手段（Ｓ１３０）、
対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段（Ｓ１３０１）、
対象者の身体表面を表現する２次元のベース画像において、複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段（Ｓ１３０４）、
ベース画像において、第１種線分と対象者の身体表面とが交差する交差点を特定する手段（Ｓ１３０５）、
を備える、システム。

以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。

１ ：情報処理システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
２１ ：ディスプレイ
２２ ：センサ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース

Claims (15)

1. コンピュータを、
   対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段、
   前記対象者の身体表面を表現する２次元のベース画像において、前記複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段、
   前記ベース画像において、前記第１種線分と前記対象者の身体表面とが交差する交差点を特定する手段、
   として機能させるプログラム。
2. 前記コンピュータを、前記ベース画像において、推定された前記複数の関節点の間に１以上の補完点を設定する手段、として機能させ、
   前記第１種線分を設定する手段は、前記１以上の補完点のそれぞれについて、当該補完点と、当該補完点と隣接する他の補完点または関節点のいずれかとの間を接続する第２種線分に対して所定の角度をなし、かつ当該補完点を通る第１種線分をさらに設定し、
   前記特定する手段は、前記ベース画像において、前記補完点を通る前記第１種線分と前記対象者の身体表面とが交差する交差点をさらに特定する、
   請求項１に記載のプログラム。
3. 前記コンピュータを、特定された前記交差点に基づいて前記対象者の姿勢の評価を行う手段、としてさらに機能させる、
   請求項２に記載のプログラム。
4. 前記特定する手段は、設定された複数の前記第１種線分に対して複数の前記交差点を特定し、
   前記姿勢の評価を行う手段は、前記複数の交差点同士を接続する第３種線分を特定し、当該第３種線分がなす角度を算出する、
   請求項３に記載のプログラム。
5. 前記コンピュータを、前記特定された交差点を可視化する手段、としてさらに機能させる、請求項２に記載のプログラム。
6. 前記可視化する手段は、前記対象者の身体表面をセンシングした結果、または当該結果に基づいて生成され前記対象者の身体表面を表現する２次元または３次元の画像に対して、前記交差点を重畳する、
   請求項５に記載のプログラム。
7. 前記特定する手段は、設定された複数の前記第１種線分に対して複数の前記交差点を特定し、
   前記コンピュータを、前記複数の交差点同士を接続する第３種線分を特定する手段、としてさらに機能させ、
   前記可視化する手段は、前記対象者の身体表面をセンシングした結果、または当該結果に基づいて生成され前記対象者の身体表面を表現する２次元または３次元の画像に対して、前記複数の交差点と当該複数の交差点同士を接続する第３種線分とを重畳する、
   請求項６に記載のプログラム。
8. 前記コンピュータを、ユーザ指示に応じて、人間の身体の第１部位に関連付けられる複数の関節点の間で設定される補完点の数を制御するパラメータを決定する手段、
   前記補完点を設定する手段は、決定された前記パラメータに従って、前記第１部位に関連付けられる複数の関節点の間に１以上の補完点を設定する、
   請求項２に記載のプログラム。
9. 前記所定の角度は、９０度である、
   請求項２に記載のプログラム。
10. 前記複数の関節点のうち少なくとも１つについて、当該関節点を通り、かつ向きの異なる複数の第１種線分を設定し、
    前記特定する手段は、前記ベース画像において、前記複数の関節点の各々に設定された全ての前記第１種線分に対して前記交差点を特定する、
    請求項１に記載のプログラム。
11. 前記コンピュータを、人間の身体の少なくとも１つの部位に対して１以上の前記交差点を関連付ける手段、としてさらに機能させる、
    請求項１に記載のプログラム。
12. 前記対象者の身体表面をセンシングした結果は、撮影方向の異なる複数の点群データであり、
    前記ベース画像は、前記複数の点群データを３次元位置合わせした結果に基づいて生成される、
    請求項１に記載のプログラム。
13. コンピュータによって実行される方法であって、
    対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定するステップと、
    前記対象者の身体表面を表現する２次元のベース画像において、前記複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定するステップと、
    前記ベース画像において、前記第１種線分と前記対象者の身体表面とが交差する交差点を特定するステップと
    を具備する方法。
14. 対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段と、
    前記対象者の身体表面を表現する２次元のベース画像において、前記複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段と、
    前記ベース画像において、前記第１種線分と前記対象者の身体表面とが交差する交差点を特定する手段と
    を具備する情報処理装置。
15. 第１コンピュータおよび第２コンピュータを具備するシステムであって、
    前記第１コンピュータは、
    前記第２コンピュータから対象者の身体表面をセンシングした結果を取得する手段、
    前記対象者の身体表面をセンシングした結果に基づき、当該対象者の身体の関節に対応する複数の関節点を推定する手段、
    前記対象者の身体表面を表現する２次元のベース画像において、前記複数の関節点のうち少なくとも１つについて、当該関節点を通る第１種線分を設定する手段、
    前記ベース画像において、前記第１種線分と前記対象者の身体表面とが交差する交差点を特定する手段、
    を備える、システム。