JP7044215B1 - 解析システム、解析システムの制御プログラム、制御プログラム、および解析システムの制御方法 - Google Patents

Abstract

【課題】サイズを低減したデータの送信および送信先での解析により、信頼性および付加価値の高い新たなデータを得ることが可能な解析システムを提供する。【解決手段】端末とサーバーを有する解析システムであって、端末は、元データを取得する取得部と、元データを、小データと確信度とに変換する変換部と、少なくとも小データをサーバーへ送信する送信部と、を有し、サーバーは、端末から少なくとも小データを受信する受信部と、受信された複数の小データを用いた解析を実行する解析部と、解析部による解析結果を出力する出力部と、を有する解析システム。【選択図】図４

Description

本発明は、解析システム、解析システムの制御プログラム、制御プログラム、および解析システムの制御方法に関する。

撮影装置等のエッジデバイスにより検出された画像を解析することで、対象者の姿勢や行動等を検知して、介護やマーケティング等に役立てる技術が知られている。

下記先行文献１には次の先行技術が記載されている。映像撮影装置において、撮影した画像データを構成する画像データフレームから物体領域を抽出し、物体領域内の第１の特徴量に基づいて物体種別を識別するとともに、物体領域内の第２の特徴量に基づいて物体種別確信度を算出する。データフレームを、物体種別および物体種別確信度をそれぞれ対応付けてサーバーに送信して記憶する。そして、ユーザーの要求に応じて、指定された物体種別に対応する物体の画像および物体種別確信度を、物体種別確信度が高い順に表示する。これにより、映像から特定の種別の物体を効率よく漏れなく検索できる。

特開２０１５－３２１３３号公報

しかし、上記先行技術は、サーバー側にデータフレーム（元の画像データ）が送信されて記憶されるため、通信量、プライバシー保護、およびデータ管理コストが問題となる。さらに、撮影装置等のエッジデバイスにより取得されたデータからの検知結果を、検知結果の確信度を利用して検索しやすくしているだけであり、付加価値の高い処理結果を得ることに対応できないという問題がある。

本発明は、このような問題を解決するためになされたものである。すなわち、サイズを低減した小データの送信および送信先での解析により、信頼性および付加価値の高い新たなデータを得ることが可能な解析システム、解析システムの制御プログラム、制御プログラム、および解析システムの制御方法を提供することを目的とする。

本発明者らは、元データをサーバー側に送信することなく、サイズを低減した小データ（加工データ）をサーバー側に送信することで、通信量、プライバシー保護、データ管理コストの問題を解決しつつ、小データを用いることで新たに課題として発生する、情報解析の困難性を、さらに解決したシステムを提供することができた。

本発明の上記課題は、以下の手段によって解決される。

（１）端末とサーバーとを有する解析システムであって、前記端末は、元データを取得する取得部と、前記元データを、前記元データよりサイズの小さい小データと、前記小データの確信度とに変換する変換部と、少なくとも前記小データを前記サーバーへ送信する送信部と、を有し、前記サーバーは、前記端末から少なくとも前記小データを受信する受信部と、受信された複数の前記小データを用いた解析を実行する解析部と、前記解析部による解析結果を出力する出力部と、を有する解析システム。

（２）前記小データの前記確信度が第１閾値以上の前記小データを前記サーバーへ送信し、前記第１閾値未満の前記小データを前記サーバーへ送信しないように前記送信部を制御する制御部をさらに有する、上記（１）に記載の解析システム。

（３）前記送信部は、前記小データと、前記小データの前記確信度との組み合わせを送信し、前記受信部は、前記小データと、前記小データの前記確信度との前記組み合わせを受信し、前記解析部は、複数の前記小データと、複数の前記小データのそれぞれの前記確信度とを用いた解析を実行する、上記（１）に記載の解析システム。

（４）前記解析部は、前記小データの前記確信度が第２閾値以上の、複数の前記小データを用いた解析を実行する、上記（３）に記載の解析システム。

（５）前記解析部は、前記小データの前記確信度を用いて、前記小データをそれぞれ重み付けし、重み付けされた、複数の前記小データを用いた解析を実行する、上記（３）または（４）に記載の解析システム。

（６）前記解析部は、機械学習された学習済みモデルを用いた、複数の前記小データと、複数の前記小データのそれぞれの前記確信度とに基づく解析を実行する、上記（３）に記載の解析システム。

（７）前記変換部は、機械学習された学習済みモデルを用いて、前記元データを、前記小データと、前記小データの前記確信度とに変換し、前記元データに対応する前記小データの正解を受け付ける受付部をさらに有し、前記制御部は、前記元データと、前記元データに対応する前記小データの前記正解との組合せを教師データとして前記学習済みモデルを再学習する、上記（２）に記載の解析システム。

（８）前記元データに対応する前記小データの正解を受け付ける受付部をさらに有し、前記制御部は、前記小データおよび前記確信度、ならびに前記正解に基づいて、前記第１閾値を変動させる、上記（２）に記載の解析システム。

（９）前記元データに対応する前記小データの正解を受け付ける受付部をさらに有し、前記解析部は、前記小データおよび前記確信度、ならびに前記正解に基づいて、前記解析部による前記確信度を用いた解析方法を変える、上記（３）または（４）に記載の解析システム。

（１０）前記元データに対応する、前記解析部による前記解析結果の正解を受け付ける受付部をさらに有し、前記解析部は、前記変換部により複数の前記元データから変換された、複数の前記小データおよび複数の前記小データのそれぞれの前記確信度、ならびに、複数の前記元データに対応する前記解析結果の前記正解の組合せを教師データとして学習した、前記解析部の学習済みモデルを生成する、上記（６）に記載の解析システム。

（１１）端末とサーバーとを有する解析システムで実行される制御プログラムであって、前記端末において、元データを取得する手順（ａ）と、前記元データを、前記元データよりサイズの小さい小データと、前記小データの確信度とに変換する手順（ｂ）と、少なくとも前記小データを前記サーバーへ送信する手順（ｃ）と、前記サーバーにより受信された複数の前記小データを用いた解析を実行する手順（ｄ）と、前記手順（ｄ）における解析結果を出力する手順（ｅ）と、を有する処理をコンピューターに実行させるための解析システム用制御プログラム。

（１２）受信部を有する解析装置で実行される制御プログラムであって、取得された元データが変換されることで得られた、前記元データよりサイズの小さい小データと、前記小データの確信度との組合せを前記受信部により受信する手順（ｆ）と、複数の前記小データと、前記小データごとの前記確信度とを用いた解析を実行する手順（ｇ）と、前記手順（ｇ）における解析結果を出力する手順（ｈ）と、を有する処理をコンピューターに実行させるための制御プログラム。

（１３）端末とサーバーとを有する解析システムの制御方法であって、前記端末において、元データを取得する段階（ａ）と、前記元データを、前記元データよりサイズの小さい小データと、前記小データの確信度とに変換する段階（ｂ）と、少なくとも前記小データを前記サーバーへ送信する段階（ｃ）と、前記サーバーにより受信された複数の前記小データを用いた解析を実行する段階（ｄ）と、前記段階（ｄ）における解析結果を出力する段階（ｅ）と、を有する解析システムの制御方法。

元データを、元データよりサイズの小さい小データと小データの確信度とに変換して、少なくとも小データをサーバーへ送信し、サーバーで複数の小データを用いて解析して、解析結果を出力する。これにより、サイズを低減した小データの送信および送信先での解析により、信頼性および付加価値の高い新たなデータを得ることができる。

解析システムの概略構成を示す図である。 端末のハードウェア構成を示すブロック図である。 サーバーのハードウェア構成を示すブロック図である。 端末およびサーバーの機能を示す機能ブロック図である。 撮影画像上で人物領域および周辺物体領域を示す図である。 撮影画像上で関節点を示す図である。 端末からサーバーへ小データが選択的に送信される例を示す説明図である。 サーバーによる解析結果の利用例を示す説明図である。 サーバーによる解析結果の利用例を示す説明図である。 サーバーによる解析結果の利用例を示す説明図である。 解析システムの動作を示すフローチャートである。 端末およびサーバーの機能を示す機能ブロック図である。 解析システムの動作を示すフローチャートである。 端末およびサーバーの機能を示す機能ブロック図である。 端末およびサーバーの機能を示す機能ブロック図である。 端末およびサーバーの機能を示す機能ブロック図である。

以下、図面を参照して、本発明の実施形態に係る解析システム、解析システムの制御プログラム、解析装置の制御プログラム、および解析システムの制御方法について説明する。なお、図面において、同一の要素には同一の符号を付し、重複する説明を省略する。また、図面の寸法比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

（第１実施形態）
図１は、解析システム１０の概略構成を示す図である。図１に示す解析システム１０の例においては、端末１００、撮影装置２００、通信ネットワーク３００、およびサーバー４００を備える。撮影装置２００はエッジデバイスの一例である。エッジデバイスには、撮影装置２００の他、画像センサー、マイクやスキャナーが含まれる。マイクにはスマートスピーカーのような、マイクを内蔵した、対話型の音声操作に対応したスピーカー等が含まれる。エッジデバイスにより取得されるデータには、画像データ、音データ（音が周波数解析されたデータを含む）、触覚データ、嗅覚データ、文書（テキストデータ等）、および話し言葉（話し言葉の音声から認識された言葉等を含む）が含まれる。エッジデバイスにより取得されるデータは元データを構成する。撮影装置２００により撮影された画像（以下、単に「撮影画像２５０」とも称する）（図５、図６参照）は、元データの一例である。以下、説明を簡単にするために、元データは撮影画像２５０であるものとして説明する。

（端末１００）
端末１００は、通信ネットワーク３００により撮影装置２００と相互に通信可能に接続される。端末１００は、撮影装置２００に内蔵されてもよい。端末１００は、さらに、インターネット６００を介して、サーバー４００と相互に通信可能に接続される。

図２は、端末１００のハードウェア構成を示すブロック図である。端末１００は、制御部１１０、記憶部１２０、表示部１３０、入力部１４０、および通信部１５０を備える。これらの構成要素は、バスを介して相互に接続される。

制御部１１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）により構成され、プログラムに従って、端末１００の各部の制御および演算処理を行う。

記憶部１２０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、およびＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）により構成され得る。ＲＡＭは、制御部１１０の作業領域として一時的にプログラムやデータを記憶する。ＲＯＭは、あらかじめ各種プログラムや各種データを格納する。ＳＳＤは、オペレーションシステムを含む各種プログラムおよび各種データを格納する。

表示部１３０は、例えば液晶ディスプレイであり、各種情報を表示する。

入力部１４０は、例えばタッチパネルや各種キーにより構成される。入力部１４０は、各種操作、入力のために使用される。

通信部１５０は、外部機器と通信するためのインターフェースである。通信には、イーサネット（登録商標）、ＳＡＴＡ、ＰＣＩ Ｅｘｐｒｅｓｓ、ＵＳＢ、ＩＥＥＥ１３９４などの規格によるネットワークインターフェースが用いられ得る。その他、通信には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１、４Ｇなどの無線通信インターフェースが用いられ得る。

（撮影装置２００）
撮影装置２００は、例えば、対象者５００の居室の天井もしくは壁の上部に配置され、または店舗や工場等の天井もしくは壁の上部に配置される。撮影装置２００は、所定の撮影範囲を、対象者５００を俯瞰可能な位置から撮影し、撮影画像２５０を出力する。撮影画像２５０には対象者５００を含む画像が含まれる。撮影装置２００には、広角カメラが含まれる。撮影装置２００は、三次元の撮影画像２５０の撮影が可能なステレオカメラであってもよい。撮影装置２００は、例えば１５ｆｐｓ～３０ｆｐｓのフレームレートの動画の撮影画像２５０として撮影領域を撮影し得る。撮影画像２５０は動画と静止画とを含む。撮影画像２５０は、例えば、白黒画像で、１２８ピクセル×１２８ピクセルの画像であり得る。撮影画像２５０は、カラー画像であってもよい。撮影装置２００は、撮影画像２５０を端末１００へ送信する。

（通信ネットワーク３００）
通信ネットワーク３００には、イーサネット（登録商標）などの有線通信規格によるネットワークインターフェースを使用し得る。通信ネットワーク３００には、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１などの無線通信規格によるネットワークインターフェースを使用してもよい。

（サーバー４００）
図３は、サーバー４００のハードウェア構成を示すブロック図である。サーバー４００は、制御部４１０、記憶部４２０、および通信部４３０を備える。これらの構成要素は、バスを介して相互に接続される。サーバー４００は解析装置を構成する。通信部４３０は受信部を構成する。サーバー４００の構成要素である、制御部４１０、記憶部４２０、および通信部４３０は、端末１００の対応する構成要素と同様であるため、説明を省略する。制御部４１０は解析部を構成する。制御部４１０は、通信部４３０とともに出力部を構成する。

サーバー４００は、例えば、インターネット６００上に配置された複数のサーバーによって仮想的に構成されるクラウドサーバーである。サーバー４００は、１台のコンピューターにより構成されてもよい。

図４は、端末１００の一部である制御部１１０およびサーバー４００の機能を示す機能ブロック図である。図５は、撮影画像２５０上で人物領域２５２および周辺物体領域２５３を示す図である。図６は、撮影画像２５０上で関節点２５１を示す図である。

図４に示すように、端末１００は、制御部１１０の機能として、変換部１１１および送信部１１２を備える。制御部１１０は、エッジデバイスから元データを取得する取得部としても機能する。

変換部１１１は、元データである撮影画像２５０を、元データよりサイズ（データ量）が小さい小データ（加工データともいう）と、当該小データの確信度（以下、単に「確信度」と称する）とに変換する。変換部１１１は、元データである撮影画像２５０と、当該撮影画像２５０に対応する、小データの正解の組合せを教師データとして学習された、ニューラルネットワーク（以下、「ＮＮ」と称する）の学習済みモデルを用いて、元データである撮影画像２５０を、小データと確信度とに変換する。小データ（加工データ）には、画像で物体が特定できないようなデータ、具体的には関節点２５１の各座標（以下、単に「関節点２５１」とも称する）や、各カテゴリーの物体が存在する領域の位置（以下、「物体領域」と称する）が含まれる。以下、説明を簡単にするために、小データは、人の関節点２５１、および人以外の物体領域（以下、単に「周辺物体領域２５３」とも称する）の少なくともいずれかであるものとして説明する。

変換部１１１は、以下のように、元データである撮影画像２５０を、小データと、小データの確信度とに変換する。

変換部１１１は、撮影装置２００から受信することで取得した撮影画像２５０（より詳細には、撮影画像２５０の各フレーム）から物体（オブジェクト）が存在する物体領域を検出し、検出した物体領域に含まれる物体のカテゴリー（クラス）を推定する。物体のカテゴリーには、例えば、人、車椅子、ベッド、および歩行器が含まれる。物体のカテゴリーは、各物体領域について、人物を含む所定のカテゴリーごとの尤度を算出し、尤度が最も高いカテゴリーを特定することで推定され得る。物体領域の検出およびカテゴリーごとの尤度の算出は、Ｆａｓｔｅｒ Ｒ－ＣＮＮ等のＮＮを用いた公知の機械学習技術を用いて行い得る。物体のカテゴリーは、周辺物体領域２５３の小データにタグとして付加され、サーバー４００における解析に利用される。

図５の例においては、撮影画像２５０上で、車椅子、ベッド、および歩行器が周辺物体領域２５３として検出されている。また、入居者である対象者５００が、物体のカテゴリーが「人」である物体領域（以下、「人物領域２５２」と称する）として検出されている。図５においては、車椅子である周辺物体領域２５３と人物領域２５２（または、後述する、人物領域２５２から検出される関節点２５１）との関係から、対象者５００が車椅子に乗り込もうとしている行動が想定される。

変換部１１１は、人物領域２５２については、さらに関節点２５１を検出する。関節点２５１は、人物領域２５２に基づいて、個別の関節点２５１ごとにヒートマップを生成し、尤度が最も高い座標として、個々の関節点２５１ごとに推定され得る。ヒートマップは、例えば、アワーグラスネットワーク（Ｈｏｕｒｇｌａｓｓ Ｎｅｔｗｏｒｋ）用いた公知の機械学習技術により生成され得る。撮影画像２５０が三次元の撮影画像２５０である場合は、変換部１１１は、高さ情報や奥行情報を含む関節点２５１を検出する。変換部１１１は、関節点２５１に基づいて、さらに、ＮＮを用いた公知の機械学習技術を用いて、対象者５００の姿勢を検出してもよい。検出された姿勢は、関節点２５１の小データにタグとして付加され、サーバー４００における解析に利用され得る。

図６の例においては、２人の関節点２５１がそれぞれ検出されている。図５においては、対象者５００である入居者の関節点２５１が黒色で示されている。また、他の対象者５００であるケアスタッフの関節点２５１が灰色で示されている。２人の関節点２５１の関係から、一方の対象者５００が他方の対象者５００からケアを受けている行動が想定される。

変換部１１１は、小データの確信度を算出する。関節点２５１については、確信度は、各関節点２５１のヒートマップにおける尤度の最大値の平均値、または各関節点２５１の重要度（例えば、頭部の関節点２５１は重要度を最も高く設定され得る）を考慮した重み付け平均値であり得る。この場合、確信度は、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１全体（関節点２５１の組合せ）の総合的な確信度であり得る。確信度は、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１の個々の確信度であってもよい。周辺物体領域２５３については、確信度は、カテゴリーごとの尤度であり得る。

送信部１１２は、小データおよび確信度の、サーバー４００への通信部１５０による送信を制御する。具体的には、送信部１１２は、元データをサーバー側に送信することなく、確信度が第１閾値以上の小データをサーバー４００へ送信し、第１閾値未満の小データをサーバー４００へ送信しない制御を行う。これにより元データをサーバー側へ送信することなく、確信度が一定以上の小データを送付することができ、通信量、プライバシー保護、データ管理コストの問題を解決することができ、さらに精度の高い小データをサーバー側に送信できる。

図４において、小データ（１）と確信度（１）の組合せ、小データ（２）と確信度（２）の組合せ、小データ（３）と確信度（３）の組合せ、はそれぞれ時間的に隣接する、撮影画像２５０のフレームからそれぞれ変換された小データおよび確信度である。図４の例においては、小データ（２）の確信度（２）が第１閾値未満であるため、小データ（１）と確信度（１）の組合せ、および小データ（３）と確信度（３）の組合せ、をサーバー４００へ送信し、小データ（２）と確信度（２）の組合せはサーバー４００に送信しない制御がされている。

なお、送信部１１２は、対象者５００の所定の行動（イベント）を検出し、所定の行動が検出された、撮影画像２５０の小データのみを選択的にサーバー４００へ送信するようにしてもよい。所定の行動は、撮影画像２５０の複数のフレームからそれぞれ検出された複数の関節点２５１に基づいて、公知の方法で検出され得る。所定の行動は、例えば、複数の関節点２５１と行動の正解との組合せ教師データとして学習されたＮＮの学習済みモデルを用いて、複数の関節点２５１に基づいて検出されてもよい。この場合、所定の行動が検出された、撮影画像２５０である小データのうち、確信度が第１閾値以上の小データのみがサーバー４００へ送信され得る。

図７は、端末１００からサーバー４００へ小データが選択的に送信される例を示す説明図である。図７においては、所定の行動として、寝返り、起床、および車椅子に乗り込む、が例示されている。所定の行動には、転倒および転落が含まれ得る。

サーバー４００においては、受信した、小データ（１）および小データ（３）という複数（２つ）の小データを用いて、関数ｆによる解析を実行し、解析結果を、サーバー４００にアクセス可能な端末へ送信すること等により出力する。サーバー４００は、例えば、小データ（１）の関節点２５１と、小データ（３）の関節点２５１に基づいて、入居者である対象者５００の活動量を解析し得る。サーバー４００は、複数の小データと解析結果の正解との組合せを教師データとして学習されたＮＮの学習済みモデルを用いて、複数の小データに基づいて解析結果を出力し得る。サーバー４００は、重回帰分析により、複数の小データに基づいて解析結果を出力してもよい。関数ｆは、複数の小データ（１）～小データ（３）を用いた、対象者５００の活動量、睡眠時間、夜間の離床（回数、時間）、起床時間、歩行速度、異常行動、および行動パターンを解析する関数であり得る。関数ｆは、対象者５００の姿勢を解析する関数であってもよい。

小データは、上述したように、例えば関節点２５１であるが、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１の組合せであってもよく、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１のうちの個々の関節点２５１であってもよい。また、小データは、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１の組合せと周辺物体領域２５３との結合であってもよい。

なお、例えば、元データが化学物質規制に関する文書のデータで、当該文書のデータから変換された小データ（ｎ）が規制内容のデータである場合、関数ｆによる演算により、将来的に記載され得る化学物質が解析されてもよい。

サーバー４００による解析結果には、例えば、上述した活動量の他、睡眠時間、夜間の離床（回数、時間）、起床時間、歩行速度、異常行動、および行動パターンが含まれる。

図８～図１０は、サーバー４００による解析結果の利用例を示す説明図である。

図８の例においては、解析結果である、夜間の離床、夜間の活動量、および睡眠時間を利用して、対象者５００の昼間の運動量を増す等の、昼間のケアプランの変更がなされている。これにより、夜間スタッフの負担軽減を実現できる。

図９の例においては、解析結果である、起床時間および歩行速度が、ケア記録のデータに含まれる体調不良記録とともに利用された結果、対象者５００の体調悪化が検知され、体調悪化に応じてケアの変更がなされている。これにより、入院リスクの低減、および介護施設の稼働率向上が実現できる。なお、ケア記録は、ケアスタッフの携帯端末等からサーバー４００へ送信され、記憶部４２０に記憶され得る。

図１０の例においては、解析結果である、睡眠時間および行動パターンが、ケア記録のデータに含まれる異常行動記録とともに利用された結果、対象者５００の認知機能低下を早期発見している。これにより、入居者およびスタッフのＱＯＬ向上が実現できる。

図１１は、解析システム１０の動作を示すフローチャートである。本フローチャートは、端末１００の制御部１１０およびサーバー４００の制御部４１０でそれぞれ実行されるプログラムにより、端末１００およびサーバー４００に協働した動作をさせることで実行され得る。

制御部１１０は、元データである撮影画像２５０を、撮影装置２００から受信することで取得する（Ｓ１０１）。

制御部１１０は、元データである撮影画像２５０を、関節点２５１等の小データと、当該小データの確信度とに変換する（Ｓ１０２）。

制御部１１０は、元データをサーバー側に送信することなく、確信度が第１閾値以上の小データである関節点２５１等をサーバー４００へ送信する（Ｓ１０３）。

制御部４１０は、サーバー４００において受信された、複数の、小データである関節点２５１等を用いた解析を実行する（Ｓ１０４）。なお、制御部４１０は、受信した小データを記憶部４２０に蓄積し、所定期間の小データを用いた解析を実行し得る。所定期間は、解析内容によるが、例えば、１日、１週間、１月、６月、または１年であり得る。

制御部４１０は、解析結果を出力する（Ｓ１０５）。

（第２実施形態）
第２実施形態について説明する。本実施形態が第１実施形態と異なる点は次の点である。第１実施形態は、確信度に基づいて端末１００からサーバー４００への小データの送信を制御し、サーバー４００において、受信された小データを用いた解析を実行する。一方、本実施形態は、確信度によらず、小データと確信度の組合せを端末１００からサーバー４００へ送信し、サーバー４００において、小データと確信度とを用いた解析を実行する。その他の点については、本実施形態は第１実施形態と同様であるため、重複する説明は省略または簡略化する。

図１２は、端末１００の一部である制御部１１０およびサーバー４００の機能を示す機能ブロック図である。

端末１００は、制御部１１０の機能として、変換部１１１および送信部１１２を備える。

変換部１１１は、元データである撮影画像２５０を、小データと確信度とに変換する。

送信部１１２は、小データを確信度と組み合わせてサーバー４００へ送信する。

図１２において、小データ（１）と確信度（１）の組合せ、小データ（２）と確信度（２）の組合せ、小データ（３）と確信度（３）の組合せ、はそれぞれ時間的に隣接する、撮影画像２５０のフレームからそれぞれ変換された小データおよび確信度の組合せである。図１２の例においては、元データをサーバー側に送信しないことは第１実施形態と変わりないが、確信度にかかわらず、撮影画像２５０から変換された、小データ（１）と確信度（１）の組合せ、小データ（２）と確信度（２）の組合せ、および小データ（３）と確信度（３）の組合せが、サーバー４００へ送信される。すなわち、撮影画像２５０から変換された、小データおよび確信度の組合せのすべてがサーバー４００へ送信される。これにより元データをサーバー側へ送信することなく、確信度と共に小データを送付することができ、通信量、プライバシー保護、データ管理コストの問題を解決することができ、さらにサーバー側で精度の高いデータを処理できる。

サーバー４００は、受信した、小データと確信度とを用いた解析を実行し、解析結果を出力する。具体的には、サーバー４００は、例えば、関数ｇにより、小データ（ｎ）を、確信度（ｎ）に基づいて小データ（ｎ）’（ｎは、例えば１～３）に変換し、関数ｆにより、複数の変換後の小データ（１）’～小データ（３）’を用いた解析を実行する。関数ｇは、例えば、小データの確信度に基づく取捨選択の演算であり得る。すなわち、関数ｇは、確信度が第２閾値未満の小データを、後段の関数ｆの演算モジュールに出力しない関数であり得る。関数ｇは、確信度に応じた小データへの重み付けの関数であってもよい。関数ｆは、複数の変換後の小データ（１）’～小データ（３）’を用いた、対象者５００の活動量、睡眠時間、夜間の離床（回数、時間）、起床時間、歩行速度、異常行動、および行動パターンを解析する関数であり得る。関数ｆは、対象者５００の姿勢を解析する関数であってもよい。

サーバー４００は、複数の小データおよび確信度と、所定の解析結果の正解との組合せを教師データとして学習されたＮＮの学習済みモデルを用いて、複数の小データおよび確信度に基づいて解析結果を出力してもよい。サーバー４００は、重回帰分析により、複数の小データおよび確信度に基づいて解析結果を出力してもよい。

小データは、上述したように、例えば関節点２５１であるが、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１の組合せであってもよく、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１のうちの個々の関節点２５１であってもよい。また、小データは、１つの撮影画像２５０（フレーム）から検出された複数の関節点２５１の組合せと周辺物体領域２５３との結合であってもよい。

なお、例えば、元データが化学物質規制に関する文書のデータで、当該文書のデータから変換された小データ（ｎ）が規制内容のデータである場合、関数ｇおよび関数ｆによる演算により、将来的に記載され得る化学物質が解析されてもよい。

図１３は、解析システム１０の動作を示すフローチャートである。本フローチャートは、端末１００の制御部１１０およびサーバー４００の制御部４１０でそれぞれ実行されるプログラムにより、端末１００およびサーバー４００に協働した動作をさせることで実行され得る。

制御部１１０は、元データである撮影画像２５０を、撮影装置２００から受信することで取得する（Ｓ２０１）。

制御部１１０は、元データである撮影画像２５０を、関節点２５１等の小データと、当該小データの確信度とに変換する（Ｓ２０２）。

制御部１１０は、元データをサーバー側に送信することなく、小データである関節点２５１等を確信度と組み合わせてサーバー４００へ送信する（Ｓ２０３）。

制御部４１０は、サーバー４００において受信された、複数の、小データである関節点２５１等および確信度を用いた解析を実行する（Ｓ２０４）。なお、制御部４１０は、受信した小データおよび確信度を記憶部４２０に蓄積し、所定期間の小データおよび確信度を用いた解析を実行し得る。所定期間は、解析内容によるが、例えば、１日、１週間、１月、６月、または１年であり得る。

制御部４１０は、解析結果を出力する（Ｓ２０５）。

（第３実施形態）
第３実施形態について説明する。本実施形態が第１実施形態と異なる点は次の点である。第１実施形態は、変換部１１１の学習済みモデルを再学習させていない。一方、本実施形態は、元データと、元データに対応する小データの正解の組合せを教師データとして変換部１１１の学習済みモデルを再学習する。変換部１１１の学習済みモデルを再学習することで、小データに対する確信度がより正確になるため、解析結果の精度が向上する。その他の点については、本実施形態は第１実施形態と同様であるため、重複する説明は省略または簡略化する。

図１４は、端末１００の一部である制御部１１０、受付部１６０およびサーバー４００の機能を示す機能ブロック図である。

端末１００は、制御部１１０の機能として、変換部１１１、送信部１１２を備える。

変換部１１１は、元データである撮影画像２５０を、ＮＮの学習済みモデルを用いて、小データと確信度とに変換する。

受付部１６０は、元データである撮影画像２５０に対応する、小データである関節点２５１等の正解を受け付けて、受信した正解を制御部１１０へ送る。なお受付部１６０は、端末１００とは独立して存在してもよく、端末１００内もしくはサーバー４００内に存在してもよい。受付部１６０は、例えば端末１００と通信可能に接続されたコンピューター端末により構成され得る。

変換部１１１は、元データである撮影画像２５０と当該撮影画像２５０に対応する小データである関節点２５１等の正解の組合せを教師データとして学習済みモデルを再学習する。なお、変換部１１１は、再学習前の学習済みモデルにより撮影画像２５０が変換されることで得られた、小データである関節点２５１等と、受付部１６０により受け付けられた関節点２５１等の正解とを比較し、比較結果と確信度との関係に応じて、第１閾値を変動させ得る。例えば、確信度が比較的低くても、小データである関節点２５１等と、受付部１６０により受け付けられた関節点２５１等の正解との差が比較的小さい（例えば、所定の閾値以下である）場合は、第１閾値を下げ得る。

（第４実施形態）
第４実施形態について説明する。本実施形態が第２実施形態と異なる点は次の点である。第２実施形態は、サーバー４００において、小データの正解のインプットがない。一方、本実施形態は、受付部１６０において、小データの正解を受信し、さらに小データの正解をサーバー４００側に送信させることで、小データの正解に基づいて、サーバー４００における、確信度を用いた解析方法（関数ｇ）を変えることができる。本発明により、サーバー４００側に正解データを付与することにより、解析結果の精度をさらに向上させることができる。その他の点については、本実施形態は第２実施形態と同様であるため、重複する説明は省略または簡略化する。

図１５は、端末１００の一部である制御部１１０、受付部１６０およびサーバー４００の機能を示す機能ブロック図である。

端末１００は、制御部１１０の機能として、変換部１１１、送信部１１２を備える。

変換部１１１は、元データである撮影画像２５０を、ＮＮの学習済みモデルを用いて、小データと確信度とに変換する。

受付部１６０は、元データである撮影画像２５０に対応する、小データである関節点２５１等の正解を受け付けて、受信した正解をサーバー４００へ送信する。なお受付部１６０は、端末１００とは独立して存在してもよく、端末１００内もしくはサーバー４００内に存在してもよい。受付部１６０は、例えば端末１００およびサーバー４００と通信可能に接続されたコンピューター端末により構成され得る。また、受付部１６０は、サーバー４００の制御部４１０の機能であってもよい。

受付部１６０において、元データである撮影画像２５０に対応する小データである関節点２５１等の正解を受信する。サーバー４００は、当該関節点２５１等の正解を受付部１６０から受信し、受信した、当該正解に基づいてサーバー４００における、確信度を用いた解析方法（関数ｇ）を変えることができる。サーバー４００は、変換部１１１の学習済みモデルにより撮影画像２５０が変換されることで得られた、小データである関節点２５１等と、受付部１１３により受け付けられた当該関節点２５１等の正解とを比較し、比較結果と確信度との関係に応じて、確信度を用いた解析方法（関数ｇ）を変え得る。解析方法（関数ｇ）の変更は、結果に応じて実行でき、例えば、方式自体を変更しても良いし、単に閾値を調整することでもよい。サーバー４００は、解析内容（関数ｆ）を考慮して、確信度を用いた解析方法（関数ｇ）を変えてもよい。例えば、確信度が比較的低くても、小データである関節点２５１等と、受付部１６０により受け付けられた関節点２５１等の正解との差が比較的小さい（例えば、所定の閾値以下である）場合は、関数ｇによる小データである関節点２５１等の取捨選択のための第２閾値を下げ得る。

（第５実施形態）
第５実施形態について説明する。本実施形態が第２実施形態と異なる点は次の点である。第２実施形態では、一例として、サーバー４００において、事前に準備した、複数の小データおよび確信度と、所定の解析結果の正解との組合せを教師データとして学習されたＮＮの学習済みモデルを用いて、変換部１１１から取得した複数の小データおよび確信度に基づいて解析結果を出力する。一方、本実施形態は第２実施形態とはサーバー４００における学習モデルを生成するための教師データが異なり、本実施形態では、サーバー４００における学習済みモデルを生成するために用いる教師データである、複数の小データおよび確信度として、変換部１１１から出力された、複数の小データおよび確信度と、受付部１６０からサーバー４００に送信される解析結果の正解を用いる。その他の点については、本実施形態は第２実施形態と同様であるため、重複する説明は省略または簡略化する。

図１６は、端末１００の一部である制御部１１０、受付部１６０およびサーバー４００の機能を示す機能ブロック図である。

端末１００は、制御部１１０の機能として、変換部１１１、送信部１１２を備える。

変換部１１１は、元データである撮影画像２５０を、ＮＮの学習済みモデルを用いて、小データと確信度とに変換する。

受付部１６０は、元データである撮影画像２５０に対応する、サーバー４００による解析結果の正解を受け付け、サーバー４００へ送信する。解析結果の正解は、例えば、対象者５００の活動量である。解析結果の正解である活動量は、対象者５００に装着した加速度センサー等を用いて測定され得る。なお受付部１６０は、端末１００とは独立して存在してもよく、端末１００内もしくはサーバー４００内に存在してもよい。受付部１６０は、例えば端末１００およびサーバー４００と通信可能に接続されたコンピューター端末により構成され得る。また、受付部１６０は、サーバー４００の制御部４１０の機能であってもよい。

サーバー４００は、元データである複数の撮影画像２５０が、変換部１１１の学習済みモデルを用いて、変換部１１１によりそれぞれ変換することで得られた複数の小データである関節点２５１等と確信度、ならびに、当該複数の撮影画像２５０に対応する、解析結果の正解の組合せを教師データとして学習した、サーバー４００の学習済みモデルを生成する。生成された学習済みモデルは、サーバー４００による解析に用いられる。

本実施形態は、以下の効果を奏する。

元データを、元データよりサイズの小さい小データと小データの確信度とに変換して、少なくとも小データをサーバーへ送信し、サーバーで複数の小データを用いて解析して、解析結果を出力する。これにより、サイズを低減したデータの送信および送信先での解析により、信頼性および付加価値の高い新たなデータを得ることができる。

さらに、確信度が第１閾値以上の小データをサーバーへ送信し、第１閾値未満の小データをサーバーへ送信しないように制御する。これにより、通信量およびサーバーで蓄積されるデータ量をさらに削減できる。

さらに、小データと、小データの確信度との組み合わせをサーバーへ送信し、サーバーで、小データと、当該小データの確信度とを用いた解析を実行する。これにより、信頼性および付加価値がより高い新たなデータを得ることができる。

さらに、サーバーにおいて、確信度が第２閾値以上の、複数の小データを用いた解析を実行する。これにより、サーバーによる解析結果の信頼性をさらに向上できる。

さらに、サーバーにおいて、確信度を用いて、小データをそれぞれ重み付けし、重み付けされた、複数の小データを用いた解析を実行する。これにより、サーバーによる解析結果の信頼性をさらに向上できる。

さらに、サーバーにおいて、学習済みモデルを用いて、小データと、小データの確信度とに基づく解析を実行する。これにより、サーバーによる解析結果の信頼性をさらに向上できる。

さらに、端末において、学習済みモデルを用いて、元データを、小データと確信度に変換し、元データに対応する小データの正解を受け付け、元データと、元データに対応する小データの正解との組合せを教師データとして学習済みモデルを再学習する。これにより、データ通信量等の削減と、サーバーによる解析結果の信頼性の向上とを適切に実現できる。

さらに、小データおよび確信度、ならびに当該正解に基づいて、前記第１閾値を変動させる。これにより、データ通信量等の削減と、サーバーによる解析結果の信頼性の向上とをより適切に実現できる。

さらに、元データに対応する小データの正解を受け付け、小データおよび確信度、ならびに上記正解に基づいて、サーバーにおける、確信度を用いた解析方法を変える。これにより、サーバーによる解析結果の信頼性の向上を適切に実現できる。

さらに、元データに対応する、サーバーによる解析結果の正解を受け付け、複数の元データから端末の学習済みモデルにより変換された、複数の小データ、および小データごとの確信度、ならびに、複数の元データにそれぞれ対応する解析結果の正解の組合せを教師データとして学習した、サーバーの学習済みモデルを生成する。これにより、端末の学習済みモデルによる推定傾向（不確実性）を、サーバーの学習済みモデルで吸収できるため、サーバーによる解析結果の信頼性を効果的に向上できる。

以上に説明した、解析システム１０の構成は、上述の実施形態の特徴を説明するにあたって主要構成を説明したのであって、上述の構成に限られず、特許請求の範囲内において、種々改変することができる。また、一般的な解析システムが備える構成を排除するものではない。

また、上述したフローチャートは、一部のステップを省略してもよく、他のステップが追加されてもよい。また各ステップの一部は同時に実行されてもよく、一つのステップが複数のステップに分割されて実行されてもよい。

また、上述した実施形態においてＮＮにより実現していた機能を、ＮＮ以外の機械学習手段や、近似関数を用いることにより実現してもよい。

また、上述した解析システム１０における各種処理を行う手段および方法は、専用のハードウェア回路、またはプログラムされたコンピューターのいずれによっても実現することが可能である。上記プログラムは、例えば、ＵＳＢメモリやＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ等のコンピューター読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。この場合、コンピューター読み取り可能な記録媒体に記録されたプログラムは、通常、ハードディスク等の記憶部に転送され記憶される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、一機能としてその検出部等の装置のソフトウエアに組み込まれてもよい。

本出願は、２０２０年７月３０日に出願された日本特許出願（特願２０２０－１２９１３７号）に基づいており、その開示内容は、参照され、全体として、組み入れられている。

１０ 解析システム、
１００ 端末、
１１０ 制御部、
１１１ 変換部、
１１２ 送信部、
１２０ 記憶部、
１３０ 通信部、
１４０ 入力部、
１５０ 通信部、
１６０ 受付部、
２００ 撮影装置、
２５０ 撮影画像、
２５１ 関節点、
２５２ 人物領域、
２５３ 周辺物体領域、
３００ 通信ネットワーク、
４００ サーバー、
５００ 対象者。

Claims (13)

1. 端末とサーバーとを有する解析システムであって、
   前記端末は、
   元データを取得する取得部と、
   前記元データを、前記元データよりサイズの小さい小データと、前記小データの確信度とに変換する変換部と、
   少なくとも前記小データを前記サーバーへ送信する送信部と、を有し、
   前記サーバーは、
   前記端末から少なくとも前記小データを受信する受信部と、
   受信された複数の前記小データを用いた解析を実行する解析部と、
   前記解析部による解析結果を出力する出力部と、
   を有する解析システム。
2. 前記小データの前記確信度が第１閾値以上の前記小データを前記サーバーへ送信し、前記第１閾値未満の前記小データを前記サーバーへ送信しないように前記送信部を制御する制御部をさらに有する、請求項１に記載の解析システム。
3. 前記送信部は、前記小データと、前記小データの前記確信度との組み合わせを送信し、
   前記受信部は、前記小データと、前記小データの前記確信度との前記組み合わせを受信し、
   前記解析部は、複数の前記小データと、複数の前記小データのそれぞれの前記確信度とを用いた解析を実行する、請求項１に記載の解析システム。
4. 前記解析部は、前記小データの前記確信度が第２閾値以上の、複数の前記小データを用いた解析を実行する、請求項３に記載の解析システム。
5. 前記解析部は、前記小データの前記確信度を用いて、前記小データをそれぞれ重み付けし、重み付けされた、複数の前記小データを用いた解析を実行する、請求項３または４に記載の解析システム。
6. 前記解析部は、機械学習された学習済みモデルを用いた、複数の前記小データと、複数の前記小データのそれぞれの前記確信度とに基づく解析を実行する、請求項３に記載の解析システム。
7. 前記変換部は、機械学習された学習済みモデルを用いて、前記元データを、前記小データと、前記小データの前記確信度とに変換し、
   前記元データに対応する前記小データの正解を受け付ける受付部をさらに有し、
   前記制御部は、前記元データと、前記元データに対応する前記小データの前記正解との組合せを教師データとして前記学習済みモデルを再学習する、請求項２に記載の解析システム。
8. 前記元データに対応する前記小データの正解を受け付ける受付部をさらに有し、
   前記制御部は、前記小データおよび前記確信度、ならびに前記正解に基づいて、前記第１閾値を変動させる、請求項２に記載の解析システム。
9. 前記元データに対応する前記小データの正解を受け付ける受付部をさらに有し、
   前記解析部は、前記小データおよび前記確信度、ならびに前記正解に基づいて、前記解析部による前記確信度を用いた解析方法を変える、請求項３または４に記載の解析システム。
10. 前記元データに対応する、前記解析部による前記解析結果の正解を受け付ける受付部をさらに有し、
    前記解析部は、前記変換部により複数の前記元データから変換された、複数の前記小データおよび複数の前記小データのそれぞれの前記確信度、ならびに、複数の前記元データに対応する前記解析結果の前記正解の組合せを教師データとして学習した、前記解析部の学習済みモデルを生成する、請求項６に記載の解析システム。
11. 端末とサーバーとを有する解析システムで実行される制御プログラムであって、
    前記端末において、元データを取得する手順（ａ）と、
    前記元データを、前記元データよりサイズの小さい小データと、前記小データの確信度とに変換する手順（ｂ）と、
    少なくとも前記小データを前記サーバーへ送信する手順（ｃ）と、
    前記サーバーにより受信された複数の前記小データを用いた解析を実行する手順（ｄ）と、
    前記手順（ｄ）における解析結果を出力する手順（ｅ）と、
    を有する処理をコンピューターに実行させるための解析システム用制御プログラム。
12. 受信部を有する解析装置で実行される制御プログラムであって、
    取得された元データが変換されることで得られた、前記元データよりサイズの小さい小データと、前記小データの確信度との組合せを前記受信部により受信する手順（ｆ）と、
    複数の前記小データと、前記小データごとの前記確信度とを用いた解析を実行する手順（ｇ）と、
    前記手順（ｇ）における解析結果を出力する手順（ｈ）と、
    を有する処理をコンピューターに実行させるための制御プログラム。
13. 端末とサーバーとを有する解析システムの制御方法であって、
    前記端末において、元データを取得する段階（ａ）と、
    前記元データを、前記元データよりサイズの小さい小データと、前記小データの確信度とに変換する段階（ｂ）と、
    少なくとも前記小データを前記サーバーへ送信する段階（ｃ）と、
    前記サーバーにより受信された複数の前記小データを用いた解析を実行する段階（ｄ）と、
    前記段階（ｄ）における解析結果を出力する段階（ｅ）と、
    を有する解析システムの制御方法。

Images