JP2026071663A - システム - Google Patents

Abstract

【課題】システムを提供する。
【解決手段】
情報処理装置でユーザの能力に応じた段階を登録する手段と、
画像撮影装置で撮影された物品の情報を取得する手段と、
取得した情報を基に機械学習モデルを用いて物品の識別を行う手段と、
識別された情報に基づいて指針を提供する手段と、
計算装置で数値の算出を行う手段と、
分析装置で行動の評価を行う手段と、
評価結果に基づいて学習の助言を提供する手段と、
を含むシステム。
【選択図】図１

Description

本開示の技術は、システムに関する。

特許文献１には、少なくとも一つのプロセッサにより遂行される、ペルソナチャットボット制御方法であって、ユーザ発話を受信するステップと、前記ユーザ発話を、チャットボットのキャラクターに関する説明と関連した指示文を含むプロンプトに追加するステップと前記プロンプトをエンコードするステップと、前記エンコードしたプロンプトを言語モデルに入力して、前記ユーザ発話に応答するチャットボット発話を生成するステップ、を含む、方法が開示されている。

特開２０２２－１８０２８２号公報

本発明は、初心者が実際の活動に対する不安なく参加できるようにすることを目的とする。この活動は多くの規則を理解する必要があるため、新しく学習する者にとっては高い障壁となる。また、現時点では、初心者が活動中に即座に自身の進歩を確認したり、次に取るべき行動を判断するのが難しい。また、点数の計算や戦略的判断が複雑であるため、そのような支援が不足していることが問題である。そこで、初心者でも安心して活動を楽しめ、かつその過程で学習を促進する技術を提供することを課題とする。

上記課題を解決するために、本発明は、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で撮影された物品の情報を取得する手段を備える。さらに、取得した情報を基に機械学習モデルを用いて物品の識別を行う手段を有し、識別された情報に基づいて指針を提供する手段を持つ。また、計算装置で数値の算出を行う手段や、分析装置で行動の評価を行う手段を含み、評価結果に基づいて学習の助言を提供する手段を備えている。このように構成されたシステムにより、初心者でも活動中にリアルタイムで支援を受けられ、安心して活動を楽しむことができる。

「情報処理装置」とは、電子データを入力、処理、出力する機能を持つ装置で、各種データの解析や記録を行うものである。

「ユーザの能力に応じた段階」とは、個々の利用者の知識や技能レベルを考慮して設定される基準で、サポートや指導の内容を調整するために用いられるものである。

「画像撮影装置」とは、視覚的データをキャプチャするために使用されるデバイスで、カメラなどの機能を含むものである。

「物品」とは、システムが対象とする物体や要素であり、特定の処理や分析の対象となるものを指す。

「機械学習モデル」とは、データからパターンを学習し、その知見に基づいて新たなデータを予測または認識するためのアルゴリズムを指す。

「指針」とは、利用者に対して提供される方針や改善策の情報で、行動や決定を支援する目的で提示されるものである。

「計算装置」とは、数値データの演算を行う機器で、例として加算、減算、その他複雑な計算を行う機能を備えるものである。

「数値の算出」とは、特定の基準やアルゴリズムに基づいて数値データを導き出すプロセスを指し、点数計算やデータ分析に用いられるものである。

「分析装置」とは、収集されたデータを評価し、意味のある情報を引き出すための機器で、パターン認識や結果の解釈を行うものである。

「行動の評価」とは、利用者の行為や選択に関するデータを分析し、その結果を基に有用なフィードバックを生成するプロセスである。

「学習の助言」とは、利用者が特定の活動やスキルを向上させるための提案やガイドラインを提供する知見である。

第１実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第１実施形態に係るデータ処理装置及びスマートデバイスの要部機能の一例を示す概念図である。 第２実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第２実施形態に係るデータ処理装置及びスマート眼鏡の要部機能の一例を示す概念図である。 第３実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第３実施形態に係るデータ処理装置及びヘッドセット型端末の要部機能の一例を示す概念図である。 第４実施形態に係るデータ処理システムの構成の一例を示す概念図である。 第４実施形態に係るデータ処理装置及びロボットの要部機能の一例を示す概念図である。 複数の感情がマッピングされる感情マップを示す。 複数の感情がマッピングされる感情マップを示す。 実施例１におけるデータ処理システムの処理の流れを示すシーケンス図である。 応用例１におけるデータ処理システムの処理の流れを示すシーケンス図である。 感情エンジンを組み合わせた場合の実施例２におけるデータ処理システムの処理の流れを示すシーケンス図である。 感情エンジンを組み合わせた場合の応用例２におけるデータ処理システムの処理の流れを示すシーケンス図である。

以下、添付図面に従って本開示の技術に係るシステムの実施形態の一例について説明する。

先ず、以下の説明で使用される文言について説明する。

以下の実施形態において、符号付きのプロセッサ（以下、単に「プロセッサ」と称する）は、１つの演算装置であってもよいし、複数の演算装置の組み合わせであってもよい。また、プロセッサは、１種類の演算装置であってもよいし、複数種類の演算装置の組み合わせであってもよい。演算装置の一例としては、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）、ＡＰＵ（Accelerated Processing Unit）等が挙げられる。

以下の実施形態において、符号付きのＲＡＭ（Random Access Memory）は、一時的に情報が格納されるメモリであり、プロセッサによってワークメモリとして用いられる。

以下の実施形態において、符号付きのストレージは、各種プログラム及び各種パラメータ等を記憶する１つ又は複数の不揮発性の記憶装置である。不揮発性の記憶装置の一例としては、フラッシュメモリ（ＳＳＤ（Solid State Drive））、磁気ディスク（例えば、ハードディスク）、又は磁気テープ等が挙げられる。

以下の実施形態において、符号付きの通信Ｉ／Ｆ（Interface）は、通信プロセッサ及びアンテナ等を含むインタフェースである。通信Ｉ／Ｆは、複数のコンピュータ間での通信を司る。通信Ｉ／Ｆに対して適用される通信規格の一例としては、５Ｇ（5th Generation Mobile Communication System）、Ｗｉ－Ｆｉ（登録商標）、又はＢｌｕｅｔｏｏｔｈ（登録商標）等を含む無線通信規格が挙げられる。

以下の実施形態において、「Ａ及び／又はＢ」は、「Ａ及びＢのうちの少なくとも１つ」と同義である。つまり、「Ａ及び／又はＢ」は、Ａだけであってもよいし、Ｂだけであってもよいし、Ａ及びＢの組み合わせであってもよい、という意味である。また、本明細書において、３つ以上の事柄を「及び／又は」で結び付けて表現する場合も、「Ａ及び／又はＢ」と同様の考え方が適用される。

［第１実施形態］

図１には、第１実施形態に係るデータ処理システム１０の構成の一例が示されている。

図１に示すように、データ処理システム１０は、データ処理装置１２及びスマートデバイス１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

スマートデバイス１４は、コンピュータ３６、受付装置３８、出力装置４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、受付装置３８、出力装置４０、及びカメラ４２も、バス５２に接続されている。

受付装置３８は、タッチパネル３８Ａ及びマイクロフォン３８Ｂ等を備えており、ユーザ入力を受け付ける。タッチパネル３８Ａは、指示体（例えば、ペン又は指等）の接触を検出することにより、指示体の接触によるユーザ入力を受け付ける。マイクロフォン３８Ｂは、ユーザの音声を検出することにより、音声によるユーザ入力を受け付ける。制御部４６Ａは、タッチパネル３８Ａ及びマイクロフォン３８Ｂによって受け付けたユーザ入力を示すデータをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が、ユーザ入力を示すデータを取得する。

出力装置４０は、ディスプレイ４０Ａ及びスピーカ４０Ｂ等を備えており、データをユーザ２０が知覚可能な表現形（例えば、音声及び／又はテキスト）で出力することでデータをユーザ２０に対して提示する。ディスプレイ４０Ａは、プロセッサ４６からの指示に従ってテキスト及び画像等の可視情報を表示する。スピーカ４０Ｂは、プロセッサ４６からの指示に従って音声を出力する。カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラである。

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。

図２には、データ処理装置１２及びスマートデバイス１４の要部機能の一例が示されている。

図２に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って特定処理部２９０として動作することによって実現される。

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

スマートデバイス１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。受付出力プログラム６０は、データ処理システム１０によって特定処理プログラム５６と併用される。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

本発明は、初心者が活動に参加しやすくし、学習を進めるためのシステムである。このシステムは、ユーザが自身の能力に応じた段階を登録し、各段階に適したサポートを受けることを可能にする。

サーバは、ユーザがアプリケーションを通じて登録する能力情報を受信し、ユーザごとのプロフィールをデータベースに保存する。このプロファイルに基づいて、適切な指導やサポートを提供することができる。ユーザが対局を開始すると、端末がカメラを用いて場面や物品を撮影する。この画像データは圧縮され、サーバに送信される。

サーバは、受信した画像データを機械学習モデルを使用して解析し、物品や状況を識別する。識別結果に基づき、ユーザに対する適切な指針を生成し、端末に情報を返送する。この情報は、例えば牌の役や次に行うべきアクションの提案として端末のインターフェース上に表示される。

さらに、サーバはユーザが上がりを行った場合に、再度の画像データを受け取り、計算装置を用いて数値の算出、すなわち得点の精密な計算を行う。この得点情報も端末に送信され、ユーザは結果を確認することができる。

活動が終了した後、サーバはユーザの行動データを詳細に分析し、分析装置による行動の評価を実施する。評価結果は、ユーザに学習の助言として提示され、今後の改善点や戦略的有効性について簡潔にまとめられる。

具体例として、ユーザがある局面で困難を感じている場合、サーバからの助言として特定の牌を捨てることや、役を狙う方向性についてのアドバイスが提供される。このようにして、ユーザは実際に活動する中でリアルタイムなサポートを受けながら成長できる仕組みである。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自分の能力レベルを選択する。端末がこの情報を受け取り、サーバに送信する。サーバは受信したユーザの能力情報をデータベースに保存し、ユーザのプロファイルを構築する。

ステップ２：

ユーザが活動を開始した際に、端末のカメラを使って場面や関連する物品を撮影する。端末が撮影した画像を圧縮し、サーバに送信する。サーバは画像データを受信し、機械学習モデルを用いて画像の物品を解析し、識別する。

ステップ３：

サーバが解析結果を基に、ユーザに対する指針やアドバイスを生成する。識別された情報とユーザの能力レベルに応じた指針はサーバから端末に送信される。端末はこの情報をユーザに視覚的に提示し、次に行うべき行動の選択を支援する。

ステップ４：

ユーザが活動中に得点が発生した場合、再度手牌や場の物品を撮影し、画像をサーバに送信する。サーバはこの情報を基に得点を計算し、計算結果を端末に送信する。端末は計算された得点をユーザに表示する。

ステップ５：

活動終了後、サーバがユーザの行動ログを分析する。サーバは行動の評価を行い、改善の素地を提供するための学習の助言を生成する。生成された助言や評価結果は端末に送信され、ユーザはこれを受けて次回の活動を改善するヒントとして活用する。

（実施例１）

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

従来の学習支援システムは、ユーザの個々の能力に応じたリアルタイムな指針提供が難しく、また対局や活動中における具体的なサポートが不足しているという課題があった。さらに、ユーザが自身のスキルを向上させるための具体的な助言を得るための仕組みが不十分であった。

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で場面を撮影し、撮影したデータを圧縮する手段と、圧縮された画像データを基に生成AIモデルを用いて物品および状況の識別を行う手段と、を含む。これにより、ユーザの能力に応じた個別化された指針をリアルタイムで提供し、ユーザのスキル向上に対する具体的な助言が可能となる。

「情報処理装置」とは、ユーザが登録する能力情報を受信し、段階に応じてデータの管理や処理を行う装置である。

「画像撮影装置」とは、場面や物品を撮影し、このデータを解析のために使用するための装置である。

「圧縮」とは、画像データの容量を削減し、効率的に送信および処理を行うためのデータ処理技術である。

「生成AIモデル」とは、受信したデータを解析し、物品や状況を識別するために使用される人工知能の一種である。

「識別」とは、解析したデータから物品や状況の特定と分類を行うプロセスである。

「指針」とは、ユーザが行動を決定する際の参考となる情報や助言を提供するものである。

「数値の精密な算出」とは、ユーザの行動結果に基づいて、詳細な数値データを計算することである。

「解析装置」とは、ユーザの行動データを分析し、その結果に基づいた評価を行うための装置である。

「ユーザインターフェース」とは、ユーザがシステムと対話する際の操作画面や入力手段を提供する仕組みである。

「戦術的な提案」とは、ユーザがより効果的に課題を解決するための戦略的なアドバイスを提供することである。

このシステムは、ユーザが個々の能力に応じた段階を登録し、適切なサポートを受けながらスキルを向上させることを目的としている。そして、ユーザの行動や状況に応じたリアルタイムでの指針提供を特徴とする。

サーバは、ユーザからの能力情報を受信し、情報処理装置を使用してデータベースに記録する。このデータベースシステムは、一般的なデータベース管理ソフトウェアであるSQLデータベースを使用することができる。

端末は、ユーザが活動を開始すると、その状況をカメラを用いて撮影する。この画像データは、JPEG形式などの圧縮技術を用いてデータ量を抑えた形でサーバに送信される。画像撮影には、端末の内蔵カメラもしくは外部接続カメラを活用することができる。

サーバは、受信した画像を生成AIモデルを用いて解析する。このAIモデルとしてはＴＥＮＳＯＲＦＬＯＷ（登録商標）やPyTorchといった一般的な機械学習フレームワークが想定される。このモデルを使用して、撮影された物品や状況の識別を行い、ユーザに対する指針を生成する。

生成された指針は、サーバから端末に送信され、端末はユーザに対してアクションを示すインターフェースを通じて指針を表示する。これにより、ユーザはリアルタイムでのサポートを受けることができ、ゲームの進行や学習を効率的に進めることができる。

さらに、ユーザが行動を完了した際には、端末は再度シーンを撮影し、その画像データをサーバに送信する。この段階で、サーバは計算装置を活用して得点を精密に計算し、該当するフィードバックをユーザに提供する。

活動終了後、サーバはユーザの行動データを詳細に分析し、その結果を基に学習のための助言を提供する。この分析には、専用の解析ツールやプログラムを用いることができる。

具体例として、ユーザが麻雀ゲームで困難に直面した場合、システムは特定の牌を捨てることや狙うべき役についてのアドバイスを提示する。このようにすることで、ユーザは実際のゲームプレイを通じてスキルを徐々に向上させることが可能である。

プロンプト文の例としては、「麻雀ゲームに参加している初心者ユーザで、現状の手札に基づいて次に捨てるべき牌と狙うべき役を提案してください。」が挙げられる。

実施例１における特定処理の流れについて図１１を用いて説明する。

ステップ１：

ユーザは、アプリケーションを通じて自身の能力情報を入力し、端末によってこの情報は情報処理装置に一時的に保存される。入力されたデータは、ユーザの経験や得意なスキルに関するものであり、端末はこの情報を確認しサーバに送信する。サーバは、入力として受け取った能力情報を使用してデータベースに新しいユーザプロファイルを登録する。出力は、ユーザごとの個別プロファイルとなる。

ステップ２：

ユーザが対局を開始すると、端末は内蔵カメラを起動し、リアルタイムで場面の画像を撮影する。この撮影された画像データは、端末でJPEG形式に圧縮される。入力としては、カメラを通じて取得された生の画像データがあり、データ加工として圧縮が行われる。出力は、圧縮された画像データであり、これをサーバに送信する。

ステップ３：

サーバは、端末から受信した圧縮画像データを入力として受け取り、生成AIモデルを使用してこの画像を解析する。解析を通じて、物品（例：牌や囲碁の石）や状況が識別される。機械学習モデルが画像の特徴を抽出し、識別結果を生成する。この出力は、識別された物品や状況の情報である。

ステップ４：

サーバは、識別結果をもとに適切な指針を生成する。プロンプトとしての入力は、「この状況下での最適なアクションは何か？」といった問いかけである。生成AIモデルは、識別結果を参照し戦術的な提案を形成する。出力は、具体的なアクションや戦略の提案であり、これを端末に送信する。

ステップ５：

端末は、サーバから受け取った指針情報をユーザインターフェース上に表示する。入力は、サーバからの指針データであり、動作として画面上への表示処理を行う。出力は、ユーザに対する視覚的な指導やアドバイスの形で提供される。ユーザはこれを参考にし対局を進行させる。

ステップ６：

ユーザが対局で上がりを行った際、端末は再度シーンを撮影し、そのデータをサーバに送信する。この入力データを元に、サーバは計算装置を利用して得点の精密な計算を行う。データ演算としては数値の加算や乗算が行われ、得点としての出力を生成する。

ステップ７：

対局が終了した後、サーバはユーザの行動データを詳細に分析する。入力は、対局中のすべての行動記録であり、分析装置がこれを処理して行動パターンと改善点を特定する。出力は、改善点や戦略の有効性について記載された学習の助言である。サーバはこれを端末に送り、ユーザに提示する。

（応用例１）

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

初心者の被雇用者が工場の作業環境において効率的かつ迅速に作業内容を習得するには、従来の指導方法では時間と労力がかかることが多い。また、リアルタイムで適切な作業指示を受けられないためにミスが発生し、生産効率に影響が出るという課題がある。

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの技能に応じた段階を登録する手段と、映像取得装置で取得された物体の情報を取得する手段と、視覚表示装置により作業指示をリアルタイムで提供する手段と、を含む。これにより、工場作業者が迅速かつ正確に作業手順を理解し、効率的に作業を行うことが可能となる。

「情報処理装置」とは、ユーザの技能に応じた段階を登録し、管理するための装置である。

「映像取得装置」とは、物体の情報を取得し、その情報を他のシステムコンポーネントに送信するための装置である。

「機械学習モデル」とは、取得された情報を解析し、物体を識別するために用いられるアルゴリズムおよびモデルである。

「指針を提供する手段」とは、識別された情報に基づいてユーザに適切な指示やアドバイスを提供するための手段である。

「計算装置」とは、数値の算出を行い、識別結果やユーザのパフォーマンスに関する計量を行う装置である。

「分析装置」とは、ユーザの行動を評価し、その結果に基づいて助言を生成するための装置である。

「視覚表示装置」とは、作業指示をリアルタイムで表示し、ユーザに必要な情報を視覚的に提供する装置である。

この発明を実施するためには、まず、情報処理装置を使用してユーザの技能レベルを登録する必要がある。この登録された技能情報はサーバに保存され、後の作業指示生成に利用される。ユーザの持つ端末には、映像取得装置としてのカメラが搭載されており、作業環境内の物体を撮影し、その画像データをサーバに送信する。

サーバは、受信した画像データを解析するために機械学習モデルを利用する。この解析プロセスには、TensorFlowやPyTorchといった機械学習フレームワークが使用される。解析によって得られた識別情報を基に、指針を生成し、ユーザの視覚表示装置であるスマート眼鏡に作業指示を表示する。この視覚表示装置としては、Google（登録商標） Glass（登録商標）やMicrosoft（登録商標） HoloLens（登録商標）が具体的に使用されることが想定される。

分析装置は、ユーザの行動とその結果を評価する役割を持っている。評価の結果、ユーザに対する学習の助言が提供される。この助言はサーバから端末に送信され、ユーザは成長と改善の方向性を把握できる。

具体例として、ユーザが工場の組み立てラインで作業を行う際に、スマート眼鏡が部品の正しい設置位置をリアルタイムで指示することがある。これにより、ユーザは直感的に次のステップを理解し、ミスを減らすことができる。生成AIモデルに対するプロンプト文の例として、「工場作業者が効率的に学ぶためのステップバイステップの指示を生成してください」が挙げられる。

応用例１における特定処理の流れについて図１２を用いて説明する。

ステップ１：

端末がカメラを使用して工場の作業環境を撮影する。入力は、カメラのセンサーが捉えたリアルタイムの画像データである。出力は、この画像データをデジタル形式で端末が取得することである。

ステップ２：

端末が取得した画像データを圧縮し、サーバに送信する。入力は、端末に保存された画像データである。出力は、圧縮された画像ファイルがサーバに転送されることである。

ステップ３：

サーバが受信した画像データを解析するために機械学習モデルを使用する。入力は、サーバに届いた圧縮済みの画像データである。このデータを解凍し、TensorFlowやPyTorchを利用してモデルが物体を識別する。出力は、識別された物体の情報である。

ステップ４：

サーバが識別結果に基づいて作業指示を生成し、端末に送信する。入力は、識別された物体情報およびユーザの技能データである。生成された指示はプロンプト文を参考にし、作業フローの次のステップを決定する。出力は、端末に送られる具体的な作業指示である。

ステップ５：

端末が視覚表示装置を通じてユーザに作業指示を表示する。入力は、サーバから送信された作業指示データである。出力は、ユーザの視界に表示される作業指示である。表示内容としては、部品の取り付け位置や工程の順序などが含まれる。

ステップ６：

ユーザが指示に従って作業を行い、その結果を端末で記録する。入力は、ユーザの作業パフォーマンスおよびアクションである。出力は、その結果をデータ形式で端末に記録することである。

ステップ７：

サーバがユーザの作業結果を分析し、評価を行う。入力は、端末から送信された作業結果データである。このデータを用いて、サーバは分析装置を稼働させ、ユーザの行動を評価する。出力は、ユーザに対するフィードバックおよび学習の助言である。

更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

本発明は、ユーザが実際の活動に参加する際のサポートを提供し、またその過程での学習を促進するシステムに関するものである。このシステムには、感情エンジンを組み合わせることで、ユーザの感情状態を認識し、それに応じた指針や助言を動的に調整する機能が追加されている。

サーバは、ユーザの能力段階を最初に登録し、ユーザの行動データや活動をもとに、適切な支援プログラムを提供するためにデータベースを構築する。ユーザが活動を行っている最中、端末のカメラを使用して場面や物品を撮影する。この撮影データはリアルタイムでサーバに送信される。

サーバは画像データを解析し、機械学習モデルによって物品の識別を行う。識別された情報はユーザに指針として提供され、端末に表示される。この表示は、ユーザが次にとるべき行動や選択をサポートするものである。

さらに、システムは感情エンジンを搭載しており、端末がユーザの顔などを解析して感情状態を認識する。この感情データはサーバに送信され、サーバは感情情報と物品識別結果を組み合わせて、ユーザに対する指針や助言を調整する。具体的には、ユーザが焦りを感じていると感情エンジンが判断した場合、サーバはより安心感を与えるようなアドバイスを生成する。

例えば、ユーザが活動中に失敗し不安を感じているとき、感情エンジンがこれを検知する。サーバは、その感情データをもとに、優先的に簡単に達成できる次の行動指針を提示し、ユーザの動機づけを支援する。これにより、ユーザは自分の感情状態に応じて最適化されたサポートを受けられ、活動に継続して取り組むことが可能となる。

このように、本発明はユーザの感情状態を考慮に入れることで、よりパーソナライズされた指導とサポートを提供し、ユーザが活動を円滑に行うための体験を向上させるシステムを実現する。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自身の麻雀能力レベルを選択して登録する。端末がこの情報を受け取り、サーバへ送信する。サーバは受信したユーザ情報をデータベースに保存し、適切なサポート内容を決定するための基準とする。

ステップ２：

ユーザが対局を開始し、場面や手牌を端末のカメラで撮影する。撮影された画像データは自動的にサーバに送信される。サーバは画像データを取得し、機械学習モデルにより牌の識別を行う。この識別により得られた情報は、ユーザに対するサポートの指針作成に利用される。

ステップ３：

端末がユーザの感情状態を把握するために、端末のカメラを使用してユーザの表情データを撮影する。端末は表情データを感情エンジンにかけて解析し、ユーザの感情状態を認識する。例えば、ユーザが不安を感じている場合、感情データとして「不安」をサーバに送信する。

ステップ４：

サーバは識別された牌情報と感情データの両方を用いて、ユーザへの指針や助言を生成する。もしユーザが不安を示していれば、サーバはその状況に合った安心感を与えるアドバイスを生成する。生成された情報は、ユーザ体験を最適化するために必要な調整を含む。

ステップ５：

サーバから生成された指針や助言が端末に送信され、端末はそれをユーザに表示する。ユーザは指針を参考に次の行動を決定することができる。具体例として、サーバが提示する指針として、「リスクの低い打牌を選択してください」というようなアドバイスが表示される場合がある。

ステップ６：

対局が終了すると、サーバはユーザの行動ログと感情変化の履歴を分析する。サーバはこれらのデータをもとに、ユーザが次の対局でより良い結果を出すための個別の学習助言を提供する。端末はこのフィードバックをユーザに表示し、学習の振り返りとして役立てる。

この一連のステップにより、システムはユーザの感情や認識結果に応じてパーソナライズされたサポートを提供し、ユーザが快適に活動を行える環境を構築する。

（実施例２）

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

従来の支援システムでは、ユーザの個々の能力状態や感情状態を考慮した動的な指導を提供することが困難であった。また、これにより、ユーザが受ける支援が一般的かつ画一的となり、個別のニーズに応じたパーソナライズされた支援が実現しにくいという問題があった。この課題を解決し、ユーザの活動をより効果的にサポートするシステムを提供することが求められている。

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理手段で利用者の能力状態を登録する手段と、撮影装置で撮影された対象物の情報を取得する手段と、取得した情報を基に学習モデルを用いて対象物の識別を行う手段と、感情解析機能により利用者の感情を認識する手段と、感情情報と識別結果を組み合わせて指導を調整する手段と、を含む。これにより、ユーザに対してパーソナライズされた動的な指導と助言をリアルタイムで提供することが可能となる。

「情報処理手段」とは、ユーザの能力や状態をデータベースに登録し、後にその情報を基に個別の指示や支援を提供するための装置やプロセスである。

「撮影装置」とは、対象物の映像や画像を取得し、それらの情報を解析装置に送信するためのハードウェアである。

「学習モデル」とは、機械学習技術を利用して、入力されたデータから対象物を識別し、特徴や構造を解析するためのソフトウェアまたはアルゴリズムである。

「感情解析機能」とは、ユーザの表情や声色などから感情状態を認識し、データ化して分析や指導に活用するための技術である。

「指導を調整する手段」とは、ユーザの能力状態や感情状態に基づいて、適切な指示や助言を動的に生成し、パーソナライズされたサポートを提供するためのシステム機能である。

この発明は、ユーザが活動中において個別のニーズに合わせた支援を受けられるように、動的に指導を調整するシステムを提供するものである。このシステムは、サーバ、端末、及びユーザの相互作用によって構成される。

サーバは、情報処理手段を用いて、ユーザがシステムを初めて利用する際に、その能力状態を登録する。この情報は、データベースに保存され、ユーザに対する個別の指導や助言を生成する基礎データとして活用される。

端末は、撮影装置としての機能を持ち、ユーザの活動中における場面や物品を撮影する。この撮影には、一般的なスマートフォンやタブレットが使用される。撮影されたデータは、リアルタイムでサーバに送信される。

サーバは、機械学習技術を活用した学習モデルを用い、送信された画像データを解析する。この解析には、TensorFlowやPyTorchなどのライブラリを使用することができる。解析の結果、識別された物品の情報が得られ、これを基にユーザに次の行動へのガイドラインが提供される。

さらに、端末には感情解析機能が搭載されており、ユーザの顔の表情を解析することで感情状態を認識する。この感情データもサーバに送信され、物品識別結果と組み合わせてユーザに対する指導が調整される。感情解析には、表情認識ソフトウェアや音声解析技術が使用されることがある。

具体例として、料理を学ぶユーザを考える。ユーザが新しいレシピに挑戦する際に、端末がその様子を撮影してサーバに送信する。サーバは、材料の不足や調理手順の誤りを検出し、適切な指示を端末に送る。また、感情解析によりユーザが不安を感じている場合、「次はこのステップをゆっくり行ってみましょう」といった安心感のあるメッセージをユーザに提供する。

生成AIモデルにプロンプト文を入力する際の例としては、以下のようなものがある：

「ユーザは料理中で、現在の感情状態は不安です。ユーザが安心して次のステップに進めるような指針を考えてください。」

このプロンプト文により、生成AIモデルはユーザの感情や活動状態に応じた適切な助言を生成することが可能となる。

実施例２における特定処理の流れについて図１３を用いて説明する。

ステップ1：

ユーザがシステムにアクセスすると、サーバは情報処理手段を使用してユーザの能力状態を入力として取得する。この情報はデータベースに保存され、後に個別指導の基礎データとして利用される。具体的な動作として、ユーザが初期設定画面で自身のスキルや目標を入力することが求められる。

ステップ2：

ユーザが特定の活動を開始すると、端末が撮影装置としての機能を活用し、ユーザの現場や物品の映像データをリアルタイムでサーバに送信する。この処理では、カメラが撮影した映像が入力となり、それがデジタルデータとしてサーバに出力される。具体的な動作では、料理中のユーザの手元を端末が継続的に撮影する。

ステップ3：

サーバは、撮影された画像データを入力として受信し、学習モデルを用いて物品の解析と識別を行う。このプロセスでは、機械学習アルゴリズムがデータ加工を行い、識別された物品やその状態が出力される。具体的には、TensorFlowが調理中の食材を解析し、それが何であるかを識別する。

ステップ4：

端末には感情解析機能が備わっており、ユーザの表情や声色を入力として解析し、感情状態をデータとして出力する。このデータはサーバに送信され、物品識別の結果と組み合わせて指導を調整するために使用される。具体的には、ユーザの表情が不安を示しているかどうかを解析する。

ステップ5：

サーバは、物品識別結果と感情データを入力として受け取り、その情報を基に生成AIモデルで有用なアドバイスを生成する。このプロセスでは、生成AIモデルにプロンプト文を入力し、パーソナライズされた助言が出力される。具体例として、「次のステップをゆっくりと行ってみましょう」というアドバイスを生成する。

ステップ6：

最終的に、生成された指導や助言は端末を通じてユーザに提供される。端末は、サーバから受け取ったアドバイスを画面に表示し、ユーザが次に踏むべきステップを明晰に確認できるようにする。具体的な動作としては、端末のディスプレイにガイドラインやメッセージがリアルタイムに表示される。

（応用例２）

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマートデバイス１４を「端末」と称する。

工場内で作業者が効率的に作業を遂行しながら、ストレスや不安を軽減し、パフォーマンスを最適化することが求められている。また、作業中に発生するミスやトラブルを迅速に補正し、作業者の学習効果を向上させる必要がある。これらの課題を解決するため、作業者の感情状態を正確に把握し、適切な指導を提供するシステムの開発が求められる。

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で撮影された物体の情報を取得する手段と、取得した情報を基に機械学習モデルを用いて物体の識別を行う手段と、測定装置で感情状態を解析する手段と、解析結果に基づいて安心感を与える助言を生成する手段と、評価結果及び感情データに基づいて学習の助言を提供する手段と、を含む。これにより、作業者の作業効率を高めつつ、感情状態に応じた適切な指導を提供し、作業者が安心して作業を続けられる環境を実現することが可能となる。

「情報処理装置」とは、ユーザの能力段階をデータベースに登録するための電子機器である。

「画像撮影装置」とは、物体の画像データを取得するための装置であり、カメラなどを含む。

「機械学習モデル」とは、取得したデータを用いて物体を識別するためのアルゴリズムや統計的手法を指す。

「測定装置」とは、ユーザの顔や表情を解析し感情状態を把握するためのセンサーを備えた装置である。

「安心感を与える助言」とは、ユーザの感情解析結果に基づいて生成され、ユーザがリラックスし作業に集中できるように設計された指示や勧告である。

「評価結果」とは、行動を分析した結果得られるデータであり、ユーザのパフォーマンスや成功度合いを示す指標である。

「感情データ」とは、ユーザの感情状態を数値やカテゴリで表現したデータを指す。

「学習の助言」とは、ユーザの能力向上を促進するために提供される指導や指針である。

この発明は、工場内の作業者を支援するためのシステムとして実施される。サーバは、情報処理装置、画像撮影装置、測定装置などの各種ハードウェアを連携し、感情認識を含む高度なデータ解析を行う。まず、情報処理装置がユーザの能力段階を登録し、個々の作業者に応じたカスタマイズを行う。

端末、ここではスマート眼鏡が提供する視覚情報を通じて、作業者の周囲環境をリアルタイムで撮影し、その画像データをサーバに送信する。このデータは機械学習モデル（例：TensorFlowなど）を用いて解析され、物体の識別が行われる。その後、端末に適切な指針や作業指示が表示される。

一方、測定装置によって作業者の表情を解析し、感情状態をリアルタイムで把握する。解析結果は、感情エンジンを通じてサーバに送信される。サーバは、感情状態と物体識別の結果に基づき、安心感を与える助言を生成する。この助言は、作業者が作業中に感じるストレスを軽減し、より効率的に作業を進められるよう支援する。

例えば、新人オペレーターが組み立てラインで初めての作業に従事する際、スマート眼鏡が適切な部品を自動的に認識し、その組み立て手順を視界に表示する。焦りやストレスを感じている場合、サーバから「ゆっくり丁寧に進めてみましょう」といった励ましのメッセージが送信される。

この発明では、感情状態を考慮した指導が可能となり、作業者が安心してスムーズに作業に取り組むことができる利点がある。プロンプト文の例としては、「ユーザの感情状態を認識し、適切な指導メッセージを提供してください。現在のユーザの感情は焦りです。リラックス効果のあるアドバイスを生成してください。」が挙げられる。

応用例２における特定処理の流れについて図１４を用いて説明する。

ステップ1：

端末がユーザの周囲環境をカメラで撮影する。撮影された画像データはインターネットを介してサーバに送信される。このステップの入力はカメラで取得した画像データであり、出力は解析のためのサーバへの転送である。

ステップ2：

サーバが受信した画像データを機械学習モデルを用いて解析し、物体の識別を行う。識別されたデータは、リアルタイムでユーザに表示するための指針として整形される。このステップの入力はサーバに送信された画像データであり、出力は物体識別結果である。

ステップ3：

端末が感情認識機能を用いて、ユーザの表情を解析する。解析結果はユーザの感情状態を反映したデータとしてサーバに送信される。このステップの入力はユーザの表情データであり、出力は感情解析結果である。

ステップ4：

サーバが感情解析結果と物体識別結果を組み合わせ、ユーザの感情状態に応じた安心感を与える助言を生成する。生成された助言は端末に送信され、ユーザに表示される。このステップの入力は感情解析結果と物体識別結果であり、出力はユーザへの助言メッセージである。

ステップ5：

ユーザは、端末に表示された指針や助言に従って作業を行うことができる。作業状態や感情の変化に応じて、再度データを取得し、ステップ1からの処理を繰り返す。これにより、ユーザは継続的にサポートを受けながら作業を進めることが可能となる。

特定処理部２９０は、特定処理の結果をスマートデバイス１４に送信する。スマートデバイス１４では、制御部４６Ａが、出力装置４０に対して特定処理の結果を出力させる。マイクロフォン３８Ｂは、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン３８Ｂによって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ChatGPT（登録商標）（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（登録商標）（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマートデバイス１４によって特定処理が行われるようにしてもよい。

［第２実施形態］

図３には、第２実施形態に係るデータ処理システム２１０の構成の一例が示されている。

図３に示すように、データ処理システム２１０は、データ処理装置１２及びスマート眼鏡２１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

スマート眼鏡２１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び通信Ｉ／Ｆ４４を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、及びカメラ４２も、バス５２に接続されている。

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

図４には、データ処理装置１２及びスマート眼鏡２１４の要部機能の一例が示されている。図４に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

スマート眼鏡２１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

本発明は、初心者が活動に参加しやすくし、学習を進めるためのシステムである。このシステムは、ユーザが自身の能力に応じた段階を登録し、各段階に適したサポートを受けることを可能にする。

サーバは、ユーザがアプリケーションを通じて登録する能力情報を受信し、ユーザごとのプロフィールをデータベースに保存する。このプロファイルに基づいて、適切な指導やサポートを提供することができる。ユーザが対局を開始すると、端末がカメラを用いて場面や物品を撮影する。この画像データは圧縮され、サーバに送信される。

サーバは、受信した画像データを機械学習モデルを使用して解析し、物品や状況を識別する。識別結果に基づき、ユーザに対する適切な指針を生成し、端末に情報を返送する。この情報は、例えば牌の役や次に行うべきアクションの提案として端末のインターフェース上に表示される。

さらに、サーバはユーザが上がりを行った場合に、再度の画像データを受け取り、計算装置を用いて数値の算出、すなわち得点の精密な計算を行う。この得点情報も端末に送信され、ユーザは結果を確認することができる。

活動が終了した後、サーバはユーザの行動データを詳細に分析し、分析装置による行動の評価を実施する。評価結果は、ユーザに学習の助言として提示され、今後の改善点や戦略的有効性について簡潔にまとめられる。

具体例として、ユーザがある局面で困難を感じている場合、サーバからの助言として特定の牌を捨てることや、役を狙う方向性についてのアドバイスが提供される。このようにして、ユーザは実際に活動する中でリアルタイムなサポートを受けながら成長できる仕組みである。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自分の能力レベルを選択する。端末がこの情報を受け取り、サーバに送信する。サーバは受信したユーザの能力情報をデータベースに保存し、ユーザのプロファイルを構築する。

ステップ２：

ユーザが活動を開始した際に、端末のカメラを使って場面や関連する物品を撮影する。端末が撮影した画像を圧縮し、サーバに送信する。サーバは画像データを受信し、機械学習モデルを用いて画像の物品を解析し、識別する。

ステップ３：

サーバが解析結果を基に、ユーザに対する指針やアドバイスを生成する。識別された情報とユーザの能力レベルに応じた指針はサーバから端末に送信される。端末はこの情報をユーザに視覚的に提示し、次に行うべき行動の選択を支援する。

ステップ４：

ユーザが活動中に得点が発生した場合、再度手牌や場の物品を撮影し、画像をサーバに送信する。サーバはこの情報を基に得点を計算し、計算結果を端末に送信する。端末は計算された得点をユーザに表示する。

ステップ５：

活動終了後、サーバがユーザの行動ログを分析する。サーバは行動の評価を行い、改善の素地を提供するための学習の助言を生成する。生成された助言や評価結果は端末に送信され、ユーザはこれを受けて次回の活動を改善するヒントとして活用する。

（実施例１）

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

従来の学習支援システムは、ユーザの個々の能力に応じたリアルタイムな指針提供が難しく、また対局や活動中における具体的なサポートが不足しているという課題があった。さらに、ユーザが自身のスキルを向上させるための具体的な助言を得るための仕組みが不十分であった。

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で場面を撮影し、撮影したデータを圧縮する手段と、圧縮された画像データを基に生成AIモデルを用いて物品および状況の識別を行う手段と、を含む。これにより、ユーザの能力に応じた個別化された指針をリアルタイムで提供し、ユーザのスキル向上に対する具体的な助言が可能となる。

「情報処理装置」とは、ユーザが登録する能力情報を受信し、段階に応じてデータの管理や処理を行う装置である。

「画像撮影装置」とは、場面や物品を撮影し、このデータを解析のために使用するための装置である。

「圧縮」とは、画像データの容量を削減し、効率的に送信および処理を行うためのデータ処理技術である。

「生成AIモデル」とは、受信したデータを解析し、物品や状況を識別するために使用される人工知能の一種である。

「識別」とは、解析したデータから物品や状況の特定と分類を行うプロセスである。

「指針」とは、ユーザが行動を決定する際の参考となる情報や助言を提供するものである。

「数値の精密な算出」とは、ユーザの行動結果に基づいて、詳細な数値データを計算することである。

「解析装置」とは、ユーザの行動データを分析し、その結果に基づいた評価を行うための装置である。

「ユーザインターフェース」とは、ユーザがシステムと対話する際の操作画面や入力手段を提供する仕組みである。

「戦術的な提案」とは、ユーザがより効果的に課題を解決するための戦略的なアドバイスを提供することである。

このシステムは、ユーザが個々の能力に応じた段階を登録し、適切なサポートを受けながらスキルを向上させることを目的としている。そして、ユーザの行動や状況に応じたリアルタイムでの指針提供を特徴とする。

サーバは、ユーザからの能力情報を受信し、情報処理装置を使用してデータベースに記録する。このデータベースシステムは、一般的なデータベース管理ソフトウェアであるSQLデータベースを使用することができる。

端末は、ユーザが活動を開始すると、その状況をカメラを用いて撮影する。この画像データは、JPEG形式などの圧縮技術を用いてデータ量を抑えた形でサーバに送信される。画像撮影には、端末の内蔵カメラもしくは外部接続カメラを活用することができる。

サーバは、受信した画像を生成AIモデルを用いて解析する。このAIモデルとしてはTensorFlowやPyTorchといった一般的な機械学習フレームワークが想定される。このモデルを使用して、撮影された物品や状況の識別を行い、ユーザに対する指針を生成する。

生成された指針は、サーバから端末に送信され、端末はユーザに対してアクションを示すインターフェースを通じて指針を表示する。これにより、ユーザはリアルタイムでのサポートを受けることができ、ゲームの進行や学習を効率的に進めることができる。

さらに、ユーザが行動を完了した際には、端末は再度シーンを撮影し、その画像データをサーバに送信する。この段階で、サーバは計算装置を活用して得点を精密に計算し、該当するフィードバックをユーザに提供する。

活動終了後、サーバはユーザの行動データを詳細に分析し、その結果を基に学習のための助言を提供する。この分析には、専用の解析ツールやプログラムを用いることができる。

具体例として、ユーザが麻雀ゲームで困難に直面した場合、システムは特定の牌を捨てることや狙うべき役についてのアドバイスを提示する。このようにすることで、ユーザは実際のゲームプレイを通じてスキルを徐々に向上させることが可能である。

プロンプト文の例としては、「麻雀ゲームに参加している初心者ユーザで、現状の手札に基づいて次に捨てるべき牌と狙うべき役を提案してください。」が挙げられる。

実施例１における特定処理の流れについて図１１を用いて説明する。

ステップ１：

ユーザは、アプリケーションを通じて自身の能力情報を入力し、端末によってこの情報は情報処理装置に一時的に保存される。入力されたデータは、ユーザの経験や得意なスキルに関するものであり、端末はこの情報を確認しサーバに送信する。サーバは、入力として受け取った能力情報を使用してデータベースに新しいユーザプロファイルを登録する。出力は、ユーザごとの個別プロファイルとなる。

ステップ２：

ユーザが対局を開始すると、端末は内蔵カメラを起動し、リアルタイムで場面の画像を撮影する。この撮影された画像データは、端末でJPEG形式に圧縮される。入力としては、カメラを通じて取得された生の画像データがあり、データ加工として圧縮が行われる。出力は、圧縮された画像データであり、これをサーバに送信する。

ステップ３：

サーバは、端末から受信した圧縮画像データを入力として受け取り、生成AIモデルを使用してこの画像を解析する。解析を通じて、物品（例：牌や囲碁の石）や状況が識別される。機械学習モデルが画像の特徴を抽出し、識別結果を生成する。この出力は、識別された物品や状況の情報である。

ステップ４：

サーバは、識別結果をもとに適切な指針を生成する。プロンプトとしての入力は、「この状況下での最適なアクションは何か？」といった問いかけである。生成AIモデルは、識別結果を参照し戦術的な提案を形成する。出力は、具体的なアクションや戦略の提案であり、これを端末に送信する。

ステップ５：

端末は、サーバから受け取った指針情報をユーザインターフェース上に表示する。入力は、サーバからの指針データであり、動作として画面上への表示処理を行う。出力は、ユーザに対する視覚的な指導やアドバイスの形で提供される。ユーザはこれを参考にし対局を進行させる。

ステップ６：

ユーザが対局で上がりを行った際、端末は再度シーンを撮影し、そのデータをサーバに送信する。この入力データを元に、サーバは計算装置を利用して得点の精密な計算を行う。データ演算としては数値の加算や乗算が行われ、得点としての出力を生成する。

ステップ７：

対局が終了した後、サーバはユーザの行動データを詳細に分析する。入力は、対局中のすべての行動記録であり、分析装置がこれを処理して行動パターンと改善点を特定する。出力は、改善点や戦略の有効性について記載された学習の助言である。サーバはこれを端末に送り、ユーザに提示する。

（応用例１）

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

初心者の被雇用者が工場の作業環境において効率的かつ迅速に作業内容を習得するには、従来の指導方法では時間と労力がかかることが多い。また、リアルタイムで適切な作業指示を受けられないためにミスが発生し、生産効率に影響が出るという課題がある。

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの技能に応じた段階を登録する手段と、映像取得装置で取得された物体の情報を取得する手段と、視覚表示装置により作業指示をリアルタイムで提供する手段と、を含む。これにより、工場作業者が迅速かつ正確に作業手順を理解し、効率的に作業を行うことが可能となる。

「情報処理装置」とは、ユーザの技能に応じた段階を登録し、管理するための装置である。

「映像取得装置」とは、物体の情報を取得し、その情報を他のシステムコンポーネントに送信するための装置である。

「機械学習モデル」とは、取得された情報を解析し、物体を識別するために用いられるアルゴリズムおよびモデルである。

「指針を提供する手段」とは、識別された情報に基づいてユーザに適切な指示やアドバイスを提供するための手段である。

「計算装置」とは、数値の算出を行い、識別結果やユーザのパフォーマンスに関する計量を行う装置である。

「分析装置」とは、ユーザの行動を評価し、その結果に基づいて助言を生成するための装置である。

「視覚表示装置」とは、作業指示をリアルタイムで表示し、ユーザに必要な情報を視覚的に提供する装置である。

この発明を実施するためには、まず、情報処理装置を使用してユーザの技能レベルを登録する必要がある。この登録された技能情報はサーバに保存され、後の作業指示生成に利用される。ユーザの持つ端末には、映像取得装置としてのカメラが搭載されており、作業環境内の物体を撮影し、その画像データをサーバに送信する。

サーバは、受信した画像データを解析するために機械学習モデルを利用する。この解析プロセスには、TensorFlowやPyTorchといった機械学習フレームワークが使用される。解析によって得られた識別情報を基に、指針を生成し、ユーザの視覚表示装置であるスマート眼鏡に作業指示を表示する。この視覚表示装置としては、Google GlassやMicrosoft HoloLensが具体的に使用されることが想定される。

分析装置は、ユーザの行動とその結果を評価する役割を持っている。評価の結果、ユーザに対する学習の助言が提供される。この助言はサーバから端末に送信され、ユーザは成長と改善の方向性を把握できる。

具体例として、ユーザが工場の組み立てラインで作業を行う際に、スマート眼鏡が部品の正しい設置位置をリアルタイムで指示することがある。これにより、ユーザは直感的に次のステップを理解し、ミスを減らすことができる。生成AIモデルに対するプロンプト文の例として、「工場作業者が効率的に学ぶためのステップバイステップの指示を生成してください」が挙げられる。

応用例１における特定処理の流れについて図１２を用いて説明する。

ステップ１：

端末がカメラを使用して工場の作業環境を撮影する。入力は、カメラのセンサーが捉えたリアルタイムの画像データである。出力は、この画像データをデジタル形式で端末が取得することである。

ステップ２：

端末が取得した画像データを圧縮し、サーバに送信する。入力は、端末に保存された画像データである。出力は、圧縮された画像ファイルがサーバに転送されることである。

ステップ３：

サーバが受信した画像データを解析するために機械学習モデルを使用する。入力は、サーバに届いた圧縮済みの画像データである。このデータを解凍し、TensorFlowやPyTorchを利用してモデルが物体を識別する。出力は、識別された物体の情報である。

ステップ４：

サーバが識別結果に基づいて作業指示を生成し、端末に送信する。入力は、識別された物体情報およびユーザの技能データである。生成された指示はプロンプト文を参考にし、作業フローの次のステップを決定する。出力は、端末に送られる具体的な作業指示である。

ステップ５：

端末が視覚表示装置を通じてユーザに作業指示を表示する。入力は、サーバから送信された作業指示データである。出力は、ユーザの視界に表示される作業指示である。表示内容としては、部品の取り付け位置や工程の順序などが含まれる。

ステップ６：

ユーザが指示に従って作業を行い、その結果を端末で記録する。入力は、ユーザの作業パフォーマンスおよびアクションである。出力は、その結果をデータ形式で端末に記録することである。

ステップ７：

サーバがユーザの作業結果を分析し、評価を行う。入力は、端末から送信された作業結果データである。このデータを用いて、サーバは分析装置を稼働させ、ユーザの行動を評価する。出力は、ユーザに対するフィードバックおよび学習の助言である。

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

本発明は、ユーザが実際の活動に参加する際のサポートを提供し、またその過程での学習を促進するシステムに関するものである。このシステムには、感情エンジンを組み合わせることで、ユーザの感情状態を認識し、それに応じた指針や助言を動的に調整する機能が追加されている。

サーバは、ユーザの能力段階を最初に登録し、ユーザの行動データや活動をもとに、適切な支援プログラムを提供するためにデータベースを構築する。ユーザが活動を行っている最中、端末のカメラを使用して場面や物品を撮影する。この撮影データはリアルタイムでサーバに送信される。

サーバは画像データを解析し、機械学習モデルによって物品の識別を行う。識別された情報はユーザに指針として提供され、端末に表示される。この表示は、ユーザが次にとるべき行動や選択をサポートするものである。

さらに、システムは感情エンジンを搭載しており、端末がユーザの顔などを解析して感情状態を認識する。この感情データはサーバに送信され、サーバは感情情報と物品識別結果を組み合わせて、ユーザに対する指針や助言を調整する。具体的には、ユーザが焦りを感じていると感情エンジンが判断した場合、サーバはより安心感を与えるようなアドバイスを生成する。

例えば、ユーザが活動中に失敗し不安を感じているとき、感情エンジンがこれを検知する。サーバは、その感情データをもとに、優先的に簡単に達成できる次の行動指針を提示し、ユーザの動機づけを支援する。これにより、ユーザは自分の感情状態に応じて最適化されたサポートを受けられ、活動に継続して取り組むことが可能となる。

このように、本発明はユーザの感情状態を考慮に入れることで、よりパーソナライズされた指導とサポートを提供し、ユーザが活動を円滑に行うための体験を向上させるシステムを実現する。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自身の麻雀能力レベルを選択して登録する。端末がこの情報を受け取り、サーバへ送信する。サーバは受信したユーザ情報をデータベースに保存し、適切なサポート内容を決定するための基準とする。

ステップ２：

ユーザが対局を開始し、場面や手牌を端末のカメラで撮影する。撮影された画像データは自動的にサーバに送信される。サーバは画像データを取得し、機械学習モデルにより牌の識別を行う。この識別により得られた情報は、ユーザに対するサポートの指針作成に利用される。

ステップ３：

端末がユーザの感情状態を把握するために、端末のカメラを使用してユーザの表情データを撮影する。端末は表情データを感情エンジンにかけて解析し、ユーザの感情状態を認識する。例えば、ユーザが不安を感じている場合、感情データとして「不安」をサーバに送信する。

ステップ４：

サーバは識別された牌情報と感情データの両方を用いて、ユーザへの指針や助言を生成する。もしユーザが不安を示していれば、サーバはその状況に合った安心感を与えるアドバイスを生成する。生成された情報は、ユーザ体験を最適化するために必要な調整を含む。

ステップ５：

サーバから生成された指針や助言が端末に送信され、端末はそれをユーザに表示する。ユーザは指針を参考に次の行動を決定することができる。具体例として、サーバが提示する指針として、「リスクの低い打牌を選択してください」というようなアドバイスが表示される場合がある。

ステップ６：

対局が終了すると、サーバはユーザの行動ログと感情変化の履歴を分析する。サーバはこれらのデータをもとに、ユーザが次の対局でより良い結果を出すための個別の学習助言を提供する。端末はこのフィードバックをユーザに表示し、学習の振り返りとして役立てる。

この一連のステップにより、システムはユーザの感情や認識結果に応じてパーソナライズされたサポートを提供し、ユーザが快適に活動を行える環境を構築する。

（実施例２）

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

従来の支援システムでは、ユーザの個々の能力状態や感情状態を考慮した動的な指導を提供することが困難であった。また、これにより、ユーザが受ける支援が一般的かつ画一的となり、個別のニーズに応じたパーソナライズされた支援が実現しにくいという問題があった。この課題を解決し、ユーザの活動をより効果的にサポートするシステムを提供することが求められている。

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理手段で利用者の能力状態を登録する手段と、撮影装置で撮影された対象物の情報を取得する手段と、取得した情報を基に学習モデルを用いて対象物の識別を行う手段と、感情解析機能により利用者の感情を認識する手段と、感情情報と識別結果を組み合わせて指導を調整する手段と、を含む。これにより、ユーザに対してパーソナライズされた動的な指導と助言をリアルタイムで提供することが可能となる。

「情報処理手段」とは、ユーザの能力や状態をデータベースに登録し、後にその情報を基に個別の指示や支援を提供するための装置やプロセスである。

「撮影装置」とは、対象物の映像や画像を取得し、それらの情報を解析装置に送信するためのハードウェアである。

「学習モデル」とは、機械学習技術を利用して、入力されたデータから対象物を識別し、特徴や構造を解析するためのソフトウェアまたはアルゴリズムである。

「感情解析機能」とは、ユーザの表情や声色などから感情状態を認識し、データ化して分析や指導に活用するための技術である。

「指導を調整する手段」とは、ユーザの能力状態や感情状態に基づいて、適切な指示や助言を動的に生成し、パーソナライズされたサポートを提供するためのシステム機能である。

この発明は、ユーザが活動中において個別のニーズに合わせた支援を受けられるように、動的に指導を調整するシステムを提供するものである。このシステムは、サーバ、端末、及びユーザの相互作用によって構成される。

サーバは、情報処理手段を用いて、ユーザがシステムを初めて利用する際に、その能力状態を登録する。この情報は、データベースに保存され、ユーザに対する個別の指導や助言を生成する基礎データとして活用される。

端末は、撮影装置としての機能を持ち、ユーザの活動中における場面や物品を撮影する。この撮影には、一般的なスマートフォンやタブレットが使用される。撮影されたデータは、リアルタイムでサーバに送信される。

サーバは、機械学習技術を活用した学習モデルを用い、送信された画像データを解析する。この解析には、TensorFlowやPyTorchなどのライブラリを使用することができる。解析の結果、識別された物品の情報が得られ、これを基にユーザに次の行動へのガイドラインが提供される。

さらに、端末には感情解析機能が搭載されており、ユーザの顔の表情を解析することで感情状態を認識する。この感情データもサーバに送信され、物品識別結果と組み合わせてユーザに対する指導が調整される。感情解析には、表情認識ソフトウェアや音声解析技術が使用されることがある。

具体例として、料理を学ぶユーザを考える。ユーザが新しいレシピに挑戦する際に、端末がその様子を撮影してサーバに送信する。サーバは、材料の不足や調理手順の誤りを検出し、適切な指示を端末に送る。また、感情解析によりユーザが不安を感じている場合、「次はこのステップをゆっくり行ってみましょう」といった安心感のあるメッセージをユーザに提供する。

生成AIモデルにプロンプト文を入力する際の例としては、以下のようなものがある：

「ユーザは料理中で、現在の感情状態は不安です。ユーザが安心して次のステップに進めるような指針を考えてください。」

このプロンプト文により、生成AIモデルはユーザの感情や活動状態に応じた適切な助言を生成することが可能となる。

実施例２における特定処理の流れについて図１３を用いて説明する。

ステップ1：

ユーザがシステムにアクセスすると、サーバは情報処理手段を使用してユーザの能力状態を入力として取得する。この情報はデータベースに保存され、後に個別指導の基礎データとして利用される。具体的な動作として、ユーザが初期設定画面で自身のスキルや目標を入力することが求められる。

ステップ2：

ユーザが特定の活動を開始すると、端末が撮影装置としての機能を活用し、ユーザの現場や物品の映像データをリアルタイムでサーバに送信する。この処理では、カメラが撮影した映像が入力となり、それがデジタルデータとしてサーバに出力される。具体的な動作では、料理中のユーザの手元を端末が継続的に撮影する。

ステップ3：

サーバは、撮影された画像データを入力として受信し、学習モデルを用いて物品の解析と識別を行う。このプロセスでは、機械学習アルゴリズムがデータ加工を行い、識別された物品やその状態が出力される。具体的には、TensorFlowが調理中の食材を解析し、それが何であるかを識別する。

ステップ4：

端末には感情解析機能が備わっており、ユーザの表情や声色を入力として解析し、感情状態をデータとして出力する。このデータはサーバに送信され、物品識別の結果と組み合わせて指導を調整するために使用される。具体的には、ユーザの表情が不安を示しているかどうかを解析する。

ステップ5：

サーバは、物品識別結果と感情データを入力として受け取り、その情報を基に生成AIモデルで有用なアドバイスを生成する。このプロセスでは、生成AIモデルにプロンプト文を入力し、パーソナライズされた助言が出力される。具体例として、「次のステップをゆっくりと行ってみましょう」というアドバイスを生成する。

ステップ6：

最終的に、生成された指導や助言は端末を通じてユーザに提供される。端末は、サーバから受け取ったアドバイスを画面に表示し、ユーザが次に踏むべきステップを明晰に確認できるようにする。具体的な動作としては、端末のディスプレイにガイドラインやメッセージがリアルタイムに表示される。

（応用例２）

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、スマート眼鏡２１４を「端末」と称する。

工場内で作業者が効率的に作業を遂行しながら、ストレスや不安を軽減し、パフォーマンスを最適化することが求められている。また、作業中に発生するミスやトラブルを迅速に補正し、作業者の学習効果を向上させる必要がある。これらの課題を解決するため、作業者の感情状態を正確に把握し、適切な指導を提供するシステムの開発が求められる。

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で撮影された物体の情報を取得する手段と、取得した情報を基に機械学習モデルを用いて物体の識別を行う手段と、測定装置で感情状態を解析する手段と、解析結果に基づいて安心感を与える助言を生成する手段と、評価結果及び感情データに基づいて学習の助言を提供する手段と、を含む。これにより、作業者の作業効率を高めつつ、感情状態に応じた適切な指導を提供し、作業者が安心して作業を続けられる環境を実現することが可能となる。

「情報処理装置」とは、ユーザの能力段階をデータベースに登録するための電子機器である。

「画像撮影装置」とは、物体の画像データを取得するための装置であり、カメラなどを含む。

「機械学習モデル」とは、取得したデータを用いて物体を識別するためのアルゴリズムや統計的手法を指す。

「測定装置」とは、ユーザの顔や表情を解析し感情状態を把握するためのセンサーを備えた装置である。

「安心感を与える助言」とは、ユーザの感情解析結果に基づいて生成され、ユーザがリラックスし作業に集中できるように設計された指示や勧告である。

「評価結果」とは、行動を分析した結果得られるデータであり、ユーザのパフォーマンスや成功度合いを示す指標である。

「感情データ」とは、ユーザの感情状態を数値やカテゴリで表現したデータを指す。

「学習の助言」とは、ユーザの能力向上を促進するために提供される指導や指針である。

この発明は、工場内の作業者を支援するためのシステムとして実施される。サーバは、情報処理装置、画像撮影装置、測定装置などの各種ハードウェアを連携し、感情認識を含む高度なデータ解析を行う。まず、情報処理装置がユーザの能力段階を登録し、個々の作業者に応じたカスタマイズを行う。

端末、ここではスマート眼鏡が提供する視覚情報を通じて、作業者の周囲環境をリアルタイムで撮影し、その画像データをサーバに送信する。このデータは機械学習モデル（例：TensorFlowなど）を用いて解析され、物体の識別が行われる。その後、端末に適切な指針や作業指示が表示される。

一方、測定装置によって作業者の表情を解析し、感情状態をリアルタイムで把握する。解析結果は、感情エンジンを通じてサーバに送信される。サーバは、感情状態と物体識別の結果に基づき、安心感を与える助言を生成する。この助言は、作業者が作業中に感じるストレスを軽減し、より効率的に作業を進められるよう支援する。

例えば、新人オペレーターが組み立てラインで初めての作業に従事する際、スマート眼鏡が適切な部品を自動的に認識し、その組み立て手順を視界に表示する。焦りやストレスを感じている場合、サーバから「ゆっくり丁寧に進めてみましょう」といった励ましのメッセージが送信される。

この発明では、感情状態を考慮した指導が可能となり、作業者が安心してスムーズに作業に取り組むことができる利点がある。プロンプト文の例としては、「ユーザの感情状態を認識し、適切な指導メッセージを提供してください。現在のユーザの感情は焦りです。リラックス効果のあるアドバイスを生成してください。」が挙げられる。

応用例２における特定処理の流れについて図１４を用いて説明する。

ステップ1：

端末がユーザの周囲環境をカメラで撮影する。撮影された画像データはインターネットを介してサーバに送信される。このステップの入力はカメラで取得した画像データであり、出力は解析のためのサーバへの転送である。

ステップ2：

サーバが受信した画像データを機械学習モデルを用いて解析し、物体の識別を行う。識別されたデータは、リアルタイムでユーザに表示するための指針として整形される。このステップの入力はサーバに送信された画像データであり、出力は物体識別結果である。

ステップ3：

端末が感情認識機能を用いて、ユーザの表情を解析する。解析結果はユーザの感情状態を反映したデータとしてサーバに送信される。このステップの入力はユーザの表情データであり、出力は感情解析結果である。

ステップ4：

サーバが感情解析結果と物体識別結果を組み合わせ、ユーザの感情状態に応じた安心感を与える助言を生成する。生成された助言は端末に送信され、ユーザに表示される。このステップの入力は感情解析結果と物体識別結果であり、出力はユーザへの助言メッセージである。

ステップ5：

ユーザは、端末に表示された指針や助言に従って作業を行うことができる。作業状態や感情の変化に応じて、再度データを取得し、ステップ1からの処理を繰り返す。これにより、ユーザは継続的にサポートを受けながら作業を進めることが可能となる。

特定処理部２９０は、特定処理の結果をスマート眼鏡２１４に送信する。スマート眼鏡２１４では、制御部４６Ａが、スピーカ２４０に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、スマート眼鏡２１４によって特定処理が行われるようにしてもよい。

［第３実施形態］

図５には、第３実施形態に係るデータ処理システム３１０の構成の一例が示されている。

図５に示すように、データ処理システム３１０は、データ処理装置１２及びヘッドセット型端末３１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

ヘッドセット型端末３１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及びディスプレイ３４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及びディスプレイ３４３も、バス５２に接続されている。

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

図６には、データ処理装置１２及びヘッドセット型端末３１４の要部機能の一例が示されている。図６に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

ヘッドセット型端末３１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

本発明は、初心者が活動に参加しやすくし、学習を進めるためのシステムである。このシステムは、ユーザが自身の能力に応じた段階を登録し、各段階に適したサポートを受けることを可能にする。

サーバは、ユーザがアプリケーションを通じて登録する能力情報を受信し、ユーザごとのプロフィールをデータベースに保存する。このプロファイルに基づいて、適切な指導やサポートを提供することができる。ユーザが対局を開始すると、端末がカメラを用いて場面や物品を撮影する。この画像データは圧縮され、サーバに送信される。

サーバは、受信した画像データを機械学習モデルを使用して解析し、物品や状況を識別する。識別結果に基づき、ユーザに対する適切な指針を生成し、端末に情報を返送する。この情報は、例えば牌の役や次に行うべきアクションの提案として端末のインターフェース上に表示される。

さらに、サーバはユーザが上がりを行った場合に、再度の画像データを受け取り、計算装置を用いて数値の算出、すなわち得点の精密な計算を行う。この得点情報も端末に送信され、ユーザは結果を確認することができる。

活動が終了した後、サーバはユーザの行動データを詳細に分析し、分析装置による行動の評価を実施する。評価結果は、ユーザに学習の助言として提示され、今後の改善点や戦略的有効性について簡潔にまとめられる。

具体例として、ユーザがある局面で困難を感じている場合、サーバからの助言として特定の牌を捨てることや、役を狙う方向性についてのアドバイスが提供される。このようにして、ユーザは実際に活動する中でリアルタイムなサポートを受けながら成長できる仕組みである。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自分の能力レベルを選択する。端末がこの情報を受け取り、サーバに送信する。サーバは受信したユーザの能力情報をデータベースに保存し、ユーザのプロファイルを構築する。

ステップ２：

ユーザが活動を開始した際に、端末のカメラを使って場面や関連する物品を撮影する。端末が撮影した画像を圧縮し、サーバに送信する。サーバは画像データを受信し、機械学習モデルを用いて画像の物品を解析し、識別する。

ステップ３：

サーバが解析結果を基に、ユーザに対する指針やアドバイスを生成する。識別された情報とユーザの能力レベルに応じた指針はサーバから端末に送信される。端末はこの情報をユーザに視覚的に提示し、次に行うべき行動の選択を支援する。

ステップ４：

ユーザが活動中に得点が発生した場合、再度手牌や場の物品を撮影し、画像をサーバに送信する。サーバはこの情報を基に得点を計算し、計算結果を端末に送信する。端末は計算された得点をユーザに表示する。

ステップ５：

活動終了後、サーバがユーザの行動ログを分析する。サーバは行動の評価を行い、改善の素地を提供するための学習の助言を生成する。生成された助言や評価結果は端末に送信され、ユーザはこれを受けて次回の活動を改善するヒントとして活用する。

（実施例１）

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

従来の学習支援システムは、ユーザの個々の能力に応じたリアルタイムな指針提供が難しく、また対局や活動中における具体的なサポートが不足しているという課題があった。さらに、ユーザが自身のスキルを向上させるための具体的な助言を得るための仕組みが不十分であった。

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で場面を撮影し、撮影したデータを圧縮する手段と、圧縮された画像データを基に生成AIモデルを用いて物品および状況の識別を行う手段と、を含む。これにより、ユーザの能力に応じた個別化された指針をリアルタイムで提供し、ユーザのスキル向上に対する具体的な助言が可能となる。

「情報処理装置」とは、ユーザが登録する能力情報を受信し、段階に応じてデータの管理や処理を行う装置である。

「画像撮影装置」とは、場面や物品を撮影し、このデータを解析のために使用するための装置である。

「圧縮」とは、画像データの容量を削減し、効率的に送信および処理を行うためのデータ処理技術である。

「生成AIモデル」とは、受信したデータを解析し、物品や状況を識別するために使用される人工知能の一種である。

「識別」とは、解析したデータから物品や状況の特定と分類を行うプロセスである。

「指針」とは、ユーザが行動を決定する際の参考となる情報や助言を提供するものである。

「数値の精密な算出」とは、ユーザの行動結果に基づいて、詳細な数値データを計算することである。

「解析装置」とは、ユーザの行動データを分析し、その結果に基づいた評価を行うための装置である。

「ユーザインターフェース」とは、ユーザがシステムと対話する際の操作画面や入力手段を提供する仕組みである。

「戦術的な提案」とは、ユーザがより効果的に課題を解決するための戦略的なアドバイスを提供することである。

このシステムは、ユーザが個々の能力に応じた段階を登録し、適切なサポートを受けながらスキルを向上させることを目的としている。そして、ユーザの行動や状況に応じたリアルタイムでの指針提供を特徴とする。

サーバは、ユーザからの能力情報を受信し、情報処理装置を使用してデータベースに記録する。このデータベースシステムは、一般的なデータベース管理ソフトウェアであるSQLデータベースを使用することができる。

端末は、ユーザが活動を開始すると、その状況をカメラを用いて撮影する。この画像データは、JPEG形式などの圧縮技術を用いてデータ量を抑えた形でサーバに送信される。画像撮影には、端末の内蔵カメラもしくは外部接続カメラを活用することができる。

サーバは、受信した画像を生成AIモデルを用いて解析する。このAIモデルとしてはTensorFlowやPyTorchといった一般的な機械学習フレームワークが想定される。このモデルを使用して、撮影された物品や状況の識別を行い、ユーザに対する指針を生成する。

生成された指針は、サーバから端末に送信され、端末はユーザに対してアクションを示すインターフェースを通じて指針を表示する。これにより、ユーザはリアルタイムでのサポートを受けることができ、ゲームの進行や学習を効率的に進めることができる。

さらに、ユーザが行動を完了した際には、端末は再度シーンを撮影し、その画像データをサーバに送信する。この段階で、サーバは計算装置を活用して得点を精密に計算し、該当するフィードバックをユーザに提供する。

活動終了後、サーバはユーザの行動データを詳細に分析し、その結果を基に学習のための助言を提供する。この分析には、専用の解析ツールやプログラムを用いることができる。

具体例として、ユーザが麻雀ゲームで困難に直面した場合、システムは特定の牌を捨てることや狙うべき役についてのアドバイスを提示する。このようにすることで、ユーザは実際のゲームプレイを通じてスキルを徐々に向上させることが可能である。

プロンプト文の例としては、「麻雀ゲームに参加している初心者ユーザで、現状の手札に基づいて次に捨てるべき牌と狙うべき役を提案してください。」が挙げられる。

実施例１における特定処理の流れについて図１１を用いて説明する。

ステップ１：

ユーザは、アプリケーションを通じて自身の能力情報を入力し、端末によってこの情報は情報処理装置に一時的に保存される。入力されたデータは、ユーザの経験や得意なスキルに関するものであり、端末はこの情報を確認しサーバに送信する。サーバは、入力として受け取った能力情報を使用してデータベースに新しいユーザプロファイルを登録する。出力は、ユーザごとの個別プロファイルとなる。

ステップ２：

ユーザが対局を開始すると、端末は内蔵カメラを起動し、リアルタイムで場面の画像を撮影する。この撮影された画像データは、端末でJPEG形式に圧縮される。入力としては、カメラを通じて取得された生の画像データがあり、データ加工として圧縮が行われる。出力は、圧縮された画像データであり、これをサーバに送信する。

ステップ３：

サーバは、端末から受信した圧縮画像データを入力として受け取り、生成AIモデルを使用してこの画像を解析する。解析を通じて、物品（例：牌や囲碁の石）や状況が識別される。機械学習モデルが画像の特徴を抽出し、識別結果を生成する。この出力は、識別された物品や状況の情報である。

ステップ４：

サーバは、識別結果をもとに適切な指針を生成する。プロンプトとしての入力は、「この状況下での最適なアクションは何か？」といった問いかけである。生成AIモデルは、識別結果を参照し戦術的な提案を形成する。出力は、具体的なアクションや戦略の提案であり、これを端末に送信する。

ステップ５：

端末は、サーバから受け取った指針情報をユーザインターフェース上に表示する。入力は、サーバからの指針データであり、動作として画面上への表示処理を行う。出力は、ユーザに対する視覚的な指導やアドバイスの形で提供される。ユーザはこれを参考にし対局を進行させる。

ステップ６：

ユーザが対局で上がりを行った際、端末は再度シーンを撮影し、そのデータをサーバに送信する。この入力データを元に、サーバは計算装置を利用して得点の精密な計算を行う。データ演算としては数値の加算や乗算が行われ、得点としての出力を生成する。

ステップ７：

対局が終了した後、サーバはユーザの行動データを詳細に分析する。入力は、対局中のすべての行動記録であり、分析装置がこれを処理して行動パターンと改善点を特定する。出力は、改善点や戦略の有効性について記載された学習の助言である。サーバはこれを端末に送り、ユーザに提示する。

（応用例１）

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

初心者の被雇用者が工場の作業環境において効率的かつ迅速に作業内容を習得するには、従来の指導方法では時間と労力がかかることが多い。また、リアルタイムで適切な作業指示を受けられないためにミスが発生し、生産効率に影響が出るという課題がある。

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの技能に応じた段階を登録する手段と、映像取得装置で取得された物体の情報を取得する手段と、視覚表示装置により作業指示をリアルタイムで提供する手段と、を含む。これにより、工場作業者が迅速かつ正確に作業手順を理解し、効率的に作業を行うことが可能となる。

「情報処理装置」とは、ユーザの技能に応じた段階を登録し、管理するための装置である。

「映像取得装置」とは、物体の情報を取得し、その情報を他のシステムコンポーネントに送信するための装置である。

「機械学習モデル」とは、取得された情報を解析し、物体を識別するために用いられるアルゴリズムおよびモデルである。

「指針を提供する手段」とは、識別された情報に基づいてユーザに適切な指示やアドバイスを提供するための手段である。

「計算装置」とは、数値の算出を行い、識別結果やユーザのパフォーマンスに関する計量を行う装置である。

「分析装置」とは、ユーザの行動を評価し、その結果に基づいて助言を生成するための装置である。

「視覚表示装置」とは、作業指示をリアルタイムで表示し、ユーザに必要な情報を視覚的に提供する装置である。

この発明を実施するためには、まず、情報処理装置を使用してユーザの技能レベルを登録する必要がある。この登録された技能情報はサーバに保存され、後の作業指示生成に利用される。ユーザの持つ端末には、映像取得装置としてのカメラが搭載されており、作業環境内の物体を撮影し、その画像データをサーバに送信する。

サーバは、受信した画像データを解析するために機械学習モデルを利用する。この解析プロセスには、TensorFlowやPyTorchといった機械学習フレームワークが使用される。解析によって得られた識別情報を基に、指針を生成し、ユーザの視覚表示装置であるスマート眼鏡に作業指示を表示する。この視覚表示装置としては、Google GlassやMicrosoft HoloLensが具体的に使用されることが想定される。

分析装置は、ユーザの行動とその結果を評価する役割を持っている。評価の結果、ユーザに対する学習の助言が提供される。この助言はサーバから端末に送信され、ユーザは成長と改善の方向性を把握できる。

具体例として、ユーザが工場の組み立てラインで作業を行う際に、スマート眼鏡が部品の正しい設置位置をリアルタイムで指示することがある。これにより、ユーザは直感的に次のステップを理解し、ミスを減らすことができる。生成AIモデルに対するプロンプト文の例として、「工場作業者が効率的に学ぶためのステップバイステップの指示を生成してください」が挙げられる。

応用例１における特定処理の流れについて図１２を用いて説明する。

ステップ１：

端末がカメラを使用して工場の作業環境を撮影する。入力は、カメラのセンサーが捉えたリアルタイムの画像データである。出力は、この画像データをデジタル形式で端末が取得することである。

ステップ２：

端末が取得した画像データを圧縮し、サーバに送信する。入力は、端末に保存された画像データである。出力は、圧縮された画像ファイルがサーバに転送されることである。

ステップ３：

サーバが受信した画像データを解析するために機械学習モデルを使用する。入力は、サーバに届いた圧縮済みの画像データである。このデータを解凍し、TensorFlowやPyTorchを利用してモデルが物体を識別する。出力は、識別された物体の情報である。

ステップ４：

サーバが識別結果に基づいて作業指示を生成し、端末に送信する。入力は、識別された物体情報およびユーザの技能データである。生成された指示はプロンプト文を参考にし、作業フローの次のステップを決定する。出力は、端末に送られる具体的な作業指示である。

ステップ５：

端末が視覚表示装置を通じてユーザに作業指示を表示する。入力は、サーバから送信された作業指示データである。出力は、ユーザの視界に表示される作業指示である。表示内容としては、部品の取り付け位置や工程の順序などが含まれる。

ステップ６：

ユーザが指示に従って作業を行い、その結果を端末で記録する。入力は、ユーザの作業パフォーマンスおよびアクションである。出力は、その結果をデータ形式で端末に記録することである。

ステップ７：

サーバがユーザの作業結果を分析し、評価を行う。入力は、端末から送信された作業結果データである。このデータを用いて、サーバは分析装置を稼働させ、ユーザの行動を評価する。出力は、ユーザに対するフィードバックおよび学習の助言である。

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

本発明は、ユーザが実際の活動に参加する際のサポートを提供し、またその過程での学習を促進するシステムに関するものである。このシステムには、感情エンジンを組み合わせることで、ユーザの感情状態を認識し、それに応じた指針や助言を動的に調整する機能が追加されている。

サーバは、ユーザの能力段階を最初に登録し、ユーザの行動データや活動をもとに、適切な支援プログラムを提供するためにデータベースを構築する。ユーザが活動を行っている最中、端末のカメラを使用して場面や物品を撮影する。この撮影データはリアルタイムでサーバに送信される。

サーバは画像データを解析し、機械学習モデルによって物品の識別を行う。識別された情報はユーザに指針として提供され、端末に表示される。この表示は、ユーザが次にとるべき行動や選択をサポートするものである。

さらに、システムは感情エンジンを搭載しており、端末がユーザの顔などを解析して感情状態を認識する。この感情データはサーバに送信され、サーバは感情情報と物品識別結果を組み合わせて、ユーザに対する指針や助言を調整する。具体的には、ユーザが焦りを感じていると感情エンジンが判断した場合、サーバはより安心感を与えるようなアドバイスを生成する。

例えば、ユーザが活動中に失敗し不安を感じているとき、感情エンジンがこれを検知する。サーバは、その感情データをもとに、優先的に簡単に達成できる次の行動指針を提示し、ユーザの動機づけを支援する。これにより、ユーザは自分の感情状態に応じて最適化されたサポートを受けられ、活動に継続して取り組むことが可能となる。

このように、本発明はユーザの感情状態を考慮に入れることで、よりパーソナライズされた指導とサポートを提供し、ユーザが活動を円滑に行うための体験を向上させるシステムを実現する。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自身の麻雀能力レベルを選択して登録する。端末がこの情報を受け取り、サーバへ送信する。サーバは受信したユーザ情報をデータベースに保存し、適切なサポート内容を決定するための基準とする。

ステップ２：

ユーザが対局を開始し、場面や手牌を端末のカメラで撮影する。撮影された画像データは自動的にサーバに送信される。サーバは画像データを取得し、機械学習モデルにより牌の識別を行う。この識別により得られた情報は、ユーザに対するサポートの指針作成に利用される。

ステップ３：

端末がユーザの感情状態を把握するために、端末のカメラを使用してユーザの表情データを撮影する。端末は表情データを感情エンジンにかけて解析し、ユーザの感情状態を認識する。例えば、ユーザが不安を感じている場合、感情データとして「不安」をサーバに送信する。

ステップ４：

サーバは識別された牌情報と感情データの両方を用いて、ユーザへの指針や助言を生成する。もしユーザが不安を示していれば、サーバはその状況に合った安心感を与えるアドバイスを生成する。生成された情報は、ユーザ体験を最適化するために必要な調整を含む。

ステップ５：

サーバから生成された指針や助言が端末に送信され、端末はそれをユーザに表示する。ユーザは指針を参考に次の行動を決定することができる。具体例として、サーバが提示する指針として、「リスクの低い打牌を選択してください」というようなアドバイスが表示される場合がある。

ステップ６：

対局が終了すると、サーバはユーザの行動ログと感情変化の履歴を分析する。サーバはこれらのデータをもとに、ユーザが次の対局でより良い結果を出すための個別の学習助言を提供する。端末はこのフィードバックをユーザに表示し、学習の振り返りとして役立てる。

この一連のステップにより、システムはユーザの感情や認識結果に応じてパーソナライズされたサポートを提供し、ユーザが快適に活動を行える環境を構築する。

（実施例２）

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

従来の支援システムでは、ユーザの個々の能力状態や感情状態を考慮した動的な指導を提供することが困難であった。また、これにより、ユーザが受ける支援が一般的かつ画一的となり、個別のニーズに応じたパーソナライズされた支援が実現しにくいという問題があった。この課題を解決し、ユーザの活動をより効果的にサポートするシステムを提供することが求められている。

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理手段で利用者の能力状態を登録する手段と、撮影装置で撮影された対象物の情報を取得する手段と、取得した情報を基に学習モデルを用いて対象物の識別を行う手段と、感情解析機能により利用者の感情を認識する手段と、感情情報と識別結果を組み合わせて指導を調整する手段と、を含む。これにより、ユーザに対してパーソナライズされた動的な指導と助言をリアルタイムで提供することが可能となる。

「情報処理手段」とは、ユーザの能力や状態をデータベースに登録し、後にその情報を基に個別の指示や支援を提供するための装置やプロセスである。

「撮影装置」とは、対象物の映像や画像を取得し、それらの情報を解析装置に送信するためのハードウェアである。

「学習モデル」とは、機械学習技術を利用して、入力されたデータから対象物を識別し、特徴や構造を解析するためのソフトウェアまたはアルゴリズムである。

「感情解析機能」とは、ユーザの表情や声色などから感情状態を認識し、データ化して分析や指導に活用するための技術である。

「指導を調整する手段」とは、ユーザの能力状態や感情状態に基づいて、適切な指示や助言を動的に生成し、パーソナライズされたサポートを提供するためのシステム機能である。

この発明は、ユーザが活動中において個別のニーズに合わせた支援を受けられるように、動的に指導を調整するシステムを提供するものである。このシステムは、サーバ、端末、及びユーザの相互作用によって構成される。

サーバは、情報処理手段を用いて、ユーザがシステムを初めて利用する際に、その能力状態を登録する。この情報は、データベースに保存され、ユーザに対する個別の指導や助言を生成する基礎データとして活用される。

端末は、撮影装置としての機能を持ち、ユーザの活動中における場面や物品を撮影する。この撮影には、一般的なスマートフォンやタブレットが使用される。撮影されたデータは、リアルタイムでサーバに送信される。

サーバは、機械学習技術を活用した学習モデルを用い、送信された画像データを解析する。この解析には、TensorFlowやPyTorchなどのライブラリを使用することができる。解析の結果、識別された物品の情報が得られ、これを基にユーザに次の行動へのガイドラインが提供される。

さらに、端末には感情解析機能が搭載されており、ユーザの顔の表情を解析することで感情状態を認識する。この感情データもサーバに送信され、物品識別結果と組み合わせてユーザに対する指導が調整される。感情解析には、表情認識ソフトウェアや音声解析技術が使用されることがある。

具体例として、料理を学ぶユーザを考える。ユーザが新しいレシピに挑戦する際に、端末がその様子を撮影してサーバに送信する。サーバは、材料の不足や調理手順の誤りを検出し、適切な指示を端末に送る。また、感情解析によりユーザが不安を感じている場合、「次はこのステップをゆっくり行ってみましょう」といった安心感のあるメッセージをユーザに提供する。

生成AIモデルにプロンプト文を入力する際の例としては、以下のようなものがある：

「ユーザは料理中で、現在の感情状態は不安です。ユーザが安心して次のステップに進めるような指針を考えてください。」

このプロンプト文により、生成AIモデルはユーザの感情や活動状態に応じた適切な助言を生成することが可能となる。

実施例２における特定処理の流れについて図１３を用いて説明する。

ステップ1：

ユーザがシステムにアクセスすると、サーバは情報処理手段を使用してユーザの能力状態を入力として取得する。この情報はデータベースに保存され、後に個別指導の基礎データとして利用される。具体的な動作として、ユーザが初期設定画面で自身のスキルや目標を入力することが求められる。

ステップ2：

ユーザが特定の活動を開始すると、端末が撮影装置としての機能を活用し、ユーザの現場や物品の映像データをリアルタイムでサーバに送信する。この処理では、カメラが撮影した映像が入力となり、それがデジタルデータとしてサーバに出力される。具体的な動作では、料理中のユーザの手元を端末が継続的に撮影する。

ステップ3：

サーバは、撮影された画像データを入力として受信し、学習モデルを用いて物品の解析と識別を行う。このプロセスでは、機械学習アルゴリズムがデータ加工を行い、識別された物品やその状態が出力される。具体的には、TensorFlowが調理中の食材を解析し、それが何であるかを識別する。

ステップ4：

端末には感情解析機能が備わっており、ユーザの表情や声色を入力として解析し、感情状態をデータとして出力する。このデータはサーバに送信され、物品識別の結果と組み合わせて指導を調整するために使用される。具体的には、ユーザの表情が不安を示しているかどうかを解析する。

ステップ5：

サーバは、物品識別結果と感情データを入力として受け取り、その情報を基に生成AIモデルで有用なアドバイスを生成する。このプロセスでは、生成AIモデルにプロンプト文を入力し、パーソナライズされた助言が出力される。具体例として、「次のステップをゆっくりと行ってみましょう」というアドバイスを生成する。

ステップ6：

最終的に、生成された指導や助言は端末を通じてユーザに提供される。端末は、サーバから受け取ったアドバイスを画面に表示し、ユーザが次に踏むべきステップを明晰に確認できるようにする。具体的な動作としては、端末のディスプレイにガイドラインやメッセージがリアルタイムに表示される。

（応用例２）

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ヘッドセット型端末３１４を「端末」と称する。

工場内で作業者が効率的に作業を遂行しながら、ストレスや不安を軽減し、パフォーマンスを最適化することが求められている。また、作業中に発生するミスやトラブルを迅速に補正し、作業者の学習効果を向上させる必要がある。これらの課題を解決するため、作業者の感情状態を正確に把握し、適切な指導を提供するシステムの開発が求められる。

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で撮影された物体の情報を取得する手段と、取得した情報を基に機械学習モデルを用いて物体の識別を行う手段と、測定装置で感情状態を解析する手段と、解析結果に基づいて安心感を与える助言を生成する手段と、評価結果及び感情データに基づいて学習の助言を提供する手段と、を含む。これにより、作業者の作業効率を高めつつ、感情状態に応じた適切な指導を提供し、作業者が安心して作業を続けられる環境を実現することが可能となる。

「情報処理装置」とは、ユーザの能力段階をデータベースに登録するための電子機器である。

「画像撮影装置」とは、物体の画像データを取得するための装置であり、カメラなどを含む。

「機械学習モデル」とは、取得したデータを用いて物体を識別するためのアルゴリズムや統計的手法を指す。

「測定装置」とは、ユーザの顔や表情を解析し感情状態を把握するためのセンサーを備えた装置である。

「安心感を与える助言」とは、ユーザの感情解析結果に基づいて生成され、ユーザがリラックスし作業に集中できるように設計された指示や勧告である。

「評価結果」とは、行動を分析した結果得られるデータであり、ユーザのパフォーマンスや成功度合いを示す指標である。

「感情データ」とは、ユーザの感情状態を数値やカテゴリで表現したデータを指す。

「学習の助言」とは、ユーザの能力向上を促進するために提供される指導や指針である。

この発明は、工場内の作業者を支援するためのシステムとして実施される。サーバは、情報処理装置、画像撮影装置、測定装置などの各種ハードウェアを連携し、感情認識を含む高度なデータ解析を行う。まず、情報処理装置がユーザの能力段階を登録し、個々の作業者に応じたカスタマイズを行う。

端末、ここではスマート眼鏡が提供する視覚情報を通じて、作業者の周囲環境をリアルタイムで撮影し、その画像データをサーバに送信する。このデータは機械学習モデル（例：TensorFlowなど）を用いて解析され、物体の識別が行われる。その後、端末に適切な指針や作業指示が表示される。

一方、測定装置によって作業者の表情を解析し、感情状態をリアルタイムで把握する。解析結果は、感情エンジンを通じてサーバに送信される。サーバは、感情状態と物体識別の結果に基づき、安心感を与える助言を生成する。この助言は、作業者が作業中に感じるストレスを軽減し、より効率的に作業を進められるよう支援する。

例えば、新人オペレーターが組み立てラインで初めての作業に従事する際、スマート眼鏡が適切な部品を自動的に認識し、その組み立て手順を視界に表示する。焦りやストレスを感じている場合、サーバから「ゆっくり丁寧に進めてみましょう」といった励ましのメッセージが送信される。

この発明では、感情状態を考慮した指導が可能となり、作業者が安心してスムーズに作業に取り組むことができる利点がある。プロンプト文の例としては、「ユーザの感情状態を認識し、適切な指導メッセージを提供してください。現在のユーザの感情は焦りです。リラックス効果のあるアドバイスを生成してください。」が挙げられる。

応用例２における特定処理の流れについて図１４を用いて説明する。

ステップ1：

端末がユーザの周囲環境をカメラで撮影する。撮影された画像データはインターネットを介してサーバに送信される。このステップの入力はカメラで取得した画像データであり、出力は解析のためのサーバへの転送である。

ステップ2：

サーバが受信した画像データを機械学習モデルを用いて解析し、物体の識別を行う。識別されたデータは、リアルタイムでユーザに表示するための指針として整形される。このステップの入力はサーバに送信された画像データであり、出力は物体識別結果である。

ステップ3：

端末が感情認識機能を用いて、ユーザの表情を解析する。解析結果はユーザの感情状態を反映したデータとしてサーバに送信される。このステップの入力はユーザの表情データであり、出力は感情解析結果である。

ステップ4：

サーバが感情解析結果と物体識別結果を組み合わせ、ユーザの感情状態に応じた安心感を与える助言を生成する。生成された助言は端末に送信され、ユーザに表示される。このステップの入力は感情解析結果と物体識別結果であり、出力はユーザへの助言メッセージである。

ステップ5：

ユーザは、端末に表示された指針や助言に従って作業を行うことができる。作業状態や感情の変化に応じて、再度データを取得し、ステップ1からの処理を繰り返す。これにより、ユーザは継続的にサポートを受けながら作業を進めることが可能となる。

特定処理部２９０は、特定処理の結果をヘッドセット型端末３１４に送信する。ヘッドセット型端末３１４では、制御部４６Ａが、スピーカ２４０及びディスプレイ３４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ヘッドセット型端末３１４によって特定処理が行われるようにしてもよい。

［第４実施形態］

図７には、第４実施形態に係るデータ処理システム４１０の構成の一例が示されている。

図７に示すように、データ処理システム４１０は、データ処理装置１２及びロボット４１４を備えている。データ処理装置１２の一例としては、サーバが挙げられる。

データ処理装置１２は、コンピュータ２２、データベース２４、及び通信Ｉ／Ｆ２６を備えている。コンピュータ２２は、本開示の技術に係る「コンピュータ」の一例である。コンピュータ２２は、プロセッサ２８、ＲＡＭ３０、及びストレージ３２を備えている。プロセッサ２８、ＲＡＭ３０、及びストレージ３２は、バス３４に接続されている。また、データベース２４及び通信Ｉ／Ｆ２６も、バス３４に接続されている。通信Ｉ／Ｆ２６は、ネットワーク５４に接続されている。ネットワーク５４の一例としては、ＷＡＮ（Wide Area Network）及び／又はＬＡＮ（Local Area Network）等が挙げられる。

ロボット４１４は、コンピュータ３６、マイクロフォン２３８、スピーカ２４０、カメラ４２、通信Ｉ／Ｆ４４、及び制御対象４４３を備えている。コンピュータ３６は、プロセッサ４６、ＲＡＭ４８、及びストレージ５０を備えている。プロセッサ４６、ＲＡＭ４８、及びストレージ５０は、バス５２に接続されている。また、マイクロフォン２３８、スピーカ２４０、カメラ４２、及び制御対象４４３も、バス５２に接続されている。

マイクロフォン２３８は、ユーザ２０が発する音声を受け付けることで、ユーザ２０から指示等を受け付ける。マイクロフォン２３８は、ユーザ２０が発する音声を捕捉し、捕捉した音声を音声データに変換してプロセッサ４６に出力する。スピーカ２４０は、プロセッサ４６からの指示に従って音声を出力する。

カメラ４２は、レンズ、絞り、及びシャッタ等の光学系と、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサ又はＣＣＤ（Charge Coupled Device）イメージセンサ等の撮像素子とが搭載された小型デジタルカメラであり、ユーザ２０の周囲（例えば、一般的な健常者の視界の広さに相当する画角で規定された撮像範囲）を撮像する。

通信Ｉ／Ｆ４４は、ネットワーク５４に接続されている。通信Ｉ／Ｆ４４及び２６は、ネットワーク５４を介してプロセッサ４６とプロセッサ２８との間の各種情報の授受を司る。通信Ｉ／Ｆ４４及び２６を用いたプロセッサ４６とプロセッサ２８との間の各種情報の授受はセキュアな状態で行われる。

制御対象４４３は、表示装置、目部のＬＥＤ、並びに、腕、手及び足等を駆動するモータ等を含む。ロボット４１４の姿勢や仕草は、腕、手及び足等のモータを制御することにより制御される。ロボット４１４の感情の一部は、これらのモータを制御することにより表現できる。また、ロボット４１４の目部のＬＥＤの発光状態を制御することによっても、ロボット４１４の表情を表現できる。

図８には、データ処理装置１２及びロボット４１４の要部機能の一例が示されている。図８に示すように、データ処理装置１２では、プロセッサ２８によって特定処理が行われる。ストレージ３２には、特定処理プログラム５６が格納されている。

特定処理プログラム５６は、本開示の技術に係る「プログラム」の一例である。プロセッサ２８は、ストレージ３２から特定処理プログラム５６を読み出し、読み出した特定処理プログラム５６をＲＡＭ３０上で実行する。特定処理は、プロセッサ２８がＲＡＭ３０上で実行する特定処理プログラム５６に従って、特定処理部２９０として動作することによって実現される。

ストレージ３２には、データ生成モデル５８及び感情特定モデル５９が格納されている。データ生成モデル５８及び感情特定モデル５９は、特定処理部２９０によって用いられる。

ロボット４１４では、プロセッサ４６によって受付出力処理が行われる。ストレージ５０には、受付出力プログラム６０が格納されている。プロセッサ４６は、ストレージ５０から受付出力プログラム６０を読み出し、読み出した受付出力プログラム６０をＲＡＭ４８上で実行する。受付出力処理は、プロセッサ４６がＲＡＭ４８上で実行する受付出力プログラム６０に従って、制御部４６Ａとして動作することによって実現される。

次に、データ処理装置１２の特定処理部２９０による特定処理について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

本発明は、初心者が活動に参加しやすくし、学習を進めるためのシステムである。このシステムは、ユーザが自身の能力に応じた段階を登録し、各段階に適したサポートを受けることを可能にする。

サーバは、ユーザがアプリケーションを通じて登録する能力情報を受信し、ユーザごとのプロフィールをデータベースに保存する。このプロファイルに基づいて、適切な指導やサポートを提供することができる。ユーザが対局を開始すると、端末がカメラを用いて場面や物品を撮影する。この画像データは圧縮され、サーバに送信される。

サーバは、受信した画像データを機械学習モデルを使用して解析し、物品や状況を識別する。識別結果に基づき、ユーザに対する適切な指針を生成し、端末に情報を返送する。この情報は、例えば牌の役や次に行うべきアクションの提案として端末のインターフェース上に表示される。

さらに、サーバはユーザが上がりを行った場合に、再度の画像データを受け取り、計算装置を用いて数値の算出、すなわち得点の精密な計算を行う。この得点情報も端末に送信され、ユーザは結果を確認することができる。

活動が終了した後、サーバはユーザの行動データを詳細に分析し、分析装置による行動の評価を実施する。評価結果は、ユーザに学習の助言として提示され、今後の改善点や戦略的有効性について簡潔にまとめられる。

具体例として、ユーザがある局面で困難を感じている場合、サーバからの助言として特定の牌を捨てることや、役を狙う方向性についてのアドバイスが提供される。このようにして、ユーザは実際に活動する中でリアルタイムなサポートを受けながら成長できる仕組みである。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自分の能力レベルを選択する。端末がこの情報を受け取り、サーバに送信する。サーバは受信したユーザの能力情報をデータベースに保存し、ユーザのプロファイルを構築する。

ステップ２：

ユーザが活動を開始した際に、端末のカメラを使って場面や関連する物品を撮影する。端末が撮影した画像を圧縮し、サーバに送信する。サーバは画像データを受信し、機械学習モデルを用いて画像の物品を解析し、識別する。

ステップ３：

サーバが解析結果を基に、ユーザに対する指針やアドバイスを生成する。識別された情報とユーザの能力レベルに応じた指針はサーバから端末に送信される。端末はこの情報をユーザに視覚的に提示し、次に行うべき行動の選択を支援する。

ステップ４：

ユーザが活動中に得点が発生した場合、再度手牌や場の物品を撮影し、画像をサーバに送信する。サーバはこの情報を基に得点を計算し、計算結果を端末に送信する。端末は計算された得点をユーザに表示する。

ステップ５：

活動終了後、サーバがユーザの行動ログを分析する。サーバは行動の評価を行い、改善の素地を提供するための学習の助言を生成する。生成された助言や評価結果は端末に送信され、ユーザはこれを受けて次回の活動を改善するヒントとして活用する。

（実施例１）

次に、実施例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

従来の学習支援システムは、ユーザの個々の能力に応じたリアルタイムな指針提供が難しく、また対局や活動中における具体的なサポートが不足しているという課題があった。さらに、ユーザが自身のスキルを向上させるための具体的な助言を得るための仕組みが不十分であった。

実施例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で場面を撮影し、撮影したデータを圧縮する手段と、圧縮された画像データを基に生成AIモデルを用いて物品および状況の識別を行う手段と、を含む。これにより、ユーザの能力に応じた個別化された指針をリアルタイムで提供し、ユーザのスキル向上に対する具体的な助言が可能となる。

「情報処理装置」とは、ユーザが登録する能力情報を受信し、段階に応じてデータの管理や処理を行う装置である。

「画像撮影装置」とは、場面や物品を撮影し、このデータを解析のために使用するための装置である。

「圧縮」とは、画像データの容量を削減し、効率的に送信および処理を行うためのデータ処理技術である。

「生成AIモデル」とは、受信したデータを解析し、物品や状況を識別するために使用される人工知能の一種である。

「識別」とは、解析したデータから物品や状況の特定と分類を行うプロセスである。

「指針」とは、ユーザが行動を決定する際の参考となる情報や助言を提供するものである。

「数値の精密な算出」とは、ユーザの行動結果に基づいて、詳細な数値データを計算することである。

「解析装置」とは、ユーザの行動データを分析し、その結果に基づいた評価を行うための装置である。

「ユーザインターフェース」とは、ユーザがシステムと対話する際の操作画面や入力手段を提供する仕組みである。

「戦術的な提案」とは、ユーザがより効果的に課題を解決するための戦略的なアドバイスを提供することである。

このシステムは、ユーザが個々の能力に応じた段階を登録し、適切なサポートを受けながらスキルを向上させることを目的としている。そして、ユーザの行動や状況に応じたリアルタイムでの指針提供を特徴とする。

サーバは、ユーザからの能力情報を受信し、情報処理装置を使用してデータベースに記録する。このデータベースシステムは、一般的なデータベース管理ソフトウェアであるSQLデータベースを使用することができる。

端末は、ユーザが活動を開始すると、その状況をカメラを用いて撮影する。この画像データは、JPEG形式などの圧縮技術を用いてデータ量を抑えた形でサーバに送信される。画像撮影には、端末の内蔵カメラもしくは外部接続カメラを活用することができる。

サーバは、受信した画像を生成AIモデルを用いて解析する。このAIモデルとしてはTensorFlowやPyTorchといった一般的な機械学習フレームワークが想定される。このモデルを使用して、撮影された物品や状況の識別を行い、ユーザに対する指針を生成する。

生成された指針は、サーバから端末に送信され、端末はユーザに対してアクションを示すインターフェースを通じて指針を表示する。これにより、ユーザはリアルタイムでのサポートを受けることができ、ゲームの進行や学習を効率的に進めることができる。

さらに、ユーザが行動を完了した際には、端末は再度シーンを撮影し、その画像データをサーバに送信する。この段階で、サーバは計算装置を活用して得点を精密に計算し、該当するフィードバックをユーザに提供する。

活動終了後、サーバはユーザの行動データを詳細に分析し、その結果を基に学習のための助言を提供する。この分析には、専用の解析ツールやプログラムを用いることができる。

具体例として、ユーザが麻雀ゲームで困難に直面した場合、システムは特定の牌を捨てることや狙うべき役についてのアドバイスを提示する。このようにすることで、ユーザは実際のゲームプレイを通じてスキルを徐々に向上させることが可能である。

プロンプト文の例としては、「麻雀ゲームに参加している初心者ユーザで、現状の手札に基づいて次に捨てるべき牌と狙うべき役を提案してください。」が挙げられる。

実施例１における特定処理の流れについて図１１を用いて説明する。

ステップ１：

ユーザは、アプリケーションを通じて自身の能力情報を入力し、端末によってこの情報は情報処理装置に一時的に保存される。入力されたデータは、ユーザの経験や得意なスキルに関するものであり、端末はこの情報を確認しサーバに送信する。サーバは、入力として受け取った能力情報を使用してデータベースに新しいユーザプロファイルを登録する。出力は、ユーザごとの個別プロファイルとなる。

ステップ２：

ユーザが対局を開始すると、端末は内蔵カメラを起動し、リアルタイムで場面の画像を撮影する。この撮影された画像データは、端末でJPEG形式に圧縮される。入力としては、カメラを通じて取得された生の画像データがあり、データ加工として圧縮が行われる。出力は、圧縮された画像データであり、これをサーバに送信する。

ステップ３：

サーバは、端末から受信した圧縮画像データを入力として受け取り、生成AIモデルを使用してこの画像を解析する。解析を通じて、物品（例：牌や囲碁の石）や状況が識別される。機械学習モデルが画像の特徴を抽出し、識別結果を生成する。この出力は、識別された物品や状況の情報である。

ステップ４：

サーバは、識別結果をもとに適切な指針を生成する。プロンプトとしての入力は、「この状況下での最適なアクションは何か？」といった問いかけである。生成AIモデルは、識別結果を参照し戦術的な提案を形成する。出力は、具体的なアクションや戦略の提案であり、これを端末に送信する。

ステップ５：

端末は、サーバから受け取った指針情報をユーザインターフェース上に表示する。入力は、サーバからの指針データであり、動作として画面上への表示処理を行う。出力は、ユーザに対する視覚的な指導やアドバイスの形で提供される。ユーザはこれを参考にし対局を進行させる。

ステップ６：

ユーザが対局で上がりを行った際、端末は再度シーンを撮影し、そのデータをサーバに送信する。この入力データを元に、サーバは計算装置を利用して得点の精密な計算を行う。データ演算としては数値の加算や乗算が行われ、得点としての出力を生成する。

ステップ７：

対局が終了した後、サーバはユーザの行動データを詳細に分析する。入力は、対局中のすべての行動記録であり、分析装置がこれを処理して行動パターンと改善点を特定する。出力は、改善点や戦略の有効性について記載された学習の助言である。サーバはこれを端末に送り、ユーザに提示する。

（応用例１）

次に、応用例１について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

初心者の被雇用者が工場の作業環境において効率的かつ迅速に作業内容を習得するには、従来の指導方法では時間と労力がかかることが多い。また、リアルタイムで適切な作業指示を受けられないためにミスが発生し、生産効率に影響が出るという課題がある。

応用例１におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの技能に応じた段階を登録する手段と、映像取得装置で取得された物体の情報を取得する手段と、視覚表示装置により作業指示をリアルタイムで提供する手段と、を含む。これにより、工場作業者が迅速かつ正確に作業手順を理解し、効率的に作業を行うことが可能となる。

「情報処理装置」とは、ユーザの技能に応じた段階を登録し、管理するための装置である。

「映像取得装置」とは、物体の情報を取得し、その情報を他のシステムコンポーネントに送信するための装置である。

「機械学習モデル」とは、取得された情報を解析し、物体を識別するために用いられるアルゴリズムおよびモデルである。

「指針を提供する手段」とは、識別された情報に基づいてユーザに適切な指示やアドバイスを提供するための手段である。

「計算装置」とは、数値の算出を行い、識別結果やユーザのパフォーマンスに関する計量を行う装置である。

「分析装置」とは、ユーザの行動を評価し、その結果に基づいて助言を生成するための装置である。

「視覚表示装置」とは、作業指示をリアルタイムで表示し、ユーザに必要な情報を視覚的に提供する装置である。

この発明を実施するためには、まず、情報処理装置を使用してユーザの技能レベルを登録する必要がある。この登録された技能情報はサーバに保存され、後の作業指示生成に利用される。ユーザの持つ端末には、映像取得装置としてのカメラが搭載されており、作業環境内の物体を撮影し、その画像データをサーバに送信する。

サーバは、受信した画像データを解析するために機械学習モデルを利用する。この解析プロセスには、TensorFlowやPyTorchといった機械学習フレームワークが使用される。解析によって得られた識別情報を基に、指針を生成し、ユーザの視覚表示装置であるスマート眼鏡に作業指示を表示する。この視覚表示装置としては、Google GlassやMicrosoft HoloLensが具体的に使用されることが想定される。

分析装置は、ユーザの行動とその結果を評価する役割を持っている。評価の結果、ユーザに対する学習の助言が提供される。この助言はサーバから端末に送信され、ユーザは成長と改善の方向性を把握できる。

具体例として、ユーザが工場の組み立てラインで作業を行う際に、スマート眼鏡が部品の正しい設置位置をリアルタイムで指示することがある。これにより、ユーザは直感的に次のステップを理解し、ミスを減らすことができる。生成AIモデルに対するプロンプト文の例として、「工場作業者が効率的に学ぶためのステップバイステップの指示を生成してください」が挙げられる。

応用例１における特定処理の流れについて図１２を用いて説明する。

ステップ１：

端末がカメラを使用して工場の作業環境を撮影する。入力は、カメラのセンサーが捉えたリアルタイムの画像データである。出力は、この画像データをデジタル形式で端末が取得することである。

ステップ２：

端末が取得した画像データを圧縮し、サーバに送信する。入力は、端末に保存された画像データである。出力は、圧縮された画像ファイルがサーバに転送されることである。

ステップ３：

サーバが受信した画像データを解析するために機械学習モデルを使用する。入力は、サーバに届いた圧縮済みの画像データである。このデータを解凍し、TensorFlowやPyTorchを利用してモデルが物体を識別する。出力は、識別された物体の情報である。

ステップ４：

サーバが識別結果に基づいて作業指示を生成し、端末に送信する。入力は、識別された物体情報およびユーザの技能データである。生成された指示はプロンプト文を参考にし、作業フローの次のステップを決定する。出力は、端末に送られる具体的な作業指示である。

ステップ５：

端末が視覚表示装置を通じてユーザに作業指示を表示する。入力は、サーバから送信された作業指示データである。出力は、ユーザの視界に表示される作業指示である。表示内容としては、部品の取り付け位置や工程の順序などが含まれる。

ステップ６：

ユーザが指示に従って作業を行い、その結果を端末で記録する。入力は、ユーザの作業パフォーマンスおよびアクションである。出力は、その結果をデータ形式で端末に記録することである。

ステップ７：

サーバがユーザの作業結果を分析し、評価を行う。入力は、端末から送信された作業結果データである。このデータを用いて、サーバは分析装置を稼働させ、ユーザの行動を評価する。出力は、ユーザに対するフィードバックおよび学習の助言である。

なお、更に、ユーザの感情を推定する感情エンジンを組み合わせてもよい。すなわち、特定処理部２９０は、感情特定モデル５９を用いてユーザの感情を推定し、ユーザの感情を用いた特定処理を行うようにしてもよい。

本発明は、ユーザが実際の活動に参加する際のサポートを提供し、またその過程での学習を促進するシステムに関するものである。このシステムには、感情エンジンを組み合わせることで、ユーザの感情状態を認識し、それに応じた指針や助言を動的に調整する機能が追加されている。

サーバは、ユーザの能力段階を最初に登録し、ユーザの行動データや活動をもとに、適切な支援プログラムを提供するためにデータベースを構築する。ユーザが活動を行っている最中、端末のカメラを使用して場面や物品を撮影する。この撮影データはリアルタイムでサーバに送信される。

サーバは画像データを解析し、機械学習モデルによって物品の識別を行う。識別された情報はユーザに指針として提供され、端末に表示される。この表示は、ユーザが次にとるべき行動や選択をサポートするものである。

さらに、システムは感情エンジンを搭載しており、端末がユーザの顔などを解析して感情状態を認識する。この感情データはサーバに送信され、サーバは感情情報と物品識別結果を組み合わせて、ユーザに対する指針や助言を調整する。具体的には、ユーザが焦りを感じていると感情エンジンが判断した場合、サーバはより安心感を与えるようなアドバイスを生成する。

例えば、ユーザが活動中に失敗し不安を感じているとき、感情エンジンがこれを検知する。サーバは、その感情データをもとに、優先的に簡単に達成できる次の行動指針を提示し、ユーザの動機づけを支援する。これにより、ユーザは自分の感情状態に応じて最適化されたサポートを受けられ、活動に継続して取り組むことが可能となる。

このように、本発明はユーザの感情状態を考慮に入れることで、よりパーソナライズされた指導とサポートを提供し、ユーザが活動を円滑に行うための体験を向上させるシステムを実現する。

以下に、処理の流れについて説明する。

ステップ１：

ユーザがアプリケーションを起動し、自身の麻雀能力レベルを選択して登録する。端末がこの情報を受け取り、サーバへ送信する。サーバは受信したユーザ情報をデータベースに保存し、適切なサポート内容を決定するための基準とする。

ステップ２：

ユーザが対局を開始し、場面や手牌を端末のカメラで撮影する。撮影された画像データは自動的にサーバに送信される。サーバは画像データを取得し、機械学習モデルにより牌の識別を行う。この識別により得られた情報は、ユーザに対するサポートの指針作成に利用される。

ステップ３：

端末がユーザの感情状態を把握するために、端末のカメラを使用してユーザの表情データを撮影する。端末は表情データを感情エンジンにかけて解析し、ユーザの感情状態を認識する。例えば、ユーザが不安を感じている場合、感情データとして「不安」をサーバに送信する。

ステップ４：

サーバは識別された牌情報と感情データの両方を用いて、ユーザへの指針や助言を生成する。もしユーザが不安を示していれば、サーバはその状況に合った安心感を与えるアドバイスを生成する。生成された情報は、ユーザ体験を最適化するために必要な調整を含む。

ステップ５：

サーバから生成された指針や助言が端末に送信され、端末はそれをユーザに表示する。ユーザは指針を参考に次の行動を決定することができる。具体例として、サーバが提示する指針として、「リスクの低い打牌を選択してください」というようなアドバイスが表示される場合がある。

ステップ６：

対局が終了すると、サーバはユーザの行動ログと感情変化の履歴を分析する。サーバはこれらのデータをもとに、ユーザが次の対局でより良い結果を出すための個別の学習助言を提供する。端末はこのフィードバックをユーザに表示し、学習の振り返りとして役立てる。

この一連のステップにより、システムはユーザの感情や認識結果に応じてパーソナライズされたサポートを提供し、ユーザが快適に活動を行える環境を構築する。

（実施例２）

次に、実施例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

従来の支援システムでは、ユーザの個々の能力状態や感情状態を考慮した動的な指導を提供することが困難であった。また、これにより、ユーザが受ける支援が一般的かつ画一的となり、個別のニーズに応じたパーソナライズされた支援が実現しにくいという問題があった。この課題を解決し、ユーザの活動をより効果的にサポートするシステムを提供することが求められている。

実施例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理手段で利用者の能力状態を登録する手段と、撮影装置で撮影された対象物の情報を取得する手段と、取得した情報を基に学習モデルを用いて対象物の識別を行う手段と、感情解析機能により利用者の感情を認識する手段と、感情情報と識別結果を組み合わせて指導を調整する手段と、を含む。これにより、ユーザに対してパーソナライズされた動的な指導と助言をリアルタイムで提供することが可能となる。

「情報処理手段」とは、ユーザの能力や状態をデータベースに登録し、後にその情報を基に個別の指示や支援を提供するための装置やプロセスである。

「撮影装置」とは、対象物の映像や画像を取得し、それらの情報を解析装置に送信するためのハードウェアである。

「学習モデル」とは、機械学習技術を利用して、入力されたデータから対象物を識別し、特徴や構造を解析するためのソフトウェアまたはアルゴリズムである。

「感情解析機能」とは、ユーザの表情や声色などから感情状態を認識し、データ化して分析や指導に活用するための技術である。

「指導を調整する手段」とは、ユーザの能力状態や感情状態に基づいて、適切な指示や助言を動的に生成し、パーソナライズされたサポートを提供するためのシステム機能である。

この発明は、ユーザが活動中において個別のニーズに合わせた支援を受けられるように、動的に指導を調整するシステムを提供するものである。このシステムは、サーバ、端末、及びユーザの相互作用によって構成される。

サーバは、情報処理手段を用いて、ユーザがシステムを初めて利用する際に、その能力状態を登録する。この情報は、データベースに保存され、ユーザに対する個別の指導や助言を生成する基礎データとして活用される。

端末は、撮影装置としての機能を持ち、ユーザの活動中における場面や物品を撮影する。この撮影には、一般的なスマートフォンやタブレットが使用される。撮影されたデータは、リアルタイムでサーバに送信される。

サーバは、機械学習技術を活用した学習モデルを用い、送信された画像データを解析する。この解析には、TensorFlowやPyTorchなどのライブラリを使用することができる。解析の結果、識別された物品の情報が得られ、これを基にユーザに次の行動へのガイドラインが提供される。

さらに、端末には感情解析機能が搭載されており、ユーザの顔の表情を解析することで感情状態を認識する。この感情データもサーバに送信され、物品識別結果と組み合わせてユーザに対する指導が調整される。感情解析には、表情認識ソフトウェアや音声解析技術が使用されることがある。

具体例として、料理を学ぶユーザを考える。ユーザが新しいレシピに挑戦する際に、端末がその様子を撮影してサーバに送信する。サーバは、材料の不足や調理手順の誤りを検出し、適切な指示を端末に送る。また、感情解析によりユーザが不安を感じている場合、「次はこのステップをゆっくり行ってみましょう」といった安心感のあるメッセージをユーザに提供する。

生成AIモデルにプロンプト文を入力する際の例としては、以下のようなものがある：

「ユーザは料理中で、現在の感情状態は不安です。ユーザが安心して次のステップに進めるような指針を考えてください。」

このプロンプト文により、生成AIモデルはユーザの感情や活動状態に応じた適切な助言を生成することが可能となる。

実施例２における特定処理の流れについて図１３を用いて説明する。

ステップ1：

ユーザがシステムにアクセスすると、サーバは情報処理手段を使用してユーザの能力状態を入力として取得する。この情報はデータベースに保存され、後に個別指導の基礎データとして利用される。具体的な動作として、ユーザが初期設定画面で自身のスキルや目標を入力することが求められる。

ステップ2：

ユーザが特定の活動を開始すると、端末が撮影装置としての機能を活用し、ユーザの現場や物品の映像データをリアルタイムでサーバに送信する。この処理では、カメラが撮影した映像が入力となり、それがデジタルデータとしてサーバに出力される。具体的な動作では、料理中のユーザの手元を端末が継続的に撮影する。

ステップ3：

サーバは、撮影された画像データを入力として受信し、学習モデルを用いて物品の解析と識別を行う。このプロセスでは、機械学習アルゴリズムがデータ加工を行い、識別された物品やその状態が出力される。具体的には、TensorFlowが調理中の食材を解析し、それが何であるかを識別する。

ステップ4：

端末には感情解析機能が備わっており、ユーザの表情や声色を入力として解析し、感情状態をデータとして出力する。このデータはサーバに送信され、物品識別の結果と組み合わせて指導を調整するために使用される。具体的には、ユーザの表情が不安を示しているかどうかを解析する。

ステップ5：

サーバは、物品識別結果と感情データを入力として受け取り、その情報を基に生成AIモデルで有用なアドバイスを生成する。このプロセスでは、生成AIモデルにプロンプト文を入力し、パーソナライズされた助言が出力される。具体例として、「次のステップをゆっくりと行ってみましょう」というアドバイスを生成する。

ステップ6：

最終的に、生成された指導や助言は端末を通じてユーザに提供される。端末は、サーバから受け取ったアドバイスを画面に表示し、ユーザが次に踏むべきステップを明晰に確認できるようにする。具体的な動作としては、端末のディスプレイにガイドラインやメッセージがリアルタイムに表示される。

（応用例２）

次に、応用例２について説明する。以下の説明では、データ処理装置１２を「サーバ」と称し、ロボット４１４を「端末」と称する。

工場内で作業者が効率的に作業を遂行しながら、ストレスや不安を軽減し、パフォーマンスを最適化することが求められている。また、作業中に発生するミスやトラブルを迅速に補正し、作業者の学習効果を向上させる必要がある。これらの課題を解決するため、作業者の感情状態を正確に把握し、適切な指導を提供するシステムの開発が求められる。

応用例２におけるデータ処理装置１２の特定処理部２９０による特定処理を、以下の各手段により実現する。

この発明では、サーバは、情報処理装置でユーザの能力に応じた段階を登録する手段と、画像撮影装置で撮影された物体の情報を取得する手段と、取得した情報を基に機械学習モデルを用いて物体の識別を行う手段と、測定装置で感情状態を解析する手段と、解析結果に基づいて安心感を与える助言を生成する手段と、評価結果及び感情データに基づいて学習の助言を提供する手段と、を含む。これにより、作業者の作業効率を高めつつ、感情状態に応じた適切な指導を提供し、作業者が安心して作業を続けられる環境を実現することが可能となる。

「情報処理装置」とは、ユーザの能力段階をデータベースに登録するための電子機器である。

「画像撮影装置」とは、物体の画像データを取得するための装置であり、カメラなどを含む。

「機械学習モデル」とは、取得したデータを用いて物体を識別するためのアルゴリズムや統計的手法を指す。

「測定装置」とは、ユーザの顔や表情を解析し感情状態を把握するためのセンサーを備えた装置である。

「安心感を与える助言」とは、ユーザの感情解析結果に基づいて生成され、ユーザがリラックスし作業に集中できるように設計された指示や勧告である。

「評価結果」とは、行動を分析した結果得られるデータであり、ユーザのパフォーマンスや成功度合いを示す指標である。

「感情データ」とは、ユーザの感情状態を数値やカテゴリで表現したデータを指す。

「学習の助言」とは、ユーザの能力向上を促進するために提供される指導や指針である。

この発明は、工場内の作業者を支援するためのシステムとして実施される。サーバは、情報処理装置、画像撮影装置、測定装置などの各種ハードウェアを連携し、感情認識を含む高度なデータ解析を行う。まず、情報処理装置がユーザの能力段階を登録し、個々の作業者に応じたカスタマイズを行う。

端末、ここではスマート眼鏡が提供する視覚情報を通じて、作業者の周囲環境をリアルタイムで撮影し、その画像データをサーバに送信する。このデータは機械学習モデル（例：TensorFlowなど）を用いて解析され、物体の識別が行われる。その後、端末に適切な指針や作業指示が表示される。

一方、測定装置によって作業者の表情を解析し、感情状態をリアルタイムで把握する。解析結果は、感情エンジンを通じてサーバに送信される。サーバは、感情状態と物体識別の結果に基づき、安心感を与える助言を生成する。この助言は、作業者が作業中に感じるストレスを軽減し、より効率的に作業を進められるよう支援する。

例えば、新人オペレーターが組み立てラインで初めての作業に従事する際、スマート眼鏡が適切な部品を自動的に認識し、その組み立て手順を視界に表示する。焦りやストレスを感じている場合、サーバから「ゆっくり丁寧に進めてみましょう」といった励ましのメッセージが送信される。

この発明では、感情状態を考慮した指導が可能となり、作業者が安心してスムーズに作業に取り組むことができる利点がある。プロンプト文の例としては、「ユーザの感情状態を認識し、適切な指導メッセージを提供してください。現在のユーザの感情は焦りです。リラックス効果のあるアドバイスを生成してください。」が挙げられる。

応用例２における特定処理の流れについて図１４を用いて説明する。

ステップ1：

端末がユーザの周囲環境をカメラで撮影する。撮影された画像データはインターネットを介してサーバに送信される。このステップの入力はカメラで取得した画像データであり、出力は解析のためのサーバへの転送である。

ステップ2：

サーバが受信した画像データを機械学習モデルを用いて解析し、物体の識別を行う。識別されたデータは、リアルタイムでユーザに表示するための指針として整形される。このステップの入力はサーバに送信された画像データであり、出力は物体識別結果である。

ステップ3：

端末が感情認識機能を用いて、ユーザの表情を解析する。解析結果はユーザの感情状態を反映したデータとしてサーバに送信される。このステップの入力はユーザの表情データであり、出力は感情解析結果である。

ステップ4：

サーバが感情解析結果と物体識別結果を組み合わせ、ユーザの感情状態に応じた安心感を与える助言を生成する。生成された助言は端末に送信され、ユーザに表示される。このステップの入力は感情解析結果と物体識別結果であり、出力はユーザへの助言メッセージである。

ステップ5：

ユーザは、端末に表示された指針や助言に従って作業を行うことができる。作業状態や感情の変化に応じて、再度データを取得し、ステップ1からの処理を繰り返す。これにより、ユーザは継続的にサポートを受けながら作業を進めることが可能となる。

特定処理部２９０は、特定処理の結果をロボット４１４に送信する。ロボット４１４では、制御部４６Ａが、スピーカ２４０及び制御対象４４３に対して特定処理の結果を出力させる。マイクロフォン２３８は、特定処理の結果に対するユーザ入力を示す音声を取得する。制御部４６Ａは、マイクロフォン２３８によって取得されたユーザ入力を示す音声データをデータ処理装置１２に送信する。データ処理装置１２では、特定処理部２９０が音声データを取得する。

データ生成モデル５８は、いわゆる生成系ＡＩ（Artificial Intelligence）である。データ生成モデル５８の一例としては、ＣｈａｔＧＰＴ（インターネット検索＜URL: https://openai.com/blog/chatgpt＞）、Ｇｅｍｉｎｉ（インターネット検索＜URL: https://gemini.google.com/?hl=ja＞）等の生成ＡＩが挙げられる。データ生成モデル５８は、ニューラルネットワークに対して深層学習を行わせることによって得られる。データ生成モデル５８には、指示を含むプロンプトが入力され、かつ、音声を示す音声データ、テキストを示すテキストデータ、及び画像を示す画像データ等の推論用データが入力される。データ生成モデル５８は、入力された推論用データをプロンプトにより示される指示に従って推論し、推論結果を音声データ及びテキストデータ等のデータ形式で出力する。ここで、推論とは、例えば、分析、分類、予測、及び／又は要約等を指す。

上記実施形態では、データ処理装置１２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、ロボット４１４によって特定処理が行われるようにしてもよい。

なお、感情エンジンとしての感情特定モデル５９は、特定のマッピングに従い、ユーザの感情を決定してよい。具体的には、感情特定モデル５９は、特定のマッピングである感情マップ（図９参照）に従い、ユーザの感情を決定してよい。また、感情特定モデル５９は、同様に、ロボットの感情を決定し、特定処理部２９０は、ロボットの感情を用いた特定処理を行うようにしてもよい。

図９は、複数の感情がマッピングされる感情マップ４００を示す図である。感情マップ４００において、感情は、中心から放射状に同心円に配置されている。同心円の中心に近いほど、原始的状態の感情が配置されている。同心円のより外側には、心境から生まれる状態や行動を表す感情が配置されている。感情とは、情動や心的状態も含む概念である。同心円の左側には、概して脳内で起きる反応から生成される感情が配置されている。同心円の右側には概して、状況判断で誘導される感情が配置されている。同心円の上方向及び下方向には、概して脳内で起きる反応から生成され、かつ、状況判断で誘導される感情が配置されている。また、同心円の上側には、「快」の感情が配置され、下側には、「不快」の感情が配置されている。このように、感情マップ４００では、感情が生まれる構造に基づいて複数の感情がマッピングされており、同時に生じやすい感情が、近くにマッピングされている。

これらの感情は、感情マップ４００の３時の方向に分布しており、普段は安心と不安のあたりを行き来する。感情マップ４００の右半分では、内部的な感覚よりも状況認識の方が優位に立つため、落ち着いた印象になる。

感情マップ４００の内側は心の中、感情マップ４００の外側は行動を表すため、感情マップ４００の外側に行くほど、感情が目に見える（行動に表れる）ようになる。

ここで、人の感情は、姿勢や血糖値のような様々なバランスを基礎としており、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示す。ロボットや自動車やバイク等においても、姿勢やバッテリー残量のような様々なバランスを基礎として、それらのバランスが理想から遠ざかると不快、理想に近づくと快という状態を示すように感情を作ることができる。感情マップは、例えば、光吉博士の感情地図（音声感情認識及び情動の脳生理信号分析システムに関する研究、徳島大学、博士論文：https://ci.nii.ac.jp/naid/500000375379）に基づいて生成されてよい。感情地図の左半分には、感覚が優位にたつ「反応」と呼ばれる領域に属する感情が並ぶ。また、感情地図の右半分には、状況認識が優位にたつ「状況」と呼ばれる領域に属する感情が並ぶ。

感情マップでは学習を促す感情が２つ定義される。１つは、状況側にあるネガティブな「懺悔」や「反省」の真ん中周辺の感情である。つまり、「もう２度とこんな想いはしたくない」「もう叱られたくない」というネガティブな感情がロボットに生じたときである。もう１つは、反応側にあるポジティブな「欲」のあたりの感情である。つまり、「もっと欲しい」「もっと知りたい」というポジティブな気持ちのときである。

感情特定モデル５９は、ユーザ入力を、予め学習されたニューラルネットワークに入力し、感情マップ４００に示す各感情を示す感情値を取得し、ユーザの感情を決定する。このニューラルネットワークは、ユーザ入力と、感情マップ４００に示す各感情を示す感情値との組み合わせである複数の学習データに基づいて予め学習されたものである。また、このニューラルネットワークは、図１０に示す感情マップ９００のように、近くに配置されている感情同士は、近い値を持つように学習される。図１０では、「安心」、「安穏」、「心強い」という複数の感情が、近い感情値となる例を示している。

以上、本開示に係るシステムをデータ処理装置１２の機能を主として説明したが、本開示に係るシステムはサーバに実装されているとは限らない。本開示に係るシステムは、一般的な情報処理システムとして実装されていてもよい。本開示は、例えば、パーソナルコンピュータで動作するソフトウェアプログラム、スマートフォン等で動作するアプリケーションとして実装されてもよい。本開示に係る方法はSaaS(Software as a Service)形式でユーザに対して提供されてもよい。

上記実施形態では、１台のコンピュータ２２によって特定処理が行われる形態例を挙げたが、本開示の技術はこれに限定されず、コンピュータ２２を含めた複数のコンピュータによる特定処理に対する分散処理が行われるようにしてもよい。例えば、データ生成モデル５８が、データ処理装置１２の外部装置に設けられ、当該外部装置において、入力データに応じたデータの生成を行うようにしてもよい。

上記実施形態では、ストレージ３２に特定処理プログラム５６が格納されている形態例を挙げて説明したが、本開示の技術はこれに限定されない。例えば、特定処理プログラム５６がＵＳＢ（Universal Serial Bus）メモリなどの可搬型のコンピュータ読み取り可能な非一時的格納媒体に格納されていてもよい。非一時的格納媒体に格納されている特定処理プログラム５６は、データ処理装置１２のコンピュータ２２にインストールされる。プロセッサ２８は、特定処理プログラム５６に従って特定処理を実行する。

また、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６を格納させておき、データ処理装置１２の要求に応じて特定処理プログラム５６がダウンロードされ、コンピュータ２２にインストールされるようにしてもよい。

なお、ネットワーク５４を介してデータ処理装置１２に接続されるサーバ等の格納装置に特定処理プログラム５６の全てを格納させておいたり、ストレージ３２に特定処理プログラム５６の全てを記憶させたりしておく必要はなく、特定処理プログラム５６の一部を格納させておいてもよい。

特定処理を実行するハードウェア資源としては、次に示す各種のプロセッサを用いることができる。プロセッサとしては、例えば、ソフトウェア、すなわち、プログラムを実行することで、特定処理を実行するハードウェア資源として機能する汎用的なプロセッサであるＣＰＵが挙げられる。また、プロセッサとしては、例えば、ＦＰＧＡ（Field-Programmable Gate Array）、ＰＬＤ（Programmable Logic Device）、又はＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路が挙げられる。何れのプロセッサにもメモリが内蔵又は接続されており、何れのプロセッサもメモリを使用することで特定処理を実行する。

特定処理を実行するハードウェア資源は、これらの各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ、又はＣＰＵとＦＰＧＡとの組み合わせ）で構成されてもよい。また、特定処理を実行するハードウェア資源は１つのプロセッサであってもよい。

１つのプロセッサで構成する例としては、第１に、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが、特定処理を実行するハードウェア資源として機能する形態がある。第２に、ＳｏＣ（System-on-a-chip）などに代表されるように、特定処理を実行する複数のハードウェア資源を含むシステム全体の機能を１つのＩＣチップで実現するプロセッサを使用する形態がある。このように、特定処理は、ハードウェア資源として、上記各種のプロセッサの１つ以上を用いて実現される。

更に、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子などの回路素子を組み合わせた電気回路を用いることができる。また、上記の特定処理はあくまでも一例である。従って、主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

以上に示した記載内容及び図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、及び効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、及び効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容及び図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことは言うまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容及び図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下を開示する。

（請求項１）

情報処理装置でユーザの能力に応じた段階を登録する手段と、

画像撮影装置で撮影された物品の情報を取得する手段と、

取得した情報を基に機械学習モデルを用いて物品の識別を行う手段と、

識別された情報に基づいて指針を提供する手段と、

計算装置で数値の算出を行う手段と、

分析装置で行動の評価を行う手段と、

評価結果に基づいて学習の助言を提供する手段と、

を含むシステム。

（請求項２）

ユーザの物品の現状を電子的に表示する請求項１記載のシステム。

（請求項３）

物品の識別結果に基づき戦術的な提案を提供する請求項１記載のシステム。

「実施例１」

（請求項１）

情報処理装置でユーザの能力に応じた段階を登録する手段と、

画像撮影装置で場面を撮影し、撮影したデータを圧縮する手段と、

圧縮された画像データを基に生成AIモデルを用いて物品および状況の識別を行う手段と、

識別された情報に基づいて指針を生成し、リアルタイムでユーザに提供する手段と、

ユーザの行動結果をキャプチャし、数値の精密な算出を行う手段と、

行動データを解析装置で分析し、分析結果に基づいて学習の助言を提供する手段と、

ユーザインターフェースを用いて結果および助言を電子的に表示する手段と、

を含むシステム。

（請求項２）

ユーザの操作に応じて、場面に応じた提案を生成し指示を提供する請求項１記載のシステム。

（請求項３）

識別結果および生成された指針に基づき戦術的な提案をリアルタイムでユーザに提供する請求項１記載のシステム。

「応用例１」

（請求項１）

情報処理装置でユーザの技能に応じた段階を登録する手段と、

映像取得装置で取得された物体の情報を取得する手段と、

取得した情報を基に機械学習モデルを用いて物体の識別を行う手段と、

識別された情報に基づいて指針を提供する手段と、

計算装置で数値の算出を行う手段と、

分析装置で行動の評価を行う手段と、

評価結果に基づいて学習の助言を提供する手段と、

視覚表示装置により作業指示をリアルタイムで提供する手段と、

を含むシステム。

（請求項２）

ユーザの物体の現状を電子的に表示する請求項１記載のシステム。

（請求項３）

物体の識別結果に基づき戦術的な提案を提供する請求項１記載のシステム。

「感情エンジンを組み合わせた場合の実施例２」

（請求項１）

情報処理手段で利用者の能力状態を登録する手段と、

撮影装置で撮影された対象物の情報を取得する手段と、

取得した情報を基に学習モデルを用いて対象物の識別を行う手段と、

識別された情報に基づいて指示を提供する手段と、

計算手段で数値の算出を行う手段と、

解析手段で行動の評価を行う手段と、

解析結果に基づいて助言を提供する手段と、

感情解析機能により利用者の感情を認識する手段と、

感情情報と識別結果を組み合わせて指導を調整する手段と、

を含むシステム。

（請求項２）

利用者の現在の対象物の状態を電子表示装置で表示する請求項１記載のシステム。

（請求項３）

対象物の識別結果と感情情報に基づき戦略的な提案を提供する請求項１記載のシステム。

「感情エンジンを組み合わせた場合の応用例２」

（請求項１）

情報処理装置でユーザの能力に応じた段階を登録する手段と、

画像撮影装置で撮影された物体の情報を取得する手段と、

取得した情報を基に機械学習モデルを用いて物体の識別を行う手段と、

識別された情報に基づいて指針を提供する手段と、

測定装置で感情状態を解析する手段と、

解析結果に基づいて安心感を与える助言を生成する手段と、

評価結果及び感情データに基づいて学習の助言を提供する手段と、

を含むシステム。

（請求項２）

ユーザの物体の現状を電子的に表示する請求項１記載のシステム。

（請求項３）

物体の識別結果及び感情解析結果に基づき戦術的な提案を提供する請求項１記載のシステム。

１０、２１０、３１０、４１０ データ処理システム
１２ データ処理装置
１４ スマートデバイス
２１４ スマート眼鏡
３１４ ヘッドセット型端末
４１４ ロボット

Claims (3)

1. 情報処理装置でユーザの能力に応じた段階を登録する手段と、
   画像撮影装置で撮影された物品の情報を取得する手段と、
   取得した情報を基に機械学習モデルを用いて物品の識別を行う手段と、
   識別された情報に基づいて指針を提供する手段と、
   計算装置で数値の算出を行う手段と、
   分析装置で行動の評価を行う手段と、
   評価結果に基づいて学習の助言を提供する手段と、
   を含むシステム。
2. ユーザの物品の現状を電子的に表示する請求項１記載のシステム。
3. 物品の識別結果に基づき戦術的な提案を提供する請求項１記載のシステム。