JP2024020073A - 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム - Google Patents

情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Download PDF

Info

Publication number
JP2024020073A
JP2024020073A JP2022122963A JP2022122963A JP2024020073A JP 2024020073 A JP2024020073 A JP 2024020073A JP 2022122963 A JP2022122963 A JP 2022122963A JP 2022122963 A JP2022122963 A JP 2022122963A JP 2024020073 A JP2024020073 A JP 2024020073A
Authority
JP
Japan
Prior art keywords
user
information
information processing
control unit
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022122963A
Other languages
English (en)
Inventor
達朗 堀
Tatsuro Hori
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2022122963A priority Critical patent/JP2024020073A/ja
Priority to US18/355,980 priority patent/US20240037777A1/en
Publication of JP2024020073A publication Critical patent/JP2024020073A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761Proximity, similarity or dissimilarity measures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20036Morphological image processing
    • G06T2207/20044Skeletonization; Medial axis transform
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/86Arrangements for image or video recognition or understanding using pattern recognition or machine learning using syntactic or structural representations of the image or video pattern, e.g. symbolic string recognition; using graph matching
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】生徒の練習効率を高め得る情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムを提供する。【解決手段】情報処理装置10は、第1ユーザの画像と、第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得するインタフェース13と、第1ユーザの姿勢又は動きと第2ユーザの姿勢又は動きとの間の差分情報を生成する制御部11とを備える。制御部11は、表示デバイスに第1ユーザ又は第2ユーザの画像を表示させるとともに、差分情報を第2ユーザに通知する。【選択図】図1

Description

本開示は、情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムに関する。
講師の画像と生徒の画像とを表示して教育を行うシステムが知られている(例えば、特許文献1参照)。
特開2021-110782号公報
生徒は、講師の画像を手本として練習するときに、講師の姿勢又は動きと生徒自身の姿勢又は動きとの差分を認識することによって、効率的に練習し得る。練習効率の向上が求められる。
かかる事情に鑑みてなされた本開示の目的は、生徒の練習効率の向上にある。
本開示の一実施形態に係る情報処理装置は、インタフェースと、制御部とを備える。前記インタフェースは、第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得する。前記制御部は、前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成する。前記制御部は、表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させるとともに、前記差分情報を前記第2ユーザに通知する。
本開示の一実施形態に係る情報処理システムは、前記情報処理装置を、第1情報処理装置及び第2情報処理装置のそれぞれとして備える。前記第1情報処理装置は、第1インタフェースと、第1制御部とを備える。前記第1インタフェースは、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得する。前記第1制御部は、前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成して前記第2情報処理装置に出力する。前記第2情報処理装置は、前記第1ユーザの画像と前記差分情報とを取得し、前記第1ユーザの画像を表示するとともに前記差分情報を前記第2ユーザに通知する第2インタフェースを備える。
本開示の一実施形態に係る情報処理方法は、第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得することと、前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成することと、表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させることと、前記差分情報を前記第2ユーザに通知することとを含む。
本開示の一実施形態に係る情報処理プログラムは、情報処理装置に、第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得することと、前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成することと、表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させることと、前記差分情報を前記第2ユーザに通知することとを含む動作を実行させる。
本開示の一実施形態に係る情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラムによれば、生徒の練習効率が向上し得る。
一実施形態に係る情報処理システムの構成例を示すブロック図である。 デプス画像に含まれる複数のウィンドウの例を示す図である。 第1ユーザ情報の表示例を示す図である。 第2ユーザ情報の表示例を示す図である。 一実施形態に係る情報処理方法の手順例を示すフローチャートである。 1台の第1情報処理装置に複数台の第2情報処理装置が接続する情報処理システムの構成例を示すブロック図である。 第3情報処理装置を更に備える情報処理システムの構成例を示すブロック図である。
(情報処理システム1の構成例)
図1に示されるように、一実施形態に係る情報処理システム1は、第1情報処理装置10と、第2情報処理装置20とを備える。第1情報処理装置10又は第2情報処理装置20は、区別される必要が無い場合、単に情報処理装置とも称される。情報処理システム1は、講師が示す手本となる動作を見ながら、生徒がその動作を真似することによって学習できるサービスを提供できるとする。学習の対象は、例えばダンス、書道、又は料理等を含んでよい。本実施形態に係る情報処理システム1は、ダンスのレッスンを提供するために用いられるとする。第1情報処理装置10は、ダンスの手本を見せる講師によって使用されるとする。第2情報処理装置20は、ダンスの手本を見ながらダンスを学習する生徒によって使用されるとする。情報処理システム1のユーザのうち、第1情報処理装置10を使用する講師は、第1ユーザとも称される。第2情報処理装置20を使用する生徒は、第2ユーザとも称される。
情報処理システム1が備える第1情報処理装置10及び第2情報処理装置20の数は、それぞれ1つに限られず、2つ以上であってよい。第1情報処理装置10又は第2情報処理装置20は、ノートPC(Personal Computer)、デスクトップPC、又はタブレットPC等のPCを含んで構成されてよい。第1情報処理装置10又は第2情報処理装置20は、ユーザが所持するスマートフォン又はタブレット等の携帯端末を含んで構成されてもよい。第1情報処理装置10又は第2情報処理装置20は、これらの例に限られず、種々の機器を含んで構成されてよい。
第1情報処理装置10と第2情報処理装置20とは、ネットワークを介して互いに有線又は無線で通信可能に接続されてよい。第1情報処理装置10と第2情報処理装置20とは、ネットワークを介さない有線又は無線の通信によって互いに通信可能に接続されてもよい。
第1情報処理装置10は、制御部11と、記憶部12と、インタフェース13とを備える。第2情報処理装置20は、制御部21と、記憶部22と、インタフェース23とを備える。制御部11は、第1制御部とも称される。制御部21は、第2制御部とも称される。インタフェース13は、第1インタフェースとも称される。インタフェース23は、第2インタフェースとも称される。
制御部11は、第1情報処理装置10の少なくとも1つの構成部を制御する。制御部21は、第2情報処理装置20の少なくとも1つの構成部を制御する。制御部11及び21は、同一又は類似に構成されてよい。制御部11又は21は、1つ以上のプロセッサを含んで構成されてよい。本実施形態において「プロセッサ」は、汎用のプロセッサ、特定の処理に特化した専用のプロセッサ等であるが、これらに限られない。制御部11又は21は、1つ以上の専用回路を含んで構成されてもよい。専用回路は、例えば、FPGA(Field-Programmable Gate Array)又はASIC(Application Specific Integrated Circuit)を含んでよい。制御部11又は21は、プロセッサの代わりに専用回路を含んで構成されてもよいし、プロセッサとともに専用回路を含んで構成されてもよい。
記憶部12は、第1情報処理装置10の動作に用いられる任意の情報を格納する。記憶部22は、第2情報処理装置20の動作に用いられる任意の情報を格納する。記憶部12又は22は、同一又は類似に構成されてよい。記憶部12又は22は、システムプログラム、又はアプリケーションプログラム等を格納してもよい。記憶部12又は22は、例えば半導体メモリ、磁気メモリ、又は光メモリ等を含んで構成されてよいが、これらに限られず他の種々のメモリを含んで構成されてもよい。記憶部12又は22は、例えば主記憶装置、補助記憶装置、又はキャッシュメモリとして機能してもよい。記憶部12又は22は、磁気ディスク等の電磁記憶媒体を含んで構成されてもよい。記憶部12又は22は、非一時的なコンピュータ読み取り可能な媒体を含んで構成されてもよい。記憶部12は、制御部11に含まれてもよい。記憶部22は、制御部21に含まれてもよい。
インタフェース13は、第1情報処理装置10において、制御部11から情報又はデータ等を出力したり、制御部11に情報又はデータ等を入力したりする。インタフェース23は、第2情報処理装置20において、制御部21から情報又はデータ等を出力したり、制御部21に情報又はデータ等を入力したりする。インタフェース13は、ネットワークを介して、又は、ネットワークを介さずに、第2情報処理装置20のインタフェース23と通信可能に構成される通信モジュールを含んでよい。インタフェース23は、ネットワークを介して、又は、ネットワークを介さずに、第1情報処理装置10のインタフェース13と通信可能に構成される通信モジュールを含んでよい。通信モジュールは、例えば4G(4th Generation)又は5G(5th Generation)等の移動体通信規格に対応してよい。通信モジュールは、LAN(Local Area Network)等の通信規格に対応してもよい。通信モジュールは、有線又は無線の通信規格に対応してもよい。通信モジュールは、これらに限られず、種々の通信規格に対応してよい。インタフェース13又は23は、外部の通信モジュールに接続可能に構成されてもよい。
ネットワークは、インターネット、少なくとも1つのWAN(Wide Area Network)、少なくとも1つのMAN(Metropolitan Area Network)、又はこれらの任意の組合せを含んで構成されてよい。ネットワークは、少なくとも1つの無線ネットワーク、少なくとも1つの光ネットワーク、又はこれらの任意の組合せを含んで構成されてもよい。無線ネットワークは、例えば、アドホックネットワーク、セルラーネットワーク、無線LAN(Local Area Network)、衛星通信ネットワーク、又は地上マイクロ波ネットワークを含んで構成されてよい。
インタフェース13又は23は、USB(Universal Serial Bus)又はBluetooth(登録商標)等の規格に対応するように構成されてもよい。
インタフェース13又は23は、ユーザから情報又はデータ等の入力を受け付ける入力デバイスを含んで構成されてよい。入力デバイスは、例えば、タッチパネル若しくはタッチセンサ、又はマウス等のポインティングデバイスを含んで構成されてよい。入力デバイスは、物理キーを含んで構成されてもよい。入力デバイスは、マイク等の音声入力デバイスを含んで構成されてもよい。インタフェース13又は23は、外部の入力デバイスに接続可能に構成されてもよい。
インタフェース13又は23は、ユーザに対して情報又はデータ等を出力する出力デバイスを含んで構成されてよい。出力デバイスは、例えば、画像又は文字若しくは図形等の視覚情報を出力する表示デバイスを含んでよい。表示デバイスは、例えば、LCD(Liquid Crystal Display)、有機EL(Electro-Luminescence)ディスプレイ若しくは無機ELディスプレイ、又は、PDP(Plasma Display Panel)等を含んで構成されてよい。表示デバイスは、これらのディスプレイに限られず、他の種々の方式のディスプレイを含んで構成されてよい。表示デバイスは、LED(Light Emitting Diode)又はLD(Laser Diode)等の発光デバイスを含んで構成されてよい。表示デバイスは、他の種々のデバイスを含んで構成されてよい。出力デバイスは、例えば、音声等の聴覚情報を出力するスピーカ等の音声出力デバイスを含んでよい。出力デバイスは、例えば振動等の触覚情報を出力するバイブレータ等の振動デバイスを含んでよい。出力デバイスは、これらの例に限られず、他の種々のデバイスを含んでよい。インタフェース13又は23は、外部の出力デバイスに接続可能に構成されてもよい。出力デバイスは、例えばリストバンド等のように、第1ユーザ又は第2ユーザが装着可能に構成されてよい。出力デバイスは、例えば書道で用いる筆、又は、料理で用いる包丁若しくはまな板等のように、第1ユーザ又は第2ユーザが動作の練習の際に使用する道具として構成されてよい。
第1情報処理装置10は、必須ではないが撮影部14を更に備える。第2情報処理装置20は、必須ではないが撮影部24を更に備える。撮影部14又は24は、RGB画像を撮影するカメラ等の撮影デバイスを含んでよい。撮影部14又は24は、デプス画像を取得するデプスセンサ又はステレオカメラ等の測距デバイスを含んでよい。第1情報処理装置10又は第2情報処理装置20は、外部の撮影デバイス又は測距デバイスから、インタフェース13又は23を介して、画像又は測距データ(デプスデータ)を取得してもよい。撮影部14又は24の撮影デバイス又は測距デバイスの機能は、インタフェース13又は23の機能に含まれてもよい。
(情報処理システム1の動作例)
本実施形態に係る情報処理システム1において、第1情報処理装置10は、第1ユーザが実演するダンスの手本を、撮影部14によって撮影する。撮影部14は、第1ユーザの姿勢を静止画として撮影してよい。撮影部14は、第1ユーザの動きを動画として撮影してよい。第1情報処理装置10は、撮影部14によって撮影した画像を第2情報処理装置20に出力する。第2情報処理装置20は、第1情報処理装置10から取得した画像を第2ユーザが見て学習できるように、第1情報処理装置10から取得した画像をインタフェース23の表示デバイスで表示する。
<第1情報処理装置10で撮影した画像の第2情報処理装置20における表示>
情報処理システム1は、第1情報処理装置10で第1ユーザのRGB画像とデプス画像とを撮影し、第2情報処理装置20でRGB画像とデプス画像とに基づいて第1ユーザの立体的な画像を表示してよい。以下、立体的な画像を表示するための具体的な動作が説明される。
第1情報処理装置10の撮影部14は、第1ユーザの身体の少なくとも一部のRGB画像を撮影するとともに、第1ユーザの身体の少なくとも一部の部位までの距離を測定する。撮影部14は、図2に示されるように、計測範囲MRの中に位置する第1ユーザの身体の少なくとも一部に含まれる各部までの距離を測定し、計測範囲MRの中における第1ユーザのデプス画像を生成する。デプス画像は、計測範囲MR内に設定された、複数のウィンドウW1,・・・,Wnを含むとする。複数のウィンドウW1,・・・,Wnは、撮影部14から離れる方向であるデプス方向Zに並んでいる。すなわち、複数のウィンドウW1,・・・,Wnは、それぞれ異なるデプスに位置する。
第1ユーザの身体の各部までの距離は、各ウィンドウが位置するデプスに対応づけられる。デプス画像に含まれる各ウィンドウは、第1ユーザの身体の部位のうち、各ウィンドウに対応するデプスに位置する部位のデータを表す。デプス画像は、各ウィンドウに対応するデプスに位置する部位のデータの集合として、第1ユーザの身体の少なくとも一部の部位の立体データを表す。ウィンドウの枚数(n)は、2以上の任意の整数であり、例えば30等の値に設定され得る。
第1情報処理装置10の制御部11は、デプス画像に含まれる複数のウィンドウW1,・・・,Wnの中から、第1ユーザの身体の少なくとも一部の部位の位置に対応するウィンドウWjを特定する。制御部11は、ウィンドウWjを識別するウィンドウ識別子を第2情報処理装置20に送信する。第2情報処理装置20の制御部21は、ウィンドウ識別子を第1情報処理装置10から受信すると、複数のウィンドウW1,・・・,Wnの中から、受信したウィンドウ識別子に対応するウィンドウWjを特定する。
第1情報処理装置10の制御部11は、デプス画像の各ピクセルについて、計測された距離をウィンドウWj内の相対距離に換算し、得られた換算値をピクセルデータとして第2情報処理装置20に送信する。第2情報処理装置20の制御部21は、デプス画像の各ピクセルについて、ピクセルデータを第1情報処理装置10から受信し、受信したピクセルデータで示されるウィンドウWj内の相対距離を、計測された距離に換算することで、デプス画像を復元する。制御部21は、復元したデプス画像とRGB画像のピクセルデータとを合成してインタフェース23の表示デバイスで表示する。
デプス画像は、以上述べてきたようにウィンドウの集合として構成されてもよいが、これに限られず、第1ユーザの身体の各部までの距離を各画素に割り当てた1枚の距離マップとして表されてもよい。デプス画像は、種々の態様で生成されてよい。
第1ユーザを撮影したRGB画像、及び、第1ユーザのデプス画像は、第1ユーザに関する情報に含まれるとする。第1ユーザに関する情報は、第1ユーザ情報とも称される。第1情報処理装置10は、第1ユーザ情報を、インタフェース13によって第2情報処理装置20に出力する。
第2情報処理装置20の制御部21は、第1情報処理装置10から取得した第1ユーザ情報に基づいて、第1ユーザが実演するダンスの手本の画像をインタフェース23の表示デバイスに表示させる。インタフェース23の表示デバイスは、第1ユーザが実演するダンスの手本の画像を、RGB画像とデプス画像とを合成した立体的な画像として表示してもよいし、RGB画像だけで表示してもよい。制御部21は、RGB画像の各画素と、各画素に対応するデプス情報とに基づいて立体的な画像を生成してよい。制御部21は、デプス画像に基づいて第1ユーザのポリゴンを生成し、RGB画像をポリゴンにレンダリングすることによって立体的な画像を生成してもよい。
第2情報処理装置20は、ダンスの手本の画像を見てダンスを練習する第2ユーザを、撮影部24によって撮影する。撮影部24は、第2ユーザの姿勢を静止画として撮影してよい。撮影部24は、第2ユーザの動きを動画として撮影してよい。また、撮影部24は、第2ユーザの身体の少なくとも一部の部位までの距離を測定し、第2ユーザのデプス画像として生成する。第2ユーザを撮影したRGB画像、及び、第2ユーザのデプス画像は、第2ユーザに関する情報に含まれるとする。第2ユーザに関する情報は、第2ユーザ情報とも称される。第2情報処理装置20は、第2ユーザ情報を、インタフェース23によって第1情報処理装置10に出力する。第1情報処理装置10は、インタフェース13の表示デバイスによって第2ユーザの画像を表示してもよい。
<第1ユーザ情報と第2ユーザ情報との差分の抽出>
情報処理システム1は、第1ユーザ情報と第2ユーザ情報との差分を抽出して、第1ユーザ又は第2ユーザに通知する。第1ユーザ情報と第2ユーザ情報との差分の抽出及び差分の通知は、第1情報処理装置10の制御部11によって実行されてもよいし、第2情報処理装置20の制御部21によって実行されてもよい。以下、第1情報処理装置10の制御部11が第1ユーザ情報と第2ユーザ情報との差分を抽出して通知する動作例が説明される。
第1情報処理装置10の制御部11は、撮影部14で撮影した第1ユーザの画像を解析し、第1ユーザの骨格情報を抽出してよい。図3Aに示されるように、制御部11は、例えば、第1ユーザU1の右腕の肩の関節に対応するジョイントU11の位置、肘の関節に対応するジョイントU12の位置、又は、手先に対応するジョイントU13の位置を検出してよい。制御部11は、ジョイントU11とU12とを結ぶボーンU14、又は、ジョイントU12とU13とを結ぶボーンU15を検出してよい。第1情報処理装置10は、第1ユーザの骨格情報を、インタフェース13によって第2情報処理装置20に出力してよい。第1ユーザの骨格情報は、第1ユーザ情報に含まれてよい。
制御部11は、第2情報処理装置20から取得した第2ユーザの画像を解析し、第2ユーザの骨格情報を抽出してよい。図3Bに示されるように、制御部11は、例えば、第2ユーザU2の右腕の肩の関節に対応するジョイントU21の位置、肘の関節に対応するジョイントU22の位置、又は、手先に対応するジョイントU23の位置を検出してよい。制御部11は、ジョイントU21とU22とを結ぶボーンU24、又は、ジョイントU22とU23とを結ぶボーンU25を検出してよい。第2情報処理装置20の制御部21が第2ユーザの骨格情報を抽出し、第1情報処理装置10に出力してもよい。
制御部11は、第1ユーザ又は第2ユーザの動作の種類に基づいて、抽出する骨格情報を設定してよい。制御部11は、第1ユーザ又は第2ユーザがダンスの動作を行う場合、第1ユーザ又は第2ユーザの全身の骨格情報を抽出してよい。制御部11は、第1ユーザ又は第2ユーザが書道又は料理の動作を行う場合、第1ユーザ又は第2ユーザの上半身の骨格情報を抽出してよい。制御部11は、骨格情報を抽出する対象となる身体の部位を第1ユーザが指定する入力を、第1情報処理装置10の入力デバイスで受け付けてよい。
制御部11は、第1ユーザの骨格情報と第2ユーザの骨格情報とを比較し、第1ユーザが実演するダンスの見本に対する、第2ユーザの姿勢又は動きの違いを検出する。制御部11は、例えば、図3Aの第1ユーザU1のボーンU14又はU15と、図3Bの第2ユーザU2のボーンU24又はU25との差分を検出してよい。制御部11は、差分を表す値として、ボーンの方向を表す角度の差を算出してもよいし、ボーンの位置を表す座標の差又はボーンの位置がずれている距離を算出してもよい。制御部11は、デプス方向を考慮した3次元座標でボーンの位置を表してもよいし、デプス方向を無視した2次元座標でボーンの位置を表してもよい。
制御部11は、図3Aの第1ユーザU1のジョイントU11、U12又はU13の位置と、図3Bの第2ユーザU2のジョイントU21、U22又はU23の位置との差分を検出してもよい。制御部11は、差分を表す値として、ジョイントの位置を表す座標の差又はジョイントの位置がずれている距離を算出してよい。制御部11は、デプス方向を考慮した3次元座標でジョイントの位置を表してもよいし、デプス方向を無視した2次元座標でジョイントの位置を表してもよい。
制御部11は、第1ユーザの体格と第2ユーザの体格との差を考慮して、差分を検出してよい。制御部11は、例えば、第1ユーザと第2ユーザとで少なくとも一部のボーンの方向を比較することによって、体格差による影響を低減してよい。制御部11は、例えば、第1ユーザと第2ユーザとで互いに対応する身体の少なくとも一部の部位のバランスを比較することによって、体格差による影響を低減してよい。
制御部11は、第1ユーザの画像と第2ユーザの画像との乖離の大きさを数値として表す乖離度を、第1ユーザの姿勢又は動きと第2ユーザの姿勢又は動きとの差分として算出してもよい。差分が大きいほど乖離度が大きい値で算出されるとする。制御部11は、第2ユーザの身体の少なくとも一部の部位について乖離度を算出してもよい。制御部11は、第1ユーザ及び第2ユーザそれぞれの画像の乖離度を算出することによって、違いを検出してもよい。制御部11は、例えば、図3Aの第1ユーザU1の左手の先端の画像を第1ユーザの姿勢の注目点U16として解析してよい。また、制御部11は、図3Bの第2ユーザU2の左手の先端の画像を第2ユーザの姿勢の注目点U26として解析してよい。制御部11は、注目点U16及びU26に対応する画像の解析結果に基づいて、第1ユーザと第2ユーザとの間の姿勢の差分として画像の乖離度を算出してもよい。
制御部11は、第1ユーザ及び第2ユーザの画像が動画である場合、動画の少なくとも一部のフレームにおいて、第1ユーザ及び第2ユーザの骨格情報を抽出して差分を検出してよい。制御部11は、動画の少なくとも一部のフレームにおいて、第1ユーザ及び第2ユーザそれぞれの姿勢の注目点を解析して差分を検出してよい。
制御部11は、第1ユーザの動画のフレームと第2ユーザの動画のフレームとを同期させて比較することによって差分を検出してよい。例えば、制御部11は、同一の時刻に対応するフレームに写っている第1ユーザの姿勢と第2ユーザの姿勢との差分を、第1ユーザの動きに対する第2ユーザの動きの違いとして検出してよい。また、例えば、制御部11は、ある時刻に対応するフレームに写っている第1ユーザの姿勢と、異なる時刻に対応するフレームに写っている第2ユーザの姿勢とを比較してもよい。制御部11は、ある時刻に対応するフレームに写っている第1ユーザの姿勢に対して、異なる時刻に対応するフレームに写っている第2ユーザの姿勢が一致する場合に、第2ユーザの動きのタイミングが第1ユーザの動きに対してずれていることを検出してもよい。
制御部11は、第1ユーザの動画の複数のフレームのそれぞれと、第2ユーザの動画の複数のフレームのそれぞれとを比較することによって、第1ユーザの動作スピードと第2ユーザの動作スピードとの差分を検出してもよい。
制御部11は、第1ユーザ及び第2ユーザの身体のどの部位を比較対象とするかを、第1ユーザが指定する入力を受け付けてよい。比較対象とする部位は、比較対象部位とも称される。制御部11は、第1情報処理装置10の表示デバイスに第1ユーザ又は第2ユーザの画像を表示し、第1ユーザが比較対象部位を指定する入力を、第1情報処理装置10の入力デバイスで受け付けてよい。制御部11は、第1情報処理装置10の表示デバイスに第1ユーザ又は第2ユーザの骨格情報を表示し、第1ユーザが比較対象部位としてボーン又はジョイントを指定する入力を、第1情報処理装置10の入力デバイスで受け付けてよい。
制御部11は、第1ユーザと第2ユーザとで比較する対象とする姿勢又は動きのバランスを、第1ユーザが指定する入力を受け付けてもよい。
制御部11は、第1ユーザ及び第2ユーザの動画に含まれる複数のフレームのうち、どのフレームを比較対象とするかを、第1ユーザが指定する入力を受け付けてよい。比較対象とするフレームは、比較対象フレームとも称される。制御部11は、第1情報処理装置10の表示デバイスに第1ユーザ又は第2ユーザの動画をフレーム毎に表示し、第1ユーザが比較対象フレームを指定する入力を、第1情報処理装置10の入力デバイスで受け付けてよい。
制御部11は、第1ユーザ及び第2ユーザの動画のどの期間を比較対象とするかを、第1ユーザが指定する入力を受け付けてもよい。比較対象とする期間は、比較対象期間とも称される。制御部11は、第1情報処理装置10の表示デバイスに第1ユーザ又は第2ユーザの動画を表示し、第1ユーザが比較対象期間の開始と終了とを指定する入力を、第1情報処理装置10の入力デバイスで受け付けてよい。比較対象期間は、動画の1フレームだけを含んでもよい。つまり、比較対象期間は、比較対象フレームを含んでよい。
制御部11は、比較対象部位、又は、比較対象期間の開始及び終了を、第1ユーザ又は第2ユーザの画像に基づいて自動的に決定してもよい。
以上述べてきたように、制御部11は、第1ユーザ及び第2ユーザそれぞれの画像に基づいて、第1ユーザの姿勢又は動きに対する、第2ユーザの姿勢又は動きの差分を検出してよい。差分は、第2ユーザの身体の少なくとも一部の部位について算出され得る。差分は、ボーン又はジョイントの位置ずれ量として算出され得る。差分は、ボーンの方向ずれ量として算出され得る。差分は、動きのタイミングがずれた時間差として算出され得る。差分は、動きのスピードの差として算出され得る。
<差分情報の通知>
第1情報処理装置10の制御部11は、第1ユーザの姿勢又は動きに対する、第2ユーザの姿勢又は動きの差分を検出し、検出した差分に関する情報を第2情報処理装置20に出力する。差分に関する情報は、差分情報とも称される。
第2情報処理装置20の制御部21は、インタフェース23の表示デバイスに第2ユーザの画像を表示させつつ、差分情報を第2ユーザに通知する。例えば、制御部21は、第1ユーザの姿勢又は動きとの差分が大きいことを示す情報を第2ユーザの画像に重畳した画像を生成し、表示デバイスに表示させてよい。制御部21は、差分が大きい部分を強調するマーカ画像を第2ユーザの画像に重畳してよい。
制御部21は、第2ユーザの画像を表示デバイスに表示させつつ、第2ユーザの姿勢又は動きと第1ユーザの姿勢又は動きとの差分が大きくなったタイミングで、インタフェース23の出力デバイスによって第2ユーザに差分が大きくなったことを通知してもよい。つまり、制御部21は、表示デバイスにおける第2ユーザの画像の表示と、第2ユーザに対する差分情報の通知とを同期させてよい。制御部21は、出力デバイスによる通知として、例えば、差分が大きくなったタイミングで音声を出力してもよいし、第2ユーザに与える振動を出力してもよい。制御部21は、第1ユーザの画像を表示デバイスに表示させつつ、第2ユーザに差分情報を通知してもよい。
制御部21は、差分を表す値が比較閾値以上になったときに差分が大きくなったと判定してよい。比較閾値は適宜定められ得る。比較閾値は第1ユーザによる指定に基づいて設定されてもよい。比較閾値は、差分が大きいと第1ユーザによって指摘された第2ユーザの姿勢又は動きに基づいて設定されてもよい。
第2ユーザは、通知された差分情報を確認することによって、ダンスの手本となる第1ユーザの姿勢又は動きと、第2ユーザ自身の姿勢又は動きとの差分が大きくなったことを認識し得る。第2ユーザは、ダンスの手本と自分自身との差分が大きくなった姿勢又は動作を認識することによって、自分自身の姿勢又は動きをダンスの手本に近づけるように練習できる。つまり、本実施形態に係る情報処理システム1によれば、第2ユーザである生徒の練習効率が向上し得る。
差分情報は、第1ユーザに対して通知されてもよい。具体的に、第1情報処理装置10の制御部11は、第1ユーザの画像を表示デバイスに表示させつつ、差分情報を第1ユーザに通知してよい。制御部11は、第2ユーザの画像を表示デバイスに表示させつつ、第1ユーザに差分情報を通知してもよい。
<情報処理方法の手順例>
以上述べてきたように、本実施形態に係る情報処理システム1において、第1情報処理装置10及び第2情報処理装置20は、第1ユーザの手本を見て練習する第2ユーザに対して、第2ユーザの姿勢又は動きの差分情報を通知する。第1情報処理装置10の制御部11、及び、第2情報処理装置20の制御部21は、例えば図4に例示されるフローチャートの手順を含む情報処理方法を実行してよい。情報処理方法は、制御部11及び21に実行させる情報処理プログラムとして実現されてもよい。情報処理プログラムは、非一時的なコンピュータ読み取り可能媒体に格納されてよい。
第1情報処理装置10の制御部11は、第1ユーザ情報の取得を開始する(ステップS11)。第2情報処理装置20の制御部21は、第2ユーザ情報の取得を開始する(ステップS21)。制御部11と制御部21とは、情報の取得の開始を同期させてよい。具体的に、制御部11は、第1ユーザ情報の取得を開始するときに、制御部21に対して情報の取得の開始を通知してよい。制御部21は、制御部11からの通知に応じて第2ユーザ情報の取得を開始してよい。
制御部11は、取得した第1ユーザ情報を解析し、記憶部12に格納する(ステップS12)。制御部21は、取得した第2ユーザ情報を解析し、記憶部22に格納する(ステップS22)。
制御部11は、第1ユーザ情報の取得を終了する(ステップS13)。制御部21は、第2ユーザ情報の取得を終了する(ステップS23)。制御部11と制御部21とは、情報の取得の終了を同期させてよい。具体的に、制御部11は、第1ユーザ情報の取得を終了するときに、制御部21に対して情報の取得の終了を通知してよい。制御部21は、制御部11からの通知に応じて第2ユーザ情報の取得を終了してよい。
制御部21は、第2ユーザ情報を第1情報処理装置10に出力する(ステップS24)。制御部11は、第2情報処理装置20から第2ユーザ情報を取得する(ステップS14)。制御部11は、第1ユーザ情報と第2ユーザ情報との比較に基づいて差分情報を生成し、生成した差分情報を第2情報処理装置20に出力する(ステップS15)。制御部21は、第1情報処理装置10から差分情報を取得する(ステップS25)。
制御部21は、第2ユーザの画像を表示しつつ、差分情報を第2ユーザに通知する(ステップS26)。制御部21は、ステップS26の手順の実行後、図4のフローチャートの手順の実行を終了する。制御部11は、ステップS15の手順の実行後、図4のフローチャートの手順の実行を終了する。制御部11は、ステップS15の手順の実行後、第1ユーザの画像を表示しつつ、差分情報を第1ユーザに通知してもよい。
<小括>
以上述べてきたように本実施形態に係る情報処理システム1、第1情報処理装置10及び第2情報処理装置20によれば、第2ユーザは、第1ユーザが示す手本となる姿勢又は動きと第2ユーザ自身の姿勢又は動きとの差分を認識しやすくなる。第2ユーザは、手本との差分を認識することによって、差分を小さくするように練習できる。その結果、第2ユーザの練習効率が向上し得る。
(他の実施形態)
以下、他の実施形態に係る情報処理システム1の構成例が説明される。
<複数の第2情報処理装置20を備える構成>
情報処理システム1は、図5に示されるように、1台の第1情報処理装置10と、複数の第2情報処理装置20とを備えてよい。各第2情報処理装置20は、それぞれ異なる第2ユーザによって使用され、それぞれ異なる第2ユーザ情報を取得する。第1情報処理装置10は、各第2情報処理装置20と通信可能に接続される。第1情報処理装置10と各第2情報処理装置20とは、ネットワークを介して互いに有線又は無線で通信可能に接続されてよい。第1情報処理装置10と各第2情報処理装置20とは、ネットワークを介さない有線又は無線の通信によって互いに通信可能に接続されてもよい。
第1情報処理装置10の制御部11は、撮影部14で第1ユーザ情報を取得するとともに、各第2情報処理装置20から、各第2情報処理装置20を使用する第2ユーザの、それぞれ異なる第2ユーザ情報を取得する。制御部11は、第1ユーザ情報と、各第2ユーザ情報との差分情報を生成する。つまり、制御部11は、異なる第2ユーザ毎に差分情報を生成する。
制御部11は、各第2ユーザについて生成した差分情報に基づいて、第2ユーザを複数のグループに分類してよい。例えば、制御部11は、第1ユーザの特定の姿勢又は動きに対する、第2ユーザの姿勢又は動きの差分が同一又は類似である第2ユーザを、特定の姿勢又は動きを間違えるグループとして分類してよい。制御部11は、第1ユーザの特定の姿勢又は動きに対する差分が所定値よりも大きくなる第2ユーザを、特定の姿勢又は動きを間違えるグループとして分類してもよい。所定値は、骨格情報に含まれるジョイント又はボーンの位置又は向きの差分の閾値として設定されてよい。所定値は、第1ユーザの画像と第2ユーザの画像との乖離度の閾値として設定されてもよい。
制御部11は、特定のタイミング又は期間における姿勢又は動きの差分が同一又は類似となる第2ユーザを、特定のタイミング又は期間における姿勢又は動きを間違えるグループとして分類してよい。制御部11は、特定のタイミング又は期間における姿勢又は動きの差分が所定値よりも大きくなる第2ユーザを、特定のタイミング又は期間における姿勢又は動きを間違えるグループとして分類してもよい。
特定のタイミング又は特定の期間の開始及び終了は、第1ユーザによって指定されてよい。制御部11は、例えば、第1ユーザがインタフェース13の入力デバイスによって入力した情報に基づいて、特定のタイミング又は特定の期間の開始及び終了を設定してよい。制御部11は、例えば、第1ユーザが合図の動作をしたタイミングを、特定のタイミング又は特定の期間の開始及び終了として設定してよい。合図の動作は、例えば第1ユーザの特定のジェスチャを含んでよいし、第1ユーザが片目をつむる等の特定の表情を含んでもよい。
特定のタイミング又は特定の期間の開始及び終了は、例えばダンスの動作で用いる楽曲の中の区切りとなるタイミング又は楽曲の開始及び終了等に合わせて設定されてよい。特定のタイミング又は特定の期間の開始及び終了は、例えば書道で書く文字に含まれる重要なポイント又は一画毎の開始及び終了等に合わせて設定されてよい。特定のタイミング又は特定の期間の開始及び終了は、例えば料理の工程に含まれる各作業の重要なポイント又は作業の区切り等に合わせて設定されてよい。
第1情報処理装置10は、同じグループに分類された複数の第2ユーザが使用する複数の第2情報処理装置20と通信してよい。同じグループに分類された第2ユーザは、姿勢又は動きの差分が同一又は類似である。つまり、同じグループに分類された第2ユーザは、同一又は類似の間違いをしている。そこで、第1情報処理装置10を使用する第1ユーザは、同じグループに分類された第2ユーザが使用する第2情報処理装置20と通信して、間違っている姿勢又は動作を重点的に指導できる。その結果、第2ユーザの練習効率が向上し得る。
同じグループに分類された複数の第2ユーザが使用する複数の第2情報処理装置20同士が通信してもよい。同じグループに分類された第2ユーザは、姿勢又は動きの間違いを互いに指摘してよい。その結果、第2ユーザの練習効率が向上し得る。
制御部11は、第2ユーザを、特定の姿勢又は動きを間違えるグループと、特定の姿勢又は動きを間違えないグループとに分類してもよい。特定の姿勢又は動きを間違えるグループに分類された第2ユーザが使用する第2情報処理装置20は、特定の姿勢又は動きを間違えないグループに分類された第2ユーザが使用する第2情報処理装置20と通信してもよい。この場合、特定の姿勢又は動きを間違えない第2ユーザが、特定の姿勢又は動きを間違える第2ユーザに対して指導できる。第2ユーザ同士で指導できることによって、第1ユーザの負担が低減され得る。また、第2ユーザが第1ユーザを待たずに練習できる。その結果、第2ユーザの練習効率が向上し得る。
<第3情報処理装置30を備える構成例>
情報処理システム1は、図6に示されるように、第3情報処理装置30を更に備えてよい。第3情報処理装置30は、ホストサーバとして機能してよい。この場合、第1情報処理装置10は、第1ユーザによって使用されるクライアントサーバ(端末装置)として機能してよい。第2情報処理装置20は、第2ユーザによって使用されるクライアントサーバ(端末装置)として機能してよい。第3情報処理装置30は、ホストサーバとして、クライアントサーバから第1ユーザ情報及び第2ユーザ情報を取得して差分情報を生成し、第1ユーザ及び第2ユーザそれぞれのクライアントサーバに差分情報を出力してよい。
情報処理システム1は、第1情報処理装置10又は第2情報処理装置20の一方をホストサーバとして機能させ、他方をクライアントサーバとして機能させてもよい。
本開示に係る実施形態について、諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び改変を行うことが可能であることに注意されたい。したがって、これらの変形及び改変は本開示の範囲に含まれることに留意されたい。例えば、各手段又は各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を1つに組み合わせたり、或いは分割したりすることが可能である。
以下、本開示の実施形態の一部が例示される。しかしながら、本開示の実施形態は、これらに限定されない点に留意されたい。
[付記1]
第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得するインタフェースと、
前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成する制御部と
を備え、
前記制御部は、表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させるとともに、前記差分情報を前記第2ユーザに通知する、情報処理装置。
[付記2]
前記インタフェースは、前記第1ユーザ及び前記第2ユーザの姿勢又は動きに関する情報として、前記第1ユーザ及び前記第2ユーザのボーン又はジョイントを含む骨格情報を取得し、
前記制御部は、前記第1ユーザの骨格情報と前記第2ユーザの骨格情報との比較に基づいて前記差分情報を生成する、[付記1]に記載の情報処理装置。
[付記3]
前記インタフェースは、前記骨格情報のうち比較対象とする部分を指定する情報を取得し、
前記制御部は、前記骨格情報のうち比較対象とする部分に基づいて前記差分情報を生成する、[付記2]に記載の情報処理装置。
[付記4]
前記インタフェースは、前記骨格情報のうち比較対象とする部分を指定する情報として、前記骨格情報に含まれるボーン若しくはジョイントを指定する情報、又は、前記第1ユーザの画像において前記第1ユーザの身体の少なくとも一部を指定する情報を取得する、[付記3]に記載の情報処理装置。
[付記5]
前記インタフェースは、
前記第1ユーザの画像として、複数のフレームを含む動画を取得し、
前記骨格情報として、前記骨格情報に含まれるボーン又はジョイントの動きを前記動画に対応づける情報を取得し、
前記骨格情報のうち比較対象とする部分を指定する情報として、前記動画のフレームを指定する情報を取得し、
前記制御部は、指定されたフレームに対応づけられる骨格情報の比較に基づいて前記差分情報を生成する、[付記3]又は[付記4]に記載の情報処理装置。
[付記6]
前記制御部は、前記骨格情報に含まれるボーン又はジョイントの向きの比較に基づいて前記差分情報を生成する、[付記2]から[付記5]までのいずれか1つに記載の情報処理装置。
[付記7]
前記制御部は、前記差分情報を前記第2ユーザの画像に重畳した画像を前記表示デバイスに表示させることによって前記差分情報を前記第2ユーザに通知する、[付記1]から[付記6]までのいずれか1つに記載の情報処理装置。
[付記8]
前記制御部は、前記表示デバイスにおける前記第2ユーザの画像の表示と、前記第2ユーザに対する前記差分情報の通知とを同期させる、[付記7]に記載の情報処理装置。
[付記9]
前記インタフェースは、複数の前記第2ユーザのそれぞれの姿勢又は動きに関する情報を取得し、
前記制御部は、前記複数の第2ユーザのそれぞれについて前記差分情報を生成し、前記複数の第2ユーザのそれぞれの差分情報に基づいて前記複数の第2ユーザをグループに分類する、[付記1]から[付記8]までのいずれか1つに記載の情報処理装置。
[付記10]
前記制御部は、前記複数の第2ユーザのうち、比較対象部位の姿勢又は動きの差分を表す値が比較閾値以上となっているユーザを同じグループに分類する、[付記9]に記載の情報処理装置。
[付記11]
前記制御部は、前記複数の第2ユーザのうち、比較対象期間内の姿勢又は動きの差分を表す値が比較閾値以上となっているユーザを同じグループに分類する、[付記9]又は[付記10]に記載の情報処理装置。
[付記12]
前記インタフェースは、前記比較対象期間を指定する情報を取得する、[付記11]に記載の情報処理装置。
[付記13]
前記制御部は、前記第1ユーザの画像に基づいて前記比較対象期間の開始又は終了を設定する、[付記11]に記載の情報処理装置。
[付記14]
前記制御部は、前記複数の第2ユーザのうち同じグループに分類したユーザの画像を各ユーザの表示デバイスに互いに表示させる、[付記10]から[付記13]までのいずれか1つに記載の情報処理装置。
[付記15]
前記制御部は、前記複数の第2ユーザのうち同じグループに分類したユーザの画像を前記第1ユーザの表示デバイスに表示させる、[付記10]から[付記14]までのいずれか1つに記載の情報処理装置。
[付記16]
[付記1]から[付記15]までのいずれか1つに記載の情報処理装置を、第1情報処理装置及び第2情報処理装置のそれぞれとして備え、
前記第1情報処理装置は、
前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得する第1インタフェースと、
前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成して前記第2情報処理装置に出力する第1制御部と
を備え、
前記第2情報処理装置は、前記第1ユーザの画像と前記差分情報とを取得し、前記第1ユーザの画像を表示するとともに前記差分情報を前記第2ユーザに通知する第2インタフェースを備える、
情報処理システム。
[付記17]
第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得することと、
前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成することと、
表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させることと、
前記差分情報を前記第2ユーザに通知することと
を含む情報処理方法。
[付記18]
情報処理装置に、
第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得することと、
前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成することと、
表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させることと、
前記差分情報を前記第2ユーザに通知することと
を含む動作を実行させる情報処理プログラム。
1 情報処理システム
10 第1情報処理装置(11:制御部、12:記憶部、13:インタフェース、14:撮影部)
20 第2情報処理装置(21:制御部、22:記憶部、23:インタフェース、24:撮影部)
30 第3情報処理装置(31:制御部、32:記憶部、33:インタフェース)
40 ネットワーク
U1、U2 第1ユーザ、第2ユーザ
U11、U12、U13、U21、U22、23 ジョイント
U14、U15、U24、U25 ボーン
U16、U26 注目点
MR 計測範囲
W1、W2、Wn ウィンドウ

Claims (18)

  1. 第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得するインタフェースと、
    前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成する制御部と
    を備え、
    前記制御部は、表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させるとともに、前記差分情報を前記第2ユーザに通知する、情報処理装置。
  2. 前記インタフェースは、前記第1ユーザ及び前記第2ユーザの姿勢又は動きに関する情報として、前記第1ユーザ及び前記第2ユーザのボーン又はジョイントを含む骨格情報を取得し、
    前記制御部は、前記第1ユーザの骨格情報と前記第2ユーザの骨格情報との比較に基づいて前記差分情報を生成する、請求項1に記載の情報処理装置。
  3. 前記インタフェースは、前記骨格情報のうち比較対象とする部分を指定する情報を取得し、
    前記制御部は、前記骨格情報のうち比較対象とする部分に基づいて前記差分情報を生成する、請求項2に記載の情報処理装置。
  4. 前記インタフェースは、前記骨格情報のうち比較対象とする部分を指定する情報として、前記骨格情報に含まれるボーン若しくはジョイントを指定する情報、又は、前記第1ユーザの画像において前記第1ユーザの身体の少なくとも一部を指定する情報を取得する、請求項3に記載の情報処理装置。
  5. 前記インタフェースは、
    前記第1ユーザの画像として、複数のフレームを含む動画を取得し、
    前記骨格情報として、前記骨格情報に含まれるボーン又はジョイントの動きを前記動画に対応づける情報を取得し、
    前記骨格情報のうち比較対象とする部分を指定する情報として、前記動画のフレームを指定する情報を取得し、
    前記制御部は、指定されたフレームに対応づけられる骨格情報の比較に基づいて前記差分情報を生成する、請求項3に記載の情報処理装置。
  6. 前記制御部は、前記骨格情報に含まれるボーン又はジョイントの向きの比較に基づいて前記差分情報を生成する、請求項2に記載の情報処理装置。
  7. 前記制御部は、前記差分情報を前記第2ユーザの画像に重畳した画像を前記表示デバイスに表示させることによって前記差分情報を前記第2ユーザに通知する、請求項1に記載の情報処理装置。
  8. 前記制御部は、前記表示デバイスにおける前記第2ユーザの画像の表示と、前記第2ユーザに対する前記差分情報の通知とを同期させる、請求項7に記載の情報処理装置。
  9. 前記インタフェースは、複数の前記第2ユーザのそれぞれの姿勢又は動きに関する情報を取得し、
    前記制御部は、前記複数の第2ユーザのそれぞれについて前記差分情報を生成し、前記複数の第2ユーザのそれぞれの差分情報に基づいて前記複数の第2ユーザをグループに分類する、請求項1に記載の情報処理装置。
  10. 前記制御部は、前記複数の第2ユーザのうち、比較対象部位の姿勢又は動きの差分を表す値が比較閾値以上となっているユーザを同じグループに分類する、請求項9に記載の情報処理装置。
  11. 前記制御部は、前記複数の第2ユーザのうち、比較対象期間内の姿勢又は動きの差分を表す値が比較閾値以上となっているユーザを同じグループに分類する、請求項9に記載の情報処理装置。
  12. 前記インタフェースは、前記比較対象期間を指定する情報を取得する、請求項11に記載の情報処理装置。
  13. 前記制御部は、前記第1ユーザの画像に基づいて前記比較対象期間の開始又は終了を設定する、請求項11に記載の情報処理装置。
  14. 前記制御部は、前記複数の第2ユーザのうち同じグループに分類したユーザの画像を各ユーザの表示デバイスに互いに表示させる、請求項10に記載の情報処理装置。
  15. 前記制御部は、前記複数の第2ユーザのうち同じグループに分類したユーザの画像を前記第1ユーザの表示デバイスに表示させる、請求項10に記載の情報処理装置。
  16. 請求項1から15までのいずれか一項に記載の情報処理装置を、第1情報処理装置及び第2情報処理装置のそれぞれとして備え、
    前記第1情報処理装置は、
    前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得する第1インタフェースと、
    前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成して前記第2情報処理装置に出力する第1制御部と
    を備え、
    前記第2情報処理装置は、前記第1ユーザの画像と前記差分情報とを取得し、前記第1ユーザの画像を表示するとともに前記差分情報を前記第2ユーザに通知する第2インタフェースを備える、
    情報処理システム。
  17. 第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得することと、
    前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成することと、
    表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させることと、
    前記差分情報を前記第2ユーザに通知することと
    を含む情報処理方法。
  18. 情報処理装置に、
    第1ユーザの画像と、前記第1ユーザの姿勢又は動きに関する情報と、第2ユーザの姿勢又は動きに関する情報とを取得することと、
    前記第1ユーザの姿勢又は動きと前記第2ユーザの姿勢又は動きとの間の差分に関する差分情報を生成することと、
    表示デバイスに前記第1ユーザ又は前記第2ユーザの画像を表示させることと、
    前記差分情報を前記第2ユーザに通知することと
    を含む動作を実行させる情報処理プログラム。
JP2022122963A 2022-08-01 2022-08-01 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム Pending JP2024020073A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022122963A JP2024020073A (ja) 2022-08-01 2022-08-01 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
US18/355,980 US20240037777A1 (en) 2022-08-01 2023-07-20 Information processing apparatus, information processing system, information processing method, and non-transitory computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022122963A JP2024020073A (ja) 2022-08-01 2022-08-01 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Publications (1)

Publication Number Publication Date
JP2024020073A true JP2024020073A (ja) 2024-02-14

Family

ID=89664613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022122963A Pending JP2024020073A (ja) 2022-08-01 2022-08-01 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム

Country Status (2)

Country Link
US (1) US20240037777A1 (ja)
JP (1) JP2024020073A (ja)

Also Published As

Publication number Publication date
US20240037777A1 (en) 2024-02-01

Similar Documents

Publication Publication Date Title
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
JP6348574B2 (ja) 総体的カメラ移動およびパノラマカメラ移動を使用した単眼視覚slam
JP5936155B2 (ja) 3次元ユーザインタフェース装置及び3次元操作方法
US9576183B2 (en) Fast initialization for monocular visual SLAM
JP6424601B2 (ja) 表示制御方法、情報処理プログラム、及び情報処理装置
JP6586834B2 (ja) 作業支援方法、作業支援プログラム、及び作業支援システム
WO2013035758A1 (ja) 情報表示システム、情報表示方法、及び記憶媒体
CN107004279A (zh) 自然用户界面相机校准
TW201142745A (en) Information processing apparatus, information processing system, and information processing method
KR20160138729A (ko) 영상에서 동작 인식을 위한 특징점 추출 방법 및 골격 정보를 이용한 사용자 동작 인식 방법
KR102234646B1 (ko) 가상 현실 체험 장치 및 방법
US20150339859A1 (en) Apparatus and method for navigating through volume image
JP2014071501A (ja) 画像処理装置、方法、及びプログラム
CN113426117A (zh) 虚拟相机拍摄参数获取方法、装置、电子设备和存储介质
US20210005024A1 (en) Image display control apparatus and image display control program
CN112348942A (zh) 一种健身交互方法和系统
JP2012233963A (ja) 投影システム、投影装置、投影方法、および制御プログラム
JP7109395B2 (ja) 作業支援システム、作業支援装置、及び作業支援方法
US20210327160A1 (en) Authoring device, authoring method, and storage medium storing authoring program
JP2015011404A (ja) 動作認識処理装置
KR101447958B1 (ko) 신체 부분 검출 방법 및 장치
JP2024020073A (ja) 情報処理装置、情報処理システム、情報処理方法、及び情報処理プログラム
JP2015184986A (ja) 複合現実感共有装置
WO2022176450A1 (ja) 情報処理装置、情報処理方法、およびプログラム
WO2017147826A1 (zh) 智能设备的图像处理方法及装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240111