JPWO2018123293A1 - 出力制御装置、出力制御方法、およびプログラム - Google Patents

出力制御装置、出力制御方法、およびプログラム Download PDF

Info

Publication number
JPWO2018123293A1
JPWO2018123293A1 JP2018558879A JP2018558879A JPWO2018123293A1 JP WO2018123293 A1 JPWO2018123293 A1 JP WO2018123293A1 JP 2018558879 A JP2018558879 A JP 2018558879A JP 2018558879 A JP2018558879 A JP 2018558879A JP WO2018123293 A1 JPWO2018123293 A1 JP WO2018123293A1
Authority
JP
Japan
Prior art keywords
output control
output
difference
unit
stimulus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018558879A
Other languages
English (en)
Other versions
JP6984613B2 (ja
Inventor
鎮 伊藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018123293A1 publication Critical patent/JPWO2018123293A1/ja
Application granted granted Critical
Publication of JP6984613B2 publication Critical patent/JP6984613B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00Training appliances or apparatus for special sports
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B2071/0655Tactile feedback
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/62Time or time measurement used for time reference, time stamp, master time or clock signal
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/803Motion sensors
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00Measuring of physical parameters relating to sporting activity
    • A63B2220/80Special sensors, transducers or devices therefor
    • A63B2220/83Special sensors, transducers or devices therefor characterised by the position of the sensor
    • A63B2220/836Sensors arranged on the body of the user
    • AHUMAN NECESSITIES
    • A63SPORTS; GAMES; AMUSEMENTS
    • A63BAPPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/0015Dancing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00Teaching not covered by other main groups of this subclass
    • G09B19/003Repetitive work cycles; Sequence of movements
    • G09B19/0038Sports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

【課題】ユーザによる複雑な技術の取得をより直観的に支援する。【解決手段】マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出する演算部と、前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行う出力制御部と、を備え、前記出力制御部は、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させる、出力制御装置が提供される。【選択図】図1

Description

本開示は、出力制御装置、出力制御方法、およびプログラムに関する。
近年、収集したセンサ情報を利用し、ユーザの技術取得や技術向上を支援する技術が開発されている。例えば、特許文献1には、スポーツ器具に装着したセンサ装置から収集したセンサ情報に基づいてユーザが行った動作と類似するアクションを特定し、当該アクションに応じたフィードバックをユーザに提供する技術が開示されている。
特開2016−47207号公報
しかし、特許文献1に記載の技術では、ユーザが行った動作と類似するアクションに対するフィードバックが提供されるに留まり、ユーザは目標とするアクションと自身が行った動作との差を直観的に把握することが困難である。また、特許文献1に記載の技術では、器具に装着した単一のセンサ装置から収集されるセンサ情報を用いて上記のような処理を実現している。このため、特許文献1に記載の技術では、同時に複数の動作が求められる複雑な技術の上達を支援することが困難な場合もある。
そこで、本開示では、ユーザによる複雑な技術の取得をより直観的に支援することが可能な、新規かつ改良された出力制御装置、出力制御方法、およびプログラムを提案する。
本開示によれば、マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出する演算部と、前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行う出力制御部と、を備え、前記出力制御部は、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させる、出力制御装置が提供される。
また、本開示によれば、プロセッサが、マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出することと、前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行うことと、を含み、出力制御を行うことは、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させること、をさらに含む、出力制御方法が提供される。
また、本開示によれば、コンピュータを、マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出する演算部と、前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行う出力制御部と、を備え、前記出力制御部は、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させる、出力制御装置、として機能させるためのプログラムが提供される。
以上説明したように本開示によれば、ユーザによる複雑な技術の取得をより直観的に支援することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の実施形態の概要について説明するための図である。 同実施形態に係るデバイスおよび出力制御装置の機能ブロック図である。 同実施形態に係るガイド刺激について説明するための図である。 同実施形態に係るダンスの練習に用いられるデバイスおよび出力制御装置の構成を示す図である。 同実施形態に係る学習段階における1回目の出力制御の例を示す図である。 同実施形態に係る学習段階における2回目の出力制御の例を示す図である。 同実施形態に係る学習段階におけるN回目の出力制御の例を示す図である。 同実施形態に係るチェック段階における出力制御の例について説明するための図である。 同実施形態に係る他のユーザのモーションデータに基づくマスターデータの生成について説明するための図である。 同実施形態に係る画像情報に基づくマスターデータの生成について説明するための図である。 同実施形態に係る出力制御装置の動作の流れを示すフローチャートである。 本開示に係るハードウェア構成例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
なお、説明は以下の順序で行うものとする。
1.実施形態
1.1.実施形態の概要
1.2.デバイス10の機能構成例
1.3.出力制御装置20の機能構成例
1.4.出力制御部240による出力制御の具体例
1.5.マスターデータの生成例
1.6.出力制御装置20の動作の流れ
2.ハードウェア構成例
3.まとめ
<1.実施形態>
<<1.1.実施形態の概要>>
まず、本開示の一実施形態の概要について説明する。上述したとおり、近年では、収集されたセンサ情報を利用し、ユーザの技術取得や技術向上を支援する技術が開発されている。上記のような技術には、例えば、センサ装置から収集されたセンサ情報に基づく解析を行い、当該解析の結果に応じたフィードバックをユーザに提示するものがあり、スポーツ分野などにおいて用いられている。
しかし、多くの場合、上記のような解析には、単一のセンサ装置から収集されたセンサ情報が用いられているため、複雑な動作の解析を行うことが困難な場合もある。例えば、特許文献1には、テニスラケットに装着したセンサ装置から収集したセンサ情報に基づいてショット種別を判別し、当該ショット種別に応じたフィードバックをユーザに提示する技術が開示されている。しかし、本来、テニスショットのような動作では、テニスラケットを扱う利き手の動作のみではなく、バランスを取る反対側の手の動きや、両脚の重心移動なども非常に重要な要素となる。このため、特許文献1に記載の技術では、ユーザは、ショットが成功したと判定された場合であっても、自身のどの部位のどの動作が寄与したかを判別することが困難である。
また、特許文献1に記載の技術では、ユーザは自身が行った動作が成功したか、あるいはどのレベルに達しているかを認識することはできるが、目標の動作を行うために、どのような改善をすればよいのかを知覚することが困難である。
本開示に係る技術思想は、上記の点に着目して発想されたものであり、ユーザに対し、より直観的かつより効果の高い技術取得支援を行うことを可能とする。このために、本実施形態に係る出力制御装置、出力制御方法、およびプログラムは、目標動作に該当するマスターデータと、複数のセンサ部から取得されたモーションデータとの差分を算出することを特徴の一つとする。また、本実施形態に係る出力制御装置、出力制御方法、およびプログラムは、上記の差分に基づいて、モーションデータを収集したセンサ部と対応する位置に配置される対象出力部に触覚刺激を出力させること、を特徴の一つとする。
図1は、本実施形態の概要について説明するための図である。図1の左側には、4つのセンサ装置910a〜910dを装着した上級者P0が示されている。また、図1の右側には、本実施形態に係るデバイス10を装着した対象ユーザU0が示されている。なお、図1には、本実施形態に係るデバイス10が、4つのセンサ部110a〜110d、および4つの出力部120a〜120dを備える場合の例が示されている。
上述したように、本実施形態に係る出力制御装置20は、マスターデータとモーションデータとの差分を算出することを特徴の一つとする。ここで、本実施形態に係るマスターデータとは、対象ユーザが目標とする動作に対応するデータであってよい。マスターデータは、例えば、図1に示すように、上級者P0が装着するセンサ装置910a〜910dにより収集されるセンサ情報に基づいて生成される。なお、本実施形態に係る上級者とは、対象ユーザと比較して優れた技術を有するプロフェッショナルや指導者などであってよい。
この際、本実施形態に係る出力制御装置20は、収集した上級者P0の動作に基づくセンサ情報を、対象ユーザの身体的特徴に基づいて加工し、マスターデータを生成する。出力制御装置20は、例えば、上級者P0の身長Hpと対象ユーザの身長Huに係るデータに基づいて上記の加工を行ってもよい。
また、本実施形態に係るモーションデータとは、デバイス10が備えるセンサ部110a〜110dにより収集されるセンサ情報であってよい。すなわち、本実施形態に係るモーションデータとは、対象ユーザが行う動作に基づいて収集されるセンサ情報である。
以上、本実施形態に係るマスターデータおよびモーションデータの概要を説明した。本実施形態に係る出力制御装置20は、上記のマスターデータとモーションデータとの差分を対応する位置や部位ごとに算出することができる。例えば、図1に示す一例の場合、出力制御装置20は、センサ装置910aに基づいて生成されたマスターデータと、センサ部110aにより収集されたモーションデータとの差分を算出する。同様に、出力制御装置20は、センサ装置910bとセンサ部110b、センサ装置910cとセンサ部110c、またセンサ装置910dとセンサ部110dをそれぞれ対応付けて上記の差分を算出してよい。
また、本実施形態に係る出力制御装置20は、マスターデータとモーションデータとの差分を検出した場合、対象出力部に触覚刺激を出力させる。ここで、上記の対象出力部は、マスターデータとの差分が検出されたモーションデータを収集したセンサ部と対応する位置に配置される出力部を指す。図1の一例では、センサ装置910aが収集したセンサ情報に基づくマスターデータと、センサ部110aが収集したモーションデータとに差異が検出された場合を示している。この場合、本実施形態に係る出力制御装置20は、図1に示すように、センサ部110aと同じく右上腕部に配置される出力部120aに触覚刺激T1を出力させてよい。
以上説明したように、本実施形態に係る出力制御装置20は、マスターデータとモーションデータとの差分に基づいて対象出力部に触覚刺激を出力させることができる。また、この際、本実施形態に係る出力制御装置20は、差分の種別や大きさに基づいて、対象出力部に出力させる触覚刺激を制御することができる。以下、上記の機能を実現するための、デバイス10および出力制御装置20の機能構成について説明する。
<<1.2.デバイス10の機能構成例>>
まず、本実施形態に係るデバイス10の機能構成例について説明する。図2は、本実施形態に係るデバイス10および出力制御装置20の機能ブロック図である。図2を参照すると、本実施形態に係るデバイス10は、センサ部110、出力部120、およびサーバ通信部130を備える。ここで、本実施形態に係るデバイス10は、複数のセンサ部110および複数の出力部120を備える装置であってよい。本実施形態に係るデバイス10が備える各構成の数や配置は、適用される技術分野の特性に応じて適宜設計され得る。
また、本実施形態に係るデバイス10が備える各構成は、必ずしも、物理的に接続される必要はない。例えば、図1におけるセンサ部110a〜110d、および出力部120a〜120dは、それぞれペアごとに独立したウェアラブル装置などに配置され、本実施形態に係るデバイス10は、上記の複数のウェアラブル装置の組み合わせにより実現されてもよい。この場合、本実施形態に係るデバイス10は、複数のサーバ通信部130を備えてもよい。本実施形態に係るデバイス10の構成は、適宜変更され得る。
(センサ部110)
センサ部110は、モーションデータを収集する機能を有する。上述したとおり、本実施形態に係るモーションデータは、対象ユーザの動作に基づくセンサ情報であってよい。このために、本実施形態に係るセンサ部110は、例えば、各種の加速度センサやジャイロセンサ、地磁気センサ、圧力センサなどを含んで構成され得る。
(出力部120)
出力部120は、後述する出力制御装置20の出力制御部240による制御に基づく出力を行う機能を有する。特に、本実施形態に係る出力部120は、出力制御部240による制御に基づいて、触覚刺激を出力してよい。このために、本実施形態に係る出力部120は、リニア・バイブレータ、ピエゾ(圧電)素子、偏心モーターなどの振動生成装置を含んで構成され得る。また、本実施形態に係る出力部120は、出力制御部240による制御に基づいて音響情報や光情報を出力してもよい。この場合、出力部120は、スピーカや発光素子などを含んで構成される。
また、図1の例では、出力部120が対応するセンサ部110の近傍に配置される場合を示したが、本実施形態に係る出力部120の配置は係る例に限定されない。本実施形態に係る出力部120は、対応するセンサ部110の配置とは独立して配置されてもよい。出力部120は、触覚提示に適した位置であり、かつ動作の修正に効果的な位置に適宜配置され得る。
(サーバ通信部130)
サーバ通信部130は、出力制御装置20との情報通信を行う機能を有する。具体的には、本実施形態に係るサーバ通信部130は、センサ部110が収集したモーションデータを出力制御装置20に送信する。また、本実施形態に係るサーバ通信部130は、出力部120の出力制御に用いられる出力制御信号を出力制御装置20から受信する。
以上、本実施形態に係るデバイス10の機能構成例について説明した。なお、上記で述べた機能構成はあくまで一例であり、本実施形態に係るデバイス10の機能構成は係る例に限定されない。例えば、本実施形態に係るデバイス10は、上記で述べた以外の構成をさらに備えるように構成されてもよい。デバイス10は、ユーザの入力操作を受け付ける入力部などをさらに備えてもよい。
また、図2を用いた上記の説明では、デバイス10と出力制御装置20とがそれぞれ独立した装置として実現される場合を例に述べたが、本実施形態に係るシステム構成例は係る例に限定されない。本実施形態に係るデバイス10および出力制御装置20は、一体の装置として実現されてもよい。本実施形態に係るシステム構成は、扱われる情報の特性や、システムの仕様、運用条件などに応じて柔軟に変形され得る。
<<1.3.出力制御装置20の機能構成例>>
次に、引き続き図2を用いて、本実施形態に係る出力制御装置20の機能構成例について詳細に説明する。図2を参照すると、本実施形態に係る出力制御装置20は、データ加工部210、演算部220、記憶部230、出力制御部240、およびデバイス通信部250を備える。
(データ加工部210)
データ加工部210は、センサ情報に基づいてマスターデータを生成する機能を有する。本実施形態に係るデータ加工部210は、例えば、図1を用いて説明したように、上級者が行う動作に基づいて収集されるセンサ情報から、マスターデータを生成してもよい。
また、この際、本実施形態に係るデータ加工部210は、デバイス10を装着する対象ユーザの身体的特徴に基づいて上記のセンサ情報を加工し、マスターデータを生成する。データ加工部210は、例えば、身長体重、腕の長さ、脚の長さなどの身体的特徴を用いて上記の加工を行ってよい。また、例えば、データ加工部210は、対象ユーザの利き腕などの情報に基づいて、マスターデータを生成してもよい。すなわち、本実施形態に係るデータ加工部210は、上級者と対象ユーザとの間における身体的特徴の差が解消されるようにセンサ情報を加工する機能を有する。
また、データ加工部210は、上級者と対象ユーザとに与えられた設定動作の違いに基づいて、マスターデータを生成してもよい。上記の設定動作の違いには、例えば、上級者と対象ユーザとが左右対称の動作を行うべき場合や、上級者と対象ユーザとが所定の時間差を以って同一の動作を行うべき場合などが想定される。本実施形態に係るデータ加工部210が有する上記の機能によれば、対象ユーザの身体的特徴や設定動作の違いに合わせたマスターデータを生成することが可能となり、目標動作との差をより正確に対象ユーザに提示することができる。また、本実施形態に係るデータ加工部210が有する上記の機能によれば、1名の上級者から収集したセンサ情報を、複数の対象ユーザに用いることが可能となる。
さらには、本実施形態に係るデータ加工部210は、複数のセンサ装置から収集されたセンサ情報に基づいて、マスターデータを生成してもよい。例えば、データ加工部210は、複数の圧力センサから収集された圧力情報から重心などを算出し、当該重心をマスターデータとすることもできる。この場合、後述する演算部220は、同様に複数のセンサ部110から収集されたセンサ情報に基づいてモーションデータを算出し、上記のマスターデータと比較することができる。
(演算部220)
演算部220は、マスターデータとモーションデータとの差分を算出する機能を有する。上述したように、本実施形態に係るモーションデータは、デバイス10のセンサ部110により収集されるセンサ情報であってよい。
なお、上記の説明では、本実施形態に係るデータ加工部210が、対象ユーザの身体的特徴に基づいたマスターデータを生成する場合について述べたが、身体的特徴に基づく補正機能は、演算部220の機能として実現されてよい。この場合、マスターデータは、複数の対象ユーザに共通で用いられ、演算部220が上記の差分を算出する際に、身体的特徴を考慮した演算を行うことができる。
(記憶部230)
記憶部230は、出力制御装置20の各構成が用いるプログラムやデータを記憶する機能を有する。特に、本実施形態に係る記憶部230は、データ加工部210により生成されたマスターデータや、デバイス10により収集されたモーションデータを記憶する。また、記憶部230は、対象ユーザや上級者の身体的特徴、演算部220により算出される差分情報などを記憶する。
なお、出力制御装置20が複数設置される場合にあっては、記憶部230のそれぞれは、上級者の動作に基づいて生成されたマスターデータと対象ユーザのモーションデータとの両方を保持する。この際、上級者と対象ユーザは単一の出力制御装置20を共有してもよいし、上級者に割り当てられた出力制御装置20の記憶部230から、対象ユーザに割り当てられたそれぞれの出力制御装置20の記憶部230に、マスターデータがコピーされてもよい。この際、マスターデータは、デバイス通信部250を介する情報通信や種々の記憶媒体などを介してコピーされてよい。
(出力制御部240)
出力制御部240は、演算部220が算出した差分に基づいて、デバイス10が備える複数の出力部120に係る出力制御を行う機能を有する。この際、本実施形態に係る出力制御部240は、上記の差分に基づいて、モーションデータを収集したセンサ部110と対応する位置に配置される対象出力部に触覚刺激を出力させる。すなわち、本実施形態に係る出力制御部240は、マスターデータとモーションデータとの差分に基づいて、当該モーションデータを収集したセンサ部110と対応する出力部120を制御するための制御信号を生成する。
この際、本実施形態に係る出力制御部240は、例えば、上記差分の種別または大きさに基づいて、対象出力部に出力させる触覚刺激を制御してよい。
例えば、演算部220により動作開始タイミングに係る差分が算出された場合、本実施形態に係る出力制御部240は、当該動作開始タイミングに係る差分に基づいて、対象出力部に出力させる触覚刺激の出力タイミングを制御してもよい。
また、例えば、演算部220により動作の大きさに係る差分が算出された場合、本実施形態に係る出力制御部240は、当該動作の大きさに係る差分に基づいて、対象出力部に出力させる触覚刺激の強度や周波数を制御してもよい。
また、例えば、演算部220により動作の継続時間に係る差分が算出された場合、本実施形態に係る出力制御部240は、当該動作の継続時間に係る差分に基づいて、対象出力部に出力させる触覚刺激の継続時間や強度を制御してもよい。
また、本実施形態に係る出力制御部240が対象出力部に出力させる触覚刺激には、マスターデータに対応する動作をガイドするガイド刺激が含まれてよい。出力制御部240は、マスターデータとモーションデータとの差分に基づいて、対象出力部に出力させるガイド刺激を制御することができる。ここで、本実施形態に係るガイド刺激は、対象ユーザが上級者の動作を模倣できるようにガイドする刺激である。このため、本実施形態に係る出力制御部240は、対象ユーザがマスターデータに対応する動作を行うべきタイミングよりも前に、ガイド刺激を対象出力部に出力させてもよい。対象ユーザは、出力されるガイド刺激を知覚することで、自身が行うべき動作の開始タイミングや大きさを把握することが可能となる。
また、本実施形態に係るガイド刺激は、上級者の動作と対象ユーザの動作との差分の傾向に基づいて生成されてよい。このため、対象ユーザが反復して練習を行う場合、演算部220は、マスターデータと、前回動作時に収集されたモーションデータとの前回差分を算出し、出力制御部240は、当該前回差分に基づいてガイド刺激の出力を制御することができる。本実施形態に係る出力制御部240が有する上記の機能によれば、反復練習により、上級者の動作と対象ユーザの動作との差分が徐々に小さくなっていく効果が期待される。
図3は、本実施形態に係るガイド刺激について説明するための図である。図3には、上級者の動作に基づいて生成されたマスターデータM0a〜M0c、および対象ユーザの動作に基づいて収集されたモーションデータS0a〜S0cが示されている。上述したとおり、図3に示されるモーションデータS0a〜S0cは、前回動作時に収集されたモーションデータであってよい。また、図3には、マスターデータM0a〜M0cとモーションデータS0a〜S0cとの差分に基づいて、出力制御部240が出力させるガイド刺激G0a〜G0cが示されている。なお、図3では、縦軸に動作または触覚刺激の大きさが示され、横軸に時間経過が示されている。
ここで、図3を参照すると、モーションデータS0aがマスターデータMaと比較して大きいことがわかる。これは、すなわち、前回動作時に対象ユーザが行った動作が上級者の動作と比較して大きかったことを示している。この場合、出力制御部240は、デフォルトのガイド刺激よりも弱めのガイド刺激G0aを対象出力部に出力させてよい。対象ユーザは、ガイド刺激G0aを知覚することで、直観的に動作の大きさを抑えることができる。
また、図3を参照すると、モーションデータS0bがマスターデータM0bと比較して遅れていることがわかる。これは、すなわち、前回動作時に対象ユーザが行った動作の開始タイミングが上級者の動作と比較して遅れていたことを示している。この場合、出力制御部240は、デフォルトのガイド刺激よりも早いタイミングでガイド刺激G0bを対象出力部に出力させてよい。対象ユーザは、ガイド刺激G0bを知覚することで、直観的に動作の開始タイミングを早めることができる。
また、図3を参照すると、モーションデータS0cがマスターデータM0cと比較して短いことがわかる。これは、すなわち、前回動作時に対象ユーザが行った動作の継続時間が上級者の動作と比較して短かったことを示している。この場合、出力制御部240は、デフォルトのガイド刺激よりも長い継続時間でガイド刺激G0cを対象出力部に出力させてよい。対象ユーザは、ガイド刺激G0cを知覚することで、直観的に動作の継続時間を長くとることができる。
(デバイス通信部250)
デバイス通信部250は、デバイス10との情報通信を行う機能を有する。具体的には、本実施形態に係るデバイス通信部250は、デバイス10からモーションデータを受信する。また、本実施形態に係るデバイス通信部250は、出力部120の出力制御に用いられる制御信号をデバイス10に送信する。
以上、本実施形態に係る出力制御装置20の機能構成例について説明した。なお、上記で述べた機能構成はあくまで一例であり、本実施形態に係る出力制御装置20の機能構成は係る例に限定されない。例えば、本実施形態に係る出力制御装置20は、上記で述べた以外の構成をさらに備えるように構成されてもよい。出力制御装置20は、例えば、ユーザの入力操作を受け付ける入力部や、各種の情報を表示する表示部などをさらに備えてもよい。また、上述したとおり、本実施形態に係るデバイス10と出力制御装置20は、一体の装置として実現されてもよい。この場合、出力制御装置20は、センサ部110および出力部120をさらに備えてよい。本実施形態に係る出力制御装置20の機能構成は、柔軟に変形され得る。
<<1.4.出力制御部240による出力制御の具体例>>
次に、本実施形態に係る出力制御部240による出力制御の具体例について説明する。以下では、本実施形態に係るデバイス10および出力制御装置20がダンスの練習に適用される場合を例に挙げて説明する。このように、本実施形態に係るデバイス10および出力制御装置20は、スポーツにおける技術取得の他、ダンスなどの練習にも利用可能である。また、本実施形態に係るデバイス10および出力制御装置20がダンスの練習などに用いられる場合、フォームの取得に限らず、音楽に合わせたリズムの取得にも触覚刺激は有効に作用する。さらには、団体で練習が行われる場合、聴覚情報や視覚情報による情報は個人ごとに提示することが困難であるため、本実施形態に係る差分に基づいた触覚刺激の提示はより有効な手段となり得る。
図4は、本実施形態に係るダンスの練習に用いられるデバイス10および出力制御装置20の構成を示す図である。図4に示すように、ダンスの練習に用いられるデバイス10は、4つのセンサ部110a〜110d、および4つの出力部120a〜120dを備える。また、センサ部110a〜110dおよび出力部120a〜120dは、例えば、対象ユーザの両手首と両足首にそれぞれ装着されてよい。また、センサ部110a〜110dは、3軸加速度センサ、3軸ジャイロセンサなどを含んで構成される。また、サーバ通信部130(図示しない)は、センサ部110a〜110dが収集したモーションデータを出力制御装置20に送信し、出力制御装置20から受信した制御信号を出力部120a〜120dに引き渡す。
なお、以下の説明においては、マスターデータがプロフェッショナルである上級者の動作に基づいて収集、生成され、音楽と同期されている場合を例に説明する。また、以下では、ダンスの練習における段階を、学習段階とチェック段階との2つの段階に分けて説明する。
(学習段階)
本実施形態に係る学習段階では、対象ユーザがマスターデータに対応する動作を習得するための練習が行われる。図5は、本実施形態の学習段階における1回目の出力制御の例を示す図である。
図5には、マスターデータM1a〜M1d、マスターデータM1a〜M1dに対応するガイド刺激G1a〜G1d、および対象ユーザの動作に基づいて収集される1回目のモーションデータS1a〜S1dが示されている。なお、図5、および以降に示す図6〜8では、図3の場合と同様に、縦軸に動作または触覚刺激の大きさが示され、横軸に時間経過が示されている。
ここで、学習段階の1回目では、前回動作時におけるモーションデータが存在しないため、図5に示すガイド刺激G1a〜G1dは、マスターデータM1a〜M1dにそれぞれ対応して制御されるデフォルトのガイド刺激であってよい。図5に示すように、本実施形態に係るデフォルトのガイド刺激は、マスターデータの大きさ、開始タイミング、継続時間に対応した触覚刺激として制御され得る。また、本実施形態に係るガイド刺激は、図5に示すように、動作の開始タイミングを対象ユーザに提示するための補助刺激r1およびr2を含んでよい。上記の補助刺激は、動作の開始タイミングに合わせたカウントダウンなどの役割を担うものであってもよい。
ここで、図5におけるモーションデータS1a〜S1dに着目すると、対象ユーザがガイド刺激G1a〜G1dの提示が終わったあとに、動作を行っていたことがわかる。このような場合、まず、指導者は、ガイド刺激と動作の開始タイミングとの関係を対象ユーザに指導する。また、モーションデータS1a〜S1dに着目すると、対象ユーザがマスターM1a〜M1dに対応する動作よりも大きい動作を行っていることがわかる。このような場合、本実施形態に係る出力制御部240は、演算部220により算出された差分に基づいて、次回に出力させるガイド刺激を弱める制御を行う。
図6は、本実施形態の学習段階における2回目の出力制御の例を示す図である。図6には、1回目と同一のマスターデータM1a〜M1d、1回目のモーションデータS1a〜S1dにより調整されたガイド刺激G2a〜G2d、および対象ユーザの動作に基づいて収集される2回目のモーションデータS2a〜S2dが示されている。
ここで、図6におけるガイド刺激G2a〜G2dに着目すると、1回目におけるガイド刺激G1a〜G1dに比べ、強度が小さいことがわかる。このように、本実施形態に係る出力制御部240は、マスターデータM1a〜M1dと、前回動作時に収集されたモーションデータS1a〜S1dとの差分に基づいて、対象出力部に出力させるガイド刺激G2a〜G2dを制御することできる。
また、モーションデータS2a〜S2dに着目すると、動作の大きさや動作の開始タイミングがマスターデータM1a〜M1dに近づいていることがわかる。一方、モーションデータS2aが示すように、対象ユーザは、弱いガイド刺激G2aに対し、動作の開始が遅くなる傾向があることがわかる。また、モーションデータS2cに示すように、対象ユーザは、緩やかに弱くなるガイド刺激G2cに対し、動作の継続時間が長くなる傾向があることがわかる。このような場合、本実施形態に係る出力制御部240は、上記のような傾向に基づいて、次回に出力させるガイド刺激をそれぞれ独立的に制御することができる。
図7は、本実施形態の学習段階におけるN回目の出力制御の例を示す図である。図7には、1〜N−1回目と同一のマスターデータM1a〜M1d、N−1回目までのモーションデータにより調整されたガイド刺激GNa〜GNd、および対象ユーザの動作に基づいて収集されるN回目のモーションデータSNa〜SNdが示されている。
ここで、図7におけるガイド刺激GNa〜GNdに着目すると、ガイド刺激GNa〜GNdは、図5に示したデフォルトのガイド刺激G1a〜G1dと比べ、対象ユーザの動作傾向に応じてそれぞれ独立に制御されていることがわかる。また、モーションデータSNa〜SNdに着目すると、対象ユーザがN回目の練習によりマスターデータM1a〜M1dと一致する動作を行えるようになったことがわかる。このように、本実施形態に係る出力制御部240が有する機能によれば、対象ユーザの動作傾向に応じてガイド刺激の出力開始タイミング、強度、継続時間などを調整することで、対象ユーザごとの技術取得を補助することが可能である。
なお、出力制御部240は、対象ユーザの負担を低減するために、触覚刺激の出力の総和が所定の閾値に達した場合には、触覚刺激の出力を停止させてもよい。また、出力制御部240は、動作のずれが所定以上に達した場合や、対象ユーザが動作を止めた際には、触覚刺激や音楽を停止させることもできる。
(チェック段階)
次に、本実施形態に係るチェック段階における出力制御例について説明する。ここで、本実施形態に係るチェック段階は、マスターデータとの差分を対象ユーザに知覚させることを目的とする段階である。また、本実施形態に係るチェック段階は、今後、触覚刺激の提示が行われなくなった場合や、他のユーザと共通の触覚刺激が用いられる場合であっても、対象ユーザがマスターデータと一致する動作を行えるようにする目的も含む。
このため、本実施形態に係るチェック段階では、出力制御部240は、ガイド刺激に加え、上記の差分を対象ユーザに提示するフィードバック刺激を対象出力部に出力させる。この際、出力制御部240は、演算部220により算出された差分の種別または当該差分の大きさに基づいて、フィードバック刺激を制御してよい。ここで、上記の差分の種別には、例えば、動作の大きさ、開始タイミング、継続時間などが挙げられる。本実施形態に係る出力制御部240は、上記のような差分の種別や当該差分の大きさに基づいて、フィードバック刺激の強度や、継続時間、周波数、波形パターンなどを制御してよい。なお、どの種別にどの周波数や波形パターンが対応するかについては、事前に対象ユーザに知らされてよい。また、対象ユーザが自身にとって直観的な組み合わせを選択することも可能である。
以下、本実施形態に係るチェック段階における出力制御例について具体例を挙げながら説明する。なお、以下では、出力制御部240が、単一動作の開始タイミングの差分に係る出力制御を行う場合を例に説明する。また、以下では、図7に示した学習段階のN回目の後、すなわち対象ユーザが自身向けに制御されたガイド刺激がある場合にはマスターデータと一致する動作を行える状態においてチェック段階が開始される場合を例に説明するが、本実施形態に係るチェック段階は任意の時点において開始されてもよい。
図8は、本実施形態に係るチェック段階における出力制御の例について説明するための図である。図8の左側には、マスターデータM11と、チェック段階の1〜3回目における出力制御の例が示されている。また、図8の右側には、マスターデータM11と、チェック段階のN、T、およびZ回目における出力制御の例が示されている。
まず、チェック段階の1回目における出力制御の例について説明する。チェック段階における1回目では、出力制御部240は、学習段階のN回目に出力したガイド刺激と同一のガイド刺激を出力してよい。すなわち、図8におけるガイド刺激G11は、対象ユーザの動作傾向に基づいて、デフォルトのガイド刺激よりも早いタイミングで出力されるように制御されている。また、モーションデータS11に着目すると、上記のように制御されるガイド刺激G11が出力される場合には、対象ユーザは、マスターデータM11と一致する動作を行えていることがわかる。
次に、チェック段階の2回目における出力制御の例について説明する。チェック段階の2回目では、出力制御部240は、デフォルトのガイド刺激に近づくように、1回目のガイド刺激G11よりも遅れたタイミングでガイド刺激G12を出力させる。ここで、モーションデータS12に着目すると、上記のガイド刺激G12の制御に伴い、対象ユーザの動作開始タイミングが遅れていることがわかる。
この際、出力制御部240は、上記の動作開始タイミングのずれ、すなわち、マスターデータM11とモーションデータS12との差分に基づいて、フィードバック刺激F12を対象出力部に出力させる。ここで、上記のフィードバック刺激F12には、予め対象ユーザが開始タイミングの遅れに対応する刺激であると認識している周波数や波形パターンが用いられる。対象ユーザは、フィードバック刺激F12を知覚することで、自身の動作の開始タイミングが遅れていることを把握することができる。なお、出力制御部240は、対象ユーザがマスターデータM11に対応する動作を行ったのち、所定時間内にフィードバック刺激を出力させてよい。これにより、ガイド刺激とフィードバック刺激の混同を避けることができる。
次に、チェック段階の3回目における出力制御の例について説明する。チェック段階の3回目では、出力制御部240は、2回目のガイド刺激G12と同一のタイミングでガイド刺激G13を出力させてよい。このように、出力制御部240は、対象ユーザが自発的に動作の開始タイミングを早め、再びマスターデータM11と一致する動作を行えるまで、ガイド刺激の出力タイミングを固定する。また、モーションデータS13に着目すると、対象ユーザの動作開始タイミングが2回目に比べ、マスターデータM11に近づいていることがわかる。このため、出力制御部240は、2回目のフィードバック刺激F12よりも弱い強度で3回目のフィードバック刺激F13を出力させている。
次に、チェック段階のN回目における出力制御の例について説明する。N回目におけるガイド刺激G1Nは、3回目のガイド刺激G13と同様に固定されたタイミングで出力されている。また、モーションデータS1Nに着目すると、対象ユーザがマスターデータM11と一致するタイミングで動作を開始できていることがわかる。
次に、チェック段階のT回目以降における出力制御の例について説明する。チェック段階のT回目以降では、上記の2〜N回目で説明したように、ガイド刺激の出力タイミングをマスターデータに近づける制御、および対象ユーザがマスターデータM11と一致する動作を行えるまでガイド刺激の出力タイミングを固定する制御を繰り返し実行する。また、出力制御部240は、上記の制御とあわせて、マスターデータM11との差分に基づいたフィードバック刺激を対象出力部に出力させる。
本実施形態に係る出力制御部240が上記の制御を行うことで、図8に示すように、ユーザは、Z回目には、デフォルトのガイド刺激G1Zが出力される場合でも、マスターデータM11と同一の動作を行えるように上達する。すなわち、本実施形態に係る出力制御部240の機能によれば、触覚刺激の提示が行われなくなった場合や、他のユーザと共通の触覚刺激が用いられる場合であっても、対象ユーザがマスターデータと一致する動作を行うことが可能となる。
以上、本実施形態に係るチェック時における出力制御の例について説明した。上述したように、本実施形態に係る出力制御部240は、対象ユーザ用に調整されたガイド刺激を徐々にデフォルトの状態に近づけることで、対象ユーザの動作傾向を補正することができる。なお、この際、出力制御部240は、対象ユーザにとって違和感がないように、一度に調整する変化量を抑えながら制御を繰り返してよい。出力制御部240が上記のような制御を行うことで、対象ユーザが無意識のうちに動作開始タイミングを修正することができる効果も期待される。
また、図8を用いた説明では、動作の開始タイミングに係るずれを補正する場合を例に述べたが、本実施形態に係る出力制御部240は、上記で説明した手法と同一の手法により、動作の大きさや継続時間に係るずれを補正することもできる。また、出力制御部240は、上記の制御を複数の出力部120に対し同時に行ってよい。出力制御部240が差分の種別に基づく触覚刺激の出力を段階的または平行して制御していくことで、対象ユーザは、最終的には、マスターデータと同一の動作を行うことが可能となる。
また、この際、出力制御部240は、動作箇所の重要度に応じて、触覚刺激を出力させる出力部120を選択してもよい。例えば、出力制御部240は、複数箇所で動作のずれが検出された場合には、より重要な箇所に配置される出力部120に優先して触覚刺激を出力させてもよい。また、出力制御部240は、同時に触覚刺激を出力させる出力部120の数を限定してもよい。一方、出力制御部240は、動作のずれが検出された順に出力部120に触覚刺激を出力させることもできる。
<<1.5.マスターデータの生成例>>
次に、本実施形態に係るマスターデータの生成例について詳細に説明する。上記の説明では、マスターデータが予めプロフェッショナルや指導者などの上級者の動作に基づいて収集、生成される場合を例に述べた。一方、本実施形態に係るマスターデータの生成は、係る例に限定されない。本実施形態に係るマスターデータは、例えば、デバイス10を装着する他のユーザの動作に基づき収集されるモーションデータに基づいて生成されてもよい。また、上記の他のユーザの動作に基づき収集されるモーションデータは、デバイス10を装着する対象ユーザが行う動作に基づいて収集されるモーションデータと同時に収集されてもよい。
(他のユーザのモーションデータに基づくマスターデータの生成)
図9は、本実施形態に係る他のユーザのモーションデータに基づくマスターデータの生成について説明するための図である。図9には、デバイス10−1を装着した対象ユーザU1、デバイス10−2を装着した他のユーザU2、および出力制御装置20が示されている。ここで、他のユーザU2は、プロフェッショナルや指導者などの上級者であってもよい。
この際、対象ユーザU1と他のユーザU2は、同一の曲に合わせて同一の振り付けのダンスを同時に行う。すなわち、本実施形態に係るデータ加工部210は、対象ユーザU1のモーションデータと同時に収集される他のユーザU2のモーションデータを加工し、マスターデータを生成することができる。この場合、演算部220は、データ加工部210が生成したマスターデータと対象ユーザU2のモーションデータとをリアルタイムに比較し、差分を算出してよい。出力制御部240は、演算部220により逐次算出される差分に基づいて、触覚刺激を対象ユーザU1が装着するデバイス10−1に出力させることができる。
このように、本実施形態に係るマスターデータは、対象ユーザのモーションデータと同時に収集、生成されるものであってよい。本実施形態に係る出力制御装置20がマスターデータをリアルタイムに生成し、対象ユーザのモーションデータと比較することで、対象ユーザは、上級者(他のユーザ)との動作の違いをより直観的に知覚することができる。
また、出力制御部240は、対象ユーザU1が装着するデバイス10−1と他のユーザU2が装着するデバイス10−2に、同一の触覚刺激を出力させることも可能である。この場合、上級者である他のユーザがU2も、対象ユーザU1との動作のずれを知覚することができ、口頭で上記の動作のずれを改善するアドバイスを行うことなども可能となる。
また、図9では、対象ユーザおよび他のユーザがそれぞれ1名である場合を示しているが、本実施形態に係る対象ユーザおよび他のユーザは、それぞれ複数人であってもよい。また、上記の他のユーザは、同時に対象ユーザでもあり得る。本実施形態に係る出力制御装置20は、1名の上級者(他のユーザ)のモーションデータに基づいて、複数人の対象ユーザにそれぞれ触覚刺激を提示してもよい。また、出力制御装置20は、例えば、複数人の他のユーザから収集したモーションデータを平均してマスターデータを生成し、当該マスターデータとそれぞれのモーションデータを比較することもできる。この場合、対象ユーザは、例えば、集団で行うダンスやマーチングなどにおいて、平均化された動作と自身の動作との差分を知覚することができ、より統一化された全体行動を実現することができる。
(画像情報に基づくマスターデータの生成)
以上、本実施形態に係るマスターデータがリアルタイムに生成される場合について述べた。一方、本実施形態に係るマスターデータは、例えば、過去に記録された画像情報に基づいて生成されてもよい。この際、本実施形態に係るデータ加工部210は、画像中から抽出した特徴点を追跡することで、動作の検出を行うことができる。
図10は、本実施形態に係る画像情報に基づくマスターデータの生成について説明するための図である。図10には、2つの画像IM1およびIM2が示されている。ここで、画像IM1およびIM2は、時系列に連続した画像情報であってよい。また、図10には、データ加工部210が画像IM1から抽出した特徴点F1、および画像IM2から抽出した特徴点F1が示されている。この際、本実施形態に係るデータ加工部210は、対応する2つの特徴点F1およびF1のマッチングを行い、画素の移動距離を算出することで、対象の動作を検出することができる。また、データ加工部210は、画像IM1およびIM2の記録時間から、上記の動作の速度を算出することもできる。データ加工部210は、例えば、画像識別の分野で用いられるオプティカルフローなどの技術を用いて、上記の処理を実現してもよい。
以上、本実施形態に係る画像情報に基づくマスターデータの生成について説明した。本実施形態に係るデータ加工部210が有する上記の機能によれば、過去に記録された画像情報からマスターデータを生成することが可能となり、例えば、歴代の好記録保持者が行った動作や対象ユーザ自身が過去に行った好プレーなどと、動作の比較を行うことも可能となる。
また、上記では、データ加工部210が抽出した特徴点の追跡を行うことで、マスターデータを生成する場合を例に述べたが、例えば、各種のマーカを装着した対象者の動作を撮像することで、処理を簡略化することも可能である。本実施形態に係る画像情報には、3次元動画像や2次元動画像などが含まれてよい。
<<1.6.出力制御装置20の動作の流れ>>
次に、本実施形態に係る出力制御装置20の動作の流れについて説明する。図11は、本実施形態に係る出力制御装置20の動作の流れを示すフローチャートである。
図11を参照すると、まず、出力制御装置20のデバイス通信部250は、センサ情報または画像情報を取得する(S1101)。
次に、データ加工部210は、ステップS1101で取得した情報と、対象ユーザの身体的特徴とに基づいてマスターデータを生成する(S1102)。
次に、デバイス通信部250は、デバイス10から対象者の動作に基づいて収集されたモーションデータを取得する(S1103)。
次に、演算部220は、ステップS1102で生成したマスターデータと、ステップS1103で取得したモーションデータとを比較する(S1104)。
ここで、マスターデータとモーションデータとに差分が検出された場合(S1105:YES)、出力制御部240は、検出された差分の種別および大きさに基づいて、ガイド刺激をデバイス10に出力させる(1106)。
また、チェック段階においては、出力制御部240は、検出された差分の種別および大きさに基づいてフィードバック刺激をデバイス10に出力させる(S1107)。
ステップS1106、ステップS1107の動作の完了後、または、マスターデータとモーションデータとの差分が検出されない場合(S1105:No)、出力制御装置20は、触覚刺激の出力制御に係る処理を終了する。
<2.ハードウェア構成例>
次に、本開示に係る出力制御装置20のハードウェア構成例について説明する。図12は、本開示に係る出力制御装置20のハードウェア構成例を示すブロック図である。図12を参照すると、本開示に係る出力制御装置20は、例えば、CPU871と、ROM872と、RAM873と、ホストバス874と、ブリッジ875と、外部バス876と、インターフェース877と、入力装置878と、出力装置879と、ストレージ880と、ドライブ881と、接続ポート882と、通信装置883と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
(CPU871)
CPU871は、例えば、演算処理装置又は制御装置として機能し、ROM872、RAM873、ストレージ880、又はリムーバブル記録媒体901に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
(ROM872、RAM873)
ROM872は、CPU871に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。RAM873には、例えば、CPU871に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
(ホストバス874、ブリッジ875、外部バス876、インターフェース877)
CPU871、ROM872、RAM873は、例えば、高速なデータ伝送が可能なホストバス874を介して相互に接続される。一方、ホストバス874は、例えば、ブリッジ875を介して比較的データ伝送速度が低速な外部バス876に接続される。また、外部バス876は、インターフェース877を介して種々の構成要素と接続される。
(入力装置878)
入力装置878には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力装置878としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ(以下、リモコン)が用いられることもある。
(出力装置879)
出力装置879は、例えば、CRT(Cathode Ray Tube)、LCD、又は有機EL等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。また、本開示に係る出力装置879には、触覚刺激を出力する種々の装置が含まれる。
(ストレージ880)
ストレージ880は、各種のデータを格納するための装置である。ストレージ880としては、例えば、ハードディスクドライブ(HDD)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
(ドライブ881)
ドライブ881は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体901に記録された情報を読み出し、又はリムーバブル記録媒体901に情報を書き込む装置である。
(リムーバブル記録媒体901)
リムーバブル記録媒体901は、例えば、DVDメディア、Blu−ray(登録商標)メディア、HD DVDメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体901は、例えば、非接触型ICチップを搭載したICカード、又は電子機器等であってもよい。
(接続ポート882)
接続ポート882は、例えば、USB(Universal Serial Bus)ポート、IEEE1394ポート、SCSI(Small Computer System Interface)、RS−232Cポート、又は光オーディオ端子等のような外部接続機器902を接続するためのポートである。
(外部接続機器902)
外部接続機器902は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はICレコーダ等である。
(通信装置883)
通信装置883は、ネットワークに接続するための通信デバイスであり、例えば、有線又は無線LAN、Bluetooth(登録商標)、又はWUSB(Wireless USB)用の通信カード、光通信用のルータ、ADSL(Asymmetric Digital Subscriber Line)用のルータ、又は各種通信用のモデム等である。
<3.まとめ>
以上説明したように、本開示に係る出力制御装置20は、上級者などの動作に基づいて生成したマスターデータと、対象者の動作に基づいて収集されたモーションデータとを比較する機能を有する。また、本開示に係る出力制御装置20は、マスターデータとモーションデータとの差分に基づいて、対象出力部に触覚刺激を出力させる機能を有する。係る構成によれば、ユーザによる複雑な技術の取得をより直観的に支援することが可能となる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上記実施形態では、出力制御装置20がマスターデータとモーションデータとの差分に基づいて、触覚刺激のみを出力される場合を例に述べたが、本技術は係る例に限定されない。例えば、本開示に係る出力制御装置20は、触覚刺激に加えて、視覚情報や聴覚情報を出力させてもよい。例えば、出力制御装置20は、対象出力部に触覚刺激を出力させると同時にディスプレイ装置やスピーカなどに上記の差分に係るメッセージを出力させることもできる。また、出力制御装置20は、対象出力部に音声や光などを出力させてもよい。
また、例えば、上記実施形態では、出力制御装置20が、マスターデータとモーションデータとの差分に基づいてのみ、触覚刺激を出力させる場合を例に述べたが、出力制御装置20は、上記の差分とは独立して触覚刺激を出力させることもできる。例えば、出力制御装置20は、例えば、指先など対象ユーザが注意するべき箇所に配置された出力部120に、上記の差分とは独立して触覚刺激を出力させることで、対象ユーザに注意喚起を促すことも可能である。
また、上記実施形態では、デバイス10および出力制御装置20がスポーツやダンスに用いられる場合を例に述べたが、本技術は係る例に限定されない。本技術は、例えば、車両の運転など、高度な技術が必要とされる装置操作などにも適用され得る。また、本技術は、例えば、合唱や合奏など他ユーザとの協調が重視される分野にも適用可能である。
また、本明細書の出力制御装置20の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、出力制御装置20の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出する演算部と、
前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行う出力制御部と、
を備え、
前記出力制御部は、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させる、
出力制御装置。
(2)
前記出力制御部は、前記差分の種別または前記差分の大きさに基づいて、前記対象出力部に出力させる前記触覚刺激を制御する、
前記(1)に記載の出力制御装置。
(3)
前記差分は、動作開始タイミングに係る差分を含み、
前記出力制御部は、前記動作開始タイミングに係る差分に基づいて、前記対象出力部に出力させる前記触覚刺激の出力タイミングを制御する、
前記(1)または(2)に記載の出力制御装置。
(4)
前記差分は、動作の大きさに係る差分を含み、
前記出力制御部は、前記動作の大きさに係る差分に基づいて、前記対象出力部に出力させる前記触覚刺激の強度を制御する、
前記(1)〜(3)のいずれかに記載の出力制御装置。
(5)
前記差分は、動作の継続時間に係る差分を含み、
前記出力制御部は、前記動作の継続時間に係る差分に基づいて、前記対象出力部に出力させる前記触覚刺激の継続時間を制御する、
前記(1)〜(4)のいずれかに記載の出力制御装置。
(6)
前記触覚刺激は、前記マスターデータに対応する動作をガイドするガイド刺激を含み、
前記出力制御部は、前記差分に基づいて、前記対象出力部に出力させる前記ガイド刺激を制御する、
前記(1)〜(5)のいずれかに記載の出力制御装置。
(7)
前記演算部は、前記マスターデータと、前回動作時に収集された前記モーションデータとの前回差分を算出し、
前記出力制御部は、前記前回差分に基づいて、前記ガイド刺激の出力を制御する、
前記(6)に記載の出力制御装置。
(8)
前記出力制御部は、前記デバイスを装着する対象ユーザが前記マスターデータに対応する動作を行うべきタイミングよりも前に、前記ガイド刺激を前記対象出力部に出力させる、
前記(7)に記載の出力制御装置。
(9)
前記触覚刺激は、前記差分を、前記デバイスを装着する対象ユーザに提示するフィードバック刺激を含み、
前記出力制御部は、前記差分に基づいて、前記対象出力部に出力させる前記フィードバック刺激を制御する、
前記(1)〜(8)のいずれかに記載の出力制御装置。
(10)
前記出力制御部は、前記差分の種別または前記差分の大きさに基づいて、前記フィードバック刺激を制御する、
前記(9)に記載の出力制御装置。
(11)
前記出力制御部は、前記デバイスを装着する対象ユーザが前記マスターデータに対応する動作を行ったのち、所定時間内に、前記フィードバック刺激を前記対象出力部に出力させる、
前記(9)または(10)に記載の出力制御装置。
(12)
前記マスターデータは、前記デバイスを装着する対象ユーザの身体的特徴に基づいて加工されたデータである、
前記(1)〜(11)のいずれかに記載の出力制御装置。
(13)
前記マスターデータは、他のユーザが行う動作に基づき収集されるモーションデータに基づいて生成される、
前記(1)〜(12)のいずれかに記載の出力制御装置。
(14)
前記他のユーザが行う動作に基づいて収集されるモーションデータは、前記デバイスを装着する対象ユーザが行う動作に基づいて収集されるモーションデータと同時に収集される、
前記(13)に記載の出力制御装置。
(15)
前記マスターデータは、画像情報に基づいて生成される、
前記(1)〜(14)のいずれかに記載の出力制御装置。
(16)
対象ユーザの身体的特徴に基づいてマスターデータを生成するデータ加工部、
をさらに備える、
前記(1)〜(15)のいずれかに記載の出力制御装置。
(17)
前記出力制御部による制御に基づいて触覚刺激を出力する複数の出力部、
をさらに備える、
前記(1)〜(16)のいずれかに記載の出力制御装置。
(18)
対象ユーザの動作に基づくモーションデータを収集する複数のセンサ部、
をさらに備える、
前記(1)〜(17)のいずれかに記載の出力制御装置。
(19)
プロセッサが、
マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出することと、
前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行うことと、
を含み、
出力制御を行うことは、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させること、
をさらに含む、
出力制御方法。
(20)
コンピュータを、
マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出する演算部と、
前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行う出力制御部と、
を備え、
前記出力制御部は、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させる、
出力制御装置、
として機能させるためのプログラム。
10 デバイス
110 センサ部
120 出力部
130 サーバ通信部
20 出力制御装置
210 データ加工部
220 演算部
230 記憶部
240 出力制御部
250 デバイス通信部

Claims (20)

  1. マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出する演算部と、
    前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行う出力制御部と、
    を備え、
    前記出力制御部は、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させる、
    出力制御装置。
  2. 前記出力制御部は、前記差分の種別または前記差分の大きさに基づいて、前記対象出力部に出力させる前記触覚刺激を制御する、
    請求項1に記載の出力制御装置。
  3. 前記差分は、動作開始タイミングに係る差分を含み、
    前記出力制御部は、前記動作開始タイミングに係る差分に基づいて、前記対象出力部に出力させる前記触覚刺激の出力タイミングを制御する、
    請求項1に記載の出力制御装置。
  4. 前記差分は、動作の大きさに係る差分を含み、
    前記出力制御部は、前記動作の大きさに係る差分に基づいて、前記対象出力部に出力させる前記触覚刺激の強度を制御する、
    請求項1に記載の出力制御装置。
  5. 前記差分は、動作の継続時間に係る差分を含み、
    前記出力制御部は、前記動作の継続時間に係る差分に基づいて、前記対象出力部に出力させる前記触覚刺激の継続時間を制御する、
    請求項1に記載の出力制御装置。
  6. 前記触覚刺激は、前記マスターデータに対応する動作をガイドするガイド刺激を含み、
    前記出力制御部は、前記差分に基づいて、前記対象出力部に出力させる前記ガイド刺激を制御する、
    請求項1に記載の出力制御装置。
  7. 前記演算部は、前記マスターデータと、前回動作時に収集された前記モーションデータとの前回差分を算出し、
    前記出力制御部は、前記前回差分に基づいて、前記ガイド刺激の出力を制御する、
    請求項6に記載の出力制御装置。
  8. 前記出力制御部は、前記デバイスを装着する対象ユーザが前記マスターデータに対応する動作を行うべきタイミングよりも前に、前記ガイド刺激を前記対象出力部に出力させる、
    請求項7に記載の出力制御装置。
  9. 前記触覚刺激は、前記差分を、前記デバイスを装着する対象ユーザに提示するフィードバック刺激を含み、
    前記出力制御部は、前記差分に基づいて、前記対象出力部に出力させる前記フィードバック刺激を制御する、
    請求項1に記載の出力制御装置。
  10. 前記出力制御部は、前記差分の種別または前記差分の大きさに基づいて、前記フィードバック刺激を制御する、
    請求項9に記載の出力制御装置。
  11. 前記出力制御部は、前記デバイスを装着する対象ユーザが前記マスターデータに対応する動作を行ったのち、所定時間内に、前記フィードバック刺激を前記対象出力部に出力させる、
    請求項9に記載の出力制御装置。
  12. 前記マスターデータは、前記デバイスを装着する対象ユーザの身体的特徴に基づいて加工されたデータである、
    請求項1に記載の出力制御装置。
  13. 前記マスターデータは、他のユーザが行う動作に基づき収集されるモーションデータに基づいて生成される、
    請求項1に記載の出力制御装置。
  14. 前記他のユーザが行う動作に基づいて収集されるモーションデータは、前記デバイスを装着する対象ユーザが行う動作に基づいて収集されるモーションデータと同時に収集される、
    請求項13に記載の出力制御装置。
  15. 前記マスターデータは、画像情報に基づいて生成される、
    請求項1に記載の出力制御装置。
  16. 対象ユーザの身体的特徴に基づいてマスターデータを生成するデータ加工部、
    をさらに備える、
    請求項1に記載の出力制御装置。
  17. 前記出力制御部による制御に基づいて触覚刺激を出力する複数の出力部、
    をさらに備える、
    請求項1に記載の出力制御装置。
  18. 対象ユーザの動作に基づくモーションデータを収集する複数のセンサ部、
    をさらに備える、
    請求項1に記載の出力制御装置。
  19. プロセッサが、
    マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出することと、
    前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行うことと、
    を含み、
    出力制御を行うことは、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させること、
    をさらに含む、
    出力制御方法。
  20. コンピュータを、
    マスターデータとデバイスが備える複数のセンサ部により収集されるモーションデータとの差分を算出する演算部と、
    前記差分に基づいて前記デバイスが備える複数の出力部に係る出力制御を行う出力制御部と、
    を備え、
    前記出力制御部は、前記差分に基づいて、前記モーションデータを収集した前記センサ部と対応する位置に配置される対象出力部に触覚刺激を出力させる、
    出力制御装置、
    として機能させるためのプログラム。
JP2018558879A 2016-12-27 2017-11-10 出力制御装置、出力制御方法、およびプログラム Active JP6984613B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016252665 2016-12-27
JP2016252665 2016-12-27
PCT/JP2017/040601 WO2018123293A1 (ja) 2016-12-27 2017-11-10 出力制御装置、出力制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2018123293A1 true JPWO2018123293A1 (ja) 2019-11-07
JP6984613B2 JP6984613B2 (ja) 2021-12-22

Family

ID=62707298

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018558879A Active JP6984613B2 (ja) 2016-12-27 2017-11-10 出力制御装置、出力制御方法、およびプログラム

Country Status (5)

Country Link
US (1) US20200074880A1 (ja)
EP (1) EP3563911B1 (ja)
JP (1) JP6984613B2 (ja)
CN (1) CN110099727B (ja)
WO (1) WO2018123293A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7061253B2 (ja) * 2018-11-02 2022-04-28 株式会社Cooperation Works 動作矯正システム及び動作矯正方法
WO2024053178A1 (ja) * 2022-09-07 2024-03-14 パナソニックIpマネジメント株式会社 ダンス練習システム、ダンス練習方法、及びプログラム
JP7297184B1 (ja) * 2022-12-23 2023-06-23 三菱電機株式会社 運動制御システム、運動制御装置、及び運動制御方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040077975A1 (en) * 2002-10-22 2004-04-22 Zimmerman Jeffrey C. Systems and methods for motion analysis and feedback
JP2007167203A (ja) * 2005-12-20 2007-07-05 Sony Corp 情報通知装置及び方法並びに情報通知システム及び方法
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
JP2011516915A (ja) * 2008-04-03 2011-05-26 韓國電子通信研究院 モーションコンテンツベースの学習装置及び方法
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070032628A (ko) * 2004-01-26 2007-03-22 모델골프 엘엘시 육체적 기술의 동작 및 이 육체적 기술의 수행에 사용하는장비의 측정 및 평가를 위한 시스템 및 방법
AU2007289025B2 (en) * 2006-10-26 2009-04-23 Richard John Baker Method and apparatus for providing personalised audio-visual instruction
RU2364436C2 (ru) * 2007-06-18 2009-08-20 Максим Алексеевич Васин Способ тренировки и устройство для его осуществления
KR102009711B1 (ko) * 2011-02-07 2019-08-12 뉴우바란스아스레틱스인코포레이팃드 운동 동작 모니터링 시스템 및 그 방법
US20130089845A1 (en) * 2011-10-07 2013-04-11 Ikkos, Llc Audio linking of motion training sessions
US9173596B1 (en) * 2014-06-28 2015-11-03 Bertec Limited Movement assessment apparatus and a method for providing biofeedback using the same
JP6354461B2 (ja) 2014-08-28 2018-07-11 ソニー株式会社 フィードバック提供方法、システム、および解析装置
GB201502426D0 (en) * 2015-02-13 2015-04-01 Mas Innovation Pvt Ltd Smart apparel
WO2016172463A1 (en) * 2015-04-22 2016-10-27 Alcatel-Lucent Usa Inc. Wearable interactive learning devices

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040077975A1 (en) * 2002-10-22 2004-04-22 Zimmerman Jeffrey C. Systems and methods for motion analysis and feedback
JP2007167203A (ja) * 2005-12-20 2007-07-05 Sony Corp 情報通知装置及び方法並びに情報通知システム及び方法
JP2011516915A (ja) * 2008-04-03 2011-05-26 韓國電子通信研究院 モーションコンテンツベースの学習装置及び方法
JP2011087794A (ja) * 2009-10-23 2011-05-06 Sony Corp 動作関連演算装置、動作関連演算方法、プログラム、動作関連再生システム
JP2017136142A (ja) * 2016-02-02 2017-08-10 セイコーエプソン株式会社 情報端末、動作評価システム、動作評価方法、動作評価プログラム、及び記録媒体

Also Published As

Publication number Publication date
CN110099727B (zh) 2021-10-29
EP3563911A4 (en) 2019-11-06
US20200074880A1 (en) 2020-03-05
WO2018123293A1 (ja) 2018-07-05
EP3563911B1 (en) 2023-06-14
JP6984613B2 (ja) 2021-12-22
EP3563911A1 (en) 2019-11-06
CN110099727A (zh) 2019-08-06

Similar Documents

Publication Publication Date Title
US10475351B2 (en) Systems, computer medium and methods for management training systems
JP7468356B2 (ja) 情報処理装置、情報処理方法及びプログラム
CA2683728C (en) Vision cognition and coordination testing and training
WO2020061440A1 (en) Neuromuscular control of an augmented reality system
US20090042695A1 (en) Interactive rehabilitation method and system for movement of upper and lower extremities
US20220398937A1 (en) Information processing device, information processing method, and program
JP6984613B2 (ja) 出力制御装置、出力制御方法、およびプログラム
KR20100015541A (ko) 시각 인지 및 협응 시험 및 훈련
JP7367690B2 (ja) 情報処理装置
JP2020505686A5 (ja)
JP7364099B2 (ja) 出力制御装置、出力制御方法およびプログラム
JP2016013180A (ja) リハビリテーション装置の制御装置およびリハビリテーション装置
Marky et al. supporting musical practice sessions through HMD-based augmented reality
JP7412265B2 (ja) 動作評価システム、動作評価装置、および動作評価方法
JP5947438B1 (ja) 演奏技術描画評価システム
EP4332957A2 (en) Virtual, augmented or mixed reality instrument teaching system and method
US20230386155A1 (en) Virtual, augmented or mixed reality instrument teaching system and method
US20230306867A1 (en) Virtual, augmented or mixed reality instrument teaching system
JP2019219465A (ja) 学習支援プログラム、学習支援装置および学習支援方法
US20230384864A1 (en) Skill acquisition assistance method, skill acquisition assistance system, and computer readable recording medium storing control program
WO2023175699A1 (ja) 情報処理システム、情報処理方法、およびプログラム
KR20230132663A (ko) 운동관련뇌전위 및 가상현실 시뮬레이션을 이용한 뇌졸중 재활치료 시스템 및 방법
EP4064008A1 (en) Methods and systems for writing skill development
KR20230052668A (ko) 영상 제공 및 뇌파 측정 장치 및 그 동작 방법
JP2021178103A (ja) ゴルフレッスンシステム、ゴルフレッスン方法、およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201007

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210727

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210910

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211108

R151 Written notification of patent or utility model registration

Ref document number: 6984613

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151