JP7420218B2 - 演奏方法 - Google Patents

演奏方法 Download PDF

Info

Publication number
JP7420218B2
JP7420218B2 JP2022508666A JP2022508666A JP7420218B2 JP 7420218 B2 JP7420218 B2 JP 7420218B2 JP 2022508666 A JP2022508666 A JP 2022508666A JP 2022508666 A JP2022508666 A JP 2022508666A JP 7420218 B2 JP7420218 B2 JP 7420218B2
Authority
JP
Japan
Prior art keywords
positional relationship
feature points
person
feature point
point set
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022508666A
Other languages
English (en)
Other versions
JPWO2021186563A1 (ja
JPWO2021186563A5 (ja
Inventor
さやか 戸原
拓也 世良
登 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021186563A1 publication Critical patent/JPWO2021186563A1/ja
Publication of JPWO2021186563A5 publication Critical patent/JPWO2021186563A5/ja
Application granted granted Critical
Publication of JP7420218B2 publication Critical patent/JP7420218B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/395—Special musical scales, i.e. other than the 12- interval equally tempered scale; Special input devices therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/401—3D sensing, i.e. three-dimensional (x, y, z) position or movement sensing.
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)

Description

本発明は、演奏方法、演奏装置、プログラムに関する。
ギターやバイオリン、トランペットなどの楽器を演奏することは容易ではなく、その習得に時間を要することが多々ある。また、子供やお年寄り、非健常者など、身体的な問題により、演奏が難しい場合もある。しかしながら、楽器の演奏が困難な人物であっても、興味や娯楽性などから楽器を奏でたいという要望がある。
ここで、特許文献１に、実際に楽器を演奏することなく、楽器音を出力することができる技術が開示されている。具体的に、特許文献１では、ユーザを撮像した撮像画像から、ユーザの手や腕といった肌色部分を抽出し、かかる肌色部分のオプティカルフローを解析して、オプティカルフローの向きや大きさに応じた楽器音を出力することとしている。
特開２０１８－４９０５２号公報
Yadong Pan et & Shoji Nishimura, "Multi-Person Pose Estimation with Mid-Points for Human Detection under Real-World Surveillance", The 5th Asian Conference on Pattern Recognition (ACPR 2019), 26-29 November 2019
しかしながら、上述した特許文献１の技術では、ユーザの手や腕といった部位のオプティカルフローに基づいて楽器音を出力しているため、ユーザによっては身体的な問題により動作を行うことが難しい場合がある。その結果、利用できるユーザが限られてしまう場合がある、という問題が生じる。
このため、本発明の目的は、上述した課題である、実際に演奏することなく音を出力することができるシステムにおいて、利用できるユーザが限られてしまう場合がある、ことを解決することができる演奏方法、演奏装置、プログラムを提供することにある。
本発明の一形態である演奏方法は、
人物を撮影した撮影画像から、人物の複数の特徴点を取得し、
複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出し、
検出した前記位置関係に基づいて特定される音を出力する、
という構成をとる。
また、本発明の一形態である演奏装置は、
人物を撮影した撮影画像から、人物の複数の特徴点を取得する取得手段と、
複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する検出手段と、
検出した前記位置関係に基づいて特定される音を出力する出力手段と、
を備えた、
という構成をとる。
また、本発明の一形態であるプログラムは、
情報処理装置に、
人物を撮影した撮影画像から、人物の複数の特徴点を取得する取得手段と、
複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する検出手段と、
検出した前記位置関係に基づいて特定される音を出力する出力手段と、
を実現させる、
という構成をとる。
本発明は、以上のように構成されることにより、実際に演奏することなく音を出力することができるシステムにおいて、利用できるユーザの制限を抑制することができる。
本発明の実施形態１における演奏システムの全体構成を示す図である。 図１に開示した演奏装置の構成を示すブロック図である。 図１に開示した演奏装置による処理の様子を示す図である。 図１に開示した演奏装置による処理の様子を示す図である。 図１に開示した演奏装置による処理の様子を示す図である。 図１に開示した演奏装置による処理の様子を示す図である。 図１に開示した演奏装置による処理の様子を示す図である。 図１に開示した演奏装置による処理の様子を示す図である。 図１に開示した演奏装置の動作を示すフローチャートである。 図１に開示した演奏装置による他の処理の様子を示す図である。 図１に開示した演奏装置による他の処理の様子を示す図である。 本発明の実施形態２における演奏装置のハードウェア構成を示すブロック図である。 本発明の実施形態２における演奏装置の構成を示すブロック図である。 本発明の実施形態２における演奏装置の動作を示すフローチャートである。
＜実施形態１＞
本発明の第１の実施形態を、図１乃至図１１を参照して説明する。図１乃至図２は、演奏システム及び演奏装置の構成を説明するための図であり、図３乃至図１１は、演奏装置の処理動作を説明するための図である。
［構成］
本実施形態における演奏システムは、ユーザＵが実際に楽器を演奏することなく、音を出力することをできるようにするためのシステムである。演奏システムは、例えば、イベント会場に設置されており、イベントに参加しているユーザＵが所定の動作を行うことで、楽器を演奏することなく、音を出力するよう作動する。但し、演奏システムは、いかなる場所に設置されていてもよく、ユーザＵはいかなる人物であってもよい。例えば、演奏システムは、対象とするユーザＵを、子供やお年寄り、身障者としてもよく、ダンス教室、体操教室、リハビリ施設などのいかなる施設に設置されていてもよい。つまり、演奏システムは、ユーザＵが単に演奏を行うことを目的とするだけでなく、後述するように、身体を動かすことを目的とするために用いられてもよい。
図１に示すように、演奏システムは、カメラ１と、ディスプレイ２と、スピーカ３と、演奏装置１０と、を備えて構成されている。上記カメラ１は、演奏システムを利用するユーザＵを撮影する撮影装置である。カメラ１は、例えば、連続してユーザＵを撮影し、撮影した撮影画像を演奏装置１０に送信する。上記ディスプレイ２は、映像を出力する表示装置である。ディスプレイは、例えば、カメラ１にてユーザＵを撮影した撮影画像や、予め用意された動作見本となる見本画像（画像情報）を表示するよう出力する。上記スピーカ３は、楽器音などの音を出力する音出力装置である。スピーカ３は、例えば、ユーザＵの動作に応じて音を出力する。
上記演奏装置１０は、演算装置と記憶装置とを備えた１台又は複数台の情報処理装置にて構成される。そして、演奏装置１０は、図２に示すように、取得部１１、検出部１２、音出力部１３、映像出力部１４、を備える。取得部１１、検出部１２、音出力部１３、映像出力部１４、のそれぞれの機能は、演算装置が記憶装置に格納された各機能を実現するためのプログラムを実行することにより実現することができる。また、演奏装置１０は、音情報記憶部１５、見本情報記憶部１６、を備える。音情報記憶部１５、見本情報記憶部１６は、記憶装置により構成される。また、演奏装置１０には、上述したカメラ１、ディスプレイ２、スピーカ３が接続されている。以下、各構成について詳述する。
上記取得部１１（取得手段）は、カメラ１にて撮影された撮影画像を取得する。そして、取得部１１は、撮影画像に映るユーザＵを検出し、かかるユーザＵの予め設定された複数の特徴点を取得する。具体的に、取得部１１は、非特許文献１に記載したような姿勢推定技術を用いて、ユーザＵの各関節位置や各部位位置を特徴点として抽出し、このうちの特定の特徴点の位置情報を取得する。例えば、取得部１１は、図３に示すように、特徴点の位置情報として、ユーザＵの関節位置である手首、肘、肩、骨盤の位置情報や、ユーザＵの部位位置である目、鼻、耳、などの位置情報を取得する。そして、本実施形態における取得部１１は、特に、図４に示すように、右腕の手首、肘、肩といった３つの特徴点の組み合わせの位置情報を第一特徴点セットａとして取得し、左腕の手首、肘、肩といった３つの特徴点の組み合わせの位置情報を第二特徴点セットｂとして取得する。
但し、取得部１１は、ユーザＵのいかなる特徴点を抽出してもよく、いかなる特徴点の組み合わせを特徴点セットとしてもよい。例えば、取得部１１は、足首、膝、腰といった下半身の部位の複数の特徴点の組み合わせを特徴点セットとしてもよい。また、取得部１１は、複数の関節位置のみの特徴点の組み合わせを特徴点セットすることに限らず、関節位置と目や鼻など他の部位位置との組み合わせを特徴点セットしてもよい。また、取得部１１は、必ずしも上述した姿勢推定技術を用いてユーザＵの特徴点を抽出することに限らず、いかなる技術を用いて特徴点を抽出してもよい。なお、特徴点セットを構成する特徴点の数は、上述した３つであることに限定されず、２つでもよく、あるいは、４つ以上であってもよい。
上記検出部１２（検出手段）は、ユーザＵから取得した特徴点セットを構成する特徴点間の位置関係を検出する。本実施形態では、検出部１２は、図４に示すように、右腕の手首、肘、肩といった３つの特徴点を組み合わせた第一特徴点セットａの位置関係と、左腕の手首、肘、肩といった３つの特徴点を組み合わせた第二特徴点セットｂの位置関係と、をそれぞれ検出する。具体的に、検出部１２は、まず、第一特徴点セットａにおいて、手首と肘とを結んだ第一線分ａ１、肘と肩とを結んだ第二線分ａ２、といった各特徴点を結んだ線分の形状を基に、第一特徴点セットａの位置関係を検出する。このとき、検出部１２は、第一特徴点セットａの位置関係として、第一線分ａ１と第二線分ａ２とがなす角度や、第一線分ａ１と第二線分ａ２との向き、を検出し、かかる位置関係が予め設定された位置関係のいずれに該当するか否かを判定する。同様に、検出部１２は、第二特徴点セットｂにおいても、手首と肘とを結んだ第一線分ｂ１、肘と肩とを結んだ第二線分ｂ２、といった各特徴点を結んだ線分の形状を基に、第二特徴点セットａの位置関係を検出する。
ここで、予め設定された位置関係としては、図５乃至図７に示すようなものがある。なお、右腕の第一特徴点セットａについて予め設定された位置関係には、それぞれ特定の音階が対応付けられている。例えば、図５の左図に示す位置関係には「無音」が対応付けられており、図５の中央図に示す位置関係には「ド」の音階が対応付けられており、図５の右図に示す位置関係には「レ」の音階が対応付けられている。また、図６の左図に示す位置関係には「ミ」の音階が対応付けられており、図６の中央図に示す位置関係には「ファ」の音階が対応付けられており、図６の右図に示す位置関係には「ソ」の音階が対応付けられている。また、図７の左図に示す位置関係には「ラ」の音階が対応付けられており、図７の中央図に示す位置関係には「シ」の音階が対応付けられている。
また、左腕の第二特徴点セットｂについて予め設定された位置関係には、それぞれオクターブを操作する指令が対応付けられている。例えば、図５の中央図に示す位置関係には予め設定された「標準オクターブ」が対応付けられている。このため、第一特徴点セットａの位置関係と第二特徴点セットｂの位置関係との組み合わせから、１つの音を特定することができる。そして、図５乃至図７の中央図までの例では、左腕の第二特徴点セットｂの位置関係から「標準オクターブ」が指定されるため、右腕の第一特徴点セットａの位置関係から、「標準オクターブ」における「ドレミファソラシ」のいずれの音であるかが特定されることとなる。また、第二特徴点セットｂについて、図７の右図に示す位置関係には「オクターブを上げる」ことが対応付けられている。このため、図７の右図では、直前のオクターブから「１つ上のオクターブ」が指定され、右腕の第一特徴点セットａの位置関係から指定された１つ上のオクターブにおける「ド」の音が特定される。そして、上述同様に、第二特徴点セットｂについて、図８の左図に示す位置関係には「オクターブを下げる」ことが対応付けられており、図８の中央図に示す位置関係には「オクターブを２つ上げる」ことが対応付けられており、図８の右図に示す位置関係には「特定のオクターブ」が対応付けられている。
ここで、検出部１２は、各特徴点セットａ，ｂの位置関係を検出する際には、実際にユーザＵから検出した位置関係が、予め設定された位置関係のいずれに該当するか否かを判定することで行うが、このとき、ユーザＵから検出した位置関係と、予め設定された位置関係と、が予め設定された基準により同一と判断できるものを判定する。つまり、検出部１２は、予め設定された位置関係の類似範囲を設定しておき、かかる類似範囲にユーザＵから検出した位置関係が含まれる場合には、これらが予め設定された基準により同一と判断できると判定する。このため、検出部１２は、各特徴点セットａ，ｂの位置関係が、予め設定された位置関係のいずれかに完全に同一となることを要求せず、第一線分（ａ１又はｂ１）と第二線分（ａ２又はｂ２）とがなす角度や、第一線分（ａ１又はｂ１）と第二線分（ａ２又はｂ２）の向きが、所定範囲内で同一と判断できるものを同一の位置関係として判定する。
なお、検出部１２は、各特徴点セットａ，ｂの位置関係を、上述したように特徴点間を結んだ形状に基づいて検出することに限定されず、いかなる方法で検出してもよい。例えば、検出部１２は、各特徴点セットａ，ｂの位置関係を、各特徴点の座標の位置関係から特定してもよい。また、上述した検出部１２は、２つの特徴点セットａ，ｂの位置関係をそれぞれ検出しているが、１つ又は３つ以上の特徴点セットの位置関係を検出してもよい。
また、上記では、検出部１２は、第一特徴点セットａの位置関係で音階を特定し、第二特徴点セットｂの位置関係でオクターブを特定し、これにより、複数の特徴点セットａ，ｂの位置関係の組み合わせで、１つの音を特定している。但し、第一特徴点セットａの位置関係や第二特徴点セットｂの位置関係から、さらに他の音を特定してもよい。例えば、第二特徴点セットｂの位置関係は、楽器の種類に対応付けられており、当該第二特徴点セットｂの位置関係で楽器を特定し、第一特徴点セットａの位置関係でその楽器の音階を特定してもよい。また、検出部１２は、必ずしも複数の第一特徴点セットａ，ｂの位置関係の組み合わせから、１つの音を特定することに限らず、各特徴点セットの位置関係毎に、それぞれ音を特定してもよい。また、検出部１２は、特徴点セットの位置関係で、必ずしも単独の音を特定することに限定されず、複数の音が同時にひびく和音などの音を特定するなど、いかなる音を特定してもよい。
上記音出力部１３（出力手段）は、上述したように特徴点セットａ，ｂの位置関係を基に特定された音を、スピーカ３から出力する。このとき、音出力部１３は、音情報記憶部１５に記憶されている音源データから、特徴点セットａ，ｂの位置関係を基に特定された音に対応する音源データを取得し、かかる音源データを再生することでスピーカ３から音を出力する。なお、音出力手段は、複数の特徴点セットａ，ｂの位置関係の組み合わせから１つの音が特定されたときは、かかる音を出力し、複数の特徴点セットａ，ｂのそれぞれ位置関係からそれぞれ別々の音が特定された場合には、複数の音を同時に出力したり、複数の音を時間間隔を設けて順番に出力する。
上記映像出力部１４（出力手段）は、カメラ１にて撮影された撮影画像を、そのままディスプレイ２に表示するよう出力する。このとき、映像出力部１４は、撮影画像を表示すると共に、この撮影画像上に、上記検出部１２にて検出したユーザＵの特徴点セットａ，ｂの位置関係を表す情報を付加して表示してもよい。例えば、図５等に示すように、ユーザＵから抽出した特徴点セットａ，ｂを構成する各特徴点と、当該各特徴点を結んだ線分と、を撮影画像のユーザＵの位置に合わせて重ねて表示してもよい。
また、映像出力部１４は、見本情報記憶部１６に記憶されている、特徴点セットの位置関係の見本を表す画像からなる見本情報をディスプレイ２に表示するよう出力してもよい。このとき、映像出力部１４は、複数の見本情報をディスプレイ２に出力したり、現在出力を要求する音に対応する特徴点セットの位置関係の見本情報を出力してもよい。
なお、上述した音出力部１３は、先に音源データの音をスピーカ３から出力して、かかる音に対応する特徴点セットの位置関係の姿勢をとるようユーザＵに要求してもよい。これに連携して、映像出力部１４は、音出力部１３が出力した音に対応する特徴点の位置関係の見本情報をディスプレイ２に表示するよう出力してもよい。また、音出力部１３にて先に音源データを再生して出力したり、映像出力部１４にて先に見本情報を表示した場合には、かかる音源データや見本情報に対応する特徴点セットの位置関係と同一の位置関係を検出部１２にてユーザＵから検出したか否かを判定し、その判定結果をディスプレイ２に表示してもよい。
［動作］
次に、上述した演奏装置１０の動作を、主に図９のフローチャートを参照して説明する。まず、演奏装置１０は、カメラ１にて撮影された撮影画像を取得する（ステップＳ１）。このとき、演奏装置１０は、カメラ１にて撮影された撮影画像を、そのままディスプレイ２に表示するよう出力してもよい。また、演奏装置１０は、事前に、音源データの音をスピーカ３から出力したり、特徴点セットの位置関係の見本情報をディスプレイ２に表示するよう出力してもよい。これにより、ユーザＵは、ディスプレイ２に映る自身の映像や、事前に出力された音、また、特徴点セットの位置関係の見本情報を参照して、音を出力する姿勢をとるよう動作することができる。
続いて、演奏装置１０は、撮影画像に映るユーザＵを検出し、かかるユーザＵの予め設定された複数の特徴点を取得する（ステップＳ２）。例えば、演奏装置１０は、図４に示すように、右腕の手首、肘、肩といった３つの特徴点の組み合わせの位置情報を第一特徴点セットａとして取得し、左腕の手首、肘、肩といった３つの特徴点の組み合わせの位置情報を第二特徴点セットｂとして取得する。なお、演奏装置１０は、ユーザＵのいかなる特徴点を複数抽出してもよく、いかなる複数の特徴点の組み合わせを特徴点セットとしてもよい。
そして、演奏装置１０は、取得した複数の特徴点からなる特徴点セットの位置関係を検出する（ステップＳ３）。例えば、演奏装置１０は、図４に示すように、右腕の手首、肘、肩といった３つの特徴点を組み合わせた第一特徴点セットａの位置関係と、左腕の手首、肘、肩といった３つの特徴点を組み合わせた第二特徴点セットｂの位置関係と、をそれぞれ検出する。そして、演奏装置１０は、ユーザＵから検出した各特徴点セットａ，ｂの位置関係が、予め設定された位置関係のいずれに該当するか否かを判定する。つまり、ユーザＵから検出した各特徴点セットａ，ｂの位置関係が、図５乃至図８に例示した位置関係のいずれに該当するかを判定する。
そして、演奏装置１０は、検出した各特徴点セットの位置関係から音を特定し、かかる音をスピーカ３から出力する（ステップＳ４）。具体的に、演奏装置１０は、左腕の第二特徴点セットｂの位置関係からオクターブを特定し、右腕の第一特徴点セットａの位置関係から音階を特定して、最終的に特定される音をスピーカ３から出力する。このとき、演奏装置１０は、複数の特徴点セットの位置関係の組み合わせで１つの音を特定して出力しているが、複数の特徴点セットの位置関係のそれぞれから音を特定し、特定された複数の音を出力してもよい。なお、演奏装置１０は、上述したようにユーザＵから検出した特徴点セットの位置関係を、ディスプレイ２に表示するよう出力してもよい。
［変形例］
次に、本実施形態における演奏装置１０の変形例を説明する。上記では、演奏装置１０は、ユーザＵの特徴点セットの位置関係に基づいて出力する音を特定していたが、ユーザＵ自身の情報にも基づいて出力する音を特定してもよい。このため、演奏装置１０は、以下のような構成であってもよい。
上記取得部１１は、カメラ１にて撮影された撮影画像に映るユーザＵを抽出し、かかるユーザＵの情報を検出する。例えば、取得部１１は、ユーザＵの外観から、当該ユーザＵの性別、年齢層、身長が高い又は低い、服装の種類（例えば、動きやすい服装、動きにくい服装）、といった属性や、撮影画像内におけるユーザＵの立ち位置といった情報、を検出する。つまり、取得部１１は、ユーザの属性や特徴といった情報を検出するユーザ情報検出部としての機能も有する。一例として、取得部１１は、ユーザＵの顔画像から顔の部位を特定し、かかる顔の部位の特徴から性別や年齢層を検出したり、撮影画像に対するユーザの高さ方向の大きさや位置を特定し、かかる情報から身長や立ち位置などの情報を検出する。但し、ユーザＵの情報はいかなる情報であってもよく、かかる情報の検出は、いかなる方法で行ってもよい。
なお、取得部１１は、撮影画像内にユーザＵが複数存在する場合には、複数のユーザＵをそれぞれ抽出し、ユーザＵごとにそれぞれ属性などの情報を検出する。例えば、図１０に示すように、撮影画像内に２人のユーザＵ１，Ｕ２が存在していた場合には、左側のユーザＵ１の属性は男性であることを検出し、右側のユーザＵ２の属性は女性であることを検出する。あるいは、図１１に示すように、撮影画像内に２人のユーザＵ１，Ｕ２が存在していた場合には、かかるユーザＵ１，Ｕ２の立ち位置として、ユーザＵ１は左側の領域に位置し、ユーザＵ２は右側の領域に位置していることを検出する。
そして、取得部１１は、上述同様に、ユーザＵの複数の特徴点からなる特徴点セットを取得する。このとき、取得部１１は、複数のユーザＵ１，Ｕ２を抽出した場合には、ユーザＵ１，Ｕ２毎にそれぞれ特徴点セットを取得する。なお、図１０及び図１１の例では、撮影画像内にユーザＵが２人存在している場合を例示しているが、３人以上のユーザＵが存在している場合でも、ユーザＵごとに、上述したようにユーザＵの情報を検出し、特徴点セットを取得する。
上記検出部１２は、上述したように検出したユーザＵ１，Ｕ２毎に、かかるユーザＵ１，Ｕ２の各特徴点セットの位置関係を検出する。そして、検出部１２は、ユーザＵ１，Ｕ２毎に、上述したように検出したユーザＵ１，Ｕ２の情報と、ユーザＵ１，Ｕ２の特徴点セットの位置関係と、を用いて、出力する音を特定する。例えば、ユーザＵ１，Ｕ２の性別によって楽器を特定し、ユーザＵの特徴点セットの位置関係によってその楽器の音を特定する。一例として、図１０の例では、左側のユーザＵ１は男性であるため、男性という性別に対して予め設定されていた楽器であるトランペットを特定し、右側のユーザＵ２は女性であるため、女性という性別に対して予め設定されていた楽器であるバイオリンを特定する。また、図１１の例では、ユーザＵ１の立ち位置は左側であるため、かかる立ち位置に対して予め設定されていた楽器であるトランペットを特定し、ユーザＵ２の立ち位置は右側であるため、かかる立ち位置に対して予め設定されていた楽器であるバイオリンを特定する。そして、検出部１２は、それぞれのユーザＵ１，Ｕ２から検出された特徴点セットの位置関係に基づいて、各楽器の音を特定する。
なお、検出部１２は、上記ではユーザＵ１，Ｕ２の情報に応じて、楽器を変更する場合を例示したが、出力する音を特定する他の要素を変更してもよい。例えば、ユーザＵ１，Ｕ２の情報に応じて、オクターブを変更してもよい。また、検出部１２は、ユーザＵ１，Ｕ２の情報に応じて、音を出力することの難易度を変更してもよい。例えば、検出部１２は、ユーザＵ１，Ｕ２から検出された特徴点セットの位置関係に基づいて各楽器の音を特定するが、ユーザＵ１，Ｕ２の情報に応じて、ユーザＵから検出した位置関係と、予め設定された位置関係と、が同一と判断できる基準を変更して設定してもよい。一例として、ユーザが子供であることを検出した場合には、大人であることを検出した場合を比較して、検出部１２は、予め設定された位置関係の類似範囲を広く設定し、ユーザＵから検出した位置関係がいずれかの予め設定された位置関係と同一と判断されるようにして、音を出力することの難易度を下げるようにしてもよい。
上記音出力部１３は、上述したように特定された音をスピーカ３から出力する。例えば、楽器がトランペットと特定された場合には、トランペットの音源データを用いて、特徴点セットの位置関係から特定される音を出力する。このとき、上述したように、ユーザＵに対して見本情報を表示することなく、ユーザＵに自由に動いてもらってもよい。そして、音出力部１３は、上述した取得部１１及び検出部１２によって、自由に動くユーザＵの情報や特徴点セットの位置関係から特定された音を出力してもよい。また、音出力部１３は、出力した音の楽譜を生成したり、音を録音してもよい。
以上のように、本実施形態における演奏装置、演奏方法によると、人物の撮影画像から取得した複数の特徴点セットの位置関係を検出し、かかる位置関係に基づいて特定される音を出力することができる。このため、子供やお年寄り、非健常者など、身体的な問題により、演奏する際の動作と同様の動作が困難な場合であっても、容易な動作で音を出力することができる。また、ユーザの服装や撮影条件（撮影環境やフレームレートなど）により、ユーザの手や腕といった部位のオプティカルフローを検出できないような状況においても、容易に音を出力することができる。その結果、実際に演奏することなく音を出力することができるシステムにおいて、あらゆるユーザによって利用することができ、娯楽性の向上や、様々な用途に利用することができる。
＜実施形態２＞
次に、本発明の第２の実施形態を、図１２乃至図１４を参照して説明する。図１２乃至図１３は、実施形態２における演奏装置の構成を示すブロック図であり、図１４は、演奏装置の動作を示すフローチャートである。なお、本実施形態では、上述した実施形態で説明した演奏装置及び演奏方法の構成の概略を示している。
まず、図１２を参照して、本実施形態における演奏装置１００のハードウェア構成を説明する。演奏装置１００は、一般的な情報処理装置にて構成されており、一例として、以下のようなハードウェア構成を装備している。
・ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０１（演算装置）
・ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０２（記憶装置）
・ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０３（記憶装置）
・ＲＡＭ１０３にロードされるプログラム群１０４
・プログラム群１０４を格納する記憶装置１０５
・情報処理装置外部の記憶媒体１１０の読み書きを行うドライブ装置１０６
・情報処理装置外部の通信ネットワーク１１１と接続する通信インタフェース１０７
・データの入出力を行う入出力インタフェース１０８
・各構成要素を接続するバス１０９
そして、演奏装置１００は、プログラム群１０４をＣＰＵ１０１が取得して当該ＣＰＵ１０１が実行することで、図１３に示す取得手段１２１と検出手段１２２と出力手段１２３とを構築して装備することができる。なお、プログラム群１０４は、例えば、予め記憶装置１０５やＲＯＭ１０２に格納されており、必要に応じてＣＰＵ１０１がＲＡＭ１０３にロードして実行する。また、プログラム群１０４は、通信ネットワーク１１１を介してＣＰＵ１０１に供給されてもよいし、予め記憶媒体１１０に格納されており、ドライブ装置１０６が該プログラムを読み出してＣＰＵ１０１に供給してもよい。但し、上述した取得手段１２１と検出手段１２２と出力手段１２３とは、かかる手段を実現させるための専用の電子回路で構築されるものであってもよい。
なお、図１２は、演奏装置１００である情報処理装置のハードウェア構成の一例を示しており、情報処理装置のハードウェア構成は上述した場合に限定されない。例えば、情報処理装置は、ドライブ装置１０６を有さないなど、上述した構成の一部から構成されてもよい。
そして、演奏装置１００は、上述したようにプログラムによって構築された取得手段１２１と検出手段１２２と出力手段１２３との機能により、図１４のフローチャートに示す演奏方法を実行する。
図１４に示すように、演奏装置１００は、
人物を撮影した撮影画像から、人物の複数の特徴点を取得し（ステップＳ１１）、
複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出し（ステップＳ１２）、
検出した前記位置関係に基づいて特定される音を出力する（ステップＳ１３）、
という処理を実行する。
本発明は、以上のように構成されることにより、人物の撮影画像から取得した複数の特徴点セットの位置関係を検出し、かかる位置関係に基づいて特定される音を出力することができる。このため、子供やお年寄り、非健常者など、身体的な問題により、演奏する際の動作と同様の動作が困難な場合であっても、容易な動作で音を出力することができる。その結果、実際に演奏することなく音を出力することができるシステムにおいて、あらゆるユーザによって利用することができ、娯楽性の向上や、様々な用途に利用することができる。
なお、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
以上、上記実施形態等を参照して本願発明を説明したが、本願発明は、上述した実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明の範囲内で当業者が理解しうる様々な変更をすることができる。また、上述した取得手段、検出手段、出力手段の機能のうちの少なくとも一以上の機能は、ネットワーク上のいかなる場所に設置され接続された情報処理装置で実行されてもよく、つまり、いわゆるクラウドコンピューティングで実行されてもよい。
＜付記＞
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における演奏方法、演奏装置、プログラムの構成の概略を説明する。但し、本発明は、以下の構成に限定されない。
（付記１）
人物を撮影した撮影画像から、人物の複数の特徴点を取得し、
複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出し、
検出した前記位置関係に基づいて特定される音を出力する、
演奏方法。
（付記２）
付記１に記載の演奏方法であって、
前記特徴点セットを構成する複数の前記特徴点を予め設定された基準に従って結んだ形状に基づいて前記位置関係を検出する、
演奏方法。
（付記３）
付記１又は２に記載の演奏方法であって、
人物の関節位置を少なくとも１つの前記特徴点として取得する、
演奏方法。
（付記４）
付記１乃至３のいずれかに記載の演奏方法であって、
人物の３点以上の前記特徴点を取得し、
３点以上の前記特徴点の組み合わせからなる前記特徴点セットにおける前記特徴点間の前記位置関係を検出する、
演奏方法。
（付記５）
付記１乃至４のいずれかに記載の演奏方法であって、
複数の前記特徴点セットのそれぞれについて前記位置関係を検出し、
複数の前記特徴点セットからそれぞれ検出した前記位置関係に基づいて特定される音を出力する、
演奏方法。
（付記６）
付記５に記載の演奏方法であって、
複数の前記特徴点セットからそれぞれ検出した前記位置関係の組み合わせに基づいて特定される音を出力する、
演奏方法。
（付記７）
付記１乃至６のいずれかに記載の演奏方法であって、
前記撮影画像に映る人物と、当該人物から検出した前記位置関係と、に基づいて特定される音を出力する、
演奏方法。
（付記８）
付記７に記載の演奏方法であって、
前記撮影画像に映る人物の属性と、当該人物から検出した前記位置関係と、に基づいて特定される音を出力する、
演奏方法。
（付記９）
付記７又は８に記載の演奏方法であって、
前記撮影画像から複数の人物を抽出すると共に、人物ごとにそれぞれ複数の前記特徴点を取得し、
人物ごとに前記位置関係を検出し、
人物ごとに検出した前記位置関係に基づいて特定される音を出力する、
演奏方法。
（付記１０）
付記９に記載の演奏方法であって、
人物ごとに異なる楽器の音を出力する、
演奏方法。
（付記１１）
付記１乃至１０のいずれかに記載の演奏方法であって、
前記撮影画像に、当該撮影画像から取得された人物から検出された前記位置関係を表す情報を付加して表示装置に出力する、
演奏方法。
（付記１２）
付記１乃至１１のいずれかに記載の演奏方法であって、
前記位置関係の見本を表す予め記憶された画像情報を表示装置に出力する、
演奏方法。
（付記１３）
人物を撮影した撮影画像から、人物の複数の特徴点を取得する取得手段と、
複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する検出手段と、
検出した前記位置関係に基づいて特定される音を出力する出力手段と、
を備えた演奏装置。
（付記１４）
付記１３に記載の演奏装置であって、
前記検出手段は、前記特徴点セットを構成する複数の前記特徴点を予め設定された基準に従って結んだ形状に基づいて前記位置関係を検出する、
演奏装置。
（付記１５）
付記１３又は１４に記載の演奏装置であって、
前記取得手段は、人物の関節位置を少なくとも１つの前記特徴点として取得する、
演奏装置。
（付記１６）
付記１３乃至１５のいずれかに記載の演奏装置であって、
前記取得手段は、人物の３点以上の前記特徴点を取得し、
前記検出手段は、３点以上の前記特徴点の組み合わせからなる前記特徴点セットにおける前記特徴点間の前記位置関係を検出する、
演奏装置。
（付記１７）
付記１３乃至１６のいずれかに記載の演奏装置であって、
前記検出手段は、複数の前記特徴点セットのそれぞれについて前記位置関係を検出し、
前記出力手段は、複数の前記特徴点セットからそれぞれ検出した前記位置関係に基づいて特定される音を出力する、
演奏装置。
（付記１８）
付記１７に記載の演奏装置であって、
前記出力手段は、複数の前記特徴点セットからそれぞれ検出した前記位置関係の組み合わせに基づいて特定される音を出力する、
演奏装置。
（付記１９）
付記１３乃至１８のいずれかに記載の演奏装置であって、
前記出力手段は、前記撮影画像に映る人物と、当該人物から検出した前記位置関係と、に基づいて特定される音を出力する、
演奏装置。
（付記２０）
付記１９に記載の演奏装置であって、
前記出力手段は、前記撮影画像に映る人物の属性と、当該人物から検出した前記位置関係と、に基づいて特定される音を出力する、
演奏装置。
（付記２１）
付記１９又は２０に記載の演奏装置であって、
前記取得手段は、前記撮影画像から複数の人物を抽出すると共に、人物ごとにそれぞれ複数の前記特徴点を取得し、
前記検出手段は、人物ごとに前記位置関係を検出し、
前記出力手段は、人物ごとに検出した前記位置関係に基づいて特定される音を出力する、
演奏装置。
（付記２２）
付記２１に記載の演奏装置であって、
前記出力手段は、人物ごとに異なる楽器の音を出力する、
演奏装置。
（付記２３）
付記１３乃至２２のいずれかに記載の演奏装置であって、
前記出力手段は、前記撮影画像に、当該撮影画像から取得された人物から検出された前記位置関係を表す情報を付加して表示装置に出力する、
演奏装置。
（付記２４）
付記１３乃至２３のいずれかに記載の演奏装置であって、
前記出力手段は、前記位置関係の見本を表す予め記憶された画像情報を表示装置に出力する、
演奏装置。
（付記２５）
情報処理装置に、
人物を撮影した撮影画像から、人物の複数の特徴点を取得する取得手段と、
複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する検出手段と、
検出した前記位置関係に基づいて特定される音を出力する出力手段と、
を実現させるためのプログラムを記憶したコンピュータにて読み取り可能な記憶媒体。
１ カメラ
２ ディスプレイ
３ スピーカ
１０ 演奏装置
１１ 取得部
１２ 検出部
１３ 音出力部
１４ 映像出力部
１５ 音情報記憶部
１６ 見本情報記憶部
Ｕ，Ｕ１，Ｕ２ ユーザ
１００ 演奏装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ プログラム群
１０５ 記憶装置
１０６ ドライブ装置
１０７ 通信インタフェース
１０８ 入出力インタフェース
１０９ バス
１１０ 記憶媒体
１１１ 通信ネットワーク
１２１ 取得手段
１２２ 検出手段
１２３ 出力手段

Claims (10)

  1. 人物を撮影した撮影画像から、人物の複数の特徴点を取得し、
    複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する際に、前記特徴点セットを構成する複数の前記特徴点を予め設定された基準に従って結んだ形状に基づいて前記位置関係を検出し、
    検出した前記位置関係に基づいて特定される音を出力する、
    演奏方法。
  2. 人物を撮影した撮影画像から、人物の複数の特徴点を取得し、
    複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出し、
    前記撮影画像に映る人物の属性と、当該人物から検出した前記位置関係と、に基づいて特定される音を出力する、
    演奏方法。
  3. 人物を撮影した撮影画像から、人物の複数の特徴点を取得し、
    複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出し、
    検出した前記位置関係に基づいて特定される音を出力し、
    前記撮影画像に、当該撮影画像から取得された人物から検出された前記位置関係を表す情報を付加して表示装置に出力する、
    演奏方法。
  4. 人物を撮影した撮影画像から、人物の複数の特徴点を取得し、
    複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出し、
    検出した前記位置関係に基づいて特定される音を出力し、
    前記位置関係の見本を表す予め記憶された画像情報を表示装置に出力する、
    演奏方法。
  5. 請求項１乃至４のいずれかに記載の演奏方法であって、
    人物の関節位置を少なくとも１つの前記特徴点として取得する、
    演奏方法。
  6. 請求項１乃至５のいずれかに記載の演奏方法であって、
    人物の３点以上の前記特徴点を取得し、
    ３点以上の前記特徴点の組み合わせからなる前記特徴点セットにおける前記特徴点間の前記位置関係を検出する、
    演奏方法。
  7. 請求項１乃至６のいずれかに記載の演奏方法であって、
    複数の前記特徴点セットのそれぞれについて前記位置関係を検出し、
    複数の前記特徴点セットからそれぞれ検出した前記位置関係に基づいて特定される音を出力する、
    演奏方法。
  8. 人物を撮影した撮影画像から、人物の複数の特徴点を取得する取得手段と、
    複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する際に、前記特徴点セットを構成する複数の前記特徴点を予め設定された基準に従って結んだ形状に基づいて前記位置関係を検出する検出手段と、
    検出した前記位置関係に基づいて特定される音を出力する出力手段と、
    を備えた演奏装置。
  9. 人物を撮影した撮影画像から、人物の複数の特徴点を取得する取得手段と、
    複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する検出手段と、
    前記撮影画像に映る人物の属性と、当該人物から検出した前記位置関係と、に基づいて特定される音を出力する出力手段と、
    を備えた演奏装置。
  10. 人物を撮影した撮影画像から、人物の複数の特徴点を取得する取得手段と、
    複数の前記特徴点の組み合わせからなる特徴点セットにおける前記特徴点間の位置関係を検出する検出手段と、
    検出した前記位置関係に基づいて特定される音を出力すると共に、前記撮影画像に、当該撮影画像から取得された人物から検出された前記位置関係を表す情報を付加して表示装置に出力する出力手段と、
    を備えた演奏装置。
JP2022508666A 2020-03-17 2020-03-17 演奏方法 Active JP7420218B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/011762 WO2021186563A1 (ja) 2020-03-17 2020-03-17 演奏方法

Publications (3)

Publication Number Publication Date
JPWO2021186563A1 JPWO2021186563A1 (ja) 2021-09-23
JPWO2021186563A5 JPWO2021186563A5 (ja) 2022-11-09
JP7420218B2 true JP7420218B2 (ja) 2024-01-23

Family

ID=77770926

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022508666A Active JP7420218B2 (ja) 2020-03-17 2020-03-17 演奏方法

Country Status (3)

Country Link
US (1) US20230351986A1 (ja)
JP (1) JP7420218B2 (ja)
WO (1) WO2021186563A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003171A (ja) 1998-06-16 2000-01-07 Yamaha Corp 運指データ作成装置及び運指表示装置
JP2010176588A (ja) 2009-01-30 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 端末装置、画像処理方法及びプログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08123417A (ja) * 1994-10-25 1996-05-17 Yamaha Corp グリップ型楽音制御装置
JPH1097244A (ja) * 1996-09-20 1998-04-14 Yamaha Corp 楽音制御装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000003171A (ja) 1998-06-16 2000-01-07 Yamaha Corp 運指データ作成装置及び運指表示装置
JP2010176588A (ja) 2009-01-30 2010-08-12 Sony Ericsson Mobilecommunications Japan Inc 端末装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JPWO2021186563A1 (ja) 2021-09-23
US20230351986A1 (en) 2023-11-02
WO2021186563A1 (ja) 2021-09-23

Similar Documents

Publication Publication Date Title
WO2021129064A1 (zh) 姿态获取方法、关键点坐标定位模型的训练方法和装置
JP6181373B2 (ja) 医用情報処理装置及びプログラム
Varona et al. Hands-free vision-based interface for computer accessibility
CN102622774B (zh) 起居室电影创建
KR102223693B1 (ko) Ｎｕｉ 관여의 검출
Poppe et al. AMAB: Automated measurement and analysis of body motion
US20160042652A1 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
JPWO2018211571A1 (ja) 演技表示プログラム、演技表示方法および演技表示装置
Essid et al. A multi-modal dance corpus for research into interaction between humans in virtual environments
JP7235133B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
Chiang et al. Kinect-based in-home exercise system for lymphatic health and lymphedema intervention
CN109448131A (zh) 一种基于Kinect的虚拟钢琴弹奏系统的构建方法
Dael et al. Measuring body movement: Current and future directions in proxemics and kinesics.
KR20180011664A (ko) 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
CN113033526A (zh) 基于计算机实现的方法、电子设备和计算机程序产品
JP7420218B2 (ja) 演奏方法
JP7409390B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
Agrawal et al. IoT based augmented reality system of human heart: An Android application
JP6922768B2 (ja) 情報処理装置
Bianchi-Berthouze et al. 11 Automatic Recognition of Affective Body Expressions
Rosales et al. Computer vision for detection of body expressions of children with cerebral palsy
Mastorakis Human fall detection methodologies: from machine learning using acted data to fall modelling using myoskeletal simulation
Rothmeier et al. Comparison of Machine Learning and Rule-based Approaches for an Optical Fall Detection System
Nguyen et al. Vision-based global localization of points of gaze in sport climbing
CN113842622A (zh) 一种运动教学方法、装置、系统、电子设备及存储介质

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220816

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220816

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230905

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231031

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231212

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231225

R151 Written notification of patent or utility model registration

Ref document number: 7420218

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151