JP7540172B2 - 再生制御方法、再生制御システムおよびプログラム - Google Patents

再生制御方法、再生制御システムおよびプログラム Download PDF

Info

Publication number
JP7540172B2
JP7540172B2 JP2020050816A JP2020050816A JP7540172B2 JP 7540172 B2 JP7540172 B2 JP 7540172B2 JP 2020050816 A JP2020050816 A JP 2020050816A JP 2020050816 A JP2020050816 A JP 2020050816A JP 7540172 B2 JP7540172 B2 JP 7540172B2
Authority
JP
Japan
Prior art keywords
operation surface
type
sound
condition
playback control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020050816A
Other languages
English (en)
Other versions
JP2021149025A (ja
Inventor
達也 入山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to JP2020050816A priority Critical patent/JP7540172B2/ja
Priority to PCT/JP2020/045786 priority patent/WO2021192436A1/ja
Priority to CN202080093094.5A priority patent/CN114981881A/zh
Publication of JP2021149025A publication Critical patent/JP2021149025A/ja
Priority to US17/950,657 priority patent/US20230013425A1/en
Application granted granted Critical
Publication of JP7540172B2 publication Critical patent/JP7540172B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G10H1/055—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements
    • G10H1/0553—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only by switches with variable impedance elements using optical or light-responsive means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H7/00—Instruments in which the tones are synthesised from a data store, e.g. computer organs
    • G10H7/002—Instruments in which the tones are synthesised from a data store, e.g. computer organs using a common processing for different operations or calculations, and a set of microinstructions (programme) to control the sequence thereof
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H3/00—Instruments in which the tones are generated by electromechanical means
    • G10H3/12—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument
    • G10H3/14—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means
    • G10H3/146—Instruments in which the tones are generated by electromechanical means using mechanical resonant generators, e.g. strings or percussive instruments, the tones of which are picked up by electromechanical transducers, the electrical signals being further manipulated or amplified and subsequently converted to sound by a loudspeaker or equivalent instrument using mechanically actuated vibrators with pick-up means using a membrane, e.g. a drum; Pick-up means for vibrating surfaces, e.g. housing of an instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/405—Beam sensing or control, i.e. input interfaces involving substantially immaterial beams, radiation, or fields of any nature, used, e.g. as a switch as in a light barrier, or as a control device, e.g. using the theremin electric field sensing principle
    • G10H2220/411—Light beams
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2230/00—General physical, ergonomic or hardware implementation of electrophonic musical tools or instruments, e.g. shape or architecture
    • G10H2230/045—Special instrument [spint], i.e. mimicking the ergonomy, shape, sound or other characteristic of a specific acoustic musical instrument category
    • G10H2230/251—Spint percussion, i.e. mimicking percussion instruments; Electrophonic musical instruments with percussion instrument features; Electrophonic aspects of acoustic percussion instruments or MIDI-like control therefor
    • G10H2230/275—Spint drum

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)

Description

本開示は、音を制御する技術に関する。
利用者による操作に応じて発音する各種の技術が従来から提案されている。例えば非特許文献１には、打楽器のスティックで操作面を打撃する動作モードと、人間の手で操作面を打撃する動作モードと、を利用者が選択可能な電子ドラムが開示されている。
ヤマハ株式会社，DTC-MULTI12，［online］，［令和２年１月８日検索］，インターネット＜URL：https://jp.yamaha.com/products/musical_instruments/drums/el_drums/drum_kits/dtx_multi_pad/features.html#product-tabs＞
しかし、従来の構成においては、打楽器のスティックで操作面を打撃するのか手で操作面を打撃するのかを、利用者が事前に選択する必要がある。以上の事情を考慮して、本開示のひとつの態様は、複数種の物体により操作面を打撃することで音を再生する状況のもとで、利用者による操作の負荷を軽減することを目的とする。
以上の課題を解決するために、本開示のひとつの態様に係る再生制御方法は、物体を撮像した画像から当該物体の種類を判別し、前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する。
本開示のひとつの態様に係る再生制御システムは、物体を撮像した画像から当該物体の種類を判別する物体判別部と、前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する再生制御部とを具備する。
本開示のひとつの態様に係るプログラムは、物体を撮像した画像から当該物体の種類を判別する物体判別部、および、前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する再生制御部、としてコンピュータを機能させる。
再生制御システムの構成を例示するブロック図である。 検出ユニットの構成を例示する模式図である。 制御システムの機能的な構成を例示するブロック図である。 利用者の手が操作面を打撃した場合における目標音の再生の説明図である。 スティックが操作面を打撃した場合における目標音の再生の説明図である。 制御処理の具体的な手順を例示するフローチャートである。 第３実施形態における制御処理の具体的な手順を例示するフローチャートである。 第４実施形態における制御処理の具体的な手順を例示するフローチャートである。 第５実施形態における制御処理の具体的な手順を例示するフローチャートである。
Ａ：第１実施形態
図１は、本開示の第１実施形態に係る再生制御システム１００の構成を例示するブロック図である。再生制御システム１００は、利用者による操作に応じた音（以下「目標音」という）を再生するコンピュータシステムである。再生制御システム１００は、制御システム１と検出ユニット２とを具備する。検出ユニット２は、利用者による操作を検出する。制御システム１は、検出ユニット２が検出した操作に応じた目標音を再生する。制御システム１が再生する目標音は、例えば鍵盤楽器等の楽器の演奏音である。ただし、歌唱音または発話音等の音声が目標音として再生されてもよい。
制御システム１は、制御装置１０と記憶装置１１と放音装置１３とを具備する。制御システム１は、例えばスマートフォン，タブレット端末またはパーソナルコンピュータ等の情報端末により実現される。なお、制御システム１は、単体の装置で実現されるほか、相互に別体で構成された複数の装置でも実現される。
制御装置１０は、制御システム１の各要素を制御する単数または複数のプロセッサである。具体的には、例えばＣＰＵ（Central Processing Unit）、ＳＰＵ（Sound Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field Programmable Gate Array）、またはＡＳＩＣ（Application Specific Integrated Circuit）等の１種類以上のプロセッサにより、制御装置１０が構成される。制御装置１０は、利用者の操作に応じた目標音の波形を表す音響信号Ｘを生成する。
放音装置１３は、制御装置１０が生成する音響信号Ｘが表す目標音を再生する。放音装置１３は、例えばスピーカまたはヘッドホンである。なお、音響信号Ｘをデジタルからアナログに変換するＤ/Ａ変換器と、音響信号Ｘを増幅する増幅器とは、便宜的に図示が省略されている。また、図１においては、放音装置１３を制御システム１に搭載した構成を例示したが、制御システム１とは別体の放音装置１３が有線または無線により制御システム１に接続されてもよい。
記憶装置１１は、制御装置１０が実行するプログラムと制御装置１０が使用する各種のデータとを記憶する単数または複数のメモリである。記憶装置１１は、例えば磁気記録媒体もしくは半導体記録媒体等の公知の記録媒体、または、複数種の記録媒体の組合せで構成される。なお、再生制御システム１００とは別体の記憶装置１１（例えばクラウドストレージ）を用意し、例えば移動体通信網またはインターネット等の通信網を介して、制御装置１０が記憶装置１１に対する書込および読出を実行してもよい。すなわち、記憶装置１１は再生制御システム１００から省略されてもよい。
図２は、任意の１個の検出ユニット２の構成を例示する模式図である。検出ユニット２は、収容体２０と撮像装置２１と収音装置２２とを具備する。図２の収容体２０は、撮像装置２１と収音装置２２とを収容する中空の構造体である。具体的には、収容体２０は、筐体部２０aと透光部２０bとを具備する。筐体部２０aは、上方が開口した中空箱形の構造体である。透光部２０bは、筐体部２０aの開口を閉塞する板状部材である。透光部２０bは、撮像装置２１が検出可能な波長域の光を透過させる。透光部２０bのうち筐体部２０aとは反対側の表面は、利用者により打撃される操作面Ｆである。
利用者は、スティックＨaを利用して操作面Ｆを打撃する操作と、自身の手Ｈbにより操作面Ｆを直接的に打撃する操作とを選択的に実行することが可能である。スティックＨaは、打楽器の演奏に使用される棒状部材である。以下の説明においては、操作面Ｆを打撃する物体を「打撃体Ｈ」と総称する。スティックＨaおよび手Ｈbが打撃体Ｈの一例である。スティックＨaは「第１種類」の打撃体Ｈの一例であり、手Ｈbは「第２種類」の打撃体Ｈの一例である。
撮像装置２１は、打撃体Ｈを撮像する光学センサである。撮像装置２１は、筐体部２０aの底面における中点の近傍に設置され、操作面Ｆを介して打撃体Ｈを撮像する。具体的には、撮像装置２１は、打撃体Ｈの画像の時系列（すなわち動画像）を表す画像信号Ｑ1を生成する。画像信号Ｑ1は、有線通信または無線通信により制御システム１に送信される。なお、撮像装置２１が検出する光は可視光に限定されない。例えば赤外光等の非可視光を撮像装置２１が受光してもよい。
収音装置２２は、周囲の音を収音することで収音信号Ｑ2を生成する。収音装置２２は、打撃体Ｈが操作面Ｆを打撃したときに発生する打撃音を収音する。すなわち、収音装置２２は、打撃音を表す収音信号Ｑ2を生成する。収音信号Ｑ2は、有線通信または無線通信により制御システム１に送信される。なお、収音装置２２を収容体２０の外側に設置してもよい。
図３は、制御システム１の機能的な構成を例示するブロック図である。制御システム１の制御装置１０は、記憶装置１１に記憶されたプログラムを実行することで複数の機能（物体判別部３０および再生制御部３１）を実現する。
物体判別部３０は、撮像装置２１が打撃体Ｈを撮像した画像から当該打撃体Ｈの種類を判別する。すなわち、物体判別部３０は、画像信号Ｑ1が表す打撃体Ｈの画像を解析することで打撃体Ｈの種類を判別する。具体的には、物体判別部３０は、打撃体ＨがスティックＨaであるのか手Ｈbであるのかを判別する。
打撃体Ｈの種類の判別には公知の識別技術が任意に採用される。例えば、打撃体Ｈの画像と当該打撃体Ｈの種類との関係を機械学習により学習した推定モデルを利用して、物体判別部３０は打撃体Ｈの種類を判別する。推定モデルは、例えば再帰型ニューラルネットワーク（RNN：Recurrent Neural Network）、または畳込ニューラルネットワーク（CNN：Convolutional Neural Network）等の任意の形式の深層ニューラルネットワークである。複数種のニューラルネットワークの組合せを推定モデルとして利用してもよい。また、ＳＶＭ（Support Vector Machine）等の公知の分類器を利用して、物体判別部３０が打撃体Ｈの種類を判別してもよい。
図３の再生制御部３１は、打撃体Ｈによる操作面Ｆの打撃を契機として放音装置１３に目標音を再生させる。具体的には、再生制御部３１は、目標音を表す音響信号Ｘを生成する。例えば、再生制御部３１は、記憶装置１１に記憶された波形データを利用して音響信号Ｘを生成する。音響信号Ｘが放音装置１３に供給されることで目標音が再生される。
再生制御部３１は、打撃体Ｈが操作面Ｆを打撃した場合でも、当該打撃が微弱である場合には目標音を再生しない。具体的には、再生制御部３１は、打撃体Ｈが操作面Ｆを打撃する強度（以下「打撃強度」という）Ｚが閾値Ｚthを上回る場合に目標音を再生する。打撃体Ｈが操作面Ｆを打撃した場合でも、打撃強度Ｚが閾値Ｚth（Ｚth1，Ｚth2）を下回る場合には目標音は再生されない。以上の構成によれば、利用者が意図せず操作面Ｆに接触した場合に目標音が再生される可能性を低減できる。
打撃体Ｈが操作面Ｆを打撃する打撃強度Ｚが大きいほど打撃音の音量が大きいという相関がある。すなわち、打撃強度Ｚが大きいほど、収音装置２２が生成する収音信号Ｑ2の信号強度（音量、振幅またはパワー）は大きい。以上の相関を利用して、再生制御部３１は、収音装置２２が生成する収音信号Ｑ2の信号強度を、打撃体Ｈによる打撃の打撃強度Ｚとして算定する。以上の構成によれば、収音装置２２を利用して、打撃体Ｈによる操作面Ｆの打撃強度Ｚを簡便に特定できる。
ところで、打撃強度Ｚは、打撃体Ｈの種類に依存する。例えば、スティックＨaは手Ｈbと比較して硬質である。したがって、打撃体Ｈが手Ｈbである場合には、打撃体ＨがスティックＨaである場合と比較して、打撃強度Ｚが低くなり易い（すなわち、打撃音の音量が小さくなり易い）という傾向がある。したがって、目標音の再生条件に適用される閾値Ｚthが、打撃体Ｈの種類とは無関係の所定値に固定された構成では、利用者がスティックＨaにより操作面Ｆを打撃した場合のほうが、利用者が手Ｈbにより操作面Ｆを打撃した場合と比較して目標音が再生され易いという不均衡が発生する。以上の不均衡を抑制する観点から、再生制御部３１は、目標音が再生される条件を打撃体Ｈの種類に応じて変化させる。
図４および図５は、再生制御部３１の動作の説明図である。図４に例示される通り、打撃体ＨがスティックＨaであると物体判別部３０が判別した場合、再生制御部３１は、打撃強度Ｚが第１閾値Ｚth1を上回る場合に目標音を再生する。すなわち、第１閾値Ｚth1を上回る強度の打撃音を発生させる打撃を契機として目標音が再生される。例えば、打撃強度Ｚが第１閾値Ｚth1を上回る時点から所定の時間にわたる目標音が再生される。
他方、図５に例示される通り、打撃体Ｈが手Ｈbであると物体判別部３０が判別した場合、再生制御部３１は、打撃強度Ｚが第２閾値Ｚth2を上回る場合に目標音を再生する。すなわち、第２閾値Ｚth2を上回る強度の打撃音を発生させる打撃を契機として目標音が再生される。例えば、打撃強度Ｚが第２閾値Ｚth2を上回る時点から所定の時間にわたる目標音が再生される。
第１閾値Ｚth1と第２閾値Ｚth2とは相異なる数値に設定される。具体的には、第２閾値Ｚth2は、第１閾値Ｚth1を下回る（Ｚth2＜Ｚth1）。したがって、利用者の手Ｈbによる打撃強度Ｚが第１閾値Ｚth1に到達しない場合でも、当該打撃強度Ｚが第２閾値Ｚth2を上回るならば、目標音は再生される。すなわち、利用者が手Ｈbで操作面Ｆを打撃する場合には、操作面ＦをスティックＨaで打撃する場合よりも低い打撃強度Ｚにより、目標音を再生させることが可能である。利用者の手Ｈbによる打撃を検出する感度が、スティックＨaによる打撃を検出する感度よりも高いと換言してもよい。以上の構成によれば、利用者が手Ｈbで操作面Ｆを打撃する場合に目標音が殆ど再生されない事態、または、利用者がスティックＨaで操作面Ｆを打撃する場合に目標音が過剰な頻度で再生される事態、を抑制することが可能である。
以上の例示の通り、打撃体ＨがスティックＨaである場合、打撃強度Ｚが第１閾値Ｚth1を上回ることを条件（第１条件）として目標音が再生される。他方、打撃体Ｈが手Ｈbである場合、打撃強度Ｚが第２閾値Ｚth2を上回ることを条件（第２条件）として目標音が再生される。すなわち、目標音を再生するための条件が、打撃体ＨがスティックＨaである場合と打撃体Ｈが手Ｈbである場合とで相違する。
図６は、制御装置１０が実行する処理（以下「制御処理」という）Ｓaの具体的な手順を例示するフローチャートである。利用者が打撃体Ｈを操作面Ｆに対して接近および離間させる周期よりも充分に短い周期で制御処理Ｓaは反復される。
制御処理Ｓaが開始されると、物体判別部３０は、撮像装置２１から供給される画像信号Ｑ1を解析することで打撃体Ｈの種類を判別する（Ｓa1）。再生制御部３１は、打撃体ＨがスティックＨaであるか否かを判定する（Ｓa2）。打撃体ＨがスティックＨaである場合（Ｓa2：YES）、再生制御部３１は、閾値Ｚthを第１閾値Ｚth1に設定する（Ｓa3）。他方、打撃体Ｈが手Ｈbである場合（Ｓa2：NO）、再生制御部３１は、閾値Ｚthを、第１閾値Ｚth1を下回る第２閾値Ｚth2に設定する（Ｓa4）。
以上の手順で閾値Ｚthを設定すると、再生制御部３１は、収音信号Ｑ2を解析することで打撃強度Ｚを算定する（Ｓa5）。再生制御部３１は、打撃強度Ｚが閾値Ｚthを上回るか否かを判定する（Ｓa6）。なお、打撃強度Ｚの算定（Ｓa5）は、制御処理Ｓaの開始から閾値Ｚthとの比較（Ｓa6）までの任意の時点で実行される。
打撃強度Ｚが閾値Ｚthを上回る場合（Ｓa6：YES）、再生制御部３１は、目標音を放音装置１３に再生させる（Ｓa7）。具体的には、第１閾値Ｚth1を上回る打撃強度Ｚで操作面ＦがスティックＨaにより打撃された場合、または、第２閾値Ｚth2を上回る打撃強度Ｚで操作面Ｆが手Ｈbにより打撃された場合に、目標音が再生される。他方、打撃強度Ｚが閾値Ｚthを下回る場合（Ｓa6：NO）、再生制御部３１は目標音を再生しない。
以上に説明した通り、第１実施形態においては、打撃体ＨがスティックＨaであると判定された場合と当該打撃体Ｈが手Ｈbであると判定された場合とで目標音の再生の条件が相違する。したがって、打撃体Ｈの種類に応じた適切な条件のもとで目標音を再生させることが可能である。また、打撃体Ｈを撮像した画像から当該打撃体Ｈの種類が判別されるから、利用者が打撃体Ｈの種類を選択する特段の操作を必要とせずに、打撃体Ｈの種類に応じた条件で目標音を再生させることが可能である。
Ｂ：第２実施形態
第２実施形態を以下に説明する。なお、以下に例示する各形態において機能が第１実施形態と同様である要素については、第１実施形態の説明で使用した符号を流用して各々の詳細な説明を適宜に省略する。
第２実施形態の再生制御部３１は、目標音の音響特性を制御する。具体的には、再生制御部３１は、打撃体Ｈによる操作面Ｆの打撃強度Ｚに応じて目標音の音響特性を制御する。音響特性は、例えば目標音の音高または音量である。例えば、再生制御部３１は、打撃強度Ｚが高いほど目標音の音高を上昇させる。また、再生制御部３１は、打撃強度Ｚが高いほど目標音の音量を増大させる。打撃強度Ｚが閾値Ｚth（Ｚth1，Ｚth2）を上回ることを契機として目標音が再生される点は第１実施形態と同様である。
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態においては、打撃体Ｈによる操作面Ｆの打撃強度Ｚが、目標音の再生の可否に関する判定（Ｓa6）と、当該目標音の音響特性の制御とに共用される。したがって、再生の可否の判定と音響特性の制御とに別個の情報を利用する構成と比較して、目標音を再生するための処理（制御処理Ｓa）が簡素化されるという利点もある。
なお、以上の説明においては、打撃強度Ｚに応じて目標音の音響特性を制御したが、音響特性の制御に利用される情報は、打撃強度Ｚに限定されない。例えば、操作面Ｆに対する打撃体Ｈの移動の速度または方向に応じて、再生制御部３１が目標音の音響特性を制御してもよい。打撃体Ｈが操作面Ｆを打撃する位置に応じて、再生制御部３１が目標音の音響特性を制御してもよい。また、再生制御部３１による制御の対象となる音響特性は音高または音量に限定されない。例えば音色等の各種の音響特性を再生制御部３１が制御してもよい。
Ｃ：第３実施形態
第３実施形態の制御装置１０は、図６に例示した制御処理Ｓaに代えて図７の制御処理Ｓbを実行する。利用者が打撃体Ｈを操作面Ｆに対して接近および離間させる周期よりも充分に短い周期で制御処理Ｓbは反復される。
制御処理Ｓbが開始されると、物体判別部３０は、第１実施形態と同様に、画像信号Ｑ1の解析により打撃体Ｈの種類を判別する（Ｓb1）。再生制御部３１は、収音信号Ｑ2を解析することで打撃強度Ｚを算定する（Ｓb2）。再生制御部３１は、打撃強度Ｚが閾値Ｚthを上回るか否かを判定する（Ｓb3）。第３実施形態における閾値Ｚthは、打撃体Ｈの種類に依存しない所定値に設定される。打撃強度Ｚが閾値Ｚthを下回る場合（Ｓb3：NO）、再生制御部３１は制御処理Ｓbを終了する。
他方、打撃強度Ｚが閾値Ｚthを上回る場合（Ｓb3：YES）、再生制御部３１は、打撃体ＨがスティックＨaであるか否かを判定する（Ｓb4）。打撃体ＨがスティックＨaである場合（Ｓb4：YES）、再生制御部３１は、第１アルゴリズムにより目標音の音響信号Ｘを生成する（Ｓb5）。他方、打撃体Ｈが手Ｈbである場合（Ｓb4：NO）、再生制御部３１は、第２アルゴリズムにより目標音の音響信号Ｘを生成する（Ｓb6）。
第１アルゴリズムおよび第２アルゴリズムの各々は、目標音を合成するための音響処理である。第１アルゴリズムと第２アルゴリズムとは処理内容が相違する。例えば、第１アルゴリズムおよび第２アルゴリズムの一方は、記憶装置１１に記憶された波形データの加工により音響信号Ｘを生成する処理である。第１アルゴリズムおよび第２アルゴリズムの他方は、相異なる音響特性の目標音を表す複数の波形データの何れかを音響信号Ｘとして選択する処理である。
以上の例示の通り、打撃体ＨがスティックＨaである場合、第１アルゴリズムの利用（第１条件）により目標音が再生される。他方、打撃体Ｈが手Ｈbである場合、第２アルゴリズムの利用（第２条件）により目標音が再生される。すなわち、打撃体ＨがスティックＨaである場合と打撃体Ｈが手Ｈbである場合とで、目標音の再生の条件が相違する。
第３実施形態においても第１実施形態と同様の効果が実現される。なお、目標音の音響特性を制御する第２実施形態の構成は、第３実施形態にも同様に適用される。
Ｄ：第４実施形態
第４実施形態の制御装置１０は、図６に例示した制御処理Ｓaに代えて図８の制御処理Ｓcを実行する。利用者が打撃体Ｈを操作面Ｆに対して接近および離間させる周期よりも充分に短い周期で制御処理Ｓcは反復される。
制御処理Ｓcが開始されると、物体判別部３０は、第１実施形態と同様に、画像信号Ｑ1の解析により打撃体Ｈの種類を判別する（Ｓc1）。再生制御部３１は、打撃体ＨがスティックＨaであるか否かを判定する（Ｓc2）。打撃体ＨがスティックＨaである場合（Ｓc2：YES）、再生制御部３１は、収音信号Ｑ2を増幅率（ゲイン）Ｇ1で増幅する（Ｓc3）。他方、打撃体Ｈが手Ｈbである場合（Ｓc2：NO）、再生制御部３１は、収音信号Ｑ2を増幅率Ｇ2で増幅する（Ｓc4）。増幅率Ｇ1と増幅率Ｇ2とは相異なる数値に設定される。具体的には、増幅率Ｇ2は増幅率Ｇ1を上回る（Ｇ2＞Ｇ1）。
再生制御部３１は、増幅後の収音信号Ｑ2を解析することで打撃強度Ｚを算定する（Ｓc5）。前述の通り、打撃体Ｈが手Ｈbである場合には、打撃体ＨがスティックＨaである場合と比較して、打撃体Ｈによる操作面Ｆの打撃の強度が低くなり易いという傾向がある。以上の傾向を前提として、第４実施形態においては、打撃体Ｈが手Ｈbである場合に、打撃体ＨがスティックＨaである場合の増幅率Ｇ1を上回る増幅率Ｇ2で収音信号Ｑ2が増幅される。したがって、増幅後の収音信号Ｑ2から算定される打撃強度Ｚは、打撃体Ｈの種類の相違に起因した強度の差異が低減されるように打撃体Ｈの種類に応じて補正された強度である。
再生制御部３１は、打撃強度Ｚが閾値Ｚthを上回るか否かを判定する（Ｓc6）。第４実施形態における閾値Ｚthは、打撃体Ｈの種類に依存しない所定値に設定される。打撃強度Ｚが閾値Ｚthを下回る場合（Ｓc6：NO）、再生制御部３１は制御処理Ｓcを終了する。他方、打撃強度Ｚが閾値Ｚthを上回る場合（Ｓc6：YES）、再生制御部３１は、目標音を放音装置１３に再生させる。なお、再生制御部３１は、打撃強度Ｚ（すなわち打撃体Ｈの種類に応じて補正された強度）に応じた音量で目標音を再生させてもよい。
以上の例示の通り、打撃体ＨがスティックＨaである場合、増幅率Ｇ1による増幅後の収音信号Ｑ2から算定される打撃強度Ｚが閾値Ｚthを上回ることを条件（第１条件）として目標音が再生される。他方、打撃体Ｈが手Ｈbである場合、増幅率Ｇ2による増幅後の収音信号Ｑ2から算定される打撃強度Ｚが閾値Ｚthを上回ることを条件（第２条件）として目標音が再生される。すなわち、目標音を再生するための条件が、打撃体ＨがスティックＨaである場合と打撃体Ｈが手Ｈbである場合とで相違する。
第４実施形態においても第１実施形態と同様の効果が実現される。なお、目標音の音響特性を制御する第２実施形態の構成は、第４実施形態にも同様に適用される。
なお、増幅率Ｇ1および増幅率Ｇ2は、例えば固定値に設定されるが、所定の要因に応じて変化する可変値でもよい。具体的には、再生制御部３１は、収音信号Ｑ2の音量に応じて増幅率Ｇ1または増幅率Ｇ2を線形または非線形に変化させてもよい。例えば、収音信号Ｑ2の音量が閾値を上回る場合に、音量が閾値を下回る場合と比較して増幅率Ｇ1または増幅率Ｇ2を小さい数値に設定してもよい。また、増幅率Ｇ1および増幅率Ｇ2を時間的に変化させてもよい。例えば、再生制御部３１は、収音信号Ｑ2の立上がりの時点から増幅率Ｇ1または増幅率Ｇ2を経時的に減少させる。また、収音信号Ｑ2の増幅は、線形増幅に限定されず、非線形増幅でもよい。線形増幅および非線形増幅の何れにおいても、収音信号Ｑ2が同じ音量である状況を想定すると、打撃体ＨがスティックＨaである場合のほうが、打撃体Ｈが手Ｈbである場合と比較して、増幅後の収音信号Ｑ2の音量が小さくなる傾向の増幅が実行される。
Ｅ：第５実施形態
第５実施形態の制御装置１０は、図６に例示した制御処理Ｓaに代えて図９の制御処理Ｓdを実行する。利用者が打撃体Ｈを操作面Ｆに対して接近および離間させる周期よりも充分に短い周期で制御処理Ｓdは反復される。
制御処理Ｓdが開始されると、物体判別部３０は、第１実施形態と同様に、画像信号Ｑ1の解析により打撃体Ｈの種類を判別する（Ｓd1）。再生制御部３１は、収音信号Ｑ2を解析することで打撃強度Ｚを算定する（Ｓd2）。再生制御部３１は、打撃体ＨがスティックＨaであるか否かを判定する（Ｓd3）。
打撃体ＨがスティックＨaである場合（Ｓd3：YES）、再生制御部３１は、打撃強度Ｚに応じた数値（以下「補正強度」という）Ｗを生成する（Ｓd4）。具体的には、再生制御部３１は、打撃強度Ｚに対して所定の関係（以下「第１関係」という）にある補正強度Ｗを生成する。例えば、再生制御部３１は、打撃強度Ｚに対して所定の係数α1を乗算することで補正強度Ｗを算定する（Ｗ＝α1・Ｚ）。すなわち、第１関係は、補正強度Ｗが係数α1と打撃強度Ｚとの乗算値であるという比例関係である。
他方、打撃体Ｈが手Ｈbである場合（Ｓd3：NO）、再生制御部３１は、打撃強度Ｚに対して第１関係とは異なる所定の関係（以下「第２関係」という）にある補正強度Ｗを生成する（Ｓd5）。例えば、再生制御部３１は、打撃強度Ｚに対して所定の係数α2を乗算することで補正強度Ｗを算定する（Ｗ＝α2・Ｚ）。すなわち、第２関係は、補正強度Ｗが係数α2と打撃強度Ｚとの乗算値であるという比例関係である。係数α1と係数α2とは相異なる数値に設定される。具体的には、係数α2は係数α1を上回る（α2＞α1）。
前述の通り、打撃体Ｈが手Ｈbである場合には、打撃体ＨがスティックＨaである場合と比較して、打撃体Ｈによる操作面Ｆの打撃の強度が低くなり易いという傾向がある。以上の傾向を前提として、第５実施形態においては、打撃体ＨがスティックＨaである場合における打撃強度Ｚと補正強度Ｗとの第１関係と、打撃体Ｈが手Ｈbである場合における打撃強度Ｚと補正強度Ｗとの第２関係とが相違する。以上の説明から理解される通り、補正強度Ｗは、打撃体Ｈの種類の相違に起因した強度の差異が低減されるように打撃体Ｈの種類に応じて補正された強度である。
再生制御部３１は、補正強度Ｗが閾値Ｚthを上回るか否かを判定する（Ｓd6）。第５実施形態における閾値Ｚthは、打撃体Ｈの種類に依存しない所定値に設定される。補正強度Ｗが閾値Ｚthを下回る場合（Ｓd6：NO）、再生制御部３１は制御処理Ｓdを終了する。他方、補正強度Ｗが閾値Ｚthを上回る場合（Ｓd6：YES）、再生制御部３１は、目標音を放音装置１３に再生させる（Ｓd7）。なお、再生制御部３１は、補正強度Ｗに応じた音量で目標音を再生させてもよい。
以上の例示の通り、打撃体ＨがスティックＨaである場合、打撃強度Ｚに対して第１関係（Ｗ＝α1・Ｚ）にある補正強度Ｗが閾値Ｚthを上回ることを条件（第１条件）として目標音が再生される。他方、打撃体Ｈが手Ｈbである場合、打撃強度Ｚに対して第２関係（Ｗ＝α2・Ｚ）にある補正強度Ｗが閾値Ｚthを上回ることを条件（第２条件）として目標音が再生される。すなわち、目標音を再生するための条件が、打撃体ＨがスティックＨaである場合と打撃体Ｈが手Ｈbである場合とで相違する。
第５実施形態においても第１実施形態と同様の効果が実現される。なお、目標音の音響特性を制御する第２実施形態の構成は、第５実施形態にも同様に適用される。
なお、以上の説明においては、打撃強度Ｚに係数（α1，α2）を乗算する演算により補正強度Ｗを算定したが、補正強度Ｗを生成する方法は以上の例示に限定されない。例えば、打撃強度Ｚの各数値と補正強度Ｗの各数値とを対応付けるテーブルを利用して、再生制御部３１が打撃強度Ｚに応じた補正強度Ｗを生成してもよい。
例えば、第１関係に対応する第１テーブルと第２関係に対応する第２テーブルとが記憶装置１１に記憶される。打撃強度Ｚの各数値に対して第１関係にある補正強度Ｗの各数値が第１テーブルに登録され、打撃強度Ｚの各数値に対して第２関係にある補正強度Ｗの各数値が第２テーブルに登録される。第１テーブルは、打撃強度Ｚと補正強度Ｗとの間に存在する任意の第１関係（例えば前述の比例関係以外の関係）を規定する。同様に、第２テーブルは、打撃強度Ｚと補正強度Ｗとの間に存在する任意の第２関係（例えば前述の比例関係以外の関係）を規定する。第１テーブルおよび第２テーブルの各々は、打撃強度Ｚを補正強度Ｗに変換する関数とも換言される。例えば打撃強度Ｚが同じ数値である状況を想定すると、打撃体ＨがスティックＨaである場合のほうが、打撃体Ｈが手Ｈbである場合と比較して、補正強度Ｗが小さくなる傾向の変換が実行されればよい。
打撃体ＨがスティックＨaである場合、再生制御部３１は、打撃強度Ｚに対応する補正強度Ｗを第１テーブルから特定する。他方、打撃体Ｈが手Ｈbである場合、再生制御部３１は、打撃強度Ｚに対応する補正強度Ｗを第２テーブルから特定する。以上の構成においても第５実施形態と同様の効果が実現される。
Ｆ：変形例
以上に例示した各態様に付加される具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様を、相互に矛盾しない範囲で適宜に併合してもよい。
（１）前述の各形態においては、打撃音を含む音を表す収音信号Ｑ2を解析することで打撃体Ｈによる操作面Ｆの打撃を検出したが、打撃体Ｈによる操作面Ｆの打撃を検出するための構成および方法は以上の例示に限定されない。例えば、撮像装置２１が生成する画像信号Ｑ1を解析することで打撃体Ｈによる操作面Ｆの打撃を検出してもよい。例えば、再生制御部３１は、打撃体Ｈと操作面Ｆとの距離を画像信号Ｑ1の解析により推定し、当該距離がゼロに到達した場合に打撃体Ｈが操作面Ｆを打撃したと判定する。画像信号Ｑ1の解析により打撃を検出する構成では、収音装置２２は省略される。また、操作面Ｆ（透光部２０b）に対する打撃体Ｈの接触を検出する接触センサ（例えば静電容量式センサ）、操作面Ｆ（透光部２０b）の振動を検出する振動センサ、または、操作面Ｆに打撃体Ｈから作用する圧力を検出する圧力センサを、打撃体Ｈによる操作面Ｆの打撃の検出に利用してもよい。打撃体Ｈによる打撃で状態が２値的に切替わる機械式のスイッチを打撃の検出に利用してもよい。
（２）前述の各形態においては、打楽器のスティックＨaが操作面Ｆを打撃する構成を例示したが、操作面Ｆを打撃する手Ｈb以外の要素（打撃部材）はスティックＨaに限定されない。例えばシロフォンまたはマリンバ等の鍵盤打楽器の演奏に利用されるマレットにより利用者が操作面Ｆを打撃してもよい。スティックＨaおよびマレットは、操作面Ｆを打撃するための打撃部材として包括的に表現される。
（３）検出ユニット２の収容体２０の構成は任意である。また、撮像装置２１および収音装置２２が収容体２０に収容される構造は必須ではない。すなわち、打撃体Ｈが接触する操作面Ｆを検出ユニット２が含む構成であれば、収容体２０の具体的な構造および有無は不問である。
（４）前述の各形態においては、利用者の手Ｈbが操作面Ｆに実際に接触する構成を例示したが、例えば触覚フィードバックを利用した触覚技術（ハプティクス）を利用して仮想的な操作面Ｆを利用者が接触する構成も採用される。利用者は、仮想空間内に存在する擬似的な手を操作することで、当該仮想空間内に設置された操作面Ｆに接触する。仮想空間内の操作面Ｆに接触したときに振動する振動体を利用することで、利用者は操作面Ｆに実際に接触しているように知覚する。以上の説明から理解される通り、操作面Ｆは仮想空間内における仮想的な面でもよい。同様に、操作面Ｆに接触する物体（例えば手Ｈb）は、仮想空間内における仮想的な物体でもよい。
（５）以上に例示した再生制御システム１００の機能（特に制御システム１の機能）は、前述の通り、制御装置１０を構成する単数または複数のプロセッサと記憶装置１１に記憶されたプログラムとの協働により実現される。本開示に係るプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体または磁気記録媒体等の公知の任意の形式の記録媒体も包含される。なお、非一過性の記録媒体とは、一過性の伝搬信号（transitory, propagating signal）を除く任意の記録媒体を含み、揮発性の記録媒体も除外されない。また、配信装置が通信網を介してプログラムを配信する構成では、当該配信装置においてプログラムを記憶する記憶装置が、前述の非一過性の記録媒体に相当する。
Ｇ：付記
以上に例示した形態から、例えば以下の構成が把握される。
本開示のひとつの態様（態様１）に係る再生制御方法は、物体を撮像した画像から当該物体の種類を判別し、前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する。
以上の態様によれば、物体が第１種類であると判別された場合と当該物体が第２種類であると判別された場合とについて、音の再生の条件が異なるから、物体の種類に応じた適切な条件のもとで再生することが可能である。また、物体を撮像した画像から物体の種類が判別されるから、利用者が物体の種類を選択する特段の操作を必要とせずに、物体の種類に応じた条件で目標音を再生させることが可能である。
なお、第２種類は、第１種類とは異なる種類である。例えば、第１種類とは異なる特定の種類、または第１種類以外の任意の種類が、「第２種類」には包含される。例えば、第１種類が人間の手である場合、第２種類は、打楽器に使用される打撃部材（第１種類とは異なる特定の種類）、または人間の手以外の物体（第１種類以外の任意の種類）である。以上の説明から理解される通り、物体の種類の判別は、物体が第１種類および第２種類の何れに該当するのかを判断する処理と、物体が第１種類（または第２種類）に該当するか否かを判断する処理との双方を包含する。
態様１の具体例（態様２）において、前記第１条件は、前記物体による前記操作面の打撃の強度が第１閾値を上回ることであり、前記第２条件は、前記物体による前記操作面の打撃の強度が、前記第１閾値とは異なる第２閾値を上回ることである。以上の態様においては、物体が第１種類であると判別された場合には、打撃の強度が第１閾値を上回る（すなわち第１条件が成立する）ことで音が再生され、物体が第２種類であると判別された場合には、打撃の強度が第２閾値を上回る（すなわち第２条件が成立する）ことで音が再生される。
態様２の具体例（態様３）において、前記第１種類は、打楽器の打撃部材であり、前記第２種類は、利用者の手であり、前記第２閾値は、前記第１閾値を下回る。打撃部材による打撃と利用者の手による打撃との間には、打撃部材による打撃の強度が人間の手による打撃の強度を上回る場合が多いという相違がある。第２閾値が第１閾値を下回る構成によれば、人間の手により操作面が打撃された場合に第１条件が成立する可能性と、打撃部材により操作面が打撃された場合に第２条件が成立する可能性との差異が低減される。したがって、人間の手により操作面を打撃した場合に打撃部材により操作面を打撃した場合と比較して音が再生され難いという傾向を緩和できる。
態様１から態様３の何れかの具体例（態様４）において、前記操作面に対する打撃の強度は、前記物体による前記操作面の打撃により発生する打撃音を収音することで生成される収音信号の強度である。以上の構成によれば、収音装置を利用して物体による操作面の打撃の強度を簡便に特定できる。
態様２から態様４の具体例（態様５）において、前記音の再生においては、前記物体により前記操作面の打撃の強度に応じて当該音の音響特性を制御する。以上の構成によれば、物体による操作面の打撃の強度が、音の再生の可否に関する判定と、当該音の音響特性の制御とに共用される。したがって、音の再生の可否に関する判定と当該音の音響特性の制御とに別個の情報を利用する構成と比較して、音の再生に関する処理が簡素化される。
態様１の具体例（態様６）において、前記第１条件は、第１アルゴリズムを利用することであり、前記第２条件は、前記第１アルゴリズムとは異なる第２アルゴリズムを利用することである。
態様１の具体例（態様７）において、前記音の再生においては、前記物体による前記操作面の打撃により発生する打撃音を収音することで生成される収音信号を増幅し、当該増幅後の収音信号から前記操作面に対する打撃の強度を算定し、前記第１条件は、第１増幅率による増幅後の収音信号から算定される打撃の強度が閾値を上回ることであり、前記第２条件は、前記第１増幅率とは異なる第２増幅率による増幅後の収音信号から算定される打撃の強度が前記閾値を上回ることである。
態様１の具体例（態様８）において、前記第１条件は、前記物体による前記操作面の打撃の強度に対して第１関係にある強度が閾値を上回ることであり、前記第２条件は、前記強度に対して前記第１関係とは異なる第２関係にある強度が前記閾値を上回ることである。
本開示のひとつの態様（態様９）に係る再生制御システムは、物体を撮像した画像から当該物体の種類を判別する物体判別部と、前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する再生制御部とを具備する。
本開示のひとつの態様（態様１０）に係るプログラムは、物体を撮像した画像から当該物体の種類を判別する物体判別部、および、前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する再生制御部としてコンピュータを機能させる。
１００…再生制御システム、１…制御システム、１０…制御装置、１１…記憶装置、１３…放音装置、２…検出ユニット、２０…収容体、２０a…筐体部、２０b…透光部、２１…撮像装置、２２…収音装置、３０…物体判別部、３１…再生制御部。

Claims (8)

  1. 物体を撮像した画像から当該物体の種類を判別し、
    前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する
    コンピュータにより実現される再生制御方法であって、
    前記第１条件は、前記物体による前記操作面の打撃の強度が第１閾値を上回ることであり、
    前記第２条件は、前記物体による前記操作面の打撃の強度が、前記第１閾値とは異なる第２閾値を上回ることである
    再生制御方法。
  2. 前記第１種類は、打楽器の打撃部材であり、
    前記第２種類は、利用者の手であり、
    前記第２閾値は、前記第１閾値を下回る
    請求項１の再生制御方法。
  3. 前記操作面に対する打撃の強度は、前記物体による前記操作面の打撃により発生する打撃音を収音することで生成される収音信号の強度である
    請求項１または請求項２の再生制御方法。
  4. 前記音の再生においては、前記物体により前記操作面の打撃の強度に応じて当該音の音響特性を制御する
    請求項１から請求項３の何れかの再生制御方法。
  5. 物体を撮像した画像から当該物体の種類を判別し、
    前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する
    コンピュータにより実現される再生制御方法であって、
    前記音の再生においては、前記物体による前記操作面の打撃により発生する打撃音を収音することで生成される収音信号を増幅し、当該増幅後の収音信号から前記操作面に対する打撃の強度を算定し、
    前記第１条件は、第１増幅率による増幅後の収音信号から算定される打撃の強度が閾値を上回ることであり、
    前記第２条件は、前記第１増幅率とは異なる第２増幅率による増幅後の収音信号から算定される打撃の強度が前記閾値を上回ることである
    再生制御方法。
  6. 物体を撮像した画像から当該物体の種類を判別し、
    前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する
    コンピュータにより実現される再生制御方法であって、
    前記第１条件は、前記物体による前記操作面の打撃の強度に対して第１関係にある強度が閾値を上回ることであり、
    前記第２条件は、前記強度に対して前記第１関係とは異なる第２関係にある強度が前記閾値を上回ることである
    再生制御方法。
  7. 物体を撮像した画像から当該物体の種類を判別する物体判別部と、
    前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する再生制御部と
    を具備し、
    前記第１条件は、前記物体による前記操作面の打撃の強度が第１閾値を上回ることであり、
    前記第２条件は、前記物体による前記操作面の打撃の強度が、前記第１閾値とは異なる第２閾値を上回ることである
    再生制御システム。
  8. 物体を撮像した画像から当該物体の種類を判別する物体判別部、および、
    前記物体が第１種類であると判別された場合に、第１条件のもとで、当該物体による操作面の打撃を契機として音を再生し、前記物体が前記第１種類とは異なる第２種類であると判別された場合に、前記第１条件とは異なる第２条件のもとで、当該物体による操作面の打撃を契機として音を再生する再生制御部
    としてコンピュータを機能させるプログラムであって、
    前記第１条件は、前記物体による前記操作面の打撃の強度が第１閾値を上回ることであり、
    前記第２条件は、前記物体による前記操作面の打撃の強度が、前記第１閾値とは異なる第２閾値を上回ることである
    プログラム。

JP2020050816A 2020-03-23 2020-03-23 再生制御方法、再生制御システムおよびプログラム Active JP7540172B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020050816A JP7540172B2 (ja) 2020-03-23 2020-03-23 再生制御方法、再生制御システムおよびプログラム
PCT/JP2020/045786 WO2021192436A1 (ja) 2020-03-23 2020-12-09 再生制御方法、再生制御システムおよびプログラム
CN202080093094.5A CN114981881A (zh) 2020-03-23 2020-12-09 播放控制方法、播放控制系统以及程序
US17/950,657 US20230013425A1 (en) 2020-03-23 2022-09-22 Reproduction control method, reproduction control system, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020050816A JP7540172B2 (ja) 2020-03-23 2020-03-23 再生制御方法、再生制御システムおよびプログラム

Publications (2)

Publication Number Publication Date
JP2021149025A JP2021149025A (ja) 2021-09-27
JP7540172B2 true JP7540172B2 (ja) 2024-08-27

Family

ID=77848606

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050816A Active JP7540172B2 (ja) 2020-03-23 2020-03-23 再生制御方法、再生制御システムおよびプログラム

Country Status (4)

Country Link
US (1) US20230013425A1 (ja)
JP (1) JP7540172B2 (ja)
CN (1) CN114981881A (ja)
WO (1) WO2021192436A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11644907B2 (en) * 2021-02-26 2023-05-09 Logitech Europe S.A. Systems, devices, and methods for physical surface tracking with a stylus device in an AR/VR environment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322683A (ja) 2006-05-31 2007-12-13 Yamaha Corp 楽音制御装置およびプログラム
JP2015225332A (ja) 2014-05-30 2015-12-14 カシオ計算機株式会社 楽音発生装置、電子楽器、楽音発生方法およびプログラム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2573152Y2 (ja) * 1992-09-02 1998-05-28 ヤマハ株式会社 電子打楽器

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007322683A (ja) 2006-05-31 2007-12-13 Yamaha Corp 楽音制御装置およびプログラム
JP2015225332A (ja) 2014-05-30 2015-12-14 カシオ計算機株式会社 楽音発生装置、電子楽器、楽音発生方法およびプログラム

Also Published As

Publication number Publication date
WO2021192436A1 (ja) 2021-09-30
JP2021149025A (ja) 2021-09-27
US20230013425A1 (en) 2023-01-19
CN114981881A (zh) 2022-08-30

Similar Documents

Publication Publication Date Title
JP6024997B2 (ja) 楽音制御装置、楽音制御方法、プログラムおよび電子楽器
US8785761B2 (en) Sound-generation controlling apparatus, a method of controlling the sound-generation controlling apparatus, and a program recording medium
JP4539590B2 (ja) 鍵盤楽器
JP2010525646A (ja) 音と位置の測定
CN108735191B (zh) 非接触式打击乐器
CN107408374B (zh) 发声设备、键盘乐器和发声控制方法
JP7540172B2 (ja) 再生制御方法、再生制御システムおよびプログラム
JP2010050571A (ja) 収音装置
JP2005037922A (ja) 打撃位置特定装置および電子打楽器
WO2015111657A1 (ja) 音響効果設定方法
JP6044728B2 (ja) 電子鍵盤楽器
WO2019220623A1 (ja) 信号処理装置、信号処理方法およびプログラム
JP7528487B2 (ja) 再生制御方法、再生制御システムおよびプログラム
JP6191299B2 (ja) ピックアップ装置
JP6736930B2 (ja) 電子楽器および音信号生成方法
JP7540173B2 (ja) 音処理方法、音処理システムおよびプログラム
JP5720480B2 (ja) 電子鍵盤楽器
WO2023080080A1 (ja) 演奏解析方法、演奏解析システムおよびプログラム
JP2015132847A (ja) 電子鍵盤楽器
JP6671633B2 (ja) 電子管楽器、楽音発生方法およびプログラム
JP2016148721A (ja) 信号処理装置
US20230037059A1 (en) Electronic percussion instrument, control device for electronic percussion instrument, and control method therefor
JP6135311B2 (ja) 楽音発生装置、楽音発生方法及びプログラム
WO2016143182A1 (ja) 楽器
JP2017151303A (ja) 楽器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240401

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240716

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240729

R150 Certificate of patent or registration of utility model

Ref document number: 7540172

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150