JP2024045808A - 出力制御方法、プログラム及び電子機器 - Google Patents
出力制御方法、プログラム及び電子機器 Download PDFInfo
- Publication number
- JP2024045808A JP2024045808A JP2022150796A JP2022150796A JP2024045808A JP 2024045808 A JP2024045808 A JP 2024045808A JP 2022150796 A JP2022150796 A JP 2022150796A JP 2022150796 A JP2022150796 A JP 2022150796A JP 2024045808 A JP2024045808 A JP 2024045808A
- Authority
- JP
- Japan
- Prior art keywords
- output
- timing
- delay
- data
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 66
- 230000003111 delayed effect Effects 0.000 claims abstract description 17
- 230000004044 response Effects 0.000 claims abstract description 9
- 230000006870 function Effects 0.000 claims description 2
- 230000001934 delay Effects 0.000 abstract description 3
- 238000002620 method output Methods 0.000 abstract 1
- 230000008569 process Effects 0.000 description 36
- 238000004891 communication Methods 0.000 description 23
- 230000005540 biological transmission Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000015654 memory Effects 0.000 description 6
- 230000005236 sound signal Effects 0.000 description 5
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 230000003321 amplification Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0041—Recording/reproducing or transmission of music for electrophonic musical instruments in coded form
- G10H1/0058—Transmission between separate instruments or between individual components of a musical system
- G10H1/0066—Transmission between separate instruments or between individual components of a musical system using a MIDI interface
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0008—Associated control or indicating means
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H1/00—Details of electrophonic musical instruments
- G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
- G10H1/0083—Recording/reproducing or transmission of music for electrophonic musical instruments using wireless transmission, e.g. radio, light, infrared
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/175—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments for jam sessions or musical collaboration through a network, e.g. for composition, ensemble playing or repeating; Compensation of network or internet delays therefor
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
- G10H2240/311—MIDI transmission
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
- G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
- G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
- G10H2240/281—Protocol or standard connector for transmission of analog or digital data to or from an electrophonic musical instrument
- G10H2240/321—Bluetooth
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electrophonic Musical Instruments (AREA)
Abstract
【課題】より柔軟かつ適切に出力の遅延を調整することができる出力制御方法、プログラム及び電子機器を提供する。【解決手段】出力制御方法は、単位データごとに出力タイミングの情報が対応付けられた情報データの取得に応じて出力信号を出力する。出力タイミングからある遅延設定時間が経過した遅延タイミングで、単位データに応じた出力信号を出力し、出力信号の出力が遅延タイミングよりも遅れる場合、以後の遅延設定時間を遅れる時間幅に応じて延長する。【選択図】図4
Description
この発明は、出力制御方法、プログラム及び電子機器に関する。
従来、電子演奏の内容を規定する演奏データとして、MIDI(Musical Instrument Digital Interface)が広く利用されている。MIDIデータを音出力部に入力させると、MIDIデータから音信号が生成される。この音信号をスピーカや音出力端子(ヘッドホン端子などを含む)に出力することで、演奏データによる指定内容に応じた演奏が音出力される。
このMIDIデータを無線通信で音出力部へ送信する場合、遅延を生じることがあり、リアルタイムでの音出力が難しい。これに対し、特許文献1では、MIDIデータの送信パケットに付された時刻に対して、規定された遅延時間を加算したタイミングで音を出力させる技術が開示されている。遅延時間をユーザの聴覚上違和感のない範囲内とすることで、当該遅延時間より短い通信遅延が生じても音出力が可能とされる。
しかしながら、上記従来技術では、設定されている遅延時間より長い通信遅延が生じると、出力部は、その時点で演奏を停止する。したがって、出力部は、遅延時間を小さく柔軟に設定しづらいという課題がある。
この発明の目的は、より柔軟かつ適切に出力の遅延を調整することができる出力制御方法、プログラム及び電子機器を提供することにある。
上記目的を達成するため、本発明は、
単位データごとに出力タイミングの情報が対応付けられた情報データの取得に応じて、前記出力タイミングからある遅延設定時間が経過した遅延タイミングで、前記単位データに応じた出力信号を出力し、
前記出力信号の出力が前記遅延タイミングよりも遅れる場合、前記遅延設定時間を前記遅れる時間幅に応じて延長する
出力制御方法である。
単位データごとに出力タイミングの情報が対応付けられた情報データの取得に応じて、前記出力タイミングからある遅延設定時間が経過した遅延タイミングで、前記単位データに応じた出力信号を出力し、
前記出力信号の出力が前記遅延タイミングよりも遅れる場合、前記遅延設定時間を前記遅れる時間幅に応じて延長する
出力制御方法である。
本発明に従うと、より柔軟かつ適切に出力の遅延を調整することができるという効果がある。
以下、本発明の実施の形態を図面に基づいて説明する。
図1は、本実施形態の電子機器1の機能構成を示すブロック図である。
電子機器1は、音源Sから受信する演奏データ(情報データ)、例えばMIDIデータを解析して、楽音及び音声の少なくともいずれかを含む音出力データを生成し、当該音出力データをアナログ変換した音出力信号(出力信号)を生成、出力する。音源Sは、一般的なコンピュータ(PC)など(MIDIソフトウェアがインストールされているものなど)であってもよい。あるいは、音源Sは、電子楽器などであって、演奏内容がMIDIデータに変換されて記憶され、出力されるのであってもよい。音出力信号の出力先は、例えば、スピーカL、イヤホン、ヘッドホンや音出力信号を記録する電子機器などである。
図1は、本実施形態の電子機器1の機能構成を示すブロック図である。
電子機器1は、音源Sから受信する演奏データ(情報データ)、例えばMIDIデータを解析して、楽音及び音声の少なくともいずれかを含む音出力データを生成し、当該音出力データをアナログ変換した音出力信号(出力信号)を生成、出力する。音源Sは、一般的なコンピュータ(PC)など(MIDIソフトウェアがインストールされているものなど)であってもよい。あるいは、音源Sは、電子楽器などであって、演奏内容がMIDIデータに変換されて記憶され、出力されるのであってもよい。音出力信号の出力先は、例えば、スピーカL、イヤホン、ヘッドホンや音出力信号を記録する電子機器などである。
電子機器1は、CPU11(Central Processing Unit)(制御部)と、RAM12(Random access Memory)と、記憶部13と、通信部14(受信部)と、DSP15(Digital Signal Processor)と、出力部16などを備える。各構成は、バスを介して互いに電気的に接続されている。
CPU11は、演算処理を行い、電子機器1の動作を統括制御するプロセッサである。CPU11は、音出力データの生成制御に好適に設計されたものであってもよい。CPU11は、単一のプロセッサを有していてもよいし、複数のプロセッサが並列に又は用途などに応じて独立に動作するのであってもよい。また、CPU11は、図示略の発振回路が出力するクロック信号に基づいて、現在時刻を計数する。このために、電子機器1は、図示略のRTC(Real Time Clock)を備える。CPU11は、電子機器1が起動されたときにRTCから現在時刻を取得する。
RAM12は、CPU11に作業用のメモリ空間を提供し、一時データを記憶する。一時データには、外部から入力されたMIDIデータが含まれる。
記憶部13は、不揮発性のメモリであり、例えば、フラッシュメモリやHDDである。記憶部13は、音出力データの生成に係るプログラム131及び設定データを記憶している。
通信部14は、定められた通信規格に従って外部機器との通信動作を制御する。ここでは、通信に利用可能な通信規格には、ブルートゥース(登録商標)のローエナジー規格(BLE)が含まれる。
DSP15は、MIDIデータを解析して音出力データを生成する専用回路である。生成された音出力データは、出力部16へ出力される。DSP15は、並列に上限数までのMIDIデータを同時に処理して各々音データを生成し、これらをミキサにより合成した音出力データを生成することができる。また、DSP15の処理には、出力音に対するエフェクト処理などを含み得る。
出力部16は、DSP15により生成された音出力データをアナログ変換するDAC(デジタル/アナログ変換器)と、アナログ変換により得られた音出力信号を外部へ出力するための出力端子などを有する。出力部16は、音出力信号を増幅する増幅部(アンプ)などを有していてもよい。また、電子機器1自体がスピーカLを有していてもよい。
電子機器1は、別途電子楽器の演奏データ(音データ)を受け付ける入力端子を有していてもよい。演奏データは、DSP15に入力されて、MIDIデータに基づく音データと混合されて出力部16へ送られ得る。
その他、電子機器1は、電力供給をオンオフするための操作ボタンなどを有する操作受付部や、ステータスなどを表示する表示画面を有する表示部などを備えていてもよい。
次にMIDIデータの取得及び音出力について説明する。
MIDIデータには、出力する音の内容(音程、音色、強度など及びその時間経過に伴う変化(アクセントなどの立ち上がり特性、音量の減衰や周波数スペクトル分布など)を示す情報が含まれる。
MIDIデータには、出力する音の内容(音程、音色、強度など及びその時間経過に伴う変化(アクセントなどの立ち上がり特性、音量の減衰や周波数スペクトル分布など)を示す情報が含まれる。
電子機器1は、MIDIデータを外部機器からBLE(無線通信)により受信(取得)することができる。BLEでは、データは、規定された通信間隔(ある時間間隔)で送信されるパケット単位で送られる。通信間隔は、BLEの規格で定められている範囲内で可変設定可能であるが、しばしば固定されている(例えば、15msec間隔)。本実施形態では、一律な通信間隔でパケットデータの送受信がなされるものとして説明する。通信内容のデータフォーマットは、共通規格(MIDI over Bluetooth Low Energy)に従ったものであってよい。パケットには、上記MIDIデータのある内容(メッセージ;単位データ)に対してその出力タイミングの情報(タイムスタンプ)が対応付けられたデータが1又は複数含まれる。対応付けられる出力タイミングは、上記DSP15が並列処理可能な範囲で複数のメッセージに対して同一又は近接していてもよい。
BLEなどの無線通信では、通信遅延やデータ量の変化などによりデータの送受信に要する時間が一時的に変化する(長くなる)場合がある。受信したMIDIデータの内容から生成、アナログ変換した音出力信号をリアルタイムで出力すると、このような通信に要する時間の変化に応じて音の出力タイミングにむらが生じ得る。電子機器1は、上記出力タイミング情報に応じて音の出力タイミングをより正確にそろえる。
パケットデータの送信間隔内で出力される音の内容設定が多い場合には、単一のパケット内に全ての出力内容を含むことができず、複数のパケットに分割されることがある。また、多くの音を細かく発生させるように定められたデータなどでは、演奏の単位時間(例えば、パケット送信間隔程度)当たりのデータ量が多くなりやすい。これらにより、音の出力タイミングまでに必要な内容を全て受信、取得できなかった場合には、結局正しい音出力がなされず、一部の音が遅延して発せられることになる。
電子機器1では、上記出力タイミング情報に加えて、更に遅延設定時間を設定して、指定された出力タイミングよりも一律に遅延設定時間ずつ音出力のタイミングを繰り下げる。この遅延設定時間の間に上記出力タイミングに係る全ての音出力内容のMIDIデータが受信されれば、受信内容に対応する音出力データが生成されてMIDIデータ通りの音が出力されることになる。電子機器1では、出力タイミングから遅延設定時間が経過したタイミングでMIDIデータがDSP15に出力されて、DSP15により音出力データが生成される。音出力データは、更に出力部16に送られてアナログ変換されることで音出力信号が得られる。これらDSP15及び出力部16が本実施形態の信号生成部を構成し、DSP15及び出力部16の処理が本実施形態の音出力信号生成処理に含まれる。
一方で、遅延設定時間を大きくしすぎると、入力タイミングに対して出力までのタイムラグが無視できなくなり、ユーザに感覚上の違和感が生じさせ得る。したがって遅延設定時間は、MIDIデータに基づく音出力が正確に可能な範囲で短く設定されるとよい。
このような遅延設定時間をユーザが指定する(MIDIデータ内で遅延設定時間を指定する場合を含む)ことが考えられる。しかしながら、MIDIデータの単位時間当たりの量を考慮しながら遅延設定時間を厳密に調整するのは容易ではない。確実性を考慮すると、遅延設定時間が必要よりも大きくなりがちである。
本実施形態の電子機器1では、MIDIデータの受信開始時に遅延設定時間を初期設定値とする。そして、音出力信号の出力が出力タイミング及び遅延設定時間の設定に対して間に合わなかった場合には、間に合わなかった分だけ、以後の遅延設定時間が延長されるよう設定を変更する。言い換えると、電子機器1では、ある遅延設定時間の設定に対して、遅延設定時間を超える遅延が発生した場合だけ音出力のずれを許容することで、順次調整を行っていく。
図2(a)は、MIDIデータの送受信及び音出力信号の出力のタイミングを示すシーケンス図である。なお、この図は説明のための模式的なものであって、実際のデータ量や音出力信号の出力頻度などを反映したものではない。なお、音源(外部機器)からパケットを送信するタイミングと電子機器1でパケットデータを受信するタイミングとのずれは、略一定であり、かつ短い時間のため、ここでは無視している。
音源からは、時間間隔dTcでMIDIデータのパケットデータが送信されている。パケット内のn個の各メッセージにはそれぞれ出力タイミング情報が付されている。付されているとは、フォーマットに応じて明示されていなくても一意に出力タイミングが特定される形であればよい。この出力タイミング情報は、例えば、ある時間周期で周回するカウンタ値である。時間周期Tpは、特には限られないが、一般的な曲の中で生じ得る音の切れ目よりも十分に長く、例えば、8秒程度である。一周期の長さの情報は、電子機器1でも予め保持されている。
電子機器1では、パケットデータを受信すると、メッセージごとにデータの出力タイミングを取得し、CPU11が計数している現在時刻と対応付ける。対応付けの基準は任意であってよく、例えば、最初に受信したパケットデータの先頭のメッセージに付された出力タイミングの値がその時の現在時刻と対応付けられればよい。このようにして得られた音出力の設定時刻と、現在時刻と、遅延設定時間とに基づいて、当該メッセージから音出力データを生成して音出力信号を出力するまでの時間を設定する。例えば、最初のパケット送信では、パケットデータには、タイミングT01、T02に音出力するメッセージが含まれている。設定されている遅延設定時間dtrに基づいて、データの受信から音信号の生成及び出力までの待機設定時間Twがそれぞれ設定される。
待機設定時間Twは、今回取得したタイミングTk、現在時刻U、基準タイミングTB、基準時刻UB、遅延設定時間dtr及びタイミングを示す上記カウンタ値の時間周期Tpによって以下の数式(1)のように求められる。
Tw=(Tk+n×Tp-TB)-(U-UB)+dtr … (1)
変数nは、0以上の整数であり、タイミングTkの値が前回のタイミングT(k-1)よりも小さくなった場合に1が加算される。これにより、右辺第1項は基準タイミングTBから今回の出力タイミングまでの時間を表す。この右辺第1項に対して基準時刻UBが加算された値が、タイミングTkの時刻Ukとなる。さらに、時刻Ukに遅延設定時間dtrが加算された値が、実際の出力タイミングの設定時刻として特定される。この設定時刻から現在時刻Uを差し引くことで、当該現在時刻Uから出力タイミングまでの待機設定時間Twが求められる。実際の計算では、数式(1)の通り、先に現在時刻Uと基準時刻UBとの差分(時間)を求めて、これを右辺第1項と遅延設定時間dtrとの和から減じてもよい。
Tw=(Tk+n×Tp-TB)-(U-UB)+dtr … (1)
変数nは、0以上の整数であり、タイミングTkの値が前回のタイミングT(k-1)よりも小さくなった場合に1が加算される。これにより、右辺第1項は基準タイミングTBから今回の出力タイミングまでの時間を表す。この右辺第1項に対して基準時刻UBが加算された値が、タイミングTkの時刻Ukとなる。さらに、時刻Ukに遅延設定時間dtrが加算された値が、実際の出力タイミングの設定時刻として特定される。この設定時刻から現在時刻Uを差し引くことで、当該現在時刻Uから出力タイミングまでの待機設定時間Twが求められる。実際の計算では、数式(1)の通り、先に現在時刻Uと基準時刻UBとの差分(時間)を求めて、これを右辺第1項と遅延設定時間dtrとの和から減じてもよい。
2回目のパケット送信では、タイミングT03,T04に音出力するメッセージが含まれている。3回目のパケット送信では、タイミングT05~T07に音出力するメッセージが含まれている。この3回目のパケット送信では、2回目のパケット送信に比べデータ送信量が増大している。
4回目のパケット送信では、タイミングT08~T10に音出力するメッセージが含まれている。しかしながら、データを受信したタイミングは、タイミングT08から遅延設定時間dtrが経過したタイミングを既に超過している。この場合には、求められた待機設定時間Twが負の値となり、この負の値の大きさ(絶対値)が時間差dts(時間幅)として判定される。メッセージ内容に応じた音データが即座に生成され、他の正常な音出力と時間差dtsのずれを伴って出力される。
図2(b)には、データの受信タイミングが本来音出力を行うべきであった想定出力タイミングより後であった場合を詳細に示している。メッセージデータに付された出力タイミングは、データ受信タイミングよりも時間的に前である。当該出力タイミングから遅延設定時間dtr後の想定出力タイミング(遅延タイミング)もまた、データ受信タイミングよりも前である。
この場合には、データ受信タイミングで直ちに音データが生成、アナログ変換されてデータ出力信号が出力される(実出力タイミング)。このときの出力の遅れを表す時間差dtsは、算出された待機設定時間Tw(負の値)の符号を反転させたものである。このような状況が生じた場合に、修正前の遅延設定時間dtrに対して時間差dtsが加算されてなる(待機設定時間Twを減ずる)、修正後の遅延設定時間が得られる。
タイミングT09以降の音出力データの生成では、新たな遅延設定時間dtr2が設定される。この遅延設定時間dtr2は、タイミングT08から実際に音出力がなされたタイミングまでの時間差に設定される。すなわち、遅延設定時間dtr2は、修正前の遅延設定時間dtrに対して時間差dtsを加算したものである。
5回目のパケット送信で送られたタイミングT11、T12に音出力するメッセージに応じた音出力信号も、上記の新たな遅延設定時間dtr2の遅延で生成出力される。
図3は、本実施形態の電子機器1で実行される音出力制御処理のCPU11による制御手順を示すフローチャートである。本実施形態の出力制御方法である音出力制御処理は、例えば、電子機器1の起動とともに開始されて継続的に実行される。
CPU11は、後述の出力タイミング設定処理を開始する(ステップS101)。CPU11は、後述の出力タイミング設定処理で設定された待機設定時間Twが経過した(遅延タイミングである)メッセージデータがあるか否かを判別する(ステップS102)。後述のように、待機設定時間Twは、メッセージデータの取得時刻と、メッセージデータに対応付けられた出力タイミングに係る時刻から遅延設定時間dtrが経過した時刻との差分である。待機設定時間Twが経過したメッセージデータがないと判別された場合には(ステップS102で“NO”)、CPU11はステップS102の処理を繰り返す。
待機設定時間Twが経過したメッセージデータがあると判別された場合には(ステップS102で“YES”)、CPU11は、メッセージデータをDSP15へ出力する(ステップS103)。これにより、CPU11は、DSP15及び出力部16により音出力信号生成処理を実行させる。すなわち、DSP15は、当該メッセージデータに基づく音出力データを生成して出力部16に出力し、出力部16は、これをアナログ変換させて音出力信号として出力させる。該当するメッセージデータが複数ある場合には、CPU11は、これらを並列にDSP15に入力させて、並列に音データを生成させる。それから、CPU11の処理は、ステップS102に戻る。
ステップS102、S103の処理が本実施形態のプログラム131の出力制御手段を構成する。
ステップS102、S103の処理が本実施形態のプログラム131の出力制御手段を構成する。
図4は、図3のステップS101で開始される出力タイミング設定処理のCPU11による制御手順を示すフローチャートである。この出力タイミング設定処理は、起動された後、音出力制御処理と並行に実行される。
CPU11は、遅延設定時間dtrに初期設定値をセットする(ステップS111)。初期設定値は、予め電子機器1が有している値である。あるいは、初期設定値は、ユーザによる図示略の操作受付部への入力操作などにより受け付けられた値であってもよいし、前回の最後に設定した遅延設定時間が記憶部13に記憶されて利用されてもよい。
CPU11は、通信部14がBLEによりパケットデータを受信したか否かを判別する(ステップS112)。パケットデータを受信していないと判別された場合には(ステップS112で“NO”)、CPU11は、ステップS112の処理を繰り返す。
パケットデータを受信したと判別された場合には(ステップS112で“YES”)、CPU11は、受信したパケットデータ内から未取得のメッセージデータがあるか否かを判別する(ステップS113)。未取得のメッセージデータがないと判別された場合には(ステップS113で“NO”)、CPU11の処理は、ステップS112に戻る。
未取得のメッセージデータがあると判別された場合には(ステップS113で“YES”)、CPU11は、パケットデータから1つのメッセージデータを取得する(ステップS114)。
CPU11は、取得したデータが演奏の最初のデータであるか否かを判別する(ステップS115)。最初のデータであると判別された場合には(ステップS115で“YES”)、CPU11の処理は、ステップS117へ移行する。
取得したデータが最初のデータではないと判別された場合には(ステップS115で“NO”)、CPU11は今回取得したメッセージデータに付されたタイミングTkが、直近のタイミングT(k-1)からカウンタ値の時間周期で1周期以上後であるか否かを判別する(ステップS116)。CPU11は、前回取得したメッセージデータのタイミングT(k-1)に対応付けられた時刻U(k-1)から現在時刻が上記1周期近く進んでおり、上記時刻から1周期以内の音出力が指定されているとは想定されないか否かを判別する。このために、CPU11は、これまでに算出された出力タイミングの時刻Ukのうち最も後のものをRAM12に記憶させておく。そして、CPU11は、現在時刻Uと時刻Ukとの差が周期時間Tp程度の基準値(例えば、周期時間Tpからパケットデータの送信に係る時間間隔dTcの数周期程度短い時間)より大きいか否かを判別する。現在時刻Uと時刻Ukとの差が基準値より大きいと判別された場合には(ステップS116で“YES”)、CPU11の処理は、ステップS117へ移行する。なお、ステップS117の処理へ移行する前に、CPU11は、ステップS111と同一の処理を行って、遅延設定時間dtrを初期化してもよい。現在時刻Uと時刻Ukとの差が基準値より大きくない(基準値未満である)と判別された場合には(ステップS116で“NO”)、CPU11の処理は、ステップS118へ移行する。
ステップS117の処理へ移行すると、CPU11は、基準タイミングTBとして今回取得したタイミングTkを設定し、基準タイミングTBに対応する基準時刻UBとして、現在時刻Uを設定する(ステップS117)。それから、CPU11の処理は、ステップS118へ移行する。
ステップS118の処理へ移行すると、CPU11は、現在時刻Uを取得し、上記の数式(1)に従って今回のメッセージデータから音信号を生成する処理を実行するまでの待機設定時間Twを算出する(ステップS118)。
CPU11は、待機設定時間Twが0未満(負の値)であるか否かを判別する(ステップS119)。待機設定時間Twが0未満ではない(0以上である)と判別された場合には(ステップS119で“NO”)、CPU11の処理は、ステップS113に戻る。
待機設定時間Twが0未満である(負の値である)と判別された場合には(ステップS119で“YES”)、CPU11は、現在の遅延設定時間dtrから待機設定時間Twを減ずる(ステップS120)。すなわち、CPU11は、音信号の生成、出力が遅れる分だけ遅延設定時間dtrを増加(延長)させる。
ステップS119,S120の処理が、本実施形態のプログラム131における延長制御手段を構成する。
ステップS119,S120の処理が、本実施形態のプログラム131における延長制御手段を構成する。
CPU11は、求められた遅延設定時間dtrが予め定められている遅延設定時間の最大設定値dtr_max(最大設定時間)より大きいか否かを判別する(ステップS121)。遅延設定時間dtrが最大設定値dtr_maxよりも大きいと判別された場合には(ステップS121で“YES”)、CPU11は、遅延設定時間dtrを最大設定値dtr_maxとする(ステップS122)。それから、CPU11の処理は、ステップS123へ移行する。遅延設定時間dtrが最大設定値dtr_maxよりも大きくない(最大設定値dtr_max以下である)と判別された場合には(ステップS121で“NO”)、CPU11の処理は、ステップS123へ移行する。
ステップS123の処理へ移行すると、CPU11は、待機設定時間Twを0に設定する(ステップS123)。それから、CPU11の処理は、ステップS113に戻る。
以上のように、本実施形態の出力制御方法は、パケット内のメッセージごとに出力タイミングの情報が対応付けられたMIDIデータの取得に応じて、出力タイミングからある遅延設定時間dtrが経過した遅延タイミングで、メッセージデータに応じた音出力信号を出力し、音出力信号の出力が遅延タイミングよりも遅れる場合、遅延設定時間dtrを当該遅れる時間差dtsに応じて延長する。
このように、実際のMIDIデータで演奏出力が適正なタイミングに間に合わない状況が生じた場合に、間に合わなかった度合に応じて順次以後の遅延設定時間dtrを延長していく。このように、電子機器1では、より柔軟かつ適切に遅延設定時間を設定する。これにより、電子機器1は、遅延設定時間dtrを必要以上に延長させすぎず、これと同時に、演奏の不正確な音出力の発生頻度を低減させることができる。
このように、実際のMIDIデータで演奏出力が適正なタイミングに間に合わない状況が生じた場合に、間に合わなかった度合に応じて順次以後の遅延設定時間dtrを延長していく。このように、電子機器1では、より柔軟かつ適切に遅延設定時間を設定する。これにより、電子機器1は、遅延設定時間dtrを必要以上に延長させすぎず、これと同時に、演奏の不正確な音出力の発生頻度を低減させることができる。
また、あるメッセージデータに応じた音出力信号の出力が遅延タイミングよりも遅れる場合、このメッセージデータの次以降のメッセージデータに応じた音出力信号の出力タイミングにかかる遅延設定時間dtrを、上記時間差dtsに応じて延長される遅延設定時間に設定する。
このように、時間差dtsが発生した次のメッセージデータから当該時間差dtsを遅延設定時間dtrに反映するので、速やかに現実に生じている遅延時間のレベルまで遅延設定時間dtrを延長することができる。したがって、この出力制御方法では、その後の出力が設定以上に遅れづらくなる。
このように、時間差dtsが発生した次のメッセージデータから当該時間差dtsを遅延設定時間dtrに反映するので、速やかに現実に生じている遅延時間のレベルまで遅延設定時間dtrを延長することができる。したがって、この出力制御方法では、その後の出力が設定以上に遅れづらくなる。
また、この出力制御方法では、MIDIデータを1又は複数のメッセージデータごと、すなわちパケットデータごとにある時間間隔dTcで取得する。このようにパケットデータの送受信に時間間隔dTcが定められる場合、正確な音出力に必要な情報を全て取得するのが間に合わない場合が生じやすい。本実施形態の出力制御方法では、このような場合をリアルタイムで検出しながら遅延設定時間dtrを調整していく。したがって、出力制御方法によれは、ユーザが予め曲の各時間範囲でのデータ量などを計測したり予測したりして遅延設定時間dtrを定める手間などを省くことができる。
また、MIDIデータは、同一の出力タイミング情報が付された複数のメッセージデータを含んでいてもよい。MIDIデータでは、複数の音を同時に出力することもできるので、これらが各々複数の異なるメッセージに含まれていてもよい。また、パケット容量の制限などから、データ量が多い音出力部分では、このようなメッセージデータが異なるパケットに含まれることもあり得る。この場合に上記出力制御方法では、これら異なる複数のパケットのデータを全て受信してからでないと正確な音出力を行うことができない。したがって、正確な音出力には遅延設定時間dtrの設定が重要である。よって、本実施形態の出力制御方法では、遅延設定時間dtrを柔軟に変更することで、不正確な音出力と不要なタイムラグの拡大とをいずれも抑えることができる。
また、本実施形態の出力制御方法では、遅延タイミングでメッセージデータに応じた音出力信号を生成して出力する。すなわち、音出力信号の生成自体も遅延タイミングまで保留される。これにより、出力制御方法では、必要なメッセージデータを全て取得してから各々音データを生成し、適切に混合した音出力信号を得ることができる。
また、この出力制御方法では、遅延設定時間dtrの最大設定値dtr_maxが定められており、音出力信号の出力が出力タイミングから最大設定値dtr_maxよりも大きく遅れた場合には、遅延設定時間dtrを当該最大設定値dtr_max以下とする。例えば、遅延設定時間dtrを最大設定値dtr_maxと等しくすることができる。このように遅延設定時間dtrを際限なく大きくしていかないことで、演奏データの入力と音出力信号の出力との間でのタイムラグがユーザなどにとって問題を生じない範囲で留めることができる。
また、遅延設定時間dtrは、MIDIデータの受信開始時に初期設定値に設定される。遅延設定時間dtrは、曲などによって必要な大きさが異なり得る。したがって、本実施形態の出力制御方法では、遅延設定時間dtrを演奏ごとなどで初期値に戻すことで、演奏に対して適切な時間に設定しなおすことができる。
また、本実施形態のプログラム131は、メッセージデータごとに出力タイミングの情報が対応付けられたMIDIデータの取得に応じて、音出力信号を出力するコンピュータ(電子機器1)を、出力タイミングからある遅延設定時間dtrが経過した遅延タイミングで、メッセージデータに応じた音出力信号を出力するように制御する出力制御手段、音出力信号の出力が遅延タイミングよりも遅れる場合、遅延設定時間dtrを当該遅れる時間差dtsに応じて延長する延長制御手段、として機能させる。
このような上記出力制御方法に係る処理を実行するプログラム131は、コンピュータに容易にインストールして実行され得る。これにより、複雑なハードウェア設定などを行わずとも容易かつ柔軟に遅延設定時間dtrが設定可能となる。したがって、このプログラム131によれば、メッセージデータの受信遅れによる音出力の乱れと上記タイムラグの増加によるユーザなどの違和感とを効果的にバランスよく抑えることができる。
このような上記出力制御方法に係る処理を実行するプログラム131は、コンピュータに容易にインストールして実行され得る。これにより、複雑なハードウェア設定などを行わずとも容易かつ柔軟に遅延設定時間dtrが設定可能となる。したがって、このプログラム131によれば、メッセージデータの受信遅れによる音出力の乱れと上記タイムラグの増加によるユーザなどの違和感とを効果的にバランスよく抑えることができる。
また、本実施形態の電子機器1は、メッセージデータごとに出力タイミングの情報が対応付けられたMIDIデータの取得に応じて音出力信号を出力する信号生成部としてのDSP15及び出力部16と、CPU11と、を備える。CPU11は、出力タイミングからある遅延設定時間dtrが経過した遅延タイミングで、メッセージデータに応じた音出力信号を出力するように制御する。CPU11は、音出力信号の出力が遅延タイミングよりも遅れる場合、遅延設定時間dtrを当該遅れる時間差dtsに応じて延長する。
このように、MIDIデータで設定された適正なタイミングに実際の演奏出力が間に合わない状況が生じた場合に、その度合に応じて順次遅延設定時間dtrを延長していく。このように、電子機器1では、より柔軟かつ適切に遅延設定時間を設定することができる。これにより、電子機器1は、遅延設定時間dtrを必要以上に延長させすぎず、これと同時に、不正確な音出力の発生頻度を低減させることができる。
このように、MIDIデータで設定された適正なタイミングに実際の演奏出力が間に合わない状況が生じた場合に、その度合に応じて順次遅延設定時間dtrを延長していく。このように、電子機器1では、より柔軟かつ適切に遅延設定時間を設定することができる。これにより、電子機器1は、遅延設定時間dtrを必要以上に延長させすぎず、これと同時に、不正確な音出力の発生頻度を低減させることができる。
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施の形態では、音出力が遅れた時間差dtsと同一の長さだけ遅延設定時間dtrを延長することとして説明したが、これに限られない。例えば、時間差dtsに対して1より若干大きいある係数を乗じた時間幅だけ遅延設定時間dtrを延長してもよい。あるいは、時間差dtsに対して一律な追加延長幅を加算した時間幅だけ遅延設定時間dtrを延長してもよい。
例えば、上記実施の形態では、音出力が遅れた時間差dtsと同一の長さだけ遅延設定時間dtrを延長することとして説明したが、これに限られない。例えば、時間差dtsに対して1より若干大きいある係数を乗じた時間幅だけ遅延設定時間dtrを延長してもよい。あるいは、時間差dtsに対して一律な追加延長幅を加算した時間幅だけ遅延設定時間dtrを延長してもよい。
また、上記実施の形態では、音出力信号の生成(アナログ変換)の直前(略同時)に音出力データ(デジタルデータ)を生成するものとして説明したが、これに限られない。例えば、事前に生成した音出力データを一度バッファに記憶させ、適切なタイミング、又は特定の時間が経過したタイミングで出力部16で音出力信号に変換(生成)してもよい。
また、上記実施の形態ではBLEによりMIDIデータを電子機器1へ送信するものとして説明したが、これに限られない。MIDIデータは、電子機器1が取得可能な他の通信規格などに基づいて取得されてもよい。また、このときの通信間隔は、必ずしも一定ではなくてもよい。また、BLEの場合でも、通信間隔が可変であってもよい。
また、電子機器1が受信する演奏データは、任意のデータフォーマットに従ったものであってもよい。
また、遅延設定時間が最大設定値dtr_maxを超えるか否かの判別は、上記処理に限られない。例えば、実際に遅延設定時間dtrから負の待機設定時間Twを減算する前に比較がなされてもよい。また、待機設定時間Twを減じると遅延設定時間dtrが最大設定値dtr_maxを超える場合には、待機設定時間Twを減算する処理自体を中止してもよい。
また、上記実施の形態では、DSP15による音出力データの生成処理をCPU11が制御するものとして説明したが、これに限られない。CPU11自身がソフトウェア的に音出力データの生成処理を行ってもよい。すなわち、本実施形態の信号生成部は、CPU11であってもよい。
また、遅延タイミングでの音出力信号の出力タイミングは、CPU11により制御されるのではなくてもよい。例えば、出力部16が出力タイミングを制御し、CPU11は、そのタイミングを監視して遅延設定時間dtrを変更設定する処理のみを行ってもよい。
また、遅延設定時間dtrの初期化に係るステップS116の判定条件は、上記とは異なるものであってもよい。例えば、現在時刻Uとの差分は、直近のタイミングTkの時刻Ukとの間ではなく、前回のステップS118で取得された現在時刻との間で求められてもよい。あるいは、ユーザが図示略の操作受付部への入力操作によりリセット操作を行ったことが受け付けられた場合に遅延設定時間dtrが初期化がなされてもよい。また、ステップS116の処理の後ではなく、ステップS113の処理で未取得データがない状況が規定時間以上続いた場合に遅延設定時間dtrが初期化されてもよい。
また、上記実施形態は、音に関するデータの出力制御であったが、音以外の情報に関するデータ(情報データ)の出力制御に利用することもできる。
また、以上の説明では、本発明の出力制御に係るプログラム131を記憶するコンピュータ読み取り可能な媒体としてフラッシュメモリなどの不揮発性メモリなどからなる記憶部13を例に挙げて説明したが、これらに限定されない。その他のコンピュータ読み取り可能な媒体として、MRAMなどの他の不揮発性メモリ、HDD(Hard Disk Drive)や、CD-ROM、DVDディスクなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)も本発明に適用される。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
その他、上記実施の形態で示した具体的な構成、処理動作の内容及び手順などは、本発明の趣旨を逸脱しない範囲において適宜変更可能である。本発明の範囲は、特許請求の範囲に記載した発明の範囲とその均等の範囲を含む。
1 電子機器
11 CPU
12 RAM
13 記憶部
131 プログラム
14 通信部
15 DSP
16 出力部
L スピーカ
S 音源
Tw 待機設定時間
dtr、dtr2 遅延設定時間
dtr_max 最大設定値
dts 時間差
11 CPU
12 RAM
13 記憶部
131 プログラム
14 通信部
15 DSP
16 出力部
L スピーカ
S 音源
Tw 待機設定時間
dtr、dtr2 遅延設定時間
dtr_max 最大設定値
dts 時間差
Claims (9)
- 単位データごとに出力タイミングの情報が対応付けられた情報データの取得に応じて、前記出力タイミングからある遅延設定時間が経過した遅延タイミングで、前記単位データに応じた出力信号を出力し、
前記出力信号の出力が前記遅延タイミングよりも遅れる場合、前記遅延設定時間を前記遅れる時間幅に応じて延長する
出力制御方法。 - ある単位データに応じた前記出力信号の出力が前記遅延タイミングよりも遅れる場合、前記ある単位データの次以降の単位データに応じた前記出力信号の出力タイミングにかかる遅延設定時間を、前記時間幅に応じて延長される遅延設定時間に設定する請求項1記載の出力制御方法。
- 前記情報データを、1又は複数の前記単位データごとにある時間間隔で取得する請求項1記載の出力制御方法。
- 前記情報データは、同一の出力タイミング情報が付された複数の前記単位データを含む請求項1記載の出力制御方法。
- 前記遅延タイミングで前記単位データに応じた前記出力信号を生成して出力する請求項1記載の出力制御方法。
- 前記遅延設定時間の最大設定時間が定められており、
前記出力信号の出力が前記出力タイミングから前記最大設定時間よりも大きく遅れた場合には、前記遅延設定時間を前記最大設定時間以下とする
請求項1記載の出力制御方法。 - 前記遅延設定時間は、前記情報データの受信開始時に初期設定値に設定される請求項1記載の出力制御方法。
- 単位データごとに出力タイミングの情報が対応付けられた情報データの取得に応じて出力信号を出力する電子機器のコンピュータを、
前記出力タイミングからある遅延設定時間が経過した遅延タイミングで、前記単位データに応じた前記出力信号を出力するように制御する出力制御手段、
前記出力信号の出力が前記遅延タイミングよりも遅れる場合、前記遅延設定時間を当該遅れる時間幅に応じて延長する延長制御手段、
として機能させるプログラム。 - 単位データごとに出力タイミングの情報が対応付けられた情報データの取得に応じて出力信号を出力する信号生成部と、
制御部と、
を備え、
前記制御部は、
前記出力タイミングからある遅延設定時間が経過した遅延タイミングで、前記単位データに応じた前記出力信号を出力するように制御し、
前記出力信号の出力が前記遅延タイミングよりも遅れる場合、前記遅延設定時間を当該遅れる時間幅に応じて延長する
電子機器。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022150796A JP2024045808A (ja) | 2022-09-22 | 2022-09-22 | 出力制御方法、プログラム及び電子機器 |
US18/241,445 US20240105153A1 (en) | 2022-09-22 | 2023-09-01 | Output control method, electronic device, and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022150796A JP2024045808A (ja) | 2022-09-22 | 2022-09-22 | 出力制御方法、プログラム及び電子機器 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024045808A true JP2024045808A (ja) | 2024-04-03 |
Family
ID=90359660
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022150796A Pending JP2024045808A (ja) | 2022-09-22 | 2022-09-22 | 出力制御方法、プログラム及び電子機器 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20240105153A1 (ja) |
JP (1) | JP2024045808A (ja) |
-
2022
- 2022-09-22 JP JP2022150796A patent/JP2024045808A/ja active Pending
-
2023
- 2023-09-01 US US18/241,445 patent/US20240105153A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240105153A1 (en) | 2024-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8401201B2 (en) | Sound processing apparatus and method | |
JP2003255950A (ja) | アナログ楽器のディジタルインターフェイス及びこれを備えたアナログ楽器 | |
EP3379527A1 (en) | Musical sound generation device, musical sound generation method and electronic instrument | |
JP2002221974A (ja) | オーディオシステム、音量設定方法およびプログラム | |
JP2024045808A (ja) | 出力制御方法、プログラム及び電子機器 | |
KR20060129085A (ko) | 데이터 송신 간섭 차단 기능을 갖는 보청 장치 | |
KR101051036B1 (ko) | 사용자 개개인의 청력에 맞추어 오디오 기기의 음질을 제어하는 장치 및 방법 | |
JP2004221951A (ja) | 伝送データのジッター補正方法 | |
US7590460B2 (en) | Audio signal processor | |
WO2018164059A1 (ja) | 電子楽器 | |
US20230101944A1 (en) | Multi-channel audio system, multi-channel audio device, program, and multi-channel audio playback method | |
US20210125594A1 (en) | Wireless midi headset | |
US11418883B2 (en) | Audio interface apparatus and recording system | |
CN109314631B (zh) | 同步设定装置、传送系统、同步设定方法及记录介质 | |
JP2018180489A (ja) | 演奏支援装置、及びプログラム | |
JP2006064393A (ja) | 音場特性測定システム | |
JP6844114B2 (ja) | データ通信システム、端末装置、音響装置、データ通信方法、及びプログラム | |
US20230326437A1 (en) | Electronic equipment, device, system, method, and program | |
JP3197620B2 (ja) | 演奏情報通信装置 | |
JP4626429B2 (ja) | Midiデータ送信装置及びプログラム | |
JP2024041104A (ja) | 演奏データ送信制御方法、プログラム、電子機器及び電子楽器 | |
JP2023024875A (ja) | 電子機器、デバイス、システム、方法及びプログラム | |
JP3741047B2 (ja) | 音源装置 | |
JP3518364B2 (ja) | 音源モジュール及びエフェクト制御方法 | |
JPH11311667A (ja) | 受信装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231002 |