JP7397090B2 - 音響装置、音響システム、画像生成方法及び画像生成プログラム - Google Patents
音響装置、音響システム、画像生成方法及び画像生成プログラム Download PDFInfo
- Publication number
- JP7397090B2 JP7397090B2 JP2021548047A JP2021548047A JP7397090B2 JP 7397090 B2 JP7397090 B2 JP 7397090B2 JP 2021548047 A JP2021548047 A JP 2021548047A JP 2021548047 A JP2021548047 A JP 2021548047A JP 7397090 B2 JP7397090 B2 JP 7397090B2
- Authority
- JP
- Japan
- Prior art keywords
- lyrics
- song
- information
- section
- image generation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 29
- 238000011161 development Methods 0.000 claims description 14
- 230000010365 information processing Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 241001342895 Chorus Species 0.000 description 6
- HAORKNGNJCEJBX-UHFFFAOYSA-N cyprodinil Chemical compound N=1C(C)=CC(C2CC2)=NC=1NC1=CC=CC=C1 HAORKNGNJCEJBX-UHFFFAOYSA-N 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000001755 vocal effect Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 239000003550 marker Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 235000003801 Castanea crenata Nutrition 0.000 description 1
- 244000209117 Castanea crenata Species 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R3/00—Circuits for transducers, loudspeakers or microphones
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
特許文献1に記載の端末装置は、現在再生されている楽曲を特定し、特定された楽曲の歌詞データを外部サーバー等から取得する。歌詞データは、歌詞テキストデータと、歌詞テキストデータによって示される歌詞が再生される再生時刻(曲の開始時刻からの経過時間)を示す再生時刻データとを含む。端末装置は、歌詞テキストデータを複数のブロックに分割する。例えば、端末装置は、楽曲を解析した楽曲解析データに基づいて、歌詞テキストデータに含まれる歌詞のうち、楽曲に含まれる間奏と間奏との間の歌詞を1つのブロックとする。また例えば、端末装置は、歌詞データに含まれる区切りに基づいて、各ブロックを決定する。
端末装置は、ブロック化された歌詞データを音声データに変換して、各歌詞ブロックに応じた複数のスピーチを生成する。そして、端末装置は、複数のスピーチのそれぞれを、対応する歌詞ブロックの直前の間奏にて出力する。
なお、各スピーチは、対応する間奏の長さ等に応じて出力される。
これに対し、楽曲をメドレーのように次々にミックスしようとすると、操作者は、ボーカル部分が各楽曲のどこに存在するかを記憶しておく必要がある。この場合には、楽曲数が多くなると、操作者の負担が大きくなる。
これらの問題から、楽曲においてボーカル部分の位置を操作者が把握しやすい構成が要望されていた。
[音響システムの概略構成]
図1は、本実施形態に係る音響システム1の構成を示すブロック図である。
本実施形態に係る音響システム1は、図1に示すように、音響装置2と、音響装置2の操作画面を表示する表示装置DPと、音響装置2を操作する操作装置DVと、を備え、音響装置2によって、楽曲をミックスする等して楽曲を再生するものである。
以下、音響システム1の各構成について詳述する。
図2は、表示装置DPによって表示される音響装置2の操作画面PSの一例を示す図である。
表示装置DPは、音響装置2から出力される画像を表示する。例えば、表示装置DPは、図2に示す操作画面PSを表示する。なお、図2に示す操作画面PSは、2チャンネルミキサーの機能を有する画面であり、2デッキレイアウトの操作画面である。
操作画面PSは、操作画面PSにおける上部に位置するプレーヤーパネルPS1と、操作画面PSにおける下部に位置するブラウズパネルPS2と、を含む。
プレーヤーパネルPS1は、楽曲の再生状態を示す画面である。プレーヤーパネルPS1は、第1デッキ画面P1、第2デッキ画面P2、ミキサー画面P3、詳細波形画面P4及び動画表示画面P5を含んで構成されている。
第1デッキ画面P1は、第1チャンネルに入力された楽曲である第1楽曲に関連する情報を表示する他、第1楽曲の再生状態を調整する画面である。第1デッキ画面P1は、トラック情報パネルP11、パフォーマンスパッドP12及びジョグパネルP13を含む。
トラック情報パネルP11は、第1楽曲に関する情報を表示する。
具体的に、トラック情報パネルP11は、図3に示すように、第1楽曲のタグ情報を表示する第1パネルP111と、第1楽曲の楽曲構成情報CM、及び、第1楽曲の歌詞構成情報LYを表示する第2パネルP112と、を有する。
第1パネルP111に表示されるタグ情報は、タイトル、アーティスト名、BPM(Beat Per Minute)、キー、楽曲の終了までの残り時間及び再生経過時間を含む。
波形情報CM1は、楽曲の再生時間に応じた信号強度をグラフ化した波形であり、横軸を楽曲の再生時間とし、縦軸を楽曲の信号強度としたグラフである。第2パネルP112では、波形情報CM1は、第1楽曲の全体波形によって示される。なお、図3に示す例では、全体波形と重なるように、第1楽曲の現在の再生位置を示すマーカーMKと、第1楽曲に関連付けて登録されたキューの位置を示す印C1,C2と、が示されている。
展開情報CM2は、楽曲の構造を特徴付けるイントロ(INTRO)、Aメロ(VERSE1)、Bメロ(VERSE2)、Cメロ(VERSE3)、サビ(CHORUS)、間奏(INTERLUDE)及びアウトロ(OUTRO)等の特徴区間を示す情報である。第2パネルP112では、第1楽曲の展開情報CM2は、特徴区間の名称が表記された複数のブロックBKが、波形情報CM1の横軸、すなわち、第1楽曲の再生時間を示す横軸に合わせて配置されることによって示されている。なお、特徴区間の呼称は、上記に限定されない。
歌詞区間LY1は、楽曲において歌詞が含まれる区間である。歌詞区間LY1は、第1楽曲の再生時間を示す横軸に沿って、波形情報CM1及び展開情報CM2と並列に表示される。すなわち、歌詞区間LY1は、第1楽曲において歌詞が含まれる区間に応じて配置される矩形領域によって示される。
歌詞テキストLY2は、楽曲に含まれる歌詞を文字列にしたテキスト情報である。本実施形態では、歌詞テキストLY2を構成する文字は、歌詞区間LY1の矩形領域内において、第1楽曲における当該文字の再生位置に合わせて配置される。なお、歌詞テキストLY2は、歌詞区間LY1とは別に表示されてもよい。
第2デッキ画面P2は、第2チャンネルに入力された楽曲である第2楽曲に関連する情報を表示する他、第2楽曲の再生状態を調整する画面である。第2デッキ画面P2は、第1デッキ画面P1と同様に、トラック情報パネルP21、パフォーマンスパッドP22及びジョグパネルP23を含む。
トラック情報パネルP21、パフォーマンスパッドP22及びジョグパネルP23は、それぞれトラック情報パネルP11、パフォーマンスパッドP12及びジョグパネルP13と同様の構成を有する。なお、パフォーマンスパッドP22及びジョグパネルP23は、パフォーマンスパッドP12及びジョグパネルP13と左右対称に配置されている。
ミキサー画面P3は、第1楽曲及び第2楽曲をミキシングする際に利用される画面である。ミキサー画面P3は、第1楽曲を調整する第1調整部P31と、第2楽曲を調整する第2調整部P32と、クロスフェーダーP33とを含む。
第1調整部P31は、ミキサー画面P3の上方向に沿って配列された4つのつまみを有する。最も上側に位置するつまみは、第1チャンネルに入力される第1楽曲のレベルを調整する。下側に位置する3つのつまみは、それぞれ、第1楽曲の高周波数帯域の音量、中周波数帯域の音量及び低周波数帯域の音量を調整するつまみである。
第2調整部P32は、第2楽曲のレベルを調整する4つのつまみを有する。4つのつまみの機能は、第1調整部P31の4つのつまみと同様である。
クロスフェーダーP33は、第1調整部P31及び第2調整部P32の下側に配置されている。クロスフェーダーP33は、第1楽曲及び第2楽曲のボリュームレベルを調整する。
詳細波形画面P4は、プレーヤーパネルPS1において第1デッキ画面P1、第2デッキ画面P2及びミキサー画面P3の上側に位置する横長の画面である。
詳細波形画面P4は、第1楽曲の波形情報のうち、現在の再生位置を含む所定期間内の波形を拡大して上側に表示し、第2楽曲の波形情報のうち、現在の再生位置を含む所定期間内の波形を拡大して下側に表示する。この際、第1楽曲の波形及び第2楽曲の波形は、各楽曲の現在の再生位置が、詳細波形画面P4における左右方向の中央と一致するように表示される。
動画表示画面P5は、詳しい図示を省略するが、第1楽曲及び第2楽曲のうち、音声出力される楽曲の歌詞等を示すアニメーションや、プロモーションビデオを表示する画面である。例えば、動画表示画面P5は、カラオケのように、楽曲の歌詞に含まれる一部の歌詞を、当該一部の歌詞の再生タイミングに合わせて表示するアニメーションを表示する。
ブラウズパネルPS2は、後述する音響装置2に記憶された楽曲の情報、及び、音響装置2によって参照可能な外部機器に記憶された楽曲の情報を表示する画面であり、操作者が第1チャンネル又は第2チャンネルに入力される楽曲を選択する楽曲選択画面である。ブラウズパネルPS2は、ツリービュー画面P6、及び、トラックリスト画面P7を有する。
ツリービュー画面P6は、楽曲のタグ情報に含まれるジャンル等の分類名、及び、楽曲が保存されているフォルダーやプレイリスト(操作者等によって楽曲が再生順に並べられたリスト)が、ツリー形式で表示される画面である。ツリービュー画面P6に表示されている分類名が選択されると、選択された分類名に分類される楽曲が、トラックリスト画面P7にリスト表示される。また、ツリービュー画面P6に表示されているフォルダーやプレイリストが選択されると、選択されたフォルダーやプレイリストに保存された楽曲が、トラックリスト画面P7に表形式にて表示される。
トラックリスト画面P7は、ツリービュー画面P6にて選択された分類又はフォルダーやプレイリストに応じた楽曲に関する情報を表形式にて表示する詳細情報表示画面である。トラックリスト画面P7に表示された楽曲のうち1つの楽曲が第1デッキ画面P1にドラッグアンドドロップされると、当該1つの楽曲のオーディオデータが第1チャンネルに入力される。また、トラックリスト画面P7に表示された楽曲のうち1つの楽曲が第2デッキ画面P2にドラッグアンドドロップされると、当該1つの楽曲のオーディオデータが第2チャンネルに入力される。
楽曲の詳細情報P72には、それぞれ該当する楽曲のタグ情報が表示される。詳細情報P72に表示されるタグ情報は、それぞれ該当する楽曲のBPM、アートワーク、タイトル、アーティスト名、アルバム名、キー、DJプレイ回数及びジャンルを含む。
プレビュー画面P71には、図4に示すように、該当する楽曲の波形情報CM1及び歌詞区間LY1が、再生時間を示す横軸に直交する縦軸に沿って並列に表示される。
プレビュー画面P71に表示される波形情報CM1は、第1デッキ画面P1又は第2デッキ画面P2にて表示される楽曲の全体波形と同様の全体波形である。楽曲にキューが設定されている場合には、全体波形と併せて、キューの位置を示す印C1~C3が表示される。
なお、プレビュー画面P71では、波形情報CM1に代えて、或いは、加えて、上記した展開情報CM2を表示してもよい。また、歌詞区間LY1と併せて、歌詞テキストLY2を、プレビュー画面P71にて表示してもよい。更に、トラックリスト画面P7に表示された楽曲のうち1つの楽曲が選択されると、波形情報CM1及び歌詞区間LY1が拡大表示されてもよい。この場合、展開情報CM2及び歌詞テキストLY2のうち、少なくとも1つを、波形情報CM1及び歌詞区間LY1とともに表示してもよい。
音響装置2は、図1に示したように、操作装置DV及び表示装置DPと接続される他、ネットワークNTを介して構成情報サーバーSV1及び歌詞情報サーバーSV2と通信可能である。音響装置2は、例えばCPU(Central Processing Unit)等の演算処理装置と、HDD(Hard Disk Drive)及びSSD(Solid State Drive)等の記憶装置とを備える情報処理装置である。すなわち、音響装置2は、記憶装置に記憶されたプログラムをCPUが実行し、音響装置2に接続されたキーボード及びポインティングデバイス等の操作装置DVから入力される操作信号に応じて動作する。換言すると、CPUが、記憶装置に記憶されたプログラムであって後述する画像生成プログラムを含む音響アプリケーションを実行することによって、情報処理装置は、音響装置2として機能する。
なお、構成情報サーバーSV1及び歌詞情報サーバーSV2については、後に詳述する。また、楽曲のオーディオデータ、及び、オーディオデータに埋め込まれたタグ情報を合わせて楽曲情報と称する。
入力部3及び出力部4は、外部機器と接続可能な端子を有する。
入力部3は、外部機器から入力される情報を制御部8に出力する。入力部3と接続される外部機器としては、上記操作装置DVや、楽曲データを記憶した記憶装置(図示省略)が例示される。入力部3を構成する端子としては、USB(Universal Serial Bus)端子が例示される。
出力部4は、制御部8から入力される情報を外部機器に出力する。出力部4と接続される外部機器としては、上記表示装置DPや、スピーカー及びヘッドフォンが例示される。出力部4を構成する端子としては、USB端子の他、映像出力端子及び音声出力端子が例示される。
なお、構成情報サーバーSV1は、上記した楽曲構成情報CMを提供するサーバーである。構成情報サーバーSV1は、楽曲を特定するための情報(タイトル等)を音響装置2から受信すると、該当する楽曲の楽曲構成情報CMを音響装置2に送信する。
また、歌詞情報サーバーSV2は、上記した歌詞情報を提供するサーバーである。歌詞情報サーバーSV2は、楽曲を特定するための情報を音響装置2から受信すると、該当する楽曲の歌詞情報を音響装置2に送信する。
図5は、制御部8の機能的な構成を示すブロック図である。
制御部8は、上記CPU等によって構成され、音響装置2の動作を制御する。制御部8は、図5に示すように、CPUが記憶部5に記憶されたプログラムを実行することによってそれぞれ実現される、楽曲取得部81、構成情報取得部82、歌詞情報取得部83、区間算出部84、画像生成部85、画像出力部86及びミックス部87を含む。
楽曲取得部81は、記憶部5に記憶された楽曲情報、又は、入力部3に接続されたUSBメモリー等の外部機器に記憶された楽曲情報を取得する。
構成情報取得部82は、通信部6によって構成情報サーバーSV1と通信し、楽曲取得部81により取得された楽曲情報に応じた楽曲構成情報CMを取得する。構成情報取得部82は、取得された楽曲構成情報CMを、楽曲情報に関連付けて記憶部5に記憶させる。
なお、楽曲構成情報CMは、音響装置2が、楽曲情報のオーディオデータを解析することによって取得してもよい。換言すると、音響装置2は、オーディオデータを解析して楽曲構成情報を取得する解析部を備えていてもよい。オーディオデータの解析については、公知の技術を適用できる。
歌詞情報取得部83は、通信部6によって歌詞情報サーバーSV2と通信し、楽曲取得部81によって取得された楽曲情報に応じた歌詞情報を取得する。例えば、歌詞情報取得部83は、楽曲情報のタグ情報に含まれる楽曲のタイトル及びアーティスト名に対応する歌詞情報を取得する。歌詞情報取得部83は、取得した歌詞情報を、楽曲情報に関連付けて記憶部5に記憶させる。
歌詞情報は、上記歌詞テキストと、歌詞テキストに含まれる文字(又は単語)の再生開始タイミング及び再生終了タイミングと、を含む。これら再生開始タイミング及び再生終了タイミングは、楽曲における文字の再生位置を示す再生位置情報であるタイムスタンプの1つである。
例えば、図6に示すように、JSONフォーマットにて記載された歌詞情報の第16行には、歌詞テキストの一部である部分テキストLT1が記載されている。図6の例では、部分テキストLT1には「恋する女は 夢見たがりの」が記載されている。また、歌詞情報の第110行には、次の部分テキストLT2が記載されている。
第107行には、部分テキストLT1に記載された歌詞テキストの再生開始タイミングを示すタイミング情報ST1が記載されている。図6の例では、タイミング情報ST1には「43532」(msec)が記載されている。タイミング情報ST1は、図6に示す楽曲の歌詞における最初の文字の再生開始タイミングを示すことから、楽曲における歌詞の再生開始タイミングということもできる。
図6の例では、文字期間情報W1の文字番号は、部分テキストLT1における1番目の文字である「恋」を示し、文字期間情報W2の文字番号は、2番目の文字である「す」を示し、文字期間情報W3の文字番号は、3番目の文字である「る」を示している。
図6の例では、文字期間情報W1における3行目に記載された「0」は、文字期間情報W1の文字番号によって示される「恋」の再生開始タイミングを示している。すなわち、図6の例では、楽曲の再生開始から、タイミング情報ST1に記載の再生開始タイミングに「0」(msec)を加算した期間の経過後に、「恋」の再生が開始されることを示している。
また、文字期間情報W1における5行目に記載された「882」は、文字期間情報W1の文字番号によって示される「恋」の再生終了タイミングを示している。すなわち、図6の例では、楽曲の再生開始から、タイミング情報ST1に記載の再生開始タイミングに「0」(msec)を加算し、更に「882」(msec)を加算した期間の経過後に、「恋」の再生が終了されることを示している。
文字期間情報W2における5行目に記載された「1393」は、楽曲の再生開始から、タイミング情報ST1に記載の再生開始タイミングに「882」(msec)を加算し、更に「1393」(msec)を加算した期間の経過後に、「す」の再生が終了されることを示している。
文字期間情報W3における5行目に記載された「2182」は、楽曲の再生開始から、タイミング情報ST1に記載の再生開始タイミングに「1393」(msec)を加算し、更に「2182」(msec)を加算した期間の経過後に、「る」の再生が終了されることを示している。
このように、歌詞情報から、楽曲の歌詞に含まれる文字の再生開始タイミング及び再生終了タイミングを取得できる。
区間算出部84は、歌詞情報取得部83によって取得された歌詞情報に基づいて、楽曲において歌詞が含まれる区間(歌詞区間)を算出する。具体的に、区間算出部84は、歌詞情報に含まれる各文字期間情報Wの再生開始タイミング及び再生終了タイミングに基づいて歌詞区間を算出する。そして、区間算出部84は、算出された歌詞区間を楽曲情報に関連付けて記憶部5に記憶させる。
例えば、区間算出部84は、1つの文字期間情報Wにおける再生終了タイミングと、次の文字期間情報Wにおける再生開始タイミングとが一致する場合、或いは、これら再生終了タイミング及び再生開始タイミングの差が小さいと判断できる場合、2つの文字期間情報Wによって示される2つの文字は、1つの文字期間情報Wにおける再生開始タイミングから次の文字期間情報Wにおける再生終了タイミングまでの区間に連続して再生されると判定する。そして、区間算出部84は、楽曲全体において、連続して歌詞の一部が再生される区間を歌詞区間として算出する。
画像生成部85は、表示装置DPに出力する画像を生成する。
例えば、画像生成部85は、上記した操作画面PSの画像を生成する。この場合、画像生成部85は、楽曲取得部81によって取得されたタグ情報、構成情報取得部82によって取得された楽曲構成情報、及び、歌詞情報取得部83によって取得された歌詞情報と、区間算出部84によって算出された歌詞区間とに基づいて、図2及び図3に示した第1デッキ画面P1のトラック情報パネルP11の画像、及び、図2に示した第2デッキ画面P2のトラック情報パネルP21の画像を生成する。
画像出力部86は、画像生成部85によって生成された画像を、出力部4を介して表示装置DPに出力する。これにより、例えば表示装置DPは、操作画面PSを表示する。
ミックス部87は、操作画面PSのミキサー画面P3に対する操作者による操作に応じて、再生中の楽曲をミックスする。詳述すると、ミックス部87は、操作者による操作に応じて操作装置DVから入力される操作情報に基づいて、第1チャンネルに入力されている第1楽曲と、第2チャンネルに入力されている第2楽曲とをミックスする。
例えば、図7に示すように、操作者が、楽曲AのCHORUSの後に、楽曲B、楽曲C及び楽曲Dのうち、ミックスしようとする楽曲であるミックス楽曲のVERSEを接続して、楽曲Aからミックス楽曲に歌詞が連続して再生されるように、楽曲Aとミックス楽曲とをミックスすることを意図したとする。
楽曲B及び楽曲Dでは、INTROに歌詞区間LY1が存在する。このため、楽曲AのCHORUSに、楽曲B又は楽曲DのINTROの次に続くVERSEを繋ぐと、歌詞の途中からミックス楽曲が唐突に再生されることから、聴衆が違和感を抱きやすい。
一方、楽曲Cでは、INTROに歌詞区間LY1が含まれず、INTROの次に続くVERSEから歌詞の再生が始まる。このため、楽曲AのCHORUSの後に、楽曲CのINTROに続くVERSEを接続すると、楽曲Aに楽曲Bを違和感なく接続できる。
上記操作画面PSの第1デッキ画面P1、第2デッキ画面P2及びプレビュー画面P71には、図2に示したように、各楽曲の波形情報CM1と歌詞区間LY1とが表示される。これにより、操作者がある楽曲にミックス楽曲をミックスしやすくすることができる他、ミックス楽曲の選曲を実施しやすくすることができる。
図8は、画像生成処理を示すフローチャートである。
音響装置2は、記憶部5に記憶された音響アプリケーションに含まれる画像生成プログラムを制御部8が実行することによって、図8に示す画像生成処理を実行し、上記した操作画面PSを生成する。
画像生成処理では、まず、楽曲取得部81が、上記のように、記憶部5等に記憶された楽曲情報を取得する(ステップS1)。
次に、構成情報取得部82が、取得された楽曲情報に対応する楽曲構成情報を取得する(ステップS2)。また、歌詞情報取得部83が、取得された楽曲情報に対応する歌詞情報を取得する(ステップS3)。なお、ステップS2とステップS3とは、同時に実施されてもよく、ステップS2,S3のうち一方が他方より先に実施されてもよい。
そして、画像生成部85が、それぞれ取得された楽曲情報、楽曲構成情報及び歌詞情報と、算出された歌詞区間とに基づいて、操作画面PSの画像を生成し(ステップS5)する。これにより、画像生成処理を終了する。
このような画像生成処理が実施されて生成された操作画面PSの画像は、画像出力部86によって表示装置DPに出力され、操作画面PSが表示装置DPに表示される。
以上説明した本実施形態に係る音響システム1は、以下の効果を奏することができる。
音響システム1は、音響装置2と、音響装置2によって生成された画像を表示する表示装置DPと、を備える。
音響装置2は、構成情報取得部82、歌詞情報取得部83、区間算出部84及び画像生成部85を備える。構成情報取得部82は、歌詞を含む楽曲の構成を示す楽曲構成情報CMを取得する。歌詞情報取得部83は、楽曲において歌詞に含まれる文字が再生される再生開始タイミング、及び、当該文字の再生が終了する再生終了タイミングを取得する。区間算出部84は、それぞれ取得された再生開始タイミング及び再生終了タイミングに基づいて、楽曲において歌詞が含まれる区間である歌詞区間を算出する。画像生成部85は、楽曲構成情報CMと歌詞区間LY1とが並列に配置された画像、例えば操作画面PSの画像を生成する。
このような構成によれば、トラックリスト画面P7に、複数の楽曲のタグ情報とともに、波形情報CM1及び歌詞区間LY1が楽曲毎に表示される。従って、操作者がミックスする楽曲を選択しやすくすることができる。
このような構成によれば、操作画面PSにて、第1チャンネル及び第2チャンネルに入力されている第1楽曲及び第2楽曲の歌詞を確認できる。従って、歌詞の内容等に応じて、ミックスする楽曲を選曲しやすくすることができる。
このような構成によれば、操作画面PSを確認することによって、歌詞区間と楽曲の展開とを把握しやすくすることができるので、楽曲を試聴することなく楽曲の内容や雰囲気をイメージできる。従って、操作者が、ミックスする楽曲を選曲しやすくすることができる。
このような構成によれば、操作画面PSを確認することによって、歌詞区間と楽曲の抑揚とを把握できるので、楽曲を試聴することなく、楽曲の内容や雰囲気を把握できる。従って、操作者がミックスする楽曲を選曲しやすくすることができる。
このような構成によれば、操作者が選択した楽曲をミックスでき、音響装置2の汎用性を高めることができる。
また、記憶部5に記憶された画像生成プログラムは、情報処理装置である音響装置2によって実行される画像生成プログラムである。画像生成プログラムは、音響装置2に、上記ステップS2~S5を実行させる。
このような画像生成プログラムを音響装置2が実行して、音響装置2が上記画像生成方法を含む画像生成処理を実施することにより、上記した音響装置2の効果を奏することができる。
本発明は、上記実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
上記実施形態では、音響装置2の画像生成部85は、図2に示した操作画面PSの画像を、波形情報CM1及び展開情報CM2を含む楽曲構成情報CMと、歌詞区間LY1及び歌詞テキストLY2を含む歌詞構成情報LYとを表示する画像として生成するとした。しかしながら、楽曲構成情報CM及び歌詞構成情報LYを表示する画像のレイアウトは、図2に示す操作画面PSのレイアウトに限らない。例えば、波形情報CM1及び展開情報CM2において楽曲の再生時間を示す軸は、横軸でなくてもよく、画面における縦軸であってもよい。また、プレーヤーパネルPS1とブラウズパネルPS2とは、それぞれ別に表示されてもよい。更に、操作画面PSは、第1デッキ画面P1及び第2デッキ画面P2を含む2デッキレイアウトの操作画面であるとしたが、操作画面に含まれるデッキ画面の数は、適宜変更可能である。
また、上記のように、トラックリスト画面P7にて、各楽曲についての波形情報CM1に代えて、或いは、加えて、展開情報CM2を表示してもよい。
また、音響装置2が表示部を有する場合には、音響装置2は、画像生成部85によって生成された画像を外部に出力する画像出力部86を備えていなくてもよい。
なお、上記のように、音響装置2が、楽曲のオーディオデータを解析して、楽曲構成情報を取得する解析部を備えていれば、音響装置2は、構成情報サーバーSV1と通信しなくてもよい。
Claims (7)
- 音響装置であって、
歌詞を含む楽曲の構成を示す楽曲構成情報を取得する構成情報取得部と、
前記楽曲において前記歌詞に含まれる文字が再生される再生開始タイミング、及び、前記文字の再生が終了する再生終了タイミングを取得する歌詞情報取得部と、
前記再生開始タイミング及び前記再生終了タイミングに基づいて、前記楽曲において前記歌詞が含まれる区間である歌詞区間を算出する区間算出部と、
第1軸に沿う前記楽曲の再生時間に合わせて前記楽曲構成情報と前記歌詞区間とが前記楽曲ごとに配置された画像を複数の前記楽曲について前記第1軸に直交する第2軸に沿って配置した表示画像を生成する画像生成部と、を備え、
前記楽曲構成情報は、前記楽曲の再生時間に応じた信号強度の波形を示す波形情報を含み、
前記画像生成部は、前記波形情報と前記歌詞区間とが並列に配置された前記画像を生成することを特徴とする音響装置。 - 請求項1に記載の音響装置において、
前記歌詞情報取得部は、前記楽曲に含まれる前記歌詞を示す歌詞テキストを取得し、
前記画像生成部は、前記歌詞区間とともに、前記歌詞テキストによって示される前記歌詞が配置された前記画像を生成することを特徴とする音響装置。 - 請求項1又は請求項2に記載の音響装置において、
前記楽曲構成情報は、前記楽曲の構造を特徴付ける複数の特徴区間を示す展開情報を含み、
前記画像生成部は、前記展開情報と、前記波形情報と、前記歌詞区間とが並列に配置された前記画像を生成することを特徴とする音響装置。 - 請求項1から請求項3のいずれか一項に記載の音響装置において、
前記楽曲をミックスするミックス部を有することを特徴とする音響装置。 - 請求項1から請求項4のいずれか一項に記載の音響装置と、
前記表示画像を表示する表示装置と、を備えることを特徴とする音響システム。 - 音響装置によって実施される画像生成方法であって、
歌詞を含む楽曲の構成を示す楽曲構成情報を取得する構成情報取得手順と、
前記楽曲において前記歌詞に含まれる文字が再生される再生開始タイミング、及び、前記文字の再生が終了する再生終了タイミングを取得する歌詞情報取得手順と、
前記再生開始タイミング及び前記再生終了タイミングに基づいて、前記楽曲において前記歌詞が含まれる区間である歌詞区間を算出する算出手順と、
第1軸に沿う前記楽曲の再生時間に合わせて前記楽曲構成情報と前記歌詞区間とが前記楽曲ごとに配置された画像を複数の前記楽曲について前記第1軸に直交する第2軸に沿って配置した表示画像を生成する画像生成手順と、を含み、
前記楽曲構成情報は、前記楽曲の再生時間に応じた信号強度の波形を示す波形情報を含み、
前記画像生成手順では、前記波形情報と前記歌詞区間とが並列に配置された前記画像を生成することを特徴とする画像生成方法。 - 情報処理装置によって実行される画像生成プログラムであって、
前記情報処理装置に、
歌詞を含む楽曲の構成を示す楽曲構成情報を取得する構成情報取得ステップと、
前記楽曲において前記歌詞に含まれる文字が再生される再生開始タイミング、及び、前記文字の再生が終了する再生終了タイミングを取得する歌詞情報取得ステップと、
前記再生開始タイミング及び前記再生終了タイミングに基づいて、前記楽曲において前記歌詞が含まれる区間である歌詞区間を算出する算出ステップと、
第1軸に沿う前記楽曲の再生時間に合わせて前記楽曲構成情報と前記歌詞区間とが前記楽曲ごとに配置された画像を複数の前記楽曲について前記第1軸に直交する第2軸に沿って配置した表示画像を生成する画像生成ステップと、を実行させ、
前記楽曲構成情報は、前記楽曲の再生時間に応じた信号強度の波形を示す波形情報を含み、
前記画像生成ステップでは、前記波形情報と前記歌詞区間とが並列に配置された前記画像を生成することを特徴とする画像生成プログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2019/037603 WO2021059399A1 (ja) | 2019-09-25 | 2019-09-25 | 音響装置、音響システム、画像生成方法及び画像生成プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2021059399A1 JPWO2021059399A1 (ja) | 2021-04-01 |
JP7397090B2 true JP7397090B2 (ja) | 2023-12-12 |
Family
ID=75165623
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021548047A Active JP7397090B2 (ja) | 2019-09-25 | 2019-09-25 | 音響装置、音響システム、画像生成方法及び画像生成プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7397090B2 (ja) |
WO (1) | WO2021059399A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024024105A1 (ja) * | 2022-07-29 | 2024-02-01 | AlphaTheta株式会社 | 音響再生装置、プログラム、及び再生制御方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008164932A (ja) | 2006-12-28 | 2008-07-17 | Sony Corp | 音楽編集装置および方法、並びに、プログラム |
US20150128788A1 (en) | 2013-11-14 | 2015-05-14 | tuneSplice LLC | Method, device and system for automatically adjusting a duration of a song |
WO2018016008A1 (ja) | 2016-07-19 | 2018-01-25 | Pioneer DJ株式会社 | 音響機器制御操作入力装置、および音響機器制御操作入力プログラム |
JP2019125936A (ja) | 2018-01-17 | 2019-07-25 | 株式会社Cotodama | 出力制御方法、出力制御システム、及びプログラム |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2096626A1 (en) * | 2008-02-29 | 2009-09-02 | Sony Corporation | Method for visualizing audio data |
US20170212876A1 (en) * | 2014-07-26 | 2017-07-27 | Huawei Technologies Co., Ltd. | Method and Apparatus for Editing Audio File |
JP6749200B2 (ja) * | 2016-10-03 | 2020-09-02 | 株式会社第一興商 | カラオケシステム |
-
2019
- 2019-09-25 WO PCT/JP2019/037603 patent/WO2021059399A1/ja active Application Filing
- 2019-09-25 JP JP2021548047A patent/JP7397090B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008164932A (ja) | 2006-12-28 | 2008-07-17 | Sony Corp | 音楽編集装置および方法、並びに、プログラム |
US20150128788A1 (en) | 2013-11-14 | 2015-05-14 | tuneSplice LLC | Method, device and system for automatically adjusting a duration of a song |
WO2018016008A1 (ja) | 2016-07-19 | 2018-01-25 | Pioneer DJ株式会社 | 音響機器制御操作入力装置、および音響機器制御操作入力プログラム |
JP2019125936A (ja) | 2018-01-17 | 2019-07-25 | 株式会社Cotodama | 出力制御方法、出力制御システム、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2021059399A1 (ja) | 2021-04-01 |
JPWO2021059399A1 (ja) | 2021-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5442607B2 (ja) | 選択可能なパフォーマーにより再生可能なメディア | |
US8618404B2 (en) | File creation process, file format and file playback apparatus enabling advanced audio interaction and collaboration capabilities | |
US20120014673A1 (en) | Video and audio content system | |
KR20080051054A (ko) | 매시업용 데이터의 배포 방법, 매시업 방법, 매시업용데이터의 서버 장치 및 매시업 장치 | |
US20150268924A1 (en) | Method and system for selecting tracks on a digital file | |
JP7397090B2 (ja) | 音響装置、音響システム、画像生成方法及び画像生成プログラム | |
JP4173227B2 (ja) | 複数のボーカルパートを選択的に再生出力するカラオケ装置 | |
JP2000156049A (ja) | オーディオメディアおよびメディア再生装置 | |
JP2000137490A (ja) | カラオケ装置 | |
JP2009134146A (ja) | コンテンツ編集装置 | |
WO2022249402A1 (ja) | 音響機器、楽曲の再生方法およびプログラム | |
TWI270800B (en) | Method of playing a game according to events in a selected track of a music file | |
JP7456232B2 (ja) | フォトムービー生成システム、フォトムービー生成装置、ユーザ端末、フォトムービー生成方法、及びプログラム | |
JP2006172534A (ja) | 音楽データ処理装置及びプログラム | |
JP4720858B2 (ja) | カラオケ装置 | |
JPH06124062A (ja) | カラオケ装置 | |
JP6920489B1 (ja) | カラオケ装置 | |
JP2010054856A (ja) | 電子楽器 | |
JP2004302232A (ja) | 合唱曲や重唱曲を処理するカラオケ演奏方法およびカラオケシステム | |
KR20060129978A (ko) | 곡 데이터 편집 기능 및 mp3기능이 내장된 휴대용 플레이어 | |
JP2003141859A (ja) | 画像音声再生システム、プログラム、及び記録媒体 | |
JP5417015B2 (ja) | リクエストした楽曲紹介オムニバス作品を視聴しながら選曲予約できるカラオケ装置 | |
Plummer | Apple Training Series: GarageBand 09 | |
Fant-Saez | Pro Tools for musicians and songwriters | |
Brock | GarageBand for iPad |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221129 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230523 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230721 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231130 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7397090 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |