JP4397330B2 - Music playback device and music playback program - Google Patents
Music playback device and music playback program Download PDFInfo
- Publication number
- JP4397330B2 JP4397330B2 JP2005015232A JP2005015232A JP4397330B2 JP 4397330 B2 JP4397330 B2 JP 4397330B2 JP 2005015232 A JP2005015232 A JP 2005015232A JP 2005015232 A JP2005015232 A JP 2005015232A JP 4397330 B2 JP4397330 B2 JP 4397330B2
- Authority
- JP
- Japan
- Prior art keywords
- music
- localization
- sound image
- information
- control table
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02B—HYDRAULIC ENGINEERING
- E02B5/00—Artificial water canals, e.g. irrigation canals
- E02B5/08—Details, e.g. gates, screens
- E02B5/085—Arresting devices for waterborne materials, e.g. gratings
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F1/00—Treatment of water, waste water, or sewage
- C02F1/40—Devices for separating or removing fatty or oily substances or similar floating material
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2103/00—Nature of the water, waste water, sewage or sludge to be treated
- C02F2103/007—Contaminated open waterways, rivers, lakes or ponds
-
- C—CHEMISTRY; METALLURGY
- C02—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F—TREATMENT OF WATER, WASTE WATER, SEWAGE, OR SLUDGE
- C02F2303/00—Specific treatment goals
- C02F2303/24—Separation of coarse particles, e.g. by using sieves or screens
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Chemical & Material Sciences (AREA)
- Water Supply & Treatment (AREA)
- Hydrology & Water Resources (AREA)
- Environmental & Geological Engineering (AREA)
- Life Sciences & Earth Sciences (AREA)
- Organic Chemistry (AREA)
- Analytical Chemistry (AREA)
- Mechanical Engineering (AREA)
- Civil Engineering (AREA)
- Structural Engineering (AREA)
- Electrophonic Musical Instruments (AREA)
- Stereophonic System (AREA)
Description
本発明は、楽曲データを再生する楽曲再生装置及び楽曲再生プログラムに関する。 The present invention relates to a music playback device and a music playback program for playing back music data.
記憶部等に記憶されている楽曲データを再生するときには、その楽曲データをそのまま再生するのが通常である。
そして、その楽曲の内容に関する情報、例えば、その楽曲のジャンル、演奏時間、その楽曲にユーザの好みのフレーズが含まれているかどうか、どのようなパート構成であるか、といった情報は、再生された楽曲を聴くことにより取得していた。
When music data stored in a storage unit or the like is reproduced, the music data is usually reproduced as it is.
Then, information related to the contents of the music, for example, information such as the genre of the music, performance time, whether the music contains a phrase preferred by the user, and what part configuration is reproduced. It was acquired by listening to music.
なお、音楽信号を分析してその音楽ジャンルを判別し、そのジャンルに対応するホールシミュレーションモードでサラウンド音場補正を行う技術は特許文献1に記載されている。
上述のように、ユーザは、記憶部等に記憶されている楽曲データがどのような内容のものであるのかを知るために、再生させる楽曲をそのまま聴いて解釈していたため、楽曲の内容の解釈には経験と時間を必要としていた。
なお、上記特許文献1に記載されたものは、音楽ジャンルに従って総合的な音場設定を行うものであり、これにより、楽曲の内容を知ることは困難である。
As described above, since the user listens to and interprets the music to be played back in order to know what the music data stored in the storage unit or the like is, the interpretation of the contents of the music Needed experience and time.
In addition, what was described in the said
そこで、本発明は、効率の良い楽曲の解釈を可能とする楽曲再生装置を提供することを目的としている。 SUMMARY OF THE INVENTION An object of the present invention is to provide a music playback device that enables efficient interpretation of music.
上記目的を達成するために、本発明の楽曲再生装置は、楽曲データを記憶する記憶手段と、楽曲データを再生する再生手段と、前記再生手段から出力される楽音信号に対して、制御信号に基づいて3次元音響空間内の任意の位置に立体音響として音像を定位させる処理を行う音像定位処理手段と、楽曲の内容とそれに対応する立体音響としての音像を3次元音響空間内に定位させる定位方法が定義されている定位制御テーブルであって、その内容をユーザが任意に変更することが可能な定位制御テーブルと、前記楽曲データの再生が指示されたときに、その楽曲データからその楽曲の内容に関する情報を取得する分析手段と、前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であるか否かを判定する手段と、前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であると前記判定する手段において判定されたときに、前記再生手段にその楽曲データの再生を開始させるとともに、前記音像定位処理手段に前記定位制御テーブルに定義されている対応する3次元音響空間における音像の定位方法を実行するための制御信号を送る手段と、前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報でないと前記判定する手段において判定されたときに、前記音像定位処理手段による3次元音響空間における音像の定位処理を行うことなく、前記再生手段にその楽曲データの再生を開始させる手段とを有するものである。
また、前記定位制御テーブルには、楽曲の内容とそれに対応する3次元音響空間における音像の定位方法の優先順位が定義されている。
そして、前記分析手段は、楽曲データに付属する属性情報からその楽曲の内容に関する情報を取得するもの、あるいは、楽曲データの演奏情報を分析してその楽曲の内容に関する情報を取得するものである。
さらに、前記分析手段により取得した楽曲の内容に関する情報を、その楽曲データに対応付けて記憶する手段を有するものである。
さらにまた、前記3次元音響空間における音像の定位方法は、楽曲中の特定の区間において3次元音響空間における音像の定位位置を移動させるもの、楽曲の構成部分に応じて3次元音響空間における音像の定位位置を分割して配置するもの、あるいは、楽曲中の特定の区間において、3次元音響空間における音像の定位位置を分割又は結合させるものであってもよい。
さらにまた、本発明の楽曲再生プログラムは、楽曲データを記憶する記憶手段と、楽曲データを再生する再生手段と、前記再生手段から出力される楽音信号に対して、制御信号に基づいて3次元音響空間内の任意の位置に立体音響として音像を定位させる処理を行う音像定位処理手段と、楽曲の内容とそれに対応する立体音響としての音像を3次元音響空間内に定位させる定位方法が定義されている定位制御テーブルであって、その内容をユーザが任意に変更することが可能な定位制御テーブルとを有する楽曲再生装置における楽曲再生プログラムであって、コンピュータを、前記楽曲データの再生が指示されたときに、その楽曲データからその楽曲の内容に関する情報を取得する分析手段、前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であるか否かを判定する手段、前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であると前記判定する手段において判定されたときに、前記再生手段にその楽曲データの再生を開始させるとともに、前記音像定位処理手段に前記定位制御テーブルに定義されている対応する3次元音響空間における音像の定位方法を実行するための制御信号を送る手段、及び、前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報でないと前記判定する手段において判定されたときに、前記音像定位処理手段による3次元音響空間における音像の定位処理を行うことなく、前記再生手段にその楽曲データの再生を開始させる手段として動作させるものである。
In order to achieve the above object, a music reproducing device of the present invention uses a storage means for storing music data, a reproducing means for reproducing music data, and a control signal for a musical sound signal output from the reproducing means. Sound image localization processing means for performing processing for localizing a sound image as stereophonic sound at an arbitrary position in the three-dimensional acoustic space, and localization for localizing the contents of music and the corresponding sound image as stereophonic sound in the three-dimensional acoustic space A localization control table in which a method is defined, and a localization control table in which the user can arbitrarily change the contents, and when reproduction of the song data is instructed, Analyzing means for acquiring information about the contents, and whether the information acquired by the analyzing means is information about the contents of the music defined in the localization control table If it is determined in means and said determining means and information obtained by the analyzing means is information about the contents of the music which is defined in the localization control table determines, the music to the reproduction means Means for starting reproduction of data and sending a control signal for executing a sound image localization method in a corresponding three-dimensional acoustic space defined in the localization control table to the sound image localization processing means; When the determining means determines that the acquired information is not information relating to the contents of the music defined in the localization control table, the sound image localization processing in the three-dimensional acoustic space is performed by the sound image localization processing means. And means for causing the reproduction means to start reproduction of the music data.
Further, the localization control table defines the priority of the music image localization method corresponding to the contents of the music and the three-dimensional acoustic space .
The analysis means acquires information related to the content of the music from attribute information attached to the music data, or analyzes information related to the performance of the music data to acquire information related to the content of the music.
Furthermore, it has a means to memorize | store the information regarding the content of the music acquired by the said analysis means matched with the music data.
Furthermore, the sound image localization method in the three-dimensional acoustic space is such that the localization position of the sound image in the three-dimensional acoustic space is moved in a specific section of the music, and the sound image in the three-dimensional acoustic space according to the constituent parts of the music . The localization position may be divided and arranged, or the localization position of the sound image in the three-dimensional acoustic space may be divided or combined in a specific section in the music.
Furthermore, the music playback program of the present invention includes storage means for storing music data, a reproduction means for reproducing music data, with respect to musical tone signals output from said reproducing means, stereophonic sound based on the control signal Sound image localization processing means for performing processing to localize a sound image as a stereophonic sound at an arbitrary position in the space, and a localization method for localizing the contents of music and the corresponding sound image as a stereoacoustic in a three-dimensional acoustic space are defined. A music playback program in a music playback device having a localization control table, the content of which can be arbitrarily changed by a user, the computer being instructed to play back the music data Sometimes, the analyzing means for acquiring information on the contents of the music from the music data, and the information acquired by the analyzing means is the localization system. Means for determining whether or not the information about the contents of the music that is defined in the table, the information obtained by the analyzing means is information about the contents of the music which is defined in the localization control table When judged by the judging means, the reproducing means starts the reproduction of the music data, and the sound image localization processing means defines the sound image localization method in the corresponding three-dimensional acoustic space defined in the localization control table. When the determination means determines that the information acquired by the analysis means and the information acquired by the analysis means are not information related to the contents of the music defined in the localization control table, without performing the processing for localization a sound image in the three-dimensional acoustic space by the sound image localization processing unit, the music to the reproduction means It is intended to operate as a means for starting reproduction of the over data.
このような本発明の楽曲再生装置及び楽曲再生プログラムによれば、楽音の分析結果を立体音響の音像の定位に反映させて再生することにより、効率の良い楽曲解釈が可能となる。すなわち、従来と同じ聴覚のみで、一回の再生を行う時間も同じでありながら、定位による付加情報が追加されているために、ユーザがあらかじめその定位の仕方の意味を知っていれば、その曲の内容に関する各種情報(曲のジャンル、演奏時間、好みのフレーズの有無、パートなど)を容易に知ることができる。
このことは、大量の音楽配信を受けて、様々な曲を聴くときなどに便利である。
また、ユーザが自分で定位方法を設定することができるため、自動的に、最も適した定位、又はユーザが好む定位とすることができる。
According to such a music playback device and music playback program of the present invention, efficient music interpretation can be performed by reflecting the analysis result of the musical sound in the localization of the sound image of the stereophonic sound. In other words, only the same hearing as before, the time for one playback is the same, but additional information by localization is added, so if the user knows the meaning of the localization method in advance, Various information related to the contents of the song (song genre, performance time, presence / absence of a favorite phrase, part, etc.) can be easily known.
This is convenient when listening to various songs after receiving a large amount of music distribution.
Further, since the user can set the localization method by himself, the most suitable localization or the localization preferred by the user can be automatically performed.
図1は、本発明の楽曲再生装置の一実施の形態の要部構成を示す機能ブロック図である。本発明の楽曲再生装置は、携帯電話などの移動端末、携帯音楽再生機、AV機能を有するパーソナルコンピュータなど各種の装置に適用することができるが、図1には、携帯電話などの移動端末である場合を示している。
図1において、10は楽曲再生装置(移動端末)、11は楽曲再生装置10全体の動作を制御する制御部(CPU)、12は各種制御プログラムやデータを記憶するROM及びRAMからなるメモリ、13は楽曲データを記憶する楽曲情報保持部、14は各種タイミング信号を出力するタイマ、15は前記楽曲情報保持部13に記憶されている楽曲データからその内容に関する情報を取得する楽曲分析部、16は表示部21に各種情報を表示するための表示制御部、17は前記楽曲情報保持部13に記憶されている楽曲データに含まれている演奏情報を再生してスピーカ22へ出力する演奏制御部、18は操作器23からの操作信号を入力する操作部、19は通信部、20はアンテナ、21は液晶表示部などの表示部、22は少なくとも2個設けられ前記演奏制御部17からの演奏情報を立体再生することができるスピーカ(又はヘッドフォン)、23は各種操作情報を入力する操作キーなどの操作器、24は各種データを転送するためのバスである。
FIG. 1 is a functional block diagram showing a main configuration of an embodiment of a music reproducing device according to the present invention. The music reproducing device of the present invention can be applied to various devices such as a mobile terminal such as a mobile phone, a portable music player, and a personal computer having an AV function. FIG. 1 shows a mobile terminal such as a mobile phone. It shows a case.
In FIG. 1, 10 is a music playback device (mobile terminal), 11 is a control unit (CPU) for controlling the overall operation of the
前記楽曲情報保持部13に記憶される楽曲データとしては、SMF(Standard MIDI File)、SMAF(Synthetic music Mobile Application Format)等の演奏情報(シーケンスデータ)を含むデータが基本であるが、オーディオデータ(MP3(MPEG Audio Layer-3)、AAC(MPEG-2 Audio AAC (Advanced Audio Coding))などのオーディオ圧縮フォーマットデータ)であってもよい。そして、この楽曲データは、元々ステレオ、あるいは3D音響のフォーマットのデータであってもよいし、全くのモノラルのデータであってもよい。
また、前記楽曲分析部15は、前記CPU11によるソフトウェア処理によって実現するようにしてもよい。
さらに、前記演奏制御部17は前記楽曲データを再生することができる音源部であり、FM音源、WT(Wave Table)音源、MP3デコーダなどのデコーダ、あるいは、それらの複合音源を備えている。
The music data stored in the music
Further, the
Further, the
図2は、前記図1に記載された移動端末である楽曲再生装置が接続されるシステムの全体構成を示す図である。
この図において、1、2及び3は、前記図1に示した移動端末10であり、基地局4を介して、インターネットなどの大規模ネットワーク5に接続することができるようになされている。大規模ネットワーク5には配信サーバ6及び7が接続されており、前記移動端末1〜3は、該配信サーバ6又は7から、楽曲データをダウンロードして、前記楽曲情報保持部13(図1)に記憶し、前記演奏制御部17を用いて再生することができるようになされている。
FIG. 2 is a diagram showing an overall configuration of a system to which the music reproducing apparatus which is the mobile terminal described in FIG. 1 is connected.
In this figure, 1, 2 and 3 are the
図3は、前記演奏制御部17の詳細な構成を示す図である。
演奏制御部17において、31は前記バス24に接続された第1のインターフェース回路、32は該第1のインターフェース回路31を介して入力される演奏情報(シーケンスデータ)が格納される第1のFIFO(First in first out)バッファ、33は該第1のバッファ32を介して演奏情報を受け取り、該演奏情報中のデュレーションデータにより指定されるタイミングでイベントデータを音源34に出力するシーケンサ、34は前記シーケンサ33から供給される演奏情報(イベントデータ)に基づいて対応する楽音を生成する音源、35は前記音源34から入力される楽音信号又は後述するMP3デコーダ38からの楽音信号に対して、前記第1のインターフェース回路31を介して入力される音像定位制御用信号(3D制御用信号)に基づいて音像定位処理を行う音像定位処理回路(3D回路)である。
また、36は前記バス24に接続された第2のインターフェース回路、37は該第2のインターフェース回路36を介して供給されるオーディオ圧縮フォーマットデータ(この例では、MP3データ)を格納する第2のFIFOバッファ、38は前記第2のバッファ37から供給されるMP3データをデコードして前記音像定位処理回路35に出力するMP3デコーダである。
さらに、39は前記音像定位処理回路35から出力されるディジタルオーディオ信号をアナログ信号に変換するA/D変換器(DAC)であり、該DAC39の出力信号が増幅されて前記ステレオのスピーカ22から出力されることとなる。
FIG. 3 is a diagram showing a detailed configuration of the
In the
図4は、前記音像定位処理回路35の構成例を示すブロック図である。
図示するように音像定位処理回路35は、第1の入力信号ch1とLチャンネルの出力Loutとの間に設けられたFIRフィルタ41、第2の入力信号ch2とLoutとの間に設けられたFIRフィルタ42、ch1とRチャンネルの出力Routとの間に設けられたFIRフィルタ43、及び、ch2とRoutとの間に設けられたFIRフィルタ44により構成されている。そして、音像を配置したい位置に対応して予め用意されているフィルタ係数(HRTF:頭部伝達関数)を前記FIRフィルタ41〜44に設定することにより、聴取者の周りの任意の位置(3次元)から音が出ているように聞こえるようにすることができる。ここで、HRTF(Head Related Transfer Function)は、音源から聴取者の鼓膜までの音の伝達特性を表した伝達関数であり、人が音像を判断するための、両耳に届く時間誤差や周波数特性などの情報を包括しているものである。
なお、図4には、入力が2チャンネルの場合を示しているが、1チャンネルでも、もっと多いチャンネルでも構成を変えることにより可能である。定位は、各々のチャンネルで単独に行うことができる。例えば、図4において、ch1は右、ch2は正面というように各チャンネルで独立に仮想音源位置を配置することができる。
FIG. 4 is a block diagram showing a configuration example of the sound image
As illustrated, the sound image
Although FIG. 4 shows a case where the input is two channels, it is possible to change the configuration of one channel or more channels. Localization can be performed independently for each channel. For example, in FIG. 4, the virtual sound source position can be independently arranged in each channel such that ch1 is on the right and ch2 is on the front.
このように構成された楽曲再生装置10において、前記操作器23の操作などにより前記楽曲情報保持部13に記憶されている楽曲の再生が指示されると、前記楽曲分析部15は、その楽曲データからその楽曲の内容に関する情報を取得し、前記CPU11は、該取得した楽曲の内容に関する情報に応じて決定される定位方法でその楽曲の再生を開始する。このように、楽曲の分析結果を立体音響の音像の定位に反映させて再生することにより、効率の良い楽音解釈が可能となる。
In the
ここで、楽曲の内容に関する情報の取得方法としては、(1)楽曲データに付属する属性情報から取得する方法、及び、(2)楽曲データの演奏情報又はオーディオデータそのものを分析して取得する方法の2通りがある。
(1)楽曲データ付属情報
例えば、SMAFファイルのコンテンツ・インフォ・チャンクなどには、ジャンル名、アーティスト名、作成日時などの各種情報を格納することができるようになされており、このデータからジャンル等の情報を取得することができる。また、オーディオデータファイルにも各種情報を格納した属性情報が付属している場合があり、この属性情報からジャンル等の情報を取得することができる。
また、SMAFファイルには、Aメロ、Bメロ、サビなどの区間に対応したアドレスが入れられるようになっており、また、チャンネルごとに、メロディ、リズム等が指定できるようになっている。これらの情報が格納されていれば、それを利用して、演奏の構成に関する情報を取得することができる。
(2)演奏情報の分析
楽曲再生指示があると、楽曲分析部15がシーケンスデータ又はオーディオデータの全体をサーチし、所定のアルゴリズムで演奏時間、高頻度のフレーズなどを抽出する。そして、その情報を前記CPU11に送る。
なお、一度、情報を取得すれば、その楽曲データに対応付けて記憶しておき、次回以降に再生するときには、その情報を使用するようにする。
Here, as a method for acquiring information related to the contents of the music, (1) a method for acquiring from the attribute information attached to the music data, and (2) a method for analyzing and acquiring performance information of the music data or the audio data itself. There are two ways.
(1) Music Data Attached Information For example, various information such as genre name, artist name, creation date and time can be stored in the content info chunk of the SMAF file. Information can be acquired. Also, attribute information storing various information may be attached to the audio data file, and information such as genre can be acquired from this attribute information.
The SMAF file can contain addresses corresponding to sections such as A melody, B melody, and chorus, and a melody, rhythm, etc. can be designated for each channel. If these pieces of information are stored, it is possible to obtain information on the composition of the performance.
(2) Analysis of performance information When a music playback instruction is given, the
Once the information is acquired, it is stored in association with the music data, and the information is used for the next playback.
また、定位方法としては、(A)楽曲自体(楽曲全体)を定位させる、(B)楽曲の特定区間(フレーズ又はパート)の定位を移動させる、(C)楽曲の構成部分(区間、パート、特定部分)に応じて定位を分割して配置する、及び、(D)楽曲の途中で定位の分割、結合を行う、の各種の方法がある。 As a localization method, (A) the music itself (the whole music) is localized, (B) the localization of a specific section (phrase or part) of the music is moved, and (C) a constituent part of the music (section, part, There are various methods in which the localization is divided and arranged according to the specific part), and (D) the localization is divided and combined in the middle of the music.
上記情報取得方法で取得された楽曲の内容に関する情報と上述した定位方法とを組み合わせることにより、楽曲に関する種々の情報を表現することができる。これらの例について、図5を参照して説明する。
図5の(A)は楽曲自体(楽曲全体)を定位させる場合を示す図である。この例では、聴取者の右に定位が置かれている。
例えば、楽曲データに付属している属性情報から演歌、J−POPなどのジャンル情報を取得し、演歌は真右、J−POPは右45°、ROCKは真左などというように定位させて再生する。
あるいは、前記楽曲分析部15により演奏情報を直接分析して、例えば、演奏時間が30秒以下であれば真右、30秒以上1分以下であれば正面、それ以上であれば真左というように定位を決定する。
さらに、演奏情報から頻度の高いフレーズを抽出し、演奏情報の分類情報とフレーズの対応関係を記憶したデータベースを使って、抽出したフレーズをキーに分類情報を検索し、検索された分類情報に応じて定位を決定する(ジャンル分析)。例えば、最高頻度のフレーズが、「♪:ド、♪:レ、♪:ミ」の場合、定位を右にする。
さらにまた、そのユーザの過去の利用情報を基に、ユーザの嗜好に近いものかどうかを分析し、嗜好度を評価する。例えば、ユーザが過去に利用したなかで頻度の高いものを嗜好度の目安として使用する。ジャンル「演歌」がユーザに好まれていると判断できれば、演歌の演奏情報は定位を右に置いて再生する(嗜好分析)。
このように、楽曲の分析結果や付属する属性情報を、楽曲を再生するときの定位に反映することができる
By combining the information related to the content of the music acquired by the information acquisition method and the localization method described above, various information related to the music can be expressed. These examples will be described with reference to FIG.
(A) of FIG. 5 is a figure which shows the case where the music itself (the whole music) is localized. In this example, the localization is placed to the right of the listener.
For example, genre information such as enka and J-POP is acquired from the attribute information attached to the music data, and enka is played to the right, J-POP is right 45 °, ROCK is right, etc. To do.
Alternatively, performance information is directly analyzed by the
In addition, a frequently used phrase is extracted from the performance information, and the database that stores the correspondence between the performance information classification information and the phrase is used to search the classification information using the extracted phrase as a key, and according to the retrieved classification information. To determine the localization (genre analysis). For example, if the most frequently used phrase is “♪: de, ♪: le, ♪: mi”, the localization is set to the right.
Furthermore, based on the user's past usage information, it is analyzed whether or not the user's preference is close, and the preference level is evaluated. For example, a frequently used item used by the user in the past is used as a measure of preference. If it can be determined that the genre “Enka” is preferred by the user, the performance information of the Enka is played with the localization on the right (preference analysis).
In this way, music analysis results and attached attribute information can be reflected in the localization when playing music.
図5の(B)は楽曲の特定部分(フレーズ又はパート)の定位を移動させる場合の例を示す図である。この場合は、特定のフレーズの再生、又は、特定のパートについて、図示するように、音像位置を聴取者の周りを一周するように移動させている。これにより、楽音の時間情報を定位の移動に反映させることができる。
例えば、楽曲データに付属する属性情報を使用し、定位を移動させる。これにより、今、特定フレーズであることがはっきりわかる。特定フレーズの繰り返しなど、演奏情報の構成情報が付属する場合は、各フレーズ区間の演奏時間でそのフレーズを含むパートの定位を一周させる。また、特定フレーズが無く繰り返しのないパートについては、演奏の最初から最後までかけて定位を一周させる。
あるいは、演奏情報を直接分析して、時間情報、演奏情報の構成情報を取得する。例えば、特定フレーズの繰り返し状態などをパート別に分析し、フレーズにより演奏情報の構成の分析ができた場合には、上述と同様に定位を一定速度で一周させる。なお、一周は純粋な円運動でなくとも、移動状態を利用者が認識し、時間推移状態を意識できるような対称性のある起動であれば、円、楕円、正多角形、立体など、どのようなものでもよい。
(B) of FIG. 5 is a figure which shows the example in the case of moving the localization of the specific part (phrase or part) of a music. In this case, for the reproduction of a specific phrase or for a specific part, the sound image position is moved around the listener as shown in the figure. As a result, the time information of the musical sound can be reflected in the localization movement.
For example, the localization is moved using attribute information attached to the music data. This clearly shows that the phrase is now a specific phrase. When composition information of performance information such as repetition of a specific phrase is attached, the localization of the part including the phrase is made to circulate in the performance time of each phrase section. For parts that do not have a specific phrase and are not repeated, the panning is made from the beginning to the end of the performance.
Alternatively, performance information is directly analyzed to obtain time information and composition information of performance information. For example, the repetition state of a specific phrase is analyzed for each part, and when the composition of performance information can be analyzed by the phrase, the localization is rotated at a constant speed as described above. In addition, even if it is not a pure circular motion, if it is a symmetrical activation that allows the user to recognize the movement state and be aware of the time transition state, it can be any circle, ellipse, regular polygon, solid, etc. Something like that.
図5の(C)は曲の構成部分で定位を分割して配置する場合の例を示す図である。
楽曲データに構成情報が付属する場合は、その情報を使用して、定位を分割させるための情報を取得する。あるいは、演奏情報を直接分析して、演奏の構成情報を取得する。
例えば、(1)Aメロは右、Bメロは左、サビは正面に定位を置く(例1)。あるいは、(2)リズムパートは右、メロディーパートは左に定位を置く(例2)。さらに、(3)類似フレーズは右、ランダムフレーズは左に、(4)コードの協和性において、協和部分は右、不協和部分は左に、などとすることもできる。
このように、楽音の構成情報を定位の分割に反映させることができる。
FIG. 5C is a diagram showing an example of the case where the localization is divided and arranged in the constituent parts of the music.
When composition information is attached to music data, the information is used to acquire information for dividing the localization. Alternatively, performance information is directly analyzed to obtain performance configuration information.
For example, (1) A melody is placed on the right, B melody on the left, and rust on the front (Example 1). Alternatively, (2) the rhythm part is placed on the right and the melody part is placed on the left (example 2). Further, (3) a similar phrase can be set to the right, a random phrase can be set to the left, and (4) in the synergisticity of the chord, the cooperative part can be set to the right, the non-consonant part can be set to the left, etc.
In this way, the composition information of the musical sound can be reflected in the localization division.
図5の(D)は曲の途中で定位を分割又は結合させる場合の例を示す図である。
この場合は、定位を移動させながら分割と結合のタイミングで時間を表現する。例えば、図示するように、フェードイン中には左右に別れていた音像を結合して正面に置き、フェードアウト中には左右に分割させる。このようにフェードイン/アウト部分で、定位の分割/結合を行うことにより、あとどの位で演奏が終了するのかといったことがわかる。すなわち、定位の分割から結合で時間情報を表現することができる。
楽曲データに構成情報(例えば、フェードイン、フェードアウトのタイミングの情報)が付属する場合は、直接その情報を使用し、定位を分割又は結合させるための情報を取得する。また、演奏情報を直接分析して、演奏の構成情報を取得する。
このように、定位を移動させながら、分割と結合のタイミングで時間を表現することができる。
(D) of FIG. 5 is a figure which shows the example in the case of dividing or combining a localization in the middle of a music.
In this case, time is expressed by the timing of division and combination while moving the localization. For example, as shown in the figure, sound images that have been separated into left and right during fade-in are combined and placed on the front, and divided into left and right during fade-out. In this way, by dividing / combining the localization at the fade-in / out portion, it can be seen how long the performance is to end. In other words, time information can be expressed by combining from localization division.
When composition information (for example, fade-in / fade-out timing information) is attached to the music data, the information is directly used to obtain information for dividing or combining the localization. Also, performance information is directly analyzed to obtain performance configuration information.
In this way, time can be expressed at the timing of division and combination while moving the localization.
次に、上述のような処理を行うために、前記CPU11により実行される処理について、図6に示す定位制御テーブル及び図7に示すフローチャートを参照して説明する。
図6は、定位制御テーブルの一例を示す図であり、この図に示すように、定位制御テーブルには、楽曲の分析により取得された楽曲の内容とそれに対応する定位方法及び優先順位が定義されている。この定位制御テーブルは、前記楽曲情報保持部13又は前記メモリ12に記憶されており、前記CPU11は、この定位制御テーブルを参照して、前記楽曲分析部15により分析された楽曲の内容に応じた定位方法を決定している。なお、この定位制御テーブルの内容は、前記操作器23等を用いてユーザが任意に変更することができるようになされている。
図6に示した例では、第1番目の優先順位として、特定のフレーズ(フレーズ1、2)があるときに、そのフレーズの定位を移動(一周)させることが定義されており、第2番目の優先順位として、ジャンル(演歌、J−POP)に応じて定位を右又は左に設定することが定義されており、第3番目の優先順位として、その他のジャンルのときは、曲の構成部分(リズムパート、メロディパート、その他パート)に応じて定位を右、正面、左に分割して配置することが定義されている。
Next, the processing executed by the
FIG. 6 is a diagram showing an example of the localization control table. As shown in this figure, the localization control table defines the contents of the music acquired by analyzing the music, the localization method and priority corresponding to the contents. ing. The localization control table is stored in the music
In the example shown in FIG. 6, as the first priority, it is defined that when there is a specific phrase (
図7は、前記CPU11により実行される処理の流れを示すフローチャートである。
ユーザにより前記楽曲情報保持部13に記憶されている楽曲データが指定され、その再生が指示されると、前記CPU11はその楽曲データを分析することを楽曲分析部15に指示し、その楽曲に内容に関する情報を取得する(ステップS1)。この分析は、上述のように、(1)楽曲データに付属している属性情報などから取得する方法、及び、(2)演奏情報を分析してその楽曲の内容に関する情報を取得する方法の2通りがあり、そのいずれか一方又は両方によりその楽曲の内容に関する情報(ジャンル、演奏の構成に関する情報、演奏時間、所定のフレーズが含まれているか否か、等々の情報)を取得する。
次に、CPU11は、ステップS1で取得された曲の内容を表す情報が、前記定位制御テーブル中に定義されている情報であるか否かを判定する(ステップS2)。
その結果、前記定位制御テーブルに記録されている情報が取得されていたときは、その曲の楽曲データを順次前記演奏制御部17に送って、その再生を開始する(ステップS3)とともに、前記定位制御テーブルに定義されている定位方法を実行するための3D制御用信号を前記音像定位処理回路35に送る(ステップS4)。このステップS3とS4を楽曲の終了まで繰り返して、その曲の再生を終了する。
一方、前記ステップS2の判定の結果、前記定位制御テーブルにおいて設定されている情報が取得されていなかったと判定されたときは、曲の内容に応じた定位の制御をすることなく通常通りの楽曲データの再生を行う(ステップS6,S7)。
このようにして、前記定位制御テーブルを参照して、楽曲の内容に応じた定位をもってその楽曲を再生することができ、ユーザはその楽曲の解釈を容易に行うことができる。
FIG. 7 is a flowchart showing a flow of processing executed by the
When the music data stored in the music
Next, the
As a result, when the information recorded in the localization control table is acquired, the music data of the song is sequentially sent to the
On the other hand, as a result of the determination in step S2, if it is determined that the information set in the localization control table has not been acquired, normal music data without performing localization control according to the content of the music Is reproduced (steps S6 and S7).
In this way, with reference to the localization control table, the music can be reproduced with a localization according to the content of the music, and the user can easily interpret the music.
なお、各楽曲の内容に関する情報に基づく定位方法として前記図5に示したものは単なる例であり、これに限られることはなく、任意の定位情報を設定することができる。
また、定位を制御するための各種情報、例えば、図6の定位制御テーブルの全部又は一部を楽曲データに付属させ、通信部19等を介して他の同様の端末へ送信してもよい。送信された端末では、同様の定位で楽曲を再生することができる。
Note that the localization method based on the information related to the contents of each piece of music is shown in FIG. 5 as an example, and is not limited to this, and any localization information can be set.
Various information for controlling localization, for example, all or part of the localization control table in FIG. 6 may be attached to the music data and transmitted to other similar terminals via the
10:楽曲再生装置、11:制御部(CPU)、12:メモリ、13:楽曲情報保持部、14:タイマ、15:楽曲分析部、16:表示制御部、17:演奏制御部、18:操作部、19:通信部、20:アンテナ、21:表示部、22:スピーカ、23:操作器、31,36:インターフェース回路、32,37:FIFOバッファ、33:シーケンサ、34:音源、35:音像定位処理回路、38:デコーダ、39:D/A変換器、41〜44:FIRフィルタ 10: Music playback device, 11: Control unit (CPU), 12: Memory, 13: Music information holding unit, 14: Timer, 15: Music analysis unit, 16: Display control unit, 17: Performance control unit, 18: Operation Unit: 19: communication unit, 20: antenna, 21: display unit, 22: speaker, 23: controller, 31, 36: interface circuit, 32, 37: FIFO buffer, 33: sequencer, 34: sound source, 35: sound image Localization processing circuit, 38: decoder, 39: D / A converter, 41-44: FIR filter
Claims (9)
楽曲データを再生する再生手段と、
前記再生手段から出力される楽音信号に対して、制御信号に基づいて3次元音響空間内の任意の位置に立体音響として音像を定位させる処理を行う音像定位処理手段と、
楽曲の内容とそれに対応する立体音響としての音像を3次元音響空間内に定位させる定位方法が定義されている定位制御テーブルであって、その内容をユーザが任意に変更することが可能な定位制御テーブルと、
前記楽曲データの再生が指示されたときに、その楽曲データからその楽曲の内容に関する情報を取得する分析手段と、
前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であるか否かを判定する手段と、
前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であると前記判定する手段において判定されたときに、前記再生手段にその楽曲データの再生を開始させるとともに、前記音像定位処理手段に前記定位制御テーブルに定義されている対応する3次元音響空間における音像の定位方法を実行するための制御信号を送る手段と、
前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報でないと前記判定する手段において判定されたときに、前記音像定位処理手段による3次元音響空間における音像の定位処理を行うことなく、前記再生手段にその楽曲データの再生を開始させる手段と
を有することを特徴とする楽曲再生装置。 Storage means for storing music data;
Playback means for playing music data;
Sound image localization processing means for performing processing for localizing a sound image as a three-dimensional sound at an arbitrary position in a three-dimensional acoustic space based on a control signal with respect to a musical sound signal output from the reproduction means;
A localization control table in which a localization method for defining the content of a song and a sound image corresponding to the corresponding three-dimensional sound in a three-dimensional acoustic space is defined, and the content can be arbitrarily changed by the user Table,
An analysis means for obtaining information on the content of the music from the music data when the reproduction of the music data is instructed;
Means for determining whether or not the information acquired by the analyzing means is information relating to the content of the music defined in the localization control table;
When information obtained is determined in the determining means that the information about the contents of the music which is defined in the localization control table by the analyzing means, to start reproduction of the music data to the reproduction means And a means for sending a control signal for executing a sound image localization method in a corresponding three-dimensional acoustic space defined in the localization control table to the sound image localization processing means;
When the determination means determines that the information acquired by the analysis means is not information related to the contents of the music defined in the localization control table, the sound image in the three-dimensional acoustic space by the sound image localization processing means is determined . A music playback apparatus comprising: means for causing the playback means to start playback of the music data without performing a localization process.
コンピュータを、
前記楽曲データの再生が指示されたときに、その楽曲データからその楽曲の内容に関する情報を取得する分析手段、
前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であるか否かを判定する手段、
前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報であると前記判定する手段において判定されたときに、前記再生手段にその楽曲データの再生を開始させるとともに、前記音像定位処理手段に前記定位制御テーブルに定義されている対応する3次元音響空間における音像の定位方法を実行するための制御信号を送る手段、及び、
前記分析手段により取得された情報が前記定位制御テーブル中に定義されている楽曲の内容に関する情報でないと前記判定する手段において判定されたときに、前記音像定位処理手段による3次元音響空間における音像の定位処理を行うことなく、前記再生手段にその楽曲データの再生を開始させる手段
として動作させることを特徴とする楽曲再生プログラム。 A storage means for storing music data, a playback means for playing back music data, and a sound image output from the playback means as a three-dimensional sound image at an arbitrary position in a three-dimensional sound space based on a control signal a sound image localization processing means for processing to localize a, a localization control table localization method for localizing a sound image as a stereophonic corresponding thereto and contents of the music to the stereophonic sound space is defined, its content A music playback program in a music playback device having a localization control table that can be arbitrarily changed by a user,
Computer
Analysis means for obtaining information on the content of the music from the music data when an instruction to reproduce the music data is given;
Means for determining whether or not the information acquired by the analyzing means is information relating to the content of the music defined in the localization control table;
When information obtained is determined in the determining means that the information about the contents of the music which is defined in the localization control table by the analyzing means, to start reproduction of the music data to the reproduction means And a means for sending a control signal for executing a sound image localization method in a corresponding three-dimensional acoustic space defined in the localization control table to the sound image localization processing means; and
When the determination means determines that the information acquired by the analysis means is not information related to the contents of the music defined in the localization control table, the sound image in the three-dimensional acoustic space by the sound image localization processing means is determined . A music reproduction program that causes the reproduction means to start reproduction of the music data without performing a localization process.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005015232A JP4397330B2 (en) | 2005-01-24 | 2005-01-24 | Music playback device and music playback program |
KR1020060006690A KR100664637B1 (en) | 2005-01-24 | 2006-01-23 | Music player and playing method thereof, and computer-readable recording medium |
CN2006100062889A CN1811910B (en) | 2005-01-24 | 2006-01-24 | Apparatus and method of music regeneration |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2005015232A JP4397330B2 (en) | 2005-01-24 | 2005-01-24 | Music playback device and music playback program |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008104704A Division JP4462368B2 (en) | 2008-04-14 | 2008-04-14 | Music playback device and music playback program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2006201655A JP2006201655A (en) | 2006-08-03 |
JP4397330B2 true JP4397330B2 (en) | 2010-01-13 |
Family
ID=36844793
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2005015232A Expired - Fee Related JP4397330B2 (en) | 2005-01-24 | 2005-01-24 | Music playback device and music playback program |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP4397330B2 (en) |
KR (1) | KR100664637B1 (en) |
CN (1) | CN1811910B (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101681663B (en) * | 2007-05-22 | 2013-10-16 | 皇家飞利浦电子股份有限公司 | A device for and a method of processing audio data |
JP5050721B2 (en) * | 2007-08-06 | 2012-10-17 | ソニー株式会社 | Information processing apparatus, information processing method, and program |
-
2005
- 2005-01-24 JP JP2005015232A patent/JP4397330B2/en not_active Expired - Fee Related
-
2006
- 2006-01-23 KR KR1020060006690A patent/KR100664637B1/en not_active IP Right Cessation
- 2006-01-24 CN CN2006100062889A patent/CN1811910B/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
KR20060085577A (en) | 2006-07-27 |
KR100664637B1 (en) | 2007-01-04 |
CN1811910A (en) | 2006-08-02 |
JP2006201655A (en) | 2006-08-03 |
CN1811910B (en) | 2010-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2006195385A (en) | Device and program for music reproduction | |
WO2005104088A1 (en) | Music composition reproduction device and composite device including the same | |
US20120308014A1 (en) | Audio playback device and method | |
JP2009093779A (en) | Content reproducing device and contents reproducing method | |
JP2007199220A (en) | Electronic musical instrument and music information providing server | |
JP2019533195A (en) | Method and related apparatus for editing audio signals using isolated objects | |
KR20040077784A (en) | Music retrieval system for joining in with the retrieved piece of music | |
JP4489650B2 (en) | Karaoke recording and editing device that performs cut and paste editing based on lyric characters | |
JP4397330B2 (en) | Music playback device and music playback program | |
JP4462368B2 (en) | Music playback device and music playback program | |
JP2016157086A (en) | Lyrics voice output device, lyrics voice output method, and program | |
WO2007060605A2 (en) | Device for and method of processing audio data items | |
JP2005285285A (en) | Content read system and musical piece reproduction apparatus | |
KR20180099375A (en) | Method of searching highlight in multimedia data and apparatus therof | |
JP2007158985A (en) | Apparatus and program for adding stereophonic effect in music playback | |
WO2007088490A1 (en) | Device for and method of processing audio data | |
JP2000195234A (en) | Reproducing device and method | |
US11740862B1 (en) | Method and system for accelerated decomposing of audio data using intermediate data | |
JP6810773B2 (en) | Playback device, playback method, and program | |
JPH10319977A (en) | Karaoke (sign-along machine) playing device and portable test hearing terminal for karaoke | |
KR100775188B1 (en) | Method for mixing music file and terminal using the same | |
JP2006252051A (en) | Musical sound information provision system and portable music reproduction device | |
JP2005300578A (en) | Music content distribution system | |
WO2020208811A1 (en) | Reproduction control device, program, and reproduction control method | |
JP2016157087A (en) | Music reproduction system, server, music data providing method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060524 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071030 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080212 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080414 |
|
A911 | Transfer of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080423 |
|
A912 | Removal of reconsideration by examiner before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20080725 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091020 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121030 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131030 Year of fee payment: 4 |
|
LAPS | Cancellation because of no payment of annual fees |