JP5742472B2 - Data retrieval apparatus and program - Google Patents
Data retrieval apparatus and program Download PDFInfo
- Publication number
- JP5742472B2 JP5742472B2 JP2011118516A JP2011118516A JP5742472B2 JP 5742472 B2 JP5742472 B2 JP 5742472B2 JP 2011118516 A JP2011118516 A JP 2011118516A JP 2011118516 A JP2011118516 A JP 2011118516A JP 5742472 B2 JP5742472 B2 JP 5742472B2
- Authority
- JP
- Japan
- Prior art keywords
- search
- data
- feature
- search condition
- musical sound
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Electrophonic Musical Instruments (AREA)
Description
本発明は、楽音波形信号を検索する技術に関する。 The present invention relates to a technique for searching for musical sound waveform signals.
断片的な音素材をデータベースに記憶し、この音素材を組み合わせて楽音を発生させる技術がある。楽音を発生させるときに用いる音素材は、データベースに登録された多数の音素材から選択されることになる。そのため、ユーザが所望する音素材を選択しやすくするために、これらの多数の音素材から一部の音素材に絞り込む検索処理を行う技術が開発されている。例えば、特許文献1には、ユーザが音素材を検索条件として指定することにより、データベースに登録された音素材から、この検索条件に類似した音素材を検索して、検索結果を表示する技術が記載されている。
There is a technology for storing pieces of sound material in a database and generating musical sounds by combining these sound materials. The sound material used when generating a musical sound is selected from a large number of sound materials registered in the database. For this reason, in order to make it easier for the user to select a desired sound material, a technique for performing a search process for narrowing down from these many sound materials to some sound materials has been developed. For example,
このようにして検索された結果としての音素材は、検索条件に類似する順に複数表示される。ユーザは、この複数表示された検索結果から所望する音素材を選択することになる。このとき、ユーザの感覚に近い類似順で検索結果が表示されると、音素材の選択も容易に行うことができるが、必ずしもそのような類似順で表示されるとは限らない。そのため、ユーザは、自らが想定する類似順で検索結果が表示されるように、様々な検索条件を指定してみて試行錯誤する必要があった。 A plurality of sound materials obtained as a result of the search are displayed in the order similar to the search condition. The user selects a desired sound material from the plurality of displayed search results. At this time, if the search results are displayed in a similar order close to the user's sense, the sound material can be easily selected, but it is not always displayed in such a similar order. Therefore, the user has to make trial and error by specifying various search conditions so that the search results are displayed in the order of similarity assumed by the user.
本発明は、上述の事情に鑑みてなされたものであり、ユーザの想定に近い音素材が検索結果として得られるようにすることを目的とする。 The present invention has been made in view of the above circumstances, and an object thereof is to obtain a sound material close to a user's assumption as a search result.
上述の課題を解決するため、本発明は、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をするデータ検索装置であって、第1の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、前記第1の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、類似度の計算方法が含まれる第2の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、前記第2の検索条件が示す検索アルゴリズムを用いて、前記第1の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、前記第1の検索条件、前記第2の検索条件に含まれる前記類似度の計算方法、及び前記特徴量の重みの設定を選択する検索条件設定を表示手段に表示させ、前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段とを具備することを特徴とするデータ検索装置を提供する。 In order to solve the above-described problem, the present invention uses a database in which musical sound data indicating a musical sound waveform signal and characteristic data indicating a plurality of types of characteristic values of the musical sound waveform signal are registered in association with each other. A data search device that performs a search based on a specified search condition, wherein the first search condition is condition determining means for determining a plurality of types of feature quantities, and the feature is similar to the first search condition. Algorithm determining means for determining the search algorithm as a second search condition including a method for calculating similarity from a plurality of search algorithms each indicating a search method for quantity data, and a search algorithm indicated by the second search condition using a feature identifying means for identifying and searching the feature data similar to the first search condition from the database, the first search condition, Calculation of the degree of similarity contained in the serial second search condition, and is displayed on the display means the search condition setting for selecting the set of weights of the feature amount, corresponding to the feature data identified by the feature identifying unit There is provided a data search apparatus comprising display control means for displaying information indicating musical tone data to be displayed on a display means as a search result.
また、別の好ましい態様において、前記表示手段に表示された情報に対応する前記楽音データから、前記ユーザによって選択された前記楽音データを特定する楽音特定手段と、前記楽音特定手段によって特定された楽音データに対応する特徴量データと前記第1の検索条件とにおける前記特徴量の関係に基づいて、前記第2の検索条件として決定された検索アルゴリズムの更新をする更新手段とをさらに具備し、前記特徴特定手段は、前記第1の検索条件に類似する複数の前記特徴量データを特定し、前記表示制御手段は、前記特徴特定手段によって特定された複数の前記特徴量データに対応する楽音データを示す情報を、当該特徴量データと前記第1の検索条件との類似度に基づく態様で、前記表示手段に表示させることを特徴とする。 In another preferred embodiment, the musical sound specifying means for specifying the musical sound data selected by the user from the musical sound data corresponding to the information displayed on the display means, and the musical sound specified by the musical sound specifying means. Update means for updating the search algorithm determined as the second search condition based on the feature quantity relationship between the feature quantity data corresponding to the data and the first search condition, The feature specifying unit specifies a plurality of feature amount data similar to the first search condition, and the display control unit outputs musical sound data corresponding to the plurality of feature amount data specified by the feature specifying unit. Information to be displayed is displayed on the display means in a manner based on the similarity between the feature amount data and the first search condition.
また、別の好ましい態様において、前記複数の検索アルゴリズムには、前記第1の検索条件に類似する特徴量データを、種類毎の前記特徴量の距離と種類毎に決められた重みとに基づいて検索する方法を示す前記検索アルゴリズムが含まれ、前記更新手段は、前記重みを変更することにより前記検索アルゴリズムの更新をすることを特徴とする。 In another preferable aspect, the plurality of search algorithms include feature data similar to the first search condition based on a distance of the feature data for each type and a weight determined for each type. The search algorithm indicating a search method is included, and the updating means updates the search algorithm by changing the weight.
また、別の好ましい態様において、前記楽音特定手段によって楽音データが特定されると、前記条件決定手段は、前記楽音特定手段によって特定された楽音データに対応する特徴量データに基づいて、前記第1の検索条件を更新し、前記アルゴリズム決定手段は、前記更新手段によって更新された検索アルゴリズムを前記第2の検索条件として更新し、前記特徴特定手段は、更新された前記第2の検索条件が示す検索方法により、更新された前記第1の検索条件に類似する前記特徴量データを前記データベースから検索して特定することを特徴とする。 In another preferred aspect, when the musical sound data is specified by the musical sound specifying means, the condition determining means is configured to perform the first determination based on feature data corresponding to the musical sound data specified by the musical sound specifying means. The algorithm determining means updates the search algorithm updated by the updating means as the second search condition, and the feature specifying means indicates the updated second search condition. The feature data similar to the updated first search condition is searched from the database and specified by a search method.
また、別の好ましい態様において、前記更新手段は、前記第2の検索条件が予め決められた前記検索アルゴリズムである場合に、前記更新を行うことを特徴とする。
また、別の好ましい態様において、前記条件決定手段は、ユーザにより前記複数種類の特徴量の分類を示すカテゴリが指定されると、指定された前記カテゴリにおける各種類の前記特徴量を、前記第1の検索条件として決定し、前記特徴特定手段は、前記指定された前記カテゴリに応じて、前記第1の検索条件に類似する前記特徴量データを、前記データベースから検索して特定することを特徴とする。
また、別の好ましい態様において、前記条件決定手段は、ユーザにより指定された前記複数種類の各種類の前記特徴量を、前記第1の検索条件として決定し、前記特徴特定手段は、前記指定された前記各種類の前記特徴量が分類されたカテゴリに応じて、前記第1の検索条件に類似する前記特徴量データを、前記データベースから検索して特定することを特徴とする。
In another preferred aspect, the update means performs the update when the second search condition is the predetermined search algorithm.
In another preferable aspect, when the category indicating the classification of the plurality of types of feature amounts is designated by the user, the condition determining unit calculates the feature amounts of the respective types in the designated category. The feature specifying means searches and specifies the feature data similar to the first search condition from the database according to the designated category. To do.
In another preferred embodiment, the condition determining means determines the feature amounts of each of the plurality of types specified by a user as the first search condition, and the feature specifying means is the specified Further, the feature data similar to the first search condition is searched from the database and specified in accordance with the category into which each type of the feature value is classified.
また、本発明は、コンピュータを、楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をする装置として機能させるためのプログラムであって、前記コンピュータを、第1の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、前記第1の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、類似度の計算方法及び前記特徴量の重みの設定が含まれる第2の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、前記第2の検索条件が示す検索アルゴリズムを用いて、前記第1の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、前記第1の検索条件、前記第2の検索条件に含まれる前記類似度の計算方法、及び前記特徴量の重みの設定を選択する検索条件設定を表示手段に表示させ、前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段として機能させるためのプログラムを提供する。 According to the present invention, a computer is designated by a user using a database in which musical tone data indicating a musical sound waveform signal and feature data indicating a plurality of types of characteristic values of the musical sound waveform signal are registered in association with each other. A program for causing a computer to function as a device for performing a search based on a search condition, wherein the computer is used as a first search condition, condition determining means for determining a plurality of types of the feature quantities, and the first search condition Determination of the search algorithm as a second search condition including a calculation method of similarity and a setting of the weight of the feature amount from a plurality of search algorithms each indicating a search method of the feature amount data similar to And using the search algorithm indicated by the second search condition, the feature quantity data similar to the first search condition is stored in the data. A feature identifying means for identifying search from the base, the first search condition, the calculation method of the degree of similarity contained in the second search condition, and a search condition setting for selecting the set of weights of the feature amount There is provided a program for causing a display means to function as a display control means for displaying information indicating musical tone data corresponding to the feature amount data specified by the feature specifying means on the display means as a search result.
本発明によれば、ユーザの想定に近い音素材が検索結果として得られるようにすることができる。 According to the present invention, a sound material close to a user's assumption can be obtained as a search result.
<実施形態>
[概要]
本発明の実施形態における楽音処理装置は、パーソナルコンピュータ、携帯電話、PDA(Personal Digital Assistant)、タブレット端末などの情報処理装置であり、OS(Operating System)上で特定のアプリケーションプログラムを実行することにより、DAW(Digital Audio Workstation)と呼ばれる機能が実現される装置である。この楽音処理装置において実現されるDAWにおいては、楽音波形信号の一部として抽出される音素材を用いて楽音を発生させるための制御を行う機能も実現される。また、その他にも、音素材をデータベースから検索する機能など、以下に説明する各機能も実現される。DAWを実現するアプリケーションプログラムの実行中においてサブルーチンのプログラムが実行されることにより、これらの各機能が実現される。
<Embodiment>
[Overview]
The musical tone processing apparatus according to the embodiment of the present invention is an information processing apparatus such as a personal computer, a mobile phone, a PDA (Personal Digital Assistant), and a tablet terminal, and executes a specific application program on an OS (Operating System). , A device that realizes a function called DAW (Digital Audio Workstation). In the DAW realized in this musical tone processing apparatus, a function of performing control for generating musical tone using a sound material extracted as a part of a musical tone waveform signal is also realized. In addition, each function described below, such as a function for searching for sound material from a database, is also realized. Each of these functions is realized by executing a subroutine program during the execution of the application program for realizing the DAW.
[楽音処理装置10の構成]
図1は、本発明の実施形態における楽音処理装置10の構成を説明するブロック図である。楽音処理装置10は、制御部11、操作部12、表示部13、インターフェイス14、記憶部15、および音響処理部16を有する。これらの各構成はバスを介して接続されている。また、楽音処理装置10は、音響処理部16に接続されたスピーカ161およびマイクロフォン162を有する。
[Configuration of Music Processing Device 10]
FIG. 1 is a block diagram illustrating the configuration of a musical
制御部11は、CPU(Central Processing Unit)、RAM(Random Access Memory)、ROM(Read Only Memory)などを有する。制御部11は、ROMまたは記憶部15に記憶された各種プログラムを実行することにより、各種機能を実現する。この例においては、制御部11によるプログラムの実行には、DAWを実現するアプリケーションプログラムの実行、上述のサブルーチンのプログラムの実行が含まれる。サブルーチンのプログラムとしては、記憶部15に記憶された再生プログラム、抽出プログラム、および検索プログラムが含まれ、ユーザの指示に応じて実行される。
The
再生プログラムは、DAWにおいて楽音の発音内容を規定するシーケンスデータを再生し、楽音を発音させる処理を行う再生機能を実現するためのプログラムである。この再生機能においては、以下に説明するシーケンスデータにおける各トラックのデータを再生して楽音波形信号を合成し、この楽音波形信号を示すオーディオデータを音響処理部16に出力して、スピーカ161から出力させる機能である。
抽出プログラムは、再生機能により合成される楽音波形信号などの様々な楽音波形信号から音素材を抽出する音素材抽出機能を実現するためのプログラムである。楽音波形信号から音素材を抽出する方法については公知の方法のいずれも用いること可能である。例えば、楽音波形信号から音量変化が一定以上の変化をするオンセットを検出し、オンセットから予め決められた時間の範囲のうち、様々な区間において楽音波形信号の特徴量を算出し、予め決められた特定の条件を満たす特徴量の区間を、音素材として抽出する。また、特開2010−191337号公報に開示された方法を用いてもよい。
検索プログラムは、記憶部15に記憶されている音素材DBから、検索条件に基づいて音素材を検索するデータ検索機能を実現するためのプログラムである。データ検索機能の詳細については、後述する。
The reproduction program is a program for realizing a reproduction function that reproduces sequence data that defines the sound content of a musical sound in the DAW, and performs a process of generating the musical sound. In this reproduction function, the data of each track in the sequence data described below is reproduced to synthesize a musical sound waveform signal, and audio data indicating this musical sound waveform signal is output to the
The extraction program is a program for realizing a sound material extraction function for extracting sound material from various musical sound waveform signals such as a musical sound waveform signal synthesized by a reproduction function. Any known method can be used for extracting the sound material from the musical sound waveform signal. For example, an onset in which the volume change from the musical sound waveform signal changes by a certain level or more is detected, and the characteristic amount of the musical sound waveform signal is calculated in various sections within a predetermined time range from the onset. A section of a feature amount that satisfies the specified condition is extracted as a sound material. Moreover, you may use the method disclosed by Unexamined-Japanese-Patent No. 2010-191337.
The search program is a program for realizing a data search function for searching for sound material based on a search condition from the sound material DB stored in the
操作部12はユーザによる操作を受け付ける操作ボタン、キーボード、マウス、タッチパネルなどの操作手段を有し、それぞれに受け付けられた操作の内容を示す操作データを制御部11に出力する。これにより、ユーザの指示が楽音処理装置10に入力される。
表示部13は、液晶ディスプレイなどの表示デバイスであり、制御部11の制御に応じた内容の表示を表示画面131に行う。表示画面131に表示される内容は、メニュー画面、設定画面などの他、実行されたプログラムによって様々な内容となる(図7、図8、図9参照)。
The
The
インターフェイス14は、外部装置と接続して有線または無線により通信し、各種データの送受信をする機能を有する。また、インターフェイス14には、外部装置からオーディオデータが入力されるAUX(Auxiliary)端子も設けられている。インターフェイス14は、外部装置から入力された各種データを制御部11に出力する一方、制御部11からの制御により、外部装置へ各種データを出力する。なお、AUX端子にアナログ信号が入力される場合には、A/D変換(アナログデジタル変換)が施される。
The
マイクロフォン162は、入力された音の内容を示す楽音波形信号を音響処理部16に出力する。
音響処理部16は、DSP(Digital Signal Processor)などの信号処理回路などを有する。この例においては、音響処理部16は、マイクロフォン162から入力される楽音波形信号をA/D変換し、オーディオデータとして制御部11に出力する。また、音響処理部16は、制御部11から出力されたオーディオデータを、制御部11によって設定された音響処理、D/A変換(デジタルアナログ変換)処理、増幅処理などの信号処理などを施して、楽音波形信号としてスピーカ161に出力する。
スピーカ161は、音響処理部16から入力された楽音波形信号が示す音を出力する。
The
The
The
記憶部15は、ハードディスク、フラッシュメモリなどの不揮発性メモリであって、上記の各種プログラムを記憶する記憶領域を有する。また、記憶部15は、各種プログラムが実行されているときに用いられるシーケンスデータ、音素材データベース(以下、音素材DBと記す)、波形データベース(以下、波形DBと記す)、分類テンプレート、および設定テンプレートをそれぞれ記憶する記憶領域を有する。
The
波形DBは、楽音波形信号を示す波形データW1、W2、・・・が登録されている。これらの波形データが示す楽音波形信号は、楽曲、特定の楽器音、音素材など様々な内容のいずれかであり、その長さについても1秒未満から数分以上まで様々である。なお、この例における波形データについては、複数チャンネル(例えばLch、Rch)のデータが含まれている。以下の説明においては、楽音波形信号を示す波形データ、オーディオデータなどの各データは、Lch、Rchの2chにより構成されているものとするが、より多くのチャンネル数で構成されていてもよいし、モノラル(1ch)で構成されていてもよい。 In the waveform DB, waveform data W1, W2,... Indicating musical tone waveform signals are registered. The musical sound waveform signals indicated by these waveform data are any of various contents such as music, specific instrument sounds, sound materials, etc., and their lengths vary from less than one second to several minutes or more. Note that the waveform data in this example includes data of a plurality of channels (for example, Lch and Rch). In the following description, each data such as waveform data indicating a musical sound waveform signal and audio data is composed of two channels of Lch and Rch, but may be composed of a larger number of channels. , May be composed of monaural (1ch).
図2は、本発明の実施形態における音素材DBの例を説明する図である。音素材DBは、音素材の内容を特定する情報が登録されている。図2に示すように、音素材の内容を特定する情報は、音素材の楽音波形信号の内容を特定する特定データ、音素材の楽音波形信号の特徴を示す特徴量データを含む。 FIG. 2 is a diagram illustrating an example of the sound material DB in the embodiment of the present invention. In the sound material DB, information for specifying the contents of the sound material is registered. As shown in FIG. 2, the information for specifying the content of the sound material includes specification data for specifying the content of the sound waveform signal of the sound material, and feature data indicating the characteristics of the sound waveform signal of the sound material.
特定データは、波形DBに登録された波形データのいずれかを指定する波形指定情報と、その波形データにおけるデータ範囲を時刻で指定する時刻指定情報との組み合わせにより構成されている。この例においては、時刻指定情報によって指定される時刻は、波形データのデータ先頭からの時刻として決められている。特定データによって特定される音素材については、それぞれを特定するための識別子(この例においては、sn1、sn2、・・・)が付されている。以下、特定の音素材を示す場合には、音素材sn1というように記す。
なお、特定データのうち時刻指定情報が規定されていないものについては、波形指定情報が示す波形データそのものが音素材の楽音の内容を表している。例えば、音素材sn4が示す楽音ついては、波形データW5が示す楽音波形信号全体で表される。
The specific data is composed of a combination of waveform designation information for designating one of the waveform data registered in the waveform DB and time designation information for designating a data range in the waveform data by time. In this example, the time designated by the time designation information is determined as the time from the beginning of the waveform data. About the sound material specified by specific data, the identifier (in this example, sn1, sn2, ...) for specifying each is attached | subjected. Hereinafter, when a specific sound material is indicated, it is referred to as a sound material sn1.
For specific data for which time designation information is not defined, the waveform data itself indicated by the waveform designation information represents the content of the musical sound of the sound material. For example, the musical sound indicated by the sound material sn4 is represented by the entire musical sound waveform signal indicated by the waveform data W5.
図3は、本発明の実施形態における特定データにより表される音素材の内容を説明する図である。図3(a)は、音素材sn1、sn2、sn3が示す楽音の楽音波形信号を説明する図であり、図3(b)は、音素材sn4が示す楽音の楽音波形信号を説明する図である。図2に示すように、音素材sn1の内容は、波形指定情報が波形データW1であり、時刻指定情報がts1〜te1として特定されている。したがって、音素材sn1に対応する楽音波形信号は、図3(a)に示すように、波形データW1が示す楽音波形信号のうち、時刻ts1〜te1の楽音波形信号となる。同様に、音素材sn2、sn3にそれぞれ対応する楽音波形信号についても、波形データW1が示す楽音波形信号の一部の範囲として特定される。一方、図3(b)に示すように、音素材sn4が示す楽音波形信号については、時刻指定情報が規定されていないため、波形データW5が示す楽音波形信号全体として特定される。以下、音素材sn1、sn2、・・・が示す楽音波形信号を表すデータを、楽音データsn1、sn2、・・・として記す。 FIG. 3 is a diagram for explaining the contents of the sound material represented by the specific data in the embodiment of the present invention. FIG. 3A is a diagram for explaining musical tone waveform signals of musical sounds indicated by the sound materials sn1, sn2, and sn3, and FIG. 3B is a diagram for explaining musical tone waveform signals of musical sounds indicated by the sound material sn4. is there. As shown in FIG. 2, the content of the sound material sn <b> 1 is specified such that the waveform designation information is the waveform data W <b> 1 and the time designation information is ts <b> 1 to te <b> 1. Therefore, as shown in FIG. 3A, the musical sound waveform signal corresponding to the sound material sn1 is a musical sound waveform signal at times ts1 to te1 among the musical sound waveform signals indicated by the waveform data W1. Similarly, the musical sound waveform signals respectively corresponding to the sound materials sn2 and sn3 are specified as a partial range of the musical sound waveform signal indicated by the waveform data W1. On the other hand, as shown in FIG. 3B, the musical sound waveform signal indicated by the sound material sn4 is specified as the whole musical sound waveform signal indicated by the waveform data W5 because the time designation information is not defined. Hereinafter, data representing musical sound waveform signals indicated by the sound materials sn1, sn2,... Will be referred to as musical sound data sn1, sn2,.
図2に戻って説明を続ける。特徴量データは、各音素材の楽音波形信号がもつ複数種類の特徴量p1、p2、・・・を示す。例えば、音素材について、周波数別(高域、中域、低域)のそれぞれの強度、振幅のピークとなる時刻(楽音データの先頭を基準とした時刻)、振幅のピーク強度、協和度、複雑さなどについての特徴量であり、音素材データを解析して得られた値である。例えば、特徴量p1は、その値により音素材の高域の強度を示す。以下、特徴量データは、その特徴量p1、p2、・・・のそれぞれの値の組み合わせによってPa、Pb、・・・というように示す。また、Paの特徴量p1、p2、・・・の値は、p1a、p2a、・・・というように示す。例えば、音素材sn3については、特徴量データはPcであり、各特徴量の組み合わせは、p1c、p2c、・・・である。この例においては、各特徴量の値は、「0」から「1」の範囲で決められている。 Returning to FIG. 2, the description will be continued. The feature amount data indicates a plurality of types of feature amounts p1, p2,... Possessed by the tone waveform signal of each sound material. For example, for sound material, the intensity of each frequency (high range, mid range, low range), peak time of amplitude (time based on the beginning of the musical sound data), peak amplitude of amplitude, degree of cooperation, complexity This is a characteristic amount for the sound quality, and is a value obtained by analyzing the sound material data. For example, the feature quantity p1 indicates the intensity of the high frequency range of the sound material by its value. Hereinafter, the feature amount data is indicated as Pa, Pb,... By a combination of values of the feature amounts p1, p2,. In addition, the values of Pa feature values p1, p2,... Are indicated as p1a, p2a,. For example, for the sound material sn3, the feature amount data is Pc, and the combination of the feature amounts is p1c, p2c,. In this example, the value of each feature value is determined in the range of “0” to “1”.
図4は、本発明の実施形態における分類テンプレートの例を説明する図である。分類テンプレートは、音素材の特徴、すなわち特徴量データの内容により分類されるカテゴリについて、特徴量の種類毎に、分類の基準およびそのカテゴリの代表的な値としての指定値が決められ、カテゴリ毎に登録されている。
このカテゴリとは、聴感上の特徴が似た音素材毎に分類されたものであり、例えば、アタックが明瞭でエッジ感が強い音として分類されるカテゴリ(例えば、エッジ音)、ノイズのように聞こえる音として分類されるカテゴリ(例えば、テクスチャ音)などとして分類される。分類されるカテゴリは、その内容に応じてカテゴリC1、カテゴリC2、・・・として示す。
FIG. 4 is a diagram illustrating an example of a classification template in the embodiment of the present invention. The classification template determines the classification criteria and the designated value as a representative value for each category for each type of feature for the categories classified by the features of the sound material, that is, the feature data. It is registered in.
This category is classified for each sound material with similar auditory characteristics. For example, a category classified as a sound with a clear attack and a strong edge (for example, edge sound), noise, etc. It is classified as a category (for example, texture sound) classified as a sound that can be heard. The categories to be classified are indicated as category C1, category C2,... According to their contents.
分類の基準は、各特徴量について、最小値と最大値が決められている。そのため、音素材は、その各特徴量が分類の基準を満たすカテゴリに分類される。例えば、カテゴリC1に分類される音素材は、特徴量p1が「0.1」から「0.5」の範囲、特徴量p2が「0.0」から「0.2」の範囲を満足していることになる。なお、音素材DBにおいて、音素材に対応して分類されるカテゴリを、予め登録しておいてもよい。
指定値は、上述したようにカテゴリの代表的な特徴量の値である。例えば、カテゴリC2は、指定値として、特徴量p1が「0.5」、特徴量p2が「0.5」ということになる。一方、カテゴリC1における特徴量p2の指定値のように、値が決められていない場合には、代表的な値が無いものとして扱われる。
As the classification standard, a minimum value and a maximum value are determined for each feature amount. Therefore, the sound material is classified into a category in which each feature amount satisfies the classification criteria. For example, the sound material classified into the category C1 satisfies the feature quantity p1 in the range of “0.1” to “0.5” and the feature quantity p2 in the range of “0.0” to “0.2”. Will be. In the sound material DB, categories classified according to the sound material may be registered in advance.
As described above, the designated value is a value of a representative feature amount of the category. For example, for the category C2, as the specified values, the feature quantity p1 is “0.5”, and the feature quantity p2 is “0.5”. On the other hand, when a value is not determined like the specified value of the feature quantity p2 in the category C1, it is treated as having no representative value.
図5は、本発明の実施形態における設定テンプレートの例を説明する図である。設定テンプレートは、検索プログラムが実行されているときに用いられるテンプレートであり、特徴量の種類毎の重要度が「0」から「1」の範囲で決められた各設定(重み設定A、重み設定B、・・・)が登録されている。この例においては、設定内容が予め決められている設定と、ユーザによって設定内容が変更された重み設定(例えば、重み設定UB)とが存在する。 FIG. 5 is a diagram illustrating an example of a setting template in the embodiment of the present invention. The setting template is a template used when the search program is executed, and each setting (weight setting A, weight setting) in which the importance for each type of feature amount is determined in the range of “0” to “1”. B, ...) are registered. In this example, there are a setting whose setting content is determined in advance and a weight setting (for example, a weight setting UB) whose setting content has been changed by the user.
重み設定は、例えば、「標準設定」、「中域強度優先」、「エッジ優先」、「ノイズ優先」といったようにして決められ、その特徴を表す種類の特徴量について、相対的に重要度が高くなっている。例えば、「中域強度優先」の場合には、「中域の周波数の強度」を示す特徴量の重要度が、その他の特徴量に対して相対的に高くなるように決められている。「エッジ優先」の場合には、エッジ音の印象を与える種類の特徴量について、重要度が高くなるように決められている。「標準設定」の場合には、重要度はいずれの種類の特徴量についても同じである。 The weight setting is determined as, for example, “standard setting”, “mid-range strength priority”, “edge priority”, “noise priority”, and the type of feature quantity representing the feature has a relative importance. It is high. For example, in the case of “middle band strength priority”, the importance of the feature quantity indicating “middle band frequency intensity” is determined to be relatively higher than other feature quantities. In the case of “edge priority”, it is determined that the degree of importance is high for the type of feature amount that gives the impression of the edge sound. In the case of “standard setting”, the importance is the same for any kind of feature amount.
図1に戻って説明を続ける。シーケンスデータは、時系列に発音内容を規定する複数のトラックを有している。各トラックは、この例においては、オーディオトラック、MIDI(Musical Instrument Digital Interface)トラック、音素材トラックのうち、いずれかの種類のトラックが割り当てられている。 Returning to FIG. 1, the description will be continued. The sequence data has a plurality of tracks that define pronunciation contents in time series. In this example, each type of track is assigned to any one of an audio track, a MIDI (Musical Instrument Digital Interface) track, and a sound material track.
MIDIトラックは、ノートオン、ノートオフ、ノートナンバ、ベロシティなどのMIDIイベントと、これらのイベントの処理タイミング(例えば、トラックのデータ開始からの小節数、拍数、ティック数などにより表される)との関係を規定するトラックである。このように、MIDIトラックは、この例においては、一般的に用いられるMIDI形式で規定されているものとするが、イベントに応じた発音内容の楽音波形信号を生成する音源などを制御するための情報が規定されたトラックであれば、他の形式によって規定されていてもよい。 MIDI tracks are MIDI events such as note-on, note-off, note number, and velocity, and the processing timing of these events (for example, expressed by the number of bars, beats, ticks, etc. from the start of the track data) It is a track that defines the relationship. As described above, in this example, the MIDI track is defined in a commonly used MIDI format. However, the MIDI track is used to control a sound source that generates a musical sound waveform signal having a pronunciation content corresponding to an event. As long as the information track is defined, it may be defined in another format.
オーディオトラックは、オーディオデータとそのデータの再生開始タイミングが規定されたトラックである。オーディオデータとしては、波形DBに記憶された波形データであってもよいし、別途入力された楽音波形信号を示すデータであってもよい。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、オーディオデータの再生音量を示す情報など他の情報が含まれていてもよい。 The audio track is a track in which audio data and playback start timing of the data are defined. The audio data may be waveform data stored in the waveform DB, or may be data indicating a musical sound waveform signal input separately. The reproduction start timing is represented by the number of bars, the number of beats, and the number of ticks from the start of the track data, similarly to the above processing timing. Other information such as information indicating the playback volume of the audio data may be included.
音素材トラックは、楽音データとそのデータの再生開始タイミングが規定されたトラックである。楽音データは、音素材DBにおいて各音素材の識別子により特定される。また、再生開始タイミングは、上記の処理タイミングと同様に、トラックのデータ開始からの小節数、拍数、ティック数により表される。なお、楽音データは、音素材の識別子により特定されるのではなく、音素材の特徴量データによって特定されてもよい。この場合には、再生機能において、音素材トラックに規定された特徴量データに最も類似した特徴量データが音素材DBから特定され、特定された特徴量データに対応する音素材データが再生すべき楽音データとして特定されるようにすればよい。
以上が、楽音処理装置10のハードウエア構成についての説明である。
The sound material track is a track in which the musical sound data and the reproduction start timing of the data are defined. The musical sound data is specified by the identifier of each sound material in the sound material DB. The reproduction start timing is represented by the number of bars, the number of beats, and the number of ticks from the start of the track data, similarly to the above processing timing. Note that the musical sound data may be specified not by the sound material identifier but by the sound material feature value data. In this case, in the playback function, feature amount data most similar to the feature amount data specified for the sound material track is specified from the sound material DB, and sound material data corresponding to the specified feature amount data should be played back. It may be specified as musical sound data.
The above is the description of the hardware configuration of the musical
[データ検索機能構成]
次に、楽音処理装置10の制御部11が検索プログラムを実行することによって実現されるデータ検索機能について説明する。なお、以下に説明する検索機能を実現する各構成の一部または全部については、ハードウエアによって実現してもよい。
[Data search function configuration]
Next, a data search function realized when the
図6は、本発明の実施形態におけるデータ検索機能の構成を説明するブロック図である。制御部11が検索プログラムを実行すると、表示制御部110、条件決定部120、アルゴリズム決定部130、特徴特定部140、楽音特定部150、および更新部160を有するデータ検索部100が構成され、データ検索機能が実現される。
FIG. 6 is a block diagram illustrating the configuration of the data search function in the embodiment of the present invention. When the
表示制御部110は、特徴特定部140から指示された楽音データを示す画像(データ名称、対応する特徴量データに応じた画像などの楽音データを示す情報)を表示画面131に表示させる(以下、単に「楽音データを表示させる」という)。また、表示制御部110は、操作部12から入力されるユーザの指示に応じて表示画面131における表示内容を変化させる。表示内容としては、データ検索機能に関する様々な内容(図7、図8、図9)であり、例えば、検索条件を指定する表示などが含まれる。表示画面131に表示される内容の具体例については、後述する動作例において説明する。
The
条件決定部120は、ユーザからの指示によって、分類テンプレートから特定のカテゴリが指定されると、そのカテゴリにおける各種類の特徴量の指定値を第1の検索条件として決定して、第1の検索条件を示す情報を特徴特定部140に出力する。
When a specific category is specified from the classification template according to an instruction from the user, the
アルゴリズム決定部130は、ユーザからの指示によって、特徴特定部140において用いられる検索方法を示す検索アルゴリズムが指定されると、その検索アルゴリズムを第2の検索条件として決定して、第2の検索条件を示す情報を特徴特定部140および更新部160に出力する。この例においては、検索アルゴリズムには、特徴特定部140において計算される類似の度合い(以下、類似度という)の計算方法、および設定テンプレートから選択される重み設定が含まれている。また、この例においては、上述のようにしてユーザに指定されたカテゴリにおける各種類の特徴量の上限値および下限値(分類基準)についても検索アルゴリズムに含まれている。
ここで、類似度の計算方法の選択肢としては、例えば、ユークリッド距離計算、マハラノビス距離計算、コサイン類似度計算など、n次元ベクトルの距離またはn次元ベクトルの類似度を算出する方法を用いた計算方法であればよい。このn次元ベクトルは、類似度の計算において比較対象となる特徴量の種類の数に相当する。
When a search algorithm indicating a search method used in the
Here, as an option of the calculation method of the similarity, for example, a calculation method using a method of calculating the distance of the n-dimensional vector or the similarity of the n-dimensional vector such as Euclidean distance calculation, Mahalanobis distance calculation, cosine similarity calculation, etc. If it is. This n-dimensional vector corresponds to the number of types of feature quantities to be compared in the similarity calculation.
このように、この例においては、ユーザは、類似度計算方法、重み設定、カテゴリを選択することにより、検索アルゴリズムを指定することができる。そして、アルゴリズム決定部130は、ユーザによって指定された検索アルゴリズムを、第2の検索条件として決定する。
Thus, in this example, the user can specify a search algorithm by selecting a similarity calculation method, weight setting, and category. Then, the
特徴特定部140は、上述のようにして決定された第1の検索条件に類似する特徴量データを、第2の検索条件が示す検索アルゴリズムを用いて音素材DBから検索して特定する。具体的には、以下のように検索を行う。
特徴特定部140は、まず、音素材DBに登録された各音素材の特徴量データのうち、第2の検索条件に含まれる分類基準を満たすものを、第1の検索条件との距離計算の対象となる特徴量データとして絞り込む。特徴特定部140は、絞り込んだ各特徴量データについて、第2の検索条件が示す類似度計算方法および重み設定にしたがって、第1の検索条件との類似度の計算を行う。この計算結果から、特徴特定部140は、予め決められた値よりも類似度が高い(距離が近い)特徴量データを特定する。そして、特徴特定部140は、特定した特徴量データに対応する楽音データを示す情報を、楽音特定部150に出力する。また、特徴特定部140は、特定した特徴量データに対応する楽音データを示す情報を類似度と対応付けて表示制御部110に出力する。これにより、表示画面131には、検索結果として、その楽音データが類似順に表示される。なお、表示画面131には、特徴データの類似度が高い方から予め決められた数の楽音データが表示されるようにしてもよい。
The
The
ここで、類似度の計算方法に重み設定を適用した場合の検索の方法の一例として、ユークリッド距離計算に重み設定を適用した場合について説明する。
まず、第1の検索条件として決定された特徴量p1、p2、・・・、pnの値を、p1x、p2x、・・・、pnxとして表す。また、第2の検索条件として決定された重み設定が示す特徴量p1、p2、・・・、pnに対応した重要度を、A1、A2、・・・、Anとして表す。ユークリッド距離計算に重み設定を適用して重要度を特徴量の種類毎の重みとして用いた場合において、特徴量データPy(p1y、p2y、・・・、pny)と第1の検索条件とのユークリッド距離dxyは、以下の式(1)で表される。
dxy=(A1×(p1x−p1y)2+A2×(p2x−p2y)2+・・・+An×(p1x−p1y)2)1/2 ・・・(1)
Here, as an example of a search method when weight setting is applied to the similarity calculation method, a case where weight setting is applied to Euclidean distance calculation will be described.
First, the values of the feature quantities p1, p2,..., Pn determined as the first search condition are represented as p1x, p2x,. Further, the importance corresponding to the feature amounts p1, p2,..., Pn indicated by the weight setting determined as the second search condition is represented as A1, A2,. When weighting is applied to Euclidean distance calculation and importance is used as a weight for each type of feature amount, Euclid between feature amount data Py (p1y, p2y,..., Pny) and the first search condition. The distance dxy is expressed by the following formula (1).
dxy = (A1 × (p1x−p1y) 2 + A2 × (p2x−p2y) 2 +... + An × (p1x−p1y) 2 ) 1/2 (1)
ここで、第1の検索条件としてカテゴリにおける指定値が決められていない特徴量の種類については、距離計算には用いない。カテゴリC1のp2のように指定値が決められていない場合には、例えば、式(1)においてp2x=p2yとしたり、A2=0としたりして扱えばよい。
なお、他の類似度の計算方法を用いても、重み設定を特徴量の種類毎の重みとして用いることは同様である。他の計算方法への重み設定の適用方法としては、重みが大きい種類の特徴量ほど、特徴量の違いが類似度(距離)の変化に大きく影響を与えるように決められていればよい。すなわち、重みが大きい種類の特徴量ほど、その値の差が大きくなったときの類似度の減少量(距離の増加量)が大きくなるように決められていればよい。
Here, the type of feature quantity for which the designated value in the category is not determined as the first search condition is not used for the distance calculation. When the designated value is not determined as in p2 of category C1, for example, p2x = p2y or A2 = 0 in equation (1) may be handled.
It should be noted that even when other similarity calculation methods are used, it is the same that the weight setting is used as the weight for each type of feature amount. As a method of applying the weight setting to other calculation methods, it is only necessary to determine that the feature amount of a type having a larger weight has a greater influence on the change in the similarity (distance). That is, it is only necessary to determine that the feature amount of a type having a greater weight has a larger amount of decrease in similarity (amount of increase in distance) when the difference between the values becomes larger.
楽音特定部150は、表示画面131に検索結果として表示された楽音データから、所望の楽音データとしてユーザによって選択された楽音データを特定し、特定した楽音データを示す情報を更新部160に出力する。このようにして特定された楽音データは、この例においては、シーケンスデータの音素材トラックを作成するときに用いられる音素材の識別子を特定するために用いられる。
The musical
更新部160は、第2の検索条件が示す検索アルゴリズムのうち重み設定における重要度を、楽音特定部150によって特定された楽音データに対応する特徴量と第1の検索条件の特徴量との関係に基づいて更新する。更新部160は、重要度を更新した重み設定を、設定テンプレートに登録する。このとき、更新部160は、元の重み設定に上書きして登録してもよいし、別の重み設定として新たに登録するようにしてもよい。いずれにするかは、ユーザの指示により予め決められていればよい。
なお、上書きして登録される場合には、予め決められた重み設定がユーザによって指定された場合にのみ更新が行われるようにしてもよい。このようにすると、設定テンプレートにおける重み設定が、ユーザによる楽音データの選択結果に応じて変化していくため、ユーザが第2の検索条件として同じ重み設定を指定しても、検索結果が変化するようにすることができる。
The
In the case of registration by overwriting, the update may be performed only when a predetermined weight setting is designated by the user. In this way, since the weight setting in the setting template changes according to the selection result of the musical sound data by the user, even if the user specifies the same weight setting as the second search condition, the search result changes. Can be.
更新部160における重要度の更新態様についての一例を説明する。更新部160は、第1検索条件と、特定された楽音データに対応する特徴量とを種類毎に比較して、種類毎の差分を算出する。そして、更新部160は、差分が小さい特徴量の種類ほど、相対的に重要度が高くなるように、各種類の特徴量に対応した重要度を更新する。このように更新をすることにより、ユーザの感覚が重み設定に反映されるため、次に検索をするときには、ユーザが同じ検索条件を指定したとしても、検索結果として表示される楽音データの表示順が、前の表示順に比べて、ユーザの感覚にあった類似順で並ぶようになっていくことになる。
以上が、データ検索機能についての説明である。上記各機能構成により、楽音処理装置10において、本発明のデータ検索装置が実現される。
An example of the importance update mode in the
This completes the description of the data search function. With the above functional configurations, the data search apparatus of the present invention is realized in the musical
[動作例]
続いて、上述した検索プログラムが実行されたときの動作例について、表示画面131の表示例を参照しながら説明する。
まず、ユーザは、DAW上においてシーケンスデータの作成に用いる音素材を音素材DBから選択したい場合などにおいて、検索プログラムの実行の指示を楽音処理装置10に対して入力する。このようにすると、表示画面131には、図7に示す内容の表示がなされる。
[Operation example]
Next, an operation example when the above-described search program is executed will be described with reference to a display example on the
First, the user inputs an instruction to execute a search program to the musical
図7は、本発明の実施形態における検索条件設定表示の例を説明する図である。表示画面131の上部にはメニュー領域MAが設けられ、下部には登録領域WAが設けられる。メニュー領域MAは、検索プログラムの実行開始、データの保存、検索プログラムの実行停止など様々な指示をする操作を行うために設けられた領域である。登録領域WAは、検索した結果として選んだ楽音データを登録するための領域であり、その領域内には、楽音データを登録する楽音登録領域WA1、WA2、・・・、WA7を持つ。カーソルCs2は、選んだ楽音データをどの領域に登録するかを選択するものである。
FIG. 7 is a diagram illustrating an example of search condition setting display according to the embodiment of the present invention. A menu area MA is provided at the top of the
カテゴリ領域CAは、分類テンプレートに登録されているカテゴリを表示する領域である。この例においては、カテゴリC1、C2、・・・C7、およびC8の一部が表示されている。この領域内は上下にスクロール可能であり、C8以降については、スクロールすることで表示されるようになる。ここでは、カーソルCs1がカテゴリC2を選択している状態を示す。
また、第2の検索条件のうち、類似度の計算方法(上述したユークリッド距離計算など)を指定するための選択ボックスSB1、および設定テンプレートの中から重み設定を指定するための選択ボックスSB2が表示されている。ここでは、類似度の計算方法として、ユークリッド距離計算が選択され、重み設定として、設定テンプレートにおける重み設定Bが選択されている状態を示す。ユーザは、例えば、ポインタptを用いて、カーソルCs1、Cs2の位置の変更、選択ボックスSB1、SB2の内容の変更を行い、決定ボタンb1を操作することにより、選択された内容で第1の検索条件および第2の検索条件の指定を行う。ユーザによって、第1の検索条件および第2の検索条件が指定されると、条件決定部120による第1の検索条件の決定、およびアルゴリズム決定部130による第2の検索条件の決定がなされて、特徴特定部140における処理が開始される。そして、表示画面131は、図8に示す検索結果表示に遷移する。
The category area CA is an area for displaying categories registered in the classification template. In this example, some of the categories C1, C2,... C7, and C8 are displayed. This area can be scrolled up and down, and C8 and after are displayed by scrolling. Here, the cursor Cs1 indicates a state where the category C2 is selected.
Also, among the second search conditions, a selection box SB1 for designating a similarity calculation method (such as the Euclidean distance calculation described above) and a selection box SB2 for designating a weight setting from the setting templates are displayed. Has been. Here, the Euclidean distance calculation is selected as the similarity calculation method, and the weight setting B in the setting template is selected as the weight setting. For example, the user changes the positions of the cursors Cs1 and Cs2 and the contents of the selection boxes SB1 and SB2 using the pointer pt, and operates the decision button b1 to perform the first search with the selected contents. A condition and a second search condition are designated. When the user specifies the first search condition and the second search condition, the
図8は、本発明の実施形態における検索結果表示の例を説明する図である。検索結果領域SAは、特徴特定部140によって特定された特徴量データに対応した楽音データ(sn5、sn3、sn1、・・・など)が検索結果として表示される領域であり、カテゴリ領域と同様に上下にスクロール可能になっている。ここに表示される楽音データは、上述したように、第1の検索条件および第2の検索条件により、特徴特定部140によって音素材DBから検索され特定された特徴データに対応するものであり、この例においては、類似しているほど(距離が近いほど)上位に表示される。破線カーソルCmは、検索条件設定表示においてユーザによって指定されたカテゴリ(図7参照)を示している。
FIG. 8 is a diagram for explaining an example of a search result display in the embodiment of the present invention. The search result area SA is an area where musical sound data (sn5, sn3, sn1,...) Corresponding to the feature amount data specified by the
ここで、検索条件設定表示においてユーザが選択した類似度の計算方法、重み設定が図7に示す場合と異なる場合には、各楽音データについての類似度も異なるため、検索結果領域SAにおける楽音データの表示順は変化する。例えば、重み設定が「標準設定」を示すものである場合には、どの種類の特徴量であっても同様に扱って類似度が計算される。一方、重み設定が「中域強度優先」を示すものである場合には、第1の検索条件における特徴量のうち、中域の強度の特徴量が近い特徴量データが、高い類似度になるように計算されるため、楽音データの表示順が「標準設定」の場合と異なって表示されることになる。このように、第2の検索条件をユーザが指定することができるため、表示画面131には、ユーザの想定に近い検索結果を表示されることになる。
Here, when the similarity calculation method and the weight setting selected by the user in the search condition setting display are different from those shown in FIG. 7, the similarity for each musical tone data is also different, so that the musical tone data in the search result area SA is different. The display order of changes. For example, when the weight setting indicates “standard setting”, any kind of feature amount is handled in the same manner and the similarity is calculated. On the other hand, when the weight setting indicates “middle band strength priority”, among the feature quantities in the first search condition, the feature quantity data that is close to the middle band feature quantity has high similarity. Therefore, the display order of the musical sound data is displayed differently from the case of “standard setting”. Thus, since the user can designate the second search condition, the
ここで、ユーザがカーソルCs1を上下に移動させることにより、カーソルCs1によって選択される楽音データが変化すると、制御部11は、楽音データが示す音素材の楽音波形信号を、音響処理部16を介してスピーカ161に供給する。例えば、カーソルCs1が選択する楽音データが楽音データsn3から楽音データsn5に変化すると、楽音データsn5に対応する楽音がスピーカ161から発音される。これにより、ユーザは、カーソルCs1によって選択された楽音データに対応する音素材の内容を聴取することができる。
ユーザは、カーソルCs1の移動に伴う発音を確認しながら、所望の音素材が決まった場合には、所望の音素材に対応する楽音データにカーソルCs1を移動させて決定ボタンb1を操作することで、ユーザによって選択された楽音データが楽音特定部150によって特定される。そして、表示画面131は、図9に示す音素材決定表示に遷移する。
Here, when the musical sound data selected by the cursor Cs1 is changed by moving the cursor Cs1 up and down by the user, the
When the user determines the desired sound material while confirming the pronunciation accompanying the movement of the cursor Cs1, the user moves the cursor Cs1 to the musical sound data corresponding to the desired sound material and operates the decision button b1. The musical sound data selected by the user is specified by the musical
図9は、本発明の実施形態における音素材決定表示の例を説明する図である。楽音特定部150によって楽音データ(この例においては楽音データsn11)が特定されると、カーソルCs2が選択する楽音登録領域WA1には、特定された楽音データを示す情報(楽音データsn11を示す「11」)が表示される。このように、楽音登録領域WA1、WA2、・・・に登録された楽音データについては、上述したように、音素材トラックを作成するときの音素材の識別子を特定するために用いられる。
FIG. 9 is a diagram for explaining an example of the sound material determination display in the embodiment of the present invention. When the musical sound data (musical data sn11 in this example) is specified by the musical
また、更新部160は、楽音データsn11に対応する特徴量データが示す特徴量と、ユーザによって指定されたカテゴリC2の特徴量とを種類毎に比較して、第2検索条件として指定された重み設定Bの重要度を更新して、設定テンプレートに登録する。この例においては、新たに重み設定UBとして登録したものとし、図5に示すように、重み設定UBは、重み設定Bとは異なる重要度(特徴量p2の重要度が増加、特徴量p3の重要度が減少)に変わっている。
The updating
上述した検索が再び行われるときに、選択ボックスSB2において重み設定UBを選択し、その他の検索条件を同じにした場合には、重み設定Bの場合に比べて、ユーザの感覚が反映されるため、検索結果表示において、図8に示す場合に比べて、楽音データsn11が、より類似度が高いものとして上位に表示されるようになる。例えば、重み設定Bが「中域強度優先」を示すものであった場合において、ユーザは、発音を聴取した結果から、第1の検索条件の特徴量のうち中域の強度が類似した特徴量データに対応する楽音データであるものとして感じた楽音データsn11を選択する。したがって、ユーザが重み設定として再び「中域強度優先」を選択し、その他の条件を同じにした場合には、楽音データsn11がより上位に表示されるため、ユーザは、想定に近い検索結果が得られるようになったと感じるようになる。 When the above-described search is performed again, if the weight setting UB is selected in the selection box SB2 and other search conditions are the same, the user's feeling is reflected compared to the case of the weight setting B. In the search result display, the musical sound data sn11 is displayed at a higher rank as having a higher degree of similarity than the case shown in FIG. For example, in the case where the weight setting B indicates “middle band strength priority”, the user determines from the result of listening to the pronunciation that the middle band intensity is similar among the characteristic quantities of the first search condition. The musical sound data sn11 felt as being the musical sound data corresponding to the data is selected. Therefore, when the user selects “middle band strength priority” again as the weight setting and the other conditions are the same, the musical sound data sn11 is displayed at a higher level. You will feel that you have gained.
<変形例>
以上、本発明の実施形態について説明したが、本発明は以下のように、様々な態様で実施可能である。
[変形例1]
上述した実施形態においては、第1の検索条件は、分類テンプレートによって示されるカテゴリがユーザによって指定されることで決定されていたが、ユーザによって各種類の特徴量が個別に指定されることで決定されてもよい。また、指定された内容が分類テンプレートに登録されるようにしてもよい。
第2の検索条件における重み設定についても、同様に、各種類の特徴量についての重要度がユーザによって個別に指定されるようにしてもよい。そして、指定された内容が設定テンプレートに登録されるようにしてもよい。
<Modification>
As mentioned above, although embodiment of this invention was described, this invention can be implemented in various aspects as follows.
[Modification 1]
In the embodiment described above, the first search condition is determined by the category specified by the classification template being specified by the user. However, the first search condition is determined by the user specifying each type of feature amount individually. May be. In addition, the designated content may be registered in the classification template.
Similarly, regarding the weight setting in the second search condition, the importance level for each type of feature amount may be individually designated by the user. Then, the specified content may be registered in the setting template.
[変形例2]
上述した実施形態においては、第2の検索条件としてユーザによって指定される内容としては、類似度の計算方法および重み設定の双方が含まれていたが、いずれか一方はユーザによって指定されず、予め決められていてもよい。
[Modification 2]
In the above-described embodiment, the content specified by the user as the second search condition includes both the similarity calculation method and the weight setting. However, either one is not specified by the user in advance. It may be decided.
[変形例3]
上述した実施形態においては、設定テンプレートは、重み設定が登録されていたが、類似度の計算方法と重み設定とが組み合わされて登録されていてもよい。この場合には、更新部160による重要度の更新については、類似度の計算方法の種類毎に別々に行われるようにすることができる。
例えば、第2の検索条件がユークリッド距離計算と重み設定Bとの組み合わせで決定され、重要度が更新された場合、実施形態においては、第2の検索条件において計算方法のみをマハラノビス距離計算に変更しても、重み設定は変更されないから更新された重要度により検索アルゴリズムが決められる。一方、本変形例においては、計算方法と重み設定とを組み合わせた内容で設定テンプレートに登録されているから、計算方法を変更すると、指定される重み設定も上記の更新がされていない設定に変更される。このようにすれば、計算方法ごとに重要度の更新を別個に管理することもできる。
[Modification 3]
In the above-described embodiment, the setting template is registered with the weight setting, but may be registered by combining the similarity calculation method and the weight setting. In this case, the importance level update by the
For example, when the second search condition is determined by a combination of the Euclidean distance calculation and the weight setting B and the importance is updated, in the embodiment, only the calculation method is changed to the Mahalanobis distance calculation in the second search condition. Even so, since the weight setting is not changed, the search algorithm is determined by the updated importance. On the other hand, in this modification, the calculation method and weight setting are combined and registered in the setting template. Therefore, if the calculation method is changed, the specified weight setting is also changed to the setting that has not been updated. Is done. In this way, it is possible to separately manage the update of the importance for each calculation method.
[変形例4]
上述した実施形態において、表示画面131に検索結果表示がされている状態から、さらに検索が行われるようにしてもよい。この場合の処理について説明する。
表示画面131が図8に示す検索結果表示になっている場合において、カーソルCs1によっていずれかの楽音データが選択された状態で、ユーザによって再検索が指示(図10に示す再検索ボタンb1が操作)されると、実施形態と同様に、楽音特定部150は、その楽音データを特定し、更新部160は、重要度を更新する。一方、この場合には、実施形態における場合と異なり、楽音登録領域WA1には、特定された楽音データを示す情報は表示されないようになっている。
[Modification 4]
In the above-described embodiment, the search may be further performed from the state where the search result is displayed on the
When the
続いて、条件決定部120は、第1の検索条件を、楽音特定部150によって特定された楽音データに対応する特徴量データの内容に更新する。また、アルゴリズム決定部130は、更新部160が更新した内容になるように、第2の検索条件の重み設定を更新する。そして、特徴特定部140は、更新された第1の検索条件に類似する特徴量データを、更新された第2の検索条件を用いて音素材DBから検索して特定する。これにより、表示画面131は、図10に示す検索結果表示に遷移する。ここでは、カーソルCs1は、楽音データsn11を選択していたものとする。
Subsequently, the
図10は、本発明の変形例4における検索結果表示の例を説明する図である。図8に示す状態において検索結果領域SAに表示されていた楽音データは、そのまま左側にスライドし、カテゴリが表示されていた領域に表示される。一方、検索結果領域SAには、新たな検索結果としての楽音データが表示される。すなわち、この検索結果領域SAには、楽音データsn11に特徴量データが類似した楽音データが検索結果として表示される。この検索に用いられる第2の検索条件の重み設定は、更新部160によって更新された重要度が用いられる。
FIG. 10 is a diagram for explaining an example of a search result display in Modification 4 of the present invention. The musical tone data displayed in the search result area SA in the state shown in FIG. 8 slides to the left as it is and is displayed in the area where the category was displayed. On the other hand, musical tone data as a new search result is displayed in the search result area SA. That is, in this search result area SA, musical tone data having feature data similar to the musical tone data sn11 is displayed as a search result. The importance level updated by the
この検索結果表示において、再検索ボタンb2が再び操作されると、上述のように更新された第1の検索条件および第2の検索条件を用いて再検索が行われる。一方、決定ボタンb1が操作されると、実施形態と同様に、カーソルCs2が選択する楽音登録領域WA1に、楽音特定部150によって特定された楽音データ(決定ボタンb1が操作されたときにカーソルCs1により選択されていた楽音データ)を示す情報が表示されることになる。
なお、再検索が行われるときには、重要度の更新が行われないようにしてもよい。この場合には、第2の検索条件は変更されず、第1の検索条件のみが変更されて再検索が行われることになる。
In this search result display, when the re-search button b2 is operated again, a re-search is performed using the first search condition and the second search condition updated as described above. On the other hand, when the determination button b1 is operated, the musical sound data specified by the musical sound specifying unit 150 (the cursor Cs1 when the determination button b1 is operated) is entered in the musical sound registration area WA1 selected by the cursor Cs2 as in the embodiment. Information indicating the musical sound data selected by (1) is displayed.
Note that the importance level may not be updated when the re-search is performed. In this case, the second search condition is not changed, and only the first search condition is changed and the search is performed again.
[変形例5]
上述した実施形態においては、検索結果領域SAに表示される楽音データの表示順が類似順を表すようになっていたが、順番以外の表示態様で類似順が表されてもよい。例えば、表示の大きさ、濃さであったり、類似度を合わせて表示させたりすればよく、類似度に応じて表示態様が変化していればよい。
[Modification 5]
In the embodiment described above, the display order of the musical sound data displayed in the search result area SA represents the similarity order, but the similarity order may be expressed in a display mode other than the order. For example, the display size and density may be displayed, or the similarities may be displayed together, and the display mode may be changed according to the similarities.
[変形例6]
上述した実施形態において、ユーザを識別する識別部を設け、ユーザ毎に設定テンプレートが記憶されるようにしてもよい。そして、識別部によって識別されたユーザに対応する設定テンプレートが実施形態における各処理に用いられるようにすればよい。操作部12の操作などによりユーザを識別する情報が楽音処理装置10に入力されると、識別部は、この情報を参照してユーザを識別すればよい。
このようにすれば、各ユーザに対応して重要度の更新が行われるから、1つの楽音処理装置10を複数のユーザで共用する場合であっても、他のユーザの感覚が検索結果に反映されてしまうことを防止することができる。
[Modification 6]
In the above-described embodiment, an identification unit for identifying a user may be provided, and a setting template may be stored for each user. And the setting template corresponding to the user identified by the identification part should just be used for each process in embodiment. When information for identifying a user is input to the musical
In this way, since the importance level is updated corresponding to each user, even if one musical
[変形例7]
上述した実施形態においては、重要度を更新する更新部160が存在したが、必ずしも存在しなくてもよい。この場合には、検索結果として表示される楽音データは、最も類似した楽音データのみであってもよい。
[Modification 7]
In the embodiment described above, the
[変形例8]
上述した実施形態においては、楽音登録領域WA1、WA2、・・・に登録された楽音データについては、音素材トラックの作成などに用いられるものとしたが、他の用途に用いられてもよい。例えば、この楽音データを用いて発音する楽器、音源などにおいて用いられてもよい。楽器に用いられる場合には、音高を変化させて用いてもよいし、予め音高が異なる楽音データを記憶部15に記憶させておいてもよい。音高が異なるだけの楽音データについては、特徴特定部140における検索対象にはならないようにしてもよい。このように、本発明のデータ検索部100を構成する楽音処理装置10は、情報処理装置のほかにも、楽器、音源などにも適用することができる。
[Modification 8]
In the above-described embodiment, the musical sound data registered in the musical sound registration areas WA1, WA2,... Is used for creating a sound material track, but may be used for other purposes. For example, it may be used in a musical instrument or a sound source that generates sound using the musical sound data. When used in a musical instrument, the pitch may be changed, or musical tone data having different pitches may be stored in the
[変形例9]
上述した実施形態における各プログラムは、磁気記録媒体(磁気テープ、磁気ディスクなど)、光記録媒体(光ディスクなど)、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供し得る。また、楽音処理装置10は、各プログラムをネットワーク経由でダウンロードしてもよい。
[Modification 9]
Each program in the above-described embodiment is provided in a state stored in a computer-readable recording medium such as a magnetic recording medium (magnetic tape, magnetic disk, etc.), an optical recording medium (optical disk, etc.), a magneto-optical recording medium, or a semiconductor memory. Can do. In addition, the musical
10…楽音処理装置、11…制御部、12…操作部、13…表示部、131…表示画面、14…インターフェイス、15…記憶部、16…音響処理部、161…スピーカ、162…マイクロフォン、100…データ検索部、110…表示制御部、120…条件決定部、130…アルゴリズム決定部、140…特徴特定部、150…楽音特定部、160…更新部
DESCRIPTION OF
Claims (8)
第1の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、
前記第1の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、類似度の計算方法及び前記特徴量の重みの設定が含まれる第2の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、
前記第2の検索条件が示す検索アルゴリズムを用いて、前記第1の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、
前記第1の検索条件と、前記第2の検索条件に含まれる前記類似度の計算方法、及び前記特徴量の重みの設定を選択する検索条件設定を表示手段に表示させ、
前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段と
を具備することを特徴とするデータ検索装置。 Data to be searched based on a search condition designated by the user using a database in which musical sound data indicating a musical sound waveform signal and feature data indicating a plurality of types of characteristic values of the musical sound waveform signal are registered in association with each other A search device,
Condition determining means for determining a plurality of types of feature quantities as a first search condition;
The search as a second search condition including a similarity calculation method and setting of the weight of the feature quantity from a plurality of search algorithms each indicating a search method of the feature quantity data similar to the first search condition An algorithm determining means for determining an algorithm;
Using a search algorithm indicated by the second search condition, feature specifying means for searching and specifying the feature amount data similar to the first search condition from the database;
Displaying the first search condition, the calculation method of the similarity included in the second search condition, and the search condition setting for selecting the setting of the weight of the feature amount on a display unit,
A data search apparatus comprising: display control means for displaying information indicating musical tone data corresponding to the feature data specified by the feature specifying means on the display means as a search result.
前記楽音特定手段によって特定された楽音データに対応する特徴量データと前記第1の検索条件とにおける前記特徴量の関係に基づいて、前記第2の検索条件として決定された検索アルゴリズムの更新をする更新手段と
をさらに具備し、
前記特徴特定手段は、前記第1の検索条件に類似する複数の前記特徴量データを特定し、
前記表示制御手段は、前記特徴特定手段によって特定された複数の前記特徴量データに対応する楽音データを示す情報を、当該特徴量データと前記第1の検索条件との類似度に基づく態様で、前記表示手段に表示させる
ことを特徴とする請求項1に記載のデータ検索装置。 A musical sound specifying means for specifying the musical sound data selected by the user from the musical sound data corresponding to the information displayed on the display means;
The search algorithm determined as the second search condition is updated based on the feature quantity relationship between the feature quantity data corresponding to the musical tone data specified by the musical tone specifying means and the first search condition. And further updating means,
The feature specifying means specifies a plurality of the feature amount data similar to the first search condition,
The display control unit is configured to display information indicating musical tone data corresponding to the plurality of feature amount data specified by the feature specifying unit based on the similarity between the feature amount data and the first search condition. The data search device according to claim 1, wherein the data is displayed on the display unit.
前記更新手段は、前記重みを変更することにより前記検索アルゴリズムの更新をする
ことを特徴とする請求項2に記載のデータ検索装置。 In the plurality of search algorithms, the search algorithm showing a method of searching for feature amount data similar to the first search condition based on a distance of the feature amount for each type and a weight determined for each type. Contains
The data search device according to claim 2, wherein the update unit updates the search algorithm by changing the weight.
前記条件決定手段は、前記楽音特定手段によって特定された楽音データに対応する特徴量データに基づいて、前記第1の検索条件を更新し、
前記アルゴリズム決定手段は、前記更新手段によって更新された検索アルゴリズムを前記第2の検索条件として更新し、
前記特徴特定手段は、更新された前記第2の検索条件が示す検索方法により、更新された前記第1の検索条件に類似する前記特徴量データを前記データベースから検索して特定する
ことを特徴とする請求項2または請求項3に記載のデータ検索装置。 When the musical sound data is specified by the musical sound specifying means,
The condition determining means updates the first search condition based on feature amount data corresponding to the musical sound data specified by the musical sound specifying means,
The algorithm determination means updates the search algorithm updated by the update means as the second search condition,
The feature specifying means searches and specifies the feature amount data similar to the updated first search condition by the search method indicated by the updated second search condition. The data search device according to claim 2 or 3.
ことを特徴とする請求項2乃至請求項4のいずれかに記載のデータ検索装置。 The data search apparatus according to any one of claims 2 to 4, wherein the update means performs the update when the second search condition is the predetermined search algorithm.
前記特徴特定手段は、前記指定された前記カテゴリに応じて、前記第1の検索条件に類似する前記特徴量データを、前記データベースから検索して特定するThe feature specifying means searches and specifies the feature amount data similar to the first search condition from the database according to the designated category.
ことを特徴とする請求項1乃至請求項5のいずれかに記載のデータ検索装置。6. A data search apparatus according to claim 1, wherein the data search apparatus is a data search apparatus.
前記特徴特定手段は、前記指定された前記各種類の前記特徴量が分類されたカテゴリに応じて、前記第1の検索条件に類似する前記特徴量データを、前記データベースから検索して特定するThe feature specifying unit searches and specifies the feature amount data similar to the first search condition from the database according to a category in which the designated feature amounts of the respective types are classified.
ことを特徴とする請求項1乃至請求項5のいずれかに記載のデータ検索装置。6. A data search apparatus according to claim 1, wherein the data search apparatus is a data search apparatus.
楽音波形信号を示す楽音データと当該楽音波形信号の複数種類の特徴量を示す特徴量データとを対応付けて登録されたデータベースを用いて、ユーザから指定される検索条件に基づいて検索をする装置として機能させるためのプログラムであって、
前記コンピュータを、
第1の検索条件として、複数種類の前記特徴量を決定する条件決定手段と、
前記第1の検索条件に類似する前記特徴量データの検索方法を各々示す複数の検索アルゴリズムから、類似度の計算方法及び前記特徴量の重みの設定が含まれる第2の検索条件としての前記検索アルゴリズムを決定するアルゴリズム決定手段と、
前記第2の検索条件が示す検索アルゴリズムを用いて、前記第1の検索条件に類似する前記特徴量データを前記データベースから検索して特定する特徴特定手段と、
前記第1の検索条件、前記第2の検索条件に含まれる前記類似度の計算方法、及び前記特徴量の重みの設定を選択する検索条件設定を表示手段に表示させ、
前記特徴特定手段によって特定された特徴量データに対応する楽音データを示す情報を、検索結果として表示手段に表示させる表示制御手段
として機能させるためのプログラム。 The computer,
An apparatus for performing a search based on a search condition designated by a user using a database in which musical sound data indicating a musical sound waveform signal and feature data indicating a plurality of types of characteristic values of the musical sound waveform signal are registered in association with each other Is a program for functioning as
The computer,
Condition determining means for determining a plurality of types of feature quantities as a first search condition;
The search as a second search condition including a similarity calculation method and setting of the weight of the feature quantity from a plurality of search algorithms each indicating a search method of the feature quantity data similar to the first search condition An algorithm determining means for determining an algorithm;
Using a search algorithm indicated by the second search condition, feature specifying means for searching and specifying the feature amount data similar to the first search condition from the database;
Displaying the first search condition, the calculation method of the similarity included in the second search condition, and the search condition setting for selecting the setting of the weight of the feature amount on the display means,
A program for causing information indicating musical tone data corresponding to feature amount data specified by the feature specifying means to function as a display control means for displaying on a display means as a search result.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011118516A JP5742472B2 (en) | 2011-05-26 | 2011-05-26 | Data retrieval apparatus and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011118516A JP5742472B2 (en) | 2011-05-26 | 2011-05-26 | Data retrieval apparatus and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012247956A JP2012247956A (en) | 2012-12-13 |
JP5742472B2 true JP5742472B2 (en) | 2015-07-01 |
Family
ID=47468352
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011118516A Expired - Fee Related JP5742472B2 (en) | 2011-05-26 | 2011-05-26 | Data retrieval apparatus and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5742472B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5708317B2 (en) * | 2011-07-06 | 2015-04-30 | ヤマハ株式会社 | Sound waveform search support device and program |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3609225B2 (en) * | 1996-11-25 | 2005-01-12 | 日本電信電話株式会社 | Similar object retrieval device |
JP3434223B2 (en) * | 1998-11-19 | 2003-08-04 | 日本電信電話株式会社 | Music information search device, music information storage device, music information search method, music information storage method, and recording medium recording these programs |
JP2002183152A (en) * | 2000-12-18 | 2002-06-28 | Jinyama Shunichi | Device and method for music retrieval and recording medium with recorded software for music retrieval |
JP4014390B2 (en) * | 2001-10-29 | 2007-11-28 | オリンパス株式会社 | Multimedia object search system |
JP2004152175A (en) * | 2002-10-31 | 2004-05-27 | Toshiba Corp | Time series data retrieval device, time series data retrieval method, program and record medium |
JP4916945B2 (en) * | 2007-04-19 | 2012-04-18 | 株式会社タイトー | Music information grant server, terminal, and music information grant system |
JP5115966B2 (en) * | 2007-11-16 | 2013-01-09 | 独立行政法人産業技術総合研究所 | Music retrieval system and method and program thereof |
-
2011
- 2011-05-26 JP JP2011118516A patent/JP5742472B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2012247956A (en) | 2012-12-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5333517B2 (en) | Data processing apparatus and program | |
EP1736961B1 (en) | System and method for automatic creation of digitally enhanced ringtones for cellphones | |
US8415549B2 (en) | Time compression/expansion of selected audio segments in an audio file | |
JP5228432B2 (en) | Segment search apparatus and program | |
US20090307594A1 (en) | Adaptive User Interface | |
JP5135931B2 (en) | Music processing apparatus and program | |
MX2011012749A (en) | System and method of receiving, analyzing, and editing audio to create musical compositions. | |
JP2012194525A (en) | Sound generation control apparatus, identification apparatus, sound generation control system, program and sound generation control method | |
US8554348B2 (en) | Transient detection using a digital audio workstation | |
US11295715B2 (en) | Techniques for controlling the expressive behavior of virtual instruments and related systems and methods | |
US20190103084A1 (en) | Singing voice edit assistant method and singing voice edit assistant device | |
JPWO2006137271A1 (en) | Music search device, music search method, and music search program | |
JP2008216486A (en) | Music reproduction system | |
JP6102076B2 (en) | Evaluation device | |
WO2014142200A1 (en) | Voice processing device | |
JP5742472B2 (en) | Data retrieval apparatus and program | |
JP2020109918A (en) | Video control system and video control method | |
JP5589741B2 (en) | Music editing apparatus and program | |
JP4483561B2 (en) | Acoustic signal analysis apparatus, acoustic signal analysis method, and acoustic signal analysis program | |
JP5510207B2 (en) | Music editing apparatus and program | |
WO2023062865A1 (en) | Information processing apparatus, method, and program | |
JPWO2020066681A1 (en) | Information processing equipment and methods, and programs | |
CN113781989B (en) | Audio animation playing and rhythm stuck point identifying method and related device | |
JP2019101071A (en) | Singing evaluation device, singing evaluation program and karaoke device | |
WO2021124919A1 (en) | Information processing device and method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140320 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140919 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140924 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150407 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150420 |
|
LAPS | Cancellation because of no payment of annual fees |