JP6048720B2

JP6048720B2 - Display device and program

Info

Publication number: JP6048720B2
Application number: JP2012106660A
Authority: JP
Inventors: 明宏三輪
Original assignee: Yamaha Corp
Current assignee: Yamaha Corp
Priority date: 2012-05-08
Filing date: 2012-05-08
Publication date: 2016-12-21
Anticipated expiration: 2032-05-08
Also published as: JP2013236210A

Description

本発明は、ユーザーのパフォーマンス状況を記録することのできる表示装置およびそのプログラムに関する。 The present invention relates to a display device capable of recording a user's performance status and a program thereof.

音楽制作においては、レコーディング工程で演奏や歌唱といったパフォーマンスの内容を録音し、録音された楽音をミキシング工程で編集することが行われる。レコーディングでは通常、同じ曲を複数回(複数テイク)録音しておき、後工程のミキシングで、複数テイクのうちもっともうまく演奏できたテイクをベースに、失敗した箇所のみを別のテイクと差し替えたり、別のテイクの方が上手に演奏できた箇所を部分的に採用して差し替えたりして曲を完成させる。特許文献1には、カラオケ録音した複数テイクの歌唱を切り貼りして楽曲を再構成する技術が記載されている。 In music production, performance contents such as performance and singing are recorded in the recording process, and the recorded musical sounds are edited in the mixing process. In recording, the same song is usually recorded multiple times (multiple takes), and in the subsequent mixing process, only the failed part is replaced with another take based on the take that was most successful among the multiple takes. Complete the song by partially adopting and replacing parts where another take was able to perform well. Patent Document 1 describes a technique for reconfiguring music by cutting and pasting a singing of multiple takes recorded in karaoke.

このような音楽制作手法では、ミキシング時に1テイクずつ聞き返しながらどのテイクでどこが失敗（または成功）しているかを確認する必要があり、時間がかかる。さらに、全テイクで同じ箇所を失敗していることが発覚した場合には、再度レコーディング工程に戻って録音をやり直すことになるので、大きな手戻りとなる。 This kind of music production method takes time because it is necessary to check which take has failed (or succeeded) while listening back one by one during mixing. Furthermore, when it is found that the same part has failed in all takes, the recording process is resumed by returning to the recording process again, which is a great rework.

特開2007-025570号公報JP 2007-025570

本発明はこの点に鑑みてなされたもので、レコーディング時に各テイクの良し悪しを簡易に記録してそれをミキシング時に利用することで、音楽制作を効率よく行えるようにするものである。 The present invention has been made in view of this point, and is intended to efficiently perform music production by simply recording the quality of each take during recording and using it during mixing.

本発明にかかる表示装置は、時間の経過に沿って実行されるパフォーマンスの内容に関連した、複数の表示要素で構成される表示情報を表示する表示手段と、表示要素のうち任意のものを指定する表示要素指定手段と、表示要素指定手段によって指定された1乃至複数の表示要素を表示情報と対応付けられた一組のテイクデータとして、複数組のテイクデータを記憶する記憶手段と、全テイクデータまたは前記一組のテイクデータを選択する選択手段と、前記選択手段で前記全テイクデータが選択された時は、表示手段に第１の態様で表示された表示情報のうち、複数組のテイクデータのすべてに共通する表示要素を第２の表示態様に変更し、前記選択手段で前記一組のテイクデータが選択された時は、前記一組のテイクデータを第1の表示態様で前記表示手段に表示させる表示制御手段とを備える。 The display device according to the present invention designates display means for displaying display information composed of a plurality of display elements related to the contents of performance executed over time, and any one of the display elements is designated. Display element designating means, one or more display elements designated by the display element designating means as a set of take data associated with the display information, storage means for storing a plurality of sets of take data, and all takes A selection means for selecting data or the set of take data, and when all the take data is selected by the selection means, a plurality of sets of takes among the display information displayed in the first mode on the display means. change the display elements that are common to all the data to the second display mode, when the set of take data selected by the selection means, the first display state the set of take data In and a display control means for displaying on the display means.

つまり本発明の表示装置では、時間の経過に沿って実行されるパフォーマンスであるレコーディングの楽曲に関する情報、たとえば複数の文字で構成された歌詞を、表示器に表示させ、レコーディング時に失敗した箇所に該当する歌詞をユーザーが指定して、テイクごとに1または複数個所の失敗箇所を記憶させることができる。複数テイクのレコーディングが終わった後に、表示器に表示された歌詞のうち、複数テイクのすべてで失敗している箇所は異なる表示態様(たとえば異なる色)で表示されるので、一度も成功していない箇所を簡単に把握できる。 In other words, in the display device of the present invention, information related to the music of recording, which is a performance that is executed over time, for example, lyrics composed of a plurality of characters are displayed on the display unit, and it corresponds to a place where recording failed. The user can specify the lyrics to be played and store one or more failed points for each take. After the recording of multiple takes, the part of the lyrics displayed on the display that has failed in all of the multiple takes is displayed in different display modes (for example, different colors), so it has never been successful The location can be easily grasped.

したがって、レコーディングが完了した全テイクの失敗箇所を表示することで、楽曲中の特定箇所が一度も成功していないことにレコーディングが終わってから気づく、という問題が起こらなくなり、音楽制作における手戻りが減少する。さらに、テイクごとに失敗箇所を記録しておくことで、あとで録音内容を1テイクずつ聞き返して失敗箇所を探す作業も不要になる。したがって、音楽制作の作業効率が向上する。 Therefore, by displaying the failed parts of all takes that have been recorded, there is no problem of recognizing that a specific part of the song has never been successful after recording, and reworking in music production can be avoided. Decrease. In addition, by recording the failure location for each take, you do not have to search for the failure location later by listening back to the recorded content one by one. Therefore, the work efficiency of music production is improved.

本発明の一実施例における表示装置の機能概念を示す機能ブロック図である。It is a functional block diagram which shows the functional concept of the display apparatus in one Example of this invention. 本発明の一実施例における表示画面の例である。It is an example of the display screen in one Example of this invention. 表示装置内部での表示情報の管理構造を示す概念図である。It is a conceptual diagram which shows the management structure of the display information inside a display apparatus. 表示装置が行なう処理を示すフローチャートである。It is a flowchart which shows the process which a display apparatus performs. 表示画面を示す別の例である。It is another example which shows a display screen.

以下、演奏者の歌う歌唱音声を録音するレコーディングにおいて、本発明の表示装置を用いて、歌唱を失敗した箇所をテイクごとに記録する例について説明する。レコーディングは、演奏者のほかに機材の操作を行なうエンジニアや進行を取り仕切るディレクターなどの複数人で役割分担しながら行なう場合と、演奏者が自らマイクのレベル調整や録音用装置の操作なども担当して一人で行なう場合とがある。本来、演奏者は演奏に専念するのが望ましいため、本発明の表示装置の操作は演奏者とは別人（たとえばディレクター）が担当するとよいが、演奏者がひとりでレコーディングを行なう場合には、演奏者自身が表示装置の操作を行なっても何ら問題はないので、以下は説明を簡単にするため、演奏者自身が表示装置を操作するものとし、「ユーザー」は演奏者かつ装置の操作者であるものとする。 Hereinafter, in the recording for recording the singing voice of the performer, an example will be described in which the location where the singing has failed is recorded for each take using the display device of the present invention. In addition to the performer, the recording is performed by multiple persons such as the engineer who operates the equipment and the director who manages the progress, and the performer is also responsible for adjusting the microphone level and operating the recording device. Sometimes it is done alone. Originally, it is desirable for the performer to concentrate on the performance, so that the operation of the display device of the present invention is preferably performed by a person (eg, a director) different from the performer. There is no problem even if the player himself operates the display device. For the sake of simplicity, the following description assumes that the player himself operates the display device. The “user” is the player and the operator of the device. It shall be.

図１は、本発明の一実施例における表示装置の機能ブロック図である。本発明における表示装置Ｄは、タッチパネルディスプレイ（以下タッチパネル）を備えた情報処理装置であり、操作部１、音声入力部２、制御部３、記憶部４、表示部５、音声出力部６から構成される。 FIG. 1 is a functional block diagram of a display device according to an embodiment of the present invention. The display device D in the present invention is an information processing device including a touch panel display (hereinafter referred to as a touch panel), and includes an operation unit 1, a voice input unit 2, a control unit 3, a storage unit 4, a display unit 5, and a voice output unit 6. Is done.

操作部１は、ボタン、スイッチ、ダイアル、スライダーなどのハードウェア操作子と、タッチパネル上に表示される仮想操作子とを含む。音声入力部２はマイクロフォンであって、ユーザーによる発声や演奏音などの音声を集音する。集音された音はデジタル信号に変換され、音声信号として処理される。制御部３は表示装置Ｄの動作を制御するマイクロプロセッサユニット（ＣＰＵ）であり、操作部１から入力されたユーザー操作や音声入力部２から入力された音声信号に応じて、記憶部４にアクセスして情報の読み出しや書き込みを行なったり、表示部５または音声出力部６に出力する情報を制御したりする。記憶部４は、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、あるいはハードディスクやフラッシュメモリなどの記憶媒体を含み、表示装置Ｄを制御するためのプログラムやデータ、音声入力部２から入力された音声を録音した録音データＲＥ、表示部５に表示させる表示情報ＬＹなどを記憶する。表示部５はタッチパネル式のディスプレイであり、記憶部４から読み出された表示情報ＬＹなどを表示する。タッチパネルは、液晶（ＬＣＤ）や有機ＥＬ、あるいは電子ペーパーなどで構成されたディスプレイに、静電式、感圧式、あるいは他の既存の方式による、ディスプレイ上への操作の検出機能を持たせたものであり、表示情報ＬＹを表示する表示部５としての機能と、ユーザーのタッチ操作を受け付ける操作部１としての機能を併せ持つ。音声出力部６は音源・効果回路やアンプ、スピーカーなどのサウンドシステムにより構成される。なお、すべての構成要素が機器に内蔵されている必要はなく、マイクロフォンや記憶装置、ディスプレイ、スピーカーなどを外付けすることにより同様の機能を実現してもよい。 The operation unit 1 includes hardware operators such as buttons, switches, dials, and sliders, and virtual operators displayed on the touch panel. The voice input unit 2 is a microphone and collects voices such as utterances and performance sounds by the user. The collected sound is converted into a digital signal and processed as an audio signal. The control unit 3 is a microprocessor unit (CPU) that controls the operation of the display device D, and accesses the storage unit 4 in response to a user operation input from the operation unit 1 or an audio signal input from the audio input unit 2. Thus, information is read or written, or information output to the display unit 5 or the audio output unit 6 is controlled. The storage unit 4 includes a read-only memory (ROM), a random access memory (RAM), or a storage medium such as a hard disk or a flash memory. The storage unit 4 is input from a program or data for controlling the display device D or the voice input unit 2. Recording data RE recording the recorded voice, display information LY to be displayed on the display unit 5 and the like are stored. The display unit 5 is a touch panel display, and displays the display information LY read out from the storage unit 4. A touch panel is a display composed of liquid crystal (LCD), organic EL, or electronic paper, and has a function to detect operations on the display using electrostatic, pressure-sensitive, or other existing methods. It has both a function as the display unit 5 for displaying the display information LY and a function as the operation unit 1 for receiving a user's touch operation. The audio output unit 6 includes a sound system such as a sound source / effect circuit, an amplifier, and a speaker. Note that not all the components need be built in the device, and the same function may be realized by externally attaching a microphone, a storage device, a display, a speaker, or the like.

図２は、表示装置Ｄの表示部５に表示される画面の一例である。ユーザーが操作部１を操作することにより、これからレコーディングする楽曲に関連する表示情報、具体的には楽曲の歌詞である表示情報ＬＹが記憶部４から読み出され、図２（ａ）に示す画面が表示部５に表示される。表示部５には、表示情報ＬＹを表示する表示エリアＡｒと、レコーディングのテイクを表すタブを表示するタブエリアＴｒがあり、タブエリアＴｒにはテイク1を表すタブＴｂ１、全テイクの統合データを表示するタブＴｂＡが表示されている。なお、初期状態ではテイク１のタブＴｂ１が選択されている。 FIG. 2 is an example of a screen displayed on the display unit 5 of the display device D. When the user operates the operation unit 1, display information related to the song to be recorded, specifically, display information LY that is the lyrics of the song is read from the storage unit 4, and the screen shown in FIG. Is displayed on the display unit 5. The display unit 5 includes a display area Ar for displaying the display information LY and a tab area Tr for displaying a tab representing a recording take. The tab area Tr includes a tab Tb1 representing a take 1 and integrated data of all takes. A tab TbA to be displayed is displayed. In the initial state, the take T1 tab Tb1 is selected.

ユーザーは表示エリアＡｒに表示された表示情報ＬＹを参照しながら、対象楽曲を歌唱し、歌唱音声を録音する。すなわち、レコーディングを行なう。本発明の表示装置Ｄは音声入力部２を備えているので、専用の録音機器がなくても本機器のみで簡易的に録音を行なえる。操作部1より録音開始操作を行なうと、以降にユーザーが音声入力部から入力した歌唱音声が、記憶部４に録音データＲＥとして記憶される。なお、録音を開始するにあたり、本装置の記憶部４あるいは本装置とは別の再生装置から楽曲の伴奏音を読み出して再生するようにし、伴奏音に合わせて歌唱するとよい。 The user sings the target music and records the singing voice while referring to the display information LY displayed in the display area Ar. That is, recording is performed. Since the display device D of the present invention includes the voice input unit 2, even if there is no dedicated recording device, recording can be performed simply with this device. When a recording start operation is performed from the operation unit 1, the singing voice that the user subsequently inputs from the voice input unit is stored in the storage unit 4 as the recording data RE. When recording is started, it is preferable that the accompaniment sound of the music is read from the storage unit 4 of the present apparatus or a reproduction apparatus different from the present apparatus and reproduced, and sung according to the accompaniment sound.

こうして歌唱しながら、うまく歌えなかった箇所に該当する歌詞に、表示エリアＡｒ上でタッチする。たとえば、「いつもいつまでも」の末尾で失敗した場合、「も」が表示されている箇所にタッチする。すると、タッチした箇所に色が付き、画面は図２（ｂ）のようになる。このときの表示態様（現在表示中のタブにおけるタッチ箇所の表示態様）をｆｃとする。なお、表示態様ｆｃの色の付き方は、所定の範囲に色を塗ったような表示でもよいし、タッチされた位置にある文字色を変えるようにしてもよいが、少なくとも表示情報ＬＹを構成するどの表示要素（後述）がタッチされたのかがわかるように表示するものとする。また、失敗箇所が複数文字にわたる場合は、タッチではなくドラッグして範囲を指定することで、ドラッグした範囲が表示態様ｆｃとなる。楽曲の最後まで演奏（歌唱）が進むと、ユーザーは録音終了操作をしてテイク１のレコーディングを終了する。表示エリアＡｒ上に表示された表示情報ＬＹは、テイク１において失敗した１または複数の箇所が表示態様ｆｃで示された状態になっているはずである。 While singing in this way, the lyrics corresponding to the part that could not be sung well are touched on the display area Ar. For example, if a failure occurs at the end of “always”, touch the place where “mo” is displayed. Then, the touched portion is colored, and the screen is as shown in FIG. Let fc be the display mode at this time (display mode of the touch location on the tab currently being displayed). Note that the display mode fc may be colored by displaying a predetermined range, or changing the character color at the touched position, but at least the display information LY is configured. It is assumed that the display element is displayed so that it can be understood which display element (described later) is touched. In addition, when the failure portion extends over a plurality of characters, the dragged range becomes the display mode fc by specifying the range by dragging instead of touching. When the performance (singing) progresses to the end of the music, the user ends the recording of take 1 by performing a recording end operation. The display information LY displayed on the display area Ar should be in a state in which one or a plurality of locations that have failed in the take 1 are indicated by the display mode fc.

次に、操作部１の操作によりテイク２のレコーディングのためのタブを新規作成する。たとえば、タブＴｂ１の右側を長押しすることでメニュー画面(図示せず)を表示させ、そこから「新規タブ作成」のメニューを選択することで、タブＴｂ２が表示されて、図２（ｃ）の画面となる。このとき、テイク１でタッチした失敗箇所は、図２（ｂ）とは異なる色で表示される。このときの表示態様（現在表示中でないタブにおけるタッチ箇所の表示態様）をｆｐとする。このように、録音済みテイクにおいてタッチした箇所が表示態様ｆｐで表示されることで、ユーザーは過去の失敗箇所を認識することができ、テイク２では同じ箇所で再び失敗することのないよう注意してレコーディングを行なうことができる。 Next, a tab for recording the take 2 is created by operating the operation unit 1. For example, a menu screen (not shown) is displayed by long-pressing the right side of the tab Tb1, and a tab “Tab2” is displayed by selecting a menu “create new tab” from the menu screen (FIG. 2C). It becomes the screen of. At this time, the failed part touched by take 1 is displayed in a color different from that shown in FIG. The display mode at this time (display mode of the touched part in the tab not currently displayed) is set to fp. In this way, the touched part of the recorded take is displayed in the display mode fp, so that the user can recognize the past failed part, and take 2 is careful not to fail again at the same part. Recording.

図２（ｄ）は、テイク４までのレコーディングを行なった場合の画面である。この図では、テイク１〜４の全テイクデータを統合して表示するオールタブＴｂＡが選択されており、表示エリアＡｒ上の表示情報ＬＹには、表示態様ｆｐ、ｆａで表示されている箇所がある。表示態様ｆａは、テイク１〜４のすべてにおいてユーザーがタッチした箇所を示しており、表示態様ｆｐは、テイク１〜４のいずれかにおいてユーザーがタッチした箇所を示している。つまり、表示態様ｆａで示された箇所は、全テイク同じ箇所で失敗していることを示し、まだレコーディングを完了できないことを意味する。逆に、オールタブＴｂＡにおいて表示態様ｆａがなくなれば、すべての箇所において少なくとも１度は成功していることを示すため、レコーディングを完了して次のミキシング工程に移ってよいことを意味する。なお、図２（ａ）〜（ｄ）において、各タブＴｂ１〜Ｔｂ４、ＴｂＡのそれぞれにタッチすることで、任意のタブの内容をいつでも表示することができる。 FIG. 2D shows a screen when recording up to take 4 is performed. In this figure, the all tab TbA for integrating and displaying all take data of takes 1 to 4 is selected, and the display information LY on the display area Ar includes a portion displayed in the display modes fp and fa. . The display mode fa indicates a location touched by the user in all of takes 1 to 4, and the display mode fp indicates a location touched by the user in any of the takes 1 to 4. In other words, the location indicated by the display mode fa indicates that all takes have failed at the same location, meaning that recording cannot be completed yet. On the other hand, if the display mode fa disappears in the all tab TbA, it means that the recording has been completed at least once in all locations, and it means that the recording may be completed and the next mixing step may be started. 2A to 2D, the contents of an arbitrary tab can be displayed at any time by touching each of the tabs Tb1 to Tb4 and TbA.

図３は、表示装置Ｄの記憶部４における、表示情報ＬＹに関する種々の情報の管理構造を示す概念図である。本実施例の表示情報ＬＹは、複数の表示要素ｌｙ（ｘ）から構成され、表示要素ｌｙ（ｘ）ごとにレコーディング楽曲の時間情報ｌｔ（ｘ）を持つ。前述のとおり、表示情報ＬＹは楽曲の歌詞でありテキストデータであって、図３では歌詞の1文字ごとが表示要素ｌｙ（ｘ）となっている。 FIG. 3 is a conceptual diagram showing a management structure of various information related to the display information LY in the storage unit 4 of the display device D. The display information LY of the present embodiment is composed of a plurality of display elements ly (x), and has recording music time information lt (x) for each display element ly (x). As described above, the display information LY is the lyrics of music and text data. In FIG. 3, each character of the lyrics is a display element ly (x).

ここで、表示情報ＬＹの作成方法の一例として、ＭＩＤＩ（ミディ）を利用して表示要素ｌｙ（ｘ）を作成し、それに対応する時間情報ｌｔ（ｘ）を決定する方法を説明する。レコーディングに使用する楽曲をＭＩＤＩで作成し、メロディパートのノートデータに歌詞を割り付けておく。ノートごとに割り付けられたテキスト情報が表示情報ＬＹの表示要素ｌｙ（１）、ｌｙ（２）、・・・ｌｙ（ｘ）である。表示要素ｌｙ（ｘ）を割り付けたノートデータの小節、拍、クロックを、楽曲の演奏テンポにもとづいて時間情報(分、秒)に変換したものが、図３における時間情報ｌｔ（ｘ）となる。 Here, as an example of a method for creating the display information LY, a method for creating the display element ly (x) using MIDI (midi) and determining the time information lt (x) corresponding thereto will be described. The music used for recording is created with MIDI, and lyrics are assigned to the note data of the melody part. The text information assigned to each note is the display elements ly (1), ly (2),... Ly (x) of the display information LY. The time information lt (x) in FIG. 3 is obtained by converting the measure, beat, and clock of the note data to which the display element ly (x) is assigned into time information (minutes, seconds) based on the performance tempo of the music. .

表示情報ＬＹは、所定のルールにしたがって表示部５の表示エリアＡｒに表示される。ユーザーが表示エリアＡｒ上の任意の位置にタッチすると、タッチ位置の座標が検出される。表示情報ＬＹを表示エリアＡｒに表示させるための所定のルールを参照することで、座標位置に表示されている表示要素ｌｙ（ｘ）が特定され、その表示要素ｌｙ（ｘ）に対して操作フラグがオンになる。この操作フラグは、記憶部４であるＲＡＭに記憶される。図３の「テイク１」列Ｔｋ１は、図２におけるＴｂ１に対応しており、テイク１のレコーディング時における失敗箇所を記録したテイクデータである。チェックマークは操作フラグがオンであることを表す。図２（ｂ）によると、Ｔｂ１では「いつまでも」の「も」がユーザーによりタッチされている。つまり、タッチ位置に表示されている表示要素はｌｙ（８）と特定されることから、図３のＴｋ１では、表示要素ｌｙ（８）の操作フラグがオンになっている。Ｔｋ２〜Ｔｋ４も同様に、図２のＴｂ２〜Ｔｂ４に対応する。このように、Ｔｋ１〜Ｔｋ４の各テイクデータは、共通する１つの表示情報ＬＹの各表示要素ｌｙ（ｘ）に対して任意の表示要素を指定し、どの表示要素ｌｙ（ｘ）が指定されたか（操作フラグがオンとなったか）をテイクごとに記憶部４に記憶したものである。 The display information LY is displayed in the display area Ar of the display unit 5 according to a predetermined rule. When the user touches an arbitrary position on the display area Ar, the coordinates of the touch position are detected. By referring to a predetermined rule for displaying the display information LY in the display area Ar, the display element ly (x) displayed at the coordinate position is specified, and an operation flag for the display element ly (x) is specified. Is turned on. This operation flag is stored in the RAM which is the storage unit 4. The “Take 1” column Tk1 in FIG. 3 corresponds to Tb1 in FIG. 2, and is take data in which a failure point at the time of recording of Take 1 is recorded. A check mark indicates that the operation flag is on. According to FIG. 2 (b), “every” “mo” is touched by the user at Tb1. That is, since the display element displayed at the touch position is specified as ly (8), the operation flag of the display element ly (8) is turned on at Tk1 in FIG. Similarly, Tk2 to Tk4 correspond to Tb2 to Tb4 in FIG. As described above, each take data of Tk1 to Tk4 designates an arbitrary display element for each display element ly (x) of one common display information LY, and which display element ly (x) is designated. (Whether the operation flag is turned on) is stored in the storage unit 4 for each take.

図４は、表示装置Ｄの制御部３が行なう処理を示すフローチャートである。この処理は、表示装置Ｄが起動されることにより開始される。 FIG. 4 is a flowchart showing processing performed by the control unit 3 of the display device D. This process is started when the display device D is activated.

ステップＳＴ１は、本実施例を実行するための種々の初期化処理を行なう。レコーディング楽曲に対応する表示情報ＬＹをユーザー指示に応じて、あるいは自動的に、表示部５に表示したり、録音データを保存するための領域を記憶部４に確保したりなどの処理を行なう。その後、ステップＳＴ２に進み、ユーザーによる操作部１の操作を検出すると、ステップＳＴ３において、ステップＳＴ２で検出した操作が表示情報ＬＹに関する操作か否かを判断する。表示情報ＬＹに関する操作とは、タブエリアＴｒに表示されたタブＴｂ１〜ＴｂＡへのタッチ操作または表示エリアＡｒ内に現在表示されている表示情報ＬＹへのタッチ操作のことである。表示情報ＬＹに関する操作の場合はステップＳＴ４へ進み、それ以外の操作である場合はステップＳＴ１５へ進む。 Step ST1 performs various initialization processes for executing the present embodiment. The display information LY corresponding to the recorded music is displayed on the display unit 5 according to a user instruction or automatically, or an area for storing recording data is secured in the storage unit 4. Thereafter, the process proceeds to step ST2, and when the operation of the operation unit 1 by the user is detected, it is determined in step ST3 whether or not the operation detected in step ST2 is an operation related to the display information LY. The operation related to the display information LY is a touch operation on the tabs Tb1 to TbA displayed in the tab area Tr or a touch operation on the display information LY currently displayed in the display area Ar. If the operation is related to the display information LY, the process proceeds to step ST4. If the operation is other than that, the process proceeds to step ST15.

ステップＳＴ４では、表示情報ＬＹに関する操作のうち、操作位置がタブエリアＴｒであるか表示エリアＡｒであるかを判断する。タブエリアＴｒする操作である場合はステップＳＴ５へ進み、表示エリアＡｒに対する操作である場合はステップＳＴ１１へ進む。 In step ST4, it is determined whether the operation position is the tab area Tr or the display area Ar among the operations related to the display information LY. If it is an operation for tab area Tr, the process proceeds to step ST5, and if it is an operation for display area Ar, the process proceeds to step ST11.

ステップＳＴ５では、表示エリアＡｒ上に表示されている表示情報ＬＹにおいて、表示態様ｆｃ、ｆｐ、ｆａで表示されている箇所があれば、表示態様をクリアする。ステップＳＴ６では、操作対象のタブが、各テイクに対応したタブ（Ｔｂ１、Ｔｂ２、・・・）であるか、オールタブ（ＴｂＡ）であるかを判断する。各テイクに対応したタブである場合はステップＳＴ７へ進み、オールタブＴｂＡである場合はステップＳＴ９へ進む。 In step ST5, if there is a portion displayed in the display mode fc, fp, fa in the display information LY displayed on the display area Ar, the display mode is cleared. In step ST6, it is determined whether the operation target tab is a tab (Tb1, Tb2,...) Corresponding to each take or an all tab (TbA). If it is a tab corresponding to each take, the process proceeds to step ST7, and if it is an all tab TbA, the process proceeds to step ST9.

ステップＳＴ７では、ステップＳＴ２でユーザーが操作したタブ（これをＴｂｕとする）において操作フラグがオンである表示要素ｌｙ（ｘ）を確認し、操作フラグがオンである表示要素ｌｙ（ｘ）の表示態様をｆｃに変更する。続いてステップＳＴ８へ進み、タブＴｂｕでは操作フラグがオンでないがＴｂｕ以外のタブにおいて操作フラグがオンである表示要素ｌｙ（ｘ）を確認し、この表示要素ｌｙ（ｘ）の表示態様をｆｐに変更する。これで、ステップＳＴ２で検出した操作（いずれかのタブへのタッチ操作）に対する処理を終了し、次のユーザー操作を受け付けるステップＳＴ２へと進む。 In step ST7, the display element ly (x) whose operation flag is on is confirmed in the tab operated by the user in step ST2 (this is Tbu), and the display element ly (x) whose operation flag is on is displayed. Change the mode to fc. Subsequently, the process proceeds to step ST8, where the display element ly (x) in which the operation flag is not on in the tab Tbu but the operation flag is on in a tab other than Tbu is confirmed, and the display mode of the display element ly (x) is set to fp. change. This completes the processing for the operation detected in step ST2 (touch operation on any tab), and proceeds to step ST2 for accepting the next user operation.

ステップＳＴ９では、各表示要素ｌｙ（ｘ）について、すべてのタブ（テイク）における操作フラグを確認し、すべてのタブにおいて操作フラグがオンである表示要素ｌｙ（ｘ）があれば、その表示要素ｌｙ（ｘ）の表示態様をｆａに変更する。続くステップＳＴ１０では、一部のタブ（テイク）においてのみ操作フラグがオンである表示要素ｌｙ（ｘ）を確認し、表示態様をｆｐに変更する。これで、ステップＳＴ２で検出した操作（オールタブＴｂＡのタッチ操作）に対する処理を終了し、次のユーザー操作を受け付けるステップＳＴ２へと進む。 In step ST9, the operation flag in all tabs (takes) is confirmed for each display element ly (x). If there is a display element ly (x) whose operation flag is on in all tabs, the display element ly is displayed. The display mode of (x) is changed to fa. In the subsequent step ST10, the display element ly (x) whose operation flag is on only in some tabs (takes) is confirmed, and the display mode is changed to fp. This completes the processing for the operation detected in step ST2 (touch operation of all tab TbA), and proceeds to step ST2 for accepting the next user operation.

ステップＳＴ１１では、各テイクに対応したタブ（Ｔｂ１、Ｔｂ２、・・・）の表示エリアＡｒを操作したか、オールタブ（ＴｂＡ）の表示エリアＡｒを操作したかを判断する。各テイクに対応したタブである場合はステップＳＴ１２へ進む。オールタブＴｂＡである場合は、表示エリアＡｒ内にタッチしても何も起こらないことから、ステップＳＴ２で検出した操作（オールタブＴｂＡの表示エリアＡｒへのタッチ操作）に対する処理を終了し、次のユーザー操作を受け付けるステップＳＴ２へと進む。なお。オールタブＴｂＡの表示エリアＡｒ内にタッチしたときの動作はこの限りでなく、たとえば自動的に１つのテイクのタブを選択するようにして、選択されたタブにおいて以降のステップＳＴ１２〜ＳＴ１４の処理を行うようにしてもよい。この際に選択されるタブは、もっともテイク番号の大きいタブ、ユーザーがオールタブを選択する直前に選択されていたタブ、あるいはタブを新規作成、など、なんでもよい。 In step ST11, it is determined whether the display area Ar of the tabs (Tb1, Tb2,...) Corresponding to each take has been operated or the display area Ar of the all tabs (TbA) has been operated. If the tab corresponds to each take, the process proceeds to step ST12. In the case of the all tab TbA, nothing happens even if the display area Ar is touched, so the processing for the operation detected in step ST2 (touch operation to the display area Ar of the all tab TbA) is terminated and the next user It progresses to step ST2 which receives operation. Note that. The operation when the display area Ar of the all tab TbA is touched is not limited to this. For example, one take tab is automatically selected, and the processes of the following steps ST12 to ST14 are performed on the selected tab. You may do it. The tab selected at this time may be anything such as the tab with the largest take number, the tab selected immediately before the user selects the all tab, or the creation of a new tab.

ステップＳＴ１２では、ステップＳＴ２でユーザーがタッチした表示エリアＡｒ中の座標位置を検出し、この座標上に表示されている表示要素ｌｙ（ｘ）を特定する。なお、タッチ位置に表示要素ｌｙ（ｘ）が存在しない場合、何も処理を行なわずにステップＳＴ２へ進むようにしてもよいし、タッチ位置のもっとも近くに表示されている表示要素ｌｙ（ｘ）を選択するようにしてもよい。続くステップＳＴ１３では、ステップＳＴ１２で特定した表示要素ｌｙ（ｘ）に対して、現在のテイク（ステップＳＴ１１で判定されたテイクタブに対応するテイク）における操作フラグをオンにし、ステップＳＴ１４でこの表示要素ｌｙ（ｘ）の表示態様をｆｃに変更する。これで、ステップＳＴ２で検出した操作（表示エリアＡｒ中の表示情報ＬＹへのタッチ操作）に対する処理を終了し、次のユーザー操作を受け付けるステップＳＴ２へと進む。 In step ST12, the coordinate position in the display area Ar touched by the user in step ST2 is detected, and the display element ly (x) displayed on this coordinate is specified. When the display element ly (x) does not exist at the touch position, the process may proceed to step ST2 without performing any process, or the display element ly (x) displayed closest to the touch position is selected. You may make it do. In the subsequent step ST13, the operation flag in the current take (the take corresponding to the take tab determined in step ST11) is turned on for the display element ly (x) specified in step ST12. In step ST14, this display element ly is displayed. The display mode of (x) is changed to fc. This completes the processing for the operation detected in step ST2 (touch operation on the display information LY in the display area Ar), and proceeds to step ST2 for accepting the next user operation.

ステップＳＴ１５では、ステップＳＴ２の操作が表示装置Ｄを停止させる終了指示であるかどうかを判断する。終了指示である場合はステップＳＴ１６へ進み、データの保存処理を行なってフローを終了する。終了指示でない場合はステップＳＴ１７へ進み、操作に対応した処理を行なう。その後、次のユーザー操作を受け付けるステップＳＴ２へと進む。 In step ST15, it is determined whether or not the operation in step ST2 is an end instruction for stopping the display device D. If it is an end instruction, the process proceeds to step ST16, a data storage process is performed, and the flow ends. If it is not an end instruction, the process proceeds to step ST17 to perform processing corresponding to the operation. Then, it progresses to step ST2 which receives next user operation.

ここで、ステップＳＴ１７で行なわれる処理について説明する。ステップＳＴ１７の処理の例として、録音、再生、タブ作成、選曲などがある。録音は、ユーザーの録音開始指示に応じて録音経過時間の計測を開始するとともに、音声入力部２から入力された音声信号を記憶部４に記憶する処理である。再生は、記憶部４から録音データＲＥを読み出し、音声出力部６から出力させる処理である。タブ作成は、タブエリアＴｒに新たなタブを表示し、ステップＳＴ５の処理（表示態様のクリア）を行なったのちステップＳＴ８の処理を行なうことで、すでにレコーディングが完了したテイクの失敗箇所を表示する処理である。選曲は、記憶部４に記憶された複数の表示情報ＬＹのうちの１つをユーザーの選択操作に応じて読み出し、表示部５に表示する処理である。これ以外にも、表示エリアＡｒにおける表示の拡大率を変更したり、タッチ位置の表示態様を（たとえば別の色に）変更したりといった、種々の編集処理がステップＳＴ１７にて行なわれる。 Here, the process performed in step ST17 will be described. Examples of processing in step ST17 include recording, playback, tab creation, music selection, and the like. Recording is a process of starting measurement of the elapsed recording time in response to a user's recording start instruction and storing the audio signal input from the audio input unit 2 in the storage unit 4. The reproduction is a process of reading the recording data RE from the storage unit 4 and outputting it from the audio output unit 6. In the tab creation, a new tab is displayed in the tab area Tr, and after performing the process of step ST5 (clearing the display mode), the process of step ST8 is performed to display the failed part of the take that has already been recorded. It is processing. The music selection is a process of reading one of the plurality of display information LY stored in the storage unit 4 in accordance with a user's selection operation and displaying it on the display unit 5. In addition to this, various editing processes such as changing the display enlargement ratio in the display area Ar and changing the display mode of the touch position (for example, to another color) are performed in step ST17.

図５は、表示装置Ｄの表示部５に表示される画面の別の例である。横軸は録音時間を表す。長方形Ｔｋ１〜Ｔｋ４は、テイク１〜テイク４の録音データＲＥに対応するテイクデータであって、表示情報ＬＹに対して、各テイクにおいて操作フラグがオンになっている（つまりレコーディング中の演奏に失敗した）時間位置が、表示態様ｄｃまたはｄａで示されている。なお、Ｔｋ２〜Ｔｋ４では、図の簡略化のため表示情報ＬＹの記載を省略してあるが、もちろんすべてのテイクにおいて表示情報ＬＹが記載されていてもよいし、あるいは、テイクデータの長方形（Ｔｋ１〜Ｔｋ４）の中に表示情報ＬＹを表示するのではなく、付近に表示してもよい。いずれにしろ、Ｔｋ１〜Ｔｋ４は、表示情報ＬＹを時間方向に一次元表示したものであるといえる。表示態様ｄｃで表示された失敗箇所は、他の少なくとも１テイクにおいては成功していることを示し、表示態様ｄａで表示された失敗箇所は、全テイクで失敗していることを示す。つまり、表示態様ｄａが存在する場合、まだレコーディングを完了できないことを意味する。逆に、表示態様ｄａがなくなれば、すべての箇所において少なくとも一度は成功していることを示すため、レコーディングを完了して次のミキシング工程に移ってよいことを意味する。 FIG. 5 is another example of a screen displayed on the display unit 5 of the display device D. The horizontal axis represents the recording time. The rectangles Tk1 to Tk4 are take data corresponding to the recording data RE of take 1 to take 4, and the operation flag is turned on for each take with respect to the display information LY (that is, the performance during recording has failed). The time position is indicated by the display mode dc or da. In Tk2 to Tk4, the description of the display information LY is omitted for simplification of the drawing. Of course, the display information LY may be described in all takes, or a rectangle of take data (Tk1). The display information LY may not be displayed in ~ Tk4) but may be displayed in the vicinity. In any case, it can be said that Tk1 to Tk4 are one-dimensional displays of the display information LY in the time direction. The failure location displayed in the display mode dc indicates that the other at least one take has succeeded, and the failure location displayed in the display mode da indicates that the take has failed in all takes. That is, when the display mode da exists, it means that recording cannot be completed yet. On the contrary, if the display mode da disappears, it means that the recording has been completed and the next mixing process can be started in order to indicate that it has succeeded at least once in all places.

図３では、表示要素ｌｙ（１）についてテイク２の操作フラグがオンである。したがって、図５では、Ｔｋ２において、表示要素ｌｙ（１）の時間情報であるｌｔ（１）の位置が表示態様ｄｃで表されている。同様に、Ｔｋ３においては、表示要素ｌｙ（４）の時間情報であるｌｔ（４）の位置が表示態様ｄｃで表されている。また、表示要素ｌｙ（８）については、全テイクで操作フラグがオンであるので、この表示要素ｌｙ（８）に対応する時間情報ｌｔ（８）の位置が、Ｔｋ１〜Ｔｋ４の全テイクにおいて表示態様ｄａで表されている。このように時間軸上に各テイクにおける失敗位置が表示されるため、レコーディング後のミキシング作業において、採用すべきテイクや採用すべきでないテイクをすぐに判別できる。また、表示装置Ｄが、録音データＲＥを編集する機能も備えている場合は、図５のＴｋ１〜Ｔｋ４は各テイクの録音データＲＥそのものであるので、失敗箇所の録音データを別のテイクの同時間の録音データと差し替える編集作業をこの表示上で直接行なうことができ、録音（レコーディング）から編集（ミキシング）までの操作が効率よく行なえる。 In FIG. 3, the operation flag of take 2 is turned on for the display element ly (1). Therefore, in FIG. 5, at Tk2, the position of lt (1) that is the time information of the display element ly (1) is represented by the display mode dc. Similarly, in Tk3, the position of lt (4), which is time information of the display element ly (4), is represented by the display mode dc. For the display element ly (8), since the operation flag is on for all takes, the position of the time information lt (8) corresponding to the display element ly (8) is displayed in all takes Tk1 to Tk4. It is represented by the embodiment da. In this way, since the failure position in each take is displayed on the time axis, it is possible to immediately determine the take to be adopted and the take not to be adopted in the mixing work after recording. Further, when the display device D also has a function of editing the recording data RE, Tk1 to Tk4 in FIG. 5 are the recording data RE of each take, so that the recording data of the failed part is the same as that of another take. Editing operations that replace the recording data of the time can be performed directly on this display, and operations from recording (recording) to editing (mixing) can be performed efficiently.

なお、本実施例では、表示装置Ｄの記憶部４に録音データＲＥを記憶するようにしたが、表示装置とは別に専用の録音装置で録音を行うようにしてもよい。その場合であっても、表示装置Ｄの表示部５に、各テイクの失敗位置を図５のように時間軸に沿って表示するのは有用である。録音装置上でも図５のように録音データが時間軸に沿って表示されるのが一般的であるため、表示装置Ｄにて記録された失敗位置の時間情報と録音装置上の録音データの照合がしやすくなり、編集時に録音装置上の録音データを１テイクずつ聞きなおして失敗箇所を確認しなくともすぐに各テイクの失敗箇所を特定できるからである。 In this embodiment, the recording data RE is stored in the storage unit 4 of the display device D. However, recording may be performed by a dedicated recording device separately from the display device. Even in that case, it is useful to display the failed position of each take on the display unit 5 of the display device D along the time axis as shown in FIG. Since the recording data is generally displayed on the recording device along the time axis as shown in FIG. 5, the time information of the failure position recorded on the display device D and the recording data on the recording device are collated. This is because the failure location of each take can be identified immediately without re-listening the recorded data on the recording device one by one at the time of editing and confirming the failure location.

なお、本実施例の表示装置Ｄにおいてはタッチパネルを使用したが、タッチパネルではない表示器を使用してもよい。マウスやホイールなどのポインティングデバイスを用いて画面上のカーソルを移動させ、表示情報ＬＹ上の位置を指定すればよい。 In addition, in the display apparatus D of a present Example, although the touch panel was used, you may use the indicator which is not a touch panel. A position on the display information LY may be designated by moving a cursor on the screen using a pointing device such as a mouse or a wheel.

また、楽器の演奏や歌唱だけでなく、演劇やダンス、朗読、その他さまざまなパフォーマンスにおいて、本発明は応用できる。その場合、表示情報ＬＹは、楽曲の歌詞に限らず、楽曲のコード進行や、パフォーマンスの構成を表すメモ（たとえば曲のイントロ、Ａメロ、サビといった構成や、演劇の第一部、第一幕、といった構成を記したテキストなど）であってもよいし、写真やイラストなどの画像であってもよい。さらに表示態様ｆｃ、ｆｐ、ｆａやｄｃ、ｄａは、表示色による識別方法に限らず、反転表示、点滅表示、下線、斜体など、他の箇所と区別できるものであれば、どのようなものであってもよい。 Further, the present invention can be applied not only to playing and singing musical instruments, but also to various performances such as theater, dance, reading, and so on. In this case, the display information LY is not limited to the lyrics of the music, but a memo indicating the chord progression of the music and the composition of the performance (for example, the structure of the music intro, A melody, chorus, the first part of the play, the first act , Etc., or text such as photographs or illustrations. Further, the display modes fc, fp, fa, dc, and da are not limited to the identification method based on the display color, but can be any display as long as they can be distinguished from other parts such as reverse display, blinking display, underline, and italic. There may be.

さらに、失敗箇所を記録する用途だけではなく、成功箇所を記録してもよいし、それ以外の用途でも、ユーザーがマークしておきたい箇所を記録する目的に本発明は応用できる。あるいは、種類の異なる情報を異なる表示態様で表示できるようにすることで、より詳細なパフォーマンスの状況を管理できる。たとえば、メロディを間違えた場合、歌詞を間違えた場合、音程を外した場合、などの異なる失敗状況を、画面に１回タッチする、すばやく２回タッチする、長押しする、といったようにそれぞれ操作の仕方を異ならせ、対応する表示態様もｆｃ１（赤色）、ｆｃ２（青色）、ｆｃ３（黄色）のように区別する。こうすると、どの箇所でどのような失敗が多いかといった情報も管理でき、より効率的にレコーディングが行なえる。または、同様の手法で失敗箇所と成功箇所を同時に管理して、ミキシング時に採用すべき成功データがどのテイクであるかを判断しやすくする、という使い方もできる。 Furthermore, the present invention can be applied not only for the purpose of recording the failed part but also for recording the part that the user wants to mark for other purposes. Alternatively, more detailed performance status can be managed by enabling different types of information to be displayed in different display modes. For example, if you make a mistake in the melody, if you make a mistake in the lyrics, or if you remove the pitch, you can touch different screens such as touching the screen once, touching twice quickly, and pressing and holding each operation. Different ways are used, and the corresponding display modes are also distinguished as fc1 (red), fc2 (blue), and fc3 (yellow). In this way, it is possible to manage information such as what kind of failure at which part, and recording can be performed more efficiently. Alternatively, it is possible to manage the failed part and the successful part at the same time by using the same method so that it is easy to determine which take is the success data to be adopted at the time of mixing.

また、本実施例では１文字ごとの表示要素ｌｙ（ｘ）に対して録音時間に相当する時間情報ｌｔ（ｘ）を持つとしたが、時間情報は分、秒の単位で表されるものでなくてもよい。たとえば数文字ごとに１小節目、２小節目、のように大まかに区切られたものでもよい。表示情報ＬＹが複数枚の画像から構成されるような場合、1枚の画像が表す情報量は1文字が表す情報量に比べて多いことが普通であるので、画像1枚につき数小節が対応するというように大まかな区切り方にすると有効であろう。なお、表示情報ＬＹは必ずしも時間情報ｌｔ（ｘ）を持つ必要はなく、時間情報ｌｔ（ｘ）を持たない場合であっても、各テイクの録音における失敗（または成功）箇所を記録するという本発明の効果は得られるものである。 In the present embodiment, the display information ly (x) for each character has time information lt (x) corresponding to the recording time, but the time information is expressed in units of minutes and seconds. It does not have to be. For example, it may be roughly divided into several bars such as the first bar and the second bar. When the display information LY is composed of multiple images, the amount of information represented by one image is usually larger than the amount of information represented by one character, so several bars per image are supported. It would be effective to make a rough separation like this. The display information LY does not necessarily have the time information lt (x). Even if the display information LY does not have the time information lt (x), the book of recording failure (or success) in each take is recorded. The effects of the invention can be obtained.

なお、本発明は、表示装置の形態のみでなく、プログラムとしても実施できることは言うまでもない。 It goes without saying that the present invention can be implemented not only in the form of a display device but also as a program.

Ｄ：表示装置、１：操作部、２：音声入力部、３：制御部、４：記憶部、５：表示部、６：音声出力部、ＬＹ：表示情報、ＲＥ：録音データ、Ａｒ：表示エリア、Ｔｒ：タブエリア、Ｔｂ１〜Ｔｂ４：テイクタブ、ＴｂＡ：オールタブ、ｆｃ，ｄｃ：現在のテイクの操作に対する表示態様、ｆｐ：他のテイクの操作に対する表示態様、ｆａ，ｄａ：全テイクの操作に対する表示態様、ｌｙ（ｘ）（ｘ＝１，２，・・・）：表示要素、ｌｔ（ｘ）（ｘ＝１，２，・・・）：時間情報、Ｔｋ１〜Ｔｋ４：テイクデータ。 D: display device, 1: operation unit, 2: audio input unit, 3: control unit, 4: storage unit, 5: display unit, 6: audio output unit, LY: display information, RE: recording data, Ar: display Area, Tr: Tab area, Tb1 to Tb4: Take tab, TbA: All tab, fc, dc: Display mode for current take operation, fp: Display mode for other take operations, fa, da: For all take operations Display mode, ly (x) (x = 1, 2,...): Display element, lt (x) (x = 1, 2,...): Time information, Tk1 to Tk4: take data.

Claims

Display means for displaying display information composed of a plurality of display elements related to the content of performance executed over time;
Display element designating means for designating an arbitrary display element among the plurality of display elements;
Storage means for storing one or more display elements specified by the display element specifying means as a set of take data associated with the display information, and storing a plurality of sets of take data for the display information;
Selection means for selecting all take data or the set of take data;
When all the take data is selected by the selection means, the display information is displayed on the display means in a first display mode, and is common to all the plural sets of take data corresponding to the display information. When the display element designated by the display element designation unit is changed to a second display mode different from the first display mode and the set of take data is selected by the selection unit, the set A display control means for causing the display means to display the take data in the first display mode .

The display element designation means designates an arbitrary display element of the plurality of display elements together with type information,
The display control means causes the display means to display the display information in a display mode that is different for each type information.
The display device according to claim 1.

A display procedure for causing the display device to display display information composed of a plurality of display elements related to the content of the performance executed over time;
A display element designation procedure for designating an arbitrary display element among the plurality of display elements;
A storage procedure for storing one or more display elements specified by the display element specifying procedure as a set of take data associated with the display information, and storing a plurality of sets of take data for the display information;
A selection procedure for selecting all take data or the set of take data;
When all the take data is selected in the selection procedure, the display information is displayed by the display procedure in the first display mode, and is common to all the plural sets of take data corresponding to the display information. When the display element specified by the display element specifying means is changed to a second display mode different from the first display mode and the set of take data is selected in the selection procedure, And a display control procedure for causing the display means to display the take data in the first display mode .