JP5234598B2 - Content data playback device - Google Patents

Content data playback device Download PDF

Info

Publication number
JP5234598B2
JP5234598B2 JP2008134693A JP2008134693A JP5234598B2 JP 5234598 B2 JP5234598 B2 JP 5234598B2 JP 2008134693 A JP2008134693 A JP 2008134693A JP 2008134693 A JP2008134693 A JP 2008134693A JP 5234598 B2 JP5234598 B2 JP 5234598B2
Authority
JP
Japan
Prior art keywords
data
image data
music
image
music data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008134693A
Other languages
Japanese (ja)
Other versions
JP2009283074A (en
Inventor
高志 中山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2008134693A priority Critical patent/JP5234598B2/en
Publication of JP2009283074A publication Critical patent/JP2009283074A/en
Application granted granted Critical
Publication of JP5234598B2 publication Critical patent/JP5234598B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Description

本発明は、コンテンツデータを再生するコンテンツデータ再生装置に関し、特に、楽曲データの再生または検索時に、楽曲データに対応する画像(例えば、ジャケット写真)を表示する技術に関する。   The present invention relates to a content data playback apparatus that plays back content data, and more particularly to a technique for displaying an image (for example, a jacket photo) corresponding to music data when the music data is played or searched.

デジタルオーディオプレーヤー(以下、DAPと称す)は、デジタル方式のオーディオデータを再生する装置であり、CD、DVD、半導体メモリなどの外部メディアから取り込んだ楽曲データや、ネットワーク上の音楽配信サイト等からダウンロードした楽曲データをメモリに記録し、これを再生する機能を備えている。さらに、DAPは、再生中の楽曲データに関連したアーティスト名やタイトルなどの属性データや、アルバムのジャケット写真などの画像を液晶ディスプレイに表示する機能を備えている。こうした背景から、車載機器に対しても、楽曲データの再生中に、再生している楽曲のジャケット写真などを表示する需要が高まっている。   A digital audio player (hereinafter referred to as “DAP”) is a device that plays back digital audio data. Music data imported from external media such as CDs, DVDs, and semiconductor memories, and downloaded from music distribution sites on the network, etc. The recorded music data is recorded in the memory, and the function of reproducing it is provided. Further, the DAP has a function of displaying attribute data such as artist names and titles related to the music data being reproduced, and images such as album jacket photos on a liquid crystal display. Against this background, there is an increasing demand for in-vehicle devices to display a jacket photo of the music being played back while the music data is being played.

特許文献1は、再生中の楽曲データに対応するジャケット写真の画像がない場合に、再生中の楽曲データのジャンルをイメージさせるようなイメージ画像をテーブルから読出し、このイメージ画像を表示する技術を開示している。   Patent Document 1 discloses a technique for reading out an image image that makes a genre of music data being played back from a table and displaying the image when there is no jacket photo image corresponding to the music data being played back. doing.

特開2006−216201号公報JP 2006-216201 A

車載用オーディオ装置には、外部メディアに記録された楽曲データをメモリに取り込むリッピング機能が設けられている。このリッピング機能は、アーティスト名やテキスト情報を、タグ情報やCDDBから取得することができるが、CDのジャケット写真やアルバム画像を取り込むことができない。このため、ジャケット等の画像データを、その都度、ネットワークの音楽配信サイトからユーザが取得しなければならず、その作業は煩雑である。他方、ディスプレイにジャケット写真等の画像が何も表示されないと、エンターテイメント性に欠け、魅力のない表示になってしまう。また、昔のアルバムやインディーズアルバムの場合には、必ずしもジャケット写真やアルバム画像を音楽配信サイトから入手できるとは限らない。   The in-vehicle audio apparatus is provided with a ripping function for loading music data recorded on an external medium into a memory. This ripping function can acquire artist name and text information from tag information and CDDB, but cannot capture CD jacket photos and album images. For this reason, the user must acquire image data such as a jacket from a network music distribution site each time, and the work is complicated. On the other hand, if no image such as a jacket photo is displayed on the display, the display will be unattractive and unattractive. In the case of old albums and indie albums, jacket photos and album images are not always available from music distribution sites.

図1(a)は、車載用オーディオ装置において楽曲データを再生するときのディスプレイの表示例である。ディスプレイ1には、アーティスト、アルバム、タイトル、曲順などを表示する属性情報表示領域2が表示されるとともに、画像表示領域4には、楽曲に対応するジャケット写真またはアルバム画像が表示されている。もし、ジャケット写真やアルバム画像がない場合には、画像表示領域4には、「No Image」が表示される。   FIG. 1A is a display example of a display when music data is played back in an in-vehicle audio apparatus. The display 1 displays an attribute information display area 2 for displaying artist, album, title, song order, and the like, and the image display area 4 displays a jacket photo or album image corresponding to the music. If there is no jacket photo or album image, “No Image” is displayed in the image display area 4.

さらに、近年の車載用オーディオ装置には、画像表示領域4に表示される画像を利用したイメージ検索機能が設けられている。上記のように、画像表示領域4に「No Image」が表示されると、その検索機能が十分に発揮されないという課題もある。   Furthermore, recent in-vehicle audio apparatuses are provided with an image search function using an image displayed in the image display area 4. As described above, when “No Image” is displayed in the image display area 4, there is a problem in that the search function is not sufficiently exhibited.

本発明は、上記従来の課題を解決し、画像データが対応されていない楽曲データに対して画像データを対応させることができるコンテンツデータ再生装置を提供することを目的とする。   An object of the present invention is to solve the above-described conventional problems and to provide a content data reproducing apparatus that can associate image data with music data that does not correspond to image data.

本発明に係るコンテンツデータ再生装置は、楽曲データ、楽曲データの属性を示す属性データおよび楽曲データに対応する画像データを記憶する記憶手段と、楽曲データを再生する再生手段と、前記楽曲データに対応する画像データを表示する表示手段と、楽曲データに対応する画像データが前記記憶手段に含まれているか否かを判別する判別手段と、前記判別手段により画像データが未対応であると判別された未対応楽曲データの属性データに共通する属性データをもつ楽曲データを検索する検索手段と、前記検索手段により検索された楽曲データに対応された画像データを抽出し、抽出された画像データに基づき画像データを加工し、当該加工された画像データを前記未対応楽曲データの画像データに対応させる加工手段とを有する。   The content data playback device according to the present invention is a storage means for storing music data, attribute data indicating the attributes of the music data, and image data corresponding to the music data, a playback means for playing back the music data, and the music data. Display means for displaying image data to be performed, determination means for determining whether or not image data corresponding to music data is included in the storage means, and the determination means determined that the image data is not supported Search means for searching for music data having attribute data common to the attribute data of unsupported music data, image data corresponding to the music data searched by the search means is extracted, and an image based on the extracted image data Processing means for processing the data and making the processed image data correspond to the image data of the unsupported music data.

好ましくは前記加工手段は、抽出された画像データを縮小し、縮小した画像データを複数含む画像データを作成する。また、前記加工手段は、抽出された画像データから人物像を抽出し、抽出した人物像を用いて画像データを作成することもできる。さらに前記加工手段は、加工された画像データであることを示す識別情報を含むことができる。例えば識別情報は、検索された画像データの背景色と異なる背景色である。   Preferably, the processing means reduces the extracted image data and creates image data including a plurality of reduced image data. Further, the processing means can extract a person image from the extracted image data and create image data using the extracted person image. Further, the processing means may include identification information indicating that the image data is processed. For example, the identification information is a background color different from the background color of the retrieved image data.

好ましくは前記表示手段は、前記再生手段により楽曲データが再生されるとき、再生された楽曲データに対応する画像データを表示する。コンテンツデータ再生装置はさらに、楽曲データを検索する楽曲データ検索手段を有し、当該楽曲データ検索手段が実行されるとき、前記表示手段は、前記楽曲データに対応する画像データを表示するようにしてもよい。   Preferably, the display means displays image data corresponding to the reproduced music data when the music data is reproduced by the reproducing means. The content data playback device further includes music data search means for searching for music data, and when the music data search means is executed, the display means displays image data corresponding to the music data. Also good.

本発明に係る画像データの加工方法またはプログラムは、楽曲データ、楽曲データの属性を示す属性データおよび楽曲データに対応する画像データを記憶装置に記憶し、楽曲データの再生または検索時に、楽曲データに対応する画像データを記憶装置から読出し、読み出した画像データを表示する機能を備えたコンテンツデータ再生装置において実行されるものであり、楽曲データに対応する画像データが前記記憶装置に含まれているか否かを判別する判別ステップと、前記判別ステップにより画像データが未対応であると判別された未対応楽曲データの属性データに共通する属性データをもつ楽曲データを検索する検索ステップと、前記検索ステップにより検索された楽曲データに対応された画像データを抽出し、抽出された画像データに基づき画像データを加工する加工ステップと、当該加工された画像データを前記未対応楽曲データの画像データに対応させるステップとを有する。   An image data processing method or program according to the present invention stores music data, attribute data indicating attributes of music data, and image data corresponding to the music data in a storage device, and stores the music data in the music data during reproduction or search. Whether or not image data corresponding to music data is included in the storage device is executed in a content data reproducing device having a function of reading out corresponding image data from the storage device and displaying the read image data. A determination step for determining whether or not music data having attribute data common to the attribute data of the unsupported music data determined to be unsupported by the determination step, and the search step Image data corresponding to the searched music data is extracted, and the extracted image data It has a processing step of processing the image data Hazuki, and a step to correspond to the processed image data into image data of the incompatible music data.

本発明によれば、未対応楽曲データが判別されたとき、属性データが共通する他の楽曲データの画像データを加工して未対応楽曲データに画像データを対応させるようにしたので、楽曲データの再生時に画像データを表示することができる。これにより、従来のように画像データをネットワーク配信等から取得するような煩雑な作業を削除することができ、ユーザの仕様満足度が向上される。また、楽曲データの検索時にも画像データが表示されるため、検索機能を十分に発揮させることができる。さらに画像データを加工することでオリジナルの画像データと異なることを容易に認識することができる。   According to the present invention, when unsupported music data is determined, the image data of other music data having the same attribute data is processed so that the image data corresponds to the unsupported music data. Image data can be displayed during playback. As a result, it is possible to delete the troublesome work of acquiring image data from network distribution or the like as in the past, and the user's specification satisfaction is improved. In addition, since the image data is also displayed when searching for music data, the search function can be fully exhibited. Further, by processing the image data, it can be easily recognized that the image data is different from the original image data.

本発明の最良の実施の形態について図面を参照して詳細に説明する。本実施の形態では、外部メディアに記録された楽曲データ等をリッピングする機能を備えた車載用オーディオ装置を例示する。車載用オーディオ装置は、HDD(ハードディスク記憶装置)またはメモリ等へリッピングした楽曲データやCD再生から読み出された楽曲データなどを再生する際に、ジャケット写真やアルバム画像等の画像データを内部にもっていない場合、同じアーティストの他のCDジャケット写真等の画像データを加工し、アーティストイメージとして生成し、これを表示する。   The best mode for carrying out the present invention will be described in detail with reference to the drawings. In the present embodiment, an in-vehicle audio apparatus having a function of ripping music data recorded on an external medium is exemplified. The in-vehicle audio device internally stores image data such as a jacket photo or album image when reproducing music data ripped to an HDD (hard disk storage device) or a memory or music data read from CD reproduction. If not, image data such as another CD jacket photo of the same artist is processed, generated as an artist image, and displayed.

本実施例に係る車載用オーディオ装置10は、タッチパネルやリモコン、入力キーなどから入力を行う入力部20と、外部メディア等を接続する外部インターフェース(以下、外部I/Fと称す)30と、楽曲データの属性情報やCD等のジャケット写真やアルバム画像等の画像データを表示する表示部40と、オーディオデータを再生し出力する再生出力部50と、楽曲データ等を記憶する記憶部60と、プログラムを格納するプログラムメモリ70と、データを一時的に記憶するデータメモリ80と、プログラムを実行し各部を制御する制御部90とを含む。   The in-vehicle audio apparatus 10 according to the present embodiment includes an input unit 20 for inputting from a touch panel, a remote controller, an input key, an external interface (hereinafter referred to as an external I / F) 30 for connecting an external medium, etc. Display unit 40 that displays image data such as data attribute information, jacket photo such as CD, album image, etc., playback output unit 50 that plays back and outputs audio data, storage unit 60 that stores music data and the like, and program Includes a program memory 70 that stores data, a data memory 80 that temporarily stores data, and a control unit 90 that executes the program and controls each unit.

外部I/F30は、有線ケーブル、無線LAN、赤外線通信機、ブルートゥースなどを利用して、半導体メモリ、携帯用端末等の外部メディアを接続することができる。外部I/F30に接続された外部メディアの楽曲データ等は、リッピング機能により記憶部60に格納することができる。さらにネットワークを介して音楽配信サイトから楽曲データ等をダウンロードするようにすることも可能である。   The external I / F 30 can connect an external medium such as a semiconductor memory or a portable terminal using a wired cable, a wireless LAN, an infrared communication device, Bluetooth, or the like. The music data of the external media connected to the external I / F 30 can be stored in the storage unit 60 by the ripping function. Furthermore, it is possible to download music data and the like from a music distribution site via a network.

表示部40は、後述するように、楽曲データの再生時に、再生する楽曲データの属性データを表示したり、対応するジャケット写真を表示する。さらに、アルバム単位の検索を行うとき、アルバムのジャケット写真を連続的に流れるように表示する。   As will be described later, the display unit 40 displays attribute data of music data to be reproduced or a corresponding jacket photo when reproducing music data. Furthermore, when searching for album units, the jacket photos of the album are displayed so as to continuously flow.

再生出力部50は、車載用オーディオ装置に設けられているCD、DVDドライブから読み出された楽曲データの再生に加えて、記憶部60に記憶された楽曲データを再生する。再生された楽曲は、スピーカから音声出力される。   The reproduction output unit 50 reproduces music data stored in the storage unit 60 in addition to reproduction of music data read from a CD or DVD drive provided in the in-vehicle audio apparatus. The reproduced music is output as audio from the speaker.

図3(a)は、記憶部60のデータ構造の例を示している。同図に示すように、記憶部60は、楽曲ファイル100とその下層に楽曲データ110、画像データ120、属性データ130を階層構造で記憶している。楽曲ファイル100は、1つの楽曲データを記憶するものであってもよいし、複数の楽曲データを記憶するものであってもよい。また、楽曲ファイル100は、アルバム単位で作成されるものであってもよいし、ユーザのプレイリストに応じて作成されるものであってもよい。図3(a)では、説明を分かり易くするため、1つの楽曲データを例示している。   FIG. 3A shows an example of the data structure of the storage unit 60. As shown in the figure, the storage unit 60 stores the music file 110 and the music data 110, the image data 120, and the attribute data 130 in a hierarchical structure in the music file 100 and its lower layer. The music file 100 may store one music data or may store a plurality of music data. The music file 100 may be created in units of albums, or may be created according to a user playlist. FIG. 3A illustrates one piece of music data for easy understanding of the description.

楽曲データ110は、オーディオ信号であり、MP3やWAV等の圧縮された信号であってもよい。画像データ120は、楽曲データ110に対応する画像であり、例えば、当該楽曲が収録されているアルバムのジャケット写真のイメージデータが対応付けされている。但し、画像データが対応されていない場合には、本実施例により加工された画像データが対応付けされることになる。   The music data 110 is an audio signal, and may be a compressed signal such as MP3 or WAV. The image data 120 is an image corresponding to the music data 110, for example, image data of a jacket photo of an album in which the music is recorded. However, when the image data is not associated, the image data processed according to the present embodiment is associated.

属性データ130は、さらに、アーティストデータ131、アルバムデータ132、タイトルデータ133、曲順データ134、ジャンルデータ135等を含む。   The attribute data 130 further includes artist data 131, album data 132, title data 133, song order data 134, genre data 135, and the like.

図3(b)は、他のデータ構造例である。この例は、楽曲データ、属性データ、画像データをそれぞれ関連付けする対応テーブルを用意し、対応テーブルには、それぞれのデータの格納先アドレスが保持されている。例えば、楽曲データAであれば、その画像データはADD#100に格納され、属性データはADD#200に格納される。   FIG. 3B shows another data structure example. In this example, a correspondence table for associating music data, attribute data, and image data is prepared, and the storage table stores the storage destination address of each data. For example, in the case of music data A, the image data is stored in ADD # 100, and the attribute data is stored in ADD # 200.

図4は、楽曲ファイルの一例である。例えば、楽曲ファイル#01は、楽曲データ「AUD01」、画像データ「VVV」を含み、その属性データとして、アーティストデータ「Art01」、アルバムデータ「Alb01」、タイトルデータ「Tit01」、曲順データ「Ord01」、ジャンルデータ「POPS」を含む。なお、楽曲ファイル#K、#Lは、対応する画像データを含んでいない。   FIG. 4 is an example of a music file. For example, the music file # 01 includes music data “AUD01” and image data “VVV”. The attribute data includes artist data “Art01”, album data “Alb01”, title data “Tit01”, and music order data “Ord01”. ”And genre data“ POPS ”. Note that the music files #K and #L do not include corresponding image data.

プログラムメモリ70には、楽曲データを再生する再生プログラム、画像データや属性データをディスプレイに出力する出力プログラム、対応する画像データがないとき記憶部に記憶された画像データを利用して画像データを加工する画像データ加工プログラム150と、記憶部60に格納されている複数の楽曲ファイルから特定の楽曲ファイルを検索する検索プログラムなどを含む。データメモリ80は、記憶部60から読み出した楽曲ファイルのデータや、加工した画像データ等を記憶する。   In the program memory 70, a reproduction program for reproducing music data, an output program for outputting image data and attribute data to a display, and processing of image data using image data stored in the storage unit when there is no corresponding image data. A search program for searching for a specific music file from a plurality of music files stored in the storage unit 60, and the like. The data memory 80 stores music file data read from the storage unit 60, processed image data, and the like.

図5は、画像データ加工プログラムの機能ブロック図である。画像データ加工プログラム150は、未対応楽曲データ判別部152と、属性データ選択部154と、属性データ検索部156と、画像データ抽出部158と、画像データ加工部160とを含む。   FIG. 5 is a functional block diagram of the image data processing program. The image data processing program 150 includes an unsupported music data determination unit 152, an attribute data selection unit 154, an attribute data search unit 156, an image data extraction unit 158, and an image data processing unit 160.

未対応楽曲データ判別部152は、楽曲データに対応する画像データが含まれているか否かを判別する。この判別対象は、記憶部60に記憶されている楽曲データのみならず、CDやDVD、あるいは外部メディアの楽曲データである。   The unsupported music data determination unit 152 determines whether or not image data corresponding to the music data is included. This discrimination target is not only music data stored in the storage unit 60 but also music data of a CD, DVD, or external media.

属性データ選択部154は、未対応楽曲データ判別部152によって楽曲データに対応する画像データが含まれていないと判別結果を受け取ると、当該未対応楽曲データの属性データを選択する。属性データには、幾つかのデータが含まれるが、好ましい例では、アーティストデータを選択する。勿論、アーティストデータに加えてジャンルデータやアルバムデータなどの他の属性データを一緒に選択してもよい。属性データの選択は、初期設定により決定され、あるいはユーザ設定により変更することができる。   When the attribute data selection unit 154 receives the determination result that the image data corresponding to the music data is not included by the unsupported music data determination unit 152, the attribute data selection unit 154 selects the attribute data of the unsupported music data. The attribute data includes some data. In a preferred example, artist data is selected. Of course, in addition to artist data, other attribute data such as genre data and album data may be selected together. The selection of attribute data is determined by initial settings or can be changed by user settings.

属性データ検索部156は、選択された属性データと一致する属性データを記憶部60から検索する。選択された属性データが複数(アーティストデータとジャンルデータ)であるとき、全ての属性データが一致するものを検索するようにしてもよいし、全てが一致しないときには、優先順位をつけられた一部の属性データ(アーティストデータ)が一致するものを検索するようにしてもよい。   The attribute data search unit 156 searches the storage unit 60 for attribute data that matches the selected attribute data. When there are a plurality of selected attribute data (artist data and genre data), a search may be made for a search that matches all the attribute data. It may be possible to search for data having the same attribute data (artist data).

画像データ抽出部158は、属性データ検索部156の検索結果を受けて、共通の属性データを含む他の楽曲ファイルの画像データを抽出する。   The image data extraction unit 158 receives the search result of the attribute data search unit 156, and extracts image data of other music files including common attribute data.

画像データ加工部160は、画像データ抽出部158によって抽出された画像データを利用して画像データの加工、作成を行い、作成された画像データを、未対応楽曲データに対応する画像データとして記憶部60に記憶する。画像データの加工は、例えば抽出された画像データが複数あるとき、画像データを縮小しこれらを複数の画像データを合成したり、画像データの背景色を変更したり、画像データから人物像を抽出したりする。   The image data processing unit 160 processes and creates image data using the image data extracted by the image data extraction unit 158, and stores the created image data as image data corresponding to unsupported music data. 60. For example, when there are multiple pieces of extracted image data, the image data is reduced, and the image data is reduced to combine the multiple image data, the background color of the image data is changed, or a person image is extracted from the image data. To do.

次に、本実施例の車載用オーディオ装置における画像データの加工動作について図6のフローチャートを参照して説明する。ここでは、CDなどからリッピングにより楽曲データが記憶部60に保存されたときに、画像データを形成する例を説明する。   Next, the image data processing operation in the in-vehicle audio apparatus according to the present embodiment will be described with reference to the flowchart of FIG. Here, an example will be described in which image data is formed when music data is stored in the storage unit 60 by ripping from a CD or the like.

先ず、未対応楽曲データ判別部152は、記憶部60の楽曲ファイル内の画像データを検索し、画像データが対応されていない未対応楽曲データを検索する(ステップS101)。例えば、図4の例であれば、楽曲ファイル#K、#Lが判別される。   First, the unsupported music data determination unit 152 searches for image data in the music file in the storage unit 60, and searches for unsupported music data that does not correspond to the image data (step S101). For example, in the example of FIG. 4, music files #K and #L are determined.

未対応楽曲データ判別部152により未対応楽曲データが判別されると(ステップS102)、次に、属性データ選択部154は、未対応楽曲データの属性データを選択する(ステップS103)。例えば、アーティストが共通の画像データを作成する場合には、属性データとしてアーティストデータが選択され、ジャンルが共通する画像データを作成する場合にはジャンルデータが選択される。   When the unsupported music data discriminating unit 152 discriminates the incompatible music data (step S102), the attribute data selection unit 154 next selects the attribute data of the incompatible music data (step S103). For example, artist data is selected as attribute data when creating image data with a common artist, and genre data is selected when creating image data with a common genre.

次に、属性データ検索部156は、選択された属性データに一致する他の楽曲ファイルの属性データを検索する(ステップS104)。複数の属性データが選択された場合には、すべての属性データの一致を検索するか、一部の属性データの一致を検索する。図4の例において、楽曲ファイル#Kの属性データとして、アーティストデータ「Art01」が選択された場合、「Art01」にこの属性データ一致する属性データをもつ楽曲ファイル#01と楽曲ファイル#02が検索される。また、楽曲ファイル#Lの属性データとして、アーティストデータ「Art01」とジャンルデータ「POPS」が選択された場合、両者の属性データと共通の属性データをもつ楽曲ファイル#02が検索される。   Next, the attribute data search unit 156 searches for attribute data of another music file that matches the selected attribute data (step S104). When a plurality of attribute data are selected, a search is made for a match of all attribute data or a search for a match of some attribute data. In the example of FIG. 4, when artist data “Art01” is selected as the attribute data of the music file #K, the music file # 01 and the music file # 02 having attribute data that matches this attribute data are searched for “Art01”. Is done. When artist data “Art01” and genre data “POPS” are selected as the attribute data of the music file #L, the music file # 02 having the same attribute data as the attribute data of both is searched.

共通の属性データを持つ楽曲ファイルが検索された場合、次のステップへ進み、共通の属性データを持つ他の楽曲ファイルが検索されない場合、属性データの検索条件を変えて再検索する(ステップS105)。例えば、最初にアーティストデータで検索し、これに該当する他の画曲ファイルが見つからない場合には、例えばジャンルデータで再検索する。   If a music file having common attribute data is searched, the process proceeds to the next step. If no other music file having common attribute data is searched, the search is performed again by changing the attribute data search conditions (step S105). . For example, a search is first performed using artist data, and if another image composition file corresponding to this is not found, a search is performed again using, for example, genre data.

次に、属性データ検索部156の検索結果を受けた画像データ抽出部158は、検索された楽曲ファイルの画像データを抽出する(ステップS106)。この際、一定数以上の楽曲ファイルが検索された場合には、更新日時や再生回数などを基準として、最新の楽曲ファイルや回数の多い楽曲ファイルを選択し、楽曲ファイルの数を絞り込むようにしてもよい。あるいは、候補となる画像データを表示してユーザに選択させるようにしてもよい。   Next, the image data extraction unit 158 that has received the search result of the attribute data search unit 156 extracts the image data of the searched music file (step S106). At this time, if more than a certain number of music files are searched, select the latest music file or a music file with a large number of times based on the update date and the number of playbacks, etc., and narrow down the number of music files. Also good. Alternatively, candidate image data may be displayed and selected by the user.

次いで、画像データ加工部160は、抽出した画像データを加工し、画像データを作成する(ステップS107)。そして、作成した画像データは、未対応楽曲データの画像データとして記憶部60に保存される(ステップS108)。保存された画像データは、楽曲ファイルの再生または検索時に、図1に示す画像表示領域14に対応付けされた画像データとして表示される。   Next, the image data processing unit 160 processes the extracted image data to create image data (step S107). The created image data is stored in the storage unit 60 as image data of unsupported music data (step S108). The stored image data is displayed as image data associated with the image display area 14 shown in FIG. 1 when the music file is reproduced or searched.

なお、上記実施例では、未対応楽曲データへの画像データの加工をリッピングの際に行うようにしたが、これ以外のタイミングで画像データを加工してもよい。例えば、車載用オーディオ装置の起動時、ユーザから指示があったとき、楽曲ファイルを再生するとき等に行うようにしてもよい。さらに、CDなどに記録された楽曲データを再生するときに、上記方法を用いて、記憶部から画像データを検索し、画像データを加工し、表示するようにしてもよい。この場合には、加工された画像データは、必ずしも記憶部60に記憶する必要はなく、CDの再生の終了と同時に消去される。   In the above embodiment, the image data is processed into unsupported music data at the time of ripping, but the image data may be processed at other timing. For example, it may be performed when an on-board audio device is activated, when a user gives an instruction, when a music file is played back, or the like. Furthermore, when reproducing music data recorded on a CD or the like, the above method may be used to retrieve image data from the storage unit, process the image data, and display the image data. In this case, the processed image data does not necessarily need to be stored in the storage unit 60, and is erased simultaneously with the end of the reproduction of the CD.

次に、画像データの加工例について説明する。図7(a)は、図4の楽曲ファイル#Kの属性データとしてアーティストデータが選択されたときの画像データの加工例である。この場合、アーティストデータが一致する楽曲ファイル#1と#2の画像データ「V」と「W」が抽出され、画像データ加工部は、画像データを1/4サイズに縮小し、4つの画像データを合成した画像データ170を作成する。「V」と「W」の配列は並べても良いし、交互でもよい。また、画像データを1/2に縮小し、2つの画像データ「V」と「W」を合成してもよい。   Next, an example of processing image data will be described. FIG. 7A is a processing example of image data when artist data is selected as the attribute data of the music file #K in FIG. In this case, the image data “V” and “W” of the music file # 1 and # 2 having the same artist data are extracted, and the image data processing unit reduces the image data to ¼ size, and the four image data Is created. The arrangement of “V” and “W” may be arranged or alternated. Alternatively, the image data may be reduced to ½, and the two image data “V” and “W” may be combined.

図7(b)は、楽曲ファイル#Lについての画像データの加工例である。属性データとしてアーティストデータとジャンルデータが選択されたとき、楽曲ファイル#2が検索され、その画像データ「W」が抽出される。画像データ加工部は、「W」を1/4サイズに縮小し、4つの画像データを合成した画像データ172を作成する。   FIG. 7B is a processing example of image data for the music file #L. When artist data and genre data are selected as attribute data, the music file # 2 is searched, and the image data “W” is extracted. The image data processing unit reduces “W” to ¼ size, and creates image data 172 by combining the four image data.

図7(c)に示す画像データ174は、3種類の画像データが抽出されたときの加工例である。図7(d)に示す画像データ176は、4種類の画像データを加工するが、画像データに優先順位があるとき(例えば、楽曲ファイルの再生頻度やリッピングの最新の更新日時)、優先順位が高い画像データ「V」が他の画像データ「X」、「Y」、「Z」よりも大きく表示されるようにする。   Image data 174 shown in FIG. 7C is an example of processing when three types of image data are extracted. The image data 176 shown in FIG. 7D processes four types of image data. When the image data has a priority order (for example, the reproduction frequency of the music file or the latest update date and time of ripping), the priority order is high. The high image data “V” is displayed larger than the other image data “X”, “Y”, “Z”.

図7(e)に示す画像データ178は、図7(b)の変形である。図7(b)に示す画像データ172は、画像データが縮小して複数表示されるため、画像データを加工したものであることが認識されるが、図7(e)では、画像データ「W」を縮小しない代わりに、その背景色(ハッチングで表示)を変更するものである。図7(f)に示す画像データ180は、図7(b)の変形であり、4つの画像データ「W」を縮小し、かつ背景色を変更したものである。これをより、画像データを加工したことがより識別される。なお、これらの加工は一例であり、画像データの表示サイズ、解像度などに応じて、倍率や配色等の加工を適宜変更することが可能であり、また、その変更はユーザによって設定できるようにしてもよい。   Image data 178 shown in FIG. 7E is a modification of FIG. 7B. The image data 172 shown in FIG. 7B is displayed as a plurality of reduced image data, so that it is recognized that the image data is processed. In FIG. The background color (displayed by hatching) is changed instead of reducing "". Image data 180 shown in FIG. 7 (f) is a modification of FIG. 7 (b), and is obtained by reducing the four image data “W” and changing the background color. This further identifies that the image data has been processed. These processes are only examples, and it is possible to appropriately change the process such as the magnification and the color scheme according to the display size and resolution of the image data, and the change can be set by the user. Also good.

次に、画像データの他の加工例について説明する。アルバムのジャケット写真には、アーティスト本人の写真やアーティスト本人をデフォルメしたイラストが使われることが多い。アーティストイメージをもつ画像データを作成するには、アーティストの顔画像を用いることが望ましい。そこで、図8(a)に示すように抽出された画像データ190の顔認識処理を実行し、これにより顔画像192を抽出する。そして、抽出された顔画像192の倍率等を適宜選択し、図8(b)に示すような加工された画像データ194を作成する。   Next, another example of processing image data will be described. The album cover photo often uses the artist's own photo or an illustration of the artist's own deformed shape. In order to create image data having an artist image, it is desirable to use an artist's face image. Therefore, as shown in FIG. 8A, face recognition processing of the extracted image data 190 is executed, and thereby the face image 192 is extracted. Then, the magnification of the extracted face image 192 is appropriately selected, and processed image data 194 as shown in FIG. 8B is created.

顔認識とは、顔写真の画像データを画像解析することにより、画像の中から人間の顔を識別して抽出する技術である。具体的な方法としては、顔の外形、顔を構成する目・鼻・口・耳などのパーツの位置および形状、筋肉のつき方などを認識し、数値化する。この数値化された特徴から人間の顔か否かを判断し、人間の顔であれば顔部分のみを抽出する。   Face recognition is a technique for identifying and extracting a human face from an image by analyzing the image data of the face photograph. As a specific method, the external shape of the face, the position and shape of parts such as eyes, nose, mouth, ears, and the like constituting the face, how to apply muscles, etc. are recognized and digitized. It is judged from this digitized feature whether or not it is a human face, and if it is a human face, only the face portion is extracted.

次に、楽曲ファイルの検索例について説明する。画像データは、楽曲データの再生中に、その再生情報とともにディスプレイに表示されるが、楽曲ファイルの検索に画像データを利用することができる。ユーザ入力によって属性データを選択し、選択された属性データに対応する楽曲ファイルの画像データを連続的に表示することで、所望の楽曲ファイルを検索(カバーフロー)することができる。   Next, a music file search example will be described. The image data is displayed on the display together with the reproduction information during reproduction of the music data, but the image data can be used for searching for music files. By selecting attribute data by user input and continuously displaying image data of music files corresponding to the selected attribute data, a desired music file can be searched (cover flow).

図9(a)は、属性データとしてアルバムを選択したときのアルバム検索画面200を示している。アルバム検索画面200には、選択されたアルバムに対応する画像データ210が一定の時間間隔でフロー表示され、ユーザは、その中から画像データを見てアルバムを選択する。図9(b)は、属性データとしてアーティストを選択したときのアーティスト検索画面220を示し、図9(c)は、属性データとしてジャンルを選択したときのジャンル検索画面230を示し、図9(d)は、プレイリストを選択したときの検索画面240を示している。ここでのプレイリストは、楽曲データの再生順序をユーザが任意に決定したリストである。なお、属性データを選択しないときには、すべての楽曲データの画像データを順次表示することもできる。   FIG. 9A shows an album search screen 200 when an album is selected as attribute data. On the album search screen 200, image data 210 corresponding to the selected album is displayed in a flow at regular time intervals, and the user selects an album by looking at the image data. FIG. 9B shows an artist search screen 220 when an artist is selected as attribute data, and FIG. 9C shows a genre search screen 230 when a genre is selected as attribute data. ) Shows the search screen 240 when a playlist is selected. The play list here is a list in which the user arbitrarily determines the reproduction order of the music data. When no attribute data is selected, the image data of all music data can be displayed sequentially.

このように本実施例によれば、楽曲データの再生中に、ジャケット写真が収まるスペースに、画像データが未対応である「NO Image」を表示させずに、アーティストイメージを表示できるため、ユーザエンターテイメントを損なうことなく、仕様満足度を向上させることができる。また、カバーフローで検索するときに、ジャケット写真が収まるスペースに、「NO Image」を表示させずに、アーティストイメージを表示できるため、アルバム内容を理解する手助けになり、利便性が向上される。さらに、カバーフローは、アルバム単位の検索であるが、アーティストフローとしてアーティスト単位での検索が可能となる。   As described above, according to the present embodiment, during reproduction of music data, an artist image can be displayed without displaying “NO Image” that does not support image data in a space in which a jacket photo fits. Specification satisfaction can be improved without detracting from the standard. Also, when searching by cover flow, the artist image can be displayed without displaying “NO Image” in the space where the jacket photo fits, so that it helps to understand the album contents and the convenience is improved. Furthermore, the cover flow is a search by album unit, but the artist flow can be searched by artist unit.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。   The preferred embodiment of the present invention has been described in detail above, but the present invention is not limited to the specific embodiment, and various modifications can be made within the scope of the present invention described in the claims. Deformation / change is possible.

図1(a)はダウンロードした音楽の情報画像の例であり、図1(b)はCDから取り込んだ音楽の情報画像の例である。FIG. 1A is an example of a downloaded music information image, and FIG. 1B is an example of a music information image taken from a CD. 本発明の実施例に係る車載用オーディオ装置の構成を示すブロック図である。It is a block diagram which shows the structure of the vehicle-mounted audio apparatus which concerns on the Example of this invention. 図3(a)は本実施例に係る再生ファイルのデータ構造の例であり、図3(b)は本実施例に係る再生ファイルのデータ構造の変形例である。FIG. 3A is an example of the data structure of the reproduction file according to the present embodiment, and FIG. 3B is a modification of the data structure of the reproduction file according to the present embodiment. 本実施例に係る再生ファイルの具体例である。It is a specific example of the reproduction | regeneration file which concerns on a present Example. 本実施例に係る画像データ加工プログラムの機能ブロック図である。It is a functional block diagram of an image data processing program according to the present embodiment. 本実施例に係る画像データの加工動作のフローチャートである。3 is a flowchart of an image data processing operation according to the present embodiment. 本発明の実施例に係る画像データの加工例を示す図である。It is a figure which shows the example of a process of the image data which concerns on the Example of this invention. 図8(a)は人物像を含む画像データであり、図8(b)は本発明の第3の実施例に係る合成画像の例である。FIG. 8A shows image data including a human image, and FIG. 8B shows an example of a composite image according to the third embodiment of the present invention. 本発明の実施例における楽曲ファイルの検索画面例であり、図9(a)はアルバム検索画面例、図9(b)はアーティスト検索画面例、図9(c)はジャンル検索画面例、図11(d)はプレイリスト検索画面例である。FIG. 9A is an example of a music file search screen in the embodiment of the present invention, FIG. 9A is an album search screen example, FIG. 9B is an artist search screen example, FIG. 9C is a genre search screen example, FIG. (D) is an example of a playlist search screen.

符号の説明Explanation of symbols

10:車載用オーディオ装置 20:入力部
30:外部I/F 40:表示部
50:再生出力部 60:記憶部
70:プログラムメモリ 80:データメモリ
100:楽曲ファイル 110:楽曲データ
120:画像データ 130:属性データ
150:合成画像 200:アルバム検索画面
220:アーティスト検索画面 230:ジャンル検索画面
240:プレイリスト検索画面
10: In-vehicle audio device 20: Input unit 30: External I / F 40: Display unit 50: Playback output unit 60: Storage unit 70: Program memory 80: Data memory 100: Music file 110: Music data 120: Image data 130 : Attribute data 150: Composite image 200: Album search screen 220: Artist search screen 230: Genre search screen 240: Playlist search screen

Claims (10)

楽曲データ、楽曲データの属性を示す属性データおよび楽曲データに対応する画像データを記憶する記憶手段と、
楽曲データを再生する再生手段と、
前記楽曲データに対応する画像データを表示する表示手段と、
楽曲データに対応する画像データが前記記憶手段に含まれているか否かを判別する判別手段と、
前記判別手段により画像データが未対応であると判別された未対応楽曲データの属性データに共通する属性データをもつ楽曲データを検索する検索手段と、
前記検索手段により検索された楽曲データに対応された画像データを抽出し、抽出された画像データに基づき画像データを加工し、当該加工された画像データを前記未対応楽曲データの画像データに対応させる加工手段とを有し、
前記加工手段は、複数の画像データが抽出され、かつ画像データに優先順位がある場合、優先順位が高い画像データが他の画像データよりも大きく表示されるように加工する、コンテンツデータ再生装置。
Storage means for storing music data, attribute data indicating attributes of music data, and image data corresponding to the music data;
Playback means for playing music data;
Display means for displaying image data corresponding to the music data;
Discriminating means for discriminating whether or not image data corresponding to music data is included in the storage means;
Search means for searching for music data having attribute data common to attribute data of unsupported music data determined by the determination means as not supporting image data;
Image data corresponding to the music data searched by the search means is extracted, the image data is processed based on the extracted image data, and the processed image data is made to correspond to the image data of the unsupported music data. Processing means ,
The content data reproducing apparatus , wherein when the plurality of image data is extracted and the image data has a priority, the processing means processes the image data having a higher priority so that the image data is displayed larger than the other image data .
前記優先順位は、楽曲データの再生頻度に基づき決定される、請求項1に記載のコンテンツデータ再生装置。The content data reproducing apparatus according to claim 1, wherein the priority is determined based on a reproduction frequency of music data. 前記検索手段は、一定数以上の楽曲データが検索された場合には、再生回数を基準に再生回数の多い楽曲ファイルを選択する、請求項1に記載のコンテンツデータ再生装置。 2. The content data reproducing apparatus according to claim 1, wherein the search means selects a music file having a large number of reproductions based on the number of reproductions when a certain number of pieces of music data are retrieved . 前記加工手段は、画像データの顔認識処理を実行し、これにより抽出された顔画像を用いて画像データを作成する、請求項1に記載のコンテンツデータ再生装置。 The content data reproducing apparatus according to claim 1, wherein the processing unit executes a face recognition process on the image data, and creates image data using the face image extracted thereby . 前記加工手段は、加工された画像データであることを示す識別情報を含む、請求項1に記載のコンテンツデータ再生装置。 The content data reproducing apparatus according to claim 1, wherein the processing unit includes identification information indicating that the processed image data is processed. コンテンツデータ再生装置はさらに、楽曲データを検索する楽曲データ検索手段を有し、当該楽曲データ検索手段が実行されるとき、前記表示手段は、前記楽曲データに対応する画像データを表示する、請求項1に記載のコンテンツデータ再生装置。 The content data reproducing apparatus further includes music data search means for searching for music data, and when the music data search means is executed, the display means displays image data corresponding to the music data. 2. The content data reproducing apparatus according to 1. 楽曲データ、楽曲データの属性を示す属性データおよび楽曲データに対応する画像データを記憶装置に記憶し、楽曲データの再生または検索時に、楽曲データに対応する画像データを記憶装置から読出し、読み出した画像データを表示する機能を備えたコンテンツデータ再生装置における画像データの加工方法であって、
楽曲データに対応する画像データが前記記憶装置に含まれているか否かを判別する判別ステップと、
前記判別ステップにより画像データが未対応であると判別された未対応楽曲データの属性データに共通する属性データをもつ楽曲データを検索する検索ステップと、
前記検索ステップにより検索された楽曲データに対応された画像データを抽出し、抽出された画像データに基づき画像データを加工する加工ステップと、
当該加工された画像データを前記未対応楽曲データの画像データに対応させるステップとを有し、
前記加工するステップは、複数の画像データが抽出され、かつ画像データに優先順位がある場合、優先順位が高い画像データが他の画像データよりも大きく表示されるように加工する、画像データの加工方法。
Music data, attribute data indicating the attributes of music data, and image data corresponding to the music data are stored in the storage device, and image data corresponding to the music data is read from the storage device when the music data is reproduced or searched, and the read image A method of processing image data in a content data reproducing apparatus having a function of displaying data,
A determination step of determining whether or not image data corresponding to music data is included in the storage device;
A search step for searching for music data having attribute data common to the attribute data of the unsupported music data determined that the image data is not supported by the determination step;
Extracting image data corresponding to the music data searched in the search step, and processing the image data based on the extracted image data;
The processed image data have a a step to correspond to the image data of the incompatible music data,
In the processing step, when a plurality of image data is extracted and the image data has a priority, the image data having a higher priority is processed so as to be displayed larger than the other image data. Method.
前記検索ステップは、一定数以上の楽曲データが検索された場合には、再生回数を基準に再生回数の多い楽曲ファイルを選択する、請求項7に記載の画像データの加工方法。The image data processing method according to claim 7, wherein the search step selects a music file having a large number of reproductions based on the number of reproductions when a certain number of pieces of music data are retrieved. 楽曲データ、楽曲データの属性を示す属性データおよび楽曲データに対応する画像データを記憶装置に記憶し、楽曲データの再生または検索時に、楽曲データに対応する画像データを記憶装置から読出し、読み出した画像データを表示する機能を備えたコンテンツデータ再生装置が実行する画像データの加工プログラムであって、
楽曲データに対応する画像データが前記記憶装置に含まれているか否かを判別する判別ステップと、
前記判別ステップにより画像データが未対応であると判別された未対応楽曲データの属性データに共通する属性データをもつ楽曲データを検索する検索ステップと、
前記検索ステップにより検索された楽曲データに対応された画像データを抽出し、抽出された画像データに基づき画像データを加工する加工ステップと、
当該加工された画像データを前記未対応楽曲データの画像データに対応させるステップとを有し、
前記加工するステップは、複数の画像データが抽出され、かつ画像データに優先順位がある場合、優先順位が高い画像データが他の画像データよりも大きく表示されるように加工する、画像データの加工プログラム。
Music data, attribute data indicating the attributes of music data, and image data corresponding to the music data are stored in the storage device, and image data corresponding to the music data is read from the storage device when the music data is reproduced or searched, and the read image A processing program for image data executed by a content data reproducing device having a function of displaying data,
A determination step of determining whether or not image data corresponding to music data is included in the storage device;
A search step for searching for music data having attribute data common to the attribute data of the unsupported music data determined that the image data is not supported by the determination step;
Extracting image data corresponding to the music data searched in the search step, and processing the image data based on the extracted image data;
The processed image data have a a step to correspond to the image data of the incompatible music data,
In the processing step, when a plurality of image data is extracted and the image data has a priority, the image data having a higher priority is processed so as to be displayed larger than the other image data. program.
前記検索ステップは、一定数以上の楽曲データが検索された場合には、再生回数を基準に再生回数の多い楽曲ファイルを選択する、請求項9に記載の画像データの加工プログラム。10. The image data processing program according to claim 9, wherein the search step selects a music file having a large number of reproductions based on the number of reproductions when a certain number of pieces of music data are retrieved.
JP2008134693A 2008-05-22 2008-05-22 Content data playback device Expired - Fee Related JP5234598B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008134693A JP5234598B2 (en) 2008-05-22 2008-05-22 Content data playback device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008134693A JP5234598B2 (en) 2008-05-22 2008-05-22 Content data playback device

Publications (2)

Publication Number Publication Date
JP2009283074A JP2009283074A (en) 2009-12-03
JP5234598B2 true JP5234598B2 (en) 2013-07-10

Family

ID=41453364

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008134693A Expired - Fee Related JP5234598B2 (en) 2008-05-22 2008-05-22 Content data playback device

Country Status (1)

Country Link
JP (1) JP5234598B2 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005102126A (en) * 2003-08-21 2005-04-14 Casio Comput Co Ltd Image pickup device with communication function and display processing method
JP4398345B2 (en) * 2004-10-29 2010-01-13 オリンパス株式会社 Imaging device
JP4555246B2 (en) * 2006-03-31 2010-09-29 アルパイン株式会社 Recording / reproducing apparatus, recording / reproducing method, and control program
JP2008071419A (en) * 2006-09-14 2008-03-27 Kenwood Corp Music reproducing device, program, and music reproducing method in music reproducing device

Also Published As

Publication number Publication date
JP2009283074A (en) 2009-12-03

Similar Documents

Publication Publication Date Title
EP2180480A1 (en) Playlist search device, playlist search method and program
WO2003096347A1 (en) Recording/reproduction system, recording/reproduction method, program, and recording medium
JP2008186512A (en) Content reproducing device
JP5234598B2 (en) Content data playback device
JP2007226880A (en) Reproduction device, search method, and computer program
JP4339020B2 (en) Signal recording / reproducing apparatus and signal recording / reproducing method
JP2009042265A (en) Digital audio player and selection method for karaoke musical piece
JP2007133731A (en) Content data reproducing device
JP2006196048A (en) On-vehicle music reproducing apparatus
JP4905190B2 (en) Audio reproduction device, audio reproduction method, and program
JP2005026850A (en) Reproducer and recorder
JP2008191490A (en) Audio device and its reproduction method
JP4812109B2 (en) Content data playback device, content list creation method, and content list search method
JP2010283707A (en) Onboard electronic device and image update system for the same
JP4942102B2 (en) Content playback device
JP4862143B2 (en) REPRODUCTION DEVICE, PROGRAM, AND REPRODUCTION METHOD
JP4930116B2 (en) Audio playback device, audio data display method, and program
JP2005276337A (en) Reproducing device
JP5633897B2 (en) Audio equipment
JP4862134B2 (en) Recording / reproducing apparatus and recording file generation method
JP4953304B2 (en) Content data playback device, content list creation method, and content data search method
JP2010027124A (en) Information reproducing equipment, playlist creation method, playlist creation program, and program recording medium
JP2010086094A (en) Content processing device, content display method, and program
JP2008059677A (en) Audio device
JP2011076485A (en) Content information display control device and program therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120601

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121029

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130319

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 5234598

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees