JP5431094B2 - Karaoke transmission system, karaoke transmission method, and computer program - Google Patents
Karaoke transmission system, karaoke transmission method, and computer program Download PDFInfo
- Publication number
- JP5431094B2 JP5431094B2 JP2009225357A JP2009225357A JP5431094B2 JP 5431094 B2 JP5431094 B2 JP 5431094B2 JP 2009225357 A JP2009225357 A JP 2009225357A JP 2009225357 A JP2009225357 A JP 2009225357A JP 5431094 B2 JP5431094 B2 JP 5431094B2
- Authority
- JP
- Japan
- Prior art keywords
- karaoke
- information
- imaging
- user
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Reverberation, Karaoke And Other Acoustics (AREA)
Description
本発明は、アップロードされた様々な画像の中から抽出した複数の画像を用いてカラオケ背景映像を生成することで、バラエティに富んだカラオケ背景映像を表示しながらユーザがカラオケを楽しめるようにしたカラオケ送信システム、カラオケ送信方法、およびコンピュータプログラムに関する。 The present invention generates a karaoke background video using a plurality of images extracted from various uploaded images, so that the user can enjoy karaoke while displaying a variety of karaoke background videos. The present invention relates to a transmission system, a karaoke transmission method, and a computer program.
従来、カラオケ歌唱時に表示されるカラオケ背景映像は一般に、一つの背景映像を複数のカラオケ曲に使い回したり、または一つの背景映像を一つのカラオケ曲のみに用いたりするなどの状況になっていた。なお、カラオケの利用の仕方としては、カラオケ店舗内のカラオケ端末でカラオケ曲を歌唱するという従来の態様に加えて、インターネットのような広域のネットワークを通じて、カラオケデータをダウンロードすることにより、ユーザ端末(音楽出力が可能な携帯電話機など)で手軽にカラオケを楽しめる環境も整っている。 Conventionally, a karaoke background image displayed when singing a karaoke is generally in a situation where one background image is used for a plurality of karaoke songs, or one background image is used for only one karaoke song. . As a method of using karaoke, in addition to the conventional mode of singing karaoke songs at a karaoke terminal in a karaoke store, by downloading karaoke data through a wide area network such as the Internet, user terminals ( There is also an environment where you can easily enjoy karaoke on a mobile phone that can output music.
また、カラオケに関する様々なサービスをユーザへ提供できるようにするため、カラオケ店舗またはカラオケサイトのサービスに対してユーザが会員として登録すれば、自身の利用したカラオケ曲に関する様々な情報(利用日時、利用曲名、利用曲の歌唱者名、歌唱時の音程・テンポ等)がカラオケの利用履歴として蓄えられる仕組みが一般的になっている。 In addition, in order to be able to provide various services related to karaoke to the user, if the user registers as a member for the service of the karaoke store or karaoke site, various information regarding the karaoke songs used by the user (use date, use In general, a mechanism in which a song name, a singer name of a song used, a pitch at the time of singing, a tempo, etc.) is stored as a karaoke usage history has become common.
一方、カラオケの背景映像に関して、下記の特許文献1は、特定のカラオケ楽曲に対する映像をユーザに投稿してもらい、その投稿された映像を、特定のカラオケ楽曲の背景映像に利用する技術を開示している。
On the other hand, regarding the background video of karaoke, the following
また、カラオケ用の背景映像とは無関係であるが、下記の特許文献2は、様々な複数の映像素材を、ユーザの要求(ユーザによる映像素材の属性情報の指定)に基づき組み合わせることにより、一つの映像を生成する技術を開示している。さらに、下記の特許文献3は、撮像機器からアップロードされる各地の最新撮像画像を、その撮像された位置を示す位置情報と共に記憶しておき、ユーザの閲覧希望に応じて、ユーザが閲覧を希望する位置における最新撮像画像を提供できるようにした技術を開示している。
Moreover, although it is unrelated to the background image for karaoke, the following
従来のカラオケ背景映像は、同じものが何度も表示されることがあり、背景映像のバリエーションが乏しいという問題があった。また、特許文献1で開示される技術においても、投稿される映像は特定のカラオケ楽曲の背景映像用として限定されたものであるため、背景映像のバリエーションを大幅に増加させるには至っていない。
The conventional karaoke background video may be displayed many times, and there is a problem that variations in the background video are scarce. Also in the technique disclosed in
また、特許文献2、3で開示される技術は、いずれもカラオケの背景映像としての利用を考慮していないため、ユーザのカラオケ利用に連動して背景映像用の映像をスムーズに得られないという問題がある。たとえば、特許文献2で開示される技術を無理矢理、カラオケの背景映像に利用したとしても、特許文献2で開示される技術は、ユーザが映像素材の属性情報を指定する必要があることから、カラオケ曲を選択する操作に加えて、映像素材の属性情報の指定操作をユーザに要求することとなり、ユーザの操作負担を増加させてしまう。
In addition, since the techniques disclosed in
本発明は斯かる事情に鑑みてなされたものであり、ユーザは通常のカラオケ利用の操作を行うだけで、アップロードされた様々な映像を利用して、バラエティに富んだカラオケの背景映像をユーザに提供できるようにしたカラオケ送信システム、カラオケ送信方法、およびコンピュータプログラムを提供することを目的とする。 The present invention has been made in view of such circumstances, and the user can perform various karaoke background videos to the user by using various uploaded videos just by performing an ordinary karaoke use operation. It is an object to provide a karaoke transmission system, a karaoke transmission method, and a computer program that can be provided.
上記課題を解決するために本発明に係るカラオケ送信システムは、カラオケ曲データを格納したカラオケデータベースを備え、カラオケを利用するユーザに係るユーザ情報およびユーザに選択されたカラオケ曲を示すカラオケ選曲情報の受信に基づき、前記カラオケデータベースから抽出した前記カラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ送信するカラオケ送信システムであって、撮像に係る撮像情報が付帯した撮像画像を受信する受信手段と、前記受信手段が受信した撮像画像を、付帯した撮像情報と共に格納する画像データベースと、ユーザ情報およびカラオケ選曲情報を受信した場合、前記画像データベースから、受信したユーザ情報またはカラオケ選曲情報に基づき複数の撮像情報を検索する撮像情報検索手段と、前記撮像情報特定手段で検索された各々の撮像情報が付帯した複数の撮像画像を、前記画像データベースから抽出する画像抽出手段と、前記画像抽出手段で抽出した複数の撮像画像を組み合わせてカラオケ背景映像を生成する背景映像生成手段と、前記背景映像生成手段で生成したカラオケ背景映像、および受信したカラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ送信する手段とを備えることを特徴とする。 In order to solve the above problems, a karaoke transmission system according to the present invention includes a karaoke database storing karaoke song data, and includes user information relating to a user who uses karaoke and karaoke song selection information indicating a karaoke song selected by the user. A karaoke transmission system for transmitting karaoke song data corresponding to the karaoke song selection information extracted from the karaoke database to the transmission source of the karaoke song selection information based on reception, wherein a captured image associated with imaging information is attached. When receiving the receiving means, the image database storing the captured image received by the receiving means together with the attached imaging information, and the user information and karaoke music selection information, the received user information or karaoke music selection is received from the image database. Search multiple imaging information based on information Image information search means; image extraction means for extracting from the image database a plurality of picked-up images associated with each of the image pickup information searched by the image pickup information specifying means; and a plurality of picked-up images extracted by the image extraction means. Karaoke background video generated by combining the karaoke background video, karaoke background video generated by the background video generation unit, and karaoke song data corresponding to the received karaoke song selection information is transmitted to the karaoke song selection information transmission source And means for performing.
また、本発明に係るカラオケ送信システムは、前記撮像情報には撮像日時を示す撮像日時情報が含まれており、前記撮像情報検索手段は、前記撮像日時情報が示す撮像日時の早い順序で撮像情報を検索することを特徴とする。 Further, in the karaoke transmission system according to the present invention, the imaging information includes imaging date / time information indicating imaging date / time, and the imaging information search means performs imaging information in the order of imaging date / time indicated by the imaging date / time information. It is characterized by searching.
さらに、本発明に係るカラオケ送信システムは、前記ユーザ情報には、ユーザ位置に係るユーザ位置情報が含まれており、前記撮像情報には、撮像画像の撮像位置に係る撮像位置情報が含まれており、前記ユーザ位置情報および前記撮像位置情報の比較を行う位置比較手段を備え、前記撮像情報検索手段は、前記位置比較手段の比較結果に基づき撮像情報を検索するようにしてあることを特徴とする。 Further, in the karaoke transmission system according to the present invention, the user information includes user position information relating to a user position, and the imaging information includes imaging position information relating to an imaging position of a captured image. And a position comparison means for comparing the user position information and the imaging position information, wherein the imaging information search means searches for imaging information based on a comparison result of the position comparison means. To do.
さらにまた、本発明に係るカラオケ送信システムは、前記カラオケデータベースには、カラオケ曲の歌詞データが含まれており、前記撮像情報には、撮像画像に応じたコメントを示すコメント情報が含まれており、前記カラオケ選曲情報を受信した場合、受信したカラオケ選曲情報に応じたカラオケ曲の歌詞データを前記カラオケデータベースから抽出する歌詞抽出手段を備え、前記撮像情報検索手段は、前記歌詞抽出手段が抽出した歌詞データに応じたコメント情報を含む撮像情報を検索するようにしてあることを特徴とする。 Still further, in the karaoke transmission system according to the present invention, the karaoke database includes lyrics data of karaoke songs, and the imaging information includes comment information indicating a comment corresponding to the captured image. When the karaoke song selection information is received, the karaoke song selection information is extracted from the karaoke database by extracting the lyric data of the karaoke song corresponding to the received karaoke song selection information. The imaging information including comment information corresponding to the lyrics data is searched.
また、本発明に係るカラオケ送信システムは、前記ユーザ情報には、カラオケを利用するユーザ識別用のユーザ識別情報が含まれており、ユーザがカラオケを利用した履歴に応じた情報を示すカラオケ履歴情報を、ユーザ識別情報ごとに対応付けて格納したカラオケ履歴データベースと、前記ユーザ情報を受信した場合、前記カラオケ履歴データベースから、受信したユーザ識別情報に含まれるユーザ識別情報に対応付けられたカラオケ履歴情報を抽出する履歴情報抽出手段とを備え、前記撮像情報検索手段は、前記履歴情報抽出手段が抽出したカラオケ履歴情報に応じた撮像情報を検索するようにしてあることを特徴とする。 In the karaoke transmission system according to the present invention, the user information includes user identification information for identifying a user who uses karaoke, and karaoke history information indicates information corresponding to a history of the user using karaoke. Karaoke history database associated with the user identification information included in the received user identification information from the karaoke history database when the user information is received and the karaoke history database stored in association with each user identification information History information extraction means for extracting the image information, and the imaging information search means searches for imaging information according to the karaoke history information extracted by the history information extraction means.
さらに、本発明に係るカラオケ送信システムは、前記ユーザ情報には、ユーザ位置に係るユーザ位置情報が含まれており、前記撮像情報には、撮像画像の撮像位置に係る撮像位置情報が含まれており、前記ユーザ位置情報および前記撮像位置情報の比較を行う位置比較手段と、前記位置比較手段の比較結果に基づき、前記撮像情報検索手段が検索した複数の撮像情報の順序を特定する順序特定手段とを備え、前記背景映像生成手段は、前記順序特定手段が特定した撮像情報の順序で複数の撮像画像を組み合わせてカラオケ背景映像を生成することを特徴とする。 Further, in the karaoke transmission system according to the present invention, the user information includes user position information relating to a user position, and the imaging information includes imaging position information relating to an imaging position of a captured image. And a position comparison means for comparing the user position information and the imaging position information, and an order specifying means for specifying the order of the plurality of imaging information searched by the imaging information search means based on a comparison result of the position comparison means The background video generation means generates a karaoke background video by combining a plurality of captured images in the order of the imaging information specified by the order specifying means.
さらにまた、本発明に係るカラオケ送信システムは、前記撮像情報には撮像日時を示す撮像日時情報が含まれており、前記背景映像生成手段は、前記撮像日時情報が示す撮像日時の早い順または遅い順で複数の撮像画像を組み合わせてカラオケ背景映像を生成することを特徴とする。 Still further, in the karaoke transmission system according to the present invention, the imaging information includes imaging date / time information indicating imaging date / time, and the background video generation means is arranged in order of early or late imaging date / time indicated by the imaging date / time information. A karaoke background video is generated by combining a plurality of captured images in order.
本発明に係るカラオケ送信方法は、カラオケ曲データを格納したカラオケデータベースを備えたカラオケ送信システムが、カラオケを利用するユーザに係るユーザ情報およびユーザに選択されたカラオケ曲を示すカラオケ選曲情報の受信に基づき、前記カラオケデータベースから抽出した前記カラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ送信するカラオケ送信方法であって、撮像に係る撮像情報が付帯した撮像画像を受信するステップと、受信した撮像画像を、付帯した撮像情報と共に画像データベースに格納するステップと、ユーザ情報およびカラオケ選曲情報を受信した場合、前記画像データベースから、受信したユーザ情報またはカラオケ選曲情報に基づき複数の撮像情報を検索するステップと、検索した各々の撮像情報が付帯した複数の撮像画像を前記画像データベースから抽出するステップと、抽出した複数の撮像画像を組み合わせてカラオケ背景映像を生成するステップと、生成したカラオケ背景映像、および受信したカラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ送信するステップとを備えることを特徴とする。 In the karaoke transmission method according to the present invention, a karaoke transmission system including a karaoke database storing karaoke song data is used to receive user information relating to a user who uses karaoke and karaoke song selection information indicating a karaoke song selected by the user. A karaoke transmission method for transmitting karaoke song data corresponding to the karaoke song selection information extracted from the karaoke database to a transmission source of the karaoke song selection information, and receiving a captured image associated with imaging information related to imaging A step of storing the received captured image in the image database together with the accompanying imaging information; and when receiving user information and karaoke song selection information, a plurality of information is received from the image database based on the received user information or karaoke song selection information. Searching for imaging information; Extracting a plurality of captured images attached to each searched image information from the image database, generating a karaoke background video by combining the extracted plurality of captured images, the generated karaoke background video, and the received Transmitting karaoke song data corresponding to karaoke song selection information to a transmission source of the karaoke song selection information.
本発明に係るコンピュータプログラムは、通信手段を有するコンピュータに、カラオケを利用するユーザに係るユーザ情報およびユーザに選択されたカラオケ曲を示すカラオケ選曲情報の受信に基づき、カラオケ曲データを格納したカラオケデータベースから抽出した前記カラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ送信する処理を行わせるためのコンピュータプログラムであって、前記コンピュータを、撮像に係る撮像情報が付帯した撮像画像を、前記通信手段を介して受信する処理を行う手段と、受信した撮像画像を、付帯した撮像情報と共に画像データベースに格納する処理を行う手段と、ユーザ情報およびカラオケ選曲情報を受信した場合、前記画像データベースから、受信したユーザ情報またはカラオケ選曲情報に基づき複数の撮像情報を検索する処理を行う手段と、検索した各々の撮像情報が付帯した複数の撮像画像を前記画像データベースから抽出する処理を行う手段と、抽出した複数の撮像画像を組み合わせてカラオケ背景映像を生成する処理を行う手段と、生成したカラオケ背景映像、および受信したカラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ前記通信手段を介して送信する処理を行う手段として機能させることを特徴とする。 A computer program according to the present invention is a karaoke database in which karaoke song data is stored in a computer having communication means based on reception of user information relating to a user who uses karaoke and karaoke song selection information indicating a karaoke song selected by the user. A computer program for performing processing for transmitting karaoke song data corresponding to the karaoke song selection information extracted from the karaoke song selection information to a transmission source of the karaoke song selection information. When receiving means for receiving an image via the communication means, means for storing the received captured image in an image database together with attached imaging information, and receiving user information and karaoke music selection information, From the image database, received user information or Means for searching for a plurality of pieces of imaging information based on karaoke music selection information; means for extracting a plurality of picked-up images associated with the searched pieces of pick-up information from the image database; and a plurality of extracted picked-up images Karaoke background video generated by combining the karaoke background video and the karaoke song data corresponding to the received karaoke song selection information is transmitted to the karaoke song selection information transmission source via the communication means. It is made to function as a means to perform the process to perform.
本発明にあっては、カラオケ利用の際、ユーザが利用する端末(カラオケ店舗内のカラオケ端末またはユーザ端末)等から送られてくるユーザ情報またはカラオケ選曲情報を利用して、画像データベースから複数の撮像情報と検索し、検索された各撮像情報が付帯した複数の撮像画像を抽出してカラオケ背景映像を生成するので、ユーザが特別な操作を行わなくても、様々な撮像画像を組み合わせたバラエティに富んだカラオケ背景映像を得ることが可能になる。 In the present invention, when using karaoke, user information or karaoke song selection information sent from a terminal used by a user (a karaoke terminal or a user terminal in a karaoke store) or the like is used to obtain a plurality of images from an image database. Since a karaoke background image is generated by searching for imaging information and extracting a plurality of captured images attached to each searched imaging information, a variety of combinations of various captured images without any special operation by the user A rich karaoke background image can be obtained.
本発明にあっては、撮像日時の早い順序で複数の撮像情報を検索するので、カラオケ背景映像の中身も常に新しい撮像画像が用いられる。そのため、同じカラオケ曲を選曲した場合でも、選曲した時間が異なれば、カラオケ背景映像も新しい画像で生成されたものになり、カラオケ背景映像の中身がマンネリにならない。 In the present invention, since a plurality of pieces of imaging information are searched in the order of the imaging date and time, a new captured image is always used for the contents of the karaoke background video. For this reason, even when the same karaoke song is selected, if the selected time is different, the karaoke background video is also generated with a new image, and the contents of the karaoke background video are not ruined.
本発明にあっては、ユーザ位置および撮像位置の比較結果に基づき、複数の撮像情報を検索するので、カラオケ背景映像の中身が、ユーザの居る場所と何らかの関係を有するものになる。その結果、ユーザ自身の居る場所と関連を持ったカラオケ背景映像が表示される雰囲気の中で、ユーザはカラオケ歌唱を行えるようになり、視覚的な面でカラオケの新たな楽しさをユーザに提供できるようになる。 In the present invention, since a plurality of pieces of imaging information are searched based on the comparison result between the user position and the imaging position, the contents of the karaoke background video have some relationship with the location where the user is present. As a result, users can now perform karaoke singing in an atmosphere in which a karaoke background image related to the user's own location is displayed, providing the user with new karaoke fun. become able to.
本発明にあっては、ユーザが選択したカラオケ曲の歌詞データに応じたコメント情報を含む撮像情報を検索するので、カラオケ背景映像の中身が、ユーザが歌唱する歌詞と何らかの関係を有するものになる。その結果、歌唱する内容と関連を持ったカラオケ背景映像が表示される雰囲気の中で、ユーザはカラオケ歌唱を行えるようになり、カラオケの表示内容と歌唱内容が連動するという新たな楽しさをユーザに提供できるようになる。 In the present invention, since the imaging information including comment information corresponding to the lyrics data of the karaoke song selected by the user is searched, the contents of the karaoke background video have some relationship with the lyrics sung by the user. . As a result, the user can perform karaoke singing in an atmosphere in which a karaoke background image related to the content to be sung is displayed, and the user can enjoy a new enjoyment that the karaoke display content and the singing content are linked. Will be able to provide.
本発明にあっては、カラオケを利用するユーザのカラオケ履歴情報に応じた撮像情報を検索するので、カラオケ背景映像の中身が、ユーザのカラオケ利用に係る履歴に応じた内容と何らかの関係を有するものになる。その結果、ユーザが今までカラオケで利用してきた履歴と関連を持ったカラオケ背景映像が表示される雰囲気の中で、ユーザはカラオケ歌唱を行えるようになり、どのような背景映像が表示されるかということをユーザが楽しみながら、カラオケを歌唱できるというカラオケ環境をユーザに提供できるようになる。 In the present invention, since the imaging information corresponding to the karaoke history information of the user who uses karaoke is searched, the content of the karaoke background video has some relationship with the content corresponding to the history related to the user's karaoke use become. As a result, the user can perform karaoke singing in an atmosphere in which the karaoke background video associated with the history that the user has used in karaoke is displayed, and what kind of background video is displayed This makes it possible to provide the user with a karaoke environment in which the user can sing karaoke while enjoying it.
本発明にあっては、ユーザ位置および撮像位置の比較結果に基づき、複数の撮像情報の順序を特定し、その特定した各撮像情報の順序に応じて複数の撮像画像を組み合わせたカラオケ背景映像を生成するので、カラオケ背景映像として表示される撮像画像の順序までが、ユーザの居る場所と何らかの関係を有するものになる。その結果、ユーザの位置に関係する一連の撮像画像として、次にどのような場所の画像が表示されるかをユーザは楽しめるようになる。 In the present invention, based on the comparison result of the user position and the imaging position, the order of the plurality of imaging information is specified, and the karaoke background video in which the plurality of captured images are combined according to the specified order of the imaging information. Therefore, the order of the captured image displayed as the karaoke background video has some relationship with the place where the user is. As a result, the user can enjoy what kind of place image is displayed next as a series of captured images related to the user's position.
本発明にあっては、撮像日時情報が示す撮像日時の早い順または遅い順で、複数の撮像画像を組み合わせてカラオケ背景映像が生成されるので、一定の時系列で並んだ撮像画像をカラオケの背景映像としてユーザは楽しむことができるようになる。 In the present invention, since a karaoke background video is generated by combining a plurality of captured images in the order of the imaging date and time indicated by the imaging date and time information, the captured images arranged in a certain time series are The user can enjoy the background video.
本発明にあっては、ユーザから送られてくるユーザ情報またはカラオケ選曲情報を利用して、画像データベースより複数の撮像情報を検索し、その検索された撮像情報が付帯した複数の撮像画像を抽出してカラオケ背景映像を生成するので、何ら特別な操作なしで、ユーザはバラエティに富んだカラオケ背景映像をカラオケ利用時に楽しめる。 In the present invention, using user information or karaoke song selection information sent from a user, a plurality of imaging information is searched from an image database, and a plurality of captured images attached with the searched imaging information are extracted. Since the karaoke background video is generated, the user can enjoy a wide variety of karaoke background video when using karaoke without any special operation.
本発明にあっては、撮像日時の早い順序で複数の撮像情報を検索するので、カラオケ背景映像のマンネリ化を防止して、常に最新の撮像画像を含んだカラオケ背景映像をユーザが楽しめる状況を提供できる。
本発明にあっては、ユーザ位置および撮像位置の比較結果に基づき、複数の撮像情報を検索するので、ユーザ自身の居る場所と関連を持ったカラオケ背景映像を表示して、視覚的な面でカラオケの新たな楽しさをユーザに提供できる。
According to the present invention, since a plurality of pieces of imaging information are searched in the order of the imaging date and time, the situation in which the user can enjoy the karaoke background video including the latest captured image is always prevented by preventing the karaoke background video from becoming ruined. it can.
In the present invention, since a plurality of pieces of imaging information are searched based on the comparison result between the user position and the imaging position, a karaoke background image related to the location of the user himself / herself is displayed and visually New joy of karaoke can be provided to users.
本発明にあっては、ユーザが選択したカラオケ曲の歌詞データに応じたコメント情報を含む撮像情報を検索するので、歌唱する内容と関連を持ったカラオケ背景映像が表示される雰囲気の中で、ユーザはカラオケ歌唱を楽しめる。 In the present invention, because it searches for imaging information including comment information according to the lyrics data of the karaoke song selected by the user, in an atmosphere in which a karaoke background video associated with the content of singing is displayed, The user can enjoy karaoke singing.
本発明にあっては、ユーザ位置および撮像位置の比較結果に基づき、複数の撮像情報の順序を特定して複数の撮像画像を組み合わせたカラオケ背景映像を生成するので、ユーザの位置に関係する一連の撮像画像を順次楽しみながら、ユーザはカラオケ曲を歌唱できる。
本発明にあっては、撮像日時情報が示す撮像日時の早い順または遅い順で、複数の撮像画像を組み合わせてカラオケ背景映像が生成されるので、一定の時系列で並んだ撮像画像を楽しみながら、ユーザはカラオケ曲を歌唱できる。
In the present invention, the karaoke background video is generated by combining the plurality of captured images by specifying the order of the plurality of captured information based on the comparison result between the user position and the captured position, and therefore, a series related to the position of the user. The user can sing karaoke songs while enjoying the captured images sequentially.
In the present invention, the karaoke background video is generated by combining a plurality of captured images in the order of the imaging date and time indicated by the imaging date and time information, so that while enjoying the captured images arranged in a certain time series, The user can sing karaoke songs.
図1は、本発明の実施形態に係るカラオケ送信システム1を含む全体的なシステム構成を示している。図1においてカラオケ送信システム1は、矩形の波線で囲んだものであり、サービスサーバ10に、画像データベース装置20、カラオケ曲データベース装置25、ユーザデータベース装置30およびサイトデータベース装置35を内部ネットワークケーブルL2〜L5でそれぞれ接続している。また、カラオケ送信システム1は、外部ネットワークケーブルL1でサービスサーバ10をインターネットのような広域のネットワークNWと接続し、このネットワークNWを介して、様々な外部の通信装置(カラオケ店舗Sの内部に設置したカラオケ端末2、ユーザ端末に相当する携帯電話機50、70等)との通信を可能にしている。
FIG. 1 shows an overall system configuration including a
本実施形態のカラオケ送信システム1のサービスサーバ10は、図2(a)に示すように、映像・音楽に関するサービスをユーザに提供するウェブサイトをネットワーク上に開設している。このウェブサイトでは、ユーザが会員登録すると、主に2つのサービスが登録ユーザへ提供されるようになっている。1つめのサービス(映像サービス)は、ユーザが撮像した画像(動画、静止画など)をアップロード(投稿)することで、他のユーザに自身の作品(撮像画像)を公開するものである。2つめのサービス(音楽サービス)は、カラオケデータを配信するカラオケサービスであり、ユーザが希望した楽曲のカラオケ曲データ(カラオケの曲データおよび歌詞データ)をカラオケ背景映像と共にユーザ端末へ送信し、ユーザ端末でカラオケを手軽に楽しめサービス内容になっている。
As shown in FIG. 2A, the
本発明では、上述した画像投稿サービスとカラオケサービスを、カラオケ背景映像について関連づけたことを特徴にしており、具体的には、画像投稿サービスでユーザが投稿してきた画像を各種組み合わせてカラオケ背景映像を生成し、その生成したカラオケ背景映像をカラオケデータと共にカラオケサービスとして提供している。 The present invention is characterized in that the image posting service and the karaoke service described above are associated with the karaoke background video. Specifically, the karaoke background video is obtained by combining various images posted by the user through the image posting service. The generated karaoke background video is provided as a karaoke service together with karaoke data.
なお、本実施形態のカラオケ送信システム1は、ユーザ端末でカラオケを利用する場合と、カラオケ店舗Sの内部に設置されたカラオケ端末2でカラオケを利用する場合の両方に対応している。会員登録したユーザを識別するためのユーザID等のユーザに関する情報を含むユーザ情報と、選択されたカラオケ曲を示すカラオケ選曲情報を受信すると、本実施形態のカラオケ送信システム1は、カラオケデータ(曲、歌詞、カラオケ背景映像のそれぞれのデータをセットにしたもの)をユーザ(ユーザ端末またはカラオケ端末)へ送信する。
In addition, the
最初に、ユーザが撮像した画像を投稿することについて説明する。画像の撮像については、撮像機能を有する機器をユーザが用いることになり、具体的には、撮像機能付き携帯電話機、デジタルカメラ、デジタルビデオカメラなどが使用される。また、撮像された画像をカラオケ送信システム1のサービスサーバ10へ投稿するには、通信端末を用いて、図2(a)に示すウェブサイトのトップページ画面40へアクセスし、トップページ画面40の中の撮影画像投稿ボタン40aを選択してから、所定のログイン操作(ユーザID、パスワードの入力操作)を行うことで、図2(b)に示すような画像投稿ページ画面41へ入る。この画像投稿ページ画面41において、投稿する画像データ(タグ情報が付帯したもの)を画像選択欄41aで選択すると共に、コメント欄41bにコメントを入力してから、投稿ボタン41cを選択することで、ログイン時のユーザID、コメント情報およびタグ情報を含む撮像情報の付帯した画像データがカラオケ送信システム1のサービスサーバ10へ送信されるようになっている。
First, posting of an image captured by the user will be described. For imaging, the user uses a device having an imaging function, and specifically, a mobile phone with an imaging function, a digital camera, a digital video camera, or the like is used. In addition, in order to post the captured image to the
図3は、撮像を行う機器の一例である撮像機能付き携帯電話機50(外観は図1参照)の主要な内部構成を示している。携帯電話機50は、各種制御処理を行うCPU51に、通信モジュール52、RAM53、ROM54、表示用インタフェース55、操作用インタフェース56、撮像ユニット57、GPSユニット58、および記憶部59等を内部バス60で接続している。なお、図3では電源及び電源ラインの図示は省略している。以下、携帯電話機50の各部を説明する。
FIG. 3 shows the main internal configuration of a
通信モジュール52は、通話・通信等に関する処理を行うデバイス(通信手段)であり、ユーザの所定の通信操作(インターネットへのアクセス操作、データの送信操作等)を受け付けると、CPU51の制御により、図1に示す各中継基地局T1、T2・・・Tnと無線通信を行い、ネットワークNWに接続される所望の機器(サービスサーバ10等)との間で通信接続を確立して所望の通信処理等を行う。
The
RAM53は、CPU51の処理に従う各種データ等を一時的に記憶すると共に、CPU51の処理用のワークエリアとして機能する。また、ROM54は、CPU51が行う基本的な処理内容を規定したプログラム等を予め記憶すると共に、携帯電話機50の電話番号、及び携帯電話機50を識別するための固有ID(Unique ID)等を含む識別データも記憶する。
The
表示用インタフェース55は、図1にも示すように、携帯電話機50の筐体50aの前面に表出するように配置された表示パネル61に接続されるインタフェースであり、CPU51の制御に従って各種内容を表示パネル61に表示するための処理を行う。操作用インタフェース56は図1にも示すように、携帯電話機50の筐体50aの前面に配置される上下左右キー、決定キー、数字キー等から構成される操作部62に接続されるインタフェースであり、ユーザからの各種操作内容を操作部62を介して受け付け、受け付けた操作内容をCPU51へ伝える処理を行う。
As shown in FIG. 1, the
撮像ユニット57は、CCDまたはCMOSのような撮像素子を内蔵した撮像手段であり、ユーザの撮像操作に従って動画または静止画を撮像する。なお、撮像ユニット57で撮像された画像データには、画像自体のコンテンツデータに、撮像日時、撮像機種、撮像位置(GPSユニット58により取得された位置情報)等の各種情報を含むタグ情報(プロパティ的な情報)が付帯する。
The
また、GPSユニット58は、通信衛星からの電波を取得して、携帯電話機50の位置を示す情報(緯度経度を示す位置情報)を取得するものであり、本実施形態では、上述した撮像ユニット57が撮像を行った場合に連動して、撮像位置を示す撮像位置情報を取得して、タグ情報に含ませるようにしている。
The
記憶部59は、不揮発性メモリ等で構成されており、端末プログラムP1等を記憶すると共に、撮像ユニット57が撮像した画像データ等も記憶する。端末プログラムP1は、携帯電話機50に係る各種機能を実現するために、CPU51の制御処理内容を規定したソフトウェアプログラムであり、携帯電話機50の通話、通信および撮像に係る各種制御処理等を規定している。
The
本発明において適用できる撮像を行う機器(撮像機器)は、図3に示すような撮像機能付きの携帯電話機50に限定されるものではないが、GPSユニットを具備しない撮像機器を用いる場合は、画像データに付帯する撮像情報に、撮像位置情報は含まれなくなる。また、通信手段を具備しない撮像機器(デジタルカメラ、デジタルビデオカメラ)を用いる場合は、そのような撮像機器で撮像した画像データを、他の通信可能な機器(通信機能を具備するパーソナルコンピュータまたは携帯電話機等)を介して送信(投稿)することになる。なお、このような画像投稿用の撮像機器は、図1では携帯電話機50のみを示しているが、実際には上述した様々な複数の撮像機器が適用されるものとする(図1は、説明の簡略化のため、撮像装置として1台の携帯電話機50を示したものである)。
A device (imaging device) that performs imaging that can be applied in the present invention is not limited to the
次に、図1に示すカラオケ送信システム1に含まれる各データベース装置20、25、30、35について説明する。各データベース装置20、25、30、35には、データベース用の大記憶容量を確保した記憶媒体システム(ハードディスクシステム)を具備したデータベース用コンピュータが適用されており、それぞれの役割に応じたデータベースをハードディスクシステムに記憶した構成になっている。
Next, each
図4は、画像データベース装置20に記憶された画像データベース21を示している。この画像データベース21は、上述した撮像機器で撮像された画像データを格納したものであり、図2(b)に示す画像投稿ページ画面41を介して、撮影ユーザのユーザIDと共に投稿(送信)された画像データ(撮像情報が付帯したもの)を格納している。
FIG. 4 shows an
具体的に画像データベース21は、新たな画像データを格納するごとに、サービスサーバ10が発行する画像IDに対応付けて、送信されてきた撮像情報(撮像者を示すユーザID、撮像日時、撮像位置、コメント等の情報を含んだもの)と共に、その撮像情報が付帯した画像データを順次格納しており、新しい画像データほど大きい数値の画像IDが付されている。なお、GPS機能を具備しない撮像機器で映像が撮像された場合、図2(b)に示す画像投稿ページ画面41でコメント欄41bにコメントが入力されなかった場合、画像データベース21に格納される撮像情報に撮像位置情報またはコメント情報は含まれない。
Specifically, every time new image data is stored, the
図5は、カラオケ曲データベース装置25が記憶しているカラオケデータベース25の概要を示している。このカラオケデータベース25は、一つのカラオケ曲ごとに、曲ID、曲名、アーティスト名(歌唱者名。その曲を歌唱する歌手名またはグループ名が相当)、作詞家名、作曲家名、ジャンル、曲時間、発売日等の情報(カラオケ曲情報)が、配信用のカラオケデータである曲データおよび歌詞データ(テキストデータ)と共に格納されている。なお、カラオケデータベース25は、新たなカラオケ曲が追加されるたびに更新される。
FIG. 5 shows an outline of the
図6は、ユーザデータベース装置30に記憶されているユーザデータベース31である。このユーザデータベース31は、カラオケ送信システム1が開設するウェブサイトで提供されるサービスに会員として登録したユーザの情報を格納したものであり、ユーザの番号(No.)、ユーザID(ユーザを識別するためのユーザ識別情報に相当)、氏名、ユーザのニックネーム、性別、パスワード、居住地(ユーザの生活している地域)、出身地、趣味、生年月日などが格納されたものになっている。このユーザデータベース31は、登録ユーザの脱会、新規ユーザの登録等ごとに、格納される情報が更新される。
FIG. 6 shows a
なお、本実施形態では、ユーザIDとして、ユーザが所有するユーザ端末(データ通信機能を具備した携帯電話機が相当)の電子メールアドレスを使用したものになっているが、これに限定されるものではなく、ユーザ端末(携帯電話機)固有のID(Unique ID)、またはカラオケ送信システム1(サービスサーバ10)が自動的に発行するID等もユーザIDとして適宜用いることができる。 In the present embodiment, the user ID is an e-mail address of a user terminal (corresponding to a mobile phone equipped with a data communication function) owned by the user, but is not limited to this. In addition, an ID (Unique ID) unique to the user terminal (mobile phone), an ID automatically issued by the karaoke transmission system 1 (service server 10), or the like can be appropriately used as the user ID.
図7に示すカラオケ履歴データベース32も、ユーザデータベース装置30に記憶されているデータベースである。カラオケ履歴データベース32は、登録ユーザが、サービスサーバ10が開設するウェブサイトのカラオケページ(カラオケサイト)からカラオケデータをダウンロードした際の履歴、またはカラオケ店舗Sのカラオケ端末2でカラオケ曲を利用した場合(ユーザIDを用いて利用した場合)の履歴が、カラオケ履歴情報(カラオケを利用した履歴に応じた情報)として、ユーザIDごとに対応付けて格納されたものである。
The
カラオケ履歴情報には、カラオケ曲を利用した日時、利用したカラオケ曲の曲名、利用したカラオケ曲の元の楽曲を歌唱するアーティスト名(歌唱者名)、利用したカラオケ曲の楽曲を作詞した作詞家名、利用したカラオケ曲の楽曲を作曲した作曲家名、利用したカラオケ曲の楽曲が属するジャンル(Jポップ、ロック、テクノ、ラップ、ダンス、バラード、演歌、歌謡曲、映画音楽、アニメソング、童謡など)、そのカラオケ曲を利用したことのある他の登録ユーザのユーザID、カラオケ店舗でカラオケ曲を利用した場合、そのカラオケ曲を歌唱したユーザの採点結果を示すポイント(カラオケ歌唱に係る結果を示すポイント)およびカラオケ曲を再生した音程等が含まれる。これらカラオケ履歴情報に含まれる各種情報は、カラオケページで選択された情報、カラオケ端末2からアップロードされてきた情報、上述したカラオケデータベース25に格納される情報等から取得された情報が集められたものになっている。なお、このカラオケ履歴データベース32に格納されるカラオケ履歴情報も、ユーザのカラオケ利用に伴って随時更新される。
The karaoke history information includes the date and time when the karaoke song was used, the name of the karaoke song used, the name of the artist who sang the original song of the karaoke song used (singer name), and the songwriter who wrote the song of the karaoke song used. Name, name of composer who composes the song of the used karaoke song, genre to which the song of the used karaoke song belongs (J-pop, rock, techno, rap, dance, ballad, enka, song music, movie music, anime song, nursery rhymes Etc.), the user ID of another registered user who has used the karaoke song, and the point indicating the scoring result of the user who sang the karaoke song when using the karaoke song (the result relating to the karaoke song) Point) and the pitch of the karaoke song. Various information included in the karaoke history information is a collection of information obtained from information selected on the karaoke page, information uploaded from the
また、サイトデータベース装置35は、サービスサーバ10が開設するカラオケサイトを構成する多数のサイトページ(ウェブページ)のデータを記憶したものであり、ウェブページの一例としては、図2(a)〜(c)に示すウェブページ画面40〜42等がある。図2(a)のトップページ画面(ウェブページ画面)40は、撮像画像投稿ボタン40a、カラオケボタン40b、その他のボタン40cを配置している。撮像画像投稿ボタン40aが選択されると、画像投稿サイト用のページ画面(例えば、図2(b)のウェブページ画面41)へ遷移する。また、カラオケボタン40bが選択されると、カラオケサイト用のページ画面(例えば、図2(c)のウェブページ画面42)へ遷移する。さらに、その他のボタン40cが選択されると、サービスサーバ10が提供する他のサービス用のウェブページ画面へ遷移する。
The
なお、図2(b)のウェブページ画面41は、映像投稿サイトへ遷移してから、ユーザIDおよびパスワードが入力された後の登録ユーザ固有のページを示し、図2(c)のウェブページ画面42も、カラオケサイトへ遷移してから、ユーザIDおよびパスワードが入力された後の登録ユーザ固有のページを示している。このカラオケサイトのウェブページ画面42は、選択可能なカラオケ曲検索ボタン42aと利用履歴ボタン42bを配置しており、カラオケ曲検索ボタン42aが選択されると、ユーザが利用したいカラオケ曲を検索する検索ページ画面へ切り替わり、利用履歴ボタン42bが選択されると、図7のカラオケ履歴データベース32に格納された中で、ユーザIDに対応付けられたカラオケ履歴情報を抽出して配置したページ画面に切り替わる。
The
図8は、上述した各データベース装置20、25、30、35が接続されるサービスサーバ10の主要な内部構造を示している。本実施形態では、サービスサーバ10に汎用のサーバコンピュータが適用されており、このサーバコンピュータに、本発明に係るコンピュータプログラム(サーバプログラム17、画像管理プログラム18、カラオケプログラム19)をインストールすることにより、上述した様々なサービスを提供するための処理機能を具備させている。サービスサーバ10は、様々な制御処理を行うMPU11を、内部バス10aを介して通信インタフェース12、RAM13、ROM14、及びハードディスク装置15と接続した構成になっている。以下、サービスサーバ10の各部について説明する。
FIG. 8 shows a main internal structure of the
通信インタフェース12は、内部ネットワークに接続される装置および外部ネットワークのシステム外の機器と通信処理を行うための通信手段(送信および受信手段)に相当し、内部ネットワークの装置と通信を行うために、内部ネットワークケーブルL2〜L5が接続されて各データベース装置20、25、30、35との通信(アクセス)を可能にしている。また、通信インタフェース12は、外部ネットワークケーブルL1も接続しており、この外部ネットワークL1を介して、外部の様々な機器と通信を行えるようにしており、特に本実施形態では、図1に示すカラオケ端末2、ユーザ所有の携帯電話機50、70等とサービスサーバ10が通信できるようにしている。
The
RAM13は、MPU11の処理に伴って生じるデータ及びフォルダ等を一時的に記憶し、具体的には、登録ユーザがカラオケサイトにログインしている際、ログイン中の登録ユーザのユーザID等を記憶する。ROM14は、MPU11が行う基本的な処理内容を規定したプログラム等を予め記憶している。
The
ハードディスク装置15は、計4種類のプログラムを記憶している。具体的には、サービスサーバ10を作動させる上で、基本的な各種処理内容を規定したシステムプログラム16、ウェブサービスに関する各種処理を規定したサーバプログラム17、投稿された画像(撮像情報が付帯した画像データ)を画像データベース装置20の画像データベース21に格納して管理する処理等を規定した画像管理プログラム18、カラオケ端末2またはカラオケサイトのウェブページ画面を介したユーザ端末(携帯電話機70等)から送られてくるカラオケ選曲情報に基づくカラオケデータ(曲、歌詞、背景映像のデータ)を配信する処理等を規定したカラオケプログラム19を、ハードディスク装置15は記憶する。
The
なお、後述するように、カラオケ端末2からサービスサーバ10へカラオケ選曲情報が送られてくる際に、そのカラオケ端末2が設置されている店舗の場所を緯度経度で示すユーザ位置情報がユーザ情報として、サービスサーバ10へ送信されてくる。また、カラオケサイトのウェブページ画面を介して、ユーザ端末(携帯電話機70等)からカラオケを利用する場合は、使用されるユーザ端末に位置情報取得機能(GPS機能)が備わっていると、GPS機能を用いて取得されたユーザ位置情報がユーザ情報として、カラオケ選曲情報と共に送信されてくるようにカラオケページ画面の仕様が設定されている。
As will be described later, when karaoke song selection information is sent from the
次にハードディスク装置15に記憶された(インストールされた)サーバプログラム17、映像管理プログラム18、およびカラオケプログラム19が規定する各種処理内容について説明する。
Next, various processing contents defined by the
まず、サーバプログラム17は、カラオケ送信システム1のサービスサーバ10がネットワーク上に開設しているウェブサイトのページデータをアクセス元の機器へ提供する処理を規定している。カラオケサイトを構成する複数のウェブページには、それぞれURLが付されており、カラオケサイトへアクセスしてきた機器へ、アクセスに応じたURLのウェブページ画面のデータをサービスサーバ10(MPU11)がサイトデータベース装置35から読み出して送信する旨をサーバプログラム17は規定している。
First, the
また、登録ユーザに対しては、登録ユーザのユーザIDおよびパスワードがユーザ端末から送信されてくると、送信されてきたユーザIDおよびパスワードが、図6のユーザデータベース31に登録されているか否かをサーバプログラム17のMPU11に判断させることをサーバプログラム17は規定している。さらに、この判断で、ユーザデータベース31に登録されているとMPU11に判断された場合は、その登録ユーザ向けのウェブページ画面(図2(b)(c)に示すようなウェブページ画面41、42)のデータを配信し、以降、登録ユーザ向けのサービスをサービスサーバ10が提供できる状態に設定する旨をサーバプログラム17は規定している。
For registered users, when the user ID and password of the registered user are transmitted from the user terminal, it is determined whether or not the transmitted user ID and password are registered in the
次に、映像管理プログラム18は、ユーザから投稿(アップロード)された画像データ(タグ情報、コメント情報、ユーザID等を含む撮像情報の付帯した撮像画像に相当)を、図4に示すように、画像データベース装置20に記憶される画像データベース21に格納する処理を規定したものである。すなわち、図1に示すカラオケ端末2(撮像機能を有するカラオケ端末)または携帯電話機50等から、画像データがサービスサーバ10へアップロードされると、サービスサーバ10のMPU11が、受信した画像データに対する画像IDを発行し、その画像IDに対応付けて画像データおよび撮像情報を順次、画像データベース21へ格納する処理を行うことを、映像管理プログラム18は規定している。
Next, as shown in FIG. 4, the
また、カラオケプログラム19は、サービスサーバ10が提供するカラオケサービス全般に関するMPU11の処理内容を規定したものである。まず、カラオケ端末2から送信されたユーザID(ユーザ情報)をサービスサーバ10の通信インタフェースで受信すると、ユーザが選曲したカラオケ曲を示すカラオケ選曲情報の受信をサービスサーバ10が待つ段階になることをカラオケプログラム19は規定している。また、図2(c)で示すウェブページ画面42を介して、カラオケサービスを提供する場合も、ユーザ位置情報を含むユーザ情報と、ユーザが選曲したカラオケ曲を示すカラオケ選曲情報の受信をサービスサーバ10が待つ段階になることをカラオケプログラム19は規定している。
The
そして、カラオケ選曲情報を受信すると、そのカラオケ選曲情報が示すカラオケ曲の曲データ及び歌詞データを、図5に示すカラオケデータベース25から検索して抽出する処理と、そのカラオケ曲用のカラオケ背景映像を図4に示す画像データベース21に格納されている画像データ(撮像画像)を用いて生成する処理を、カラオケプログラム19は規定している。
When the karaoke song selection information is received, the karaoke song data and lyric data of the karaoke song indicated by the karaoke song selection information are retrieved from the
具体的な、カラオケ背景映像の生成処理としては、使用する画像データを抽出する段階の処理と、抽出した各画像データを並べる処理の段階を含んでいる。まず、画像データを抽出するために、ユーザにより選曲されたカラオケ曲の曲時間を図5のカラオケデータベースから特定し、その特定した曲時間を、一つの画像データの表示時間(たとえば、20秒)で除算することで得られた値(整数。あまりが出ると、算出結果の整数に1を加える)を求め、その値を、カラオケ背景映像に用いる画像の必要数として特定することをカラオケプログラム19は規定している。
Specifically, the karaoke background video generation process includes a process of extracting image data to be used and a process of arranging the extracted image data. First, in order to extract image data, the song time of the karaoke song selected by the user is specified from the karaoke database of FIG. 5, and the specified song time is set as the display time of one image data (for example, 20 seconds). The
また、ユーザ位置情報が送信されているかを判断した上で、図4に示す画像データベース21に格納されている撮像情報に含まれる撮像位置情報の数が、特定した必要数以上であるかを判断し、その数以上であれば、ユーザ位置情報および撮像位置情報を比較し、その比較結果に基づき、必要数の撮像情報を検索することを、カラオケプログラム19は規定している。本実施形態では、ユーザ位置情報と撮像位置情報を比較して、ユーザ位置情報から所定の距離内(たとえば、半径20km以内)で近い順に、必要数の撮像位置情報を含む撮像情報を検索するようにしている。必要数の撮像情報を検索できた場合は、次に各撮像情報が含む撮像位置情報がユーザ位置情報に近いものから順に1位、2位、3位・・・というように各撮像情報の順序を特定することを、カラオケプログラム19は規定する。
Further, after determining whether or not the user position information is transmitted, it is determined whether or not the number of imaging position information included in the imaging information stored in the
上述したユーザ位置情報の処理で、撮像情報を検索できない場合、カラオケプログラム19は、選択されたカラオケ曲の歌詞データと、撮像情報に含まれるコメント情報を用いて、図4に示す画像データベース21の中から撮像情報を検索することを規定している。詳しくは、カラオケ選曲情報により選択されたカラオケ曲の歌詞データに含まれる歌詞ワード(たとえば、曲名にも含まれる言葉と同じ歌詞ワード。または、そのカラオケ曲を最もよく表す言葉として予め歌詞データの中で示されている歌詞ワード)を抽出し、その抽出した歌詞ワードを含むコメント情報を、図4に示す画像データベース21に格納された撮像情報の中から検索する処理を、カラオケプログラム19は規定している。たとえば、歌詞ワードとして、「夏」というワードが抽出された場合、コメント情報に「夏」を含む撮像情報が検索されることになる。
When the imaging information cannot be searched by the above-described processing of the user position information, the
このような歌詞ワードによる検索処理で、必要数を超える数の撮像情報を検索できたときは、各撮像情報に含まれる撮像日情報が示す撮像日時の早い順序で、必要数の各撮像情報を特定することになる。そして、各撮像情報が含む撮像日時情報が古いものから順に1位、2位、3位・・・というように撮像情報の順序を特定することを、カラオケプログラム19は規定する。
When the number of pieces of imaging information exceeding the required number can be searched in the search process using the lyrics word, the necessary number of pieces of imaging information are retrieved in the order of the imaging date and time indicated by the imaging date information included in each imaging information. Will be identified. Then, the
さらに、上述した歌詞ワードによる検索処理でも、撮像情報を検索できない場合、カラオケプログラム19は、カラオケ履歴情報を用いて図4に示す画像データベース21の中から撮像情報を検索することを規定している。具体的には、図7に示すカラオケ履歴データベース32の中から、カラオケを利用するユーザ情報として受信したユーザIDに対応付けられたカラオケ履歴情報に含まれる他のユーザIDを特定する。そして、特定した他のユーザIDを含む撮像情報を、図4に含まれる画像データベース21の中から必要数以上、検索することを、カラオケプログラム19は規定している。このような処理を行うことで、今回、ユーザが選択したカラオケ曲を以前に利用したユーザによる撮像画像に付帯した撮像情報を探し出せるようになる。
Further, if the image information cannot be searched even by the above-described search process using the lyric word, the
このようなカラオケ履歴情報に含まれる他のユーザIDによる検索処理で、必要数を越える撮像情報を検索できたときは、上記の歌詞ワードによる検索処理の場合と同様に、各撮像情報に含まれる撮像日情報が示す撮像日時の早い順序で、必要数の撮像情報を特定することになる。 In the search process with other user IDs included in such karaoke history information, when imaging information exceeding the required number can be searched, it is included in each imaging information as in the case of the search process with the above lyric words. The required number of pieces of imaging information is specified in the order of the imaging date and time indicated by the imaging date information.
以上のような各種検索処理でも撮像情報を検索できない場合、カラオケプログラム19は、最終的に図4の画像データベース21から、撮像日時情報が新しい撮像情報を、必要数だけ抽出することを規定し、抽出した各撮像情報を撮像日時の早い順序に合わせて、各撮像情報の順序を特定することになる。
If the imaging information cannot be searched even by the various search processes as described above, the
最後に、カラオケプログラム19は、各撮像情報の付帯した画像データを、各撮像情報の順序に並べて組み合わせることにより、カラオケ背景映像を生成することを規定している。
Finally, the
図9は、画像データA1〜A6を組み合わせて、カラオケ背景画像を生成する一例を示している。この図9に示すカラオケ曲は開始時間t0〜終了時間t6までの間に計6個の20秒ごとの時間帯に分かれており、第1時間帯(t0〜t1)から第6時間帯(t5〜t6)までに、それぞれ画像データA1〜A6が割り当てられる。第1の画像データA1は、付帯する撮像情報の順位が、上述した処理で1位と特定されたことから、第1時間帯(t0〜t1)に割り当てられている。以下、第2の画像データA2は、付帯する撮像情報の順位が2位であることから第2時間帯(t1〜t2)に割り当てられており、残りの画像データA3〜A6も同様に、付帯する撮像情報の順位がそれぞれ、3位、4位、5位、6位であることから、第3時間帯(t2〜t3)、第4時間帯(t3〜t4)、第5時間帯(t4〜t5)、第6時間帯(t5〜t6)にそれぞれ割り当てられている。 FIG. 9 shows an example of generating a karaoke background image by combining the image data A1 to A6. The karaoke tune shown in FIG. 9 is divided into a total of six time zones every 20 seconds from the start time t0 to the end time t6. From the first time zone (t0 to t1) to the sixth time zone (t5). To t6), image data A1 to A6 are allocated, respectively. The first image data A1 is assigned to the first time period (t0 to t1) because the rank of the incidental imaging information is identified as the first rank in the above-described processing. Hereinafter, the second image data A2 is assigned to the second time zone (t1 to t2) because the rank of the incidental imaging information is second, and the remaining image data A3 to A6 are similarly attached. Since the rankings of the imaging information to be performed are the third, fourth, fifth and sixth, respectively, the third time zone (t2 to t3), the fourth time zone (t3 to t4), and the fifth time zone (t4) To t5) and the sixth time zone (t5 to t6).
なお、画像データは、動画または静止画に関係なく、図9に示すような状況で組み合わされてカラオケ背景映像が生成される。そのため、カラオケ再生時に、各画像データは、割り当てられた時間帯だけ再生表示され、動画の場合、対応する時間帯の分だけ最初から再生されることになり、静止画の場合は、対応する時間帯の間、継続して同一の内容(静止画)が表示されたままになる。図9において、動画は画像データA1、A3、A4、A6であり、静止画は画像データA2、A5である。なお、システムの仕様によっては、動画のみ、または静止画のみでカラオケ背景映像を生成するようにしてもよい。 Note that image data is combined in a situation as shown in FIG. 9 to generate a karaoke background video regardless of whether it is a moving image or a still image. Therefore, at the time of karaoke playback, each image data is played back and displayed only for the assigned time zone, and in the case of a movie, it is played back from the beginning for the corresponding time zone. During the band, the same content (still image) continues to be displayed. In FIG. 9, the moving image is image data A1, A3, A4, and A6, and the still image is image data A2 and A5. Depending on the specifications of the system, the karaoke background video may be generated using only the moving image or only the still image.
このようにして生成されたカラオケ背景画像のデータは、ユーザが選択したカラオケ曲に応じた曲データおよび歌詞データと共に、カラオケ選曲情報の送信元になる端末(カラオケ端末2またはユーザの携帯電話機70等)へ送信することを、カラオケプログラム19は規定している。
The data of the karaoke background image generated in this way is a terminal (the
なお、カラオケプログラム19は、図7に示すカラオケ履歴データベース32を構築する処理も規定している。カラオケ履歴データベース32に格納されるカラオケ履歴情報は二種類あり、1つめのカラオケ履歴情報はカラオケ店舗のカラオケ端末2で利用される場合のカラオケ履歴情報であり、2つめのカラオケ履歴情報は、カラオケのサイトページ画面を介してユーザ端末へカラオケデータを送信する際に発生するカラオケ履歴情報である。
Note that the
カラオケ店舗のカラオケ端末2で利用される場合のカラオケ履歴情報は、カラオケデータ(曲、歌詞、背景映像のデータ)を送信する処理の際に判明している情報(ユーザID、曲名、アーティスト名、作詞家名、作曲家名、ジャンル、他のユーザID等)に、カラオケデータをカラオケ端末2へ送信してから、カラオケ端末2よりアップロードされてくる情報(歌唱時の音程、テンポ、歌唱の採点結果を示すポイント等)も含ませて、カラオケ履歴情報としてカラオケ履歴データベース32に格納することになる。一方、カラオケのサイトページ画面を介してユーザ端末へカラオケデータをダウンロードする際は、カラオケデータ(曲、歌詞、背景映像のデータ)を送信する処理の際に判明している情報(ユーザID、曲名、アーティスト名、作詞家名、作曲家名、ジャンル、他のユーザID等)をカラオケ履歴情報として、カラオケ履歴データベース32に格納することになる。
The karaoke history information when used in the
図10は、カラオケ店舗S内に設置されるカラオケ端末2の主要な内部構成を示している。カラオケ端末2は、カラオケデータ(曲、歌詞、背景映像のデータ)を再生出力するカラオケ専用機であり、カラオケに関する様々な制御処理を行う制御部2aを、内部バスを介して通信モジュール2b、メモリ2c、表示用インタフェース2d、赤外線インタフェース2e、音出力処理部2f、撮像ユニット2g、及び記憶部2hに接続した構成になっている。以下、カラオケ端末2の各部について説明する。
FIG. 10 shows a main internal configuration of the
通信インタフェース2bは、ネットワークNWを介して、サービスサーバ10との通信処理を行う。メモリ2cは、制御部2aの処理に伴って生じるデータ及びフォルダ等を一時的に記憶する。表示用インタフェース2dは、カラオケの歌詞および背景映像等を表示する表示パネル3に接続されるインタフェースであり、制御部2aの制御に従って各種内容を表示パネル3に表示するための処理を行う。赤外線インタフェース2eは、ユーザからの操作を受け付けるリモコン装置4が発する遠隔操作信号(操作信号を含む赤外光)を受け付けるものであり、受け付けた操作信号を制御部2aへ伝える処理を行う。
The
また、音出力処理部2fは、スピーカ5を接続しており、カラオケの曲データを再生出力するなどの処理を行ってスピーカ5からカラオケの画曲音を出力するものである。さらに、撮像ユニット2gは、撮像素子等を内蔵した動画の撮像手段であり、カラオケ店舗S内でカラオケを利用するユーザを撮像可能にしている。
The sound
記憶部2hは、プログラム6および位置情報7を予め記憶すると共に、撮像ユニット2gで撮像された撮像画像(画像データ)、およびサービスサーバ10から送信されてきた再生用のカラオケデータを記憶する。なお、プログラム6は、カラオケ端末2がユーザの操作に応じてユーザが所望するカラオケを利用できるようにするための制御部2aの処理を規定したものである。また、位置情報7は、カラオケ端末2の設置場所を緯度経度で示した位置情報(ユーザ位置情報に相当)であり、制御部2aの制御処理により、ユーザのカラオケ曲の選択に伴うカラオケ選曲情報と共にサービスサーバ10へ送信されるようになっている。
The storage unit 2h stores the
また、図11は、ウェブサイトのカラオケページ画面を介してカラオケを利用するユーザ端末の一例の携帯電話機70(外観は、図1参照)の主要な内部構成を示している。携帯電話機70は、基本的に図3で示す撮像用の携帯電話機50と同等な構成になっており、各種制御処理を行うCPU71に、通信モジュール72、RAM73、ROM74、表示用インタフェース75、操作用インタフェース76、GPS処理部77、音出力処理部78、および記憶部79等を内部バス80で接続した構成になっている。通信モジュール72、RAM73、ROM74、表示用インタフェース75、操作用インタフェース76、およびGPS処理部77は、図3に示す携帯電話機50と同等であるので、機能・処理などに関する説明は省略する。なお、表示用インタフェース75は、特に、カラオケ用のユーザ端末として携帯電話機70が機能するときは、カラオケの歌詞および背景映像等を表示パネル81に表示するための処理を行う。
FIG. 11 shows the main internal configuration of a mobile phone 70 (see FIG. 1 for the external appearance) as an example of a user terminal that uses karaoke via the karaoke page screen of the website. The
また、音出力処理部78は、スピーカ83と接続しており、カラオケの曲データを再生出力するなどの処理を行ってスピーカ83からカラオケの画曲音を出力するものである。記憶部79は、不揮発性メモリ等で構成されており、端末プログラムP2等を記憶すると共に、GPS処理部77が取得した位置情報(ユーザ位置情報に相当)およびサービスサーバ10から送信されてきた再生用のカラオケデータを記憶する。なお、端末プログラムPは、携帯電話機70に係る各種機能を実現するために、CPU71の制御処理内容を規定したソフトウェアプログラムであり、特に、カラオケ利用時には、カラオケデータを再生して、カラオケ背景画像および歌詞を表示パネル81に表示すると共に、カラオケの楽曲音をスピーカ83より出力するための処理を規定している。なお、図1では、カラオケ用のユーザ端末として1台の携帯電話機70のみを示しているが、実際には、複数のユーザ端末が、カラオケ送信システム1が提供するサービスを利用するものとする(図1は、説明を簡略化するため、1台のカラオケ利用用のユーザ端末を示したものである)。
The sound
次に、上述した構成のカラオケ送信システム1が行う一連の処理内容(カラオケ送信方法の内容)を、図12〜14に示す第1フローチャートから第3フローチャートに基づき整理して説明する。なお、第1フローチャートの処理の開始時点においては、登録ユーザが、上述したカラオケ端末2または携帯電話機70を用いて、サービスサーバ10へユーザ情報としてユーザID(およびパスワード)を送信しているものとする。
Next, a series of processing contents (contents of the karaoke transmission method) performed by the
まず、図12の第1フローチャートにおいて、サービスサーバ10のMPU11は、ユーザID(ユーザ情報)を受信したか否かを判断し(S1)、サービスIDを受信しない場合(S1:NO)、ユーザIDの受信待ちとなる。また、ユーザIDを受信した場合(S1:YES)、受信したユーザIDが図6に示すユーザデータベース31に格納されているか否かを判断し(S2)、受信したユーザIDが格納されていない場合(S2:NO)、サービスサーバ10は、ユーザIDが誤りの旨を、ユーザIDの送信元(カラオケ端末2または携帯電話機70)へ送信し(S3)、最初の段階(S1)へ戻る。
First, in the first flowchart of FIG. 12, the
また、ユーザIDが格納されていた場合(S2:YES)、次にサービスサーバ10は、カラオケ選曲情報(およびユーザ位置情報)を受信したか否かを判断し(S4)、カラオケ選曲情報等を受信しない場合(S4:NO)、受信待ちとなる。また、カラオケ選曲情報を受信した場合(S4:YES)、サービスサーバ10は、受信したカラオケ選曲情報が示すカラオケ曲を図4に示すカラオケデータベース26から特定して、そのカラオケ曲の曲時間を特定し(S5)、その曲時間より、カラオケ背景映像に必要な画像データの必要数を特定する(S6)。
If the user ID is stored (S2: YES), the
そして、図13の第2フローチャートに進み、サービスサーバ10は、S4の段階で、カラオケ選曲情報と共に、ユーザ位置情報を受信したか否かを判断し(S10)、ユーザ位置情報を受信しなかった場合(S10:NO)、S15の段階(歌詞ワードによる検索段階)へジャンプする。また、ユーザ位置情報を受信した場合(S10:YES)、サービスサーバ10は次に、図4に示す画像データベース21の中に、S6の段階で特定した必要数以上の数の撮像位置情報が格納されているか否かを判断する(S11)。必要数以上の数の撮像位置情報が格納されていない場合(S11:NO)、S15の段階(歌詞ワードによる検索段階)へジャンプする。
And it progresses to the 2nd flowchart of FIG. 13, and the
また、必要数以上の撮像位置情報が格納されていた場合(S11:YES)、GPS情報で、図4に示す画像データベース21の中から撮像情報を検索する(S12)。すなわち、この検索ではユーザ位置情報と各撮像位置情報を比較し、比較の結果、ユーザ位置情報が示すユーザ位置から半径20km以内の撮像位置情報を含む撮像情報が、必要数以上ヒットしたか否かを判断し(S13)、ヒットしなかった場合は(S13:NO)、S15の段階(歌詞ワードによる検索段階)へジャンプする。
If more than the required number of imaging position information is stored (S11: YES), the imaging information is searched from the
また、必要数以上の撮像情報がヒットした場合(S13:YES)、上述した比較結果に基づきヒットした各撮像情報が含む撮像位置情報がユーザ位置情報に近いものから順に、各撮像情報の順位を特定する(S14)。なお、このときの順位は必要数に応じた順位までを特定することになり、順位の特定後は、図14の第3フローチャートのS26の段階の前へジャンプする。 If more than the required number of imaging information is hit (S13: YES), the imaging position information included in each of the hit imaging information based on the comparison result described above is ranked in order from the closest to the user position information. Specify (S14). Note that the rank at this time is specified up to the rank according to the required number. After the rank is specified, the process jumps to the stage before step S26 in the third flowchart of FIG.
そして、上記の各処理でS15の段階(歌詞ワードによる検索段階)へジャンプした場合、図12の第1フローチャート中のS5の段階で特定したカラオケ曲の歌詞データに含まれる歌詞ワードに一致するコメント情報を含む撮像情報を図4に示す画像データベース21の中から検索する(S15)。そして、この検索で、必要数以上の撮像情報がヒットしたか否かを判断し(S16)、ヒットしなかった場合は(S16:NO)、図14の第3フローチャートの処理へジャンプする。
Then, when jumping to the step S15 (the search step by the lyric word) in each process described above, the comment that matches the lyric word included in the lyric data of the karaoke song specified in the step S5 in the first flowchart of FIG. The imaging information including the information is searched from the
また、必要数以上の撮像情報がヒットした場合(S16:YES)、ヒットした各撮像情報の中から、各撮像情報が含む撮像日時情報の新しい順に、必要数の撮像情報を特定し(S22)、その特定した各撮像情報の順位を、撮像日時情報の古いものほど若い順位になるように、各撮像情報の順位を特定し(S23)、図14の第3フローチャートのS26の段階の前へジャンプする。 If more than the required number of imaging information is hit (S16: YES), the required number of imaging information is identified from the hit imaging information in the order of the imaging date / time information included in each imaging information (S22). The order of the respective imaging information is specified so that the older the imaging date and time information is, the lower the order is (S23), and before the step of S26 in the third flowchart of FIG. Jump.
最後に、図14の第3フローチャートにおいて、サービスサーバ10は、図7に示すカラオケ履歴データベース32の中から、受信済みのユーザIDに対応付けられたカラオケ履歴情報に含まれる他のユーザIDを特定する(S20)。そして、特定した他のユーザIDを含む撮像情報を、サービスサーバ10は図4に含まれる画像データベース21の中から検索する(S21)。この検索で、必要数以上の撮像情報がヒットしたか否かを判断し(S22)、ヒットしなかった場合は(S22:NO)、撮像日時順位が新しい撮像情報を、画像データベースから必要数だけ特定する(S23)。また、必要数以上の撮像情報がヒットした場合(S22:YES)、ヒットした各撮像情報の中から、各撮像情報が含む撮像日時情報の新しい順に、必要数の撮像情報を特定する(S24)。
Finally, in the third flowchart of FIG. 14, the
そして、S23またはS24の段階で特定した撮像情報に対して、撮像日時情報の古いものほど若い順位になるように、各撮像情報の順位を特定し(S25)する。サービスサーバ10は、順位を特定した各撮像情報が付帯した画像データを画像データベース21から抽出し、S14、S18またはS25のいずれかの段階で特定された各撮像情報の順位に従って、各撮像情報が付帯した画像データを並べて組み合わせることによりカラオケ背景映像を生成する(S26)。それから、サービスサーバ10は、生成したカラオケ背景映像のデータを、カラオケの曲データおよび歌詞データと共に、カラオケデータとして、カラオケ選曲情報の送信元となる端末(カラオケ端末2または携帯電話機70)へ送信する(S27)。
Then, the order of the imaging information is specified so that the older the imaging date / time information is, the lower the order of the imaging information specified in S23 or S24 (S25). The
このようにカラオケデータが送信されると、端末でカラオケデータを再生すると、たとえば、図15(a)〜(c)に示すように、上述した処理で生成されたカラオケ背景映像を構成する画像データA1、A2、A3等(図9参照)および歌詞データD1、D2、D3に基づく歌詞が表示パネル81に、所定時間(たとえば、20秒)ごと順次表示される。そしてこのような表示状態でカラオケの曲データに応じた楽曲音も再生出力され、ユーザは、バリエーションに富んだカラオケ背景映像を楽しみながら、カラオケの歌唱を行えるようになる。なお、このような再生形態は、カラオケ端末2でも同様である。
When the karaoke data is transmitted in this way, when the karaoke data is reproduced on the terminal, for example, as shown in FIGS. 15 (a) to 15 (c), image data constituting the karaoke background video generated by the above-described processing. Lyrics based on A1, A2, A3, etc. (see FIG. 9) and lyrics data D1, D2, D3 are sequentially displayed on the
なお、本発明は上述した処理内容に限定されるものではなく、様々な変形例の適用が可能である。たとえば、上述したユーザ位置情報と撮像位置情報の比較により、撮像位置情報を含む撮像情報を検索する処理においては、ユーザ位置情報から特定の距離範囲内のものを検索することとは逆に、ユーザ位置情報から特定の距離以上離れているもの(例えば、半径100kmを越える範囲の撮像位置情報を含む撮像情報)を検索するようにしてもよい。このようにすれば、現在のユーザ位置から遠い場所で撮像された画像を組み合わせたカラオケ背景映像を見ながらカラオケを楽しめるようになる。 The present invention is not limited to the processing content described above, and various modifications can be applied. For example, in the process of searching for imaging information including the imaging position information by comparing the user position information and the imaging position information described above, the user is conversely searching for items within a specific distance range from the user position information. Information that is more than a specific distance away from the position information (for example, imaging information including imaging position information in a range exceeding a radius of 100 km) may be searched. In this way, it is possible to enjoy karaoke while watching a karaoke background video that combines images captured at a location far from the current user position.
また、ユーザ位置情報と撮像位置情報の比較により、最終的に撮像画像(画像データ)を特定した場合、各画像データの並べ方としては、ユーザ位置情報から近い順以外に、遠い順に並べてカラオケ背景映像を生成することも可能であり、さらには、検索した各撮像画像に関する撮像位置情報の相対的な位置関係(東西南北の位置関係)を特定し、撮像位置が北から南になるように、または東から西になるように(さらには、南から北、西から東等になるように)各撮像画像を並べることも可能である。このような並び方を行うことで、ユーザは、北から南(または、西から東、南から北、東から南など)へ移動しているような雰囲気の中でカラオケを楽しむことができる。 Further, when the captured image (image data) is finally specified by comparing the user position information and the captured position information, the arrangement of the respective image data is arranged in the order of distant from the user position information in order of distant karaoke background video. Furthermore, the relative positional relationship (positional relationship between the east, west, south, and north) of the imaging position information regarding each captured image is specified, and the imaging position is changed from north to south, or It is also possible to arrange the captured images so as to be from east to west (and further from south to north, west to east, etc.). By arranging in this way, the user can enjoy karaoke in an atmosphere that moves from north to south (or from west to east, from south to north, from east to south, etc.).
さらに、ユーザ位置情報と撮像位置情報の比較により、撮像情報を検索する処理においては、上述したように、ユーザ位置情報から特定の距離範囲内のものと、特定の距離範囲外のものの両方を含めて交互に抽出し、ユーザが現在いる場所から近い箇所での撮像画像および遠い箇所での撮像画像を織り交ぜて、カラオケ背景映像を生成することも可能である。 Furthermore, in the process of searching for imaging information by comparing the user position information and the imaging position information, as described above, both the information within the specific distance range and the information outside the specific distance range are included from the user position information. Alternatively, the karaoke background video can be generated by interweaving the captured image at a location close to the location where the user is currently located and the captured image at a location far from the location where the user is currently located.
さらにまた、ユーザ位置情報としては、上述したように、カラオケ端末2の位置情報または携帯電話機70で取得したGPS情報を用いる替わりに、図6に示すユーザデータベース31に格納されている居住地または出身地の情報を用いてもよい。これら居住地または出身地は漠然とした名称であるため、それらの地域を代表する場所(例えば、公の役所の位置など)を示す緯度経度を関連付けて、予めユーザデータベース31に格納しておき、カラオケ利用時にユーザIDがサービスサーバ10へ送信されてくると、そのユーザIDに対応付けられた地域または出身地の緯度経度情報をユーザデータベース装置30からサービスサーバ10は受信する。それにより、上述したユーザ位置情報の替わりに、ユーザデータベース装置30から受信した緯度経度の情報を、撮像位置情報と比較することにより、ユーザ位置情報と撮像位置情報との比較の場合と同様に様々なカラオケ背景映像を生成できる。
Furthermore, as the user location information, as described above, instead of using the location information of the
一方、ユーザ位置情報を用いずに、単に撮像位置情報のみで撮像画像を検索することも可能である。具体的には、ユーザの指示またはシステム自体の設定等で、特定の地域内に含まれる撮像位置情報を検索し、ヒットした撮像位置情報に応じた撮像画像を特定してカラオケ背景映像を生成する。特定の地域内としては、たとえば東北地方、関東地方、九州地方のような比較的大きな地域内、東京都、大阪府、神奈川県のように都道府県レベルの地域内、市町村レベルの比較的小さな地域内等をシステムの仕様に応じて適用できる。 On the other hand, it is also possible to search for a captured image using only the imaging position information without using the user position information. Specifically, the image capturing position information included in a specific area is searched based on the user's instruction or the setting of the system itself, and the captured image corresponding to the image capturing position information hit is specified to generate the karaoke background video. . Specific areas include relatively large areas such as Tohoku, Kanto, and Kyushu, prefectures such as Tokyo, Osaka, and Kanagawa, and relatively small areas such as municipalities. The inside can be applied according to the system specifications.
また、このように撮像位置情報のみで撮像画像を検索する他の例としては、一つの地域内だけでなく、複数の地域内から撮像位置情報を順に検索することも可能である。たとえば、日本国内の北海道地方、東北地方、関東地方、東海地方、近畿地方、山陰地方、九州地方の中からそれぞれ一つの撮像位置情報を検索し、ヒットした撮像位置情報に応じた撮像画像を、それぞれの撮像位置情報が北から南、南から北、東から西、または西から東へと並ぶような順序で組み合わせてカラオケ背景映像を生成する。なお、上述したように、撮像位置情報のみで撮像画像を検索する場合は、検索対象となる地域の緯度経度範囲を示すテーブル等をシステムが予め準備しておき、そのテーブル等で示される緯度経度範囲に、撮像位置情報に係る緯度経度が含まれるか否かを判別して、ヒットするか否かを決めるようにする。 In addition, as another example of searching for a captured image using only the imaging position information in this way, it is also possible to sequentially search for imaging position information not only within one area but also within a plurality of areas. For example, in the Hokkaido region, Tohoku region, Kanto region, Tokai region, Kinki region, Sanin region, Kyushu region in Japan, one image position information is searched for, and the captured image corresponding to the hit image position information The karaoke background video is generated by combining the respective imaging position information in order from north to south, south to north, east to west, or west to east. As described above, when searching for a captured image using only the imaging position information, the system prepares in advance a table indicating the latitude and longitude range of the region to be searched, and the latitude and longitude indicated by the table or the like. It is determined whether or not the range includes latitude and longitude related to the imaging position information, and whether or not to hit is determined.
また、ユーザデータベース31を用いる別の例としては、カラオケを利用するユーザの趣味を利用することも考えられる。具体的には、カラオケ利用時にユーザIDがサービスサーバ10へ送信されてくると、そのユーザIDに対応付けられた趣味を特定し、その特定した趣味と同じ趣味を格納する他のユーザIDをユーザデータベース31から特定し、その特定した他のユーザIDに対応付けられた撮像情報を、図4に示す画像データベース21から検索する。検索でヒットした撮像情報が付帯した画像データを用いて、カラオケ背景映像を生成すれば、カラオケを利用するユーザと同じ趣味の他のユーザが撮像した画像で生成されたカラオケ背景映像が表示される中で、カラオケを楽しむことができる。
Further, as another example of using the
さらに、歌詞ワードで検索処理を行う場合は、楽曲のサビの部分に含まれる歌詞の中のワードを用いて検索処理を行うようにしてもよい。このようにすれば、カラオケ曲の最も重要なサビ部分に合う内容のカラオケ背景映像を表示した状態で、ユーザはカラオケを楽しめるようになる。 Further, when performing a search process using lyrics words, the search process may be performed using words in the lyrics included in the chorus portion of the music. In this way, the user can enjoy karaoke while displaying a karaoke background image that matches the most important rust portion of the karaoke song.
さらにまた、歌詞ワードで検索処理を行う他の例としては、歌詞ワードに場所名が含まれる場合は、その場所名と撮像位置情報を比較し、その場所名に該当する撮像位置情報に応じた撮像画像を用いてカラオケ背景映像を生成してもよい。この場合は、様々な場所名に対応付けて、その場所名に応じた緯度経度を格納した場所名データベースをシステムが予め準備しておき、歌詞ワードに含まれるワード(場所名)と同じ場所名が、場所名データベースに含まれるか否かを先ず検索し、場所名がヒットしたときは、その場所名に対応付けられた緯度経度を場所名データベースから抽出する。そして、その抽出した緯度経度と撮像位置情報を比較し、一定の距離範囲に含まれる撮像位置情報を検索して、ヒットした撮像位置情報に応じた撮像情報を用いてカラオケ背景映像を生成する。このようにしてカラオケ背景映像を生成することで、歌詞ワードに含まれる場所名に応じた画像を含むカラオケ背景映像を表示した状態で、ユーザはカラオケを楽しめる。 Furthermore, as another example of performing a search process using a lyric word, when a place name is included in the lyric word, the place name and the imaging position information are compared, and according to the imaging position information corresponding to the place name. A karaoke background video may be generated using the captured image. In this case, the system prepares a place name database that stores the latitude and longitude corresponding to each place name in association with various place names, and the same place name as the word (place name) included in the lyrics word. Are first included in the location name database, and when the location name is hit, the latitude and longitude associated with the location name are extracted from the location name database. Then, the extracted latitude and longitude and the imaging position information are compared, the imaging position information included in a certain distance range is searched, and the karaoke background video is generated using the imaging information according to the hit imaging position information. By generating the karaoke background video in this way, the user can enjoy karaoke while displaying the karaoke background video including an image corresponding to the place name included in the lyrics word.
また、図7のカラオケ履歴データベース32を用いて検索を行う場合も、他に複数の検索処理を想定することができ、例えば、カラオケを利用するユーザIDに対応付けられた複数のカラオケ履歴情報の中で、同じ曲名の数が最も多いカラオケ履歴情報を特定し、その特定したカラオケ履歴情報に含まれる他のユーザIDで図4に示す画像データベース21を検索することで、前記他のユーザIDに係るユーザが撮像した画像でカラオケ背景映像を生成できる。この場合は、カラオケを利用するユーザと曲の好みが同じ他のユーザが撮像した画像からなるカラオケ背景映像を表示した状態でカラオケを楽しむことができる。
In addition, when performing a search using the
また、別の例としては、カラオケを利用するユーザIDに対応付けられた複数のカラオケ履歴情報の中で、同じアーティスト名の数が最も多いカラオケ履歴情報を特定し、その特定したカラオケ履歴情報に含まれる他のユーザIDで図4に示す画像データベース21を検索することで、前記他のユーザIDに係るユーザが撮像した画像でカラオケ背景映像を生成できる。この場合は、カラオケを利用するユーザとアーティストの好みが同じ他のユーザが撮像した画像からなるカラオケ背景映像を表示した状態でカラオケを楽しむことができる。
As another example, among the plurality of karaoke history information associated with the user ID that uses karaoke, the karaoke history information having the largest number of the same artist names is specified, and the specified karaoke history information is By searching the
さらに別の例としては、カラオケを利用するユーザIDに対応付けられた複数のカラオケ履歴情報の中で、ポイントが最も高いカラオケ履歴情報を特定し、その特定したカラオケ履歴情報に含まれる他のユーザIDで図4に示す画像データベース21を検索することで、上記と同様にカラオケを利用するユーザの得意な曲を歌唱する他のユーザが撮像した画像からなるカラオケ背景映像を表示した状態でカラオケを楽しむことができる。
As another example, among the plurality of karaoke history information associated with the user ID using karaoke, the karaoke history information having the highest point is specified, and the other users included in the specified karaoke history information By searching the
また、検索により、必要な数より多くの撮像情報がヒットしすぎた場合、ヒットした中から撮像情報の絞り込みを迅速に行うには、単に撮像日時情報が新しいものから順に必要数の撮像情報を特定する仕様にしてもよい。 Also, if more than the required number of imaging information is hit as a result of the search, in order to quickly narrow down the imaging information from among the hits, simply select the required number of imaging information in order from the latest imaging date and time information. The specification may be specified.
さらに、上述した図12〜図14に示す各フローチャートに基づく説明では、計3種類の検索処理(ユーザ位置情報を用いた検索、歌詞ワードを用いた検索、カラオケ履歴データベース32を利用した検索)を組合せていたが、カラオケ送信システム1の仕様を簡易化する場合は、全ての検索処理を適用する以外に、上述した検索処理の中の少なくともいずれか1つを行って、カラオケ背景映像を生成するようにしてもよい。また、検索した画像データを表示する時間は、上述した例の20秒に限定されるものではなく、システムの仕様、ユーザの好み等に応じて、20秒から適宜増減してもよい。
Furthermore, in the description based on each flowchart shown in FIGS. 12 to 14 described above, a total of three types of search processing (search using user position information, search using lyrics words, search using karaoke history database 32) are performed. In order to simplify the specifications of the
1 カラオケ送信システム
2 カラオケ端末
10 サービスサーバ
11 MPU
19 カラオケプログラム
21 画像データベース
26 カラオケデータベース
31 ユーザデータベース
32 カラオケ履歴データベース
50 携帯電話機(撮像用のユーザ端末)
70 携帯電話機(カラオケ用のユーザ端末)
NW ネットワーク
1
19
70 Mobile phone (user terminal for karaoke)
NW network
Claims (9)
前記ウェブサイトを通じてアップロードされる撮像に係る撮像情報が付帯した撮像画像を受信する受信手段と、
前記受信手段が受信した撮像画像を、付帯した撮像情報と共に格納する画像データベースと、
カラオケ選曲情報を受信した場合、受信したカラオケ選曲情報が示すカラオケ曲の曲時間から、カラオケ背景映像に必要な撮影画像の必要数を特定する必要数特定手段と、
ユーザ情報およびカラオケ選曲情報を受信した場合、前記画像データベースから、受信したユーザ情報またはカラオケ選曲情報に基づき複数の撮像情報を検索する撮像情報検索手段と、
前記撮像情報特定手段で検索された各々の撮像情報が付帯した複数の撮像画像より、前記必要数特定手段が特定した必要数の撮影画像を、前記画像データベースから抽出する画像抽出手段と、
前記画像抽出手段で抽出した複数の撮像画像を組み合わせてカラオケ背景映像を生成する背景映像生成手段と、
前記背景映像生成手段で生成したカラオケ背景映像、および受信したカラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ送信する手段と
を備えることを特徴とするカラオケ送信システム。 A website for providing image posting services and karaoke services to users on a network is provided, and a karaoke database storing karaoke song data is provided. User information relating to users who use karaoke and karaoke songs selected by the user A karaoke transmission system for transmitting karaoke song data corresponding to the karaoke song selection information extracted from the karaoke database to a transmission source of the karaoke song selection information based on receiving the karaoke song selection information shown through the website. And
Receiving means for receiving a captured image accompanied by imaging information relating to imaging uploaded through the website;
An image database for storing the captured image received by the receiving unit together with the attached imaging information;
When receiving the karaoke song selection information, from the song time of the karaoke song indicated by the received karaoke song selection information, a necessary number specifying means for specifying the required number of photographed images necessary for the karaoke background video,
When receiving user information and karaoke music selection information, imaging information search means for searching a plurality of imaging information based on the received user information or karaoke music selection information from the image database;
Image extracting means for extracting the required number of captured images specified by the required number specifying means from the image database from a plurality of captured images associated with the respective imaging information searched by the imaging information specifying means;
Background video generation means for generating a karaoke background video by combining a plurality of captured images extracted by the image extraction means;
A karaoke transmission system comprising: means for transmitting karaoke background video generated by the background video generation means and karaoke song data corresponding to the received karaoke song selection information to a transmission source of the karaoke song selection information.
前記撮像情報検索手段は、前記撮像日時情報が示す撮像日時の早い順序で撮像情報を検索する請求項1に記載のカラオケ送信システム。 The imaging information includes imaging date and time information indicating imaging date and time,
2. The karaoke transmission system according to claim 1, wherein the imaging information search unit searches for imaging information in an early order of imaging date and time indicated by the imaging date and time information.
前記撮像情報には、撮像画像の撮像位置に係る撮像位置情報が含まれており、
前記ユーザ位置情報および前記撮像位置情報の比較を行う位置比較手段を備え、
前記撮像情報検索手段は、前記位置比較手段の比較結果に基づき撮像情報を検索するようにしてある請求項1又は請求項2に記載のカラオケ送信システム。 The user information includes user position information related to the user position,
The imaging information includes imaging position information related to the imaging position of the captured image,
A position comparison means for comparing the user position information and the imaging position information;
3. The karaoke transmission system according to claim 1, wherein the imaging information search unit searches for imaging information based on a comparison result of the position comparison unit.
前記撮像情報には、撮像画像に応じたコメントを示すコメント情報が含まれており、
前記カラオケ選曲情報を受信した場合、受信したカラオケ選曲情報に応じたカラオケ曲の歌詞データを前記カラオケデータベースから抽出する歌詞抽出手段を備え、
前記撮像情報検索手段は、前記歌詞抽出手段が抽出した歌詞データに応じたコメント情報を含む撮像情報を検索するようにしてある請求項1又は請求項2に記載のカラオケ送信システム。 The karaoke database includes lyric data of karaoke songs,
The imaging information includes comment information indicating a comment corresponding to the captured image,
When receiving the karaoke song selection information, comprising lyric extraction means for extracting karaoke song lyrics data from the karaoke database according to the received karaoke song selection information,
3. The karaoke transmission system according to claim 1, wherein the imaging information search unit searches for imaging information including comment information corresponding to the lyrics data extracted by the lyrics extraction unit.
ユーザがカラオケを利用した履歴に応じた情報を示すカラオケ履歴情報を、ユーザ識別情報ごとに対応付けて格納したカラオケ履歴データベースと、
前記ユーザ情報を受信した場合、前記カラオケ履歴データベースから、受信したユーザ識別情報に含まれるユーザ識別情報に対応付けられたカラオケ履歴情報を抽出する履歴情報抽出手段と
を備え、
前記撮像情報検索手段は、前記履歴情報抽出手段が抽出したカラオケ履歴情報に応じた撮像情報を検索するようにしてある請求項1又は請求項2に記載のカラオケ送信システム。 The user information includes user identification information for user identification using karaoke,
A karaoke history database in which karaoke history information indicating information corresponding to a history of the use of karaoke by a user is stored in association with each user identification information;
When receiving the user information, the karaoke history database comprises history information extraction means for extracting karaoke history information associated with the user identification information included in the received user identification information,
3. The karaoke transmission system according to claim 1, wherein the imaging information search unit searches for imaging information corresponding to the karaoke history information extracted by the history information extraction unit.
前記撮像情報には、撮像画像の撮像位置に係る撮像位置情報が含まれており、
前記ユーザ位置情報および前記撮像位置情報の比較を行う位置比較手段と、
前記位置比較手段の比較結果に基づき、前記撮像情報検索手段が検索した複数の撮像情報の順序を特定する順序特定手段と
を備え、
前記背景映像生成手段は、前記順序特定手段が特定した撮像情報の順序で複数の撮像画像を組み合わせてカラオケ背景映像を生成する請求項1乃至請求項5のいずれか1項に記載のカラオケ送信システム。 The user information includes user position information related to the user position,
The imaging information includes imaging position information related to the imaging position of the captured image,
Position comparison means for comparing the user position information and the imaging position information;
Order specifying means for specifying the order of a plurality of imaging information searched by the imaging information searching means based on the comparison result of the position comparing means; and
The karaoke transmission system according to any one of claims 1 to 5, wherein the background video generation unit generates a karaoke background video by combining a plurality of captured images in the order of the imaging information specified by the order specifying unit. .
前記背景映像生成手段は、前記撮像日時情報が示す撮像日時の早い順または遅い順で複数の撮像画像を組み合わせてカラオケ背景映像を生成する請求項1乃至請求項5のいずれか1項に記載のカラオケ送信システム。 The imaging information includes imaging date and time information indicating imaging date and time,
6. The background video generation unit according to claim 1, wherein the background video generation unit generates a karaoke background video by combining a plurality of captured images in order of early or late imaging date and time indicated by the imaging date and time information. Karaoke transmission system.
前記ウェブサイトを通じてアップロードされる撮像に係る撮像情報が付帯した撮像画像を受信するステップと、
受信した撮像画像を、付帯した撮像情報と共に画像データベースに格納するステップと、
カラオケ選曲情報を受信した場合、受信したカラオケ選曲情報が示すカラオケ曲の曲時間から、カラオケ背景映像に必要な撮影画像の必要数を特定するステップと、
ユーザ情報およびカラオケ選曲情報を受信した場合、前記画像データベースから、受信したユーザ情報またはカラオケ選曲情報に基づき複数の撮像情報を検索するステップと、
検索した各々の撮像情報が付帯した複数の撮像画像より、特定した必要数の撮影画像を前記画像データベースから抽出するステップと、
抽出した複数の撮像画像を組み合わせてカラオケ背景映像を生成するステップと、
生成したカラオケ背景映像、および受信したカラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ送信するステップと
を備えることを特徴とするカラオケ送信方法。 A karaoke transmission system provided with a karaoke database that stores karaoke song data and a user information and a user selection related to a user who uses karaoke, while establishing a website for providing users with image posting services and karaoke services on the network Karaoke song data corresponding to the karaoke song selection information extracted from the karaoke database is transmitted to the transmission source of the karaoke song selection information based on receiving the karaoke song selection information indicating the karaoke song played. A karaoke transmission method,
Receiving a captured image accompanied by imaging information related to imaging uploaded through the website;
Storing the received captured image in an image database together with accompanying imaging information;
When the karaoke song selection information is received, from the song time of the karaoke song indicated by the received karaoke song selection information, the step of specifying the required number of photographed images required for the karaoke background video;
When receiving user information and karaoke song selection information, searching the plurality of imaging information based on the received user information or karaoke song selection information from the image database;
Extracting a specified required number of captured images from the image database from a plurality of captured images associated with each retrieved imaging information;
Generating a karaoke background video by combining a plurality of extracted captured images;
Transmitting the generated karaoke background video and karaoke song data corresponding to the received karaoke song selection information to a transmission source of the karaoke song selection information.
前記コンピュータを、
前記ウェブサイトを通じてアップロードされる撮像に係る撮像情報が付帯した撮像画像を、前記通信手段を介して受信する処理を行う手段と、
受信した撮像画像を、付帯した撮像情報と共に画像データベースに格納する処理を行う手段と、
カラオケ選曲情報を受信した場合、受信したカラオケ選曲情報が示すカラオケ曲の曲時間から、カラオケ背景映像に必要な撮影画像の必要数を特定する処理を行う手段と、
ユーザ情報およびカラオケ選曲情報を受信した場合、前記画像データベースから、受信したユーザ情報またはカラオケ選曲情報に基づき複数の撮像情報を検索する処理を行う手段と、
検索した各々の撮像情報が付帯した複数の撮像画像より、特定した必要数の撮影画像を前記画像データベースから抽出する処理を行う手段と、
抽出した複数の撮像画像を組み合わせてカラオケ背景映像を生成する処理を行う手段と、
生成したカラオケ背景映像、および受信したカラオケ選曲情報に応じたカラオケ曲データを、前記カラオケ選曲情報の送信元へ前記通信手段を介して送信する処理を行う手段として機能させることを特徴とするコンピュータプログラム。 A website for providing an image posting service and a karaoke service to a user on a network, and karaoke song selection information indicating user information relating to a user who uses karaoke and a karaoke song selected by the user on a computer having communication means Karaoke song data corresponding to the karaoke song selection information extracted from the karaoke database storing karaoke song data is transmitted to the sender of the karaoke song selection information based on A computer program for
The computer,
Means for performing a process of receiving, via the communication means, a captured image attached with imaging information related to imaging uploaded through the website;
Means for storing the received captured image in the image database together with the attached imaging information;
When the karaoke song selection information is received, from the song time of the karaoke song indicated by the received karaoke song selection information, means for performing processing for specifying the required number of photographed images necessary for the karaoke background video,
When receiving user information and karaoke song selection information, means for performing a process of searching a plurality of imaging information based on the received user information or karaoke song selection information from the image database;
Means for performing a process of extracting a specified required number of captured images from the image database from a plurality of captured images associated with each of the searched imaging information;
Means for performing a process of generating a karaoke background video by combining a plurality of extracted images;
A computer program that functions as means for performing processing for transmitting generated karaoke background video and karaoke song data corresponding to received karaoke song selection information to a transmission source of the karaoke song selection information via the communication means. .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009225357A JP5431094B2 (en) | 2009-09-29 | 2009-09-29 | Karaoke transmission system, karaoke transmission method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009225357A JP5431094B2 (en) | 2009-09-29 | 2009-09-29 | Karaoke transmission system, karaoke transmission method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011075701A JP2011075701A (en) | 2011-04-14 |
JP5431094B2 true JP5431094B2 (en) | 2014-03-05 |
Family
ID=44019775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009225357A Active JP5431094B2 (en) | 2009-09-29 | 2009-09-29 | Karaoke transmission system, karaoke transmission method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5431094B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5615240B2 (en) * | 2011-07-26 | 2014-10-29 | 株式会社エクシング | Karaoke post video selection device and karaoke post video selection program |
JP6159989B2 (en) | 2013-06-26 | 2017-07-12 | Kddi株式会社 | Scenario generation system, scenario generation method, and scenario generation program |
JP6317609B2 (en) * | 2014-03-31 | 2018-04-25 | 株式会社エクシング | COMMUNICATION TERMINAL DEVICE, SERVER DEVICE, PROGRAM, DATA PROVIDING METHOD, AND KARAOKE SYSTEM |
JP6601615B2 (en) * | 2015-10-19 | 2019-11-06 | ブラザー工業株式会社 | Movie processing system, movie processing program, and portable terminal |
JP6679389B2 (en) * | 2016-03-31 | 2020-04-15 | 株式会社エクシング | Karaoke device and program |
JP7068955B2 (en) * | 2018-07-30 | 2022-05-17 | 株式会社第一興商 | Karaoke system |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3452788B2 (en) * | 1998-03-10 | 2003-09-29 | 株式会社第一興商 | Karaoke device that displays photographic film video on the background of lyrics |
JP2002049627A (en) * | 2000-08-02 | 2002-02-15 | Yamaha Corp | Automatic search system for content |
JP3775271B2 (en) * | 2001-09-20 | 2006-05-17 | ヤマハ株式会社 | Automatic performance device, information distribution server device, and program used therefor |
KR20070114918A (en) * | 2006-05-30 | 2007-12-05 | 주식회사 엔터기술 | Music performance device of microphone type with background image selecting function |
JP2008191834A (en) * | 2007-02-02 | 2008-08-21 | Fumie Nakagawa | Terminal system |
JP4963261B2 (en) * | 2007-04-27 | 2012-06-27 | 株式会社第一興商 | Image-compatible music recommendation presentation system |
JP4993488B2 (en) * | 2007-06-27 | 2012-08-08 | 株式会社第一興商 | Image display system for music |
-
2009
- 2009-09-29 JP JP2009225357A patent/JP5431094B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011075701A (en) | 2011-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN102640147B (en) | Systems and methods for providing media pools in a communications network | |
JP5431094B2 (en) | Karaoke transmission system, karaoke transmission method, and computer program | |
JP2007164078A (en) | Music playback device and music information distribution server | |
JP2007011928A (en) | Content provision system, content provision device, content distribution server, content reception terminal and content provision method | |
WO2009075771A1 (en) | System and method for creating metadata | |
JP5964722B2 (en) | Karaoke system | |
JP2006164229A (en) | Information reproduction apparatus, control method for the same, computer program, and computer-readable storage medium | |
KR101924205B1 (en) | Karaoke system and management method thereof | |
JP4963269B2 (en) | Image-compatible music recommendation presentation system | |
JP2005242399A (en) | Push type contents distribution service system, method and server | |
CN103236966A (en) | Method and system for enabling client sides playing same files to communicate | |
JP2003302983A (en) | Method for using personal mobile browser terminal as music selecting and booking tool of karaoke machine, karaoke user assisting server for implementing the method, and karaoke machine | |
JP4008829B2 (en) | Karaoke song selection system, karaoke remote control device, karaoke device, song selection mediation device | |
JP5461354B2 (en) | Video information distribution system | |
KR101017939B1 (en) | Digital Contents Display System and Digital Contents Display Means Generating Method | |
JP2007088967A (en) | Content supplying system and content reproducing terminal | |
JP6144477B2 (en) | Collaboration singing video display system | |
KR101054904B1 (en) | System and method for forming music map | |
JP4479885B2 (en) | Reproduction data update system and reproduction data update method | |
JP2009239523A (en) | Motion picture content providing system | |
JP2009063854A (en) | Digital content information distribution system, and control method and control program for the same | |
JP2018195980A (en) | Electronic device and method | |
JP2008176126A (en) | Communication terminal and content list management system | |
JP2011075700A (en) | Program guide information providing system, program guide information providing method and computer program | |
JP2004342044A (en) | Customizing system for portable terminal, management server, portable terminal and program for portable terminal |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111130 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130401 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130524 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130626 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130813 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130910 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131127 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131204 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 5431094 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |