JPWO2019012784A1 - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JPWO2019012784A1
JPWO2019012784A1 JP2019528946A JP2019528946A JPWO2019012784A1 JP WO2019012784 A1 JPWO2019012784 A1 JP WO2019012784A1 JP 2019528946 A JP2019528946 A JP 2019528946A JP 2019528946 A JP2019528946 A JP 2019528946A JP WO2019012784 A1 JPWO2019012784 A1 JP WO2019012784A1
Authority
JP
Japan
Prior art keywords
music
user
information processing
preference information
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019528946A
Other languages
English (en)
Other versions
JP7136099B2 (ja
Inventor
貴宏 佐々木
貴宏 佐々木
北野　宏明
宏明 北野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2019012784A1 publication Critical patent/JPWO2019012784A1/ja
Application granted granted Critical
Publication of JP7136099B2 publication Critical patent/JP7136099B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44222—Analytics of user selections, e.g. selection of programs or purchase activity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668—Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Theoretical Computer Science (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Computer Graphics (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

【課題】コンテンツのパーツに対するユーザ評価を分析し、より充実したコンテンツ推薦を実現し得る嗜好情報を生成することが可能な情報処理装置、情報処理方法、およびプログラムを提供する。【解決手段】メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御する制御部を備える、情報処理装置。【選択図】図１

Description

本開示は、情報処理装置、情報処理方法、およびプログラムに関する。
近年、例えば音楽や動画像など様々なメディアコンテンツがデジタルコンテンツとして利用されるようになっている。ユーザが複数のコンテンツの中から所望のコンテンツを選択する場合には、例えば、コンテンツの内容を示したリストの中から目視で選択する方法、および、デジタルコンテンツに付帯したメタデータを用いて検索する方法などがある。
また、下記特許文献１に記載されているように、ユーザの嗜好情報や履歴情報などを用いて、ユーザに適したコンテンツを推薦する方法がある。
特開２０１５−００８０１４号公報
しかしながら、ユーザが好むメディアコンテンツ（本明細書では、単に「コンテンツ」とも称す）の中にも一部好まない部分があったり、また、ユーザの視聴時における状況によって好む場合と好まない場合がある。従来技術では、ユーザの嗜好傾向を示す嗜好情報として、コンテンツやコンテンツのカテゴリでの好み、視聴履歴（何回視聴したか等）といった情報しか把握されておらず、具体的な視聴時のユーザ状況や、コンテンツの部分毎の好みまでは参考にされていなかった。
そこで、本開示では、コンテンツのパーツに対するユーザ評価を分析し、より充実したコンテンツ推薦を実現し得る嗜好情報を生成することが可能な情報処理装置、情報処理方法、およびプログラムを提案する。
本開示によれば、メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御する制御部を備える、情報処理装置を提案する。
本開示によれば、プロセッサが、メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御することを含む、情報処理方法を提案する。
本開示によれば、コンピュータを、メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御する制御部として機能させるための、プログラムを提案する。
以上説明したように本開示によれば、コンテンツのパーツに対するユーザ評価を分析し、より充実したコンテンツ推薦を実現し得る嗜好情報を生成することが可能となる。
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
本開示の一実施形態による情報処理システムの概要を説明するための図である。 本実施形態による情報処理装置の構成の一例を示す図である。 本実施形態による音楽推薦システムの動作処理を示すシーケンス図である。 本実施形態の情報処理装置による嗜好情報の分析処理を示すフローチャートである。 本実施形態による推薦楽曲リストの表示画面例である。 本実施形態による推薦楽曲リストの他の表示画面例である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、説明は以下の順序で行うものとする。
１．本開示の一実施形態による情報処理システムの概要
２．構成
３．動作処理
４．表示画面例
５．補足
６．まとめ
＜＜１．本開示の一実施形態による情報処理システムの概要＞＞
図１は、本開示の一実施形態による情報処理システムの概要を説明するための図である。図１に示すように、本実施形態による情報処理システムは、クライアント端末１を含み、ユーザは、クライアント端末１により音楽配信装置３から配信された音楽を視聴することができる。クライアント端末１は、ネットワークを介して音楽配信装置３や情報処理装置２と通信接続し、データの送受信を行うことが可能である。
クライアント端末１は、例えば音楽配信装置３から音楽データを取得すると共に再生を行うストリーミング再生を行ってもよい。クライアント端末１は、例えばスマートフォン、携帯電話端末、タブレット端末、ＰＣ（パーソナルコンピュータ）、ウェアラブル装置（ＨＭＤ、スマートアイグラス、スマートウォッチ、スマートバンド、スマートネック、ネック型スピーカ、スマートイヤホン、イヤリング型スピーカ、イヤカフ型スピーカ等）、据え置き型スピーカ装置、ヘッドホン装置等が想定される。
また、ユーザは、音楽推薦装置６を利用し、自動で選択された音楽を音楽配信装置３から取得して視聴することも可能である。音楽推薦装置６は、例えばユーザ属性やユーザ個人の嗜好に応じて音楽の推薦を行うことが可能である。推薦する音楽は、例えば各レコード会社から使用許諾を得た音楽情報が格納されている各種音楽データＤＢ５から選択してもよい。
ここで、従来の音楽推薦システムでは、ユーザが何時どのような音楽を聞いたかの履歴を取ることは可能であったが、さらにユーザがどのような状況において音楽を聞いているのかといった情報は十分に取得出来ていなかった。
例えば、音楽を視聴している時間帯のみ統計を取っても、ユーザが夜にリビングでよく聞く音楽と、ユーザが夜にランニングをしながら聞く音楽とでは、好みが異なる場合があるが、従来はこのような視聴時のユーザ状況（ユーザ行動）が取得出来ておらず、ユーザの嗜好情報の粒度が大きく、最適な音楽推薦を十分に行うことが出来ていなかった。
そこで、本実施形態では、クライアント端末１においてユーザが音楽を視聴している際のユーザ状況（行動）を各種センサにより取得し、情報処理装置２（分析装置）にセンサデータを送信し、情報処理装置２において、より精度の高い嗜好情報の分析を行うことを可能とする。
具体的には、情報処理装置２は、取得した各種センサデータに基づいて、音楽視聴時におけるユーザ行動を解析して音楽データのパーツ毎のユーザ評価を取得し、嗜好情報としてデータベース化する。クライアント端末１からは、センサデータと共に、視聴した音楽に関する情報（タイトル、楽曲データ、楽曲データの一部等）が情報処理装置２に送信されてもよく、情報処理装置２は、音楽パーツの解析を行い得る。
上述したように、ユーザが好む音楽の中にも一部好まない部分（メロディ、リズム、ハーモニー等）があるため、音楽データの各構成要素であるこれらのメロディ、リズム、ハーモニー等のパーツ毎にユーザの好みを解析し、パーツに対するユーザの好みを嗜好情報として生成することで、より精度の高い音楽推薦を実現することができる。また、かかる嗜好情報には、ユーザ状況も対応付けられている。これにより、例えば夜リビングでリラックスしている時に好む音楽のメロディ、リズム、ハーモニー等と、夜ランニングしている時に好む音楽のメロディ、リズム、ハーモニー等のより粒度の細かい嗜好情報を生成することができる。
このように生成した嗜好情報に基づいて音楽推薦装置６により音楽推薦を行うことで、推薦の精度を上げること（音楽推薦の最適化）ができる。すなわち、音楽推薦装置６は、情報処理装置２により生成されたユーザの嗜好情報に基づいて機械学習を行い、ユーザの状況に応じた最適な音楽を推薦することを可能とする。なお本実施形態による音楽推薦装置６は、広告をユーザに提示する機能を有してもよく、上述したようなより粒度の細かい嗜好情報に基づいて（機械学習を行い）最適な広告を提示し、広告効果を上げること（広告の最適化）が可能となる。
また、音楽推薦装置６は、音楽を自動的に作曲する自動作曲装置４により生成された音楽データも同様に推薦対象としてもよい。自動作曲装置４による作曲アルゴリズムについては特に限定しないが、例えば指定された音楽のテーマ、ジャンル、所定のパーツ（メロディ、リズム、ハーモニー等）のタイプに従って、パーツを組み合わせて、適宜修正を行い、楽曲を生成し得る。かかる自動作曲装置４は、情報処理装置２により生成された嗜好情報、すなわち音楽のパーツに対するユーザ評価と対応するユーザ状況を少なくとも含む嗜好情報に基づいて、ユーザの状況に応じた適切な音楽を作曲することが可能である。自動作曲された音楽データは、各種音楽データＤＢ５に蓄積されてもよいし、ユーザ状況に応じてリアルタイムで生成し、音楽推薦装置６に出力してもよい。
以上、本開示の一実施形態による情報処理システムの概要について説明した。なお、図１に示す情報処理装置２、音楽配信装置３、自動作曲装置４、各種音楽データＤＢ５、音楽推薦装置６は、ネットワーク上のサーバによりそれぞれ実現されてもよい。また、複数の装置を１のサーバにより実現してもよい。例えば、情報処理装置２、自動作曲装置４、および音楽推薦装置６の機能を有する音楽推薦サーバを構築してもよい。続いて、本実施形態による情報処理システムに含まれる情報処理装置２の具体的な構成について図面を参照して説明する。
＜＜２．構成＞＞
図２は、本実施形態による情報処理装置２の構成の一例を示すブロック図である。図２に示すように、情報処理装置２は、制御部２０、通信部２１、および記憶部２２を有する。
制御部２０は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置２内の動作全般を制御する。制御部２０は、例えばＣＰＵ（Central Processing Unit）、マイクロプロセッサ等の電子回路によって実現される。また、制御部２０は、使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、及び適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）を含んでいてもよい。
また、本実施形態による制御部２０は、行動解析部２０１、音楽パーツ解析部２０２、および音楽嗜好分析部２０３としても機能する。
行動解析部２０１は、コンテンツ（本実施形態では一例として音楽）視聴時におけるユーザの各種センサデータに基づいて、視聴時におけるユーザ行動を解析する。ここで、視聴時におけるユーザの各種センサデータとは、位置情報、動き情報（加速度センサデータ、ジャイロセンサデータ、地磁気センサデータ等）、生体情報（脈拍、心拍、静脈、発汗、血圧、体温、呼吸、脳波、筋電、指紋、静紋等）、ユーザ発話情報、ジェスチャー情報、撮像画像、環境情報（気温、照度、雨、風、周辺音等）、日時、季節、視聴操作情報（再生、停止、スキップ等）等が想定される。
位置情報は、コンテンツ視聴時におけるユーザの場所であって、屋内、屋外、部屋のどこにいたか、屋外の位置（緯度経度）等が想定される。位置情報は、位置測位部により検知され得る。ここで、位置測位部は、外部からの取得信号に基づいて現在位置を検知する機能を有する。具体的には、例えば位置測位部は、ＧＮＳＳ（Global Navigation Satellite System）測位部により実現され、人工衛星からの電波を受信して、現在位置を検知し、検知した位置情報を出力する。また、位置測位部は、ＧＮＳＳの他、例えばＷｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、携帯電話・ＰＨＳ・スマートフォン等との送受信、または近距離通信等により位置を検知するものであってもよい。
これらのセンサデータは、クライアント装置１に設けられた各種センサ（位置測位部、モーションセンサ（加速度センサ、地磁気センサ）、生体センサ、カメラ、マイクロホン、環境センサ等）、操作検出部（タッチセンサ、圧力センサ、近接センサ、ボタン、スイッチ、およびレバー等）により取得されてもよいし、ユーザ周辺に設置された装置（据え置きスピーカー、監視カメラ等）により取得されたものであってもよい。また、情報処理装置２が取得するセンサデータは、各センサにより検知したセンサデータそのままであってもよいし、１以上のセンサデータに基づいて解析されたデータ等の加工データであってもよい。
行動解析部２０１は、音楽視聴時にユーザがどこに、誰と居て、何をしていたか、時間帯、天候はどうであったか、また、視聴時の感情の変化（感情は、生体センサデータ、発話音声、または動き等から推測し得る）はどうであったか、また、どのような曲をどこまで（どの音節まで）再生したか、どの曲を何回聞いたか等、音楽の視聴に関する様々なユーザの状況を、センサデータ等から解析する。これらの行動解析は、１曲の音楽に対して１つの解析結果が出力されるのではなく、１曲の音楽に対する時系列の解析結果（ユーザ反応）が出力される。すなわち、例えばどの音節箇所でどのような行動を取っていたか、若しくは、再生何秒後にどのような行動を取っていたか等が解析され得る。行動解析部２０１による解析結果は、ユーザ行動情報ＤＢ２２１に格納される。なおユーザ行動情報ＤＢ２２１には、音楽視聴時におけるユーザの各種センサデータも格納され得る。
音楽パーツ解析部２０２は、ユーザが視聴した音楽の音楽パーツの解析を行う。すなわち、音楽パーツ解析部２０２は、ユーザが視聴した音楽の音楽関連情報（タイトル、楽曲データ、楽曲データの一部等）に基づいて、音楽の「パーツ」、より具体的には、１以上の音節から成るメロディ、リズム、ハーモニーといった、音楽の構成要素を解析する。
音楽嗜好分析部２０３は、行動解析部２０１による解析結果と、音楽パーツ解析部２０２による解析結果に基づいて、コンテンツの時系列で区切られるパーツ（すなわち音楽パーツ；メロディ、リズム、ハーモニー等）に対するユーザ評価（状況によって異なるポジティブ／ネガティブ評価）を生成する。すなわち、どのような状況の場合に好む音楽パーツであるかといった、ユーザ評価にユーザ状況（キッチンで料理をしている、ダイニングでリラックスしている、ランニングしている、通勤途中等）が対応付けられたものが嗜好情報として生成される。かかる音楽嗜好分析は、視聴した音楽の１曲毎に行われるが、さらに、ユーザによる多数の視聴音楽における各評価結果に基づいて、同一または類似したパーツに対するユーザ評価を生成してもよい。この場合、音楽嗜好分析部２０３は、例えばディープラーニングを用いた機械学習によりユーザ評価を行うことも可能である。これにより、音楽パーツへのラベル付け（音楽に対する時系列でのラベル付け）を行うことが可能となる。また、音楽嗜好分析部２０３は、感情推定、例えば脳波による感情推定（楽しい、悲しい、幸せ、嬉しい、つらい等）に基づいて、楽曲のパーツに対してユーザの感情の変化をタグ付けすることも可能である。このような音楽嗜好分析部２０３による各分析結果は、ユーザの音楽に関する嗜好情報として音楽嗜好情報ＤＢ２２２に格納される。
また、音楽嗜好分析部２０３は、多数のユーザの音楽嗜好情報を用いて、ユーザの特徴に基づいてグループ分けしたグループ毎における音楽嗜好情報を分析することも可能である。ユーザの特徴とは、所謂属性であって、ユーザの年齢、年代、性別、出身地、国籍、人種、職業、行動パターン、生活スタイル、趣味、および嗜好等が想定される。多数のユーザの音楽嗜好情報に基づいて生成したグループ分けした嗜好情報を用いることで、より多くのユーザの傾向に応じてユーザの状況および好みに合致した音楽を推薦することができる。
なお本実施形態による音楽嗜好分析部２０３は、音楽パーツ毎に対するユーザ評価のみならず、音楽毎における音楽ジャンル、作曲家、歌手等に対するユーザ評価（ポジティブ／ネガティブ）も当然に分析することが可能である。
（通信部２１）
通信部２１は、有線または無線により外部装置と接続し、外部装置とデータの送受信を行う。通信部２１は、例えば有線／無線ＬＡＮ（Local Area Network）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近接無線通信、携帯通信網（ＬＴＥ（Long Term Evolution）、３Ｇ（第３世代の移動体通信方式））等により外部装置と通信接続し得る。
例えば通信部２１は、ネットワークを介してクライアント端末１からセンサデータおよび音楽関連情報（タイトル、楽曲データ、楽曲データの一部等）を受信する。また、通信部２１は、分析した音楽嗜好情報を自動作曲装置４や音楽推薦装置６からの要求に応じて送信することも可能である。
（記憶部２２）
記憶部２２は、制御部２０の処理に用いられるプログラムや演算パラメータ等を記憶するＲＯＭ（Read Only Memory）、および適宜変化するパラメータ等を一時記憶するＲＡＭ（Random Access Memory）により実現される。
本実施形態による記憶部２２は、ユーザ行動情報ＤＢ（データベース）２２１および音楽嗜好情報ＤＢ２２２を格納する。ユーザ行動情報ＤＢ２２１には、上述したように、行動解析部２０１による各ユーザの解析結果が格納される。また、ユーザ行動情報ＤＢ２２１には、音楽視聴時における各ユーザの各種センサデータも格納される。
音楽嗜好情報ＤＢ２２２には、音楽嗜好分析部２０３による分析結果が格納される。かかる分析結果は、各ユーザの音楽パーツに対するユーザ評価であって、ユーザ状況（いつ、何をしている時、どこにいる時、誰と居る時、季節、天候等）が紐付けられる。また、音楽嗜好情報ＤＢ２２２には、グループ分けしたユーザタイプ毎の音楽嗜好情報も格納される。
以上、本実施形態による情報処理装置２の構成について具体的に説明した。なお図２に示す情報処理装置２の構成は一例であって、本実施形態はこれに限定されない。例えば情報処理装置２の少なくとも一部の構成が外部装置にあってもよいし、制御部２０の各機能の少なくとも一部がクライアント端末１または通信距離が比較的クライアント端末１に近い情報処理端末（例えば、いわゆるエッジサーバなど）により実現されてもよい。このように、情報処理装置２の各構成を適宜分散することで、リアルタイム性の向上や処理負担の軽減、さらにはセキュリティを担保することが可能となる。また、図２に示す制御部２０の各構成および各ＤＢを全てクライアント端末１に設け、本実施形態による嗜好情報の分析処理をクライアント端末１のアプリケーションにより実行するようにしてもよい。
＜＜３．動作処理＞＞
続いて、本実施形態による情報処理システムの動作処理について図面を用いて具体的に説明する。
図３は、本実施形態による音楽推薦システムの動作処理を示すシーケンス図である。
図３に示すように、まず、音楽配信装置３は、音楽データをクライアント端末１に送信する(ステップＳ１０３)。
次に、クライアント端末１は、音楽データをストリーミング再生してユーザによる視聴を実現し（ステップＳ１０６）、同時に視聴時におけるユーザ行動（状況）をセンシングする（ステップＳ１０９）。
次いで、クライアント端末１は、センシングしたセンサデータおよび視聴した音楽に関連する情報を情報処理装置２に送信する（ステップＳ１１２）。
次に、情報処理装置２は、受信したセンサデータおよび音楽関連情報に基づいて、音楽に関するユーザ嗜好の分析を行う（ステップＳ１１５）。ユーザ嗜好の分析結果である音楽嗜好情報は、例えば音楽推薦装置６により利用され、ユーザの状況および嗜好により最適な音楽の推薦に用いられる。また、自動作曲装置４によりユーザの状況および嗜好により最適な音楽が生成され、推薦されることも考え得る。
具体的には、例えば情報処理装置２は、ユーザ嗜好の分析結果である音楽嗜好情報を自動作曲装置４に送信する（ステップＳ１１８）。
次いで、自動作曲装置４は、ユーザの音楽嗜好情報に基づいてユーザの状況および嗜好に合致する音楽を自動作曲し（ステップＳ１２１）、生成した音楽データを各種音楽データＤＢ５に蓄積する（ステップＳ１２４）。例えば自動作曲装置４は、情報処理装置２から取得した音楽嗜好情報を参照し、あるユーザ状況においてユーザが好む音楽パーツや音楽ジャンルに基づいて、類似した（雰囲気の似ている）音楽を自動で作曲し得る。当該自動作曲した音楽データには、メタデータとしてユーザ状況が付与され得る。ここで、自動作曲装置４は、ユーザの評価のみならず、他ユーザの評価を用いて作曲することも可能である。例えば、ユーザと似ている特徴（属性、行動パターン、または嗜好等）を有する他ユーザの評価（音楽嗜好情報）に基づいて、ユーザ状況に応じた音楽を生成してもよいし、ユーザの特徴に起因せず、単に他ユーザの評価を用いるようにしてもよい。
一方、レコード会社サーバ７は、任意に楽曲の使用許諾設定を行い（ステップＳ１２７）、使用許諾設定を行った音楽データを各種音楽データＤＢ５に蓄積する（ステップＳ１３０）。
続いて、音楽推薦装置６は、各種音楽データＤＢ５から音楽データの読み出しを行い（ステップＳ１３３）、情報処理装置２から送信されたユーザの音楽嗜好情報（ステップＳ１３６）を参照し、ユーザ嗜好およびユーザ状況に応じた音楽の推薦を行う（ステップＳ１３９）。例えば、音楽推薦装置６は、各種音楽データＤＢ５に蓄積されている音楽データのメタデータに基づいて、ユーザ嗜好およびユーザ状況に応じた音楽の推薦を行う。音楽データのメタデータには、例えば音楽パーツに関する情報が含まれている。音楽推薦装置６は、かかる音楽パーツに関する情報に基づいて、ユーザ状況に応じて適した（すなわちユーザが好む）音楽パーツを（比較的多く）含む音楽データを選出し得る。この際、ユーザが好まない音楽パーツを含む音楽データは除外するようにしてもよい。また、音楽推薦装置６は、ユーザ状況毎にユーザが好む音楽ジャンルやアーティスト等の嗜好情報も参照して音楽データを選出してもよい。これにより、音楽推薦装置６は、例えば、ユーザがキッチンで作業している際に推薦する音楽リスト、ダイニングのソファーに座っている時に推薦する音楽リスト、ランニングする時に推薦する音楽リスト等を生成することができる。なお、音楽推薦装置６は、ユーザ個人の音楽嗜好情報の他、ユーザの特徴に対応するグループの音楽嗜好情報を参照してもよい。また、音楽推薦装置６は、ユーザの評価のみならず、他ユーザの評価を用いて推薦することも可能である。例えば、ユーザと似ている特徴（属性、行動パターン、または嗜好等）を有する他ユーザの評価（音楽嗜好情報）に基づいて、ユーザ状況に応じた音楽を推薦してもよいし、ユーザの特徴に起因せず、単に他ユーザの評価を用いるようにしてもよい。このように推薦された音楽データは、上記ステップＳ１０３において、音楽配信装置３からクライアント端末１に提供される。
本実施形態による音楽推薦システムでは、上述したステップＳ１０３〜Ｓ１３９に示す処理を繰り返し、継続的にユーザの音楽嗜好情報を蓄積し、音楽推薦の精度を向上させることができる。
なお図３のフローチャートには示していないが、ユーザの音楽嗜好情報は広告提示に用いられてもよい。例えば音楽推薦装置６が広告機能も兼ねる場合、より最適な音楽の推薦と共に、推薦する音楽に関連する広告を提示することで、広告効果を高めることが期待できる。
次に、上記ステップＳ１１５に示す情報処理装置２による分析処理について図４を参照して具体的に説明する。図４は、本実施形態の情報処理装置２による分析処理を示すフローチャートである。
図４に示すように、まず、情報処理装置２は、ユーザによる音楽視聴時のセンサデータおよび音楽関連情報を取得すると（ステップＳ３０３）、行動解析部２０１によりユーザ行動の解析を行い（ステップＳ３０６）、また、音楽パーツ解析部２０２により音楽パーツの解析を行う（ステップＳ３０９）。
次に、情報処理装置２は、音楽嗜好分析部２０３により、音楽に関するユーザの嗜好情報を分析し（ステップＳ３１２）、分析結果を記憶部２２に記憶する（ステップＳ３１５）。
＜＜４．表示画面例＞＞
続いて、本実施形態による嗜好情報を用いて音楽推薦を行った場合におけるクライアント端末１での表示画面の一例について図５および図６を参照して説明する。
図５は、本実施形態による推薦楽曲リストの表示画面例である。図５に示す表示画面１１０には、リビングに居る時、キッチンで過ごす時、通勤時、およびランニング時といったユーザの行動パターンに応じた各状況に対応する推薦楽曲リストが提示される。かかる推薦楽曲リストは、音楽推薦装置６により生成され得る。また、各状況に対応する推薦楽曲は、ユーザまたはユーザの特徴に対応するグループにおける音楽嗜好情報（センシングデータに基づいて分析された、状況毎に異なる好みであって、少なくとも音楽パーツに対するユーザ評価を含む）に基づいて選出されたものである。
なお、ユーザの嗜好情報に基づいて自動作曲された楽曲については、例えば「Auto.」と明示され、既存の楽曲（レコード会社から使用許諾を得て提供された楽曲）と区別できるようにしてもよい。
図６は、本実施形態による推薦楽曲リストの他の表示画面例である。図６に示す表示画面１１１では、例えば部屋の間取り等の地図画像上に、状況（場所）に応じた推薦楽曲リストが表示されている。これにより、ユーザは直感的に状況に応じた推薦楽曲リストを把握することができる。
なおユーザに提示される推薦楽曲リストは、これから再生する音楽であってもよいし、再生済みの音楽（履歴）であってもよい。例えばこれから再生する音楽を事前に確認することができる場合、ユーザは予め楽曲の取捨選択を行うことができ、このような操作情報もフィードバックとして嗜好情報の分析に用いられ得る。
＜＜５．補足＞＞
以下、本実施形態の補足についていくつか説明する。
本実施形態による音楽推薦システムでは、ユーザ状況に応じて自動的に推薦楽曲リストが切り替えられ、順次ユーザ状況に適した推薦楽曲が自動再生されるようにすることが可能である。具体的には、例えば音楽推薦装置６は、クライアント端末１からセンサデータを取得してリアルタイムでユーザ状況を認識し、情報処理装置２から取得した音楽嗜好情報を用いて音楽推薦を行ってもよい。若しくは、クライアント端末１が音楽推薦装置６で生成されたユーザ状況に応じた音楽推薦リストを保有している場合、クライアント端末１がリアルタイムでユーザ状況を認識し、対応する推薦楽曲リストに掲載されている楽曲を音楽配信装置３から取得して自動再生するようにしてもよい。
また、本実施形態による音楽推薦システムでは、現在再生している音楽に対するユーザの反応に基付いて、次に再生する曲をリアルタイムで変更することも可能である（機械学習を用いてもよい）。例えば、クライアント端末１は、ユーザが走っている際にランニング時における推薦楽曲を再生するが、ユーザの生体情報（心拍、ピッチ等）に基づいて、ペースを上げると健康上問題があると判断した場合、少しリズムを落としたスローな曲を再生するようにしてもよい。また、クライアント端末１は、ユーザの生体情報等に基づいてユーザの集中度を認識し、集中度に合った音楽を選出し、集中力を高めるようアシストすることも可能である。このようなリアルタイムの状況に応じた再生音楽の変更処理は、クライアント端末１で行ってもよいし、音楽推薦装置６で行ってもよい。また、必要に応じて、リアルタイムで自動作曲装置４により作曲した音楽を再生することも可能である。例えば集中力を高める環境音楽（アンビエント系）を、ユーザの実際の集中度の変化に応じてリアルタイムで自動生成してユーザに提供することも可能である。
また、本実施形態による音楽推薦システムは、音楽再生における課金制限を考慮して推薦楽曲の選択を行ってもよい。すなわち、レコード会社から使用許諾を得た楽曲は課金対象となるため、設定された課金上限に応じて、上限が近い場合には、課金対象の楽曲を減らし、自動作曲された楽曲の割合を増やすようにしてもよい。
また、本実施形態による音楽嗜好情報の分析では、ユーザが視聴している音楽についてユーザの反応（行動）を分析するが、「ユーザが視聴している音楽」は、クライアント端末１で再生される音楽に限定されず、ユーザが聞いている周囲の音も含まれ得る。例えばユーザが電車の音や駅で流れる音楽、コンビニエンスストアで流れる音楽等、周囲で流れている音楽を聞いている際に、当該音楽がクライアント端末１に設けられたマイクロホンにより集音され、「ユーザが視聴している音楽に関連する情報」として、ユーザ反応のセンサデータと共に、情報処理装置２に送信される。これにより、ユーザが好む電車の音を用いて自動作曲された音楽を推薦したり、駅や店で流れていた音楽を推薦したりすることが可能となる。
また、本実施形態による音楽推薦システムの構成は図１に示す例に限定されない。例えば、嗜好情報の分析や音楽推薦をクライアント端末１で（すなわちローカルで）行うようにしてもよい。この場合、クライアント端末１は、自身が保有する多数の音楽データから、ユーザ状況と嗜好（パーツに対する評価を少なくとも含む嗜好情報）に応じた音楽推薦を行うことが可能である。また、ローカルで音楽推薦を行う際も、定期的（例えば１日１回、1週間に１回など）に、他ユーザと情報（嗜好情報）をシェアするために情報処理装置２に接続し、嗜好情報の更新を行うようにしてもよい。
なお、上述した実施形態では、推薦するメディアコンテンツとして音楽を用いて説明したが、本実施形態はこれに限定されず、例えば動画像（ドラマ、映画、ビデオ、ショートムービー）やゲーム等であってもよい。ユーザ状況に応じて、ユーザの好むパーツを少なくとも含む動画像全編、若しくはパーツ部分に相当する動画像部分を再生するようにしてもよい。
＜＜６．まとめ＞＞
上述したように、本開示の実施形態による情報処理システムでは、コンテンツのパーツに対するユーザ評価を分析し、より充実したコンテンツ推薦を実現し得る嗜好情報を生成することが可能となる。
ユーザ評価は、コンテンツ自体に紐付けられる他、コンテンツの少なくとも一部（パーツ）に紐付けられ、嗜好情報が時系列でタグ付けされる。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本技術はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
例えば、上述したクライアント端末１、情報処理装置２、音楽配信装置３、自動作曲装置４、または音楽推薦装置６に内蔵されるＣＰＵ、ＲＯＭ、およびＲＡＭ等のハードウェアに、クライアント端末１、情報処理装置２、音楽配信装置３、自動作曲装置４、または音楽推薦装置６の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させたコンピュータ読み取り可能な記憶媒体も提供される。
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
なお、本技術は以下のような構成も取ることができる。
（１）
メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御する制御部を備える、情報処理装置。
（２）
前記制御部は、前記メディア嗜好情報として、前記パーツに対するユーザ評価に前記センサデータから得られたユーザ状況を紐付ける、前記（１）に記載の情報処理装置。
（３）
前記メディアコンテンツは音楽であって、
前記メディアコンテンツの時系列で区切られるパーツは、メロディ、リズム、またはハーモニーの少なくともいずれかによる音楽パーツである、前記（２）に記載の情報処理装置。
（４）
前記制御部は、複数ユーザの前記メディア嗜好情報に基づいて、ユーザの特徴に基づいてグループ分けしたユーザグループ別の嗜好情報を生成する、前記（３）に記載の情報処理装置。
（５）
前記メディア嗜好情報は、ユーザへの音楽推薦に用いられる、前記（３）または（４）に記載の情報処理装置。
（６）
前記制御部は、前記メディア嗜好情報に基づいて、ユーザ状況に応じた嗜好情報で示される音楽パーツを少なくとも含む音楽を推薦楽曲として選出する、前記（５）に記載の情報処理装置。
（７）
前記メディア嗜好情報は、推薦音楽の自動作曲に用いられる、前記（３）または（４）に記載の情報処理装置。
（８）
前記制御部は、前記メディア嗜好情報に基づいて、ユーザ状況に応じた嗜好情報で示される音楽パーツを少なくとも利用して音楽を生成する、前記（７）に記載の情報処理装置。
（９）
前記メディア嗜好情報は、ユーザへの広告提示に用いられる、前記（３）または（４）に記載の情報処理装置。
（１０）
前記メディア嗜好情報は、音楽のジャンル、作曲家、または歌手に対するユーザ評価を含む、前記（３）〜（９）のいずれか１項に記載の情報処理装置。
（１１）
前記制御部は、メディア嗜好情報を用いてユーザ状況に応じて推薦した楽曲のリストをクライアント端末で提示するよう制御する、前記（５）または（６）に記載の情報処理装置。
（１２）
推薦楽曲リストの提示画面では、対応するユーザ状況が楽曲リストと共に明示される、前記（１１）に記載の情報処理装置。
（１３）
前記制御部は、ユーザ状況をリアルタイムで認識し、対応する推薦楽曲リストに基づいてクライアント端末で楽曲を再生するよう制御する、前記（５）または（６）に記載の情報処理装置。
（１４）
プロセッサが、
メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御することを含む、情報処理方法。
（１５）
コンピュータを、
メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御する制御部として機能させるための、プログラム。
１ クライアント端末
２ 情報処理装置
３ 音楽配信装置
４ 自動作曲装置
５ 各種音楽データＤＢ
６ 音楽推薦装置
７ レコード会社サーバ
２０ 制御部
２０１ 行動解析部
２０２ 音楽パーツ解析部
２０３ 音楽嗜好分析部
２１ 通信部
２２ 記憶部
２２１ ユーザ行動情報ＤＢ
２２２ 音楽嗜好情報ＤＢ

Claims (15)

  1. メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御する制御部を備える、情報処理装置。
  2. 前記制御部は、前記メディア嗜好情報として、前記パーツに対するユーザ評価に前記センサデータから得られたユーザ状況を紐付ける、請求項１に記載の情報処理装置。
  3. 前記メディアコンテンツは音楽であって、
    前記メディアコンテンツの時系列で区切られるパーツは、メロディ、リズム、またはハーモニーの少なくともいずれかによる音楽パーツである、請求項２に記載の情報処理装置。
  4. 前記制御部は、複数ユーザの前記メディア嗜好情報に基づいて、ユーザの特徴に基づいてグループ分けしたユーザグループ別の嗜好情報を生成する、請求項３に記載の情報処理装置。
  5. 前記メディア嗜好情報は、ユーザへの音楽推薦に用いられる、請求項３に記載の情報処理装置。
  6. 前記制御部は、前記メディア嗜好情報に基づいて、ユーザ状況に応じた嗜好情報で示される音楽パーツを少なくとも含む音楽を推薦楽曲として選出する、請求項５に記載の情報処理装置。
  7. 前記メディア嗜好情報は、推薦音楽の自動作曲に用いられる、請求項３に記載の情報処理装置。
  8. 前記制御部は、前記メディア嗜好情報に基づいて、ユーザ状況に応じた嗜好情報で示される音楽パーツを少なくとも利用して音楽を生成する、請求項７に記載の情報処理装置。
  9. 前記メディア嗜好情報は、ユーザへの広告提示に用いられる、請求項３に記載の情報処理装置。
  10. 前記メディア嗜好情報は、音楽のジャンル、作曲家、または歌手に対するユーザ評価を含む、請求項３に記載の情報処理装置。
  11. 前記制御部は、メディア嗜好情報を用いてユーザ状況に応じて推薦した楽曲のリストをクライアント端末で提示するよう制御する、請求項５に記載の情報処理装置。
  12. 推薦楽曲リストの提示画面では、対応するユーザ状況が楽曲リストと共に明示される、請求項１１に記載の情報処理装置。
  13. 前記制御部は、ユーザ状況をリアルタイムで認識し、対応する推薦楽曲リストに基づいてクライアント端末で楽曲を再生するよう制御する、請求項５に記載の情報処理装置。
  14. プロセッサが、
    メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御することを含む、情報処理方法。
  15. コンピュータを、
    メディアコンテンツの視聴に関して取得されたユーザのセンサデータに基づいて、前記メディアコンテンツの時系列で区切られるパーツに対するユーザ評価を生成し、生成したユーザ評価を少なくとも含むメディア嗜好情報を記憶部に記憶するよう制御する制御部として機能させるための、プログラム。
JP2019528946A 2017-07-14 2018-04-27 情報処理装置、情報処理方法、およびプログラム Active JP7136099B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017138489 2017-07-14
JP2017138489 2017-07-14
PCT/JP2018/017187 WO2019012784A1 (ja) 2017-07-14 2018-04-27 情報処理装置、情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JPWO2019012784A1 true JPWO2019012784A1 (ja) 2020-05-07
JP7136099B2 JP7136099B2 (ja) 2022-09-13

Family

ID=65002146

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019528946A Active JP7136099B2 (ja) 2017-07-14 2018-04-27 情報処理装置、情報処理方法、およびプログラム

Country Status (5)

Country Link
US (1) US12047660B2 (ja)
EP (1) EP3654194A1 (ja)
JP (1) JP7136099B2 (ja)
CN (1) CN110870322B (ja)
WO (1) WO2019012784A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110870322B (zh) * 2017-07-14 2023-04-04 索尼公司 信息处理设备、信息处理方法
JPWO2021090817A1 (ja) * 2019-11-07 2021-05-14
CN113946744B (zh) * 2020-07-16 2024-08-13 北京达佳互联信息技术有限公司 数据处理方法、装置、服务器及存储介质
KR20230080025A (ko) * 2021-11-29 2023-06-07 한국기술교육대학교 산학협력단 음악 청취 반응 자동 감지 시스템 및 방법, 음악 청취 반응 자동 감지 방법을 수행하는 모바일 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133947A (ja) * 2005-11-09 2007-05-31 Sony Computer Entertainment Inc データ再生装置、データ再生方法及びプログラム
JP2007241924A (ja) * 2006-03-13 2007-09-20 Sharp Corp 携帯端末
KR20090001745A (ko) * 2007-05-16 2009-01-09 (주) 마젠타시스템 인터넷을 이용한 음악 정보 제공 시스템 및 방법
US20150271571A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Audio/video system with interest-based recommendations and methods for use therewith
WO2017033220A1 (ja) * 2015-08-21 2017-03-02 株式会社でむこやん 楽曲検索システム、楽曲検索方法、サーバ装置、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6987221B2 (en) * 2002-05-30 2006-01-17 Microsoft Corporation Auto playlist generation with multiple seed songs
US20050021470A1 (en) * 2002-06-25 2005-01-27 Bose Corporation Intelligent music track selection
EP1666967B1 (en) * 2004-12-03 2013-05-08 Magix AG System and method of creating an emotional controlled soundtrack
JP2006171133A (ja) 2004-12-14 2006-06-29 Sony Corp 楽曲データ再構成装置、楽曲データ再構成方法、音楽コンテンツ再生装置および音楽コンテンツ再生方法
KR100731761B1 (ko) * 2005-05-02 2007-06-22 주식회사 싸일런트뮤직밴드 인터넷을 통한 음악제작 시스템 및 방법
US7842874B2 (en) * 2006-06-15 2010-11-30 Massachusetts Institute Of Technology Creating music by concatenative synthesis
US8280539B2 (en) * 2007-04-06 2012-10-02 The Echo Nest Corporation Method and apparatus for automatically segueing between audio tracks
US20130204813A1 (en) * 2012-01-20 2013-08-08 Fluential, Llc Self-learning, context aware virtual assistants, systems and methods
US9183849B2 (en) * 2012-12-21 2015-11-10 The Nielsen Company (Us), Llc Audio matching with semantic audio recognition and report generation
JP5888382B2 (ja) 2014-09-18 2016-03-22 ソニー株式会社 ユーザへのコンテンツ推薦方法、ユーザへのコンテンツ推薦システム及びコンピュータ読取可能な記録媒体
US9861151B2 (en) * 2014-12-05 2018-01-09 SaPHIBeat Technologies, Inc. Activity monitoring systems and methods for accident detection and response
US10250650B2 (en) * 2015-01-05 2019-04-02 Harman International Industries, Incorporated Discovery playlist creation
US9978426B2 (en) * 2015-05-19 2018-05-22 Spotify Ab Repetitive-motion activity enhancement based upon media content selection
US9721551B2 (en) * 2015-09-29 2017-08-01 Amper Music, Inc. Machines, systems, processes for automated music composition and generation employing linguistic and/or graphical icon based musical experience descriptions
CN106302678A (zh) * 2016-08-08 2017-01-04 北京谱思科技有限公司 一种音乐推荐方法及装置
US10936653B2 (en) * 2017-06-02 2021-03-02 Apple Inc. Automatically predicting relevant contexts for media items
CN110870322B (zh) * 2017-07-14 2023-04-04 索尼公司 信息处理设备、信息处理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007133947A (ja) * 2005-11-09 2007-05-31 Sony Computer Entertainment Inc データ再生装置、データ再生方法及びプログラム
JP2007241924A (ja) * 2006-03-13 2007-09-20 Sharp Corp 携帯端末
KR20090001745A (ko) * 2007-05-16 2009-01-09 (주) 마젠타시스템 인터넷을 이용한 음악 정보 제공 시스템 및 방법
US20150271571A1 (en) * 2014-03-18 2015-09-24 Vixs Systems, Inc. Audio/video system with interest-based recommendations and methods for use therewith
WO2017033220A1 (ja) * 2015-08-21 2017-03-02 株式会社でむこやん 楽曲検索システム、楽曲検索方法、サーバ装置、及びプログラム

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
平井 重行 ほか: "個人所有楽曲や聴取場所を利用するＷｅｂ２．０アプリケーションの試み", 情報処理学会研究報告, vol. 第2007巻，No.37, JPN6022032138, 10 May 2007 (2007-05-10), JP, pages 109 - 116, ISSN: 0004839871 *
杉本 知仁 TOMOHITO SUGIMOTO 他: "脳波解析に基づく曲中の感情変化を予測する楽曲推薦システム Music Recommendation System that Predicts", ２００９年度人工知能学会全国大会（第２３回）論文集 ［ＣＤ−ＲＯＭ］ PROCEEDINGS OF THE 23RD ANNUAL, JPN6022014540, 17 June 2009 (2009-06-17), JP, pages 1 - 4, XP009517818, ISSN: 0004753443, DOI: 10.11517/pjsai.JSAI2009.0_1F12 *
杉本 知仁 TOSHIHITO SUGIMOTO 他: "脳波の解析に基づく個人感性獲得による自動作曲 Automatic composition by acquisition of Kansei based o", ２００７年度人工知能学会全国大会（第２１回）論文集 ［ＣＤ−ＲＯＭ］ PROCEEDINGS OF THE 21ST ANNUAL, JPN6022014539, 18 June 2007 (2007-06-18), JP, pages 1 - 4, ISSN: 0004753444 *

Also Published As

Publication number Publication date
JP7136099B2 (ja) 2022-09-13
US12047660B2 (en) 2024-07-23
WO2019012784A1 (ja) 2019-01-17
EP3654194A4 (en) 2020-05-20
EP3654194A1 (en) 2020-05-20
CN110870322A (zh) 2020-03-06
US20200204874A1 (en) 2020-06-25
CN110870322B (zh) 2023-04-04

Similar Documents

Publication Publication Date Title
US20230414159A1 (en) System and method for associating music with brain-state data
US20220261211A1 (en) Multimedia Experience According to Biometrics
US9894415B2 (en) System and method for media experience data
CN107111642B (zh) 用于创建收听日志和音乐库的系统和方法
JP2021167950A (ja) 気分および／または挙動情報に基づく環境バックグラウンドノイズの修正のための方法、システムおよび媒体
JP7136099B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US10346480B2 (en) Systems, apparatus, and methods for social graph based recommendation
US11995377B2 (en) Systems and methods of associating media content with contexts
US20180124459A1 (en) Methods and systems for generating media experience data
US11483618B2 (en) Methods and systems for improving user experience
US20180124458A1 (en) Methods and systems for generating media viewing experiential data
US20110295843A1 (en) Dynamic generation of contextually aware playlists
US20180115802A1 (en) Methods and systems for generating media viewing behavioral data
US8030564B2 (en) Method for selecting and recommending content, server, content playback apparatus, content recording apparatus, and recording medium storing computer program for selecting and recommending content
CN110996796B (zh) 信息处理设备、方法和程序
US20180109828A1 (en) Methods and systems for media experience data exchange
US20160070702A1 (en) Method and system to enable user related content preferences intelligently on a headphone
US11593426B2 (en) Information processing apparatus and information processing method
US20230403426A1 (en) System and method for incorporating audio into audiovisual content
KR20150055647A (ko) 감성 컨텐츠 제공 방법 및 감성 컨텐츠 제공 시스템, 이를 위한 서비스 제공 장치 및 단말기
US20210110846A1 (en) Information processing apparatus, information processing method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210419

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220802

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220815

R151 Written notification of patent or utility model registration

Ref document number: 7136099

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151