JP4247638B2 - 記録再生装置および記録再生方法 - Google Patents

記録再生装置および記録再生方法 Download PDF

Info

Publication number
JP4247638B2
JP4247638B2 JP2006105036A JP2006105036A JP4247638B2 JP 4247638 B2 JP4247638 B2 JP 4247638B2 JP 2006105036 A JP2006105036 A JP 2006105036A JP 2006105036 A JP2006105036 A JP 2006105036A JP 4247638 B2 JP4247638 B2 JP 4247638B2
Authority
JP
Japan
Prior art keywords
user
evaluation value
user evaluation
information signal
keyword
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006105036A
Other languages
English (en)
Other versions
JP2007281856A (ja
Inventor
象 村越
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006105036A priority Critical patent/JP4247638B2/ja
Priority to US11/732,478 priority patent/US8260108B2/en
Priority to EP20070251480 priority patent/EP1843262A3/en
Priority to CN2007100920827A priority patent/CN101051514B/zh
Publication of JP2007281856A publication Critical patent/JP2007281856A/ja
Application granted granted Critical
Publication of JP4247638B2 publication Critical patent/JP4247638B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/61Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54
    • H04H60/65Arrangements for services using the result of monitoring, identification or recognition covered by groups H04H60/29-H04H60/54 for using the result on users' side
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/73Querying
    • G06F16/735Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G11B27/034Electronic editing of digitised analogue information signals, e.g. audio or video signals on discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/27Arrangements for recording or accumulating broadcast information or broadcast-related information
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04HBROADCAST COMMUNICATION
    • H04H60/00Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID
    • H04H60/377Scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4147PVR [Personal Video Recorder]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44204Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4668Learning process for intelligent management, e.g. learning user preferences for recommending movies for recommending content, e.g. movies
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4826End-user interface for program selection using recommendation lists, e.g. of programs or channels sorted out according to their score
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84Generation or processing of descriptive data, e.g. content descriptors
    • H04N21/8405Generation or processing of descriptive data, e.g. content descriptors represented by keywords
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computational Linguistics (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

この発明は、例えばテレビ放送番組等の情報信号を記録し再生する記録再生装置および記録再生方法に関する。
例えばテレビ放送番組などをハードディスクやDVD(Digital Versatile Disc)などの記録媒体に記録し、当該記録したテレビ放送番組を再生する記録再生装置が普及している。
このような記録再生装置で、記録したテレビ放送番組などを再生して視聴する場合において、ユーザの嗜好に応じた再生候補番組が記録再生装置により推薦されると非常に便利である。
特許文献1(特開2002−112186号公報)には、EPG(Electronic Programming Guide)情報と、ユーザの視聴履歴情報とからユーザの嗜好を判定し、その判定結果に基づいて、再生候補番組をユーザに提示する方法が記載されている。
上記の特許文献は、次の通りである。
特開2002−112186号公報
しかしながら、上記の特許文献1に記載の方法では、番組単位のEPG情報や視聴履歴情報から、再生候補番組をユーザに提示するようにするので、ユーザが嗜好する特定のシーンが含まれている番組を推薦して提示することはできないという問題がある。
例えば、あるユーザが料理に嗜好を有する場合、従来の方法では料理番組を推薦して提示することはできるが、例えばバラエティー番組や歌番組中に、料理に関するいわゆるコーナ(料理コーナ;シーン)が存在しても、その料理コーナが存在するバラエティー番組は料理番組ではないので、推薦番組の対象とはならない。
また、前記料理コーナのみを抽出してユーザが視聴したいという要求に対しては、上述の特許文献1の方法では全く対処することができない。
この発明は、以上の点にかんがみ、ユーザが嗜好する特定のシーンが含まれている番組や、当該特定のシーンを推薦して提示することができるようにすることを目的とする。
上記課題を解決するために、請求項1の発明は、
情報信号を記録媒体に記録する情報信号記録手段と、
前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出手段と、
前記特徴量検出手段で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録手段と、
ユーザの操作入力を検出するユーザ操作入力検出手段と、
前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを前記分節区間のキーワードとして備える前記情報信号あるいは前記分節区間を、前記記録媒体に記録されている前記情報信号あるいは前記分節区間の中から検出して、ユーザに推薦して提示する推薦手段と、
を備える記録再生装置を提供する。
上記の構成の請求項1の発明においては、早送り再生指示操作やスキップ指示操作などの通常再生を行わないユーザ操作入力がなされたとき、そのユーザ操作入力がなされた情報信号の分節区間に対して負のユーザ評価値が付与され、巻き戻し再生など、ユーザが、より再生を欲する嗜好区間に対しては、より正方向のユーザ評価値が付与される。
そして、各分節区間のそれぞれについてのユーザ評価値を、各分節区間のキーワードの評価値として対応させて、キーワード毎にユーザ評価値を累積し、その累積したキーワード毎の評価値をユーザ評価値累積蓄積手段に蓄積する。したがって、ユーザ評価値累積蓄積手段に蓄積されたキーワードのうち、評価値が高いキーワードは、ユーザが嗜好するシーンに関連するキーワードとなっている。
一方、情報信号は、その分節区間毎のキーワードと共に記録媒体に記録されている。推薦手段は、記録媒体に記録されている情報信号のうちの、ユーザ評価値累積蓄積手段に蓄積されているキーワードのうちの、ユーザが嗜好するシーンに関連する評価値の高いキーワードを含む分節区間または当該分節区間を含む情報信号を検出して、それをユーザに推薦して提示するようにする。
例えばテレビ放送番組を例にとると、提示された分節区間は、ユーザが嗜好するシーンである可能性が高い。また、当該分節区間を含む番組は、ユーザが嗜好するシーンを含む番組である可能性が高い。こうして、請求項1の発明によれば、記録された情報信号の中から、ユーザが嗜好するシーンやユーザが嗜好するシーンを含む番組が、ユーザに推薦、提示される。
また、請求項2の発明は、
通信網を通じて送られてくる情報信号を受信して、記録媒体に記録する情報信号記録手段と、
前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出手段と、
前記特徴量検出手段で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録手段と、
ユーザの操作入力を検出するユーザ操作入力検出手段と、
前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
前記通信網を通じて送られてくる前記情報信号について、文字情報による関連情報を含む送信予定情報を受信する予定情報取得手段と、
前記予定情報取得手段で取得した前記送信予定情報に含まれる前記文字情報中に、前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを含む送信予定の情報信号を検出して、ユーザに推薦して提示する推薦手段と、
を備える記録再生装置を提供する。
この請求項2の発明においては、請求項1の発明と全く同様にして、ユーザ評価値累積蓄積手段に蓄積されたキーワードのうち、評価値が高いキーワードは、ユーザが嗜好するシーンに関連するキーワードとなっている。
この請求項2においては、推薦手段は、例えばEPGデータのような送信予定情報に含まれる文字情報中に、ユーザ評価値累積蓄積手段に蓄積されているキーワードのうちの、ユーザが嗜好するシーンに関連する評価値の高いキーワードを含む送信予定の情報信号を検出し、その送信予定の情報信号をユーザに推薦、提示するようにする。
また、請求項3の発明は、
情報信号を記録媒体に記録する情報信号記録手段と、
前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出手段と、
前記特徴量検出手段で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出手段と、
前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得手段と、
前記キーワード取得手段で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録手段と、
ユーザの操作入力を検出するユーザ操作入力検出手段と、
前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てが関連する前記分節区間または前記分節区間を含む情報信号は、通常再生するように制御する再生制御手段と、
を備える記録再生装置を提供する。
この請求項3の発明においても、請求項1および請求項2の発明と全く同様にして、ユーザ評価値累積蓄積手段に蓄積されたキーワードのうち、評価値が高いキーワードは、ユーザが嗜好するシーンに関連するキーワードとなっている。
そして、この請求項3においては、再生制御手段は、記録媒体から読み出された情報信号に際して、例えば、ユーザ評価値累積蓄積手段に蓄積されているキーワードのうちの、ユーザが嗜好するシーンに関連する評価値の高いキーワードを含む分節区間はノーマル再生し、その他の分節区間は早送りやスキップするなどの再生制御をすることができる。
この発明によれば、例えば放送番組を例にとると、ユーザが嗜好するシーンやユーザが嗜好するシーンを含む番組が、ユーザに推薦されて、提示される。したがって、ユーザが嗜好するシーンや当該シーンを含む番組のみを録画したり、再生したりすることが可能になる。
以下、この発明による記録再生装置および方法の実施形態を、図を参照しながら説明する。
以下に説明する実施形態においては、再生対象あるいは記録再生の対象の情報信号は、例えば受信したテレビ放送番組の映像信号および音声信号や、記録媒体に記録された映像信号および音声信号とされている。なお、以下の実施形態は、記録再生装置にこの発明を適用した場合の例であり、再生装置および再生方法の実施形態は、当該記録再生装置の再生系に具現化されている。また、以下の実施形態は、記録再生装置が地上デジタルテレビ放送を受信する場合の例である。
[第1の実施形態]
第1の実施形態は、受信したテレビ放送番組の映像信号および音声信号からなる情報信号を、内蔵するハードディスク装置などからなる内部記録媒体や、DVDなどのリムーバルな外部記録媒体に記録し、また、これらの内蔵記録媒体や外部記録媒体に記録された情報信号を読み出して再生する機能を備える記録再生装置に、この発明を適用した場合の例である。
この例の記録再生装置は、テレビ放送番組の映像信号および音声信号を内蔵記録媒体または外部記録媒体に記録し、また、これらの記録媒体に記録されている映像信号および音声信号を再生する機能を備えるだけでなく、記録するテレビ放送番組の映像信号および音声信号または再生した映像信号および音声信号の特徴量を検出し、その検出出力から、特徴点としてのシーン変化点を検出し、その検出したシーン変化点の情報を、テレビ放送番組の情報信号と共に、記録媒体に記録する機能を備える。
そして、この実施形態では、検出した特徴点のデータ(シーン変化点のデータ)は、記録放送番組についての付加情報ファイルとして記録媒体の所定記録領域に記録するようにする。なお、検出した特徴点から、放送番組の開始点や終了点、あるいはCMの開始点などをチャプター点として生成し、生成したチャプター点をシーン変化点として、そのデータリストを、記録媒体に記録するようにしてもよい。
ここで、シーン変化点は、情報信号の区切りに対応し、例えば番組本編とコマーシャル(以下、CMと略称する)との区切りのみではなく、番組本編内の番組宣伝の区間の開始点および終了点、番組オープニングや番組エンディングの区間の開始点や終了点の他、番組本編内で、場面が大きく変化する場面変化点(いわゆるシーンチェンジ)を含む。また、この実施形態では、複数個のCMが連続するとき、それぞれのCMの開始点、終了点もシーン変化点として検出することができるようにされている。
なお、この実施形態の説明においては、隣接するシーン変化点により特定されるテレビ放送番組の情報信号(映像信号や音声信号)の区間、すなわち、隣接するシーン変化点の間の区間(これを分節区間と称することとする)を、シーンと呼ぶことにする。
[第1の実施形態の記録再生装置のハードウエア構成例]
図1は、第1の実施形態の記録再生装置のハードウエア構成例を示すブロックである。図1において、システムコントローラ部20は、マイクロコンピュータを備えて構成されるもので、この例の記録再生装置における各種モードの制御およびその他の動作制御を行なう。
このシステムコントローラ部20には、例えばリモートコマンダ22を用いた、あるいは、記録再生装置の操作ボタンを通じた、ユーザの操作入力に応じて操作入力情報が、ユーザ入力インターフェース部21を通じて供給される。システムコントローラ部20は、入力された操作入力情報を判別し、当該操作入力情報に応じた処理を実行する。
システムコントローラ部20には、表示処理部23を通じて、例えばLCD(Liquid Crystal Display)などからなる表示部24が接続されており、この表示部24に、ユーザの操作入力に際して参考となる表示情報が表示される。ユーザは、この表示部24の表示を見ながら、種々の操作入力をする。
<記録系処理>
先ず、図1を参照しながら、この例の記録再生装置の記録系について説明する。
ユーザが、例えばリモートコマンダ22を用いて、あるいは、記録再生装置の操作ボタンを通じて、記録指示のコマンド入力をすると、その操作情報が、ユーザインターフェース部21を通じてシステムコントローラ部20に供給され、このシステムコントローラ部20による制御の下で、記録再生装置は、以下のような記録処理を行なう。
受信部2は、この例では、地上デジタルテレビ放送の受信用として、テレビチューナ、デスクランブラ、TS(Transport Stream)デコード部、映像および音声デコーダ部などを備える。
前述の記録指示のコマンド入力に先立ち、ユーザは、リモートコマンダ22を用いて、あるいは、記録再生装置の操作ボタンを通じて選局入力操作をする。すると、その操作情報が、ユーザインターフェース部21を通じてシステムコントローラ部20に供給され、システムコントローラ部20は、ユーザの選局操作に応じた放送チャンネルを選択するようにするための選局制御情報を受信部2に供給する。この選局の際、システムコントローラ部20は、表示処理部23を通じて表示部24に選局中の放送チャンネルの表示を行なうので、ユーザは、この表示部24の表示を見ながら、選局操作をする。
受信部2は、この選局制御情報を受けて、受信アンテナ1で受信したテレビ放送電波から、ユーザが選局した放送チャンネルの放送番組を選択抽出し、当該選択抽出した放送番組から映像信号および音声信号をデコードする。
受信部2で選択抽出され、デコードされたテレビ放送番組の音声信号および映像信号は、記録信号エンコード処理部3に供給されて、所定のサンプリング周波数、所定の量子化ビット数で、A/D(Analog to Digital)変換信号処理が行われ、その変換後のデジタル音声信号およびデジタル映像信号が、記録エンコード処理される。
ここで記録エンコード処理としては、デジタル音声信号に対しては、例えばMPEGオーディオやAC−3オーディオ(ドルビーAC−3、またはAudio Code Number 3)などの所定の帯域圧縮方式でデータ圧縮処理が行われる。
また、デジタル映像信号に対しては、記録エンコード処理として、例えばMPEGビデオやウェーブレット変換などの所定の帯域圧縮方式でデータ圧縮処理が行われる。そして、データ圧縮処理された映像データは、前記圧縮音声データと多重化されて、記録処理部4を通じて内蔵の記録媒体5に記録される。
また、ユーザが、内蔵の記録媒体5ではなく、着脱可能な外部記録媒体7への記録を指示している場合には、記録処理部4は、システムコントローラ部20からの制御信号に応じて、記録信号エンコード処理部3からの多重化データを、外部記録媒体処理部6を通じて外部記録媒体7に記録するようにする。
このとき、記録される放送番組には識別情報(記録番組識別情報という)が付与され、圧縮映像データおよび圧縮音声データは、この記録番組識別情報が付加されて記録媒体5および外部記録媒体7に記録される。この記録番組識別情報は、再生時の検索用に用いられる。
ここで、内蔵の記録媒体5は、この例では、ハードディスク装置で構成される。また、外部記録媒体7は、この例では、DVDとされている。
地上デジタルテレビ放送において、クローズドキャプションにより放送される字幕・文字スーパーの情報も、記録信号エンコード処理部3に送られ、映像情報および音声情報と共に、記録番組識別情報により対応付けられて記録媒体5または外部記録媒体7に記録される。
また、この例の記録再生装置では、受信部2では、放送番組に関するサービス情報が抽出され、当該抽出された情報がEPG(電子番組表;Electronic Programming Guide)取得部8に供給される。EPG取得部8は、受け取った放送番組に関するサービス情報からEPGデータを生成し、システムコントローラ部20に入力するようにする。
また、記録エンコード処理部3からのデジタル音声信号およびデジタル映像信号は、特徴量検出部9に供給されて、予め定められた種々の特徴量が検出され、その検出された特徴量がシーン変化点検出部10に供給される。
特徴量検出部9で行なう特徴量の検出としては、番組本編とCMとの区切り、複数個のCMが連続するとき、それぞれのCMの開始点、終了点を検出するためのものとしては、無音区間の検出、黒レベル区間の検出などが用いられる。また、CM区間の時間長は15秒、30秒、45秒、60秒などのように、15秒の倍数となっているので、検出された無音区間や黒レベル区間の時間長さが15秒の倍数となっているかもCM区間の検出に用いられる。
また、その他の特徴量の検出としては、シーンチェンジの検出、テロップの検出、人物の検出、肌色検出、トーク検出、音楽検出、盛り上がり検出などが用いられる。ここで、盛り上がり検出は、静かな状態から急激な音量変化があったり、大きな拍手があったりすることを検出することにより行なわれる。
すなわち、特徴量検出部9では、この例では、各種映像特性データおよび各種音声特性データと所定のパラメータデータとにより、所定のテロップ特徴データ(テロップ区間判定データ)、人物特徴データその他の画像特徴データ(画像特徴区間判定データ)、および話者音声特徴データ(話者音声判定データ)、拍手歓声特徴データ(拍手歓声判定データ)、その他の音声特徴データ(音声特徴区間判定データ)の各種特徴抽出処理が行われる。
なお、特徴量検出部9には、記録エンコード処理部3からの、データ圧縮処理過程の途中で得られるデータが入力される。この例では、後述するように、再生信号についても特徴量検出を行ない、シーン変化点の検出を行なうことを考慮して、データ圧縮処理過程の途中で得られるデータを用いて特徴量検出部9での特徴量の検出およびシーン変化点検出部10におけるシーン変化点の検出を行なうようにする。
このようにすれば、再生信号について、特徴量検出およびシーン変化点の検出を行なう際に、再生信号を完全に圧縮デコードして、元のデジタル音声データおよびデジタル映像データに戻す必要がなく、圧縮デコード処理の途中のデータを用いて特徴量検出およびシーン変化点検出を行なうことができ、検出処理が早くなるというメリットがある。
シーン変化点検出部10では、特徴量検出部9で検出された特徴量からシーン変化点を検出する。この場合に、シーン変化点検出部10は、前述したように、例えば番組本編とCMとの区切りのみではなく、番組本編内の番組宣伝の区間の開始点および終了点、番組オープニングや番組エンディングの区間の開始点や終了点の他、番組本編内で、場面が大きく変化する場面変化点、複数個のCMが連続するとき、それぞれのCMの開始点、終了点などを、区切りとしてのシーン変化点(特徴点)として検出する。この例の場合、このシーン変化点の検出データは、CMや番組本編、番組オープニング、番組エンディングなどのシーンの開始点および終了点の位置情報(例えばCMを含めた放送番組の先頭位置を基準にしたフレーム番号(あるいはフィールド番号))である。
なお、受信した放送番組の情報に、番組タイトルや番組のジャンルなどの情報が含まれている場合には、特徴量検出部9では、これら番組タイトルやジャンルの情報をも、特徴量として検出し、シーン変化点検出部10に送る。したがって、シーン変化点検出部10は、これら番組タイトルやジャンルの情報をも用いて、シーン変化点の検出を行なう。
そして、シーン変化点検出部10からのシーン変化点の位置データは、記録処理部4に供給され、この記録処理部4により記録処理がなされて、記録媒体5の所定の記録領域、この例では、付加情報ファイルの領域に記録される。あるいは、シーン変化点検出部10で得られたシーン変化点の位置データは、記録処理部4から外部記録媒体処理部6に供給され、この外部記録媒体処理部6で記録処理がなされて、外部記録媒体7の所定の記録領域、この例では、その付加情報ファイルの領域に記録される。
この場合、シーン変化点の位置データの付加情報ファイルは、内蔵の記録媒体5または外部記録媒体7に記録される、対応する放送番組の映像データおよび音声データとは、前述した記録番組識別情報により対応付けられて、前記付加情報ファイルの領域に記録される。
また、シーン変化点の位置データは、この実施形態では、例えば、記録される放送番組のフレーム番号(またはフィールド番号)が用いられることにより、当該記録される放送番組の一塊について、その映像データおよび音声データのフレーム位置(またはフィールド位置)と対応付けられているものである。
また、記録信号エンコード処理部3は、受信部2からの信号に含まれるクローズドキャプションにより放送された字幕・文字スーパーの情報を、字幕・文字スーパー検出部31に供給する。また、シーン変化点検出部10は、検出したシーン変化点の位置データを、字幕・文字スーパー検出部31に供給する。
地上デジタルテレビ放送では、各シーンに関連する文字テキスト情報が、クローズドキャプションにより字幕・文字スーパーとして送られてくる。これは、例えば耳の不自由な人の便宜を図るため等の目的で用いられ、地上デジタルテレビ放送の受信装置では、ユーザにより字幕オンの設定操作がなされているときに、例えば図2のように字幕・文字スーパーが表示され、字幕オフとされているときには、当該字幕・文字スーパーは画面には表示されない。
字幕・文字スーパー検出部31は、シーン変化点検出部10から受け取った各シーン変化点の隣接するものとしてシーン(分節区間)を認識し、それぞれのシーンに関連する字幕・文字スーパーの情報を検出する。そして、字幕・文字スーパー検出部31は、認識したシーンの開始点および終了点のシーン変化点の情報と、当該シーンに関連する字幕・文字スーパーの情報とをキーワード検出部32に供給する。
キーワード検出部32は、字幕・文字スーパー検出部31から受け取った字幕・文字スーパーの情報(テキスト情報)について、形態素解析(Morphological Analysis)を行って、キーワードを検出する。
ここで、形態素解析とは、コンピュータ等の計算機を用いた自然言語処理の基礎技術の一つで、自然言語で書かれた文を形態素(Morpheme;大まかに言えば、言語で意味を持つ最小単位)の列に分割し、品詞(Part−of−speech)を見分ける作業である。この例では、参照する情報源として、対象言語の文法の知識(ここでは文法のルールの集まりを用いる)と、辞書(品詞等の情報付きの単語リスト)とを用いて、形態素解析を行うようにしている。
例えば、画面に表示されたときに、図2に示すように、「(田中アナウンサー)国立公園までは車で4時間の道のりです。」とされる字幕・文字スーパーの情報の場合、キーワード検出部32においては、形態素解析により、「田中」、「アナウンサー」、「国立公園」、「車」、「4時間」、「道のり」が、キーワードとして検出される。
そして、キーワード検出部32は、検出したキーワードと、それらのキーワードが関連するシーンの開始点および終了点からなるシーン変化点の組とを記録処理部4に供給する。
記録処理部4は、関連する字幕・文字スーパーがないシーンに関しては、シーン変化点検出部10からのシーンの開始点および終了点からなるシーン変化点の組を記録媒体または外部記録媒体7に記録し、関連する字幕・文字スーパーが存在するシーンに関しては、シーンの開始点および終了点からなるシーン変化点の組と、キーワード検出部32からの当該シーンに関連するキーワードとを対応付けて、記録媒体4または外部記録媒体7に記録するようにする。
これらのシーン変化点の組の情報およびキーワードは、前述したように、付加情報ファイルに含められて、記録信号識別情報により、映像および音声情報に対応付けられて記録されるものである。なお、記録信号エンコード処理部3は、字幕・文字スーパーの情報を、付加情報ではなく、映像データおよび音声データと共に、記録媒体5または7に記録する。再生時には、この記録された字幕・文字スーパーが、ユーザの指示に従って、再生画像に重畳表示される。
図3に、記録媒体または外部記録媒体7に記録される付加情報ファイル中の、シーンの開始点および終了点からなるシーン変化点の組と、関連するキーワードとの対応データの部分の例を示す。
図3の例においては、記録された放送番組の先頭からのフィールド番号(またはフレーム番号)で示されるシーン変化点の隣接するものの組で特定される各シーン(分節区間)と、そのシーンに関連するキーワードとが対応して記録されるものとなっている。
なお、この実施形態では、受信部2でそのときに受信している放送番組を、録画ボタンを操作することにより記録開始し、停止ボタンを操作することにより記録終了するようにして記録するようにする通常記録モードのほか、EPG取得部8で取得されたEPGデータから、予め記録したい放送番組を予約して記録するようにする予約録画機能や、後述するように、ユーザが嗜好する放送番組を自動的の予約録画するようにするユーザ評価反映予約録画機能を備えている。ユーザ評価反映予約録画機能については後述する。
なお、シーンの開始点および終了点からなるシーン変化点の組と、関連するキーワードとの対応データは、付加情報ファイルに含めて記録するのではなく、記録信号エンコード処理部3内の多重化処理部に供給し、圧縮エンコード処理された映像データおよび音声データに多重化して、記録媒体5または外部記録媒体7の所定の記録領域に記録するようにしてもよい。
なお、特徴量検出部9およびシーン変化点検出部10の処理は、システムコントローラ部20のマイクロコンピュータによるソフトウエア処理とすることもできる。
<再生系処理>
次に、図1を参照しながら、この例の記録再生装置の再生系について説明する。先ず、始めに通常再生モードの動作について説明する。
ユーザが、記録媒体5あるいは外部記録媒体7からの通常再生モードによる再生指示を、例えばリモートコマンダ22を通じて入力すると、ユーザ入力インターフェース部21を通じてシステムコントローラ部20にそれが入力される。システムコントローラ部20は、このユーザ入力を受けて、通常再生モードを行なうように読み出し制御部11を制御する。
読み出し制御部11は、システムコントローラ部20からの指示が記録媒体5のときには、記録媒体5から再生指定された放送番組の圧縮映像データおよび圧縮音声データを読み出し再生処理部12に供給する。また、読み出し制御部11は、システムコントローラ部20からの指示が外部記録媒体7のときには、外部記録媒体処理部6を通じて外部記録媒体7をアクセスし、この外部記録媒体7から再生指定された放送番組の圧縮映像データおよび圧縮音声データを読み出し、外部記録媒体処理部6を通じて再生処理部12に供給する。
再生処理部12は、記録媒体5または外部記録媒体7から読み出された、ユーザにより再生指定された放送番組の圧縮映像データおよび圧縮音声データを、再生デコード出力部13に供給する。
再生デコード出力部13では、再生された放送番組の映像データおよび音声データが、映像データと音声データとに分離される。分離された圧縮音声データは、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされ、そのデコード処理されて得られたデジタル音声信号が、D/A(Digital to Analog)変換処理され、これよりアナログ音声信号として、出力端子14aを通じて出力される。
また、再生デコード出力部13では、分離された圧縮映像データは、記録時に帯域圧縮処理された信号処理方式に対応する所定のデコード処理がなされて、デジタル映像信号とされた後、D/A変換処理が行なわれ、アナログ映像信号として出力端子14vを通じて出力される。
また、読み出し制御部11により記録媒体5から読み出された付加情報ファイルが、再生処理部12から、付加情報ファイル処理部15に供給される。そして、この付加情報ファイル処理部15において、シーン変化点の情報および各シーンに関連するキーワードの情報が抽出され、システムコントローラ部20に供給される。
この実施形態の記録再生装置のユーザインターフェース21およびリモートコマンダ22は、再生モードにおいてノーマル再生速度での再生中に、押下操作することにより、システムコントローラ部20が、当該押下操作区間を早送り再生するように制御する早送り操作ボタンや、押下操作されると、システムコントローラ部20が、その位置から一定時間分だけ先の再生位置まで、スキップあるいは高速再生をするように制御するスキップ再生指示操作ボタン、さらには、押下操作されると、システムコントローラ部20がその位置から一定時間分だけ前の再生位置まで戻って、再度同じ部分を再度再生するようにする巻き戻し再生操作ボタンなどを備えている。
また、この例の記録再生装置は、再生モードとして、通常再生モードの他、後述するようなユーザ評価を反映した再生処理を実行するユーザ評価反映ダイジェスト再生モードを備えている。このため、この例の記録再生装置では、通常再生モードを指定する通常再生ボタンと、ユーザ評価反映ダイジェスト再生モードを指定するユーザ評価反映ダイジェスト再生ボタンとを備えている。あるいは、ユーザ評価反映ダイジェスト再生モードを指定する場合には、通常再生ボタンに加えて、ユーザ評価反映ダイジェスト再生を指定するボタンを操作するようにしてもよい。
そして、この実施形態の記録再生装置は、再生モード(通常再生モードおよびユーザ評価反映ダイジェスト再生モードのいずれの再生モードも含む)において、早送り再生操作ボタンやスキップ指示操作ボタンや巻き戻し再生ボタンの操作がされたとき、その再生ボタン操作に応じてそれぞれ早送り再生された区間、スキップ再生された区間および巻き戻し再生された区間についてユーザ評価値を生成付与するようにする。この処理は、ユーザ評価値生成部33で行われる。この処理の詳細をさらに説明する。
ユーザ評価値生成部33は、ノーマル速度再生中に、ユーザが前記早送り再生操作ボタンを操作したり、前記スキップ再生指示操作ボタンを操作したりした場合には、当該操作がなされた再生信号区間は、ユーザにとって再生を要しないユーザ評価が負の方向である区間と判定し、その区間に対応して負のユーザ評価値を付与して一時保持するようにする。
また、ユーザ評価値生成部33は、この実施形態では、ノーマル速度再生のままとされた再生区間に対応する再生信号の区間は、ユーザ評価が正の方向であるとして、その区間に対応して、正のユーザ評価値(0を含むものとする)を付与して一時保持するようにする。さらに、巻き戻し再生ボタンが操作されて、同じ区間部分が再度再生された場合には、その区間に対応して、より大きな正のユーザ評価値を付与して一時保持するようにする。
なお、実際的には、再生中には、前記早送り再生操作ボタンやスキップ指示操作ボタンや巻き戻し再生ボタンの操作に応じてそれぞれ早送り再生された区間、スキップ再生された区間および巻き戻し再生された区間の情報(以下、区間再生状態情報という)を保持しておき、再生が終了したときに、保持していた区間再生状態情報に基づいて、早送り再生区間やスキップ再生区間や巻き戻し再生区間のそれぞれに対応するユーザ評価値を生成するようにする。
そして、この実施形態では、早送り再生された区間、スキップ再生された区間および巻き戻し再生された区間の区間再生状態情報は、シーン変化点の組で表現されるシーン(分節区間)単位に反映され、それぞれのシーンに付与されるユーザ評価値が決定される。
すなわち、この実施形態では、記録媒体5または7に記録されている付加情報ファイルには、記録情報のシーン変化点の情報が記録されており、隣接する2個のシーン変化点の組により1つのシーン(分節区間)が特定される。
そこで、この実施形態では、付加情報ファイル処理部15を通じて記録媒体5または外部記録媒体7に記録されている付加情報ファイルを取得し、前記隣接する2個のシーン変化点で特定されるシーンのそれぞれが、いずれの再生操作ボタンによる再生状態の区間(何も操作されずにノーマル再生される状態の区間も含む)に含まれているかを判定し、それぞれのシーンに対してユーザ評価値が付与される。
例えば、早送り再生操作ボタンに基づく早送り再生区間やスキップ指示操作ボタンに基づくスキップ再生区間内のシーンであれば、当該シーンに対しては負のユーザ評価値を付与し、ノーマル再生が実行されたシーン、また、巻き戻し再生ボタンに基づく巻き戻し再生区間内のシーンであれば、当該シーンに対しては正のユーザ評価値を記録するようにする。
この場合、早送り再生操作ボタンやスキップ指示操作ボタンや巻き戻し再生ボタンのボタン操作開始点とボタン操作終了点とが、丁度、シーン変化点と一致している場合は、シーンに対していずれの評価をするかの問題は生じないが、早送り再生操作ボタンやスキップ指示操作ボタンや巻き戻し再生ボタンのボタン操作開始点やボタン操作終了点が、シーン変化点と一致していない場合には、当該操作開始点や操作終了点を含むシーンに対して、どのようなユーザ評価をするかが問題となる。
すなわち、早送り再生操作ボタンやスキップ指示操作ボタンや巻き戻し再生ボタンのボタン操作開始点が、シーン変化点と一致していない場合には、当該操作開始点が含まれるシーンに対しては対応する負や正の方向のユーザ評価値を割り当てる場合と、当該操作開始点が含まれるシーン部分には、対応する負や正の方向のユーザ評価値を割り当て、その次のシーン変化点から始まるシーンから負の方向のユーザ評価値を割り当てる場合の2通りがあり、いずれを用いても良い。しかし、ユーザが評価をする際に当該シーンを視聴してからボタン操作することを考えると、操作開始点では、ユーザは負の方向の評価をしていると考えられ、当該操作開始点が含まれるシーンに対しては負の方向のユーザ評価値を割り当てる方が自然である。
同様に、早送り再生操作ボタンやスキップ指示操作ボタンや巻き戻し再生ボタンの操作終了点が、シーン変化点と一致していない場合には、当該操作終了点が含まれるシーンに対して負の方向のユーザ評価値を割り当てる場合と、当該操作終了点が含まれるシーンに対して正の方向のユーザ評価値を割り当てる場合の2通りがあり、いずれを用いても良い。しかし、この場合も、ユーザは、評価をする際に当該シーンを視聴してからボタン操作することを考えると、操作終了点では、ユーザは正の方向の評価をしていると考えられ、当該操作終了点が含まれるシーンに対しては正の方向のユーザ評価値を割り当てる方が自然である。
図4に、ノーマル再生、早送り再生、スキップ再生、巻き戻し再生の各種再生態様に対して割り付けられたユーザ評価値の例を示す。すなわち、図4の例においては、ノーマル再生されたシーンのユーザ評価値は「0」、早送り再生されたシーンのユーザ評価値は「−5」、スキップ再生されたシーンのユーザ評価値は「−10」、巻き戻し再生されたシーンのユーザ評価値は「+10」が、それぞれ割り付けられている。この図4の割付データは、ユーザ評価値生成部33に保持されている。
ユーザ評価値生成部33において、記録媒体に放送番組を記録した後、最初の再生が行なわれる前には、この実施形態では、各シーンに対して例えばユーザ評価値は「0」が記録される。
そして、再生が行なわれると、前述したように、早送り再生された区間、スキップ再生された区間、巻き戻し再生された区間、ノーマル再生された区間についての区間再生態様情報が保持される。
再生が終了すると、システムコントローラ20は、記録媒体5または外部記録媒体7に記録されている付加情報ファイルを読み出し、付加情報ファイル処理部15を通じて取得し、ユーザ評価値生成部33に転送する。ユーザ評価値生成部33は、付加情報ファイルに記録されているシーンのそれぞれが、早送り再生された区間、スキップ再生された区間、巻き戻し再生された区間、ノーマル再生された区間のうちのいずれの再生区間に属するかを、保持された区間再生状態情報から判定し、それぞれのシーンについてユーザ評価値を付与する。
なお、再生が終了した後に付加情報ファイルを読み出して、各シーンについてのユーザ評価値を付与するのではなく、再生に先立ち、付加情報ファイルを読み出しておき、再生しながら、区間再生状態情報から各シーンについてユーザ評価値を付与するようにしてもよい。
付加情報ファイルのシーンとキーワード群とが図3に示したようにものとなっている各シーン(分節区間)に付与されたユーザ評価値の例を図5に示す。この図5から分かるように、各シーンに付与されたユーザ評価値は、当該シーンに関連するキーワードについてのユーザ評価値として考えることもできる。
次に、システムコントローラ部20は、ユーザ評価値累積蓄積部34に指示して、各々のキーワードごとに、ユーザ評価値を累積する。したがって、ユーザ評価値累積蓄積部34には、当該再生において得られたキーワードについてのユーザ評価値のみではなく、過去に行われた再生のすべての機会において、各キーワードについてのユーザ評価値の累積が行われ、当該累積された各キーワードについてのユーザ評価値が蓄積されてゆくことになる。
なお、ユーザ評価値累積蓄積部34にそれまで存在しなかったキーワードが現れたときには、その都度、当該新キーワードがユーザ評価値累積蓄積部34に追加され、対応してユーザ評価値が記録される。
この結果、ユーザ評価値累積蓄積部34に記録されているキーワードのうち、ユーザ評価値が正方向に大きいものは、ユーザが気に入っているシーンに関連するキーワードであると考えることができる。
そこで、この実施形態では、ユーザ評価値累積蓄積部34へのキーワードについてのユーザ評価値の累積蓄積処理が終了すると、システムコントローラ部20は、キーワードランキング生成部35にユーザ評価値累積蓄積部34の蓄積情報を送ると共に、処理開始指示を送る。
キーワードランキング生成部35は、この実施形態では、キーワードを、図6に示すように、ユーザ評価値の大きい順に順位をつけて並べる処理を行う。ここで、このキーワードのランキング順位は、ユーザが嗜好するシーンおよび当該シーンを含む番組に対応するキーワードの順位である。
よって、このランキング順位の高いキーワードを用いることにより、ユーザが嗜好するシーンやそのシーンを含む番組を検索して、抽出して再生することができる。この実施形態で提供するユーザ評価反映ダイジェスト再生モードは、ユーザが嗜好するシーンやそのシーンを含む番組のみを抽出して再生するモードである。
また、例えば、ランキング順位の高いキーワードをEPGデータ中の番組説明文字情報などに含む番組を検索して、それを予約して記録するようにすることもできる。この実施形態で提供するユーザ評価反映予約録画モードは、その一例である。
なお、ユーザ評価値生成部33、ユーザ評価値累積蓄積処理部34およびキーワードランキング生成部35は、データを記憶するメモリ部を除き、システムコントローラ部20のCPUがソフトウエア処理として実行するように構成することもできる。
次に、再生モード時の処理動作について、説明する。ユーザは、リモートコマンダ22を用いて、あるいは、記録再生装置の操作ボタンを通じて、いずれかの再生モードの開始指示のコマンド入力をする。すると、その操作情報が、ユーザインターフェース部21を通じてシステムコントローラ部20に供給され、このシステムコントローラ部20による制御の下で、記録再生装置は、上述したような再生処理を行なう。
そして、通常再生モードにおいては、前述したように、ノーマル速度再生をした区間、早送り再生した区間、スキップ再生した区間、巻き戻し再生した区間の情報を保持する。そして、再生終了後、前述したように、再生された番組についての付加情報ファイルを取得して、各シーンについてのユーザ評価値生成処理、各キーワードについてのユーザ評価値累積蓄積処理、ユーザ評価値に基づくキーワードのランキング付与処理などを行う。
なお、各シーンについてのユーザ評価値生成処理は、再生中に平行して行うこともできる。その場合には、再生に先立ち、付加情報ファイルを、付加情報ファイル処理部15を通じて取得しておく。
そして、通常再生モードにおいて、再生中に、ノーマル速度再生をしている区間においては、その区間に含まれるシーンを、付加情報ファイル処理部15から得た付加情報ファイルから探し、そのシーンのユーザ評価値に「0」を付与し、当該シーンを特定する隣接する対のシーン変化点の情報に対応して保持するようにする。
また、ユーザにより上述したような早送り再生操作がなされたときには、システムコントローラ部20は、その操作入力をユーザ入力インターフェース部21を通じて検出し、当該早送り再生指示された区間に含まれるシーンを、付加情報ファイル処理部15から得た付加情報ファイルから探し、そのシーンついてのユーザ評価値として「−5」を付与し、当該シーンを特定する隣接する対のシーン変化点の情報に対応して保持するようにする。
また、ユーザにより上述したようなスキップ再生操作がなされたときには、システムコントローラ部20は、その操作入力をユーザ入力インターフェース部21を通じて検出し、当該スキップ再生指示された区間に含まれるシーンを、付加情報ファイル処理部15から得た付加情報ファイルから探し、そのシーンについてのユーザ評価値として「−10」を付与し、当該シーンを特定する隣接する対のシーン変化点の情報に対応して保持するようにする。
また、ユーザにより上述したような巻き戻し再生操作がなされたときには、システムコントローラ部20は、その操作入力をユーザ入力インターフェース部21を通じて検出し、当該巻き戻し再生指示された区間に含まれるシーンを、付加情報ファイル処理部15から得た付加情報ファイルから探し、そのシーンについてのユーザ評価値として「+10」を付与し、当該シーンを特定する隣接する対のシーン変化点の情報に対応して保持するようにする。
なお、通常再生モードがユーザにより指示されたときに、記録媒体5または記録媒体7に記録された放送番組のデータに、付加情報ファイルが対応して記録されていないときには、この実施形態の記録再生装置は、ユーザに「必要な付加情報ファイルがないので、生成しますか?」という問合せをする。
そして、この問合せに対して、ユーザが「YES(付加情報ファイルを生成する)」と返答操作したときには、記録再生装置のシステムコントローラ部20は、再生モードの実行に先立ち、記録された放送番組の記録データを読み出して、再生処理部12および再生デコード部13を通じて特徴量検出部9に供給し、特徴量検出、およびシーン変化点検出部10でのシーン変化点検出を実行するように制御する。そして、前述の図3に示したような、検出されたシーン変化点の情報と各シーンに関連するキーワードとを含む付加情報ファイルを、再生対象の放送番組の記録データに対応付けて、記録媒体5または外部記録媒体7に記録するようにする。
これにより、例えば、外部記録媒体7が、この実施形態の記録再生装置によって記録されたものではなく、付加情報ファイルが記録されていなくても、この実施形態の記録再生装置におけるユーザ評価反映ダイジェスト再生モードやユーザ評価反映予約録画モードを行なうための資料となるキーワードのユーザ評価値に反映させることができるようになる。また、付加情報ファイルが記録されていない外部記録媒体7から記録媒体5に複製記録された放送番組の記録データについても同様である。
<ユーザ評価反映ダイジェスト再生モード>
このユーザ評価反映ダイジェスト再生モードにおいては、システムコントローラ部20は、キーワードランキング生成部35で生成されたキーワードのランキング順位の上位のキーワードを取得すると共に、付加情報ファイルのシーン変化点の組の情報および関連するキーワードの情報を先読みして取得する。
そして、取得したランキング上位のキーワードを検索子として、付加情報ファイルから取得したキーワードを検索して、同じキーワードを含むシーン変化点の組、つまり、シーン(分節区間)を検出する。そして、検出したシーンのみを抽出して、そのシーンのみを再生(ダイジェスト再生)する。
すなわち、この実施形態では、ランキング上位のキーワードを検索子として、付加情報ファイルから取得したキーワードを検索して、同じキーワードを含むシーン変化点の組、つまり、シーン(分節区間)をユーザに推薦して再生して提示するようにする。
このとき、検索子とするキーワードは、ランキングの最上位(第1位)のみを用いるようにしても良いし、ランキングの第何位までを検索子として用いるかをユーザが指定できるようにしても良い。
なお、このユーザ評価反映ダイジェスト再生モードにおいても、抽出されたシーンについても早送り再生されたり、スキップ再生されたりした場合、また、巻き戻し再生されたりした場合には、そのシーンについては、対応するユーザ評価値を付与し、その付与したユーザ評価値を、ユーザ評価値累積蓄積部34において、当該キーワードについての累積ユーザ評価値として累積し、蓄積するようにする。
なお、このユーザ評価反映ダイジェスト再生モードがユーザにより指示されたときに、記録媒体5または記録媒体7に記録された放送番組のデータに、付加情報ファイルが対応して記録されていないときには、記録再生装置は、ユーザに「必要な付加情報ファイルがないので、ユーザ評価反映再生モードはできません」というメッセージを出して、注意を喚起するようにする。
<ユーザ評価反映予約録画モード>
このユーザ評価反映予約録画モードが設定されると、システムコントローラ部20は、キーワードランキング生成部35で生成されたキーワードのランキング順位の上位のキーワードを取得すると共に、EPG取得部8からのEPGデータを取得する。
そして、取得したランキング上位のキーワードを検索子として、EPGデータの各放送番組の説明文字テキストを検索し、同じキーワードを含む放送番組を検出する。そして、検出した放送番組を、EPGデータに基づいて予約録画設定をして、予約録画を実行するようにする。
すなわち、この実施形態では、ランキング上位のキーワードを検索子として、EPGデータの各放送番組の説明文字テキストを検索し、同じキーワードを含む放送番組を検出し、検出した放送番組を、予約録画する番組としてユーザに推薦して提示するようにするものである。
[実施形態の記録再生装置における主要な動作処理の説明]
次に、上述のように構成された実施形態の記録再生装置における主要な動作処理を、図7〜図13のフローチャートを参照しながら説明する。以下に説明するフローチャートの各ステップの処理は、主としてシステムコントローラ部20を構成するマイクロコンピュータが実行するものである。
すなわち、図7に示すように、システムコントローラ部20は、ユーザ入力インターフェース部21の出力を監視することにより、ユーザ操作入力があるか否か監視する(ステップS1)。そして、ユーザ操作入力があったと判別したときには、システムコントローラ部20は、当該ユーザ操作入力は、記録開始操作であるか否か判別し(ステップS2)、記録開始操作であると判別したときには、記録処理ルーチンと、特徴量検出およびシーン変化点検出ルーチンと、クローズドキャプションの字幕・文字スーパーの情報の検出およびキーワード検出処理を、並行して実行する(ステップS3)。
そして、システムコントローラ部20は、記録停止のユーザ操作があったか否か監視し(ステップS4)、記録停止のユーザ操作を検知しないときには、ステップS3に戻って、記録処理ルーチンと、特徴量検出およびシーン変化点検出ルーチンとの並行実行を継続し、記録停止のユーザ操作がなされたと判別したときには、記録後処理を実行(ステップS5)した後、ステップS1に戻る。
ステップS5の記録後処理においては、システムコントローラ部20は、シーン変化点検出部10で検出されたシーン変化点のデータ(シーン変化点の組)と、キーワード検出部32で検出されたキーワードとを、互いに関連つけたデータを含めた付加情報ファイルを、記録した放送番組の記録データに対応付けて記録媒体に記録する。この場合、付加情報ファイルと、記録した放送番組の記録データとの対応付けは、記録した放送番組の識別情報により行なわれる。
なお、記録処理と並行してリアルタイムでなされたシーン変化点検出の検出結果、そのものを付加情報ファイルに含めて記録するのではなく、記録後処理において、シーン変化点検出部10で、記録処理と並行してなされたシーン変化点検出の検出結果にさらに検討を加えて、より確からしいシーン変化点を検出し、当該より確からしいシーン変化点を付加情報ファイルに含めて記録するようにしてもよい。
ステップS3で実行される、記録処理と特徴量検出およびシーン変化点検出処理との並行処理ルーチンを、図8のフローチャートを参照して説明する。
先ず、システムコントローラ部20は、記録しようとするデータを取り込む(ステップS11)。すなわち、システムコントローラ部20は、記録しようとするデータが受信部2からの放送番組の情報(映像情報および音声情報)であるときには、受信部2で選択受信した放送番組の情報を記録信号エンコード処理部3に供給するように指示する。
次に、システムコントローラ部20は、記録信号エンコード処理部3に、放送番組の情報を記録エンコード処理するように指示し(ステップS12)、記録処理部4を制御して、ユーザにより選択指定された記録媒体5または外部記録媒体7の一方に、その記録エンコード処理された放送番組の映像情報および音声情報を記録する(ステップS13)。
そして、システムコントローラ部20は、ユーザにより記録終了指示がなされたか否か判別し(ステップS14)、記録終了指示がなされてはいないと判別したときには、ステップS11に戻って、記録処理を継続する。
ステップS11〜S14は、記録処理ルーチンを構成するもので、この記録処理ルーチンと並行して特徴量検出およびシーン変化点検出処理ルーチンがなされる。すなわち、システムコントローラ部20は、ステップS11で取り込まれた記録すべきデータを、特徴量検出部9にも供給するように指示すると共に、特徴量検出部9に特徴量検出処理の実行を指示する(ステップS15)。なお、前述したように、この例では、記録信号エンコード処理部3からの圧縮途中のデータが特徴量検出部9に供給される。
特徴量検出部9は、この実行指示を受けて、前述した種々の特徴量の検出を実行し、その処理結果をシーン変化点検出部10に供給する。シーン変化点検出部10は、システムコントローラ部20の実行指示を受けて、上述したシーン変化点の検出処理を実行する(ステップS16)。そして、システムコントローラ部20は、特徴量検出部9で検出された特徴量データと、シーン変化点検出部10で検出されたシーン変化点のデータとを、内蔵するバッファメモリなどに記憶保持しておく(ステップS17)。ここで、特徴量検出部9で検出された特徴量データをも記憶保持しておくのは、より確からしいシーン変化点を、再生成する際に用いるためである。
そして、システムコントローラ部20は、ユーザにより記録終了指示がなされたか否か判別し(ステップS18)、記録終了指示がなされてはいないと判別したときには、ステップS15に戻って、特徴量検出およびシーン変化点検出の処理を継続する。
なお、ステップS14の判別処理とステップS18の判別処理は、実際には、別々の判別処理ではなく、同一の判別処理であるが、ここでは、2つの処理ルーチンを並列に記述したため、便宜上、図8のように、2つの判別ステップに分離して記載している。
そして、システムコントローラ部20は、ステップS14、ステップS18で、ユーザにより記録終了指示がなされたと判別したときには、シーン変化点検出部10に指示して、バッファメモリに保持している特徴量データとシーン変化点データを用いて、記録媒体5または記録媒体7に、放送番組の記録データと共に記録する、より確からしいシーン変化点の情報を生成させるようにする(ステップS19)。
そして、システムコントローラ部20は、記録処理部4に対し、図3に示したように、ステップS19で生成されたシーン変化点の情報と、隣接する2個のシーン変化点で特定される各シーンに関連するキーワードとを含めた付加情報ファイルを、前記記録データに対応付けた状態で、放送番組の記録データを記録した記録媒体に記録するように制御する(ステップS20)。なお、シーン変化点の対で特定されるシーンに関連するキーワードの検出処理は、キーワード検出部32で別途行われるものである。
このキーワードの検出処理を図9のフローチャートを参照して説明する。
すなわち、まず、システムコントローラ部20の制御指示に基づき、字幕・文字スーパー検出部32は、クローズドキャプションデータを検出し、字幕・文字スーパーのテキストデータを抽出する(ステップS31)。
字幕・文字スーパー検出部32は、抽出した字幕・文字スーパーのテキストデータをキーワード検出部32に供給する。キーワード検出部32は、取得した字幕・文字スーパーのテキストデータについて、前述した形態素解析処理をして、キーワードを検出する(ステップS32)。
そして、検出したキーワードを、放送側からの指定情報である字幕・文字スーパーの挿入指示区間の情報に対応して保持する(ステップS33)。なお、キーワード検出部32は、シーン変化点検出部10からのシーン変化点の情報を、字幕・文字スーパー検出部31を通じて取得するので、挿入指定区間は、シーン変化点の対からなるシーン区間に変換して保持しておく。
次に、システムコントローラ部20は、ユーザにより記録終了操作がなされたか否かを判別し(ステップS34)、記録終了ではないと判別したときには、ステップS31に戻って、上述したキーワード検出処理を繰り返す。
また、ステップS34で、記録終了したと判別したときには、キーワード検出部32は、シーン変化点検出部10によりステップS19で生成されたシーン変化点の情報を取得し、取得したシーン変化点の対と、キーワードとを関連つける処理をする。このシーン変化点の対と、それぞれに関連するキーワードの情報は、前述したように、ステップS20において、記録媒体に記録される(ステップS35)。
次に、図7のステップS2で、操作入力は、記録開始操作ではないと判別したときには、システムコントローラ部20は、操作入力は、ユーザ評価反映ダイジェスト再生開始指示操作であるか否か判別する(図10のステップS41)。このステップS41で、操作入力は、ユーザ評価反映ダイジェスト再生開始指示操作ではないと判別したときには、システムコントローラ部20は、操作入力は、通常再生開始指示操作であるか否か判別し(ステップS42)、そうではないと判別したときには、その操作入力に応じたその他の処理を実行する(ステップS43)。そして、その処理後、ステップS1に戻り、このステップS1以降の処理を繰り返す。
そして、ステップS42で、操作入力は、通常再生開始指示操作であると判別したときには、システムコントローラ部20は、操作入力により指定された再生対象の記録媒体5または7から、指定された放送番組の記録データと、その付加情報ファイル(シーン変化点の情報および各シーンに関連するキーワードの情報を含む)とを読み出し、ノーマル速度再生を開始する(ステップS44)。
システムコントローラ部20は、このノーマル速度での再生中は、早送り再生開始操作がなされたか否か監視し(ステップS45)、早送り再生開始操作がなされたと判別したときには、読み出し制御部11、再生処理部12、再生デコード処理部13などを制御して、その時点から早送り再生を実行する(ステップS46)。そして、次に、システムコントローラ部20は、早送り再生終了操作を監視し(ステップS47)、早送り再生終了操作がなされたことを判別するまで、ステップS46の早送り再生の実行を継続する。
そして、ステップS47で、早送り再生終了操作がなされたと判別すると、システムコントローラ部20は、読み出し制御部11、再生処理部12、再生デコード処理部13などを制御して、その時点からノーマル速度再生に戻す(ステップS48)。
そして、システムコントローラ部20は、この例では、記録媒体から読み出された付加情報ファイルから早送り再生されたシーンのシーン変化点の情報およびキーワードの情報を取得して、ユーザ評価値生成部33にそれらの情報を渡すと共に、ユーザ評価値生成部33に、早送り再生された各シーンについてのユーザ評価値の生成および保持処理を指示する(ステップS49)。
この指示を受けたユーザ評価値生成部33では、例えば前述した図2の例のように、早送り再生に割り当てられたユーザ評価値を用いて、早送り再生されたシーンのユーザ評価値を生成し、生成したユーザ評価値を早送り再生されたシーンのシーン変化点に対応して、例えば内蔵するバッファメモリに保持する。
その後、システムコントローラ部20は、ユーザ操作入力として再生終了指示操作があったか否か判別し(図11のステップS64)、再生終了指示操作がないと判別したときには、図10のステップS45に戻る。
図10のステップS45で、早送り再生開始操作はなされていないと判別したときには、システムコントローラ部20は、ユーザによりスキップ再生指示操作がなされたか否か判別する(図11のステップS61)。
このステップS61で、スキップ再生指示操作がなされたと判別したときには、システムコントローラ部20は、指示された再生位置から所定時間分後の再生位置、例えば15秒後の再生位置までをスキップしてノーマル速度再生を行なう(ステップS62)。
そして、システムコントローラ部20は、記録媒体から読み出された付加情報ファイルからスキップ再生されたシーンのシーン変化点の情報およびキーワードの情報を取得して、ユーザ評価値生成部33にそれらの情報を渡すと共に、ユーザ評価値生成部33に、スキップ再生された各シーンについてのユーザ評価値の生成および保持処理を指示する(ステップS63)。
この指示を受けたユーザ評価値生成部33では、例えば前述した図2の例のように、スキップ再生に割り当てられたユーザ評価値を用いて、スキップ再生されたシーンのユーザ評価値を生成し、生成したユーザ評価値をスキップ再生されたシーンのシーン変化点に対応して、例えば内蔵するバッファメモリに保持する。
その後、システムコントローラ部20は、ユーザ操作入力として再生終了指示操作があったか否か判別し(ステップS64)、再生終了指示操作がないと判別したときには、図10のステップS45に戻る。
また、ステップS61で、スキップ再生指示操作もなされていないと判別したときには、システムコントローラ部20では、ユーザにより巻き戻し再生指示操作がなされたか否か判別する(ステップS68)。
このステップS68で、巻き戻し再生指示操作がなされたと判別したときには、システムコントローラ部20は、指示された再生位置から所定時間分前の再生位置、例えば15秒後の再生位置まで巻き戻して再度同じ区間をノーマル速度再生を行なう(ステップS69)。
そして、システムコントローラ部20は、記録媒体から読み出された付加情報ファイルから巻き戻し再生されたシーンのシーン変化点の情報およびキーワードの情報を取得して、ユーザ評価値生成部33にそれらの情報を渡すと共に、ユーザ評価値生成部33に、巻き戻し再生された各シーンについてのユーザ評価値の生成および保持処理を指示する(ステップS70)。
この指示を受けたユーザ評価値生成部33では、例えば前述した図2の例のように、巻き戻し再生に割り当てられたユーザ評価値を用いて、巻き戻し再生されたシーンのユーザ評価値を生成し、生成したユーザ評価値を巻き戻し再生されたシーンのシーン変化点に対応して、例えば内蔵するバッファメモリに保持する。
また、ステップS68で巻き戻し再生指示操作がなされていないと判別したときには、当該区間は、ノーマル再生されたと判断して、記録媒体から読み出された付加情報ファイルからノーマル再生されたシーンのシーン変化点の情報およびキーワードの情報を取得して、ユーザ評価値生成部33にそれらの情報を渡すと共に、ユーザ評価値生成部33に、ノーマル再生された各シーンについてのユーザ評価値の生成および保持処理を指示する(ステップS71)。
この指示を受けたユーザ評価値生成部33では、例えば前述した図2の例のように、ノーマル再生に割り当てられたユーザ評価値を用いて、ノーマル再生されたシーンのユーザ評価値を生成し、生成したユーザ評価値をノーマル再生されたシーンのシーン変化点に対応して、例えば内蔵するバッファメモリに保持する。
なお、この例では、ノーマル再生に対しては、ユーザ評価値は「0」としているので、ステップS71は設けずに、ステップS68で巻き戻し再生指示操作がなされていないと判別したときには、このステップS68からステップS71に飛ぶようにしても良い。
ステップS70またはステップS71の後、システムコントローラ部20は、ユーザ操作入力として再生終了指示操作があったか否か判別し(ステップS64)、再生終了指示操作がないと判別したときには、図10のステップS45に戻る。
そして、ステップS64で、再生終了指示操作があったと判別したときには、システムコントローラ部20は、再生を終了させる処理(ステップS65)をした後、ステップS49、ステップS63、ステップS70およびステップS71でバッファメモリに保持していた、それぞれの再生態様で再生されたシーンのシーン変化点の対(シーン)と、生成した更新されたユーザ評価値とを用いて、各シーンのキーワードについてのユーザ評価値を更新し、当該更新したキーワードのユーザ評価値を、キーワードランキング生成部35に供給するようにする(ステップS66)。
キーワードランキング生成部35は、取得した更新されたキーワードのユーザ評価値のデータを用いて、ユーザ評価値についてのランキング更新処理をする(ステップS67)。
そして、図7のステップS1に戻り、このステップS1以降の処理を繰り返す。
以上のようにして、この実施形態によれば、再生をするごとに、記録された放送番組の情報の各シーンについてユーザ評価値が付与され、当該シーンに関連するキーワードのユーザ評価値として累積蓄積されるものである。
<ユーザ評価反映ダイジェスト再生モードの処理動作>
図10のステップS41で、ユーザ評価反映ダイジェスト再生開始指示がなされたと判別したときには、システムコントローラ部20は、記録媒体5または7から放送番組の記録データと付加情報ファイルとを読み出すと共に、付加情報ファイルの各シーンに関連するキーワードのデータと、キーワードランキング生成部35で生成されたキーワードのランキングの上位のキーワードとに基づいて再生制御を行なうユーザ評価反映ダイジェスト再生処理を行なう(ステップS50)。
図12に、このユーザ評価反映ダイジェスト再生処理の一例のフローチャートを示す。このユーザ評価反映ダイジェスト再生処理においては、システムコントローラ部20は、記録媒体から付加情報ファイルのシーン変化点の情報および各シーンについてのユーザ評価値を先読みして、当該先読みしたユーザ評価値に応じた再生をするように、読み出し制御部11、再生処理部12、再生デコード出力部13を制御するようにする。
すなわち、システムコントローラ部20は、先ず、ユーザに対して、ランキングの第何位までのキーワードを用いてダイジェスト再生するかを問い合わせるメッセージを表示部24に表示して、その問い合わせの表示に対応してユーザにより入力されるランキングの第何位までのキーワードを用いるかの検索子の設定を受け付ける(ステップS81)。
次に、システムコントローラ部20は、記録媒体5または7から再生対象の放送番組の記録データに対応する付加情報ファイルを読み出して付加情報ファイル処理部15に一時保持する。そして、最初のシーン変化点の区間および当該区間に対応するシーンのキーワードを読み出す(ステップS82)。
そして、システムコントローラ部20は、この例においては、読み出したキーワードが、検索子のキーワードを含むか否か判別し(ステップS83)、検索子のキーワードを含むと判別したときには、当該シーンは抽出して再生(ダイジェスト再生)すると決定して、ダイジェスト再生リストに載せる(ステップS84)。
そして、付加情報ファイルの最後のシーンまで上述のキーワード検索処理を終了したか否か判別し(ステップS85)、最後のシーンまで上述のキーワード検索処理を終了してはいないと判別したときには、付加情報ファイルから次のシーンのキーワードを読み出して(ステップS86)、ステップS83に戻り、上述のキーワードの検索処理を繰り返す。
また、ステップS83で、読み出したキーワードが、検索子のキーワードを含まないと判別したときには、システムコントローラ部20は、当該シーンはダイジェスト再生しないとしてダイジェスト再生リストに載せる処理はすることなくステップS85に進み、上述したステップS85以降の処理を繰り返す。
ステップS85で、最後のシーンまで上述のキーワード検索処理を終了したと判別したときには、システムコントローラ部20は、ダイジェスト再生リストに従って、当該リストに載っているシーンの記録データのみを記録媒体5または7から読み出して、順次に再生をするダイジェスト再生を実行する(ステップS87)。
そして、ダイジェスト再生が終了したか否か判別し(ステップS88)、終了していないと判別したときには、ステップS87に戻ってダイジェスト再生を繰り返し、再生が終了したと判別したときには、この処理ルーチンを終了する。
以上のように、この実施形態においては、記録された放送番組を、再生して視聴したとき、再生時における早送り再生指示操作やスキップ再生指示操作などのユーザ操作があった区間(シーン)に対しては、再生視聴に対してユーザ評価値を割り当てることにより、記録された放送番組の情報の各シーン(分節区間)に対応してユーザ評価値を記録するようにする。
そして、各シーンに関連して記録したキーワードに、当該シーンに付与されたユーザ評価値を累積蓄積するようにする。したがって、キーワードのユーザ評価値が高いものは、ユーザが嗜好しているシーンに関連するキーワードとなり、このキーワードを用いてダイジェスト再生を行うことにより、ユーザは、自分が嗜好しているシーンのみを再生して視聴することができる。
また、この実施形態においては、シーン変化点が検出されて付加情報ファイルに記録されている。このシーン変化点に対応して、当該シーン変化点のフレームのサムネイル画像を生成してユーザに提示し、各隣接するシーン変化点で特定されるシーンの内容を、ユーザに報知するようにすることができる。
したがって、ユーザは、このサムネイル画像を見ながら、ユーザ評価反映ダイジェスト再生モードにおいて、ダイジェスト再生リストに載せられたシーンの内容を確認することができる。そして、ユーザは、その内容確認の結果をダイジェスト再生リストに反映させ、視聴を要しないシーンを削除したりすることができる。
このダイジェスト再生モードにおけるシーン削除指示も、ユーザ操作であるので、その削除されたシーンに関連するキーワードは負のユーザ評価値を割り当てて、キーワードのユーザ評価値の更新をするようにしてもよい。
<ユーザ評価反映予約録画モード>
次に、キーワードのユーザ評価値の用いたユーザ評価反映予約録画モードの処理について図13のフローチャートを用いて説明する。
システムコントローラ部20は、先ず、ユーザに対して、ランキングの第何位までのキーワードを用いてユーザ評価反映予約録画をするかを問い合わせるメッセージを表示部24に表示して、その問い合わせの表示に対応してユーザにより入力されるランキングの第何位までのキーワードを用いるかの検索子の設定を受け付ける(ステップS91)。
次に、システムコントローラ部20は、EPG取得部8からの放送番組のEPGデータを取得し、ステップS91で受け付けたランキング上位のキーワードを検索子として、EPGデータの各放送番組の説明文字テキストを検索し(ステップS92)、当該放送番組が、検索子のキーワードと同じキーワードを含むか否か判別する(ステップS93)。
そして、システムコントローラ部20は、検索対象となっている放送番組は、検索子のキーワードと同じキーワードを含むと判別したときには、当該放送番組は予約録画する放送番組としてセットする(ステップS94)。
そして、EPGの最後の放送番組まで上述のキーワード検索処理を終了したか否か判別し(ステップS95)、最後の放送番組まで上述のキーワード検索処理を終了してはいないと判別したときには、EPGデータの次の放送番組を指定して(ステップS96)、ステップS92に戻り、上述のキーワードの検索処理を繰り返す。
また、ステップS93で、検索対象となっている放送番組は、検索子のキーワードと同じキーワードを含まないと判別したときには、システムコントローラ部20は、当該放送番組は予約録画しないとして予約録画のセット処理はすることなくステップS95に進み、上述したステップS95以降の処理を繰り返す。
ステップS95で、最後の放送番組まで上述のキーワード検索処理を終了したと判別したときには、システムコントローラ部20は、セットされた予約録画番組の一覧リストを表示部24において表示してユーザに提示し(ステップS97)、実行しない予約録画番組のリストからの削除指示を受け付けて、当該削除指示された予約録画番組のセットを開示する(ステップS98)。
次に、ユーザからの予約録画実行指示を受けたか否か判別し(ステップS99)、予約録画実行指示を受けてはいないと判別したときには、ステップS98に戻り、また、予約録画実行指示を受けたと判別したときには、システムコントローラ部20は、予約録画実行処理ルーチンを行うようにし(ステップS100)、この処理ルーチンを終了する。これにより、セットされている予約録画番組のすべての予約録画が実行される。
以上のようにして、この実施形態によれば、ユーザが嗜好するシーンを含む放送番組を自動的に予約録画することができる。
[実施形態の変形例およびその他の実施形態]
以上の実施形態では、シーンに関連するキーワードは、クローズドキャプションの字幕・文字スーパーのテキスト情報から検出するようにしたが、オープンキャプションにより画像中に重畳されている字幕や文字スーパーを、画像情報から検出し、当該検出した字幕や文字スーパーの情報から、テキスト情報を抽出し、キーワードを検出するようにしても良い。
また、各シーンの音声信号について文字認識を行ってテキスト情報に変換し、その変換したテキスト情報からキーワードを検出するようにしても良い。
また、上述の実施形態では、記録再生装置においてユーザ操作するユーザについては、区別しなかったが、例えば再生に先立ち、ユーザ識別情報を入力させるように構成して、各ユーザごとに、キーワードについてのユーザ評価値を累積蓄積して、ユーザごとの嗜好に応じたダイジェスト再生および予約録画をすることができる。
また、上述の実施形態では、キーワードのユーザ評価値は、ジャンル等の種別に関係なく、すべての記録放送番組情報の再生について累積加算して蓄積するようにしたが、例えば記録放送番組のジャンルなどの種別ごとに、ユーザ評価値累積蓄積部およびキーワードランキング生成部を設けて、ジャンルごとに、キーワードのユーザ評価値を累積加算して蓄積するようにして良い。
その場合には、ユーザ評価反映ダイジェスト再生モードやユーザ評価反映予約録画モードの際に、例えばジャンルを指定して、そのジャンルごとのユーザ評価値累積蓄積部およびキーワードランキング生成部におけるキーワードのユーザ評価値やランキングを用いると共に、ユーザ評価反映ダイジェスト再生やユーザ評価反映予約録画を実行することができる。この場合、ユーザ評価反映予約録画モードにおいては、EPGデータから指定されたジャンルの放送番組を先ず選択し、その選択された放送番組についてのEPGデータとしての説明のテキスト文字について、検索子として設定されたキーワードを含むか否かを判定するようにする。
なお、放送番組の種別に応じた分け方としては、ジャンルに限られるものではなく、例えば特定のアーティストが出演する放送番組をEPGデータから選択するなどの方法を用いることもできる。
なお、上述の実施形態においては、推薦手段は、ダイジェスト再生あるいは予約録画として、シーンや番組を推薦するようにしたが、推薦手段が行うシーンや放送番組の提示は、これらダイジェスト再生あるいは予約録画の場合にのみに限定されるものではないことは言うまでもない。
例えば、再生時に、検索子として設定されたランキングまでのキーワードを含むシーンはノーマル再生し、その他は早送り再生したり、ランキング上位のキーワードを含むシーンのサムネイルをユーザに提示し、その提示されたサムネイルをユーザが選択したら、そのサムネイルに対応するシーンを再生したりするようにしても良い。
[その他の変形例等]
上述の実施形態の受信部2は、地上デジタルテレビ放送の受信部の場合である他、地上アナログテレビ放送の受信部、衛星デジタルテレビ放送の受信部、ケーブルテレビ放送の受信部、インターネット配信されたテレビ放送の受信部であっても、この発明は適用可能である。
また、上述の実施形態は、テレビ放送番組の記録再生の場合に、この発明を適用した場合であるが、この発明は、テレビ放送番組の記録再生に限られるわけではなく、例えばラジオ放送番組の記録再生の他、種々の情報信号の記録再生に適用可能である。
また、シーン変化点で区分けされるシーン区間は、上述の実施形態のように、映像情報および音声情報の両方の特徴量から検出する場合のみではなく、映像情報のみの特徴量から、あるいは、音声情報の特徴量のみから検出するようにすることもできる。
この発明による記録再生装置の実施形態のハードウエア構成例を示すブロック図である。 この発明による記録再生装置の実施形態を説明するために用いる図である。 この発明による記録再生装置の実施形態を説明するために用いる図である。 この発明による記録再生装置の実施形態を説明するために用いる図である。 この発明による記録再生装置の実施形態を説明するために用いる図である。 この発明による記録再生装置の実施形態を説明するために用いる図である。 この発明による記録再生装置の実施形態における記録再生の処理動作を説明するためのフローチャートの一部である。 この発明による記録再生装置の実施形態における記録処理動作を説明するためのフローチャートである。 この発明による記録再生装置の実施形態におけるキーワード検出処理動作を説明するためのフローチャートである。 この発明による記録再生装置の実施形態における記録再生の処理動作を説明するためのフローチャートの一部である。 この発明による記録再生装置の実施形態における記録再生の処理動作を説明するためのフローチャートの一部である。 この発明による記録再生装置の実施形態におけるキーワードのユーザ評価値を用いた新規な再生処理動作を説明するためのフローチャートである。 この発明による記録再生装置の実施形態におけるキーワードのユーザ評価値を用いた新規な予約録画処理動作を説明するためのフローチャートである。
符号の説明
2…受信部、3…記録信号エンコード処理部、4…記録処理部、5…内蔵記録媒体、7…外部記録媒体、9…特徴量検出部、10…シーン変化点検出部、11…読み出し制御部、12…再生処理部、13…再生デコード出力部、15…付加情報ファイル処理部、31…字幕・文字スーパー検出部、32…キーワード検出部、33…ユーザ評価値生成部、34…ユーザ評価値累積蓄積部、35…キーワードランキング生成部

Claims (16)

  1. 情報信号を記録媒体に記録する情報信号記録手段と、
    前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
    前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出手段と、
    前記特徴量検出手段で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出手段と、
    前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得手段と、
    前記キーワード取得手段で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録手段と、
    ユーザの操作入力を検出するユーザ操作入力検出手段と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
    前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
    前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
    前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
    前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを前記分節区間のキーワードとして備える前記情報信号あるいは前記分節区間を、前記記録媒体に記録されている前記情報信号あるいは前記分節区間の中から検出して、ユーザに推薦して提示する推薦手段と、
    を備える記録再生装置。
  2. 通信網を通じて送られてくる情報信号を受信して、記録媒体に記録する情報信号記録手段と、
    前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
    前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出手段と、
    前記特徴量検出手段で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出手段と、
    前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得手段と、
    前記キーワード取得手段で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録手段と、
    ユーザの操作入力を検出するユーザ操作入力検出手段と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
    前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
    前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
    前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
    前記通信網を通じて送られてくる前記情報信号について、文字情報による関連情報を含む送信予定情報を受信する予定情報取得手段と、
    前記予定情報取得手段で取得した前記送信予定情報に含まれる前記文字情報中に、前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを含む送信予定の情報信号を検出して、ユーザに推薦して提示する推薦手段と、
    を備える記録再生装置。
  3. 情報信号を記録媒体に記録する情報信号記録手段と、
    前記記録媒体に記録された情報信号を読み出して再生する再生手段と、
    前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出手段と、
    前記特徴量検出手段で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出手段と、
    前記区切り検出手段で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得手段と、
    前記キーワード取得手段で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録手段と、
    ユーザの操作入力を検出するユーザ操作入力検出手段と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
    前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
    前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
    前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
    前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てが関連する前記分節区間または前記分節区間を含む情報信号は、通常再生するように制御する再生制御手段と、
    を備える記録再生装置。
  4. 請求項2に記載の記録再生装置において、
    前記推薦手段で推薦された前記送信予定の情報信号を自動記録する手段を備える
    ことを特徴とする記録再生装置。
  5. 請求項1、請求項2または請求項3に記載の記録再生装置において、
    前記情報信号は、テレビ放送信号の受信信号であって、
    前記キーワード取得手段は、前記テレビ放送信号に含まれるクローズドキャプションの字幕および文字スーパーのテキストデータから前記キーワードを抽出する
    ことを特徴とする記録再生装置。
  6. 請求項1、請求項2または請求項3に記載の記録再生装置において、
    前記情報信号は、テレビ放送信号の受信信号であって、
    前記キーワード取得手段は、前記テレビ放送信号に含まれるオープンキャプションの字幕および文字スーパーの情報から文字テキストデータを抽出して、前記キーワードを抽出する
    ことを特徴とする記録再生装置。
  7. 請求項1、請求項2または請求項3に記載の記録再生装置において、
    前記情報信号は、テレビ放送信号の受信信号であって、
    前記キーワード取得手段は、前記テレビ放送信号の音声信号を音声認識して、文字テキストデータを抽出して、前記キーワードを抽出する
    ことを特徴とする記録再生装置。
  8. 情報信号を記録媒体に記録する情報信号記録工程と、
    前記記録媒体に記録された情報信号を読み出して再生する再生工程と、
    前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出工程と、
    前記特徴量検出工程で検出された前記特徴量を記憶する特徴量記憶工程と、
    前記特徴量検出工程で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出工程と、
    前記区切り検出工程で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得工程と、
    前記キーワード取得工程で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録工程と、
    ユーザの操作入力を検出するユーザ操作入力検出工程と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出工程での検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成工程と、
    前記ユーザ評価値生成工程で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積工程と、
    前記ユーザ評価値累積蓄積工程で蓄積された前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング工程と、
    前記ランキング工程で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ工程と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付工程と、
    前記検索子受付工程で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを前記分節区間のキーワードとして備える前記情報信号あるいは前記分節区間を、前記記録媒体に記録されている前記情報信号あるいは前記分節区間の中から検出して、ユーザに推薦して提示する推薦工程と、
    を備える記録再生方法。
  9. 情報信号を記録媒体に記録する情報信号記録工程と、
    前記記録媒体に記録された情報信号を読み出して再生する再生工程と、
    前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出工程と、
    前記特徴量検出工程で検出された前記特徴量を記憶する特徴量記憶工程と、
    前記特徴量検出工程で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出工程と、
    前記区切り検出工程で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得工程と、
    前記キーワード取得工程で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録工程と、
    ユーザの操作入力を検出するユーザ操作入力検出工程と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出工程での検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成工程と、
    前記ユーザ評価値生成工程で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積工程と、
    前記ユーザ評価値累積蓄積工程で蓄積された前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング工程と、
    前記ランキング工程で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ工程と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付工程と、
    前記通信網を通じて送られてくる前記情報信号について、文字情報による関連情報を含む送信予定情報を受信する予定情報取得工程と、
    前記予定情報取得工程で取得した前記送信予定情報に含まれる前記文字情報中に、前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを含む送信予定の情報信号を検出して、ユーザに推薦して提示する推薦工程と、
    を備える記録再生方法。
  10. 情報信号を記録媒体に記録する情報信号記録工程と、
    前記記録媒体に記録された情報信号を読み出して再生する再生工程と、
    前記記録する情報信号および/または再生された情報信号について特徴量を検出する特徴量検出工程と、
    前記特徴量検出工程で検出された前記特徴量を記憶する特徴量記憶工程と、
    前記特徴量検出工程で検出された前記特徴量を用いて、前記情報信号の区切りを検出する区切り検出工程と、
    前記区切り検出工程で検出された前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードを取得するキーワード取得工程と、
    前記キーワード取得工程で取得された前記1以上のキーワードを、前記情報信号の前記分節区間のそれぞれに対応して前記記録媒体に記録する分節区間毎キーワード記録工程と、
    ユーザの操作入力を検出するユーザ操作入力検出工程と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出工程での検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成工程と、
    前記ユーザ評価値生成工程で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積工程と、
    前記ユーザ評価値累積蓄積工程で蓄積された前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング工程と、
    前記ランキング工程で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ工程と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付工程と、
    前記検索子受付工程で受け付けられた前記検索子として指定された順位までの前記キーワードの全てが関連する前記分節区間または前記分節区間を含む情報信号は、通常再生するように制御する再生制御工程と、
    を備えることを特徴とする記録再生方法。
  11. 情報信号が記録されると共に、前記情報信号についての特徴量が用いられて前記情報信号の区切りが検出され、前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードが前記情報信号および前記分節区間に対応付けられて記録されている記録媒体から前記情報信号を読み出して再生する再生手段と、
    ユーザの操作入力を検出するユーザ操作入力検出手段と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
    前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
    前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
    前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
    前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを前記分節区間のキーワードとして備える前記情報信号あるいは前記分節区間を、前記記録媒体に記録されている前記情報信号あるいは前記分節区間の中から検出して、ユーザに推薦して提示する推薦手段と、
    を備える再生装置。
  12. 情報信号が記録されると共に、前記情報信号についての特徴量が用いられて前記情報信号の区切りが検出され、前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードが前記情報信号および前記分節区間に対応付けられて記録されている記録媒体から前記情報信号を読み出して再生する再生手段と、
    ユーザの操作入力を検出するユーザ操作入力検出手段と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
    前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
    前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
    前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
    前記通信網を通じて送られてくる前記情報信号について、文字情報による関連情報を含む送信予定情報を受信する予定情報取得手段と、
    前記予定情報取得手段で取得した前記送信予定情報に含まれる前記文字情報中に、前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを含む送信予定の情報信号を検出して、ユーザに推薦して提示する推薦手段と、
    を備える再生装置。
  13. 情報信号が記録されると共に、前記情報信号についての特徴量が用いられて前記情報信号の区切りが検出され、前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードが前記情報信号および前記分節区間に対応付けられて記録されている記録媒体から前記情報信号を読み出して再生する再生手段と、
    ユーザの操作入力を検出するユーザ操作入力検出手段と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出手段の検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成手段と、
    前記ユーザ評価値生成手段で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積手段と、
    前記ユーザ評価値累積蓄積手段に蓄積されている前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング手段と、
    前記ランキング手段で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ手段と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付手段と、
    前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てが関連する前記分節区間または前記分節区間を含む情報信号は、通常再生するように制御する再生制御手段と、
    を備える再生装置。
  14. 情報信号が記録されると共に、前記情報信号についての特徴量が用いられて前記情報信号の区切りが検出され、前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードが前記情報信号および前記分節区間に対応付けられて記録されている記録媒体から前記情報信号を読み出して再生する再生工程と、
    ユーザの操作入力を検出するユーザ操作入力検出工程と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出工程での検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成工程と、
    前記ユーザ評価値生成工程で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積工程と、
    前記ユーザ評価値累積蓄積工程で蓄積された前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング工程と、
    前記ランキング工程で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ工程と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付工程と、
    前記検索子受付工程で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを前記分節区間のキーワードとして備える前記情報信号あるいは前記分節区間を、前記記録媒体に記録されている前記情報信号あるいは前記分節区間の中から検出して、ユーザに推薦して提示する推薦工程と、
    を備える再生方法。
  15. 情報信号が記録されると共に、前記情報信号についての特徴量が用いられて前記情報信号の区切りが検出され、前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードが前記情報信号および前記分節区間に対応付けられて記録されている記録媒体から前記情報信号を読み出して再生する再生手段と、
    ユーザの操作入力を検出するユーザ操作入力検出工程と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出工程での検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成工程と、
    前記ユーザ評価値生成工程で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積工程と、
    前記ユーザ評価値累積蓄積工程で蓄積された前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング工程と、
    前記ランキング工程で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ工程と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付工程と、
    前記通信網を通じて送られてくる前記情報信号について、文字情報による関連情報を含む送信予定情報を受信する予定情報取得工程と、
    前記予定情報取得工程で取得した前記送信予定情報に含まれる前記文字情報中に、前記検索子受付手段で受け付けられた前記検索子として指定された順位までの前記キーワードの全てを含む送信予定の情報信号を検出して、ユーザに推薦して提示する推薦工程と、
    を備える再生方法。
  16. 情報信号が記録されると共に、前記情報信号についての特徴量が用いられて前記情報信号の区切りが検出され、前記区切りの隣接するものにより特定される分節区間毎に、当該分節区間に対応付けられた1以上のキーワードが前記情報信号および前記分節区間に対応付けられて記録されている記録媒体から前記情報信号を読み出して再生する再生工程と、
    ユーザの操作入力を検出するユーザ操作入力検出工程と、
    前記ユーザの操作入力を、前記ユーザ操作入力検出工程での検出出力を監視することにより監視し、前記情報信号を正常に再生することを要求しない操作入力については、負の方向のユーザ評価値を付与するようにして、前記分節区間のそれぞれに対応して、前記操作入力に基づくユーザ評価値を生成するユーザ評価値生成工程と、
    前記ユーザ評価値生成工程で生成された前記分節区間のそれぞれについての前記ユーザ評価値を、前記分節区間の前記1以上のキーワードのそれぞれの評価値として対応させて、前記キーワード毎に前記ユーザ評価値を累積し、その累積した前記キーワード毎の評価値を蓄積するユーザ評価値累積蓄積工程と、
    前記ユーザ評価値累積蓄積工程で蓄積された前記キーワード毎の前記ユーザ評価値に基づいて、前記キーワードにユーザ評価値に応じた順位を付けるランキング工程と、
    前記ランキング工程で付与された順位において前記ユーザ評価値が高い上位第何位までのキーワードを検索子として用いるかの問い合わせをユーザに対して行なう問い合わせ工程と、
    前記問い合わせに対して前記ユーザにより入力される前記上位第何位までのキーワードを検索子として用いるかの指定を受け付ける検索子受付工程と、
    前記検索子受付工程で受け付けられた前記検索子として指定された順位までの前記キーワードの全てが関連する前記分節区間または前記分節区間を含む情報信号は、通常再生するように制御する再生制御工程と、
    を備える再生方法。
JP2006105036A 2006-04-06 2006-04-06 記録再生装置および記録再生方法 Expired - Fee Related JP4247638B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006105036A JP4247638B2 (ja) 2006-04-06 2006-04-06 記録再生装置および記録再生方法
US11/732,478 US8260108B2 (en) 2006-04-06 2007-04-03 Recording and reproduction apparatus and recording and reproduction method
EP20070251480 EP1843262A3 (en) 2006-04-06 2007-04-03 Recording and reproduction apparatus and recording and reproduction method
CN2007100920827A CN101051514B (zh) 2006-04-06 2007-04-06 记录和复现装置与记录和复现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006105036A JP4247638B2 (ja) 2006-04-06 2006-04-06 記録再生装置および記録再生方法

Publications (2)

Publication Number Publication Date
JP2007281856A JP2007281856A (ja) 2007-10-25
JP4247638B2 true JP4247638B2 (ja) 2009-04-02

Family

ID=38440157

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006105036A Expired - Fee Related JP4247638B2 (ja) 2006-04-06 2006-04-06 記録再生装置および記録再生方法

Country Status (4)

Country Link
US (1) US8260108B2 (ja)
EP (1) EP1843262A3 (ja)
JP (1) JP4247638B2 (ja)
CN (1) CN101051514B (ja)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009094658A (ja) * 2007-10-05 2009-04-30 Hitachi Ltd 関連情報提供装置、及び関連情報提供方法
JP5649769B2 (ja) * 2007-12-27 2015-01-07 京セラ株式会社 放送受信装置
JP4388128B1 (ja) 2008-08-29 2009-12-24 株式会社東芝 情報提供サーバ、情報提供方法及び情報提供システム
JP5106455B2 (ja) * 2009-03-18 2012-12-26 株式会社東芝 コンテンツ推薦装置及びコンテンツ推薦方法
JP5645096B2 (ja) * 2009-03-31 2014-12-24 カシオ計算機株式会社 動画処理装置、動画再生方法、動画録画方法、及びプログラム
JP5338450B2 (ja) 2009-04-22 2013-11-13 富士通株式会社 再生装置及びプログラム
JP2010267018A (ja) * 2009-05-13 2010-11-25 Canon Inc 情報処理装置及び情報処理方法
JP5300068B2 (ja) * 2009-06-10 2013-09-25 国立大学法人電気通信大学 動画推薦装置
JP5499566B2 (ja) * 2009-08-26 2014-05-21 日本電気株式会社 動画再生装置、動画再生方法及びプログラム
CN102511047A (zh) * 2010-05-14 2012-06-20 联发科技(新加坡)私人有限公司 视频节目的字幕消除方法以及相关视频显示系统
JP5537285B2 (ja) * 2010-06-28 2014-07-02 日本放送協会 要約映像生成装置及び要約映像生成プログラム
US8948568B2 (en) 2012-07-31 2015-02-03 Google Inc. Customized video
JP6440350B6 (ja) * 2013-09-06 2019-02-06 東芝映像ソリューション株式会社 電子機器、電子機器の制御方法、及びプログラム
JP6290046B2 (ja) * 2014-09-03 2018-03-07 株式会社東芝 映像装置および映像装置の制御方法
WO2020060113A1 (en) * 2018-09-21 2020-03-26 Samsung Electronics Co., Ltd. Method for providing key moments in multimedia content and electronic device thereof
US11895371B1 (en) * 2021-09-21 2024-02-06 Amazon Technologies, Inc. Media content segment generation and presentation

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5703655A (en) * 1995-03-24 1997-12-30 U S West Technologies, Inc. Video programming retrieval using extracted closed caption data which has been partitioned and stored to facilitate a search and retrieval process
US20030093790A1 (en) * 2000-03-28 2003-05-15 Logan James D. Audio and video program recording, editing and playback systems using metadata
JP2002112186A (ja) 2000-09-28 2002-04-12 Toshiba Corp 電子番組ガイド受信装置
JP3654173B2 (ja) 2000-11-02 2005-06-02 日本電気株式会社 番組選択支援装置、番組選択支援方法およびそのプログラムを記録した記録媒体
JP4708607B2 (ja) * 2001-07-03 2011-06-22 キヤノン株式会社 放送受信装置及びその制御方法
CN101969536B (zh) * 2002-01-30 2013-02-20 索尼公司 数据处理设备、用于数据处理设备的数据处理方法
JP4065142B2 (ja) * 2002-05-31 2008-03-19 松下電器産業株式会社 オーサリング装置およびオーサリング方法
JP2005110016A (ja) 2003-09-30 2005-04-21 Nippon Telegraph & Telephone West Corp 配信映像リコメンド方法、装置およびプログラム
EP1531626B1 (en) * 2003-11-12 2008-01-02 Sony Deutschland GmbH Automatic summarisation for a television programme suggestion engine based on consumer preferences
JP2005269510A (ja) * 2004-03-22 2005-09-29 Seiko Epson Corp ダイジェスト画像データの生成
JP2005302155A (ja) 2004-04-12 2005-10-27 Sharp Corp 情報再生装置、情報再生方法、コンピュータで実行可能なプログラム、及び記録媒体
US8402487B2 (en) * 2004-06-08 2013-03-19 Panasonic Corporation Program selection support device
JP2006025120A (ja) 2004-07-07 2006-01-26 Casio Comput Co Ltd 記録再生装置、遠隔制御装置
JP2006115052A (ja) 2004-10-13 2006-04-27 Sharp Corp コンテンツ検索装置とその入力装置、コンテンツ検索システム、コンテンツ検索方法、プログラム及び記録媒体

Also Published As

Publication number Publication date
JP2007281856A (ja) 2007-10-25
US20070248334A1 (en) 2007-10-25
CN101051514A (zh) 2007-10-10
US8260108B2 (en) 2012-09-04
EP1843262A2 (en) 2007-10-10
EP1843262A3 (en) 2012-10-31
CN101051514B (zh) 2010-05-26

Similar Documents

Publication Publication Date Title
JP4247638B2 (ja) 記録再生装置および記録再生方法
JP4757876B2 (ja) ダイジェスト作成装置およびそのプログラム
EP1708101B1 (en) Summarizing reproduction device and summarizing reproduction method
US20080138034A1 (en) Player for movie contents
KR101111537B1 (ko) 컨텐츠 시청 지원 장치 및 컨텐츠 시청 지원 방법
US20090129749A1 (en) Video recorder and video reproduction method
US20080059526A1 (en) Playback apparatus, searching method, and program
US20090164460A1 (en) Digital television video program providing system, digital television, and control method for the same
JP5135024B2 (ja) コンテンツのシーン出現を通知する装置、方法およびプログラム
JP4735413B2 (ja) コンテンツ再生装置およびコンテンツ再生方法
JP2008131413A (ja) 映像記録再生装置
US20100257156A1 (en) Moving picture indexing method and moving picture reproducing device
US7519269B2 (en) Video recording/reproducing apparatus and method based on program information
JP2008193585A (ja) 放送番組記録再生装置および放送番組記録再生方法
JP2007294020A (ja) 記録再生方法、記録再生装置、記録方法、記録装置、再生方法および再生装置
JP4376218B2 (ja) コンテンツ蓄積装置、コンテンツ蓄積方法及びプログラム記録媒体
JP2007066409A (ja) 記録再生装置および記録再生方法
JP2007110188A (ja) 記録装置、記録方法、再生装置および再生方法
US20050232598A1 (en) Method, apparatus, and program for extracting thumbnail picture
JP2007288300A (ja) 映像音声再生装置
JP4751231B2 (ja) 放送記録装置及び放送記録方法
JP4665670B2 (ja) 記録再生装置、記録再生方法、再生装置、再生方法、受信再生装置、および、受信再生方法
JPWO2007039995A1 (ja) ダイジェスト作成装置およびそのプログラム
JP2007288686A (ja) 放送記録装置及び放送記録方法
JP2008020767A (ja) 記録再生装置および方法、プログラム、並びに記録媒体

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080611

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081217

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081230

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120123

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130123

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140123

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees