JPWO2007132566A1 - 映像再生装置、映像再生方法、および映像再生用プログラム - Google Patents

映像再生装置、映像再生方法、および映像再生用プログラム Download PDF

Info

Publication number
JPWO2007132566A1
JPWO2007132566A1 JP2008515436A JP2008515436A JPWO2007132566A1 JP WO2007132566 A1 JPWO2007132566 A1 JP WO2007132566A1 JP 2008515436 A JP2008515436 A JP 2008515436A JP 2008515436 A JP2008515436 A JP 2008515436A JP WO2007132566 A1 JPWO2007132566 A1 JP WO2007132566A1
Authority
JP
Japan
Prior art keywords
video
user
section
concentration
playback
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008515436A
Other languages
English (en)
Other versions
JP5146315B2 (ja
Inventor
恭二 平田
恭二 平田
英司 粕谷
英司 粕谷
真澄 奥村
真澄 奥村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2008515436A priority Critical patent/JP5146315B2/ja
Publication of JPWO2007132566A1 publication Critical patent/JPWO2007132566A1/ja
Application granted granted Critical
Publication of JP5146315B2 publication Critical patent/JP5146315B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

再生対象となる映像または映像区間を視聴に必要とされる利用者の集中度に応じて分類する分類手段１２１と、利用者の映像に対する集中度を導出する利用者映像集中度導出手段１４０と、分類結果と利用者の映像に対する集中度とに基づいて、再生する映像または映像区間を選択する再生映像選択手段１２２と、再生映像選択手段により選択された映像または映像区間を再生する映像再生手段１３０とを備え、利用者の映像に対する集中度が低い場合に、視聴に必要な集中度が低い映像または映像区間を優先的に再生されるように動作する。

Description

本発明は、映像を再生する映像再生装置、映像再生方法、および映像再生用プログラムに関し、特に、他の作業と並行して映像視聴を行う環境下において、映像視聴状況に応じて映像の再生方法を動的に変化させる映像再生装置、映像再生方法、および映像再生用プログラムに関する。
従来、この種の映像再生装置、または映像提示装置は、あらかじめ装置内に蓄積された映像、または装置外から取得した映像を装置内に読み込み、そして、あらかじめ定義された順序で再生することによって、利用者に映像情報を提示する。利用者が再生順序や再生速度を変更する場合には、装置内にある早送りボタンやジャンプボタンを用いてインタラクティブに操作を行う。
映像視聴と同時に、映像視聴を含む他の作業を並行して行うための装置は、広く世の中に普及している。複数の映像を同時に視聴するための装置としては、例えば、装置内に複数のデコーダをもち、複数のウィンドウ（親子ウィンドウ）にて、複数の映像を同時に再生するテレビ受像機等の再生装置がある。また、計算機・携帯端末といった、１つまたは複数の映像ウィンドウに加えて、ウェブ閲覧、プログラミング、メイル生成などを行う複数のウィンドウを生成し、ウェブ閲覧等の別の作業を行いながら、映像視聴を同時に実現する映像再生装置がある。
他の作業（通話）と映像視聴を両立させる方法の一例が特許文献１に記載されている。特許文献１には、電話着信等による中断によって、番組の一部を見逃した場合に、見逃した区間の初めに遡って再開する映像音声視聴装置が記載されている。特許文献１に記載の映像音声視聴装置は、テレビ機能と録画機能と再生機能と移動電話機能とを備えた映像音声視聴装置が、着信時に映像再生を中断して中断位置を保持する再生中断手段と、通話が終了すると中断位置から再生動作を開始する再生制御手段とを有する。
特開２００５−２２３７７８号公報
他の作業と映像視聴とを並行して行う従来の方法には、以下のような問題点がある。まず、映像視聴と並行して行う、メイル生成やウェブ閲覧といった他の作業の操作が複雑になるという点である。また、別の作業に利用者が集中してしまった場合に、再生中の映像に十分な注意をさくことができなくなり、映像の重要な部分を見逃してしまう、または、重要な部分への理解が十分に行われなくなり、映像全体が理解できなくなるという点である。なお、逆に利用者が映像視聴に集中してしまった場合には、並行して行っている作業に十分な注意をさくことができなくなるため、並行して行う作業の効率が落ちてしまうという問題も生じる。
また、他の作業を行っている間（通話中）は映像視聴を中断するという特許文献１に記載の映像音声視聴装置の場合、利用者が他の作業を行っている間、映像が再生されないため、同一時間での映像視聴が十分に行われないという問題点がある。特に、他の作業の時間が長くなった場合、並行して行われる他の作業の状態、内容に関わらず作業中のすべての時間で一律に映像再生を中断するため、作業負荷が軽くなった時等、作業中に「ながら視聴」をしたいという場合に対応できない。
そこで、本発明は、他の作業と映像視聴の両方を同時に行う「ながら視聴」の環境下において、並行して行う作業の効率を落とすことなく、映像全体が理解されなくなるという問題を回避して、より効果的な映像視聴を実現することを目的とする。
さらに、他の作業を行っている間に、映像への理解を損なうことなく並行して映像視聴を継続することによって、時間効率の良い情報取得を実現することを目的とする。
本発明による映像再生装置は、映像の再生を行う映像再生装置であって、
再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類する分類手段と、
利用者の映像に対する集中度を示す利用者映像集中度を導出する利用者映像集中度導出手段と、
分類手段の分類結果を考慮し、利用者の現在の利用者映像集中度と、再生対象の各映像または各映像区間に必要な利用者の集中度とを比較して、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を優先的に再生する映像再生手段とを備えた
ことを特徴とする。
また、映像再生装置は、再生対象の映像または映像区間と、利用者の集中度とを関連付けて記憶する記憶部をさらに備え、分類手段は、記憶部を参照して再生対象の映像または映像区間を分類してもよい。
また、映像再生装置は、再生対象の映像を記憶する映像蓄積手段と、映像蓄積手段に記憶された映像に付随する情報であって、少なくとも映像区間を示す情報を含む付随情報を記憶する映像付随情報記憶手段と、利用者映像集中度導出手段によって導出された利用者映像集中度と、分類手段によって分類された再生対象の各映像または各映像区間の分類結果とに基づいて、再生する映像または映像区間を選択する再生映像選択手段とを備え、分類手段は、映像蓄積手段に記憶された各映像または映像の各区間を、視聴に必要とされる利用者の集中度に応じて分類し、映像再生手段は、再生映像選択手段によって選択された映像または映像区間を再生してもよい。
また、再生映像選択手段は、利用者映像集中度が所定の閾値よりも低い場合に、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を選択してもよい。
また、映像再生装置は、過去に再生された映像または映像区間を履歴情報として記憶する映像再生履歴記憶手段を備え、再生映像選択手段は、利用者映像集中度導出手段によって導出された利用者映像集中度と、分類手段によって分類された再生対象の各映像または各映像区間の分類結果と、映像再生履歴記憶手段に記憶された履歴情報とに基づいて、再生する映像または映像区間を選択してもよい。
また、再生映像選択手段は、映像再生履歴記憶手段に記憶された履歴情報で示される過去に再生された映像または映像区間以外で、視聴に必要な集中度が、現在の利用者映像集中度よりも低い映像または映像区間を選択してもよい。
また、映像再生装置は、各映像間または映像の各区間間の従属関係を示す関連情報を記憶する関連情報記憶手段を備え、再生映像選択手段は、利用者映像集中度導出手段によって導出された利用者映像集中度と、分類手段によって分類された再生対象の各映像または各映像区間の分類結果と、関連情報記憶手段に記憶された関連情報とに基づいて、これまでに再生した映像または映像区間と従属関係を有し、かつ、視聴に必要な集中度が、現在の利用者映像集中度よりも低い映像または映像区間を選択してもよい。
また、再生映像選択手段は、再生中の映像区間と同一の映像に属する映像区間から再生する映像区間を選択してもよい。
また、関連情報記憶手段は、少なくとも、各映像間または映像の各区間間の時間的連続性を示す情報、または、意味的従属性を示す情報を含む関連情報を記憶してもよい。
また、再生映像選択手段は、再生中の映像区間と時間的に連続する映像区間の視聴に必要とされる利用者の集中度が、現時点の利用者映像集中度よりも高い場合に、現時点の利用者映像集中度よりも低い集中度で視聴可能で、かつ、再生中の映像区間と従属関係を有しない映像区間を選択してもよい。
また、映像再生装置は、利用者映像集中度の変化を検出し、再生中の映像または映像区間の視聴に必要とされる利用者の集中度が、現時点の利用者映像集中度よりも低くなった場合に、再生を中断する中断検出手段を備えていてもよい。
また、中断検出手段は、利用者映像集中度の変化を検出し、再生中の映像または映像区間の視聴に必要とされる利用者の集中度が、現時点の利用者映像集中度よりも低くなった場合に、再生中の映像区間の終了まで再生を行った上で、再生を中断し、再生映像選択手段は、映像区間終了時点で検出される利用者映像集中度に基づいて、再生する映像区間を選択してもよい。
また、映像再生装置は、再生を中断した位置である中断点を示す情報を記憶する中断点記憶手段を備え、中断検出手段は、再生を中断した場合に、中断点記憶手段に、その際の中断点を記憶し、再生映像選択手段は、中断検出手段によって再生が中断された後、利用者映像集中度が、中断点と時間的に連続する映像区間の視聴に必要な集中度よりも高くなった場合に、中断点から映像の再生を再開させるよう映像区間を選択してもよい。
また、再生映像選択手段は、再生を中断した後、利現時点で再生中の映像区間と従属関係を有する全映像区間の再生が終了した後に、中断点から映像の再生を再開させるよう映像区間を選択してもよい。
また、中断検出手段は、利用者映像集中度が、再生中の映像区間に時間的に連続する映像区間の視聴に必要とされる利用者の集中度よりも高くなった場合に、再生を中断するとともに、中断点記憶手段にその際の中断点を記憶し、再生映像選択手段は、中断検出手段によって再生が中断された場合には、中断した時点で検出された利用者映像集中度よりも低い集中度で視聴可能な映像区間のうち、再生中の映像区間と意味的に従属関係のない映像区間を選択し、さらに、意味的に従属関係のない映像区間の再生が終了した際に、利用者映像集中度が、中断点と時間的に連続する映像区間の視聴に必要とされる利用者の集中度よりも高ければ、中断点から映像の再生を再開させるよう映像区間を選択してもよい。
また、分類手段は、再生対象の映像または映像区間の、ジャンル、重要度、難易度、利用者嗜好との合致度を示す情報のうちのいずれか１つ以上の情報に基づいて、その映像または映像区間の視聴に必要な集中度を算出し、算出した集中度に応じた分類を行ってもよい。
また、分類手段は、難易度として、映像または映像区間に含まれる単位時間あたりの音声量、単位時間あたりに提示される文字数のうちのいずれか一つ以上の情報を用いてもよい。
また、映像再生装置は、利用者の能力、嗜好、映像視聴の目的を示す情報のうちのいずれか１つ以上を含む利用者情報を取得する利用者情報取得手段を備え、分類手段は、利用者情報取得手段が取得した利用者情報に応じて、映像または映像区間の視聴に必要な集中度を変更してもよい。なお、利用者情報を取得するとは、例えば、利用者に入力させたり、過去に再生した履歴情報から導出することである。
また、利用者映像集中度導出手段は、映像の再生状況、並行して行われている他の作業への集中度、映像の視聴環境を示す情報のうちのいずれか１つ以上の情報に基づいて、利用者の映像に対する集中度を推定することによって、利用者映像集中度を導出してもよい。
また、利用者映像集中度導出手段は、映像の再生状況として、再生している映像の画面サイズ、画面の位置、再生音声の音量のうちのいずれか１つ以上の情報を用いてもよい。
また、利用者映像集中度導出手段は、並行して行われている他の作業への集中度として、立ち上がっている各アプリケーションの種類、画面サイズ、画面位置、単位時間あたりの情報入力量のうちのいずれか１つ以上の情報を用いてもよい。
また、利用者映像集中度導出手段は、並行して行われている他の作業への集中度として、単位時間あたりのキーストローク数を用いてもよい。
また、利用者映像集中度導出手段は、映像の視聴環境として、映像再生を行っている時間、位置情報、再生場所の騒音量のうちのいずれかひとつ以上の情報を用いてもよい。
また、利用者映像集中度導出手段は、利用者の視線情報に基づいて、利用者の映像に対する集中度を推定してもよい。
また、映像再生装置は、映像の再生の停止および再開を制御する停止開始制御手段を備え、停止開始制御手段は、所定の条件に基づいて判断した結果、再生する映像または映像区間が存在しない場合には、利用者映像集中度が、映像再生に必要な集中度になるまで、映像の再生を停止してもよい。
また、映像再生装置は、利用者の操作に応じて、再生の停止または再開を指示する旨の情報を入力する入力手段を備え、停止開始制御手段は、入力手段から入力される利用者からの停止指示を示す情報を検出した場合に、再生を停止し、映像または映像区間の再選択を行ってもよい。
また、映像再生装置は、利用者に、再生する映像または映像区間を選択させる選択手段を備え、停止開始制御手段は、入力手段から入力される利用者からの停止指示を示す情報を検出した場合に、再生を停止し、選択手段によって映像または映像区間の再選択が行われるように制御してもよい。
また、停止開始制御手段は、入力手段を介して利用者からの停止指示を示す情報が入力された場合に、再生を停止し、再生映像選択手段によって映像または映像区間の再選択が行われるように制御し、再生映像選択手段は、停止開始制御手段からの指示を受けて、停止した映像または映像区間を除いた映像または映像区間の中から、所定の条件に基づいて選択してもよい。
また、映像再生装置は、入力手段を介して利用者からの停止指示を示す情報が入力された場合に、停止指示の対象となった映像または映像区間の分類結果を変更する分類結果更新手段を備えていてもよい。
また、本発明による映像再生方法は、
映像の再生を行う映像再生方法であって、
再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類し、
利用者の映像に対する集中度を示す利用者映像集中度を導出し、
分類手段の分類結果を考慮し、利用者の現在の利用者映像集中度と、再生対象の各映像または各映像区間に必要な利用者の集中度とを比較して、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を優先的に再生する
ことを特徴とする。
また、映像再生方法は、再生対象の映像または映像区間と、利用者の集中度とを関連付けて記憶する記憶部をさらに備え、分類手段は、記憶部を参照して再生対象の映像または映像区間を分類してもよい。
また、映像再生方法は、再生対象の映像を記憶し、記憶された映像に付随する情報であって、少なくとも映像区間を示す情報を含む付随情報を記憶し、記憶された各映像または映像の各区間を、視聴に必要とされる利用者の集中度に応じて分類し、利用者の映像に対する集中度を示す利用者映像集中度を導出し、導出された利用者映像集中度と、分類された再生対象の各映像または各映像区間の分類結果とに基づいて、再生する映像または映像区間を選択し、選択された映像または映像区間を再生してもよい。
また、本発明による映像再生用プログラムは、
映像の再生を行うための映像再生用プログラムであって、
コンピュータに、
再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類する処理、
利用者の映像に対する集中度を示す利用者映像集中度を導出する処理、および
分類手段の分類結果を考慮し、利用者の現在の利用者映像集中度と、再生対象の各映像または各映像区間に必要な利用者の集中度とを比較して、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を優先的に再生する処理を
実行させる。
また、映像再生用プログラムは、再生対象の映像または映像区間と、利用者の集中度とを関連付けて記憶する記憶部をさらに備え、分類手段は、記憶部を参照して再生対象の映像または映像区間を分類してもよい。
また、映像再生用プログラムは、再生対象の映像と、再生対象の映像に付随する情報であって、少なくとも映像区間を示す情報を含む付随情報とを記憶する記憶装置を備えたコンピュータに、再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類する処理、利用者の映像に対する集中度を示す利用者映像集中度を導出する処理、導出された利用者映像集中度と、分類された再生対象の各映像または各映像区間の分類結果とに基づいて、再生する映像または映像区間を選択する処理、および選択された映像または映像区間を再生する処理を実行させてもよい。
本発明によれば、分類手段が再生対象の映像または映像区間を、視聴に必要な集中度に応じて分類し、利用者映像集中度導出手段が利用者の映像に対する集中度を導出し、再生映像選択手段が、利用者の映像に対する集中度に応じて、再生対象の映像または映像区間を選択的に再生するので、他の作業への集中度が高い時に、利用者が「ながら視聴」をしやすい映像または映像区間が優先的に選択されて再生されるようになる。従って、他の作業を並行に行いながらも、重要な部分への理解が進まなくなるなどの映像理解の欠落を生じることのない映像視聴を達成できる。
また、本発明によれば、他の作業の作業状態に応じて、映像区間の再生および提供が行われるので、他の作業中にも映像視聴を継続することができ、理解可能な範囲内で、時間効率のよい情報取得を実現することができる。
本発明は、ホームサーバ、カーオーディオ、携帯端末ほか、映像の再生を行う情報処理装置に好適に適用できる。
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本実施の形態による映像再生装置の構成例を示すブロック図である。 本実施の形態による映像再生装置の映像登録動作の一例を示すフローチャートである。 分類手段１２１の構成例を示すブロック図である。 本実施の形態による映像再生装置の映像再生動作の一例を示すフローチャートである。 利用者映像集中度導出手段１４０の構成例を示すブロック図である。 第２の実施の形態による映像再生装置の構成例を示すブロック図である。 第２の実施の形態の映像登録動作の一例を示すフローチャートである。 第２の実施の形態の映像再生動作の一例を示すフローチャートである。 再生映像選択手段２２２が行う映像区間の選択動作の一例を示すフローチャートである。 第３の実施の形態による映像再生装置の構成例を示すブロック図である。 第３の実施の形態の映像登録動作の一例を示すフローチャートである。 第３の実施の形態の映像再生動作の一例を示すフローチャートである。 再生映像選択手段３２２が行う再生映像選択動作の一例を示すフローチャートである。 第４の実施の形態による映像再生装置の構成例を示すブロック図である。 第４の実施の形態の映像登録動作の一例を示すフローチャートである。 分類手段４２１の構成例を示すブロック図である。 第４の実施の形態の映像再生動作の一例を示すフローチャートである。 第５の実施の形態による映像再生装置の構成例を示すブロック図である。 第５の実施の形態の映像登録動作の一例を示すフローチャートである。 第５の実施の形態の映像再生動作の一例を示すフローチャートである。 第６の実施の形態による映像再生装置の構成例を示すブロック図である。
実施の形態１．
以下、本発明の実施の形態を図面を参照して説明する。図１は、本実施の形態による映像再生装置の構成例を示すブロック図である。
図１に示す映像再生装置は、映像の再生を行う映像再生装置であって、再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類する分類手段１２１と、利用者の映像に対する集中度を示す利用者映像集中度を導出する利用者映像集中度導出手段１４０と、分類手段１２１の分類結果を考慮し、利用者の現在の利用者映像集中度と、再生対象の各映像または各映像区間に必要な利用者の集中度とを比較して、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を優先的に再生する映像再生手段１３０とを備える。
また、図１の映像再生装置は、再生対象の映像または映像区間と、利用者の集中度とを関連付けて記憶する分類結果記憶手段１１３をさらに備え、分類手段１２１は、分類結果記憶手段１１３を参照して再生対象の映像または映像区間を分類する。
図１に示す映像再生装置は、蓄積部１１０と、制御部１２０と、映像再生手段１３０と、利用者映像集中度導出手段１４０と、再生／停止制御手段１５０と、映像登録手段１６０とを備える。
蓄積部１１０は、映像および本発明を実施するために必要なメタデータを蓄積する記憶装置であって、映像蓄積手段１１１と、映像／区間情報記憶手段１１２と、分類結果記憶手段１１３とを含む。また、制御部１２０は、本発明を実施するための各種制御を行う処理装置であって、分類手段１２１と、再生映像選択手段１２２とを含む。蓄積部１１０は、例えば、ハードディスク、フラッシュメモリ、ＤＶＤ、ＣＤ等の記憶装置によって実現される。なお、蓄積部１１０は、単一の形態を有している必要はなく、ハードディスク、フラッシュメモリ、ＤＶＤ、ＣＤ等のうちの複数からなる複合体であってもかまわない。また、専用の記憶装置である必要はなく、他の再生用の映像蓄積装置や、プライベートコンテンツなどの蓄積装置を兼用してもかまわない。
映像蓄積手段１１１は、再生対象となる映像を記憶する。映像／区間情報記憶手段１１２は、映像蓄積部１１１に記憶されている各映像に関する情報、または各映像とその映像の区間（映像区間）とに関する情報を記憶する。なお、映像区間とは、映像内容の意味的、または映像情報の信号処理的にまとまった一連の映像シーケンスを指す。なお、映像区間は、一階層である必要はなく、章や節といった複数の階層であってもよい。映像／区間情報記憶手段１１２は、例えば、複数の映像の中から１つの映像を選択的に再生していくという利用方法をとる場合には、映像を識別する映像識別情報と、その映像に付随する情報とを対応づけて記憶する。また、例えば、１つの映像の中からも特定の区間を選択的に再生していくという利用方法をとる場合には、さらに、その映像における映像区間を識別する区間識別情報と、その映像区間の開始位置および終了位置を含む映像区間に付随する情報とを対応づけて記憶する。
なお、映像に付随する情報とは、例えば、映像のジャンル（ドラマ，お笑い，スポーツ等）、登場人物やロケ地といった書誌情報、内容の概要等である。また、映像区間に付随する情報とは、例えば、映像区間の概要、生成元が定めた重要等である。以下、映像／区間情報記憶手段１１２が記憶する情報を映像／区間情報という。また、映像／区間情報記憶手段１１２の記憶単位、すなわち内部的な再生単位である映像または映像区間のことを、単に、映像シーケンスと表現する場合がある。
分類手段１２１は、映像蓄積手段１１１に記憶される映像またはその映像の各区間を、視聴に必要とされる利用者の集中度（以下、視聴可能集中度という。）に基づいて分類する。分類の例として、例えば映像または映像区間中の単位時間当たりに提示されるテロップなどの文字数や、発話される音声の数、物体の動きの量などのメディア情報を解析し、これらの複雑度から視聴可能集中度を算出して分類を行ってもよい。また、映像や音声を解析することにより、該当する映像区間の意味情報を抽出し、映像全体の中での重要度（意味的重要度）を評価して、これをもって視聴可能集中度とし、映像または映像区間の分類を行ってもよい。なお、映像区間の意味的重要度を評価するために、映像作成者や登録者などが手動で付与したアノテーション（注釈）等のメタデータを利用することも可能である。
更には、利用者があらかじめ登録したキーワード等から推測される利用者嗜好と、評価対象の映像または映像区間との一致度に基づいて、視聴可能集中度を導出してもよい。なお、視聴可能集中度をこれらの情報（メディア情報、意味情報、利用者嗜好等）から導出するだけなく、あらかじめ付与された視聴可能集中度を読み込んで、これを基に分類を行う方法や、更に、利用者が修正を加えるという方法を用いることも可能である。分類結果記憶手段１１３は、分類手段１２１による分類結果を記憶する。以下、分類結果記憶手段１１３が記憶する情報を分類結果情報という。分類結果情報は、例えば、分類手段１２１が導出した視聴可能集中度をそのまま用いてもよいし、視聴可能集中度を度合いに応じて分類した際の分類識別を示す情報（例えば、レベル１〜ｎ）であってもよい。なお、分類結果情報は、専用の記憶装置に記憶してもよいし、映像蓄積手段１１１や映像／区間情報記憶手段１１２と同じ記憶媒体に保存、記憶してもよい。また、記憶形式も映像蓄積手段１１１、映像／区間情報記憶手段１１２と同じ枠組みの中に記憶してもよいし、独立して記憶してもよい。
利用者映像集中度導出手段１４０は、利用者の映像視聴に対する集中度（以下、利用者映像集中度という。）を導出する。利用者映像集中度導出手段１４０は、例えば、利用者の動作を観察するセンサと、それを解釈する制御手段とを含み、センサから入力される情報に基づいて、利用者の映像視聴に対する集中度の推定を行う。利用者映像集中度導出手段１４０は、例えば、映像提示環境を読み取るセンサを有し、映像提示の際の画面サイズや画面位置、音量といったセンサ情報に基づいて計算することによって、利用者映像集中度を推定してもよい。
また、メイル生成やウェブ閲覧など、並行して行っている他の作業がある場合、これらの作業環境を読み取るセンサを有し、並行して立ち上がっている他の作業の種類や画面サイズや画面位置、入力文字数などを計測し、他の作業に対する集中度を算出し、算出した他の作業の集中度に基づいて、利用者映像集中度を算出してもよい。また、他の作業への集中度は、利用者の操作入力を監視するセンサを有し、装置全体への単位時間あたりのキー入力数など、本来映像視聴には必要のない操作の総数をもって算出することも可能である。
また、広く環境の検出を行うセンサを有し、映像視聴が行われている場所や回りの騒音、時刻などの環境情報に基づいて、利用者映像集中度を算出してもよい。また、カメラや生体センサなどを有し、利用者の視線情報や、心拍、網膜、脳波などの利用者の状態を観測して、利用者映像集中度を算出する方法も考えられる。
再生映像選択手段１２２は、再生対象の各映像または各映像区間の中から、映像／区間情報記憶手段１１２に記憶される付随情報と、分類結果記憶手段１１３に記憶される分類結果情報（視聴可能集中度）と、利用者映像集中度導出手段１４０によって導出される利用者映像集中度とに基づいて、再生すべき映像シーケンスを決定する。再生映像選択手段１２２は、例えば、利用者映像集中度導出手段１４０から所定のタイミング（定期的または変化を検出した際）に出力される利用者映像集中度をモニタリングしながら、現在の利用者映像集中度の値と、分類結果記憶手段１１３に記憶されている各映像または各映像区間の視聴可能集中度の値とを比較して、候補区域を選択してもよい。また、選択する方法として、現在再生中の映像シーケンスの情報を利用する方法や、独立して選択する方法、過去の再生履歴を蓄積して、再生履歴を利用する方法を用いてもよい。
再生／停止制御手段１５０は、利用者からの指示入力に応じて、映像再生の開始および停止の制御を行う。映像再生手段１３０は、映像蓄積手段１１１が蓄積する映像の中から、再生映像選択手段１２２が選択した映像シーケンスを再生する。映像再生手段１３０は、例えば、再生映像選択手段１２２から再生すべき映像シーケンスを識別する識別情報を受け取り、識別情報で示される映像または映像区間を映像蓄積手段１１１から読み出して再生してもよい。なお、映像再生手段１３０は、通常再生だけでなく、スロー再生や、中断、高速再生、繰り返し再生といった特殊再生機能をサポートしていてもよい。
映像登録手段１６０は、再生対象となる映像、および、その映像と必要に応じてその映像の区間とに関する情報の登録を行う。映像登録手段１６０は、例えば、再生対象の映像として、アンテナや受信回路、デコーダなどを備える受信端末を介して本装置に入力された放送信号や、インターネット等の通信ネットワークを介して受信した映像信号、ビデオカムコーダ等の画像入力装置を介して入力されたビデオ信号を映像蓄積手段１１１に登録する。なお、映像とともに、その映像のメタデータが含まれて入力される場合には、その映像のメタデータを、その映像を識別する識別情報に対応づけて映像／区間情報として映像／区間情報記憶手段１１２に登録してもよい。なお、映像／区間情報記憶手段１１２に記憶する映像／区間情報は、映像に付随して映像提供者が提供する情報に限らず、映像登録手段１６０が、映像蓄積手段１１１に記憶してある映像を読み込んで解析することによって、動的に導出してもよい。また、さらに、利用者が編集機能を用いて手動で付与してもよい。
次に、本実施の形態の動作について説明する。本実施の形態の動作には、大きく分けて、映像登録動作と、映像再生動作の２つの動作がある。まず、映像登録動作について説明する。図２は、本実施の形態による映像再生装置の映像登録動作の一例を示すフローチャートである。図２に示すように、本実施の形態では、映像登録時に、映像または映像区間を、視聴に必要な利用者の集中度に応じて分類する。
まず、映像登録手段１６０は、映像およびその映像に付随するメタデータの読み込みを行う（ステップＳ１０１）。映像登録手段１６０は、例えば、本装置が備えるアンテナや、受信回路、デコーダを介して放送信号を受信する。また、例えば、インターネットを介して映像信号を受信する。また、例えば、接続されたビデオカムレコーダから出力される映像情報を入力する。また、映像登録手段１６０は、映像に付随するメタデータが存在する場合、メタデータも合わせて読み込む。
次に、映像登録手段１６０は、必要に応じて、読み込んだ映像を一続きのシーケンスに分離して、映像区間を抽出する（ステップＳ１０２）。映像登録手段１６０は、例えば、信号特徴の連続性および非連続性を利用して映像のショット分割を行うことによって、映像区間を抽出する。また、例えば、映像中からフェード・ワイプなどの視覚効果を検出し、シーンの切り替わりとする方法や、映像中の音声を解析し、意味的に変化した場所を境界とする方法、映像に付加された台本情報等に基づいてショット分割する方法、あらかじめ映像に付加された章やキャプチャーなどの区間情報を用いる方法によって、映像区間を抽出してもよい。
次に、映像登録手段１６０は、読み込んだ映像を映像蓄積手段１１１に登録する（ステップＳ１０３）。また、映像蓄積手段１１１に登録した映像に付随して読み込んだ、または生成したメタデータを映像／区間情報として、映像／区間情報記憶手段１１２に登録する（ステップＳ１０４）。また、映像区間を抽出した場合には、各映像区間に割り当てられた識別情報とともに、その映像区間の開始点および終了点を含めて、映像／区間情報記憶手段１１２に登録する。
次に、分類手段１２１は、映像登録手段１６０が映像蓄積手段１１１に登録した映像、または、その映像の各映像区間を、視聴可能集中度に応じて分類する（ステップＳ１０５）。分類手段１２１は、映像蓄積手段１１１に登録された映像と、映像／区間情報記憶手段１１２に登録されたその映像、またはその映像の各映像区間に関する情報とに基づいて、その映像またはその映像の各映像区間の視聴可能集中度を算出し、算出した視聴可能集中度に応じて分類する。
図３は、分類手段１２１の構成例を示すブロック図である。図３に示すように、映像読み込み手段１２１１と、区間情報読み込み手段１２１２と、付属情報読み込み手段１２１３と、映像解析手段１２１４と、映像レベル集中度導出手段１２１５と、映像区間レベル集中度導出手段１２１６と、集中度統合手段１２１７と、分類生成手段１２１８と、出力手段１２１９とを含む。
映像読み込み手段１２１１は、映像蓄積手段１１１から再生対象の映像を読み込む。区間情報読み込み手段１２１２は、必要に応じて、映像／区間情報記憶手段１１２から各区間の開始点および終了点を示す情報を読み込む。付属情報読み込み手段１２１３は、映像／区間情報記憶手段１１２から映像または映像区間に付随する情報を読み込む。映像解析手段１２１４は、映像内容を解析し、その映像または各映像区間の視聴可能集中度を算出するために必要な特徴量の抽出を行う。
映像解析手段１２１４は、例えば、特徴量として、映像中に表示されるテロップ等の文字情報を抽出してカウントを行い、単位時間当たりの文字数を算出する。また例えば、音声認識を行い、映像または各映像区間内に発話される音声量をカウントする。また例えば、音声認識および映像認識の組み合わせによって、映像または各映像区間の意味情報を抽出して、重要度を導出する。
映像レベル集中度導出手段１２１５は、映像解析手段１２１４が抽出した映像レベルでの特徴量と、付属情報読み込み手段１２１３が読み込んだ映像単位での付随情報とに基づいて、映像レベルでの視聴に必要な集中度を導出する。映像レベル集中度導出手段１２１５は、例えば、映像解析手段１２１４が導出した特徴量の各項目について、重要度に応じてあらかじめ重み係数を定めておき、各スコアの総和を取ってもよい。また例えば、全映像中の平均と分散とを算出し正規化する方法などが考えられる。映像区間レベル集中度導出手段１２１６は、必要に応じて、映像レベル集中度導出手段１２１５が映像全体に対して行った処理と同様の処理を、各映像区間に対して行い、映像区間レベルでの視聴に必要な集中度を導出する。
集中度統合手段１２１７は、映像レベルでの視聴に必要な集中度と、必要に応じて映像区間レベルでの視聴に必要な集中度とを勘案し、最終的な映像または映像区間の視聴可能集中度を導出する。集中度統合手段１２１７は、例えば、映像ジャンルが視聴に高い集中度を必要とするドラマであっても、映像区間が視聴に高い集中度を必要としない情景の部分であるといった場合も考慮し、総合的な評価を行う。集中度統合手段１２１７は、例えば、重み付け係数を用いた和をとる、または双方の最大値または最小値をとるなどの方法を用いてもよい。
分類生成手段１２１８は、再生対象の全映像、または全映像区間を、集中度統合手段１２１７が導出した視聴可能集中度で分類する。出力手段１２１９は、分類生成手段１２１８による分類結果を出力する。出力手段１２１９は、例えば、視聴可能集中度を所定の尺度で分類識別した情報（例えば、レベル１〜ｎ）を出力してもよいし、視聴可能集中度が既に分類識別された情報として導出される場合には視聴可能集中度を分類結果を示す情報としてそのまま出力してもよい。なお、本例はあくまで導出の一例であり、視聴可能集中度の導出に、本例示の一部分を扱う、または、本例示に他の特徴情報を加えて導出してもかまわない。
分類結果記憶手段１１３は、分類手段１２１が出力する、映像または映像区間の視聴可能集中度を記憶する（ステップＳ１０６）。
次に、映像再生動作について説明する。図４は、本実施の形態による映像再生装置の映像再生動作の一例を示すフローチャートである。図４に示すように、本実施の形態では、視聴時に観察された利用者の映像に対する集中度に応じて再生する映像または映像区間を選択しながら映像を再生する。
まず、再生／停止制御手段１５０は、映像再生手段１３０に再生開始の指示を出すとともに、利用者映像集中度導出手段１４０に利用者の映像に対する集中度（利用者映像集中度）の抽出の指示を出す（ステップＳ２０１）。
利用者映像集中度導出手段１４０は、利用者映像集中度を導出する（ステップＳ２０２）。図５は、利用者映像集中度導出手段１４０の構成例を示すブロック図である。図５に示すように、映像再生環境検出手段１４０１と、他作業環境検出手段１４０２と、視聴環境検出手段１４０３と、視聴者状態検出手段１４０４と、集中度算出手段１４０５と、出力手段１４０６とを含む。
映像再生環境検出手段１４０１は、映像が再生されている環境を検出する。具体例として、映像再生時の画面サイズや、画面の位置（中央か、周辺か）、再生音量などを検出する。他作業環境検出手段１４０２は、映像視聴と並行して行われているメイル作成、ウェブ閲覧、ゲーム、他の映像視聴などの他の作業に対する環境情報を検出する。具体例として、同時に行われている他の作業の種類と数を検出する。また、例えば、他の作業をウィンドウシステムにて実行している場合には、それぞれのウィンドウサイズ、ウィンドウの位置、音響出力している際の音量、キー入力を行っている場合の平均キーストロークなどを検出する。
視聴環境検出手段１４０３は、視聴環境に関する環境情報を検出する。具体例として、映像を再生している時刻、季節、連続再生時間（どれくらい映像を見続けているか）、場所情報、周囲の騒音情報などを検出する。なお、視聴環境検出手段１４０３は、必要に応じて、環境検出センサを含む。視聴者状態検出手段１４０４は、視聴者の状態を検出する。具体的には、カメラ情報を用いた視線位置（映像画像を見ているか否か）、利用者の疲労度、時間当たりの視線の動き量などを検出する。なお、これらは一例であり、上記の指標となる情報を必要に応じてセンサを用いて取得してもよい。
集中度算出手段１４０５は、映像再生環境検出手段１４０１が検出した情報（再生環境を示す情報）と、他作業環境検出手段１４０２が検出した情報（他作業環境を示す情報）と、視聴環境検出手段１４０３が検出した情報（視聴環境を示す情報）と、視聴者状態検出手段１４０４が検出した情報（視聴者状態を示す情報）とを統合して、視聴者の映像に対する集中度を算出する。集中度算出手段１４０５は、例えば、上記で示した検出手段（１４０１〜１４０４）の出力に対して、対応する集中度の値をテーブル形式または数式の形で記憶しておき、数値換算した後、あらかじめ定めた重み係数に従って総和をとってもよい。また、各センサの値の履歴を記憶しておき、時間的変化（一次微分）を、検出値に加味するといった処理を行ってもよい。出力手段１４０６は、集中度算出手段１４０５が算出した利用者映像集中度を出力する。
再生映像選択手段１２２は、利用者映像集中度導出手段１４０によって導出された利用者映像集中度と、分類結果記憶手段１１３に記憶されている再生対象の各映像または各映像区間の分類結果（視聴可能集中度）とに基づいて、再生する映像または映像区間を選択する（ステップＳ２０３）。再生映像選択手段１２２は、現在の利用者映像集中度と、再生対象の各映像または各映像区間の視聴可能集中度とを照らし合わせることによって、観察された利用者映像集中度と同程度、またはそれ以下の集中度で視聴可能な映像または映像区間を抽出、その中のひとつを選択する。そして、選択した映像または映像区間の映像シーケンスを映像再生手段１３０に出力する。再生映像選択手段１２２は、例えば、映像区間を選択する場合には、映像／区間情報記憶手段１１２に記憶されている映像区間の開始点および終了点を示す情報を映像再生手段１３０に出力してもよい。なお、再生映像選択手段１２２は、提示順序制御を開始する基準となる集中度（基準集中度）を定めておき、利用者映像集中度が基準集中度よりも低い場合にのみ、集中度に基づいて提示順序制御を行ってもよい。
映像再生手段１３０は、入力された映像シーケンスを再生する（ステップＳ２０４）。映像再生手段１３０は、再生映像選択手段１２２によって選択された映像または映像区間の再生が終了するまで再生を続ける（ステップＳ２０５）。選択された映像または映像区間の再生が終了した場合には、再生対象の映像または映像区間の全ての再生が終了するまで、再生する映像シーケンスの選択を繰り返し行う（ステップＳ２０２に戻る）。再生対象の全映像または全映像区間の再生が終了した場合には、映像再生処理を終了する（ステップＳ２０６のＹｅｓ）。
以上のように、本実施の形態によれば、利用者の映像への集中度が低い時に、観察された集中度（利用者映像集中度）より低い集中度で視聴可能な映像または映像区間を選択的に再生することができるので、利用者が、「ながら視聴」をしやすい映像または映像区間が優先的に選択されて再生される。従って、他の作業を行った状態でも映像内容の理解を妨げることなく映像視聴することが可能となる。また、自動的に再生する映像または映像区間を選択するので、映像選択に係る負担をかけることなく、また、映像視聴によって並行して行う他の作業の効率を落とすことなく、より効果的な映像視聴を実現できる。
実施の形態２．
次に、本発明を実施するための第２の実施の形態について、図面を参照して説明する。図６は、第２の実施の形態による映像再生装置の構成例を示すブロック図である。図６に示す映像再生装置は、蓄積部２１０と、制御部２２０と、映像再生手段２３０と、利用者映像集中度導出手段２４０と、映像ファイル選択手段２５０と、映像登録手段２６０とを備える。蓄積部２１０は、映像蓄積手段２１１と、映像／区間情報記憶手段２１２と、分類結果記憶手段２１３と、映像区間関連情報記憶手段２１４と、映像再生履歴記憶手段２１５と、映像中断点記憶手段２１６とを含む。また、制御部２２０は、分類手段２２１と、再生映像選択手段２２２とを含む。
図６に示すように、本実施の形態による映像再生装置は、図１に示す第１の実施の形態と比べて、再生／停止制御手段１５０の代わりに映像ファイル選択手段２５０を備える点、および、蓄積部２１０が、映像区間関連情報記憶手段２１４と映像再生履歴記憶手段２１５と映像中断点記憶手段２１６とを更に含む点で異なる。
本実施の形態では、利用者がひとつの映像を指定した際に、他の作業の作業状況を考慮しながら、映像区間の再生順序を制御する。
映像ファイル選択手段２５０は、利用者の操作に従って、再生対象となる映像ファイルを選択し、再生開始を指示する。
また、映像蓄積手段２１１は、再生対象となる映像を映像ファイルとして記憶する。映像区間関連情報記憶手段２１４は、蓄積部２１０に蓄積された映像の各映像区間の従属関係や連続性等の相互関係を示す映像区間関連情報を記憶する。なお、ここで従属関係とは、二つの区間α，βがあったときに区間α，区間βの順で見ることを要請されている関係をいう。例えば、ひとつの野球試合を回毎に区間分けした場合、回の順序が逆に再生されると試合内容が正しく伝わらないため、"２回"の映像は"１回"の映像に対し従属関係を有すると定義できる。また、ドラマの場合も同じく、３回目を見てから２回目を見ても意味を成さないため、"２回目"の映像は"１回目"の映像に対し従属関係を有すると定義できる。逆に、歌番組で歌手Ａの歌区間、歌手Ｂの歌区間との間で従属関係は有しないと定義できる。同様に、バラエティ番組の各コーナーや、個別のニュース、漫才なども従属関係を有しないと定義してもよい。
なお、従属関係は、連続する映像区間に限らず、例えば、クイズの問題区間と回答区間や、ドラマの予告編区間と本編区間のように、意味的に従属性を有する場合であれば、従属関係を有すると定義することが好ましい。なお、意味的従属性の有無は、例えば、従属性を有するキーワード（問題と解答、予告と本編等）を定義しておき、映像や映像に付随する情報を解析して、定義しておいたキーワードが所定の順序で使用された場合に検出してもよい。映像再生履歴記憶手段２１５は、映像ファイルの再生履歴を記憶する。映像中断点記憶手段２１６は、現在再生中の映像ファイルにおける映像再生の中断点を記憶する。
また、本実施の形態では、再生映像選択手段２２２は、再生対象の映像に含まれる各映像区間の中から、映像／区間情報記憶手段２１２に記憶される映像／区間情報と、分類結果記憶手段２１３に記憶される各映像区間の分類結果情報（視聴可能集中度）と、利用者映像集中度導出手段２４０によって導出される利用者映像集中度と、映像区間関連情報記憶手段２１４に記憶される映像区間関連情報と、映像再生履歴記憶手段２１５に記憶される再生履歴とに基づいて、再生すべき映像区間を決定する。再生映像選択手段２２２は、例えば、利用者映像集中度導出手段２４０から出力される利用者映像集中度をモニタリングしながら、現在の利用者映像集中度の値と、分類結果記憶手段２１３に記憶されている各映像区間の視聴可能集中度の値とを比較して、候補区域を選択し、現在再生している映像区間との関連性および過去の再生履歴を評価して、再生すべき映像区間を決定してもよい。
また、映像再生手段２３０は、映像ファイル選択手段２５０によって指示された、映像蓄積手段２１１に記憶される映像ファイルを、再生映像選択手段２２２が選択した映像区間に応じて再生する。また、映像登録手段２６０は、再生対象となる映像ファイル、および、その映像とその映像の区間とに関する情報の登録を行う。本実施の形態では、映像登録手段２６０は、映像蓄積手段２１１に再生対象の映像ファイルを記憶し、映像／区間情報記憶手段２１２に再生対象の映像に付随する情報と、各映像区間に付随する情報とを含む映像／区間情報を登録する。さらに、映像区間関連情報記憶手段２１４に映像区間関連情報を登録する。
なお、映像／区間情報は、映像に付随して映像提供者が提供する情報に限らず、映像登録手段２６０が、映像蓄積手段２１１に記憶してある映像ファイルを読み込んで解析することによって、動的に導出してもよい。同様に、映像区間関連情報も、映像区間に付随して映像提供者が提供する情報に限らず、映像登録手段２６０が、映像蓄積手段２１１に記憶してある映像ファイル、および、映像／区間情報記憶手段２１２に記憶されている映像／区間情報を読み込んで解析することによって、自動的に生成してもよい。また、映像／区間情報、映像区間関連情報とも、編集者または利用者が編集機能を用いて手動で定義してもよい。なお、他の点に関しては、第１の実施の形態と同様である。
次に、本実施の形態の動作について説明する。なお、本実施の形態の動作も、第１の実施の形態と同様、大きく分けて、映像登録動作と映像再生動作の２つの動作に分かれる。まず、映像登録動作について説明する。図７は、本実施の形態の映像登録動作の一例を示すフローチャートである。
図７に示すように、まず、映像登録手段２６０は、映像およびその映像に付随するメタデータの読み込みを行う（ステップＳ３０１）。映像に関しては、例えば、アンテナ、受信回路、デコーダを介して放送信号を受信する。また、例えば、インターネットを介して映像信号を取得する。また、例えば、ビデオカムコーダから出力される映像ファイルを読み込む。また、映像登録手段２６０は、映像に付随するメタデータが存在する場合、メタデータも合わせて読み込む。
次に、映像登録手段２６０は、必要に応じて、読み込んだ映像を一続きのシーケンスに分離して、映像区間を抽出する（ステップＳ３０２）。映像登録手段２６０は、例えば、信号特徴の連続性および非連続性を利用して映像のショット分割を行うことによって、映像区間を抽出する。また、例えば、映像中からフェード・ワイプなどの視覚効果を検出し、シーンの切り替わりとする方法や、映像中の音声を解析し、意味的に変化した場所を境界とする方法、映像に付加された台本情報等に基づいてショット分割する方法、あらかじめ映像に付加された章やキャプチャーなどの区間情報を用いる方法によって、映像区間を抽出してもよい。
また、映像登録手段２６０は、読み込んだ、または生成した各映像区間に関する付随情報、および、映像区間の時間的連続性から、各映像区間の間の従属関係を含む映像区間関連情報を抽出する（ステップＳ３０３）。映像登録手段２６０は、例えば、映像情報から階層構造を抽出し、同一の章に属する節の映像区間に対し、時系列順に従属関係があることを示す情報を付加する。なお、映像情報から階層構造を抽出する方法としては、映像の視覚効果を検出、利用する方法や、台本情報を用いる方法、音声認識および画像認識を利用した意味的分離による方法、編集者または利用者の手動に基づく方法などが考えられる。
次に、映像登録手段２６０は、読み込んだ映像を映像蓄積手段２１１に登録する（ステップＳ３０４）。また、映像蓄積手段２１１に登録した映像に付随して読み込んだ、または生成したメタデータを映像／区間情報として、映像／区間情報記憶手段２１２に登録する（ステップＳ３０５）。なお、映像区間を抽出した場合には、その映像区間の開始点および終了点を含めて映像／区間情報記憶手段２１２に登録する。また、各映像区間の従属関係を含む映像区間関連情報を映像区間関連情報記憶手段２１４に登録する（ステップＳ３０６）。
次に、分類手段２２１は、映像登録手段２６０が映像蓄積手段２１１に登録した映像の各映像区間を、視聴可能集中度に応じて分類する（ステップＳ３０７）。分類手段２２１は、映像蓄積手段２１１に登録された映像と、映像／区間情報記憶手段２１２に登録されたその映像およびその映像区間に関する情報とに基づいて、その映像の各映像区間の視聴可能集中度を算出し、算出した視聴可能集中度に応じて分類する。なお、分類手段２２１の構成および動作については、図３に示す第１の実施の形態における分類手段１２１と同様であるため、説明省略する。
分類結果記憶手段２１３は、分類手段２２１が出力する各映像区間の視聴可能集中度を記憶する（ステップＳ３０８）。
次に、映像再生動作について説明する。図８は、本実施の形態の映像再生動作の一例を示すフローチャートである。
図８に示すように、まず、映像ファイル選択手段２５０は、利用者の操作に従って、再生すべき映像ファイルを選択し（ステップＳ４０１）、映像再生手段２３０に再生開始の指示を出すとともに、利用者映像集中度導出手段２４０に利用者の映像に対する集中度（利用者映像集中度）の抽出の指示を出す（ステップＳ４０２）。
ここでは、映像再生手段２３０は、選択された映像ファイルの最初の映像区間から再生を開始する（ステップＳ４０３）。また、映像再生手段２３０は、現在再生している映像区間を示す情報を、映像再生履歴記憶手段２１５に再生履歴として登録する（ステップＳ４０３）。
また、利用者映像集中度導出手段２４０は、利用者映像集中度を導出する（ステップＳ４０４）。なお、利用者映像集中度導出手段２４０の構成および動作については、図５に示す第１の実施の形態における利用者映像集中度導出手段１４０と同様であるため、説明省略する。
再生映像選択手段２２２は、利用者映像集中度導出手段２４０によって導出された利用者映像集中度と、分類結果記憶手段２１３に記憶されている再生対象の各映像区間の分類結果（視聴可能集中度）と、映像区間関連情報記憶手段２１４に記憶されている現在再生中の映像区間との関連情報等とに基づいて、次に再生すべき映像区間を選択する（ステップＳ４０５）。
再生映像選択手段２２２は、現在の利用者映像集中度と、再生対象の各映像区間の分類結果情報（視聴可能集中度）とを照らし合わせることによって、利用者映像集中度と同程度、またはそれ以下の集中度で視聴可能な映像区間（以下、再生映像区間候補という。）を抽出する。そして、映像区間関連情報記憶手段２１４に記憶されている現在再生中の映像区間と再生映像区間候補との間の従属関係および連続性と、映像再生履歴記憶手段２１５に記憶されている再生履歴と、映像中断点記憶手段２１６に記憶されている中断点の情報とに基づいて、再生映像候補区間の中から再生する映像区間を選択し、その映像シーケンスを映像再生手段２３０に出力する。なお、再生映像選択手段２２２は、映像／区間情報記憶手段２１２に記憶されている映像区間の開始点および終了点を示す情報を映像再生手段２３０に出力してもよい。
映像再生手段２３０は、入力された映像シーケンスを再生する（ステップＳ４０６）。また、映像再生手段２３０は、再生した映像区間について、映像再生履歴記憶手段２１５に再生履歴を登録する（ステップＳ４０７）。なお、映像再生履歴記憶手段２１５には、再生映像選択手段２２２が登録してもよい。映像再生手段２３０は、再生映像選択手段２２２が選択した映像区間の再生が終了するまで再生を続ける（ステップＳ４０８）。選択された映像区間の再生が終了した場合には、再生対象の映像区間の全ての再生が終了するまで、再生する映像区間の選択を繰り返し行う（ステップＳ４０４に戻る）。再生対象の全映像区間の再生が終了した場合には、映像再生処理を終了する（ステップＳ４０９のＹｅｓ）。
図９に、再生映像選択手段２２２が行う映像区間の選択のフローの一例を示す。図９に示すように、再生映像選択手段２２２は、直前に再生中の映像区間（以下、映像区間αと呼ぶ）についての、分類結果および映像区間関連情報を読み込む（ステップＳＡ１０１）。また、再生映像選択手段２２２は、映像区間αに時間的に連続する映像区間（以下、映像区間βと呼ぶ。）についての、分類結果および映像区間関連情報を読み込む（ステップＳＡ１０２）。そして、再生映像選択手段２２２は、映像区間αと映像区間βとの間の従属性評価を行う（ステップＳＡ１０３）。
ここで、映像区間αと映像区間βとの間に連続して再生すべきことを示す従属性がある場合（ステップＳＡ１０３の有）、利用者映像集中度導出手段２４０によって導出された現在の利用者映像集中度と、映像区間βの分類結果情報（利用可能集中度）とを比較し、現在の利用者映像集中度が映像区間βの利用可能集中度を満たしていれば（ステップＳＡ１０４のＯＫ）、映像区間βを再生する映像区間として選択し、処理を終了する（ステップＳＡ１０５）。
一方、現在の利用者映像集中度が映像区間βを視聴可能な集中度に達していない場合（ステップＳＡ１０４のＮＧ）、すなわち、映像区間βを視聴可能な集中度よりも利用者の映像に対する集中度が低い場合には、映像区間βの視聴は不可能であるとして、映像区間βを識別する情報を映像中断点記憶手段２１６に記録する（ステップＳＡ１０６）。
次に、再生映像選択手段２２２は、これまでに中断された映像区間、すなわち映像再生履歴記憶手段２１５に記憶されている全映像区間の利用可能集中度と、利用者映像集中度とを比較し、現在の利用者映像集中度で視聴可能な映像区間があるか否かを評価する（ステップＳＡ１０７）。該当する映像区間がある場合、中断された映像区間の中からひとつの映像区間を選択する（ステップＳＡ１０７の該当有，ステップＳＡ１０８）。再生映像選択手段２２２は、例えば、映像再生履歴記憶手段２１５にもっとも新しく記憶された映像区間を選択してもよい。
また、該当する映像区間がない場合には、映像再生履歴記憶手段２１５に記憶された再生履歴を参照し、これまでに再生が行われていない映像区間であって、かつ、映像中断点記憶手段２１６に記憶されている映像区間と意味的に従属関係になく、かつ、他の映像区間と時間的に従属関係にない映像区間（例えば、章の開始となる映像区間）を、区間候補として検出する（ステップＳＡ１０９）。
そして、現在の利用者映像集中度と、検出した区間候補の視聴可能集中度とを比較し、現在の利用者映像集中度で視聴可能な映像区間があるか否かを評価する（ステップＳＡ１１０）。該当する映像区間がある場合、検出した区間候補の中からひとつの映像区間を選択する（ステップＳＡ１１０の該当有，ステップＳＡ１１１）。また、該当する映像区間がない場合には、映像再生を中断する（ステップＳＡ１１２）。なお、以降、所定のタイミングで利用者映像集中度を再検出し、利用者映像集中度が、映像区間β、これまでに中断された映像区間、および、それとは従属しない区間候補群のいずれかの視聴に必要な集中度に達するまで、中断を維持する（ステップＳＡ１１３）。なお、利用者映像集中度が向上し、検出した区間候補のいずれかの視聴可能集中度を満たした場合には、視聴可能集中度を満たした映像区間を、再生する映像区間として選択して、処理を終了する（ステップＳＡ１１４）。
また、映像区間αと映像区間βとの間に連続して再生すべきことを示す従属性がない場合には（ステップＳＡ１０３の無）、中断した映像区間の再生を優先するため、映像中断点記憶手段２１６に記憶される中断リストの調査を行う（ステップＳＡ１０７に進む）。
なお、上記で説明した再生映像選択処理のフローは、一例であり、ステップＳＡ１１２において中断する代わりに、他の映像区間を選択してもよい。例えば、現在比較している中で最も視聴可能集中度が低い映像区間を選択してもよい。
以上のように、本実施の形態によれば、利用者が選択した映像を再生する際に、利用者の映像に対する集中度が低い場合であっても、時間的／意味的連続性を考慮しながら、観察された集中度（利用者映像集中度）より低い集中度で視聴可能な映像区間を優先的に再生する提示順序制御手段が実現できる。従って、他の作業を行った状態でも映像内容の理解を妨げることなく、映像視聴することが可能である。また、他の作業中に集中している際に集中度をあまり必要としない映像区間を再生することによって、他の作業への負荷が軽くなり、映像への集中度が増した場合に、それに応じて、より集中度を必要とする映像が自動再生されるので、効果的な映像視聴が可能となる。
実施の形態３．
次に、本発明を実施するための第３の実施の形態について、図面を参照して説明する。図１０は、第３の実施の形態による映像再生装置の構成例を示すブロック図である。図１０に示す映像再生装置は、蓄積部３１０と、制御部３２０と、映像再生手段３３０と、利用者映像集中度導出手段３４０と、再生／停止制御手段３５０と、映像登録手段３６０とを備える。蓄積部３１０は、映像蓄積手段３１１と、映像／区間情報記憶手段３１２と、分類結果記憶手段３１３と、映像中断点記憶手段３１４とを含む。また、制御部３２０は、分類手段３２１と、再生映像選択手段３２２とを含む。
図１０に示すように、本実施の形態による映像再生装置は、図１に示す第１の実施の形態と比べて、蓄積部３１０が、映像中断点記憶手段３１４を備える点で異なる。
本実施の形態では、利用者の映像に対する集中度が低下した場合に、映像または映像区間の映像再生を中断する制御を行う。
映像中断点記憶手段３１４は、現在再生中の映像または映像区間における映像再生の中断点を記憶する。
また、本実施の形態では、再生映像選択手段３２２は、再生対象の映像または映像区間の中から、映像／区間情報記憶手段３１２に記憶される映像／区間情報と、分類結果記憶手段３１３に記憶される各映像または各映像区間の分類結果情報（視聴可能集中度）と、利用者映像集中度導出手段３４０によって導出される利用者映像集中度と、映像中断点記憶手段３１４に記憶される中断点とに基づいて、再生すべき映像または映像区間を決定する。また、再生中の利用者映像集中度に基づいて、映像再生を中断するか否かを決定する。他の点に関しては、第１の実施の形態と同様である。
次に、本実施の形態の動作について説明する。なお、本実施の形態の動作も、第１の実施の形態と同様、大きく分けて、映像登録動作と映像再生動作の２つの動作に分かれる。まず、映像登録動作について説明する。図１１は、本実施の形態の映像登録動作の一例を示すフローチャートである。なお、本実施の形態の映像登録動作は、基本的には、第１の実施の形態と同様である。
まず、映像登録手段３６０は、映像およびその映像に付随するメタデータの読み込みを行う（ステップＳ５０１）。映像に関しては、例えば、アンテナ、受信回路、デコーダを介して放送信号を受信する。また、例えば、インターネットを介して映像信号を取得する。また、例えば、ビデオカムコーダから出力される映像ファイルを読み込む。また、映像登録手段３６０は、映像に付随するメタデータが存在する場合、メタデータも合わせて読み込む。
次に、映像登録手段３６０は、必要に応じて、読み込んだ映像を一続きのシーケンスに分離して、映像区間を抽出する（ステップＳ５０２）。映像登録手段３６０は、例えば、信号特徴の連続性および非連続性を利用して映像のショット分割を行うことによって、映像区間を抽出する。また、例えば、映像中からフェード・ワイプなどの視覚効果を検出し、シーンの切り替わりとする方法や、映像中の音声を解析し、意味的に変化した場所を境界とする方法、映像に付加された台本情報等に基づいてショット分割する方法、あらかじめ映像に付加された章やキャプチャーなどの区間情報を用いる方法によって、映像区間を抽出してもよい。
映像登録手段３６０は、読み込んだ映像を映像蓄積手段３１１に登録する（ステップＳ５０３）。また、映像蓄積手段３１１に登録した映像に付随して読み込んだ、または生成したメタデータを映像／区間情報として、映像／区間情報記憶手段３１２に登録する（ステップＳ５０４）。なお、映像区間を抽出した場合には、その映像区間の開始点および終了点を含めて映像／区間情報記憶手段３１２に登録する。
次に、分類手段３２１は、映像登録手段３６０が映像蓄積手段３１１に登録した映像、または、その映像の各映像区間を、視聴可能集中度に応じて分類する（ステップＳ５０５）。分類手段３２１は、映像蓄積手段３１１に登録された映像と、映像／区間情報記憶手段３１２に登録されたその映像、またはその映像の各映像区間に関する情報とに基づいて、その映像またはその映像の各映像区間の視聴可能集中度を算出し、算出した視聴可能集中度に応じて分類する。なお、分類手段３２１の構成および動作については、図３に示す第１の実施の形態における分類手段１２１と同様であるため、説明省略する。
分類結果記憶手段３１３は、分類手段３２１が出力する映像または各映像区間の視聴可能集中度を記憶する（ステップＳ５０６）。
次に、映像再生動作について説明する。図１２は、本実施の形態の映像再生動作の一例を示すフローチャートである。
図１２に示すように、まず、再生／停止制御手段３５０は、映像再生手段３３０に再生開始の指示を出すとともに、利用者映像集中度導出手段３４０に利用者の映像に対する集中度（利用者映像集中度）の抽出の指示を出す（ステップＳ６０１）。
ここでは、映像再生手段３３０は、指示された映像または映像区間の再生を開始する（ステップＳ６０２）。また、利用者映像集中度導出手段３４０は、利用者映像集中度を導出する（ステップＳ６０３）。なお、利用者映像集中度導出手段３４０の構成および動作については、図５に示す第１の実施の形態における利用者映像集中度導出手段１４０と同様であるため、説明省略する。
再生映像選択手段３２２は、観察された利用者の映像に対する集中度と、再生中の映像または映像区間の視聴に必要な集中度（視聴可能集中度）とに基づいて、再生の中断、または、再生すべき映像を判断する。再生映像選択手段３２２は、利用者映像集中度導出手段３４０によって導出された利用者映像集中度と、分類結果記憶手段３１３に記憶されている再生中の映像の分類結果（視聴可能集中度）とを比較する（ステップＳ６０４）。ここで、現在の利用者映像集中度が再生中の映像または映像区間の視聴可能集中度を満たしていれば（ステップＳ６０４のＯＫ）、映像の再生を継続する（ステップＳ６０５）。そして、再生が終了するまで、利用者映像集中度の検出、評価を繰り返し行う（ステップＳ６０６のＮｏ，ステップＳ６０３に戻る）。
また、再生が終了した場合には、再生映像選択手段３２２は、映像中断点記憶手段３１４に記憶された中断点に基づき、または、新規の映像のいずれかから、次に再生する映像を選択し、その映像シーケンスを映像再生手段３３０に出力する（ステップＳ６０７）。そして、選択した映像についても同様に、再生が終了するまで、利用者映像集中度の評価を繰り返し行う（ステップＳ６０３に戻る）。なお、次に再生する映像が存在しない場合には、映像再生処理を終了する（ステップＳ６０８のＮｏ）
一方、現在の利用者映像集中度が再生中の映像または映像区間を視聴可能な集中度に達していない場合（ステップＳ６０４のＮＧ）、すなわち、再生中の映像または映像区間の視聴可能集中度よりも利用者の映像に対する集中度が低い場合には、再生／停止制御手段３５０に指示を出し、再生を中断する（ステップＳ６０９）。そして、中断点を映像中断点記憶手段３１４に記憶し（ステップＳ６１０）、次に再生する映像を選択する（ステップＳ６０７に戻る）。
図１３に、ステップＳ６０７における再生映像選択処理フローの一例を示す。まず、再生映像選択手段３２２は、映像中断点記憶手段３１４に中断点が記憶されている場合、記憶されている中断点を含む映像または映像区間の視聴可能集中度を分類結果記憶手段３１３から読み込む（ステップＳＡ２０１）。そして、これまでに中断された各映像または各映像区間に対し、現在の利用者映像集中度による絞り込みを行う（ステップＳＡ２０２）。再生映像選択手段３２２は、現在の利用者映像集中度と、映像中断点記憶手段３１４に記憶されている各中断点を含む各映像または各映像区間の視聴可能集中度とを比較し、現在の利用者映像集中度で視聴可能な中断点の映像区間を、候補区間として抽出する。
ここで、対象区間が存在する場合、抽出した区間のうち、もっとも時間的に新しい映像区間を再生する映像区間として選択して、処理を終了する（ステップＳＡ２０３のＹｅｓ，ＳＡ２０４）。また、対象区間が存在しない場合には、再生対象となっている全映像または全映像区間について、利用者映像集中度による評価を行い、再生可能な映像区間の選択を行う（ステップＳＡ２０３のＮｏ，ＳＡ２０５）。該当する映像区間が存在する場合、該当する映像区間のいずれかを選択して、処理を終了する（ステップＳＡ２０６のＹｅｓ，ＳＡ２０７）。また、該当する映像区間が存在しない場合には、映像再生を中断する（ステップＳＡ２０８）。中断後は、再度利用者映像集中度を観測し、利用者映像集中度が低下して対象区間が検出されるまで、または、利用者から再生が中断されるまで利用者映像集中度による評価を繰り返し行う（ステップＳＡ２０１に戻る）。
なお、図１３で示した選択動作は一例であり、利用者映像集中度の低下を観測した際に、即座に中断したり、しばらく再生してから中断したり、映像区間を終了してから再生を中断する方法も考えられる。また、複数の映像区間が候補に挙がった場合の映像区間の選択についても、時間によるもの、映像の重要度によるもの等、いくつかの尺度を導入することができる。
以上のように、本実施の形態によれば、利用者が選択した映像を再生中に、映像に対する集中度が低下し、映像の理解が困難になった場合に、映像区間再生中に限らず、映像区間再生を中断できるので、より映像の理解を促進することができる。
実施の形態４．
次に、本発明を実施するための第４の実施の形態について、図面を参照して説明する。図１４は、第４の実施の形態による映像再生装置の構成例を示すブロック図である。図１４に示す映像再生装置は、蓄積部４１０と、制御部４２０と、映像再生手段４３０と、利用者映像集中度導出手段４４０と、再生／停止制御手段４５０と、映像登録手段４６０と、嗜好目的情報蓄積手段４７０とを備える。また、蓄積部４１０は、映像蓄積手段４１１と、映像／区間情報記憶手段４１２と、分類結果記憶手段４１３とを含む。また、制御部４２０は、分類手段４２１と、再生映像選択手段４２２とを含む。
図１４に示すように、本実施の形態による映像再生装置は、図１に示す第１の実施の形態と比べて、嗜好目的情報蓄積手段４７０をさらに備える点で異なる。
嗜好目的情報蓄積手段４７０は、利用者の嗜好および目的に関する情報を記憶する。嗜好目的情報蓄積手段４７０は、例えば、利用者が入力したキーワードや、過去の視聴履歴から推測した利用者嗜好（興味のあるジャンル等）や、視聴の目的（きちんと目を通したい、一通り目を通したい等）を記憶する。以下、嗜好目的情報蓄積手段４７０に記憶する情報を嗜好目的情報という。嗜好目的情報蓄積手段４７０に記憶する嗜好目的情報は、利用者が入力しても、過去の視聴履歴等から自動的に導出してもよい。また、嗜好目的情報蓄積手段４７０は、専用の蓄積装置であってもよいし、蓄積部４１０と同じ蓄積媒体であってもよい。
また、本実施の形態では、分類手段４２１は、映像蓄積手段４１１に記憶される映像情報と、映像／区間情報記憶手段４１２に記憶される映像／区間情報と、嗜好目的情報蓄積手段４７０に記憶された嗜好目的情報とに基づいて、映像蓄積手段４１１に記憶される映像またはその映像の各区間の視聴可能集中度を算出し、算出した視聴可能集中度に応じて分類する。分類の例として、例えば映像または映像区間中の単位時間当たりに提示されるテロップなどの文字数や、発話される音声の数、物体の動きの量などのメディア情報を解析し、これらの複雑度から視聴可能集中度を算出して分類を行ってもよい。また、映像や音声を解析することにより、該当する映像区間の意味情報を抽出し、映像全体の中での重要度（意味的重要度）を評価して、これをもって視聴可能集中度とし、映像または映像区間の分類を行ってもよい。なお、映像区間の意味的重要度を評価するために、映像作成者や登録者などが手動で付与したアノテーション（注釈）等のメタデータを利用することも可能である。
更には、利用者があらかじめ登録したキーワード等から推測される利用者嗜好と、評価対象の映像または映像区間との一致度に基づいて、視聴可能集中度を導出してもよい。なお、視聴可能集中度をこれらの情報（メディア情報、意味情報、利用者嗜好等）から導出するだけなく、あらかじめ付与された視聴可能集中度を読み込んで、これを基に分類を行う方法や、更に、利用者が修正を加えるという方法を用いることも可能である。本実施の形態では、これらの統合に際して、利用者嗜好および目的に応じて、統合する係数を変更する等して、複数のパタンを蓄積する。
また、再生映像選択手段４２２は、再生対象の映像または映像区間の中から、映像／区間情報記憶手段４１２に記憶される映像／区間情報と、分類結果記憶手段４１３に記憶される各映像または各映像区間の分類結果情報（視聴可能集中度）と、利用者映像集中度導出手段４４０によって導出される利用者映像集中度と、嗜好目的情報蓄積手段４７０に記憶された嗜好目的情報とに基づいて、再生すべき映像または映像区間を決定する。他の点に関しては、第１の実施の形態と同様である。
次に、本実施の形態の動作について説明する。なお、本実施の形態の動作も、第１の実施の形態と同様、大きく分けて、映像登録動作と映像再生動作の２つの動作に分かれる。まず、映像登録動作について説明する。図１５は、本実施の形態の映像登録動作の一例を示すフローチャートである。なお、本実施の形態の映像登録動作は、基本的には、第１の実施の形態と同様である。
図１５に示すように、まず、映像登録手段４６０は、映像およびその映像に付随するメタデータの読み込みを行う（ステップＳ７０１）。映像登録手段４６０は、例えば、本装置が備えるアンテナや、受信回路、デコーダを介して放送信号を受信する。また、例えば、インターネットを介して映像信号を受信する。また、例えば、接続されたビデオカムレコーダから出力される映像情報を入力する。また、映像登録手段４６０は、映像に付随するメタデータが存在する場合、メタデータも合わせて読み込む。
次に、映像登録手段４６０は、必要に応じて、読み込んだ映像を一続きのシーケンスに分離して、映像区間を抽出する（ステップＳ７０２）。映像登録手段４６０は、例えば、信号特徴の連続性および非連続性を利用して映像のショット分割を行うことによって、映像区間を抽出する。また、例えば、映像中からフェード・ワイプなどの視覚効果を検出し、シーンの切り替わりとする方法や、映像中の音声を解析し、意味的に変化した場所を境界とする方法、映像に付加された台本情報等に基づいてショット分割する方法、あらかじめ映像に付加された章やキャプチャーなどの区間情報を用いる方法によって、映像区間を抽出してもよい。
次に、映像登録手段４６０は、読み込んだ映像を映像蓄積手段４１１に登録する（ステップＳ７０３）。また、映像蓄積手段４１１に登録した映像に付随して読み込んだ、または生成したメタデータを映像／区間情報として、映像／区間情報記憶手段４１２に登録する（ステップＳ７０４）。また、映像区間を抽出した場合には、各映像区間に割り当てられた識別情報とともに、その映像区間の開始点および終了点を含めて、映像／区間情報記憶手段４１２に登録する。
次に、分類手段４２１は、映像登録手段４６０が映像蓄積手段４１１に登録した映像、または、その映像の各映像区間を、視聴可能集中度に応じて分類する（ステップＳ７０５）。分類手段４２１は、映像蓄積手段４１１に登録された映像と、映像／区間情報記憶手段４１２に登録されたその映像、またはその映像の各映像区間に関する情報と、嗜好目的情報蓄積手段４７０に記憶された嗜好目的情報とに基づいて、その映像またはその映像の各映像区間の視聴可能集中度を算出し、算出した視聴可能集中度に応じて分類する。
図１６は、分類手段４２１の構成例を示すブロック図である。図１６に示すように、映像読み込み手段４２１１と、区間情報読み込み手段４２１２と、付属情報読み込み手段４２１３と、映像解析手段４２１４と、映像レベル集中度導出手段４２１６と、映像区間レベル集中度導出手段４２１５と、集中度統合手段４２１７と、分類生成手段４２１８と、出力手段４２１９とを含む。
なお、本実施の形態では、映像レベル集中度導出手段４２１６、映像区間レベル集中度導出手段４２１５、および集中度統合手段４２１７が、利用者の嗜好、目的を考慮した上で、映像レベル集中度を導出する点が、第１の実施の形態と異なる。
映像レベル集中度導出手段４２１６は、映像解析手段４２１４が抽出した映像レベルでの特徴量と、付属情報読み込み手段４２１３が読み込んだ映像単位での付随情報と、嗜好目的情報蓄積手段４７０に記憶された嗜好目的情報（例えば、利用者の嗜好および目的のパタン）とに基づいて、映像レベルでの視聴に必要な集中度を導出する。映像レベル集中度導出手段４２１６は、例えば、映像解析手段４２１４が導出した特徴量の各項目について、重要度に応じてあらかじめ重み係数を定めておき、各スコアの総和を取ってもよい。また例えば、全映像中の平均と分散とを算出し正規化する方法などが考えられる。映像区間レベル集中度導出手段４２１５は、必要に応じて、映像レベル集中度導出手段４２１６が映像全体に対して行った処理と同様の処理を、各映像区間に対して行い、映像区間レベルでの視聴に必要な集中度を導出する。
集中度統合手段４２１７は、映像レベルでの視聴に必要な集中度と、必要に応じて映像区間レベルでの視聴に必要な集中度とを勘案し、さらに、利用者の嗜好や目的に応じて、映像または映像区間の視聴可能集中度を導出する。集中度統合手段４２１７は、例えば、映像ジャンルが視聴に高い集中度を必要とするドラマであっても、映像区間が視聴に高い集中度を必要としない情景の部分であるといった場合も考慮し、総合的な評価を行う。集中度統合手段４２１７は、例えば、重み付け係数を用いた和をとる、または双方の最大値または最小値をとるなどの方法を用いてもよい。なお、利用者嗜好および目的に応じて、統合する係数を変更する等して、複数の視聴可能集中度を導出してもよい。なお、本例はあくまで導出の一例であり、視聴可能集中度の導出に、本例示の一部分を扱う、または、本例示に他の特徴情報を加えて導出してもかまわない。
分類結果記憶手段４１３は、分類手段４２１が出力する、映像または映像区間の視聴可能集中度を記憶する（ステップＳ７０６）。
次に、映像再生動作について説明する。図１７は、本実施の形態の映像再生動作の一例を示すフローチャートである。図１７に示すように、まず、再生／停止制御手段４５０は、映像再生手段４３０に再生開始の指示を出すとともに、利用者映像集中度導出手段４４０に利用者の映像に対する集中度（利用者映像集中度）の抽出の指示を出す（ステップＳ８０１）。
また、再生映像選択手段４２２は、利用者の嗜好または目的を、嗜好目的情報蓄積手段４７０から検出し、分類結果記憶手段４１３に記憶されている分類結果の中から、利用者の嗜好または目的に対応する分類結果を選択する（ステップＳ８０２）。再生映像選択手段４２２は、例えば、利用者が再生開始の操作をする際に目的を選択入力させ、嗜好目的情報蓄積手段４７０に記憶しておいてもよい。または、過去に再生した映像のジャンル等を嗜好目的情報蓄積手段４７０に記憶しておいてもよい。
また、利用者映像集中度導出手段４４０は、利用者映像集中度を導出する（ステップＳ８０３）。なお、利用者映像集中度導出手段４４０の構成および動作については、図５に示す第１の実施の形態における利用者映像集中度導出手段１４０と同様であるため、説明省略する。
再生映像選択手段４２２は、利用者映像集中度導出手段４４０によって導出された利用者映像集中度と、分類結果記憶手段４１３に記憶されている再生対象の各映像区間の分類結果（視聴可能集中度）のうちの利用者の嗜好または目的に対応する分類結果とに基づいて、次に再生すべき映像または映像区間を選択する（ステップＳ８０４）。再生映像選択手段４２２は、現在の利用者映像集中度と、再生対象の各映像区間の視聴可能集中度のうち、利用者の嗜好または目的に対応する視聴可能集中度とを照らし合わせることによって、利用者映像集中度と同程度、またはそれ以下の集中度で視聴可能な映像または映像区間を抽出する。そして、その中のひとつを選択し、その映像シーケンスを映像再生手段４３０に出力する。なお、再生映像選択手段４２２は、映像／区間情報記憶手段４１２に記憶されている映像区間の開始点および終了点を示す情報を映像再生手段４３０に出力してもよい。
映像再生手段４３０は、入力された映像シーケンスを再生する（ステップＳ８０５）。映像再生手段４３０は、再生映像選択手段４２２が選択した映像または映像区間の再生が終了するまで再生を続ける（ステップＳ８０６）。選択された映像または映像区間の再生が終了した場合には、再生対象の映像または映像区間の全ての再生が終了するまで、再生する映像または映像区間の選択を繰り返し行う（ステップＳ８０７のＮｏ，ステップＳ８０３に戻る）。再生対象の全映像または全映像区間の再生が終了した場合には、映像再生処理を終了する（ステップＳ８０７のＹｅｓ）。
以上のように、本実施の形態によれば、利用者の映像への集中度が低い時に、観察された集中度（利用者映像集中度）より低い集中度で視聴可能な映像または映像区間を選択的に再生することができるので、利用者が、「ながら視聴」をしやすい映像または映像区間が優先的に選択されて再生される。この際に、利用者の能力や目的、嗜好に応じた映像再生を実現することができる。従って、他の作業を行った状態でも映像内容の理解を妨げることなく、より効果的な映像視聴することが可能となる。なお、他の点に関しては、第１の実施の形態と同様である。
実施の形態５．
次に、本発明を実施するための第５の実施の形態について、図面を参照して説明する。図１８は、第５の実施の形態による映像再生装置の構成例を示すブロック図である。図１８に示す映像再生装置は、蓄積部５１０と、制御部５２０と、映像再生手段５３０と、利用者映像集中度導出手段５４０と、映像登録手段５６０と、利用者再生停止入力手段５７０と、利用者映像選択手段５８０と、分類結果更新手段５９０とを備える。また、蓄積部５１０は、映像蓄積手段５１１と、映像／区間情報記憶手段５１２と、分類結果記憶手段５１３とを含む。また、制御部５２０は、分類手段５２１と、再生映像選択手段５２２とを含む。
図１８に示すように、本実施の形態による映像再生装置は、図１に示す第１の実施の形態と比べて、再生／停止制御手段１５０の代わりに利用者再生停止入力手段５７０を備える点、および、利用者映像選択手段５８０と分類結果更新手段５９０とをさらに備える点で異なる。
本実施の形態では、利用者の操作入力に応じて、利用者映像集中度を更新する。
利用者再生停止入力手段５７０は、利用者が映像の再生停止を指示するための入力手段である。利用者再生停止入力手段５７０は、利用者の操作に応じて、再生停止を指示する旨の情報を入力するとともに、映像再生の開始および停止の制御を行う。また、利用者映像選択手段５８０は、利用者が再生すべき映像または映像区間の選択を行うための入力手段である。利用者映像選択手段５８０は、例えば、再生対象となる映像または映像区間を選択可能に画面出力し、利用者の操作に応じて、利用者が選択した映像または映像区間を示す情報を入力する。
また、分類結果更新手段５９０は、利用者の操作に応じて入力される停止指示や選択結果を示す情報に基づいて、利用者の視聴能力を推定することによって、利用者映像集中度導出手段５４０が導出した利用者映像集中度を更新し、各映像または各映像区間の分類結果の更新を行う。分類結果更新手段５９０は、例えば、利用者が再生を停止した際に、再生中の映像または映像区間の視聴可能集中度は、そのときの利用者映像集中度よりも高かったと判断し、再生中の映像または映像区間の分類結果（視聴可能集中度）を更新する。また、例えば、利用者が利用者映像選択手段５８０を介して再生対象を選択した場合には、選択された映像または映像区間は、そのときの利用者の映像集中度よりも低かったと判断し、選択された映像または映像区間の分類結果（視聴可能集中度）を更新する。なお、他の点に関しては、第１の実施の形態と同様である。
次に、本実施の形態の動作について説明する。なお、本実施の形態の動作も、第１の実施の形態と同様、大きく分けて、映像登録動作と映像再生動作の２つの動作に分かれる。まず、映像登録動作について説明する。図１９は、本実施の形態の映像登録動作の一例を示すフローチャートである。なお、本実施の形態の映像登録動作は、基本的には、第１の実施の形態と同様である。
まず、映像登録手段５６０は、映像およびその映像に付随するメタデータの読み込みを行う（ステップＳ９０１）。映像に関しては、例えば、アンテナ、受信回路、デコーダを介して放送信号を受信する。また、例えば、インターネットを介して映像信号を取得する。また、例えば、ビデオカムコーダから出力される映像ファイルを読み込む。また、映像登録手段５６０は、映像に付随するメタデータが存在する場合、メタデータも合わせて読み込む。
次に、映像登録手段５６０は、必要に応じて、読み込んだ映像を一続きのシーケンスに分離して、映像区間を抽出する（ステップＳ９０２）。映像登録手段５６０は、例えば、信号特徴の連続性および非連続性を利用して映像のショット分割を行うことによって、映像区間を抽出する。また、例えば、映像中からフェード・ワイプなどの視覚効果を検出し、シーンの切り替わりとする方法や、映像中の音声を解析し、意味的に変化した場所を境界とする方法、映像に付加された台本情報等に基づいてショット分割する方法、あらかじめ映像に付加された章やキャプチャーなどの区間情報を用いる方法によって、映像区間を抽出してもよい。
映像登録手段５６０は、読み込んだ映像を映像蓄積手段５１１に登録する（ステップＳ９０３）。また、映像蓄積手段５１１に登録した映像に付随して読み込んだ、または生成したメタデータを映像／区間情報として、映像／区間情報記憶手段５１２に登録する（ステップＳ９０４）。なお、映像区間を抽出した場合には、その映像区間の開始点および終了点を含めて映像／区間情報記憶手段５１２に登録する。
次に、分類手段５２１は、映像登録手段５６０が映像蓄積手段５１１に登録した映像、または、その映像の各映像区間を、視聴可能集中度に応じて分類する（ステップＳ９０５）。分類手段５２１は、映像蓄積手段５１１に登録された映像と、映像／区間情報記憶手段５１２に登録されたその映像、またはその映像の各映像区間に関する情報とに基づいて、その映像またはその映像の各映像区間の視聴可能集中度を算出し、算出した視聴可能集中度に応じて分類する。なお、分類手段５２１の構成および動作については、図３に示す第１の実施の形態における分類手段１２１と同様であるため、説明省略する。
分類結果記憶手段５１３は、分類手段５２１が出力する映像または各映像区間の視聴可能集中度を記憶する（ステップＳ９０６）。
次に、映像再生動作について説明する。図２０は、本実施の形態の映像再生動作の一例を示すフローチャートである。
図２０に示すように、まず、利用者再生停止入力手段５７０は、利用者の操作に応じて、映像再生手段５３０に再生開始の指示を出すとともに、利用者映像集中度導出手段５４０に利用者の映像に対する集中度（利用者映像集中度）の抽出の指示を出す（ステップＳＡ０１）。
利用者映像集中度導出手段５４０は、利用者映像集中度を導出する（ステップＳＡ０２）。なお、利用者映像集中度導出手段５４０の構成および動作については、図５に示す第１の実施の形態における利用者映像集中度導出手段１４０と同様であるため、説明省略する。
再生映像選択手段５２２は、利用者映像集中度導出手段５４０によって導出された利用者映像集中度と、分類結果記憶手段５１３に記憶されている再生対象の各映像または各映像区間の分類結果（視聴可能集中度）とに基づいて、次に再生すべき映像または映像区間を選択する（ステップＳＡ０３）。再生映像選択手段５２２は、現在の利用者映像集中度と、再生対象の各映像または各映像区間の視聴可能集中度のうち、利用者の嗜好または目的に対応する視聴可能集中度とを照らし合わせることによって、利用者映像集中度と同程度、またはそれ以下の集中度で視聴可能な映像または映像区間を抽出する。そして、その中のひとつを選択し、その映像シーケンスを映像再生手段５３０に出力する。なお、再生映像選択手段５２２は、映像／区間情報記憶手段５１２に記憶されている映像区間の開始点および終了点を示す情報を映像再生手段５３０に出力してもよい。
映像再生手段５３０は、入力された映像シーケンスを再生する（ステップＳＡ０４）。ここで、利用者が再生停止の操作をしたとする。利用者再生停止入力手段５７０は、利用者の操作に応じて、再生停止を指示する旨の情報を入力するとともに、直ちに、映像再生の停止の制御を行う（ステップＳＡ０５のＹｅｓ）。また、分類結果更新手段５９０は、利用者再生停止入力手段５７０から入力される情報を検出し、直前まで再生していた映像または映像区間の分類結果を更新する（ステップＳＡ０６）。そして、再度、利用者映像集中度の検出動作を行い、次に再生する映像または映像区間の再選択を行う（ステップＳＡ０２に戻る）。
なお、利用者再生停止入力手段５７０を介して利用者から再生停止命令が指示された場合には、利用者映像選択手段５８０が、次に再生する映像または映像区間を、利用者が選択可能に出力し、利用者に選択させることも可能である。利用者映像選択手段５８０は、利用者の選択入力操作に応じて、次に再生する映像または映像区間を選択する。
映像再生手段５３０は、利用者から再生停止命令が指示されなければ、再生映像選択手段５２２または利用者再生停止入力手段５７０が選択した映像区間の再生が終了するまで再生を続ける（ステップＳＡ０７）。選択された映像区間の再生が終了した場合には、再生対象の映像区間の全ての再生が終了するまで、再生する映像区間の選択を繰り返し行う（ステップＳＡ０２に戻る）。再生対象の全映像区間の再生が終了した場合には、映像再生処理を終了する（ステップＳＡ０８のＹｅｓ）。
以上のように、本実施の形態によれば、利用者の映像への集中度が低い時に、観察された集中度（利用者映像集中度）より低い集中度で視聴可能な映像または映像区間を選択的に再生することができるので、利用者が、「ながら視聴」をしやすい映像または映像区間が優先的に選択されて再生される。また、利用者の停止操作や選択操作から利用者の視聴能力を推定し、映像または映像区間の視聴に必要な集中度を動的に更新することができるので、より現実に合った選択ができるようになる。
実施の形態６．
次に、本発明を実施するための第６の実施の形態について、図面を参照して説明する。図２１は、第６の実施の形態による映像再生装置の構成例を示すブロック図である。図２１に示す映像再生装置は、蓄積部６１０と、記録再生制御部６２０と、映像再生手段６３０と、利用者映像集中度導出手段６４０と、再生制御用プログラム６５０とを備える。
また、再生制御用プログラム６５０は、記憶媒体（例えば、ＣＤ−ＲＯＭ）から読み込んで実行されてもよいし、図示していないが、あらかじめ記憶装置に記憶し、記憶装置から読み込んで実行されてもよい。
図２１に示すように、本実施の形態による映像再生装置は、制御部１２０が記録再生制御部６２０となっている点で、図１に示す第１の実施の形態と異なる。
記録再生制御部６２０は、ＣＰＵ等のプログラムに従って動作する処理装置である。再生制御用プログラム６５０は、記録再生制御部６２０に読み込まれ、記録再生制御部６２０の動作を制御することによって、蓄積部６１０に情報を記録したり、映像の再生を行う。再生制御用プログラム６５０は、例えば、第１の実施の形態で示した映像再生装置の処理を実行するためのプログラムである。
本実施の形態における映像再生装置の動作は、再生制御用プログラム６５０の制御に従って動作する。再生制御用プログラム６５０が、例えば、第１の実施の形態で示した映像再生装置の処理を実行するためのプログラムである場合には、図２および図４に示す第１の実施の形態による映像再生装置の動作と同様となる。また、再生制御用プログラム６５０は、第１の実施の形態で示した映像再生装置の処理を実行するためのプログラムに限定されず、第２の実施の形態から第５の実施の形態まで示した映像再生装置の処理を実行するためのプログラムであってもよい。

Claims (36)

  1. 映像の再生を行う映像再生装置であって、
    再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類する分類手段と、
    利用者の映像に対する集中度を示す利用者映像集中度を導出する利用者映像集中度導出手段と、
    分類手段の分類結果を考慮し、利用者の現在の利用者映像集中度と、再生対象の各映像または各映像区間に必要な利用者の集中度とを比較して、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を優先的に再生する映像再生手段とを備えた
    ことを特徴とする映像再生装置。
  2. 再生対象の映像または映像区間と、利用者の集中度とを関連付けて記憶する記憶部をさらに備え、前記分類手段は、前記記憶部を参照して再生対象の映像または映像区間を分類することを特徴とする請求項１記載の映像再生装置。
  3. 再生対象の映像を記憶する映像蓄積手段と、
    前記映像蓄積手段に記憶された映像に付随する情報であって、少なくとも映像区間を示す情報を含む付随情報を記憶する映像付随情報記憶手段と、
    利用者映像集中度導出手段によって導出された利用者映像集中度と、分類手段によって分類された再生対象の各映像または各映像区間の分類結果とに基づいて、再生する映像または映像区間を選択する再生映像選択手段とを備え、
    分類手段は、前記映像蓄積手段に記憶された各映像または映像の各区間を、視聴に必要とされる利用者の集中度に応じて分類し、
    映像再生手段は、前記再生映像選択手段によって選択された映像または映像区間を再生する
    請求項１記載の映像再生装置。
  4. 再生対象の映像を記憶する映像蓄積手段と、
    前記映像蓄積手段に記憶された映像に付随する情報であって、少なくとも映像区間を示す情報を含む付随情報を記憶する映像付随情報記憶手段と、
    利用者映像集中度導出手段によって導出された利用者映像集中度と、分類手段によって分類された再生対象の各映像または各映像区間の分類結果とに基づいて、再生する映像または映像区間を選択する再生映像選択手段とを備え、
    分類手段は、前記映像蓄積手段に記憶された各映像または映像の各区間を、視聴に必要とされる利用者の集中度に応じて分類し、
    映像再生手段は、前記再生映像選択手段によって選択された映像または映像区間を再生する
    請求項２記載の映像再生装置。
  5. 再生映像選択手段は、利用者映像集中度が所定の閾値よりも低い場合に、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を選択する
    請求項３記載の映像再生装置。
  6. 過去に再生された映像または映像区間を履歴情報として記憶する映像再生履歴記憶手段を備え、
    再生映像選択手段は、利用者映像集中度導出手段によって導出された利用者映像集中度と、分類手段によって分類された再生対象の各映像または各映像区間の分類結果と、前記映像再生履歴記憶手段に記憶された履歴情報とに基づいて、再生する映像または映像区間を選択する
    請求項３記載の映像再生装置。
  7. 再生映像選択手段は、映像再生履歴記憶手段に記憶された履歴情報で示される過去に再生された映像または映像区間以外で、視聴に必要な集中度が、現在の利用者映像集中度よりも低い映像または映像区間を選択する
    請求項６記載の映像再生装置。
  8. 各映像間または映像の各区間間の従属関係を示す関連情報を記憶する関連情報記憶手段を備え、
    再生映像選択手段は、利用者映像集中度導出手段によって導出された利用者映像集中度と、分類手段によって分類された再生対象の各映像または各映像区間の分類結果と、前記関連情報記憶手段に記憶された関連情報とに基づいて、これまでに再生した映像または映像区間と従属関係を有し、かつ、視聴に必要な集中度が、現在の利用者映像集中度よりも低い映像または映像区間を選択する
    請求項３から請求項７のうちのいずれか１項に記載の映像再生装置。
  9. 再生映像選択手段は、再生中の映像区間と同一の映像に属する映像区間から再生する映像区間を選択する
    請求項８に記載の映像再生装置。
  10. 関連情報記憶手段は、少なくとも、各映像間または映像の各区間間の時間的連続性を示す情報、または、意味的従属性を示す情報を含む関連情報を記憶する
    請求項８記載の映像再生装置。
  11. 再生映像選択手段は、再生中の映像区間と時間的に連続する映像区間の視聴に必要とされる利用者の集中度が、現時点の利用者映像集中度よりも高い場合に、現時点の利用者映像集中度よりも低い集中度で視聴可能で、かつ、再生中の映像区間と従属関係を有しない映像区間を選択する
    請求項８記載の映像再生装置。
  12. 利用者映像集中度の変化を検出し、再生中の映像または映像区間の視聴に必要とされる利用者の集中度が、現時点の利用者映像集中度よりも低くなった場合に、再生を中断する中断検出手段を備えた
    請求項３記載の映像再生装置。
  13. 中断検出手段は、利用者映像集中度の変化を検出し、再生中の映像または映像区間の視聴に必要とされる利用者の集中度が、現時点の利用者映像集中度よりも低くなった場合に、再生中の映像区間の終了まで再生を行った上で、再生を中断し、
    再生映像選択手段は、映像区間終了時点で検出される利用者映像集中度に基づいて、再生する映像区間を選択する
    請求項１２記載の映像再生装置。
  14. 再生を中断した位置である中断点を示す情報を記憶する中断点記憶手段を備え、
    中断検出手段は、再生を中断した場合に、前記中断点記憶手段に、その際の中断点を記憶し、
    再生映像選択手段は、中断検出手段によって再生が中断された後、利用者映像集中度が、中断点と時間的に連続する映像区間の視聴に必要な集中度よりも高くなった場合に、前記中断点から映像の再生を再開させるよう映像区間を選択する
    請求項１２または請求項１３記載の映像再生装置。
  15. 再生映像選択手段は、再生を中断した後、利現時点で再生中の映像区間と従属関係を有する全映像区間の再生が終了した後に、中断点から映像の再生を再開させるよう映像区間を選択する
    請求項１２に記載の映像再生装置。
  16. 中断検出手段は、利用者映像集中度が、再生中の映像区間に時間的に連続する映像区間の視聴に必要とされる利用者の集中度よりも高くなった場合に、再生を中断するとともに、中断点記憶手段にその際の中断点を記憶し、
    再生映像選択手段は、中断検出手段によって再生が中断された場合には、中断した時点で検出された利用者映像集中度よりも低い集中度で視聴可能な映像区間のうち、再生中の映像区間と意味的に従属関係のない映像区間を選択し、さらに、意味的に従属関係のない前記映像区間の再生が終了した際に、利用者映像集中度が、中断点と時間的に連続する映像区間の視聴に必要とされる利用者の集中度よりも高ければ、前記中断点から映像の再生を再開させるよう映像区間を選択する
    請求項１２記載の映像再生装置。
  17. 分類手段は、再生対象の映像または映像区間の、ジャンル、重要度、難易度、利用者嗜好との合致度を示す情報のうちのいずれか１つ以上の情報に基づいて、その映像または映像区間の視聴に必要な集中度を算出し、算出した集中度に応じた分類を行う
    請求項３に記載の映像再生装置。
  18. 分類手段は、難易度として、映像または映像区間に含まれる単位時間あたりの音声量、単位時間あたりに提示される文字数のうちのいずれか一つ以上の情報を用いる
    請求項１７記載の映像再生装置。
  19. 利用者の能力、嗜好、映像視聴の目的を示す情報のうちのいずれか１つ以上を含む利用者情報を取得する利用者情報取得手段を備え、
    分類手段は、前記利用者情報取得手段が取得した利用者情報に応じて、映像または映像区間の視聴に必要な集中度を変更する
    請求項３記載の映像再生装置。
  20. 利用者映像集中度導出手段は、映像の再生状況、並行して行われている他の作業への集中度、映像の視聴環境を示す情報のうちのいずれか１つ以上の情報に基づいて、利用者の映像に対する集中度を推定することによって、利用者映像集中度を導出する
    請求項３に記載の映像再生装置。
  21. 利用者映像集中度導出手段は、映像の再生状況として、再生している映像の画面サイズ、画面の位置、再生音声の音量のうちのいずれか１つ以上の情報を用いる
    請求項２０記載の映像再生装置。
  22. 利用者映像集中度導出手段は、並行して行われている他の作業への集中度として、立ち上がっている各アプリケーションの種類、画面サイズ、画面位置、単位時間あたりの情報入力量のうちのいずれか１つ以上の情報を用いる
    請求項２０記載の映像再生装置。
  23. 利用者映像集中度導出手段は、並行して行われている他の作業への集中度として、単位時間あたりのキーストローク数を用いる
    請求項２０記載の映像再生装置。
  24. 利用者映像集中度導出手段は、映像の視聴環境として、映像再生を行っている時間、位置情報、再生場所の騒音量のうちのいずれかひとつ以上の情報を用いる
    請求項２０記載の映像再生装置。
  25. 利用者映像集中度導出手段は、利用者の視線情報に基づいて、利用者の映像に対する集中度を推定する
    請求項２０から請求項２４に記載の映像再生装置。
  26. 映像の再生の停止および再開を制御する停止開始制御手段を備え、
    停止開始制御手段は、所定の条件に基づいて判断した結果、再生する映像または映像区間が存在しない場合には、利用者映像集中度が、映像再生に必要な集中度になるまで、映像の再生を停止する
    請求項３に記載の映像再生装置。
  27. 利用者の操作に応じて、再生の停止または再開を指示する旨の情報を入力する入力手段を備え、
    停止開始制御手段は、前記入力手段から入力される利用者からの停止指示を示す情報を検出した場合に、再生を停止し、映像または映像区間の再選択を行う
    請求項２６記載の映像再生装置。
  28. 利用者に、再生する映像または映像区間を選択させる選択手段を備え、
    停止開始制御手段は、前記入力手段から入力される利用者からの停止指示を示す情報を検出した場合に、再生を停止し、前記選択手段によって映像または映像区間の再選択が行われるように制御する
    請求項２７記載の映像再生装置。
  29. 停止開始制御手段は、入力手段を介して利用者からの停止指示を示す情報が入力された場合に、再生を停止し、再生映像選択手段によって映像または映像区間の再選択が行われるように制御し、
    再生映像選択手段は、停止開始制御手段からの指示を受けて、停止した映像または映像区間を除いた映像または映像区間の中から、所定の条件に基づいて選択する
    請求項２７記載の映像再生装置。
  30. 入力手段を介して利用者からの停止指示を示す情報が入力された場合に、停止指示の対象となった映像または映像区間の分類結果を変更する分類結果更新手段を備えた
    請求項２７から請求項２９のうちのいずれか１項に記載の映像再生装置。
  31. 映像の再生を行う映像再生方法であって、
    再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類し、
    利用者の映像に対する集中度を示す利用者映像集中度を導出し、
    分類手段の分類結果を考慮し、利用者の現在の利用者映像集中度と、再生対象の各映像または各映像区間に必要な利用者の集中度とを比較して、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を優先的に再生する
    ことを特徴とする映像再生方法。
  32. 再生対象の映像または映像区間と、利用者の集中度とを関連付けて記憶する記憶部をさらに備え、前記分類手段は、前記記憶部を参照して再生対象の映像または映像区間を分類することを特徴とする請求項３１記載の映像再生方法。
  33. 再生対象の映像を記憶し、
    記憶された映像に付随する情報であって、少なくとも映像区間を示す情報を含む付随情報を記憶し、
    記憶された各映像または映像の各区間を、視聴に必要とされる利用者の集中度に応じて分類し、
    利用者の映像に対する集中度を示す利用者映像集中度を導出し、
    導出された利用者映像集中度と、分類された再生対象の各映像または各映像区間の分類結果とに基づいて、再生する映像または映像区間を選択し、
    選択された映像または映像区間を再生する
    請求項３１または請求項３２に記載の映像再生方法。
  34. 映像の再生を行うための映像再生用プログラムであって、
    コンピュータに、
    再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類する処理、
    利用者の映像に対する集中度を示す利用者映像集中度を導出する処理、および
    分類手段の分類結果を考慮し、利用者の現在の利用者映像集中度と、再生対象の各映像または各映像区間に必要な利用者の集中度とを比較して、利用者映像集中度よりも低い集中度で視聴可能な映像または映像区間を優先的に再生する処理を
    実行させるための映像再生用プログラム。
  35. 再生対象の映像または映像区間と、利用者の集中度とを関連付けて記憶する記憶部をさらに備え、前記分類手段は、前記記憶部を参照して再生対象の映像または映像区間を分類することを特徴とする請求項３４記載の映像再生用プログラム。
  36. 再生対象の映像と、再生対象の映像に付随する情報であって、少なくとも映像区間を示す情報を含む付随情報とを記憶する記憶装置を備えたコンピュータに、
    再生対象の映像または映像区間を、視聴に必要とされる利用者の集中度に応じて分類する処理、
    利用者の映像に対する集中度を示す利用者映像集中度を導出する処理、
    導出された利用者映像集中度と、分類された再生対象の各映像または各映像区間の分類結果とに基づいて、再生する映像または映像区間を選択する処理、および
    選択された映像または映像区間を再生する処理を実行させる
    請求項３４または３５記載の映像再生用プログラム。
JP2008515436A 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム Expired - Fee Related JP5146315B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008515436A JP5146315B2 (ja) 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006135327 2006-05-15
JP2006135327 2006-05-15
PCT/JP2007/000517 WO2007132566A1 (ja) 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム
JP2008515436A JP5146315B2 (ja) 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム

Publications (2)

Publication Number Publication Date
JPWO2007132566A1 true JPWO2007132566A1 (ja) 2009-09-24
JP5146315B2 JP5146315B2 (ja) 2013-02-20

Family

ID=38693667

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008515436A Expired - Fee Related JP5146315B2 (ja) 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム

Country Status (4)

Country Link
US (1) US8290341B2 (ja)
JP (1) JP5146315B2 (ja)
CN (1) CN101444092A (ja)
WO (1) WO2007132566A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172660A (ja) * 2007-01-15 2008-07-24 Fujitsu Ltd 嗜好データ生成装置，コンテンツ表示装置，嗜好データ生成方法および嗜好データ生成プログラム
EP2099198A1 (en) * 2008-03-05 2009-09-09 Sony Corporation Method and device for personalizing a multimedia application
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
CN103339628A (zh) 2011-03-30 2013-10-02 日本电气株式会社 数据相关度评估设备、数据相关度评估方法和记录介质
US8893164B1 (en) * 2012-05-16 2014-11-18 Google Inc. Audio system
US9398335B2 (en) * 2012-11-29 2016-07-19 Qualcomm Incorporated Methods and apparatus for using user engagement to provide content presentation
US9635096B2 (en) * 2013-11-26 2017-04-25 Google Inc. Selecting a content item based on a view profile
EP3035693A1 (en) * 2014-12-19 2016-06-22 Koninklijke KPN N.V. Improved use and creation of content files
KR101766347B1 (ko) * 2015-05-27 2017-08-08 노성렬 집중도 평가시스템
US9875443B2 (en) * 2015-06-18 2018-01-23 TCL Research America Inc. Unified attractiveness prediction framework based on content impact factor
JP6451658B2 (ja) * 2016-02-03 2019-01-16 株式会社デンソー 車両用動画再生装置
JP6776716B2 (ja) * 2016-08-10 2020-10-28 富士ゼロックス株式会社 情報処理装置、プログラム
KR102054549B1 (ko) * 2017-03-31 2019-12-10 이화여자대학교 산학협력단 학습자의 동공 변화를 이용한 인지 부하 측정 방법 및 인지 부하 측정 장치
CN107872620B (zh) * 2017-11-22 2020-06-02 北京小米移动软件有限公司 视频录制方法及装置、计算机可读存储介质
US10694262B1 (en) * 2019-03-12 2020-06-23 Ambarella International Lp Overlaying ads on camera feed in automotive viewing applications
CN110337032A (zh) * 2019-06-11 2019-10-15 福建天泉教育科技有限公司 基于关注度的视频播放方法、存储介质
CN111327958B (zh) * 2020-02-28 2022-03-25 北京百度网讯科技有限公司 视频播放方法、装置、电子设备及存储介质
CN113709552A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN114366101B (zh) * 2021-12-31 2024-05-03 西安臻泰智能科技有限公司 运动想象脑电信号分类方法、装置、设备和存储介质

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1001414A6 (nl) * 1987-12-23 1989-10-24 Bell Telephone Mfg Conditionele multiplexeerketen.
JPH1198174A (ja) * 1997-09-19 1999-04-09 Toshiba Corp 通信制御システム及び通信制御システムの通信制御方法
JP3938649B2 (ja) * 2000-03-03 2007-06-27 アルパイン株式会社 Ｄｖｄビデオシナリオ再生装置
JP3644502B2 (ja) * 2001-02-06 2005-04-27 ソニー株式会社 コンテンツ受信装置およびコンテンツ呈示制御方法
JP4427909B2 (ja) * 2001-02-15 2010-03-10 三菱化学株式会社 ホームサーバー装置，映像音声データの編集方法および映像音声データの生成方法
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
JP2003281864A (ja) * 2002-03-25 2003-10-03 Sanyo Electric Co Ltd 記録媒体管理装置および記録装置
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2004312401A (ja) * 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
JP4284504B2 (ja) * 2003-06-03 2009-06-24 ソニー株式会社 コンテンツ再生方法、コンテンツ再生装置、コンテンツ配信方法およびコンテンツ配信装置
JP2005034484A (ja) * 2003-07-17 2005-02-10 Sony Corp 音響再生装置、映像再生装置、及び映像音声再生方法
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
JP4396175B2 (ja) * 2003-08-05 2010-01-13 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
JP2005223778A (ja) 2004-02-09 2005-08-18 Sanyo Electric Co Ltd 映像音声視聴装置
JP2005260578A (ja) * 2004-03-11 2005-09-22 Ricoh Co Ltd 視聴解析サーバ、映像表示装置、および視聴解析サーバと映像表示装置とを備えた視聴情報収集配信システム
JP4299170B2 (ja) * 2004-03-23 2009-07-22 クラリオン株式会社 マルチメディア再生装置、マルチメディア再生システム、ヘッドフォン及び椅子
JP2006060778A (ja) * 2004-07-20 2006-03-02 Canon Inc 画像再生装置及び画像再生方法
JP4284538B2 (ja) * 2004-10-19 2009-06-24 ソニー株式会社 再生装置および再生方法

Also Published As

Publication number Publication date
WO2007132566A1 (ja) 2007-11-22
JP5146315B2 (ja) 2013-02-20
US8290341B2 (en) 2012-10-16
US20090097822A1 (en) 2009-04-16
CN101444092A (zh) 2009-05-27

Similar Documents

Publication Publication Date Title
JP5146315B2 (ja) 映像再生装置、映像再生方法、および映像再生用プログラム
KR100422699B1 (ko) 비디오 콘텐트의 재생 제어방법과 장치
KR101001172B1 (ko) 유사 비디오 콘텐츠 호핑을 위한 방법 및 장치
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
JP2009508379A (ja) ビデオのナビゲーション方法及び装置
JP2011217209A (ja) 電子機器、コンテンツ推薦方法及びプログラム
US8126309B2 (en) Video playback apparatus and method
CN108471544B (zh) 一种构建视频用户画像方法及装置
JP4047264B2 (ja) 動画像処理装置、動画像処理方法および動画像処理プログラム
US8634708B2 (en) Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method
US20100259688A1 (en) method of determining a starting point of a semantic unit in an audiovisual signal
US11575970B2 (en) Method and device for controlling video playback
JP4925938B2 (ja) ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
JP2009201041A (ja) コンテンツ検索装置およびその表示方法
JP5338450B2 (ja) 再生装置及びプログラム
US7486873B2 (en) Video reproduction apparatus and intelligent skip method therefor
JP2010246000A (ja) 映像サーチ再生装置
JP2007208651A (ja) コンテンツ視聴装置
Lehane et al. Indexing of fictional video content for event detection and summarisation
JP4491009B2 (ja) 動画像処理装置
JP3751608B2 (ja) 情報処理装置
KR100370249B1 (ko) 샷 세그멘테이션 정보를 이용한 비디오 스키밍 시스템
KR20020023063A (ko) 비디오 콘텐트의 구조적 정보를 이용한 비디오 스키밍방법과 장치
JP2005328329A (ja) 映像再生装置と映像録画再生装置と映像再生方法
KR100842086B1 (ko) 컨텐츠 수신장치 및 그의 컨텐츠 사용지수를 산출하는 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100414

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120515

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121112

R150 Certificate of patent or registration of utility model

Ref document number: 5146315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151207

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees