WO2007132566A1 - 映像再生装置、映像再生方法、および映像再生用プログラム - Google Patents

映像再生装置、映像再生方法、および映像再生用プログラム Download PDF

Info

Publication number
WO2007132566A1
WO2007132566A1 PCT/JP2007/000517 JP2007000517W WO2007132566A1 WO 2007132566 A1 WO2007132566 A1 WO 2007132566A1 JP 2007000517 W JP2007000517 W JP 2007000517W WO 2007132566 A1 WO2007132566 A1 WO 2007132566A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
user
playback
section
concentration
Prior art date
Application number
PCT/JP2007/000517
Other languages
English (en)
French (fr)
Inventor
Kyoji Hirata
Eiji Kasutani
Masumi Okumura
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Priority to JP2008515436A priority Critical patent/JP5146315B2/ja
Priority to US12/226,921 priority patent/US8290341B2/en
Publication of WO2007132566A1 publication Critical patent/WO2007132566A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/74—Browsing; Visualisation therefor
    • G06F16/745—Browsing; Visualisation therefor the internal structure of a single video sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies
    • H04N21/4662—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms
    • H04N21/4665—Learning process for intelligent management, e.g. learning user preferences for recommending movies characterized by learning algorithms involving classification methods, e.g. Decision trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/16—Analogue secrecy systems; Analogue subscription systems
    • H04N7/162—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing
    • H04N7/163—Authorising the user terminal, e.g. by paying; Registering the use of a subscription channel, e.g. billing by receiver means only

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Social Psychology (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Library & Information Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Security & Cryptography (AREA)
  • Human Computer Interaction (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Abstract

　再生対象となる映像または映像区間を視聴に必要とされる利用者の集中度に応じて分類する分類手段１２１と、利用者の映像に対する集中度を導出する利用者映像集中度導出手段１４０と、分類結果と利用者の映像に対する集中度とに基づいて、再生する映像または映像区間を選択する再生映像選択手段１２２と、再生映像選択手段により選択された映像または映像区間を再生する映像再生手段１３０とを備え、利用者の映像に対する集中度が低い場合に、視聴に必要な集中度が低い映像または映像区間を優先的に再生されるように動作する。

Description

明 細 書
映像再生装置、 映像再生方法、 および映像再生用プログラム 技術分野
[0001 ] 本発明は、 映像を再生する映像再生装置、 映像再生方法、 および映像再生 用プログラムに関し、 特に、 他の作業と並行して映像視聴を行う環境下にお いて、 映像視聴状況に応じて映像の再生方法を動的に変化させる映像再生装 置、 映像再生方法、 および映像再生用プログラムに関する。
背景技術
[0002] 従来、 この種の映像再生装置、 または映像提示装置は、 あらかじめ装置内 に蓄積された映像、 または装置外から取得した映像を装置内に読み込み、 そ して、 あらかじめ定義された順序で再生することによって、 利用者に映像情 報を提示する。 利用者が再生順序や再生速度を変更する場合には、 装置内に ある早送りボタンゃジャンプボタンを用いてィンタラクティブに操作を行う
[0003] 映像視聴と同時に、 映像視聴を含む他の作業を並行して行うための装置は 、 広く世の中に普及している。 複数の映像を同時に視聴するための装置とし ては、 例えば、 装置内に複数のデコーダをもち、 複数のウィンドウ （親子ゥ インドウ） にて、 複数の映像を同時に再生するテレビ受像機等の再生装置が ある。 また、 計算機■携帯端末といった、 1つまたは複数の映像ウィンドウ に加えて、 ウェブ閲覧、 プログラミング、 メイル生成などを行う複数のウイ ンドウを生成し、 ウェブ閲覧等の別の作業を行いながら、 映像視聴を同時に 実現する映像再生装置がある。
[0004] 他の作業 （通話） と映像視聴を両立させる方法の一例が特許文献 1に記載 されている。 特許文献 1には、 電話着信等による中断によって、 番組の一部 を見逃した場合に、 見逃した区間の初めに遡って再開する映像音声視聴装置 が記載されている。 特許文献 1に記載の映像音声視聴装置は、 テレビ機能と 録画機能と再生機能と移動電話機能とを備えた映像音声視聴装置が、 着信時 に映像再生を中断して中断位置を保持する再生中断手段と、 通話が終了する と中断位置から再生動作を開始する再生制御手段とを有する。
[0005] 特許文献 1 ：特開 2 0 0 5 _ 2 2 3 7 7 8号公報
発明の開示
発明が解決しょうとする課題
[0006] 他の作業と映像視聴とを並行して行う従来の方法には、 以下のような問題 点がある。 まず、 映像視聴と並行して行う、 メイル生成やウェブ閲覧といつ た他の作業の操作が複雑になるという点である。 また、 別の作業に利用者が 集中してしまった場合に、 再生中の映像に十分な注意をさくことができなく なり、 映像の重要な部分を見逃してしまう、 または、 重要な部分への理解が 十分に行われなくなり、 映像全体が理解できなくなるという点である。 なお 、 逆に利用者が映像視聴に集中してしまった場合には、 並行して行っている 作業に十分な注意をさくことができなくなるため、 並行して行う作業の効率 が落ちてしまうという問題も生じる。
[0007] また、 他の作業を行っている間 （通話中） は映像視聴を中断するといぅ特 許文献 1に記載の映像音声視聴装置の場合、 利用者が他の作業を行っている 間、 映像が再生されないため、 同一時間での映像視聴が十分に行われないと いう問題点がある。 特に、 他の作業の時間が長くなつた場合、 並行して行わ れる他の作業の状態、 内容に関わらず作業中のすべての時間で一律に映像再 生を中断するため、 作業負荷が軽くなつた時等、 作業中に 「ながら視聴」 を したいという場合に対応できない。
[0008] そこで、 本発明は、 他の作業と映像視聴の両方を同時に行う 「ながら視聴 」 の環境下において、 並行して行う作業の効率を落とすことなく、 映像全体 が理解されなくなるという問題を回避して、 より効果的な映像視聴を実現す ることを目的とする。
[0009] さらに、 他の作業を行っている間に、 映像への理解を損なうことなく並行 して映像視聴を継続することによって、 時間効率の良い情報取得を実現する ことを目的とする。 課題を解決するための手段
[0010] 本発明による映像再生装置は、 映像の再生を行う映像再生装置であって、 再生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に 応じて分類する分類手段と、
利用者の映像に対する集中度を示す利用者映像集中度を導出する利用者映 像集中度導出手段と、
分類手段の分類結果を考慮し、 利用者の現在の利用者映像集中度と、 再生 対象の各映像または各映像区間に必要な利用者の集中度とを比較して、 利用 者映像集中度よリも低い集中度で視聴可能な映像または映像区間を優先的に 再生する映像再生手段とを備えた
ことを特徴とする。
[001 1 ] また、 映像再生装置は、 再生対象の映像または映像区間と、 利用者の集中 度とを関連付けて記憶する記憶部をさらに備え、 分類手段は、 記憶部を参照 して再生対象の映像または映像区間を分類してもよい。
[0012] また、 映像再生装置は、 再生対象の映像を記憶する映像蓄積手段と、 映像 蓄積手段に記憶された映像に付随する情報であって、 少なくとも映像区間を 示す情報を含む付随情報を記憶する映像付随情報記憶手段と、 利用者映像集 中度導出手段によつて導出された利用者映像集中度と、 分類手段によつて分 類された再生対象の各映像または各映像区間の分類結果とに基づいて、 再生 する映像または映像区間を選択する再生映像選択手段とを備え、 分類手段は 、 映像蓄積手段に記憶された各映像または映像の各区間を、 視聴に必要とさ れる利用者の集中度に応じて分類し、 映像再生手段は、 再生映像選択手段に よって選択された映像または映像区間を再生してもよい。
[0013] また、 再生映像選択手段は、 利用者映像集中度が所定の閾値よりも低い場 合に、 利用者映像集中度よリも低い集中度で視聴可能な映像または映像区間 を選択してもよい。
[0014] また、 映像再生装置は、 過去に再生された映像または映像区間を履歴情報 として記憶する映像再生履歴記憶手段を備え、 再生映像選択手段は、 利用者 映像集中度導出手段によって導出された利用者映像集中度と、 分類手段によ つて分類された再生対象の各映像または各映像区間の分類結果と、 映像再生 履歴記憶手段に記憶された履歴情報とに基づいて、 再生する映像または映像 区間を選択してもよい。
[0015] また、 再生映像選択手段は、 映像再生履歴記憶手段に記憶された履歴情報 で示される過去に再生された映像または映像区間以外で、 視聴に必要な集中 度が、 現在の利用者映像集中度よリも低い映像または映像区間を選択しても よい。
[0016] また、 映像再生装置は、 各映像間または映像の各区間間の従属関係を示す 関連情報を記憶する関連情報記憶手段を備え、 再生映像選択手段は、 利用者 映像集中度導出手段によって導出された利用者映像集中度と、 分類手段によ つて分類された再生対象の各映像または各映像区間の分類結果と、 関連情報 記憶手段に記憶された関連情報とに基づいて、 これまでに再生した映像また は映像区間と従属関係を有し、 かつ、 視聴に必要な集中度が、 現在の利用者 映像集中度よリも低い映像または映像区間を選択してもよい。
[0017] また、 再生映像選択手段は、 再生中の映像区間と同一の映像に属する映像 区間から再生する映像区間を選択してもよい。
[0018] また、 関連情報記憶手段は、 少なくとも、 各映像間または映像の各区間間 の時間的連続性を示す情報、 または、 意味的従属性を示す情報を含む関連情 報を記憶してもよい。
[0019] また、 再生映像選択手段は、 再生中の映像区間と時間的に連続する映像区 間の視聴に必要とされる利用者の集中度が、 現時点の利用者映像集中度よリ も高い場合に、 現時点の利用者映像集中度よリも低い集中度で視聴可能で、 かつ、 再生中の映像区間と従属関係を有しない映像区間を選択してもよい。
[0020] また、 映像再生装置は、 利用者映像集中度の変化を検出し、 再生中の映像 または映像区間の視聴に必要とされる利用者の集中度が、 現時点の利用者映 像集中度よリも低くなつた場合に、 再生を中断する中断検出手段を備えてい てもよい。 [0021 ] また、 中断検出手段は、 利用者映像集中度の変化を検出し、 再生中の映像 または映像区間の視聴に必要とされる利用者の集中度が、 現時点の利用者映 像集中度よリも低くなつた場合に、 再生中の映像区間の終了まで再生を行つ た上で、 再生を中断し、 再生映像選択手段は、 映像区間終了時点で検出され る利用者映像集中度に基づいて、 再生する映像区間を選択してもよい。
[0022] また、 映像再生装置は、 再生を中断した位置である中断点を示す情報を記 憶する中断点記憶手段を備え、 中断検出手段は、 再生を中断した場合に、 中 断点記憶手段に、 その際の中断点を記憶し、 再生映像選択手段は、 中断検出 手段によって再生が中断された後、 利用者映像集中度が、 中断点と時間的に 連続する映像区間の視聴に必要な集中度よリも高くなった場合に、 中断点か ら映像の再生を再開させるよう映像区間を選択してもよい。
[0023] また、 再生映像選択手段は、 再生を中断した後、 利現時点で再生中の映像 区間と従属関係を有する全映像区間の再生が終了した後に、 中断点から映像 の再生を再開させるよう映像区間を選択してもよい。
[0024] また、 中断検出手段は、 利用者映像集中度が、 再生中の映像区間に時間的 に連続する映像区間の視聴に必要とされる利用者の集中度よリも高くなつた 場合に、 再生を中断するとともに、 中断点記憶手段にその際の中断点を記憶 し、 再生映像選択手段は、 中断検出手段によって再生が中断された場合には 、 中断した時点で検出された利用者映像集中度よリも低い集中度で視聴可能 な映像区間のうち、 再生中の映像区間と意味的に従属関係のない映像区間を 選択し、 さらに、 意味的に従属関係のない映像区間の再生が終了した際に、 利用者映像集中度が、 中断点と時間的に連続する映像区間の視聴に必要とさ れる利用者の集中度よりも高ければ、 中断点から映像の再生を再開させるよ う映像区間を選択してもよい。
[0025] また、 分類手段は、 再生対象の映像または映像区間の、 ジャンル、 重要度 、 難易度、 利用者嗜好との合致度を示す情報のうちのいずれか 1つ以上の情 報に基づいて、 その映像または映像区間の視聴に必要な集中度を算出し、 算 出した集中度に応じた分類を行ってもよい。 [0026] また、 分類手段は、 難易度として、 映像または映像区間に含まれる単位時 間あたリの音声量、 単位時間あたリに提示される文字数のうちのいずれか一 つ以上の情報を用いてもよい。
[0027] また、 映像再生装置は、 利用者の能力、 嗜好、 映像視聴の目的を示す情報 のうちのいずれか 1つ以上を含む利用者情報を取得する利用者情報取得手段 を備え、 分類手段は、 利用者情報取得手段が取得した利用者情報に応じて、 映像または映像区間の視聴に必要な集中度を変更してもよい。 なお、 利用者 情報を取得するとは、 例えば、 利用者に入力させたり、 過去に再生した履歴 情報から導出することである。
[0028] また、 利用者映像集中度導出手段は、 映像の再生状況、 並行して行われて いる他の作業への集中度、 映像の視聴環境を示す情報のうちのいずれか 1つ 以上の情報に基づいて、 利用者の映像に対する集中度を推定することによつ て、 利用者映像集中度を導出してもよい。
[0029] また、 利用者映像集中度導出手段は、 映像の再生状況として、 再生してい る映像の画面サイズ、 画面の位置、 再生音声の音量のうちのいずれか 1っ以 上の情報を用いてもよい。
[0030] また、 利用者映像集中度導出手段は、 並行して行われている他の作業への 集中度として、 立ち上がつている各アプリケーションの種類、 画面サイズ、 画面位置、 単位時間あたりの情報入力量のうちのいずれか 1つ以上の情報を 用いてもよい。
[0031 ] また、 利用者映像集中度導出手段は、 並行して行われている他の作業への 集中度として、 単位時間あたりのキーストローク数を用いてもよい。
[0032] また、 利用者映像集中度導出手段は、 映像の視聴環境として、 映像再生を 行っている時間、 位置情報、 再生場所の騒音量のうちのいずれかひとつ以上 の情報を用いてもよい。
[0033] また、 利用者映像集中度導出手段は、 利用者の視線情報に基づいて、 利用 者の映像に対する集中度を推定してもよい。
[0034] また、 映像再生装置は、 映像の再生の停止および再開を制御する停止開始 制御手段を備え、 停止開始制御手段は、 所定の条件に基づいて判断した結果 、 再生する映像または映像区間が存在しない場合には、 利用者映像集中度が 、 映像再生に必要な集中度になるまで、 映像の再生を停止してもよい。
[0035] また、 映像再生装置は、 利用者の操作に応じて、 再生の停止または再開を 指示する旨の情報を入力する入力手段を備え、 停止開始制御手段は、 入力手 段から入力される利用者からの停止指示を示す情報を検出した場合に、 再生 を停止し、 映像または映像区間の再選択を行ってもよい。
[0036] また、 映像再生装置は、 利用者に、 再生する映像または映像区間を選択さ せる選択手段を備え、 停止開始制御手段は、 入力手段から入力される利用者 からの停止指示を示す情報を検出した場合に、 再生を停止し、 選択手段によ つて映像または映像区間の再選択が行われるように制御してもよい。
[0037] また、 停止開始制御手段は、 入力手段を介して利用者からの停止指示を示 す情報が入力された場合に、 再生を停止し、 再生映像選択手段によって映像 または映像区間の再選択が行われるように制御し、 再生映像選択手段は、 停 止開始制御手段からの指示を受けて、 停止した映像または映像区間を除いた 映像または映像区間の中から、 所定の条件に基づいて選択してもよい。
[0038] また、 映像再生装置は、 入力手段を介して利用者からの停止指示を示す情 報が入力された場合に、 停止指示の対象となった映像または映像区間の分類 結果を変更する分類結果更新手段を備えていてもよい。
[0039] また、 本発明による映像再生方法は、
映像の再生を行う映像再生方法であって、
再生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に 応じて分類し、
利用者の映像に対する集中度を示す利用者映像集中度を導出し、 分類手段の分類結果を考慮し、 利用者の現在の利用者映像集中度と、 再生 対象の各映像または各映像区間に必要な利用者の集中度とを比較して、 利用 者映像集中度よリも低い集中度で視聴可能な映像または映像区間を優先的に 再生する ことを特徴とする。
[0040] また、 映像再生方法は、 再生対象の映像または映像区間と、 利用者の集中 度とを関連付けて記憶する記憶部をさらに備え、 分類手段は、 記憶部を参照 して再生対象の映像または映像区間を分類してもよい。
[0041 ] また、 映像再生方法は、 再生対象の映像を記憶し、 記憶された映像に付随 する情報であって、 少なくとも映像区間を示す情報を含む付随情報を記憶し 、 記憶された各映像または映像の各区間を、 視聴に必要とされる利用者の集 中度に応じて分類し、 利用者の映像に対する集中度を示す利用者映像集中度 を導出し、 導出された利用者映像集中度と、 分類された再生対象の各映像ま たは各映像区間の分類結果とに基づいて、 再生する映像または映像区間を選 択し、 選択された映像または映像区間を再生してもよい。
[0042] また、 本発明による映像再生用プログラムは、
映像の再生を行うための映像再生用プログラムであって、
コンピュータに、
再生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に 応じて分類する処理、
利用者の映像に対する集中度を示す利用者映像集中度を導出する処理、 お よび
分類手段の分類結果を考慮し、 利用者の現在の利用者映像集中度と、 再生 対象の各映像または各映像区間に必要な利用者の集中度とを比較して、 利用 者映像集中度よリも低い集中度で視聴可能な映像または映像区間を優先的に 再生する処理を
実行させる。
[0043] また、 映像再生用プログラムは、 再生対象の映像または映像区間と、 利用 者の集中度とを関連付けて記憶する記憶部をさらに備え、 分類手段は、 記憶 部を参照して再生対象の映像または映像区間を分類してもよい。
[0044] また、 映像再生用プログラムは、 再生対象の映像と、 再生対象の映像に付 随する情報であって、 少なくとも映像区間を示す情報を含む付随情報とを記 憶する記憶装置を備えたコンピュータに、 再生対象の映像または映像区間を 、 視聴に必要とされる利用者の集中度に応じて分類する処理、 利用者の映像 に対する集中度を示す利用者映像集中度を導出する処理、 導出された利用者 映像集中度と、 分類された再生対象の各映像または各映像区間の分類結果と に基づいて、 再生する映像または映像区間を選択する処理、 および選択され た映像または映像区間を再生する処理を実行させてもよい。
発明の効果
[0045] 本発明によれば、 分類手段が再生対象の映像または映像区間を、 視聴に必 要な集中度に応じて分類し、 利用者映像集中度導出手段が利用者の映像に対 する集中度を導出し、 再生映像選択手段が、 利用者の映像に対する集中度に 応じて、 再生対象の映像または映像区間を選択的に再生するので、 他の作業 への集中度が高い時に、 利用者が 「ながら視聴」 をしやすい映像または映像 区間が優先的に選択されて再生されるようになる。 従って、 他の作業を並行 に行いながらも、 重要な部分への理解が進まなくなるなどの映像理解の欠落 を生じることのない映像視聴を達成できる。
[0046] また、 本発明によれば、 他の作業の作業状態に応じて、 映像区間の再生お よび提供が行われるので、 他の作業中にも映像視聴を継続することができ、 理解可能な範囲内で、 時間効率のよい情報取得を実現することができる。 産業上の利用可能性
[0047] 本発明は、 ホームサーバ、 カーオーディオ、 携帯端末ほか、 映像の再生を 行う情報処理装置に好適に適用できる。
図面の簡単な説明
[0048] 上述した目的、 およびその他の目的、 特徴および利点は、 以下に述べる好 適な実施の形態、 およびそれに付随する以下の図面によってさらに明らかに なる。
[図 1 ]本実施の形態による映像再生装置の構成例を示すブロック図である。
[図 2]本実施の形態による映像再生装置の映像登録動作の一例を示すフローチ ヤー卜である。 [図 3]分類手段 1 2 1の構成例を示すブロック図である。
[図 4]本実施の形態による映像再生装置の映像再生動作の一例を示すフローチ ヤー卜である。
[図 5]利用者映像集中度導出手段 1 4 0の構成例を示すブロック図である。
[図 6]第 2の実施の形態による映像再生装置の構成例を示すブロック図である
[図 7]第 2の実施の形態の映像登録動作の一例を示すフローチャートである。
[図 8]第 2の実施の形態の映像再生動作の一例を示すフローチヤ一卜である。
[図 9]再生映像選択手段 2 2 2が行う映像区間の選択動作の一例を示すフロー チヤ一卜である。
[図 10]第 3の実施の形態による映像再生装置の構成例を示すブロック図であ る。
[図 11 ]第 3の実施の形態の映像登録動作の一例を示すフローチャートである
[図 12]第 3の実施の形態の映像再生動作の一例を示すフローチャートである
[図 13]再生映像選択手段 3 2 2が行う再生映像選択動作の一例を示すフロー チヤ一卜である。
[図 14]第 4の実施の形態による映像再生装置の構成例を示すブロック図であ る。
[図 15]第 4の実施の形態の映像登録動作の一例を示すフローチャートである
[図 16]分類手段 4 2 1の構成例を示すブロック図である。
[図 17]第 4の実施の形態の映像再生動作の一例を示すフローチャートである
[図 18]第 5の実施の形態による映像再生装置の構成例を示すブロック図であ る。
[図 19]第 5の実施の形態の映像登録動作の一例を示すフローチャートである [図 20]第 5の実施の形態の映像再生動作の一例を示すフローチャートである
[図 21 ]第 6の実施の形態による映像再生装置の構成例を示すブロック図であ る。
発明を実施するための最良の形態
[0049] 実施の形態 1 .
以下、 本発明の実施の形態を図面を参照して説明する。 図 1は、 本実施の 形態による映像再生装置の構成例を示すブロック図である。
図 1に示す映像再生装置は、 映像の再生を行う映像再生装置であって、 再 生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に応じ て分類する分類手段 1 2 1と、 利用者の映像に対する集中度を示す利用者映 像集中度を導出する利用者映像集中度導出手段 1 4 0と、 分類手段 1 2 1の 分類結果を考慮し、 利用者の現在の利用者映像集中度と、 再生対象の各映像 または各映像区間に必要な利用者の集中度とを比較して、 利用者映像集中度 よリも低い集中度で視聴可能な映像または映像区間を優先的に再生する映像 再生手段 1 3 0とを備える。
[0050] また、 図 1の映像再生装置は、 再生対象の映像または映像区間と、 利用者 の集中度とを関連付けて記憶する分類結果記憶手段 1 1 3をさらに備え、 分 類手段 1 2 1は、 分類結果記憶手段 1 1 3を参照して再生対象の映像または 映像区間を分類する。
[0051] 図 1に示す映像再生装置は、 蓄積部 1 1 0と、 制御部 1 2 0と、 映像再生 手段 1 3 0と、 利用者映像集中度導出手段 1 4 0と、 再生 Z停止制御手段 1 5 0と、 映像登録手段 1 6 0とを備える。
[0052] 蓄積部 1 1 0は、 映像および本発明を実施するために必要なメタデータを 蓄積する記憶装置であって、 映像蓄積手段 1 1 1と、 映像 Z区間情報記憶手 段 1 1 2と、 分類結果記憶手段 1 1 3とを含む。 また、 制御部 1 2 0は、 本 発明を実施するための各種制御を行う処理装置であって、 分類手段 1 2 1と 、 再生映像選択手段 1 2 2とを含む。 蓄積部 1 1 0は、 例えば、 ハードディ スク、 フラッシュメモリ、 D V D、 C D等の記憶装置によって実現される。 なお、 蓄積部 1 1 0は、 単一の形態を有している必要はなく、 ハードデイス ク、 フラッシュメモリ、 D V D、 C D等のうちの複数からなる複合体であつ てもかまわない。 また、 専用の記憶装置である必要はなく、 他の再生用の映 像蓄積装置や、 プライべ一トコンテンッなどの蓄積装置を兼用してもかまわ ない。
[0053] 映像蓄積手段 1 1 1は、 再生対象となる映像を記憶する。 映像 Z区間情報 記憶手段 1 1 2は、 映像蓄積部 1 1 1に記憶されている各映像に関する情報 、 または各映像とその映像の区間 （映像区間） とに関する情報を記憶する。 なお、 映像区間とは、 映像内容の意味的、 または映像情報の信号処理的にま とまった一連の映像シーケンスを指す。 なお、 映像区間は、 一階層である必 要はなく、 章や節といった複数の階層であってもよい。 映像 Z区間情報記憶 手段 1 1 2は、 例えば、 複数の映像の中から 1つの映像を選択的に再生して いくという利用方法をとる場合には、 映像を識別する映像識別情報と、 その 映像に付随する情報とを対応づけて記憶する。 また、 例えば、 1つの映像の 中からも特定の区間を選択的に再生していくという利用方法をとる場合には 、 さらに、 その映像における映像区間を識別する区間識別情報と、 その映像 区間の開始位置および終了位置を含む映像区間に付随する情報とを対応づけ て記憶する。
[0054] なお、 映像に付随する情報とは、 例えば、 映像のジャンル （ドラマ， お笑 い， スポーツ等） 、 登場人物やロケ地といった書誌情報、 内容の概要等であ る。 また、 映像区間に付随する情報とは、 例えば、 映像区間の概要、 生成元 が定めた重要等である。 以下、 映像 Z区間情報記憶手段 1 1 2が記憶する情 報を映像 Z区間情報という。 また、 映像 Z区間情報記憶手段 1 1 2の記憶単 位、 すなわち内部的な再生単位である映像または映像区間のことを、 単に、 映像シーケンスと表現する場合がある。
[0055] 分類手段 1 2 1は、 映像蓄積手段 1 1 1に記憶される映像またはその映像 の各区間を、 視聴に必要とされる利用者の集中度 （以下、 視聴可能集中度と いう。 ） に基づいて分類する。 分類の例として、 例えば映像または映像区間 中の単位時間当たりに提示されるテロップなどの文字数や、 発話される音声 の数、 物体の動きの量などのメディア情報を解析し、 これらの複雑度から視 聴可能集中度を算出して分類を行ってもよい。 また、 映像や音声を解析する ことにより、 該当する映像区間の意味情報を抽出し、 映像全体の中での重要 度 （意味的重要度） を評価して、 これをもって視聴可能集中度とし、 映像ま たは映像区間の分類を行ってもよい。 なお、 映像区間の意味的重要度を評価 するために、 映像作成者や登録者などが手動で付与したァノテーシヨン （注 釈） 等のメタデータを利用することも可能である。
[0056] 更には、 利用者があらかじめ登録したキーヮード等から推測される利用者 嗜好と、 評価対象の映像または映像区間との一致度に基づいて、 視聴可能集 中度を導出してもよい。 なお、 視聴可能集中度をこれらの情報 （メディア情 報、 意味情報、 利用者嗜好等） から導出するだけなく、 あらかじめ付与され た視聴可能集中度を読み込んで、 これを基に分類を行う方法や、 更に、 利用 者が修正を加えるという方法を用いることも可能である。 分類結果記憶手段 1 1 3は、 分類手段 1 2 1による分類結果を記憶する。 以下、 分類結果記憶 手段 1 1 3が記憶する情報を分類結果情報という。 分類結果情報は、 例えば 、 分類手段 1 2 1が導出した視聴可能集中度をそのまま用いてもよいし、 視 聴可能集中度を度合いに応じて分類した際の分類識別を示す情報 （例えば、 レベル 1〜n ) であってもよい。 なお、 分類結果情報は、 専用の記憶装置に 記憶してもよいし、 映像蓄積手段 1 1 1や映像 Z区間情報記憶手段 1 1 2と 同じ記憶媒体に保存、 記憶してもよい。 また、 記憶形式も映像蓄積手段 1 1 1、 映像 Z区間情報記憶手段 1 1 2と同じ枠組みの中に記憶してもよいし、 独立して記憶してもよい。
[0057] 利用者映像集中度導出手段 1 4 0は、 利用者の映像視聴に対する集中度 （ 以下、 利用者映像集中度という。 ） を導出する。 利用者映像集中度導出手段 1 4 0は、 例えば、 利用者の動作を観察するセンサと、 それを解釈する制御 手段とを含み、 センサから入力される情報に基づいて、 利用者の映像視聴に 対する集中度の推定を行う。 利用者映像集中度導出手段 1 4 0は、 例えば、 映像提示環境を読み取るセンサを有し、 映像提示の際の画面サイズや画面位 置、 音量といったセンサ情報に基づいて計算することによって、 利用者映像 集中度を推定してもよい。
[0058] また、 メイル生成やウェブ閲覧など、 並行して行っている他の作業がある 場合、 これらの作業環境を読み取るセンサを有し、 並行して立ち上がつてい る他の作業の種類や画面サイズや画面位置、 入力文字数などを計測し、 他の 作業に対する集中度を算出し、 算出した他の作業の集中度に基づいて、 利用 者映像集中度を算出してもよい。 また、 他の作業への集中度は、 利用者の操 作入力を監視するセンサを有し、 装置全体への単位時間あたりのキー入力数 など、 本来映像視聴には必要のない操作の総数をもって算出することも可能 である。
[0059] また、 広く環境の検出を行うセンサを有し、 映像視聴が行われている場所 や回りの騒音、 時刻などの環境情報に基づいて、 利用者映像集中度を算出し てもよい。 また、 カメラや生体センサなどを有し、 利用者の視線情報や、 心 拍、 網膜、 脳波などの利用者の状態を観測して、 利用者映像集中度を算出す る方法も考えられる。
[0060] 再生映像選択手段 1 2 2は、 再生対象の各映像または各映像区間の中から 、 映像 Z区間情報記憶手段 1 1 2に記憶される付随情報と、 分類結果記憶手 段 1 1 3に記憶される分類結果情報 （視聴可能集中度） と、 利用者映像集中 度導出手段 1 4 0によって導出される利用者映像集中度とに基づいて、 再生 すべき映像シーケンスを決定する。 再生映像選択手段 1 2 2は、 例えば、 利 用者映像集中度導出手段 1 4 0から所定のタイミング （定期的または変化を 検出した際） に出力される利用者映像集中度をモニタリングしながら、 現在 の利用者映像集中度の値と、 分類結果記憶手段 1 1 3に記憶されている各映 像または各映像区間の視聴可能集中度の値とを比較して、 候補区域を選択し てもよい。 また、 選択する方法として、 現在再生中の映像シーケンスの情報 を利用する方法や、 独立して選択する方法、 過去の再生履歴を蓄積して、 再 生履歴を利用する方法を用いてもよい。
[0061] 再生 Z停止制御手段 1 5 0は、 利用者からの指示入力に応じて、 映像再生 の開始および停止の制御を行う。 映像再生手段 1 3 0は、 映像蓄積手段 1 1 1が蓄積する映像の中から、 再生映像選択手段 1 2 2が選択した映像シーケ ンスを再生する。 映像再生手段 1 3 0は、 例えば、 再生映像選択手段 1 2 2 から再生すべき映像シーケンスを識別する識別情報を受け取り、 識別情報で 示される映像または映像区間を映像蓄積手段 1 1 1から読み出して再生して もよい。 なお、 映像再生手段 1 3 0は、 通常再生だけでなく、 スロー再生や 、 中断、 高速再生、 繰り返し再生といった特殊再生機能をサポートしていて もよい。
[0062] 映像登録手段 1 6 0は、 再生対象となる映像、 および、 その映像と必要に 応じてその映像の区間とに関する情報の登録を行う。 映像登録手段 1 6 0は 、 例えば、 再生対象の映像として、 アンテナや受信回路、 デコーダなどを備 える受信端末を介して本装置に入力された放送信号や、 インターネッ卜等の 通信ネッ卜ワークを介して受信した映像信号、 ビデオカムコーダ等の画像入 力装置を介して入力されたビデオ信号を映像蓄積手段 1 1 1に登録する。 な お、 映像とともに、 その映像のメタデータが含まれて入力される場合には、 その映像のメタデータを、 その映像を識別する識別情報に対応づけて映像 Z 区間情報として映像 Z区間情報記憶手段 1 1 2に登録してもよい。 なお、 映 像 Z区間情報記憶手段 1 1 2に記憶する映像 Z区間情報は、 映像に付随して 映像提供者が提供する情報に限らず、 映像登録手段 1 6 0が、 映像蓄積手段 1 1 1に記憶してある映像を読み込んで解析することによって、 動的に導出 してもよい。 また、 さらに、 利用者が編集機能を用いて手動で付与してもよ い。
[0063] 次に、 本実施の形態の動作について説明する。 本実施の形態の動作には、 大きく分けて、 映像登録動作と、 映像再生動作の 2つの動作がある。 まず、 映像登録動作について説明する。 図 2は、 本実施の形態による映像再生装置 の映像登録動作の一例を示すフローチャートである。 図 2に示すように、 本 実施の形態では、 映像登録時に、 映像または映像区間を、 視聴に必要な利用 者の集中度に応じて分類する。
[0064] まず、 映像登録手段 1 6 0は、 映像およびその映像に付随するメタデータ の読み込みを行う （ステップ S 1 0 1 ) 。 映像登録手段 1 6 0は、 例えば、 本装置が備えるアンテナや、 受信回路、 デコーダを介して放送信号を受信す る。 また、 例えば、 インターネットを介して映像信号を受信する。 また、 例 えば、 接続されたビデオカムレコーダから出力される映像情報を入力する。 また、 映像登録手段 1 6 0は、 映像に付随するメタデータが存在する場合、 メタデータも合わせて読み込む。
[0065] 次に、 映像登録手段 1 6 0は、 必要に応じて、 読み込んだ映像を一続きの シーケンスに分離して、 映像区間を抽出する （ステップ S 1 0 2 ) 。 映像登 録手段 1 6 0は、 例えば、 信号特徴の連続性および非連続性を利用して映像 のショット分割を行うことによって、 映像区間を抽出する。 また、 例えば、 映像中からフェード，ワイプなどの視覚効果を検出し、 シーンの切り替わり とする方法や、 映像中の音声を解析し、 意味的に変化した場所を境界とする 方法、 映像に付加された台本情報等に基づいてショット分割する方法、 あら かじめ映像に付加された章やキヤプチヤーなどの区間情報を用いる方法によ つて、 映像区間を抽出してもよい。
[0066] 次に、 映像登録手段 1 6 0は、 読み込んだ映像を映像蓄積手段 1 1 1に登 録する （ステップ S 1 0 3 ) 。 また、 映像蓄積手段 1 1 1に登録した映像に 付随して読み込んだ、 または生成したメタデータを映像 Z区間情報として、 映像 Z区間情報記憶手段 1 1 2に登録する （ステップ S 1 0 4 ) 。 また、 映 像区間を抽出した場合には、 各映像区間に割り当てられた識別情報とともに 、 その映像区間の開始点および終了点を含めて、 映像 Z区間情報記憶手段 1 1 2に登録する。
[0067] 次に、 分類手段 1 2 1は、 映像登録手段 1 6 0が映像蓄積手段 1 1 1に登 録した映像、 または、 その映像の各映像区間を、 視聴可能集中度に応じて分 類する （ステップ S 1 0 5 ) 。 分類手段 1 2 1は、 映像蓄積手段 1 1 1に登 録された映像と、 映像 Z区間情報記憶手段 1 1 2に登録されたその映像、 ま たはその映像の各映像区間に関する情報とに基づいて、 その映像またはその 映像の各映像区間の視聴可能集中度を算出し、 算出した視聴可能集中度に応 じて分類する。
[0068] 図 3は、 分類手段 1 2 1の構成例を示すブロック図である。 図 3に示すよ うに、 映像読み込み手段 1 2 1 1と、 区間情報読み込み手段 1 2 1 2と、 付 属情報読み込み手段 1 2 1 3と、 映像解析手段 1 2 1 4と、 映像レベル集中 度導出手段 1 2 1 5と、 映像区間レベル集中度導出手段 1 2 1 6と、 集中度 統合手段 1 2 1 7と、 分類生成手段 1 2 1 8と、 出力手段 1 2 1 9とを含む
[0069] 映像読み込み手段 1 2 1 1は、 映像蓄積手段 1 1 1から再生対象の映像を 読み込む。 区間情報読み込み手段 1 2 1 2は、 必要に応じて、 映像 Z区間情 報記憶手段 1 1 2から各区間の開始点および終了点を示す情報を読み込む。 付属情報読み込み手段 1 2 1 3は、 映像 Z区間情報記憶手段 1 1 2から映像 または映像区間に付随する情報を読み込む。 映像解析手段 1 2 1 4は、 映像 内容を解析し、 その映像または各映像区間の視聴可能集中度を算出するため に必要な特徴量の抽出を行う。
[0070] 映像解析手段 1 2 1 4は、 例えば、 特徴量として、 映像中に表示されるテ 口ップ等の文字情報を抽出してカウントを行い、 単位時間当たリの文字数を 算出する。 また例えば、 音声認識を行い、 映像または各映像区間内に発話さ れる音声量をカウントする。 また例えば、 音声認識および映像認識の組み合 わせによって、 映像または各映像区間の意味情報を抽出して、 重要度を導出 する。
[0071] 映像レベル集中度導出手段 1 2 1 5は、 映像解析手段 1 2 1 4が抽出した 映像レベルでの特徴量と、 付属情報読み込み手段 1 2 1 3が読み込んだ映像 単位での付随情報とに基づいて、 映像レベルでの視聴に必要な集中度を導出 する。 映像レベル集中度導出手段 1 2 1 5は、 例えば、 映像解析手段 1 2 1 4が導出した特徴量の各項目について、 重要度に応じてあらかじめ重み係数 を定めておき、 各スコアの総和を取ってもよい。 また例えば、 全映像中の平 均と分散とを算出し正規化する方法などが考えられる。 映像区間レベル集中 度導出手段 1 2 1 6は、 必要に応じて、 映像レベル集中度導出手段 1 2 1 5 が映像全体に対して行った処理と同様の処理を、 各映像区間に対して行い、 映像区間レベルでの視聴に必要な集中度を導出する。
[0072] 集中度統合手段 1 2 1 7は、 映像レベルでの視聴に必要な集中度と、 必要 に応じて映像区間レベルでの視聴に必要な集中度とを勘案し、 最終的な映像 または映像区間の視聴可能集中度を導出する。 集中度統合手段 1 2 1 7は、 例えば、 映像ジャンルが視聴に高い集中度を必要とするドラマであっても、 映像区間が視聴に高い集中度を必要としない情景の部分であるといった場合 も考慮し、 総合的な評価を行う。 集中度統合手段 1 2 1 7は、 例えば、 重み 付け係数を用いた和をとる、 または双方の最大値または最小値をとるなどの 方法を用いてもよい。
[0073] 分類生成手段 1 2 1 8は、 再生対象の全映像、 または全映像区間を、 集中 度統合手段 1 2 1 7が導出した視聴可能集中度で分類する。 出力手段 1 2 1 9は、 分類生成手段 1 2 1 8による分類結果を出力する。 出力手段 1 2 1 9 は、 例えば、 視聴可能集中度を所定の尺度で分類識別した情報 （例えば、 レ ベル 1〜n ) を出力してもよいし、 視聴可能集中度が既に分類識別された情 報として導出される場合には視聴可能集中度を分類結果を示す情報としてそ のまま出力してもよい。 なお、 本例はあくまで導出の一例であり、 視聴可能 集中度の導出に、 本例示の一部分を扱う、 または、 本例示に他の特徴情報を 加えて導出してもかまわない。
[0074] 分類結果記憶手段 1 1 3は、 分類手段 1 2 1が出力する、 映像または映像 区間の視聴可能集中度を記憶する （ステップ S 1 0 6 ) 。
[0075] 次に、 映像再生動作について説明する。 図 4は、 本実施の形態による映像 再生装置の映像再生動作の一例を示すフローチヤ一卜である。 図 4に示すよ うに、 本実施の形態では、 視聴時に観察された利用者の映像に対する集中度 に応じて再生する映像または映像区間を選択しながら映像を再生する。
[0076] まず、 再生 Z停止制御手段 1 5 0は、 映像再生手段 1 3 0に再生開始の指 示を出すとともに、 利用者映像集中度導出手段 1 4 0に利用者の映像に対す る集中度 （利用者映像集中度） の抽出の指示を出す （ステップ S 2 0 1 ) 。
[0077] 利用者映像集中度導出手段 1 4 0は、 利用者映像集中度を導出する （ステ ップ S 2 0 2 ) 。 図 5は、 利用者映像集中度導出手段 1 4 0の構成例を示す ブロック図である。 図 5に示すように、 映像再生環境検出手段 1 4 0 1と、 他作業環境検出手段 1 4 0 2と、 視聴環境検出手段 1 4 0 3と、 視聴者状態 検出手段 1 4 0 4と、 集中度算出手段 1 4 0 5と、 出力手段 1 4 0 6とを含 む。
[0078] 映像再生環境検出手段 1 4 0 1は、 映像が再生されている環境を検出する 。 具体例として、 映像再生時の画面サイズや、 画面の位置 （中央か、 周辺か ) 、 再生音量などを検出する。 他作業環境検出手段 1 4 0 2は、 映像視聴と 並行して行われているメイル作成、 ウェブ閲覧、 ゲーム、 他の映像視聴など の他の作業に対する環境情報を検出する。 具体例として、 同時に行われてい る他の作業の種類と数を検出する。 また、 例えば、 他の作業をウィンドウシ ステムにて実行している場合には、 それぞれのウィンドウサイズ、 ウィンド ゥの位置、 音響出力している際の音量、 キー入力を行っている場合の平均キ 一ストロークなどを検出する。
[0079] 視聴環境検出手段 1 4 0 3は、 視聴環境に関する環境情報を検出する。 具 体例として、 映像を再生している時刻、 季節、 連続再生時間 （どれくらい映 像を見続けているか） 、 場所情報、 周囲の騒音情報などを検出する。 なお、 視聴環境検出手段 1 4 0 3は、 必要に応じて、 環境検出センサを含む。 視聴 者状態検出手段 1 4 0 4は、 視聴者の状態を検出する。 具体的には、 カメラ 情報を用いた視線位置 （映像画像を見ているか否か） 、 利用者の疲労度、 時 間当たりの視線の動き量などを検出する。 なお、 これらは一例であり、 上記 の指標となる情報を必要に応じてセンサを用いて取得してもよい。
[0080] 集中度算出手段 1 4 0 5は、 映像再生環境検出手段 1 4 0 1が検出した情 報 （再生環境を示す情報） と、 他作業環境検出手段 1 4 0 2が検出した情報 (他作業環境を示す情報） と、 視聴環境検出手段 1 4 0 3が検出した情報 （ 視聴環境を示す情報） と、 視聴者状態検出手段 1 4 0 4が検出した情報 （視 聴者状態を示す情報） とを統合して、 視聴者の映像に対する集中度を算出す る。 集中度算出手段 1 4 0 5は、 例えば、 上記で示した検出手段 （1 4 0 1 〜 1 4 0 4 ) の出力に対して、 対応する集中度の値をテーブル形式または数 式の形で記憶しておき、 数値換算した後、 あらかじめ定めた重み係数に従つ て総和をとつてもよい。 また、 各センサの値の履歴を記憶しておき、 時間的 変化 （一次微分） を、 検出値に加味するといつた処理を行ってもよい。 出力 手段 1 4 0 6は、 集中度算出手段 1 4 0 5が算出した利用者映像集中度を出 力する。
[0081] 再生映像選択手段 1 2 2は、 利用者映像集中度導出手段 1 4 0によって導 出された利用者映像集中度と、 分類結果記憶手段 1 1 3に記憶されている再 生対象の各映像または各映像区間の分類結果 （視聴可能集中度） とに基づい て、 再生する映像または映像区間を選択する （ステップ S 2 0 3 ) 。 再生映 像選択手段 1 2 2は、 現在の利用者映像集中度と、 再生対象の各映像または 各映像区間の視聴可能集中度とを照らし合わせることによって、 観察された 利用者映像集中度と同程度、 またはそれ以下の集中度で視聴可能な映像また は映像区間を抽出、 その中のひとつを選択する。 そして、 選択した映像また は映像区間の映像シーケンスを映像再生手段 1 3 0に出力する。 再生映像選 択手段 1 2 2は、 例えば、 映像区間を選択する場合には、 映像 Z区間情報記 憶手段 1 1 2に記憶されている映像区間の開始点および終了点を示す情報を 映像再生手段 1 3 0に出力してもよい。 なお、 再生映像選択手段 1 2 2は、 提示順序制御を開始する基準となる集中度 （基準集中度） を定めておき、 利 用者映像集中度が基準集中度よリも低い場合にのみ、 集中度に基づいて提示 順序制御を行ってもよい。
[0082] 映像再生手段 1 3 0は、 入力された映像シーケンスを再生する （ステップ S 2 0 4 ) 。 映像再生手段 1 3 0は、 再生映像選択手段 1 2 2によって選択 された映像または映像区間の再生が終了するまで再生を続ける （ステップ S
2 0 5 ) 。 選択された映像または映像区間の再生が終了した場合には、 再生 対象の映像または映像区間の全ての再生が終了するまで、 再生する映像シー ケンスの選択を繰り返し行う （ステップ S 2 0 2に戻る） 。 再生対象の全映 像または全映像区間の再生が終了した場合には、 映像再生処理を終了する （ ステップ S 2 0 6の Y e s ) 。
[0083] 以上のように、 本実施の形態によれば、 利用者の映像への集中度が低い時 に、 観察された集中度 （利用者映像集中度） より低い集中度で視聴可能な映 像または映像区間を選択的に再生することができるので、 利用者が、 「なが ら視聴」 をしゃすい映像または映像区間が優先的に選択されて再生される。 従って、 他の作業を行った状態でも映像内容の理解を妨げることなく映像視 聴することが可能となる。 また、 自動的に再生する映像または映像区間を選 択するので、 映像選択に係る負担をかけることなく、 また、 映像視聴によつ て並行して行う他の作業の効率を落とすことなく、 より効果的な映像視聴を 実現できる。
[0084] 実施の形態 2 .
次に、 本発明を実施するための第 2の実施の形態について、 図面を参照し て説明する。 図 6は、 第 2の実施の形態による映像再生装置の構成例を示す ブロック図である。 図 6に示す映像再生装置は、 蓄積部 2 1 0と、 制御部 2 2 0と、 映像再生手段 2 3 0と、 利用者映像集中度導出手段 2 4 0と、 映像 ファイル選択手段 2 5 0と、 映像登録手段 2 6 0とを備える。 蓄積部 2 1 0 は、 映像蓄積手段 2 1 1と、 映像 Z区間情報記憶手段 2 1 2と、 分類結果記 憶手段 2 1 3と、 映像区間関連情報記憶手段 2 1 4と、 映像再生履歴記憶手 段 2 1 5と、 映像中断点記憶手段 2 1 6とを含む。 また、 制御部 2 2 0は、 分類手段 2 2 1と、 再生映像選択手段 2 2 2とを含む。
[0085] 図 6に示すように、 本実施の形態による映像再生装置は、 図 1に示す第 1 の実施の形態と比べて、 再生 Z停止制御手段 1 5 0の代わりに映像ファイル 選択手段 2 5 0を備える点、 および、 蓄積部 2 1 0が、 映像区間関連情報記 憶手段 2 1 4と映像再生履歴記憶手段 2 1 5と映像中断点記憶手段 2 1 6と を更に含む点で異なる。
[0086] 本実施の形態では、 利用者がひとつの映像を指定した際に、 他の作業の作 業状況を考慮しながら、 映像区間の再生順序を制御する。
[0087] 映像ファイル選択手段 2 5 0は、 利用者の操作に従って、 再生対象となる 映像ファイルを選択し、 再生開始を指示する。
[0088] また、 映像蓄積手段 2 1 1は、 再生対象となる映像を映像ファイルとして 記憶する。 映像区間関連情報記憶手段 2 1 4は、 蓄積部 2 1 0に蓄積された 映像の各映像区間の従属関係や連続性等の相互関係を示す映像区間関連情報 を記憶する。 なお、 ここで従属関係とは、 二つの区間 Qf， ^があったときに 区間 Qf， 区間^の順で見ることを要請されている関係をいう。 例えば、 ひと つの野球試合を回毎に区間分けした場合、 回の順序が逆に再生されると試合 内容が正しく伝わらないため、 〃2回〃の映像は" 1回〃の映像に対し従属関係 を有すると定義できる。 また、 ドラマの場合も同じく、 3回目を見てから 2 回目を見ても意味を成さないため、 " 2回目"の映像は" 1回目"の映像に対し 従属関係を有すると定義できる。 逆に、 歌番組で歌手 Aの歌区間、 歌手 Bの 歌区間との間で従属関係は有しないと定義できる。 同様に、 バラエティ番組 の各コーナーや、 個別のニュース、 漫才なども従属関係を有しないと定義し てもよい。
[0089] なお、 従属関係は、 連続する映像区間に限らず、 例えば、 クイズの問題区 間と回答区間や、 ドラマの予告編区間と本編区間のように、 意味的に従属性 を有する場合であれば、 従属関係を有すると定義することが好ましい。 なお 、 意味的従属性の有無は、 例えば、 従属性を有するキーワード （問題と解答 、 予告と本編等） を定義しておき、 映像や映像に付随する情報を解析して、 定義しておいたキーワードが所定の順序で使用された場合に検出してもよい 。 映像再生履歴記憶手段 2 1 5は、 映像ファイルの再生履歴を記憶する。 映 像中断点記憶手段 2 1 6は、 現在再生中の映像ファイルにおける映像再生の 中断点を記憶する。 [0090] また、 本実施の形態では、 再生映像選択手段 2 2 2は、 再生対象の映像に 含まれる各映像区間の中から、 映像 Z区間情報記憶手段 2 1 2に記憶される 映像 Z区間情報と、 分類結果記憶手段 2 1 3に記憶される各映像区間の分類 結果情報 （視聴可能集中度） と、 利用者映像集中度導出手段 2 4 0によって 導出される利用者映像集中度と、 映像区間関連情報記憶手段 2 1 4に記憶さ れる映像区間関連情報と、 映像再生履歴記憶手段 2 1 5に記憶される再生履 歴とに基づいて、 再生すべき映像区間を決定する。 再生映像選択手段 2 2 2 は、 例えば、 利用者映像集中度導出手段 2 4 0から出力される利用者映像集 中度をモニタリングしながら、 現在の利用者映像集中度の値と、 分類結果記 憶手段 2 1 3に記憶されている各映像区間の視聴可能集中度の値とを比較し て、 候補区域を選択し、 現在再生している映像区間との関連性および過去の 再生履歴を評価して、 再生すべき映像区間を決定してもよい。
[0091] また、 映像再生手段 2 3 0は、 映像ファイル選択手段 2 5 0によって指示 された、 映像蓄積手段 2 1 1に記憶される映像ファイルを、 再生映像選択手 段 2 2 2が選択した映像区間に応じて再生する。 また、 映像登録手段 2 6 0 は、 再生対象となる映像ファイル、 および、 その映像とその映像の区間とに 関する情報の登録を行う。 本実施の形態では、 映像登録手段 2 6 0は、 映像 蓄積手段 2 1 1に再生対象の映像ファイルを記憶し、 映像 Z区間情報記憶手 段 2 1 2に再生対象の映像に付随する情報と、 各映像区間に付随する情報と を含む映像 Z区間情報を登録する。 さらに、 映像区間関連情報記憶手段 2 1 4に映像区間関連情報を登録する。
[0092] なお、 映像 Z区間情報は、 映像に付随して映像提供者が提供する情報に限 らず、 映像登録手段 2 6 0が、 映像蓄積手段 2 1 1に記憶してある映像ファ ィルを読み込んで解析することによって、 動的に導出してもよい。 同様に、 映像区間関連情報も、 映像区間に付随して映像提供者が提供する情報に限ら ず、 映像登録手段 2 6 0が、 映像蓄積手段 2 1 1に記憶してある映像フアイ ル、 および、 映像 Z区間情報記憶手段 2 1 2に記憶されている映像 Z区間情 報を読み込んで解析することによって、 自動的に生成してもよい。 また、 映 像 z区間情報、 映像区間関連情報とも、 編集者または利用者が編集機能を用 いて手動で定義してもよい。 なお、 他の点に関しては、 第 1の実施の形態と 同様である。
[0093] 次に、 本実施の形態の動作について説明する。 なお、 本実施の形態の動作 も、 第 1の実施の形態と同様、 大きく分けて、 映像登録動作と映像再生動作 の 2つの動作に分かれる。 まず、 映像登録動作について説明する。 図 7は、 本実施の形態の映像登録動作の一例を示すフローチヤ一卜である。
[0094] 図 7に示すように、 まず、 映像登録手段 2 6 0は、 映像およびその映像に 付随するメタデータの読み込みを行う （ステップ S 3 0 1 ) 。 映像に関して は、 例えば、 アンテナ、 受信回路、 デコーダを介して放送信号を受信する。 また、 例えば、 インターネットを介して映像信号を取得する。 また、 例えば 、 ビデオカムコーダから出力される映像ファイルを読み込む。 また、 映像登 録手段 2 6 0は、 映像に付随するメタデータが存在する場合、 メタデータも 合わせて読み込む。
[0095] 次に、 映像登録手段 2 6 0は、 必要に応じて、 読み込んだ映像を一続きの シーケンスに分離して、 映像区間を抽出する （ステップ S 3 0 2 ) 。 映像登 録手段 2 6 0は、 例えば、 信号特徴の連続性および非連続性を利用して映像 のショット分割を行うことによって、 映像区間を抽出する。 また、 例えば、 映像中からフェード，ワイプなどの視覚効果を検出し、 シーンの切り替わり とする方法や、 映像中の音声を解析し、 意味的に変化した場所を境界とする 方法、 映像に付加された台本情報等に基づいてショット分割する方法、 あら かじめ映像に付加された章やキヤプチヤーなどの区間情報を用いる方法によ つて、 映像区間を抽出してもよい。
[0096] また、 映像登録手段 2 6 0は、 読み込んだ、 または生成した各映像区間に 関する付随情報、 および、 映像区間の時間的連続性から、 各映像区間の間の 従属関係を含む映像区間関連情報を抽出する （ステップ S 3 0 3 ) 。 映像登 録手段 2 6 0は、 例えば、 映像情報から階層構造を抽出し、 同一の章に属す る節の映像区間に対し、 時系列順に従属関係があることを示す情報を付加す る。 なお、 映像情報から階層構造を抽出する方法としては、 映像の視覚効果 を検出、 利用する方法や、 台本情報を用いる方法、 音声認識および画像認識 を利用した意味的分離による方法、 編集者または利用者の手動に基づく方法 などが考えられる。
[0097] 次に、 映像登録手段 2 6 0は、 読み込んだ映像を映像蓄積手段 2 1 1に登 録する （ステップ S 3 0 4 ) 。 また、 映像蓄積手段 2 1 1に登録した映像に 付随して読み込んだ、 または生成したメタデータを映像 Z区間情報として、 映像 Z区間情報記憶手段 2 1 2に登録する （ステップ S 3 0 5 ) 。 なお、 映 像区間を抽出した場合には、 その映像区間の開始点および終了点を含めて映 像 Z区間情報記憶手段 2 1 2に登録する。 また、 各映像区間の従属関係を含 む映像区間関連情報を映像区間関連情報記憶手段 2 1 4に登録する （ステツ プ S 3 0 6 ) 。
[0098] 次に、 分類手段 2 2 1は、 映像登録手段 2 6 0が映像蓄積手段 2 1 1に登 録した映像の各映像区間を、 視聴可能集中度に応じて分類する （ステップ S 3 0 7 ) 。 分類手段 2 2 1は、 映像蓄積手段 2 1 1に登録された映像と、 映 像 Z区間情報記憶手段 2 1 2に登録されたその映像およびその映像区間に関 する情報とに基づいて、 その映像の各映像区間の視聴可能集中度を算出し、 算出した視聴可能集中度に応じて分類する。 なお、 分類手段 2 2 1の構成お よび動作については、 図 3に示す第 1の実施の形態における分類手段 1 2 1 と同様であるため、 説明省略する。
[0099] 分類結果記憶手段 2 1 3は、 分類手段 2 2 1が出力する各映像区間の視聴 可能集中度を記憶する （ステップ S 3 0 8 ) 。
[0100] 次に、 映像再生動作について説明する。 図 8は、 本実施の形態の映像再生 動作の一例を示すフローチヤ一卜である。
[0101] 図 8に示すように、 まず、 映像ファイル選択手段 2 5 0は、 利用者の操作 に従って、 再生すべき映像ファイルを選択し （ステップ S 4 0 1 ) 、 映像再 生手段 2 3 0に再生開始の指示を出すとともに、 利用者映像集中度導出手段 2 4 0に利用者の映像に対する集中度 （利用者映像集中度） の抽出の指示を 出す （ステップ S 4 0 2 ) 。
[0102] ここでは、 映像再生手段 2 3 0は、 選択された映像ファイルの最初の映像 区間から再生を開始する （ステップ S 4 0 3 ) 。 また、 映像再生手段 2 3 0 は、 現在再生している映像区間を示す情報を、 映像再生履歴記憶手段 2 1 5 に再生履歴として登録する （ステップ S 4 0 3 ) 。
[0103] また、 利用者映像集中度導出手段 2 4 0は、 利用者映像集中度を導出する
(ステップ S 4 0 4 ) 。 なお、 利用者映像集中度導出手段 2 4 0の構成およ び動作については、 図 5に示す第 1の実施の形態における利用者映像集中度 導出手段 1 4 0と同様であるため、 説明省略する。
[0104] 再生映像選択手段 2 2 2は、 利用者映像集中度導出手段 2 4 0によって導 出された利用者映像集中度と、 分類結果記憶手段 2 1 3に記憶されている再 生対象の各映像区間の分類結果 （視聴可能集中度） と、 映像区間関連情報記 憶手段 2 1 4に記憶されている現在再生中の映像区間との関連情報等とに基 づいて、 次に再生すべき映像区間を選択する （ステップ S 4 0 5 ) 。
[0105] 再生映像選択手段 2 2 2は、 現在の利用者映像集中度と、 再生対象の各映 像区間の分類結果情報 （視聴可能集中度） とを照らし合わせることによって 、 利用者映像集中度と同程度、 またはそれ以下の集中度で視聴可能な映像区 間 （以下、 再生映像区間候補という。 ） を抽出する。 そして、 映像区間関連 情報記憶手段 2 1 4に記憶されている現在再生中の映像区間と再生映像区間 候補との間の従属関係および連続性と、 映像再生履歴記憶手段 2 1 5に記憶 されている再生履歴と、 映像中断点記憶手段 2 1 6に記憶されている中断点 の情報とに基づいて、 再生映像候補区間の中から再生する映像区間を選択し 、 その映像シーケンスを映像再生手段 2 3 0に出力する。 なお、 再生映像選 択手段 2 2 2は、 映像 Z区間情報記憶手段 2 1 2に記憶されている映像区間 の開始点および終了点を示す情報を映像再生手段 2 3 0に出力してもよい。
[0106] 映像再生手段 2 3 0は、 入力された映像シーケンスを再生する （ステップ S 4 0 6 ) 。 また、 映像再生手段 2 3 0は、 再生した映像区間について、 映 像再生履歴記憶手段 2 1 5に再生履歴を登録する （ステップ S 4 0 7 ) 。 な お、 映像再生履歴記憶手段 21 5には、 再生映像選択手段 222が登録して もよい。 映像再生手段 230は、 再生映像選択手段 222が選択した映像区 間の再生が終了するまで再生を続ける （ステップ S 408) 。 選択された映 像区間の再生が終了した場合には、 再生対象の映像区間の全ての再生が終了 するまで、 再生する映像区間の選択を繰り返し行う （ステップ S 404に戻 る） 。 再生対象の全映像区間の再生が終了した場合には、 映像再生処理を終 了する （ステップ S 409の Y e s) 。
[0107] 図 9に、 再生映像選択手段 222が行う映像区間の選択のフローの一例を 示す。 図 9に示すように、 再生映像選択手段 222は、 直前に再生中の映像 区間 （以下、 映像区間 Ofと呼ぶ） についての、 分類結果および映像区間関連 情報を読み込む （ステップ S A 1 01) 。 また、 再生映像選択手段 222は 、 映像区間 Qfに時間的に連続する映像区間 （以下、 映像区間^と呼ぶ。 ） に ついての、 分類結果および映像区間関連情報を読み込む （ステップ SA 1 0 2) 。 そして、 再生映像選択手段 222は、 映像区間 Ofと映像区間^との間 の従属性評価を行う （ステップ SA 1 03) 。
[0108] ここで、 映像区間 Ofと映像区間^との間に連続して再生すべきことを示す 従属性がある場合 （ステップ SA 1 03の有） 、 利用者映像集中度導出手段 240によつて導出された現在の利用者映像集中度と、 映像区間 βの分類結 果情報 （利用可能集中度） とを比較し、 現在の利用者映像集中度が映像区間 の利用可能集中度を満たしていれば （ステップ SA 1 04の0 ） 、 映像 区間 )8を再生する映像区間として選択し、 処理を終了する （ステップ SA 1 05) 。
[0109] 一方、 現在の利用者映像集中度が映像区間 ^を視聴可能な集中度に達して いない場合 （ステップ SA 1 04のNG) 、 すなわち、 映像区間 )8を視聴可 能な集中度よリも利用者の映像に対する集中度が低い場合には、 映像区間 )8 の視聴は不可能であるとして、 映像区間 )8を識別する情報を映像中断点記憶 手段 21 6に記録する （ステップ S A 1 06) 。
[0110] 次に、 再生映像選択手段 222は、 これまでに中断された映像区間、 すな わち映像再生履歴記憶手段 21 5に記憶されている全映像区間の利用可能集 中度と、 利用者映像集中度とを比較し、 現在の利用者映像集中度で視聴可能 な映像区間があるか否かを評価する （ステップ SA 1 07) 。 該当する映像 区間がある場合、 中断された映像区間の中からひとつの映像区間を選択する (ステップ S A 1 07の該当有， ステップ SA 1 08) 。 再生映像選択手段 222は、 例えば、 映像再生履歴記憶手段 21 5にもつとも新しく記憶され た映像区間を選択してもよい。
[0111] また、 該当する映像区間がない場合には、 映像再生履歴記憶手段 21 5に 記憶された再生履歴を参照し、 これまでに再生が行われていない映像区間で あって、 かつ、 映像中断点記憶手段 21 6に記憶されている映像区間と意味 的に従属関係になく、 かつ、 他の映像区間と時間的に従属関係にない映像区 間 （例えば、 章の開始となる映像区間） を、 区間候補として検出する （ステ ップ S A 1 09) 。
[0112] そして、 現在の利用者映像集中度と、 検出した区間候補の視聴可能集中度 とを比較し、 現在の利用者映像集中度で視聴可能な映像区間があるか否かを 評価する （ステップ SA 1 1 0) 。 該当する映像区間がある場合、 検出した 区間候補の中からひとつの映像区間を選択する （ステップ SA 1 1 0の該当 有， ステップ SA 1 1 1) 。 また、 該当する映像区間がない場合には、 映像 再生を中断する （ステップ SA 1 1 2) 。 なお、 以降、 所定のタイミングで 利用者映像集中度を再検出し、 利用者映像集中度が、 映像区間) 8、 これまで に中断された映像区間、 および、 それとは従属しない区間候補群のいずれか の視聴に必要な集中度に達するまで、 中断を維持する （ステップ SA 1 1 3 ) 。 なお、 利用者映像集中度が向上し、 検出した区間候補のいずれかの視聴 可能集中度を満たした場合には、 視聴可能集中度を満たした映像区間を、 再 生する映像区間として選択して、 処理を終了する （ステップ SA 1 1 4) 。
[0113] また、 映像区間 Ofと映像区間^との間に連続して再生すべきことを示す従 属性がない場合には （ステップ SA 1 03の無） 、 中断した映像区間の再生 を優先するため、 映像中断点記憶手段 21 6に記憶される中断リストの調査 を行う （ステップ S A 1 0 7に進む） 。
[0114] なお、 上記で説明した再生映像選択処理のフローは、 一例であり、 ステツ プ S A 1 1 2において中断する代わりに、 他の映像区間を選択してもよい。 例えば、 現在比較している中で最も視聴可能集中度が低い映像区間を選択し てもよい。
[0115] 以上のように、 本実施の形態によれば、 利用者が選択した映像を再生する 際に、 利用者の映像に対する集中度が低い場合であっても、 時間的 Z意味的 連続性を考慮しながら、 観察された集中度 （利用者映像集中度） より低い集 中度で視聴可能な映像区間を優先的に再生する提示順序制御手段が実現でき る。 従って、 他の作業を行った状態でも映像内容の理解を妨げることなく、 映像視聴することが可能である。 また、 他の作業中に集中している際に集中 度をあまり必要としない映像区間を再生することによって、 他の作業への負 荷が軽くなリ、 映像への集中度が増した場合に、 それに応じて、 より集中度 を必要とする映像が自動再生されるので、 効果的な映像視聴が可能となる。
[0116] 実施の形態 3 .
次に、 本発明を実施するための第 3の実施の形態について、 図面を参照し て説明する。 図 1 0は、 第 3の実施の形態による映像再生装置の構成例を示 すブロック図である。 図 1 0に示す映像再生装置は、 蓄積部 3 1 0と、 制御 部 3 2 0と、 映像再生手段 3 3 0と、 利用者映像集中度導出手段 3 4 0と、 再生 Z停止制御手段 3 5 0と、 映像登録手段 3 6 0とを備える。 蓄積部 3 1 0は、 映像蓄積手段 3 1 1と、 映像 Z区間情報記憶手段 3 1 2と、 分類結果 記憶手段 3 1 3と、 映像中断点記憶手段 3 1 4とを含む。 また、 制御部 3 2 0は、 分類手段 3 2 1と、 再生映像選択手段 3 2 2とを含む。
[0117] 図 1 0に示すように、 本実施の形態による映像再生装置は、 図 1に示す第
1の実施の形態と比べて、 蓄積部 3 1 0が、 映像中断点記憶手段 3 1 4を備 える点で異なる。
[0118] 本実施の形態では、 利用者の映像に対する集中度が低下した場合に、 映像 または映像区間の映像再生を中断する制御を行う。 [0119] 映像中断点記憶手段 3 1 4は、 現在再生中の映像または映像区間における 映像再生の中断点を記憶する。
[0120] また、 本実施の形態では、 再生映像選択手段 3 2 2は、 再生対象の映像ま たは映像区間の中から、 映像 Z区間情報記憶手段 3 1 2に記憶される映像 Z 区間情報と、 分類結果記憶手段 3 1 3に記憶される各映像または各映像区間 の分類結果情報 （視聴可能集中度） と、 利用者映像集中度導出手段 3 4 0に よって導出される利用者映像集中度と、 映像中断点記憶手段 3 1 4に記憶さ れる中断点とに基づいて、 再生すべき映像または映像区間を決定する。 また 、 再生中の利用者映像集中度に基づいて、 映像再生を中断するか否かを決定 する。 他の点に関しては、 第 1の実施の形態と同様である。
[0121] 次に、 本実施の形態の動作について説明する。 なお、 本実施の形態の動作 も、 第 1の実施の形態と同様、 大きく分けて、 映像登録動作と映像再生動作 の 2つの動作に分かれる。 まず、 映像登録動作について説明する。 図 1 1は 、 本実施の形態の映像登録動作の一例を示すフローチャートである。 なお、 本実施の形態の映像登録動作は、 基本的には、 第 1の実施の形態と同様であ る。
[0122] まず、 映像登録手段 3 6 0は、 映像およびその映像に付随するメタデータ の読み込みを行う （ステップ S 5 0 1 ) 。 映像に関しては、 例えば、 アンテ ナ、 受信回路、 デコーダを介して放送信号を受信する。 また、 例えば、 イン ターネットを介して映像信号を取得する。 また、 例えば、 ビデオカムコーダ から出力される映像ファイルを読み込む。 また、 映像登録手段 3 6 0は、 映 像に付随するメタデータが存在する場合、 メタデータも合わせて読み込む。
[0123] 次に、 映像登録手段 3 6 0は、 必要に応じて、 読み込んだ映像を一続きの シーケンスに分離して、 映像区間を抽出する （ステップ S 5 0 2 ) 。 映像登 録手段 3 6 0は、 例えば、 信号特徴の連続性および非連続性を利用して映像 のショット分割を行うことによって、 映像区間を抽出する。 また、 例えば、 映像中からフェード，ワイプなどの視覚効果を検出し、 シーンの切り替わり とする方法や、 映像中の音声を解析し、 意味的に変化した場所を境界とする 方法、 映像に付加された台本情報等に基づいてショット分割する方法、 あら かじめ映像に付加された章やキヤプチヤーなどの区間情報を用いる方法によ つて、 映像区間を抽出してもよい。
[0124] 映像登録手段 3 6 0は、 読み込んだ映像を映像蓄積手段 3 1 1に登録する
(ステップ S 5 0 3 ) 。 また、 映像蓄積手段 3 1 1に登録した映像に付随し て読み込んだ、 または生成したメタデータを映像 Z区間情報として、 映像 Z 区間情報記憶手段 3 1 2に登録する （ステップ S 5 0 4 ) 。 なお、 映像区間 を抽出した場合には、 その映像区間の開始点および終了点を含めて映像 Z区 間情報記憶手段 3 1 2に登録する。
[0125] 次に、 分類手段 3 2 1は、 映像登録手段 3 6 0が映像蓄積手段 3 1 1に登 録した映像、 または、 その映像の各映像区間を、 視聴可能集中度に応じて分 類する （ステップ S 5 0 5 ) 。 分類手段 3 2 1は、 映像蓄積手段 3 1 1に登 録された映像と、 映像 Z区間情報記憶手段 3 1 2に登録されたその映像、 ま たはその映像の各映像区間に関する情報とに基づいて、 その映像またはその 映像の各映像区間の視聴可能集中度を算出し、 算出した視聴可能集中度に応 じて分類する。 なお、 分類手段 3 2 1の構成および動作については、 図 3に 示す第 1の実施の形態における分類手段 1 2 1と同様であるため、 説明省略 する。
[0126] 分類結果記憶手段 3 1 3は、 分類手段 3 2 1が出力する映像または各映像 区間の視聴可能集中度を記憶する （ステップ S 5 0 6 ) 。
[0127] 次に、 映像再生動作について説明する。 図 1 2は、 本実施の形態の映像再 生動作の一例を示すフローチヤ一卜である。
[0128] 図 1 2に示すように、 まず、 再生 Z停止制御手段 3 5 0は、 映像再生手段
3 3 0に再生開始の指示を出すとともに、 利用者映像集中度導出手段 3 4 0 に利用者の映像に対する集中度 （利用者映像集中度） の抽出の指示を出す （ ステップ S 6 0 1 ) 。
[0129] ここでは、 映像再生手段 3 3 0は、 指示された映像または映像区間の再生 を開始する （ステップ S 6 0 2 ) 。 また、 利用者映像集中度導出手段 3 4 0 は、 利用者映像集中度を導出する （ステップ S 6 0 3 ) 。 なお、 利用者映像 集中度導出手段 3 4 0の構成および動作については、 図 5に示す第 1の実施 の形態における利用者映像集中度導出手段 1 4 0と同様であるため、 説明省 略する。
[0130] 再生映像選択手段 3 2 2は、 観察された利用者の映像に対する集中度と、 再生中の映像または映像区間の視聴に必要な集中度 （視聴可能集中度） とに 基づいて、 再生の中断、 または、 再生すべき映像を判断する。 再生映像選択 手段 3 2 2は、 利用者映像集中度導出手段 3 4 0によって導出された利用者 映像集中度と、 分類結果記憶手段 3 1 3に記憶されている再生中の映像の分 類結果 （視聴可能集中度） とを比較する （ステップ S 6 0 4 ) 。 ここで、 現 在の利用者映像集中度が再生中の映像または映像区間の視聴可能集中度を満 たしていれば （ステップ S 6 0 4の O K) 、 映像の再生を継続する （ステツ プ S 6 0 5 ) 。 そして、 再生が終了するまで、 利用者映像集中度の検出、 評 価を繰り返し行う （ステップ S 6 0 6の N o， ステップ S 6 0 3に戻る） 。
[0131 ] また、 再生が終了した場合には、 再生映像選択手段 3 2 2は、 映像中断点 記憶手段 3 1 4に記憶された中断点に基づき、 または、 新規の映像のいずれ かから、 次に再生する映像を選択し、 その映像シーケンスを映像再生手段 3 3 0に出力する （ステップ S 6 0 7 ) 。 そして、 選択した映像についても同 様に、 再生が終了するまで、 利用者映像集中度の評価を繰り返し行う （ステ ップ S 6 0 3に戻る） 。 なお、 次に再生する映像が存在しない場合には、 映 像再生処理を終了する （ステップ S 6 0 8の N o )
[0132] 一方、 現在の利用者映像集中度が再生中の映像または映像区間を視聴可能 な集中度に達していない場合 （ステップ S 6 0 4の N G ) 、 すなわち、 再生 中の映像または映像区間の視聴可能集中度よリも利用者の映像に対する集中 度が低い場合には、 再生 Z停止制御手段 3 5 0に指示を出し、 再生を中断す る （ステップ S 6 0 9 ) 。 そして、 中断点を映像中断点記憶手段 3 1 4に記 憶し （ステップ S 6 1 0 ) 、 次に再生する映像を選択する （ステップ S 6 0 7に戻る） 。 [0133] 図 1 3に、 ステップ S 607における再生映像選択処理フローの一例を示 す。 まず、 再生映像選択手段 322は、 映像中断点記憶手段 31 4に中断点 が記憶されている場合、 記憶されている中断点を含む映像または映像区間の 視聴可能集中度を分類結果記憶手段 31 3から読み込む （ステップ SA20 1 ) 。 そして、 これまでに中断された各映像または各映像区間に対し、 現在 の利用者映像集中度による絞り込みを行う （ステップ SA202) 。 再生映 像選択手段 322は、 現在の利用者映像集中度と、 映像中断点記憶手段 31 4に記憶されている各中断点を含む各映像または各映像区間の視聴可能集中 度とを比較し、 現在の利用者映像集中度で視聴可能な中断点の映像区間を、 候補区間として抽出する。
[0134] ここで、 対象区間が存在する場合、 抽出した区間のうち、 もっとも時間的 に新しい映像区間を再生する映像区間として選択して、 処理を終了する （ス テツプ SA203の Y e s, S A 204) 。 また、 対象区間が存在しない場 合には、 再生対象となっている全映像または全映像区間について、 利用者映 像集中度による評価を行い、 再生可能な映像区間の選択を行う （ステップ S A203の N o, SA205) 。 該当する映像区間が存在する場合、 該当す る映像区間のいずれかを選択して、 処理を終了する （ステップ SA206の Y e s, SA207) 。 また、 該当する映像区間が存在しない場合には、 映 像再生を中断する （ステップ SA208) 。 中断後は、 再度利用者映像集中 度を観測し、 利用者映像集中度が低下して対象区間が検出されるまで、 また は、 利用者から再生が中断されるまで利用者映像集中度による評価を繰り返 し行う （ステップ S A201に戻る） 。
[0135] なお、 図 1 3で示した選択動作は一例であり、 利用者映像集中度の低下を 観測した際に、 即座に中断したり、 しばらく再生してから中断したり、 映像 区間を終了してから再生を中断する方法も考えられる。 また、 複数の映像区 間が候補に挙がった場合の映像区間の選択についても、 時間によるもの、 映 像の重要度によるもの等、 いくつかの尺度を導入することができる。
[0136] 以上のように、 本実施の形態によれば、 利用者が選択した映像を再生中に 、 映像に対する集中度が低下し、 映像の理解が困難になった場合に、 映像区 間再生中に限らず、 映像区間再生を中断できるので、 より映像の理解を促進 することができる。
[0137] 実施の形態 4 .
次に、 本発明を実施するための第 4の実施の形態について、 図面を参照し て説明する。 図 1 4は、 第 4の実施の形態による映像再生装置の構成例を示 すブロック図である。 図 1 4に示す映像再生装置は、 蓄積部 4 1 0と、 制御 部 4 2 0と、 映像再生手段 4 3 0と、 利用者映像集中度導出手段 4 4 0と、 再生 Z停止制御手段 4 5 0と、 映像登録手段 4 6 0と、 嗜好目的情報蓄積手 段 4 7 0とを備える。 また、 蓄積部 4 1 0は、 映像蓄積手段 4 1 1と、 映像 Z区間情報記憶手段 4 1 2と、 分類結果記憶手段 4 1 3とを含む。 また、 制 御部 4 2 0は、 分類手段 4 2 1と、 再生映像選択手段 4 2 2とを含む。
[0138] 図 1 4に示すように、 本実施の形態による映像再生装置は、 図 1に示す第
1の実施の形態と比べて、 嗜好目的情報蓄積手段 4 7 0をさらに備える点で 異なる。
[0139] 嗜好目的情報蓄積手段 4 7 0は、 利用者の嗜好および目的に関する情報を 記憶する。 嗜好目的情報蓄積手段 4 7 0は、 例えば、 利用者が入力したキー ワードや、 過去の視聴履歴から推測した利用者嗜好 （興味のあるジャンル等 ) や、 視聴の目的 （きちんと目を通したい、 一通り目を通したい等） を記憶 する。 以下、 嗜好目的情報蓄積手段 4 7 0に記憶する情報を嗜好目的情報と いう。 嗜好目的情報蓄積手段 4 7 0に記憶する嗜好目的情報は、 利用者が入 力しても、 過去の視聴履歴等から自動的に導出してもよい。 また、 嗜好目的 情報蓄積手段 4 7 0は、 専用の蓄積装置であってもよいし、 蓄積部 4 1 0と 同じ蓄積媒体であってもよい。
[0140] また、 本実施の形態では、 分類手段 4 2 1は、 映像蓄積手段 4 1 1に記憶 される映像情報と、 映像 Z区間情報記憶手段 4 1 2に記憶される映像 Z区間 情報と、 嗜好目的情報蓄積手段 4 7 0に記憶された嗜好目的情報とに基づい て、 映像蓄積手段 4 1 1に記憶される映像またはその映像の各区間の視聴可 能集中度を算出し、 算出した視聴可能集中度に応じて分類する。 分類の例と して、 例えば映像または映像区間中の単位時間当たリに提示されるテロップ などの文字数や、 発話される音声の数、 物体の動きの量などのメディア情報 を解析し、 これらの複雑度から視聴可能集中度を算出して分類を行ってもよ い。 また、 映像や音声を解析することにより、 該当する映像区間の意味情報 を抽出し、 映像全体の中での重要度 （意味的重要度） を評価して、 これをも つて視聴可能集中度とし、 映像または映像区間の分類を行ってもよい。 なお 、 映像区間の意味的重要度を評価するために、 映像作成者や登録者などが手 動で付与したァノテーシヨン （注釈） 等のメタデータを利用することも可能 である。
[0141 ] 更には、 利用者があらかじめ登録したキーヮード等から推測される利用者 嗜好と、 評価対象の映像または映像区間との一致度に基づいて、 視聴可能集 中度を導出してもよい。 なお、 視聴可能集中度をこれらの情報 （メディア情 報、 意味情報、 利用者嗜好等） から導出するだけなく、 あらかじめ付与され た視聴可能集中度を読み込んで、 これを基に分類を行う方法や、 更に、 利用 者が修正を加えるという方法を用いることも可能である。 本実施の形態では 、 これらの統合に際して、 利用者嗜好および目的に応じて、 統合する係数を 変更する等して、 複数のパタンを蓄積する。
[0142] また、 再生映像選択手段 4 2 2は、 再生対象の映像または映像区間の中か ら、 映像 Z区間情報記憶手段 4 1 2に記憶される映像 Z区間情報と、 分類結 果記憶手段 4 1 3に記憶される各映像または各映像区間の分類結果情報 （視 聴可能集中度） と、 利用者映像集中度導出手段 4 4 0によって導出される利 用者映像集中度と、 嗜好目的情報蓄積手段 4 7 0に記憶された嗜好目的情報 とに基づいて、 再生すべき映像または映像区間を決定する。 他の点に関して は、 第 1の実施の形態と同様である。
[0143] 次に、 本実施の形態の動作について説明する。 なお、 本実施の形態の動作 も、 第 1の実施の形態と同様、 大きく分けて、 映像登録動作と映像再生動作 の 2つの動作に分かれる。 まず、 映像登録動作について説明する。 図 1 5は 、 本実施の形態の映像登録動作の一例を示すフローチャートである。 なお、 本実施の形態の映像登録動作は、 基本的には、 第 1の実施の形態と同様であ る。
[0144] 図 1 5に示すように、 まず、 映像登録手段 4 6 0は、 映像およびその映像 に付随するメタデータの読み込みを行う （ステップ S 7 0 1 ) 。 映像登録手 段 4 6 0は、 例えば、 本装置が備えるアンテナや、 受信回路、 デコーダを介 して放送信号を受信する。 また、 例えば、 インターネットを介して映像信号 を受信する。 また、 例えば、 接続されたビデオカムレコーダから出力される 映像情報を入力する。 また、 映像登録手段 4 6 0は、 映像に付随するメタデ ータが存在する場合、 メタデータも合わせて読み込む。
[0145] 次に、 映像登録手段 4 6 0は、 必要に応じて、 読み込んだ映像を一続きの シーケンスに分離して、 映像区間を抽出する （ステップ S 7 0 2 ) 。 映像登 録手段 4 6 0は、 例えば、 信号特徴の連続性および非連続性を利用して映像 のショット分割を行うことによって、 映像区間を抽出する。 また、 例えば、 映像中からフェード，ワイプなどの視覚効果を検出し、 シーンの切り替わり とする方法や、 映像中の音声を解析し、 意味的に変化した場所を境界とする 方法、 映像に付加された台本情報等に基づいてショット分割する方法、 あら かじめ映像に付加された章やキヤプチヤーなどの区間情報を用いる方法によ つて、 映像区間を抽出してもよい。
[0146] 次に、 映像登録手段 4 6 0は、 読み込んだ映像を映像蓄積手段 4 1 1に登 録する （ステップ S 7 0 3 ) 。 また、 映像蓄積手段 4 1 1に登録した映像に 付随して読み込んだ、 または生成したメタデータを映像 Z区間情報として、 映像 Z区間情報記憶手段 4 1 2に登録する （ステップ S 7 0 4 ) 。 また、 映 像区間を抽出した場合には、 各映像区間に割り当てられた識別情報とともに 、 その映像区間の開始点および終了点を含めて、 映像 Z区間情報記憶手段 4 1 2に登録する。
[0147] 次に、 分類手段 4 2 1は、 映像登録手段 4 6 0が映像蓄積手段 4 1 1に登 録した映像、 または、 その映像の各映像区間を、 視聴可能集中度に応じて分 類する （ステップ S 7 0 5 ) 。 分類手段 4 2 1は、 映像蓄積手段 4 1 1に登 録された映像と、 映像 Z区間情報記憶手段 4 1 2に登録されたその映像、 ま たはその映像の各映像区間に関する情報と、 嗜好目的情報蓄積手段 4 7 0に 記憶された嗜好目的情報とに基づいて、 その映像またはその映像の各映像区 間の視聴可能集中度を算出し、 算出した視聴可能集中度に応じて分類する。
[0148] 図 1 6は、 分類手段 4 2 1の構成例を示すブロック図である。 図 1 6に示 すように、 映像読み込み手段 4 2 1 1と、 区間情報読み込み手段 4 2 1 2と 、 付属情報読み込み手段 4 2 1 3と、 映像解析手段 4 2 1 4と、 映像レベル 集中度導出手段 4 2 1 6と、 映像区間レベル集中度導出手段 4 2 1 5と、 集 中度統合手段 4 2 1 7と、 分類生成手段 4 2 1 8と、 出力手段 4 2 1 9とを 含む。
[0149] なお、 本実施の形態では、 映像レベル集中度導出手段 4 2 1 6、 映像区間 レベル集中度導出手段 4 2 1 5、 および集中度統合手段 4 2 1 7が、 利用者 の嗜好、 目的を考慮した上で、 映像レベル集中度を導出する点が、 第 1の実 施の形態と異なる。
[0150] 映像レベル集中度導出手段 4 2 1 6は、 映像解析手段 4 2 1 4が抽出した 映像レベルでの特徴量と、 付属情報読み込み手段 4 2 1 3が読み込んだ映像 単位での付随情報と、 嗜好目的情報蓄積手段 4 7 0に記憶された嗜好目的情 報 （例えば、 利用者の嗜好および目的のパタン） とに基づいて、 映像レベル での視聴に必要な集中度を導出する。 映像レベル集中度導出手段 4 2 1 6は 、 例えば、 映像解析手段 4 2 1 4が導出した特徴量の各項目について、 重要 度に応じてあらかじめ重み係数を定めておき、 各スコアの総和を取ってもよ い。 また例えば、 全映像中の平均と分散とを算出し正規化する方法などが考 えられる。 映像区間レベル集中度導出手段 4 2 1 5は、 必要に応じて、 映像 レベル集中度導出手段 4 2 1 6が映像全体に対して行った処理と同様の処理 を、 各映像区間に対して行い、 映像区間レベルでの視聴に必要な集中度を導 出する。
[0151] 集中度統合手段 4 2 1 7は、 映像レベルでの視聴に必要な集中度と、 必要 に応じて映像区間レベルでの視聴に必要な集中度とを勘案し、 さらに、 利用 者の嗜好や目的に応じて、 映像または映像区間の視聴可能集中度を導出する
。 集中度統合手段 4 2 1 7は、 例えば、 映像ジャンルが視聴に高い集中度を 必要とするドラマであっても、 映像区間が視聴に高い集中度を必要としない 情景の部分であるといった場合も考慮し、 総合的な評価を行う。 集中度統合 手段 4 2 1 7は、 例えば、 重み付け係数を用いた和をとる、 または双方の最 大値または最小値をとるなどの方法を用いてもよい。 なお、 利用者嗜好およ び目的に応じて、 統合する係数を変更する等して、 複数の視聴可能集中度を 導出してもよい。 なお、 本例はあくまで導出の一例であり、 視聴可能集中度 の導出に、 本例示の一部分を扱う、 または、 本例示に他の特徴情報を加えて 導出してもかまわない。
[0152] 分類結果記憶手段 4 1 3は、 分類手段 4 2 1が出力する、 映像または映像 区間の視聴可能集中度を記憶する （ステップ S 7 0 6 ) 。
[0153] 次に、 映像再生動作について説明する。 図 1 7は、 本実施の形態の映像再 生動作の一例を示すフローチャートである。 図 1 7に示すように、 まず、 再 生 Z停止制御手段 4 5 0は、 映像再生手段 4 3 0に再生開始の指示を出すと ともに、 利用者映像集中度導出手段 4 4 0に利用者の映像に対する集中度 （ 利用者映像集中度） の抽出の指示を出す （ステップ S 8 0 1 ) 。
[0154] また、 再生映像選択手段 4 2 2は、 利用者の嗜好または目的を、 嗜好目的 情報蓄積手段 4 7 0から検出し、 分類結果記憶手段 4 1 3に記憶されている 分類結果の中から、 利用者の嗜好または目的に対応する分類結果を選択する (ステップ S 8 0 2 ) 。 再生映像選択手段 4 2 2は、 例えば、 利用者が再生 開始の操作をする際に目的を選択入力させ、 嗜好目的情報蓄積手段 4 7 0に 記憶しておいてもよい。 または、 過去に再生した映像のジャンル等を嗜好目 的情報蓄積手段 4 7 0に記憶しておいてもよい。
[0155] また、 利用者映像集中度導出手段 4 4 0は、 利用者映像集中度を導出する
(ステップ S 8 0 3 ) 。 なお、 利用者映像集中度導出手段 4 4 0の構成およ び動作については、 図 5に示す第 1の実施の形態における利用者映像集中度 導出手段 1 4 0と同様であるため、 説明省略する。
[0156] 再生映像選択手段 4 2 2は、 利用者映像集中度導出手段 4 4 0によって導 出された利用者映像集中度と、 分類結果記憶手段 4 1 3に記憶されている再 生対象の各映像区間の分類結果 （視聴可能集中度） のうちの利用者の嗜好ま たは目的に対応する分類結果とに基づいて、 次に再生すべき映像または映像 区間を選択する （ステップ S 8 0 4 ) 。 再生映像選択手段 4 2 2は、 現在の 利用者映像集中度と、 再生対象の各映像区間の視聴可能集中度のうち、 利用 者の嗜好または目的に対応する視聴可能集中度とを照らし合わせることによ つて、 利用者映像集中度と同程度、 またはそれ以下の集中度で視聴可能な映 像または映像区間を抽出する。 そして、 その中のひとつを選択し、 その映像 シーケンスを映像再生手段 4 3 0に出力する。 なお、 再生映像選択手段 4 2 2は、 映像 Z区間情報記憶手段 4 1 2に記憶されている映像区間の開始点お よび終了点を示す情報を映像再生手段 4 3 0に出力してもよい。
[0157] 映像再生手段 4 3 0は、 入力された映像シーケンスを再生する （ステップ S 8 0 5 ) 。 映像再生手段 4 3 0は、 再生映像選択手段 4 2 2が選択した映 像または映像区間の再生が終了するまで再生を続ける （ステップ S 8 0 6 ) 。 選択された映像または映像区間の再生が終了した場合には、 再生対象の映 像または映像区間の全ての再生が終了するまで、 再生する映像または映像区 間の選択を繰り返し行う （ステップ S 8 0 7の N o， ステップ S 8 0 3に戻 る） 。 再生対象の全映像または全映像区間の再生が終了した場合には、 映像 再生処理を終了する （ステップ S 8 0 7の Y e s ) 。
[0158] 以上のように、 本実施の形態によれば、 利用者の映像への集中度が低い時 に、 観察された集中度 （利用者映像集中度） より低い集中度で視聴可能な映 像または映像区間を選択的に再生することができるので、 利用者が、 「なが ら視聴」 をしゃすい映像または映像区間が優先的に選択されて再生される。 この際に、 利用者の能力や目的、 嗜好に応じた映像再生を実現することがで きる。 従って、 他の作業を行った状態でも映像内容の理解を妨げることなく 、 より効果的な映像視聴することが可能となる。 なお、 他の点に関しては、 第 1の実施の形態と同様である。
[0159] 実施の形態 5 .
次に、 本発明を実施するための第 5の実施の形態について、 図面を参照し て説明する。 図 1 8は、 第 5の実施の形態による映像再生装置の構成例を示 すブロック図である。 図 1 8に示す映像再生装置は、 蓄積部 5 1 0と、 制御 部 5 2 0と、 映像再生手段 5 3 0と、 利用者映像集中度導出手段 5 4 0と、 映像登録手段 5 6 0と、 利用者再生停止入力手段 5 7 0と、 利用者映像選択 手段 5 8 0と、 分類結果更新手段 5 9 0とを備える。 また、 蓄積部 5 1 0は 、 映像蓄積手段 5 1 1と、 映像 Z区間情報記憶手段 5 1 2と、 分類結果記憶 手段 5 1 3とを含む。 また、 制御部 5 2 0は、 分類手段 5 2 1と、 再生映像 選択手段 5 2 2とを含む。
[0160] 図 1 8に示すように、 本実施の形態による映像再生装置は、 図 1に示す第
1の実施の形態と比べて、 再生 Z停止制御手段 1 5 0の代わりに利用者再生 停止入力手段 5 7 0を備える点、 および、 利用者映像選択手段 5 8 0と分類 結果更新手段 5 9 0とをさらに備える点で異なる。
[0161 ] 本実施の形態では、 利用者の操作入力に応じて、 利用者映像集中度を更新 する。
[0162] 利用者再生停止入力手段 5 7 0は、 利用者が映像の再生停止を指示するた めの入力手段である。 利用者再生停止入力手段 5 7 0は、 利用者の操作に応 じて、 再生停止を指示する旨の情報を入力するとともに、 映像再生の開始お よび停止の制御を行う。 また、 利用者映像選択手段 5 8 0は、 利用者が再生 すべき映像または映像区間の選択を行うための入力手段である。 利用者映像 選択手段 5 8 0は、 例えば、 再生対象となる映像または映像区間を選択可能 に画面出力し、 利用者の操作に応じて、 利用者が選択した映像または映像区 間を示す情報を入力する。
[0163] また、 分類結果更新手段 5 9 0は、 利用者の操作に応じて入力される停止 指示や選択結果を示す情報に基づいて、 利用者の視聴能力を推定することに よって、 利用者映像集中度導出手段 5 4 0が導出した利用者映像集中度を更 新し、 各映像または各映像区間の分類結果の更新を行う。 分類結果更新手段
5 9 0は、 例えば、 利用者が再生を停止した際に、 再生中の映像または映像 区間の視聴可能集中度は、 そのときの利用者映像集中度よりも高かったと判 断し、 再生中の映像または映像区間の分類結果 （視聴可能集中度） を更新す る。 また、 例えば、 利用者が利用者映像選択手段 5 8 0を介して再生対象を 選択した場合には、 選択された映像または映像区間は、 そのときの利用者の 映像集中度よりも低かったと判断し、 選択された映像または映像区間の分類 結果 （視聴可能集中度） を更新する。 なお、 他の点に関しては、 第 1の実施 の形態と同様である。
[0164] 次に、 本実施の形態の動作について説明する。 なお、 本実施の形態の動作 も、 第 1の実施の形態と同様、 大きく分けて、 映像登録動作と映像再生動作 の 2つの動作に分かれる。 まず、 映像登録動作について説明する。 図 1 9は 、 本実施の形態の映像登録動作の一例を示すフローチャートである。 なお、 本実施の形態の映像登録動作は、 基本的には、 第 1の実施の形態と同様であ る。
[0165] まず、 映像登録手段 5 6 0は、 映像およびその映像に付随するメタデータ の読み込みを行う （ステップ S 9 0 1 ) 。 映像に関しては、 例えば、 アンテ ナ、 受信回路、 デコーダを介して放送信号を受信する。 また、 例えば、 イン ターネットを介して映像信号を取得する。 また、 例えば、 ビデオカムコーダ から出力される映像ファイルを読み込む。 また、 映像登録手段 5 6 0は、 映 像に付随するメタデータが存在する場合、 メタデータも合わせて読み込む。
[0166] 次に、 映像登録手段 5 6 0は、 必要に応じて、 読み込んだ映像を一続きの シーケンスに分離して、 映像区間を抽出する （ステップ S 9 0 2 ) 。 映像登 録手段 5 6 0は、 例えば、 信号特徴の連続性および非連続性を利用して映像 のショット分割を行うことによって、 映像区間を抽出する。 また、 例えば、 映像中からフェード，ワイプなどの視覚効果を検出し、 シーンの切り替わり とする方法や、 映像中の音声を解析し、 意味的に変化した場所を境界とする 方法、 映像に付加された台本情報等に基づいてショット分割する方法、 あら かじめ映像に付加された章やキヤプチヤーなどの区間情報を用いる方法によ つて、 映像区間を抽出してもよい。
[0167] 映像登録手段 5 6 0は、 読み込んだ映像を映像蓄積手段 5 1 1に登録する
(ステップ S 9 0 3 ) 。 また、 映像蓄積手段 5 1 1に登録した映像に付随し て読み込んだ、 または生成したメタデータを映像 Z区間情報として、 映像 Z 区間情報記憶手段 5 1 2に登録する （ステップ S 9 0 4 ) 。 なお、 映像区間 を抽出した場合には、 その映像区間の開始点および終了点を含めて映像 Z区 間情報記憶手段 5 1 2に登録する。
[0168] 次に、 分類手段 5 2 1は、 映像登録手段 5 6 0が映像蓄積手段 5 1 1に登 録した映像、 または、 その映像の各映像区間を、 視聴可能集中度に応じて分 類する （ステップ S 9 0 5 ) 。 分類手段 5 2 1は、 映像蓄積手段 5 1 1に登 録された映像と、 映像 Z区間情報記憶手段 5 1 2に登録されたその映像、 ま たはその映像の各映像区間に関する情報とに基づいて、 その映像またはその 映像の各映像区間の視聴可能集中度を算出し、 算出した視聴可能集中度に応 じて分類する。 なお、 分類手段 5 2 1の構成および動作については、 図 3に 示す第 1の実施の形態における分類手段 1 2 1と同様であるため、 説明省略 する。
[0169] 分類結果記憶手段 5 1 3は、 分類手段 5 2 1が出力する映像または各映像 区間の視聴可能集中度を記憶する （ステップ S 9 0 6 ) 。
[0170] 次に、 映像再生動作について説明する。 図 2 0は、 本実施の形態の映像再 生動作の一例を示すフローチヤ一卜である。
[0171] 図 2 0に示すように、 まず、 利用者再生停止入力手段 5 7 0は、 利用者の 操作に応じて、 映像再生手段 5 3 0に再生開始の指示を出すとともに、 利用 者映像集中度導出手段 5 4 0に利用者の映像に対する集中度 （利用者映像集 中度） の抽出の指示を出す （ステップ S A O 1 ) 。
[0172] 利用者映像集中度導出手段 5 4 0は、 利用者映像集中度を導出する （ステ ップ S A O 2 ) 。 なお、 利用者映像集中度導出手段 5 4 0の構成および動作 については、 図 5に示す第 1の実施の形態における利用者映像集中度導出手 段 1 4 0と同様であるため、 説明省略する。
[0173] 再生映像選択手段 5 2 2は、 利用者映像集中度導出手段 5 4 0によって導 出された利用者映像集中度と、 分類結果記憶手段 5 1 3に記憶されている再 生対象の各映像または各映像区間の分類結果 （視聴可能集中度） とに基づい て、 次に再生すべき映像または映像区間を選択する （ステップ S A 0 3 ) 。 再生映像選択手段 5 2 2は、 現在の利用者映像集中度と、 再生対象の各映像 または各映像区間の視聴可能集中度のうち、 利用者の嗜好または目的に対応 する視聴可能集中度とを照らし合わせることによって、 利用者映像集中度と 同程度、 またはそれ以下の集中度で視聴可能な映像または映像区間を抽出す る。 そして、 その中のひとつを選択し、 その映像シーケンスを映像再生手段 5 3 0に出力する。 なお、 再生映像選択手段 5 2 2は、 映像 Z区間情報記憶 手段 5 1 2に記憶されている映像区間の開始点および終了点を示す情報を映 像再生手段 5 3 0に出力してもよい。
[0174] 映像再生手段 5 3 0は、 入力された映像シーケンスを再生する （ステップ S A 0 4 ) 。 ここで、 利用者が再生停止の操作をしたとする。 利用者再生停 止入力手段 5 7 0は、 利用者の操作に応じて、 再生停止を指示する旨の情報 を入力するとともに、 直ちに、 映像再生の停止の制御を行う （ステップ S A 0 5の Y e s ) 。 また、 分類結果更新手段 5 9 0は、 利用者再生停止入力手 段 5 7 0から入力される情報を検出し、 直前まで再生していた映像または映 像区間の分類結果を更新する （ステップ S A 0 6 ) 。 そして、 再度、 利用者 映像集中度の検出動作を行い、 次に再生する映像または映像区間の再選択を 行う （ステップ S A O 2に戻る） 。
[0175] なお、 利用者再生停止入力手段 5 7 0を介して利用者から再生停止命令が 指示された場合には、 利用者映像選択手段 5 8 0が、 次に再生する映像また は映像区間を、 利用者が選択可能に出力し、 利用者に選択させることも可能 である。 利用者映像選択手段 5 8 0は、 利用者の選択入力操作に応じて、 次 に再生する映像または映像区間を選択する。
[0176] 映像再生手段 5 3 0は、 利用者から再生停止命令が指示されなければ、 再 生映像選択手段 5 2 2または利用者再生停止入力手段 5 7 0が選択した映像 区間の再生が終了するまで再生を続ける （ステップ S A 0 7 ) 。 選択された 映像区間の再生が終了した場合には、 再生対象の映像区間の全ての再生が終 了するまで、 再生する映像区間の選択を繰り返し行う （ステップ S A O 2に 戻る） 。 再生対象の全映像区間の再生が終了した場合には、 映像再生処理を 終了する （ステップ S A O 8の Y e s ) 。
[0177] 以上のように、 本実施の形態によれば、 利用者の映像への集中度が低い時 に、 観察された集中度 （利用者映像集中度） より低い集中度で視聴可能な映 像または映像区間を選択的に再生することができるので、 利用者が、 「なが ら視聴」 をしゃすい映像または映像区間が優先的に選択されて再生される。 また、 利用者の停止操作や選択操作から利用者の視聴能力を推定し、 映像ま たは映像区間の視聴に必要な集中度を動的に更新することができるので、 よ リ現実に合つた選択ができるようになる。
[0178] 実施の形態 6 .
次に、 本発明を実施するための第 6の実施の形態について、 図面を参照し て説明する。 図 2 1は、 第 6の実施の形態による映像再生装置の構成例を示 すブロック図である。 図 2 1に示す映像再生装置は、 蓄積部 6 1 0と、 記録 再生制御部 6 2 0と、 映像再生手段 6 3 0と、 利用者映像集中度導出手段 6 4 0と、 再生制御用プログラム 6 5 0とを備える。
[0179] また、 再生制御用プログラム 6 5 0は、 記憶媒体 （例えば、 C D— R O M ) から読み込んで実行されてもよいし、 図示していないが、 あらかじめ記憶 装置に記憶し、 記憶装置から読み込んで実行されてもよい。
[0180] 図 2 1に示すように、 本実施の形態による映像再生装置は、 制御部 1 2 0 が記録再生制御部 6 2 0となっている点で、 図 1に示す第 1の実施の形態と 異なる。
[0181 ] 記録再生制御部 6 2 0は、 C P U等のプログラムに従って動作する処理装 置である。 再生制御用プログラム 6 5 0は、 記録再生制御部 6 2 0に読み込 まれ、 記録再生制御部 6 2 0の動作を制御することによって、 蓄積部 6 1 0 に情報を記録したり、 映像の再生を行う。 再生制御用プログラム 6 5 0は、 例えば、 第 1の実施の形態で示した映像再生装置の処理を実行するためのプ ログラムである。
本実施の形態における映像再生装置の動作は、 再生制御用プログラム 6 5 0の制御に従って動作する。 再生制御用プログラム 6 5 0が、 例えば、 第 1 の実施の形態で示した映像再生装置の処理を実行するためのプログラムであ る場合には、 図 2および図 4に示す第 1の実施の形態による映像再生装置の 動作と同様となる。 また、 再生制御用プログラム 6 5 0は、 第 1の実施の形 態で示した映像再生装置の処理を実行するためのプログラムに限定されず、 第 2の実施の形態から第 5の実施の形態まで示した映像再生装置の処理を実 行するためのプログラムであってもよい。

Claims

請求の範囲
[1 ] 映像の再生を行う映像再生装置であって、
再生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に 応じて分類する分類手段と、
利用者の映像に対する集中度を示す利用者映像集中度を導出する利用者映 像集中度導出手段と、
分類手段の分類結果を考慮し、 利用者の現在の利用者映像集中度と、 再生 対象の各映像または各映像区間に必要な利用者の集中度とを比較して、 利用 者映像集中度よリも低い集中度で視聴可能な映像または映像区間を優先的に 再生する映像再生手段とを備えた
ことを特徴とする映像再生装置。
[2] 再生対象の映像または映像区間と、 利用者の集中度とを関連付けて記憶す る記憶部をさらに備え、 前記分類手段は、 前記記憶部を参照して再生対象の 映像または映像区間を分類することを特徴とする請求項 1記載の映像再生装 置。
[3] 再生対象の映像を記憶する映像蓄積手段と、
前記映像蓄積手段に記憶された映像に付随する情報であって、 少なくとも 映像区間を示す情報を含む付随情報を記憶する映像付随情報記憶手段と、 利用者映像集中度導出手段によって導出された利用者映像集中度と、 分類 手段によって分類された再生対象の各映像または各映像区間の分類結果とに 基づいて、 再生する映像または映像区間を選択する再生映像選択手段とを備 え、
分類手段は、 前記映像蓄積手段に記憶された各映像または映像の各区間を 、 視聴に必要とされる利用者の集中度に応じて分類し、
映像再生手段は、 前記再生映像選択手段によって選択された映像または映 像区間を再生する
請求項 1記載の映像再生装置。
[4] 再生対象の映像を記憶する映像蓄積手段と、 前記映像蓄積手段に記憶された映像に付随する情報であって、 少なくとも 映像区間を示す情報を含む付随情報を記憶する映像付随情報記憶手段と、 利用者映像集中度導出手段によって導出された利用者映像集中度と、 分類 手段によって分類された再生対象の各映像または各映像区間の分類結果とに 基づいて、 再生する映像または映像区間を選択する再生映像選択手段とを備 え、
分類手段は、 前記映像蓄積手段に記憶された各映像または映像の各区間を 、 視聴に必要とされる利用者の集中度に応じて分類し、
映像再生手段は、 前記再生映像選択手段によって選択された映像または映 像区間を再生する
請求項 2記載の映像再生装置。
[5] 再生映像選択手段は、 利用者映像集中度が所定の閾値よりも低い場合に、 利用者映像集中度よリも低い集中度で視聴可能な映像または映像区間を選択 する
請求項 3記載の映像再生装置。
[6] 過去に再生された映像または映像区間を履歴情報として記憶する映像再生 履歴記憶手段を備え、
再生映像選択手段は、 利用者映像集中度導出手段によって導出された利用 者映像集中度と、 分類手段によって分類された再生対象の各映像または各映 像区間の分類結果と、 前記映像再生履歴記憶手段に記憶された履歴情報とに 基づいて、 再生する映像または映像区間を選択する
請求項 3記載の映像再生装置。
[7] 再生映像選択手段は、 映像再生履歴記憶手段に記憶された履歴情報で示さ れる過去に再生された映像または映像区間以外で、 視聴に必要な集中度が、 現在の利用者映像集中度よリも低い映像または映像区間を選択する
請求項 6記載の映像再生装置。
[8] 各映像間または映像の各区間間の従属関係を示す関連情報を記憶する関連 情報記憶手段を備え、 再生映像選択手段は、 利用者映像集中度導出手段によって導出された利用 者映像集中度と、 分類手段によって分類された再生対象の各映像または各映 像区間の分類結果と、 前記関連情報記憶手段に記憶された関連情報とに基づ いて、 これまでに再生した映像または映像区間と従属関係を有し、 かつ、 視 聴に必要な集中度が、 現在の利用者映像集中度よリも低い映像または映像区 間を選択する
請求項 3から請求項 7のうちのいずれか 1項に記載の映像再生装置。 再生映像選択手段は、 再生中の映像区間と同一の映像に属する映像区間か ら再生する映像区間を選択する
請求項 8に記載の映像再生装置。
関連情報記憶手段は、 少なくとも、 各映像間または映像の各区間間の時間 的連続性を示す情報、 または、 意味的従属性を示す情報を含む関連情報を記 憶する
請求項 8記載の映像再生装置。
再生映像選択手段は、 再生中の映像区間と時間的に連続する映像区間の視 聴に必要とされる利用者の集中度が、 現時点の利用者映像集中度よリも高い 場合に、 現時点の利用者映像集中度よりも低い集中度で視聴可能で、 かつ、 再生中の映像区間と従属関係を有しない映像区間を選択する
請求項 8記載の映像再生装置。
利用者映像集中度の変化を検出し、 再生中の映像または映像区間の視聴に 必要とされる利用者の集中度が、 現時点の利用者映像集中度よリも低くなつ た場合に、 再生を中断する中断検出手段を備えた
請求項 3記載の映像再生装置。
中断検出手段は、 利用者映像集中度の変化を検出し、 再生中の映像または 映像区間の視聴に必要とされる利用者の集中度が、 現時点の利用者映像集中 度よリも低くなつた場合に、 再生中の映像区間の終了まで再生を行った上で 、 再生を中断し、
再生映像選択手段は、 映像区間終了時点で検出される利用者映像集中度に 基づいて、 再生する映像区間を選択する
請求項 1 2記載の映像再生装置。
[14] 再生を中断した位置である中断点を示す情報を記憶する中断点記憶手段を 備え、
中断検出手段は、 再生を中断した場合に、 前記中断点記憶手段に、 その際 の中断点を記憶し、
再生映像選択手段は、 中断検出手段によって再生が中断された後、 利用者 映像集中度が、 中断点と時間的に連続する映像区間の視聴に必要な集中度よ リも高くなつた場合に、 前記中断点から映像の再生を再開させるよう映像区 間を選択する
請求項 1 2または請求項 1 3記載の映像再生装置。
[15] 再生映像選択手段は、 再生を中断した後、 利現時点で再生中の映像区間と 従属関係を有する全映像区間の再生が終了した後に、 中断点から映像の再生 を再開させるよう映像区間を選択する
請求項 1 2に記載の映像再生装置。
[16] 中断検出手段は、 利用者映像集中度が、 再生中の映像区間に時間的に連続 する映像区間の視聴に必要とされる利用者の集中度よリも高くなった場合に 、 再生を中断するとともに、 中断点記憶手段にその際の中断点を記憶し、 再生映像選択手段は、 中断検出手段によって再生が中断された場合には、 中断した時点で検出された利用者映像集中度よりも低い集中度で視聴可能な 映像区間のうち、 再生中の映像区間と意味的に従属関係のない映像区間を選 択し、 さらに、 意味的に従属関係のない前記映像区間の再生が終了した際に 、 利用者映像集中度が、 中断点と時間的に連続する映像区間の視聴に必要と される利用者の集中度よりも高ければ、 前記中断点から映像の再生を再開さ せるよう映像区間を選択する
請求項 1 2記載の映像再生装置。
[17] 分類手段は、 再生対象の映像または映像区間の、 ジャンル、 重要度、 難易 度、 利用者嗜好との合致度を示す情報のうちのいずれか 1つ以上の情報に基 づいて、 その映像または映像区間の視聴に必要な集中度を算出し、 算出した 集中度に応じた分類を行う
請求項 3に記載の映像再生装置。
[18] 分類手段は、 難易度として、 映像または映像区間に含まれる単位時間あた リの音声量、 単位時間あたリに提示される文字数のうちのいずれか一つ以上 の情報を用いる
請求項 1 7記載の映像再生装置。
[19] 利用者の能力、 嗜好、 映像視聴の目的を示す情報のうちのいずれか 1っ以 上を含む利用者情報を取得する利用者情報取得手段を備え、
分類手段は、 前記利用者情報取得手段が取得した利用者情報に応じて、 映 像または映像区間の視聴に必要な集中度を変更する
請求項 3記載の映像再生装置。
[20] 利用者映像集中度導出手段は、 映像の再生状況、 並行して行われている他 の作業への集中度、 映像の視聴環境を示す情報のうちのいずれか 1つ以上の 情報に基づいて、 利用者の映像に対する集中度を推定することによって、 利 用者映像集中度を導出する
請求項 3に記載の映像再生装置。
[21 ] 利用者映像集中度導出手段は、 映像の再生状況として、 再生している映像 の画面サイズ、 画面の位置、 再生音声の音量のうちのいずれか 1つ以上の情 報を用し、る
請求項 2 0記載の映像再生装置。
[22] 利用者映像集中度導出手段は、 並行して行われている他の作業への集中度 として、 立ち上がつている各アプリケーションの種類、 画面サイズ、 画面位 置、 単位時間あたりの情報入力量のうちのいずれか 1つ以上の情報を用いる 請求項 2 0記載の映像再生装置。
[23] 利用者映像集中度導出手段は、 並行して行われている他の作業への集中度 として、 単位時間あたりのキーストローク数を用いる
請求項 2 0記載の映像再生装置。 [24] 利用者映像集中度導出手段は、 映像の視聴環境として、 映像再生を行って いる時間、 位置情報、 再生場所の騒音量のうちのいずれかひとつ以上の情報 を用いる
請求項 2 0記載の映像再生装置。
[25] 利用者映像集中度導出手段は、 利用者の視線情報に基づいて、 利用者の映 像に対する集中度を推定する
請求項 2 0から請求項 2 4に記載の映像再生装置。
[26] 映像の再生の停止および再開を制御する停止開始制御手段を備え、
停止開始制御手段は、 所定の条件に基づいて判断した結果、 再生する映像 または映像区間が存在しない場合には、 利用者映像集中度が、 映像再生に必 要な集中度になるまで、 映像の再生を停止する
請求項 3に記載の映像再生装置。
[27] 利用者の操作に応じて、 再生の停止または再開を指示する旨の情報を入力 する入力手段を備え、
停止開始制御手段は、 前記入力手段から入力される利用者からの停止指示 を示す情報を検出した場合に、 再生を停止し、 映像または映像区間の再選択 を行う
請求項 2 6記載の映像再生装置。
[28] 利用者に、 再生する映像または映像区間を選択させる選択手段を備え、 停止開始制御手段は、 前記入力手段から入力される利用者からの停止指示 を示す情報を検出した場合に、 再生を停止し、 前記選択手段によって映像ま たは映像区間の再選択が行われるように制御する
請求項 2 7記載の映像再生装置。
[29] 停止開始制御手段は、 入力手段を介して利用者からの停止指示を示す情報 が入力された場合に、 再生を停止し、 再生映像選択手段によって映像または 映像区間の再選択が行われるように制御し、
再生映像選択手段は、 停止開始制御手段からの指示を受けて、 停止した映 像または映像区間を除いた映像または映像区間の中から、 所定の条件に基づ いて選択する
請求項 2 7記載の映像再生装置。
[30] 入力手段を介して利用者からの停止指示を示す情報が入力された場合に、 停止指示の対象となった映像または映像区間の分類結果を変更する分類結果 更新手段を備えた
請求項 2 7から請求項 2 9のうちのいずれか 1項に記載の映像再生装置。
[31 ] 映像の再生を行う映像再生方法であって、
再生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に 応じて分類し、
利用者の映像に対する集中度を示す利用者映像集中度を導出し、 分類手段の分類結果を考慮し、 利用者の現在の利用者映像集中度と、 再生 対象の各映像または各映像区間に必要な利用者の集中度とを比較して、 利用 者映像集中度よリも低い集中度で視聴可能な映像または映像区間を優先的に 再生する
ことを特徴とする映像再生方法。
[32] 再生対象の映像または映像区間と、 利用者の集中度とを関連付けて記憶す る記憶部をさらに備え、 前記分類手段は、 前記記憶部を参照して再生対象の 映像または映像区間を分類することを特徴とする請求項 3 1記載の映像再生 方法。
[33] 再生対象の映像を記憶し、
記憶された映像に付随する情報であって、 少なくとも映像区間を示す情報 を含む付随情報を記憶し、
記憶された各映像または映像の各区間を、 視聴に必要とされる利用者の集 中度に応じて分類し、
利用者の映像に対する集中度を示す利用者映像集中度を導出し、 導出された利用者映像集中度と、 分類された再生対象の各映像または各映 像区間の分類結果とに基づいて、 再生する映像または映像区間を選択し、 選択された映像または映像区間を再生する 請求項 3 1または請求項 3 2に記載の映像再生方法。
[34] 映像の再生を行うための映像再生用プログラムであって、
コンピュータに、
再生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に 応じて分類する処理、
利用者の映像に対する集中度を示す利用者映像集中度を導出する処理、 お よび
分類手段の分類結果を考慮し、 利用者の現在の利用者映像集中度と、 再生 対象の各映像または各映像区間に必要な利用者の集中度とを比較して、 利用 者映像集中度よリも低い集中度で視聴可能な映像または映像区間を優先的に 再生する処理を
実行させるための映像再生用プログラム。
[35] 再生対象の映像または映像区間と、 利用者の集中度とを関連付けて記憶 する記憶部をさらに備え、 前記分類手段は、 前記記憶部を参照して再生対象 の映像または映像区間を分類することを特徴とする請求項 3 4記載の映像再 生用プログラム。
[36] 再生対象の映像と、 再生対象の映像に付随する情報であって、 少なくとも 映像区間を示す情報を含む付随情報とを記憶する記憶装置を備えたコンビュ ータに、
再生対象の映像または映像区間を、 視聴に必要とされる利用者の集中度に 応じて分類する処理、
利用者の映像に対する集中度を示す利用者映像集中度を導出する処理、 導出された利用者映像集中度と、 分類された再生対象の各映像または各映 像区間の分類結果とに基づいて、 再生する映像または映像区間を選択する処 理、 および
選択された映像または映像区間を再生する処理を実行させる
請求項 3 4または 3 5記載の映像再生用プログラム。
PCT/JP2007/000517 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム WO2007132566A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2008515436A JP5146315B2 (ja) 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム
US12/226,921 US8290341B2 (en) 2006-05-15 2007-05-15 Video playing device, video playing method, and video playing program having automatic video selections based upon user concentration

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2006135327 2006-05-15
JP2006-135327 2006-05-15

Publications (1)

Publication Number Publication Date
WO2007132566A1 true WO2007132566A1 (ja) 2007-11-22

Family

ID=38693667

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2007/000517 WO2007132566A1 (ja) 2006-05-15 2007-05-15 映像再生装置、映像再生方法、および映像再生用プログラム

Country Status (4)

Country Link
US (1) US8290341B2 (ja)
JP (1) JP5146315B2 (ja)
CN (1) CN101444092A (ja)
WO (1) WO2007132566A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172660A (ja) * 2007-01-15 2008-07-24 Fujitsu Ltd 嗜好データ生成装置，コンテンツ表示装置，嗜好データ生成方法および嗜好データ生成プログラム
WO2012133841A1 (ja) 2011-03-30 2012-10-04 日本電気株式会社 データ関連度判定装置、データ関連度判定方法、および、記録媒体
JP2016504836A (ja) * 2012-11-29 2016-02-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ コンテンツ提示を提供するためにユーザエンゲージメントを使用するための方法および装置
JP2017139602A (ja) * 2016-02-03 2017-08-10 株式会社デンソー 車両用動画再生装置
KR20180111216A (ko) * 2017-03-31 2018-10-11 이화여자대학교 산학협력단 학습자의 동공 변화를 이용한 인지 부하 측정 방법 및 인지 부하 측정 장치
CN110337032A (zh) * 2019-06-11 2019-10-15 福建天泉教育科技有限公司 基于关注度的视频播放方法、存储介质
WO2021169458A1 (zh) * 2020-02-28 2021-09-02 北京百度网讯科技有限公司 视频播放方法、装置、电子设备及存储介质

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2099198A1 (en) * 2008-03-05 2009-09-09 Sony Corporation Method and device for personalizing a multimedia application
JP4775671B2 (ja) 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US8893164B1 (en) * 2012-05-16 2014-11-18 Google Inc. Audio system
US9635096B2 (en) * 2013-11-26 2017-04-25 Google Inc. Selecting a content item based on a view profile
EP3035693A1 (en) * 2014-12-19 2016-06-22 Koninklijke KPN N.V. Improved use and creation of content files
KR101766347B1 (ko) * 2015-05-27 2017-08-08 노성렬 집중도 평가시스템
US9875443B2 (en) * 2015-06-18 2018-01-23 TCL Research America Inc. Unified attractiveness prediction framework based on content impact factor
JP6776716B2 (ja) * 2016-08-10 2020-10-28 富士ゼロックス株式会社 情報処理装置、プログラム
CN107872620B (zh) * 2017-11-22 2020-06-02 北京小米移动软件有限公司 视频录制方法及装置、计算机可读存储介质
US10694262B1 (en) * 2019-03-12 2020-06-23 Ambarella International Lp Overlaying ads on camera feed in automotive viewing applications
CN113709552A (zh) * 2021-08-31 2021-11-26 维沃移动通信有限公司 视频生成方法、装置及电子设备
CN114366101B (zh) * 2021-12-31 2024-05-03 西安臻泰智能科技有限公司 运动想象脑电信号分类方法、装置、设备和存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198174A (ja) * 1997-09-19 1999-04-09 Toshiba Corp 通信制御システム及び通信制御システムの通信制御方法
JP2001251580A (ja) * 2000-03-03 2001-09-14 Alpine Electronics Inc Ｄｖｄビデオシナリオ再生装置
JP2002247525A (ja) * 2001-02-15 2002-08-30 Mitsubishi Chemicals Corp ホームサーバー装置，映像音声データの編集方法および映像音声データの生成方法
JP2003281864A (ja) * 2002-03-25 2003-10-03 Sanyo Electric Co Ltd 記録媒体管理装置および記録装置
JP2005034484A (ja) * 2003-07-17 2005-02-10 Sony Corp 音響再生装置、映像再生装置、及び映像音声再生方法
JP2005277543A (ja) * 2004-03-23 2005-10-06 Clarion Co Ltd マルチメディア再生装置、マルチメディア再生システム、ヘッドフォン及び椅子
JP2006060778A (ja) * 2004-07-20 2006-03-02 Canon Inc 画像再生装置及び画像再生方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BE1001414A6 (nl) * 1987-12-23 1989-10-24 Bell Telephone Mfg Conditionele multiplexeerketen.
JP3644502B2 (ja) * 2001-02-06 2005-04-27 ソニー株式会社 コンテンツ受信装置およびコンテンツ呈示制御方法
US7284201B2 (en) * 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
JP2004312401A (ja) * 2003-04-08 2004-11-04 Sony Corp 再生装置および再生方法
JP4284504B2 (ja) * 2003-06-03 2009-06-24 ソニー株式会社 コンテンツ再生方法、コンテンツ再生装置、コンテンツ配信方法およびコンテンツ配信装置
JP2005051654A (ja) * 2003-07-31 2005-02-24 Sony Corp コンテンツ再生方法、コンテンツ再生装置、コンテンツ記録方法、コンテンツ記録メディア
JP4396175B2 (ja) * 2003-08-05 2010-01-13 ソニー株式会社 コンテンツ再生装置及びコンテンツ再生方法
JP2005223778A (ja) 2004-02-09 2005-08-18 Sanyo Electric Co Ltd 映像音声視聴装置
JP2005260578A (ja) * 2004-03-11 2005-09-22 Ricoh Co Ltd 視聴解析サーバ、映像表示装置、および視聴解析サーバと映像表示装置とを備えた視聴情報収集配信システム
JP4284538B2 (ja) * 2004-10-19 2009-06-24 ソニー株式会社 再生装置および再生方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1198174A (ja) * 1997-09-19 1999-04-09 Toshiba Corp 通信制御システム及び通信制御システムの通信制御方法
JP2001251580A (ja) * 2000-03-03 2001-09-14 Alpine Electronics Inc Ｄｖｄビデオシナリオ再生装置
JP2002247525A (ja) * 2001-02-15 2002-08-30 Mitsubishi Chemicals Corp ホームサーバー装置，映像音声データの編集方法および映像音声データの生成方法
JP2003281864A (ja) * 2002-03-25 2003-10-03 Sanyo Electric Co Ltd 記録媒体管理装置および記録装置
JP2005034484A (ja) * 2003-07-17 2005-02-10 Sony Corp 音響再生装置、映像再生装置、及び映像音声再生方法
JP2005277543A (ja) * 2004-03-23 2005-10-06 Clarion Co Ltd マルチメディア再生装置、マルチメディア再生システム、ヘッドフォン及び椅子
JP2006060778A (ja) * 2004-07-20 2006-03-02 Canon Inc 画像再生装置及び画像再生方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008172660A (ja) * 2007-01-15 2008-07-24 Fujitsu Ltd 嗜好データ生成装置，コンテンツ表示装置，嗜好データ生成方法および嗜好データ生成プログラム
WO2012133841A1 (ja) 2011-03-30 2012-10-04 日本電気株式会社 データ関連度判定装置、データ関連度判定方法、および、記録媒体
US9251242B2 (en) 2011-03-30 2016-02-02 Nec Corporation Data relatedness assessment device, data relatedness assessment method, and recording medium
JP2016504836A (ja) * 2012-11-29 2016-02-12 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ コンテンツ提示を提供するためにユーザエンゲージメントを使用するための方法および装置
JP2017139602A (ja) * 2016-02-03 2017-08-10 株式会社デンソー 車両用動画再生装置
KR20180111216A (ko) * 2017-03-31 2018-10-11 이화여자대학교 산학협력단 학습자의 동공 변화를 이용한 인지 부하 측정 방법 및 인지 부하 측정 장치
KR102054549B1 (ko) 2017-03-31 2019-12-10 이화여자대학교 산학협력단 학습자의 동공 변화를 이용한 인지 부하 측정 방법 및 인지 부하 측정 장치
CN110337032A (zh) * 2019-06-11 2019-10-15 福建天泉教育科技有限公司 基于关注度的视频播放方法、存储介质
WO2021169458A1 (zh) * 2020-02-28 2021-09-02 北京百度网讯科技有限公司 视频播放方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP5146315B2 (ja) 2013-02-20
CN101444092A (zh) 2009-05-27
US8290341B2 (en) 2012-10-16
US20090097822A1 (en) 2009-04-16
JPWO2007132566A1 (ja) 2009-09-24

Similar Documents

Publication Publication Date Title
WO2007132566A1 (ja) 映像再生装置、映像再生方法、および映像再生用プログラム
KR101001172B1 (ko) 유사 비디오 콘텐츠 호핑을 위한 방법 및 장치
US8103149B2 (en) Playback system, apparatus, and method, information processing apparatus and method, and program therefor
KR100422699B1 (ko) 비디오 콘텐트의 재생 제어방법과 장치
JP4692775B2 (ja) 映像コンテンツ再生支援方法、映像コンテンツ再生支援システム、及び情報配信プログラム
US20060062549A1 (en) Non-linear reproduction control method of multimedia stream and apparatus thereof
US20110243529A1 (en) Electronic apparatus, content recommendation method, and program therefor
US8126309B2 (en) Video playback apparatus and method
JP2004533756A (ja) 自動コンテンツ分析及びマルチメデイア・プレゼンテーションの表示
JP2009508379A (ja) ビデオのナビゲーション方法及び装置
JP2008148077A (ja) 動画再生装置
US8634708B2 (en) Method for creating a new summary of an audiovisual document that already includes a summary and reports and a receiver that can implement said method
JP5338450B2 (ja) 再生装置及びプログラム
JP4925938B2 (ja) ダイジェスト映像情報作成方法、ダイジェスト映像情報作成プログラム、および、映像装置
US7486873B2 (en) Video reproduction apparatus and intelligent skip method therefor
JP2010246000A (ja) 映像サーチ再生装置
JP2007208651A (ja) コンテンツ視聴装置
JP5002227B2 (ja) 再生装置
JP2007288300A (ja) 映像音声再生装置
JP4104569B2 (ja) 情報サービスシステムおよび放送受信システム
JP2012203773A (ja) 動画推薦装置及び動画推薦方法
JP2005328329A (ja) 映像再生装置と映像録画再生装置と映像再生方法
JP2006332765A (ja) コンテンツ検索・再生方法、コンテンツ検索・再生装置、並びにプログラムおよび記録媒体
JP3902145B2 (ja) 放送受信方法および放送受信システム
JP3946017B2 (ja) 放送受信方法および放送受信システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 07737173

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 12226921

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2008515436

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 200780017673.6

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 07737173

Country of ref document: EP

Kind code of ref document: A1