JPWO2017203768A1 - 再生装置と再生方法および情報生成装置と情報生成方法 - Google Patents

再生装置と再生方法および情報生成装置と情報生成方法 Download PDF

Info

Publication number
JPWO2017203768A1
JPWO2017203768A1 JP2018519092A JP2018519092A JPWO2017203768A1 JP WO2017203768 A1 JPWO2017203768 A1 JP WO2017203768A1 JP 2018519092 A JP2018519092 A JP 2018519092A JP 2018519092 A JP2018519092 A JP 2018519092A JP WO2017203768 A1 JPWO2017203768 A1 JP WO2017203768A1
Authority
JP
Japan
Prior art keywords
importance
image
information
image data
divided region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018519092A
Other languages
English (en)
Other versions
JP6882634B2 (ja
Inventor
小川　浩司
浩司 小川
博文 島田
博文 島田
雄太 村田
雄太 村田
雅子 小室
雅子 小室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2017203768A1 publication Critical patent/JPWO2017203768A1/ja
Application granted granted Critical
Publication of JP6882634B2 publication Critical patent/JP6882634B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/005—Reproducing at a different information rate from the information rate of recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/00007—Time or data compression or expansion
    • G11B2020/00072—Time or data compression or expansion the compressed signal including a video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Analytical Chemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

注目位置検出部３４は、動画像データの再生画像に対するユーザの注目位置を検出する。動画像データには、再生画像を仮想的に分割した仮想分割領域の位置と仮想分割領域の重要度を示す画像関連情報が関連付けられており、再生制御部３７は、注目位置検出部３４で検出した注目位置に対応する仮想分割領域の重要度を判別して、判別した重要度に応じて動画像データの再生動作を制御して、例えば重要度が低くなるに伴い、再生動作において間引きする画像を多く設定して再生速度を速くする。ユーザは、注目位置を移動するだけで再生動作を制御することが可能となり、最適な再生動作を容易に行える。

Description

この技術は、再生装置と再生方法および情報生成装置と情報生成方法に関し、最適な再生制御を行えるようにする。
従来、動画像データの再生装置では、再生速度を通常速度より高速とした再生動作（早送り動作、サーチ動作）が可能とされている。このような再生動作では、例えば再生速度に応じてフレームを間引いて、一部のフレームのみを再生することが行われている。また、特許文献１では、所望のシーンの再生を容易とするため、シーンマークを複数のグループにグループ化して管理して、ユーザ間で混同されることのないシーンマーク付けが可能とされている。
特開２０１０−０７４６１７号公報
ところで、動画像データの再生において、ユーザが所望する再生動作を行うためには、例えば再生装置やリモートコントロール装置の操作部から再生動作を切り替える操作ボタン等を選択して操作する動作を、再生動作の切り替え毎に繰り返す必要がある。このため、容易に最適な再生動作を行わせることができない。また、頭部に装着された表示部で再生画像を表示する装置、例えばヘッドマウントディスプレイ装置等では、再生装置やリモートコントロール装置の操作部を視認することが困難である。したがって、所望の再生動作を行わせるために表示部の着脱等が必要となり所望の再生動作への切り替えがさらに煩雑となる。
そこで、この技術では最適な再生動作を容易に行える再生装置と再生方法および情報生成装置と情報生成方法を提供することを目的とする。
この技術の第１の側面は、
動画像データの再生画像に対するユーザの注目位置を検出する注目位置検出部と、
前記再生画像を仮想的に分割した仮想分割領域の位置と重要度を示す前記動画像データに関連付けられた画像関連情報に基づき、前記注目位置検出部で検出した注目位置に対応する前記仮想分割領域の重要度を判別して、判別した重要度に応じて前記動画像データの再生動作を制御する再生制御部と
を備える再生装置にある。
この技術において、注目位置検出部は、動画像データの再生画像を見るユーザの例えば頭部の向きまたは視線方向を検出するセンサを用いて構成されており、センサの検出結果に基づき再生画像に対する頭部の向きまたは視線方向の位置を注目位置として検出する。動画像データには、再生画像を仮想的に分割した仮想分割領域の位置と重要度を示す画像関連情報が関連付けられており、再生制御部は、画像関連情報と注目位置検出部の検出結果に基づき、検出した注目位置に対応する仮想分割領域の重要度に応じて動画像データの再生動作を制御する。例えば、再生制御部は、再生画像の時間情報を用いて次の再生画像を、注目位置に対応する仮想分割領域の重要度に応じて設定して、重要度が低くなるに伴い再生動作において間引きする画像が多くなるように設定する。また、動画像データは符号化された情報であり、再生制御部は、重要度に応じて動画像データのデコード処理を制御する。
また、再生制御部は、重要度が低い仮想分割領域に対応する画像表示領域に情報表示領域を設ける。画像関連情報に仮想分割領域に含まれる被写体に関する領域被写体情報が含まれている場合、再生制御部は、注目位置検出部で検出した注目位置に対応する仮想分割領域に含まれる被写体を示す領域被写体情報を表示する。また、画像関連情報において再生画像の時間情報を用いて時間毎に仮想分割領域の位置と重要度と仮想分割領域に含まれる被写体に関する領域被写体情報を示している場合、再生制御部は、画像関連情報に基づき時間と被写体と仮想分割領域を関連付けて表示部に表示して、時間と仮想分割領域に対するユーザ選択結果に応じて動画像データの再生動作を制御する。また、再生制御部は、領域被写体情報に基づき所望の被写体が含まれる仮想分割領域を判別して、判別結果に基づき動画像データの再生動作を制御してもよい。さらに、再生制御部は、所望の被写体が含まれる仮想分割領域と注目位置に対応する仮想分割領域が異なる場合、所望の被写体が含まれる仮想分割領域の位置を提示する。
また、再生制御部は、動画像データの再生動作履歴を画像関連情報と共に表示部に表示してもよく、動画像データの再生動作履歴を再利用可能に記憶して、再生動作履歴に基づき動画像データを再生する場合、再生画像では注目位置に対応する仮想分割領域を所定位置としてもよい。
この技術の第２の側面は、
動画像データの再生画像に対するユーザの注目位置を注目位置検出部で検出することと、
前記再生画像を仮想的に分割した仮想分割領域の位置と前記仮想分割領域の重要度を示す前記動画像データに関連付けられた画像関連情報に基づき、前記注目位置検出部で検出した注目位置に対応する前記仮想分割領域の重要度を判別して、判別した重要度に応じて前記動画像データの再生動作を再生制御部で制御することと
を含む再生方法にある。
この技術の第３の側面は、
動画像データの画像を仮想的に分割した仮想分割領域毎に重要度を設定して、前記画像における前記仮想分割領域の位置と重要度を示す画像関連情報を、前記動画像データに関連付けて生成する画像関連情報生成部
を備える情報生成装置にある。
この技術においては、画像関連情報生成部は、動画像データの画像を仮想的に分割した仮想分割領域毎に重要度を設定する。重要度は、時間毎の仮想分割領域に対して設定された画像処理の処理結果に基づいて、または、時間毎の仮想分割領域に対して設定された複数の画像処理の処理結果に基づいて設定する。画像関連情報生成部は、動画像データの画像における仮想分割領域の位置と重要度の関係を、画像に付与されている時間情報を用いて時間毎に示す画像関連情報を動画像データに関連付けて生成する。また、画像関連情報生成部は、画像関連情報に、仮想分割領域に含まれる被写体に関する領域被写体情報を含めるようにしてもよい。画像の仮想的分割は、画像を用いて特定領域認識処理を行い、認識処理結果に基づいて行うようにしてもよい。
この技術の第４の側面は
動画像データの画像を仮想的に分割した仮想分割領域毎に重要度を設定して、前記画像における前記仮想分割領域の位置と重要度を示す画像関連情報を、前記動画像データに関連付けて画像関連情報生成部で生成すること
を含む情報生成方法にある。
この技術によれば、動画像データの再生画像に対するユーザの注目位置が注目位置検出部で検出される。また、再生画像を仮想的に分割した仮想分割領域の位置と重要度を示す動画像データに関連付けられた画像関連情報に基づき、注目位置検出部で検出した注目位置に対応する仮想分割領域の重要度を判別して、判別した重要度に応じて動画像データの再生動作が再生制御部で制御される。このため、ユーザは、注目位置を移動するだけで再生動作を制御することが可能となり、最適な再生動作を容易に行える。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
画像処理システムの構成を示す図である。 情報生成装置の構成を例示した図である。 分割領域構成情報を例示した図である。 分割領域定義１に対応する分割領域定義情報を例示した図である。 分割領域定義１に対応する仮想分割状況を例示した図である。 分割領域定義２に対応する分割領域定義情報を例示した図である。 分割領域定義２に対応する仮想分割状況を例示した図である。 重要度定義情報を例示した図である。 他の重要度定義情報を例示した図である。 重要度換算情報を例示した図である。 領域重要度情報を例示した図である。 情報生成装置の動作を例示したフローチャートである。 情報生成装置の他の構成を例示した図である。 重要度分割領域定義情報を例示した図である。 情報生成装置の他の動作を例示したフローチャートである。 情報生成装置の他の動作を説明するための図である。 再生装置の構成を例示した図である。 動作設定情報を例示した図である。 再生装置の動作を例示したフローチャートである。 重要度に応じたキーフレーム画像データの取得動作を例示したフローチャートである。 注目位置に対応する仮想分割領域の重要度と画像データが取得されるキーフレームの関係を例示した図である。 重要度に応じたキーフレーム画像データの取得動作を例示した図である。 動画像データが示す画像の一部のみを表示する場合を説明するための図である。 ＧＵＩ画像を例示した図である。 画像関連情報に対して再生動作履歴を重畳して表示した場合を例示した図である。
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
１．画像処理システムについて
２．情報生成装置の構成と動作
３．情報生成装置の他の構成と動作
４．再生装置の構成と動作
５．再生装置の他の動作
＜１．画像処理システムについて＞
図１は、画像処理システムの構成を示している。画像処理システム１０の情報生成装置２０は、動画像データに関連付ける画像関連情報を生成する。画像関連情報は、領域重要度情報を有している。領域重要度情報は、再生される画像を仮想的に分割した仮想分割領域毎の位置と重要度を示している。また、画像関連情報は、仮想分割領域に含まれる被写体を示す領域被写体情報を有してもよい。なお、関連付けるとは、動画像データの再生時に画像関連情報を利用可能であればよく、動画像データのファイルに画像関連情報を含めること、動画像データのファイルと画像関連情報のファイルを同一記録媒体に記録すること、または動画像データの例えば付属情報で示された画像関連情報の提供元から通信路を介して画像関連情報を取得可能であること等を示している。
再生装置３０は、動画像データに関連付けられている画像関連情報に基づき再生動作を制御して、例えば、通常速度と異なる速度で再生を行う特殊再生動作時に、再生画像に対するユーザの注目位置に対応する仮想分割領域の重要度に応じて再生速度を制御することで、最適な再生動作を容易に行えるようにする。
以下、情報生成装置２０の構成と動作について説明を行い、動画像データに関連付けられる画像関連情報がどのような情報であるかを明らかにして、その後、画像関連情報を用いて動画像データの再生を行う再生装置３０の構成と動作について説明する。
＜２．情報生成装置の構成と動作＞
図２は、情報生成装置の構成を例示している。情報生成装置２０は、分割領域設定部２１、分割領域情報記憶部２２、重要度設定制御部２３、画像関連情報生成部２５を有している。
分割領域設定部２１は、動画像データの画像毎に仮想分割領域を設定して、仮想分割領域の設定状態を示す分割領域情報を生成して分割領域情報記憶部２２に記憶させる。分割領域設定部２１は、分割領域情報として、例えば画像関連情報提供者の分割指示操作に応じて画像を仮想的に分割して、分割結果に基づき分割領域構成情報と分割領域定義情報を生成する。分割領域構成情報は、動画像データの画像毎に設定された仮想分割領域の定義を示す情報である。また、分割領域定義情報は、分割領域構成情報で示された定義がどのような仮想分割状況であるかを示す情報である。
分割領域設定部２１は、分割領域構成情報として、例えば動画像データの画像毎に付与されているタイムコードを用いて、時間毎に分割領域定義ＩＤを示した情報を生成する。図３は、分割領域構成情報を例示している。分割領域構成情報は、タイムコードが「００：００：００：００〜００：０９：５９：５９」の期間である場合、分割領域定義ＩＤとして「分割領域定義１」を用いることを示している。また、タイムコードが「００：１０：００：００〜ＥＮＤ」の期間である場合、分割領域定義ＩＤとして「分割領域定義２」を用いることを示している。
分割領域設定部２１は、分割領域構成情報として、例えば分割領域ＩＤと分割領域ＩＤで示された仮想分割領域の画像上の位置を示す領域座標を示した情報を生成する。図４は、分割領域定義１に対応する分割領域定義情報を例示しており、図５は、分割領域定義１に対応する仮想分割状況を例示している。分割領域定義１は、４つの仮想分割領域が設けられて、４つの仮想分割領域に対して分割領域ＩＤとして「Ａ〜Ｄ」が設定されていることを示している。また、分割領域ＩＤが例えば「Ａ」である仮想分割領域は、領域座標「（０，０）（０，２１６０）（９６０，２１６０）（９６０，０）」で囲まれる領域であることが示されている。同様に、分割領域定義情報は、分割領域ＩＤが「Ｂ〜Ｄ」である仮想分割領域についても領域座標を示している。
図６は、分割領域定義２に対応する分割領域定義情報を例示しており、図７は、分割領域定義２に対応する仮想分割状況を例示している。分割領域定義２では、画面中央に仮想分割領域が設けられており、この仮想分割領域に対して分割領域ＩＤとして「Ａ」が設定されていることを示している。また、分割領域ＩＤが「Ａ」である仮想分割領域は、領域座標「（９６０，５００）（９６０，１６６０）（２８８０，１６６０）（２８８０，５００）」で囲まれる領域であることが示されている。なお、分割領域ＩＤが設定されていない領域は、後述するように「その他」に該当する仮想分割領域とされている。
分割領域情報記憶部２２は、分割領域設定部２１で生成された分割領域情報を記憶する。また、分割領域情報記憶部２２は、記憶している分割領域情報を重要度設定制御部２３と画像関連情報生成部２５へ出力する。
重要度設定制御部２３は、分割領域情報で示された仮想分割領域に対する重要度判定ルールと、重要度判定ルールを用いた判定結果に応じて割り当てられる重要度を示す重要度定義情報を生成する。重要度設定制御部２３は、仮想分割領域に対して割り当て可能な重要度を定義する。重要度設定制御部２３は、重要度として複数のレベル、例えば「１（低レベル）、２（中レベル）、３（高レベル）」などのレベルを定義する。また、重要度設定制御部２３は、定義されている重要度の何れのレベルを仮想分割領域に対して割り当てるか判定するための重要度判定ルールを設定する。重要度判定ルールは、仮想分割領域の動画像データを用いて行う画像処理であり、画像処理結果に応じて重要度の割り当てが後述する画像関連情報生成部２５で行われる。画像処理としては、例えば移動動体が仮想分割領域に含まれているか判別するためフレーム差分を算出する。また、画像処理として、予め設定した特定形状のテンプレート画像（例えばテンプレート顔画像）が仮想分割領域に含まれているか判別するテンプレートマッチングを行う。なお、重要度の定義や重要度判定ルールは予め設定されていてもよく、画像関連情報提供者が重要度の定義や重要度判定ルールを設定できるようにしてもよい。さらに、再生動作に応じて重要度の定義や判定ルール等を選択できるようにしてもよい。
また、重要度設定制御部２３は、複数の重要度判定ルールに基づいて重要度の割り当てを行う場合、各重要度判定ルールに対して例えばポイントを設定して、各重要度判定ルールのポイント合計値から重要度を割り当てることができるようにしてもよい。
図８は、重要度定義情報を例示している。重要度定義情報では、対象と重要度判定ルールと重要度が示されている。対象は分割領域情報で示されている画像毎の仮想分割領域であり、重要度判定ルールは仮想分割領域の画像を用いて行われる画像処理を示している。また、重要度は重要度判定ルールを満たした場合に仮想分割領域に割り当てられる重要度を示している。例えば、タイムコードが「００：００：００：００〜００：０９：５９：５９」の期間で、分割領域ＩＤが「Ａ〜Ｄ」の仮想分割領域に対しては、フレーム間差分が算出されて、差分量が閾値以上である仮想分割領域には重要度「２」を割り当てるようにする。また、タイムコードが「００：１０：００：００〜ＥＮＤ」の期間で、分割領域ＩＤが「Ａ」の仮想分割領域に対しては、顔検知により人物が検出されているか判別されて、人物が検出されている場合、仮想分割領域に重要度「３」を割り当てるようにする。なお、図示していないが、重要度判定ルールが満たされない場合は重要度「１」を割り当てるようにする。
図９は、他の重要度定義情報を例示している。重要度定義情報では、対象と複数の重要度判定ルールとポイントが示されている。対象は分割領域情報で示されている画像毎の仮想分割領域であり、重要度判定ルールは仮想分割領域の画像を用いて行われる画像処理を示している。また、ポイントは重要度判定ルールを満たした場合に獲得されるポイント数を示している。例えば、タイムコードが「００：００：００：００〜００：０９：５９：５９」の期間で、分割領域ＩＤが「Ａ〜Ｄ」の仮想分割領域に対して、フレーム間差分が算出されて、差分量が閾値以上である仮想分割領域ではポイント「２ｐｔ」を獲得させる。また、タイムコードが「００：００：００：００〜００：０９：５９：５９」の期間で、分割領域ＩＤが「Ａ〜Ｄ」の仮想分割領域に対して、顔検知により人物が検出されているか判別されて、人物が検出された仮想分割領域ではポイント「３ｐｔ」を獲得させる。
タイムコードが「００：１０：００：００〜ＥＮＤ」の期間で、分割領域ＩＤが「Ａ」の仮想分割領域に対して、顔検知により人物が検出されているか判別されて、人物が検出されている場合、仮想分割領域ではポイント「２ｐｔ」を獲得させる。また、タイムコードが「００：１０：００：００〜ＥＮＤ」の期間で、分割領域ＩＤが「Ａ」の仮想分割領域に対して、テンプレートマッチングによって車が検出されているか判別される。ここで、車が検出されている場合、仮想分割領域ではポイント「１ｐｔ」を獲得させる。なお、重要度判定ルールが満たされない場合はポイントを獲得できないようにする。
また、獲得したポイントに基づいて重要度の割り当てを行う場合、重要度定義情報には重要度換算情報を設ける。図１０は、重要度換算情報を例示している。重要度換算情報は、仮想分割領域毎のポイント合計値に応じて割り当てる重要度が示されている。例えばポイント合計値が「１ｐｔ以下」の仮想分割領域に対しては、重要度「１」の割り当てが行われるようにする。また、ポイント合計値が「２〜４ｐｔ」の仮想分割領域に対しては重要度「２」の割り当て、ポイント合計値が「５ｐｔ以上」の仮想分割領域に対しては重要度「３」の割り当てが行われるようにする。
このように、重要度設定制御部２３は、分割領域情報記憶部２２から取得した分割領域情報で示されている画像毎の仮想分割領域に対して重要度判定ルールと割り当て可能な重要度を示す重要度定義情報を生成して画像関連情報生成部２５へ出力する。
画像関連情報生成部２５は、分割領域情報記憶部２２に記憶されている分割領域情報と重要度設定制御部２３で生成された重要度定義情報に基づき、動画像データの画像毎に、仮想分割領域に対して重要度判定ルールで示された画像処理を行う。また、画像関連情報生成部２５は、重要度判定ルールで示された画像処理の処理結果に応じて重要度の割り当てを行い、分割領域情報で示された仮想分割領域毎の重要度を示す領域重要度情報を生成する。図１１は、領域重要度情報を例示している。例えば、タイムコードが「００：００：００：００〜００：０９：５９：５９」の期間で、分割領域ＩＤが「Ａ」「Ｄ」の仮想分割領域に対しては重要度「１」、分割領域ＩＤが「Ｂ」「Ｃ」の仮想分割領域に対しては重要度「２」が割り当てられている。また、タイムコードが「００：１０：００：００〜ＥＮＤ」の期間で、分割領域ＩＤが「Ａ」の仮想分割領域に対しては重要度「３」が割り当てられている。なお、「その他」の領域は、分割領域定義情報で定義されていない仮想分割領域であり重要度「１」が割り当てられている。
画像関連情報生成部２５は、分割領域情報と領域重要度情報を示す画像関連情報を動画像データに関連付けて出力する。また、画像関連情報生成部２５は、画像毎の仮想分割領域に対して被写体認識等を行い、仮想分割領域に含まれる被写体に関する情報を示す領域被写体情報を生成してもよい。また、画像関連情報生成部２５は、画像関連情報提供者が被写体に関する情報を入力できるようにしてもよい。画像関連情報生成部２５は、生成した領域被写体情報を画像関連情報に含めて出力する。
図１２は、情報生成装置の動作を例示したフローチャートである。ステップＳＴ１で情報生成装置は分割領域情報を生成する。情報生成装置２０の分割領域設定部２１は、画像毎の仮想分割領域の設定状態を示す分割領域情報を生成してステップＳＴ２に進む。
ステップＳＴ２で情報生成装置は重要度定義情報を生成する。情報生成装置２０の重要度設定制御部２３は、仮想分割領域に対する重要度判定ルールと判定結果に応じて割り当てられる重要度を示す重要度定義情報を生成してステップＳＴ３に進む。
ステップＳＴ３で情報生成装置は画像関連情報を生成する。情報生成装置２０の画像関連情報生成部２５は、ステップＳＴ２で生成された重要度定義情報で示されている重要度判定ルールに基づいて動画像データの画像処理を行い、処理結果に応じて重要度を仮想分割領域に割り当てる。さらに、画像関連情報生成部２５は、ステップＳＴ１で生成された分割領域情報と分割領域情報で示された仮想分割領域に割り当てた重要度を示す画像関連情報を生成して、動画像データに関連付けて出力する。
このように、情報生成装置は、画像毎の仮想分割領域の設定状況と仮想分割領域の重要度を示す画像関連情報を画像関連情報提供者の設定操作および動画像データに基づいて生成して、動画像データに関連付けて出力する。なお、画像関連情報に含まれる領域重要度情報は、分割領域構成情報と分割領域定義情報で構成された分割領域情報と重要度設定情報で構成される場合に限られない。例えば分割領域構成情報と分割領域定義情報と重要度設定情報で示される情報を１つにまとめて構成されていてもよい。
＜３．情報生成装置の他の構成と動作＞
次に、情報生成装置の他の構成と動作として、仮想分割領域の設定を自動的に行える情報生成装置について説明する。
図１３は、情報生成装置の他の構成を例示している。情報生成装置２０ａは、重要度分割領域設定制御部２４、画像関連情報生成部２５ａを有している。
重要度分割領域設定制御部２４は、重要度分割領域定義情報を設定する。重要度分割領域定義情報は、領域分割を行うための領域判定ルールと領域分割によって仮想的に分割された仮想分割領域に対して割り当てる重要度を示している。領域判定ルールは、画像処理例えばパターンマッチング等によって認識される特定領域を示す情報である。重要度は、例えば１（低）、２（中）、３（高）などのレベルを示している。なお、重量度分割領域定義情報は、予め情報生成装置に設定されてもよく、画像関連情報提供者が重量度分割領域定義の変更や追加を行えるようにしてもよい。
図１４は、重要度分割領域定義情報を例示している。重要度分割領域定義情報では、対象と領域判別ルールと重要度が示されている。対象は画像の時間を示しており、領域判定ルールは動画像データに基づく画像を用いて行われる画像処理を示している。また、重要度は領域判定ルールを満たした仮想分割領域に割り当てられる重要度を示している。例えば、タイムコードが「００：００：００：００〜００：０９：５９：５９」の期間に対しては、特定領域の認識処理として、パターンＡに適合する領域の検出とパターンＢに適合する領域の検出が行われる。ここで、パターンＡに適合する領域は仮想分割領域「Ａ」として重要度「２」、パターンＢに適合する領域は仮想分割領域「Ｂ」として重要度「１」の割り当てが行われるようにする。また、タイムコードが「００：１０：００：００〜ＥＮＤ」の期間に対しては、特定領域の認識処理としてパターンＣに適合する領域の検出が行われて、パターンＣに適合する領域は仮想分割領域「Ｃ」として重要度「３」の割り当てが行われるようにする。なお、図示していないが、重要度分割領域判別ルールが満たされない領域については重要度「１」の割り当てを行うようにする。
画像関連情報生成部２５ａは、重要度分割領域設定制御部２４で生成された重要度分割領域定義情報に基づき、動画像データの画像毎に領域判定ルールで示された特定領域の認識処理を行う。また、画像関連情報生成部２５ａは、特定領域の認識処理結果に応じて領域分割を行い、仮想分割領域に対して重要度を割り当てる。さらに、画像関連情報生成部２５ａは、特定領域の認識処理結果に応じた領域分割に基づき分割領域情報と分割領域情報で示された仮想分割領域の重要度を示す領域重要度情報を生成して画像関連情報として動画像データに関連付けて出力する。また、画像関連情報生成部２５ａは、画像毎の仮想分割領域に対して被写体認識等を行い、仮想分割領域に含まれる被写体に関する情報を示す領域被写体情報を生成してもよい。また、画像関連情報生成部２５ａは、画像関連情報提供者が被写体に関する情報を入力できるようにしてもよい。画像関連情報生成部２５ａは、生成した領域被写体情報を画像関連情報に含めて出力する。
図１５は、情報生成装置の他の動作を例示したフローチャートである。また、図１６は、情報生成装置の他の動作を説明するための図である。
ステップＳＴ１１で情報生成装置は重要度分割領域定義情報を設定する。情報生成装置２０の重要度分割領域設定制御部２４は、領域分割を行うための領域判定ルールと領域分割によって仮想的に分割された仮想分割領域に対して割り当てる重要度を示す重要度分割領域定義情報を設定してステップＳＴ１２に進む。
図１６では、重要度分割領域定義情報によって、パターンＡに適合する仮想分割領域は重要度「２」、パターンＢに適合する仮想分割領域は重要度「１」、パターンＣに適合する仮想分割領域は重要度「３」を割り当てることが示されている。
ステップＳＴ１２で情報生成装置は画像関連情報を生成する。情報生成装置２０の画像関連情報生成部２５ａは、ステップＳＴ１１で生成された重要度分割領域定義情報で示されている領域判定ルールに基づいて動画像データの画像処理を行う。また、画像関連情報生成部２５ａは、画像処理結果に基づき領域分割と領域分割によって仮想的に分割された仮想分割領域に対して重要度の割り当てを行う。さらに、画像関連情報生成部２５ａは、画像処理の処理結果に応じた領域分割に基づき分割領域情報と分割領域情報で示された仮想分割領域の重要度を示す領域重要度情報を生成して画像関連情報として動画像データに関連付けて出力する。
図１６において、タイムコード「ＨＨ’：ＭＭ’：ＳＳ’：ＦＦ’」の入力画像における座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）で囲まれた領域ＧＰＡが、パターンＡに適合する領域である場合、領域ＧＰＡを例えば分割領域ＩＤ「Ａ」の仮想分割領域として、パターンＡに適合する領域であることから重要度「２」を割り当てる。したがって、画像関連情報生成部２５ａで生成される画像関連情報では、タイムコード「ＨＨ’：ＭＭ’：ＳＳ’：ＦＦ’」において、分割領域ＩＤ「Ａ」の領域が座標（ｘ１，ｙ１），（ｘ２，ｙ２），（ｘ３，ｙ３）で囲まれた領域であり、重要度「２」であることが示される。
このような処理を情報生成装置で行うことで、重要度分割領域定義情報に基づき、領域分割と仮想分割領域に対する重要度の割り当てを自動的に行うことができるようになる。
なお、情報生成装置２０（２０ａ）は、動画像データが例えば複数の撮像装置で撮像された画像をつなげて生成された広画角の合成画像である場合、各撮像装置の撮像範囲を仮想分割領域としてもよい。この場合、各撮像装置の撮影範囲と合成画像における画像領域を対応付けることができるため、各撮像画像を合成する前に、各仮想分割領域に対して重要度の割り当てを行い、合成処理に応じて分割領域情報を生成することも可能である。
＜４．再生装置の構成と動作＞
次に、動画像データを再生する再生装置の構成と動作について説明する。図１に示す再生装置３０は、動画像データを用いて通常速度と異なる速度で再生する特殊再生を行う場合、動画像データに関連付けられている画像関連情報に基づき再生動作を制御する。なお、以下の説明では、動画像データが符号化データである場合を例示している。
図１７は、再生装置の構成を例示している。再生装置３０は、情報取得部３１、情報記憶部３２、ユーザインタフェース部３３、注目位置検出部３４、再生位置管理部３５、動作設定情報記憶部３６、再生制御部３７、デコード処理部３８、情報表示処理部３９、表示部４０を有している。なお、表示部４０は、再生装置と別個に構成されてもよい。
情報取得部３１は、動画像データおよび動画像データに関連付けられている画像関連情報を取得する。情報取得部３１は、再生制御部３７からの指示に基づき通信路を介して外部機器から動画像データと画像関連情報を取得する。また、情報取得部３１は、再生制御部３７からの指示に基づき記録媒体から動画像データと画像関連情報を取得してもよい。情報取得部３１は、取得した動画像データおよび画像関連情報を情報記憶部３２に記憶させる。
情報記憶部３２は、情報取得部３１で取得された動画像データおよび画像関連情報を記憶する。情報記憶部３２に記憶されている動画像データと画像関連情報は、再生制御部３７によって読み出される。
ユーザインタフェース部３３は、再生装置を用いるユーザの操作を受け付けてユーザ操作に応じた操作信号を再生制御部３７へ出力する。
注目位置検出部３４は、加速度センサやジャイロセンサなどのヘッドトラッキングセンサが設けられており、ユーザの頭部の動きを検出して、再生画像に対する頭部の向きの
位置をユーザの注目位置と判別する。また、注目位置検出部３４は、眼球を撮像する撮像部を設けて、撮像部で取得された画像から検出した眼（瞳孔）の動きに基づきユーザの視線方向を検出して、再生画像に対する視線方向の位置をユーザの注目位置と判別してもよい。注目位置検出部３４は、判別した注目位置を示す注目位置検出結果を再生制御部３７へ出力する。
再生位置管理部３５は、デコード処理部３８でデコード処理する動画像データのフレーム番号またはタイムコードを再生位置情報として記憶する。また、符号化データが双方向予測符号化画像を含む場合、フレーム画像のデコード順序と表示順序が異なる。このため、再生位置管理部３５は、表示順の画像を用いて後述するように注目位置を検出して、検出した注目位置に対応する仮想分割領域の重要度に応じてキーフレームの画像データを取得できるように、再生位置情報に表示タイムコードを加えてもよい。再生位置管理部３５に記憶している再生位置情報は、再生制御部３７によって読み出される。
動作設定情報記憶部３６は、特殊再生動作時において、画像関連情報で示された重要度に応じた動作を行うための情報を含む動作設定情報を記憶する。動作設定情報は、予め動作設定情報記憶部３６に記憶されていてもよく、ユーザがユーザインタフェース部３３を操作して動作設定情報の入力や変更等を行えるようにしてもよい。動作設定情報記憶部３６に記憶されている動作設定情報は、再生制御部３７によって読み出される。
図１８は、動作設定情報を例示している。例えば特殊再生動作が早送りである場合、動作設定情報では、重要度に応じたキーフレーム再生間隔が設定されている。なお、キーフレームは、動画像データが符号化データである場合、異なる時間のフレーム画像を用いることなくデコード処理が可能なようにイントラ画像のフレームとされている。また、動作設定情報は、図示していないが、再生候補であるキーフレームを特定するためのタイムコード情報やフレーム番号に関する情報等を用いてもよい。
キーフレーム再生間隔は、例えば重要度が「１」の場合、キーフレームについてフレーム間隔「ＴＨＬ」で再生するように設定されている。また、重要度が「２」の場合のフレーム間隔「ＴＨＭ（＜ＴＨＬ）」、重要度が「３」の場合のフレーム間隔「ＴＨＳ（＜ＴＨＭ）」で再生するように設定されている。
再生制御部３７は、ユーザインタフェース部３３からの操作信号に基づき、再生装置でユーザ操作に応じた動作が行われるように各部を制御する。また、再生制御部３７は、画像関連情報に基づき注目位置検出部３４で検出した注目位置に対応する仮想分割領域の重要度を判別して、判別した重要度に応じて動画像データの再生動作を制御する。再生制御部３７は、例えば特殊再生動作を行う場合、画像関連情報と注目位置検出結果および動作設定情報等に基づき、ユーザの注目位置に対応した仮想分割領域の重要度に応じて情報記憶部３２からの動画像データの読み出しを制御する。再生制御部３７は、読み出した動画像データをデコード処理部３８へ出力する。また、再生制御部３７は、再生動作の制御としてデコード処理部の動作を制御してもよい。
デコード処理部３８は、再生制御部３７で読み出された動画像データのデコード処理を行う。また、デコード処理部３８は、動画像データのデコード処理を行うことにより得られた画像データを情報表示処理部３９へ出力する。さらに、デコード処理部３８は、再生制御部３７からの指示に応じてデコード処理を切り替えてもよい。
情報表示処理部３９は、メニュー画像やＧＵＩ（Graphical User Interface）画像、広告画像、動画像データに関連した補足情報等の表示データを生成して、デコード処理部３８から供給された画像データと共に表示部４０へ出力する。情報表示処理部３９は、動画像データをデコードして得られた再生画像に対してメニューやＧＵＩ等の画像を重畳して出力データを生成して表示部４０へ出力してもよい。また、情報表示処理部３９は、再生画像とは異なる領域にメニューやＧＵＩ等の画像を表示する出力データを生成して表示部４０へ出力してもよい。また、情報表示処理部３９は、重要度の低い仮想分割領域に情報表示領域を設けて、情報表示領域で種々の情報を表示した出力データを生成して表示部４０へ出力してもよい。表示部４０は、情報表示処理部３９からの出力データに基づき動画像データの再生画像や動画像データに関連した補足情報、メニューやＧＵＩ等の画像を表示する。
図１９は再生装置の動作を例示したフローチャートである。再生装置３０では、動画像データが情報記憶部３２に記憶されている。また、再生装置３０では、特殊再生動作時において画像関連情報で示された重要度に応じた動作を行うための情報を含む動作設定情報が動作設定情報記憶部３６に記憶されている。
ステップＳＴ２１で再生装置は動作設定情報を取得する。再生装置３０の再生制御部３７は、動作設定情報記憶部３６から動作設定情報を取得して再生動作の設定を行いステップＳＴ２２に進む。
ステップＳＴ２２で再生装置は再生する動画像データを決定する。再生装置３０の再生制御部３７は、再生可能な動画像データのリストを例えば表示部４０に表示させる。また、再生制御部３７は、ユーザインタフェース部３３からの操作信号に基づき、表示部４０に表示されているリストからユーザが指定した動画像データを判別して、判別した動画像データを再生する動画像データに設定する。さらに、再生制御部３７は、キーフレーム経過数ＫＦＳを「ＫＦＳ＝１」に設定してステップＳＴ２３に進む。
なお、再生可能な動画像データは、情報記憶部３２に記憶されている動画像データに限られない。例えば通信路を介して動画像データを提供する提供先の情報（例えばＵＲＬ（Uniform Resource Locator）等）が明らかである場合は、提供先から取得可能な動画像データを含めてもよい。また、再生する動画像データとして、提供先から取得可能な動画像データが選択された場合、再生制御部３７は、情報取得部３１を制御して提供先から再生する動画像データを取得して情報記憶部３２に記憶させる。
ステップＳＴ２３で再生装置は画像関連情報を取得する。再生装置３０の再生制御部３７は、再生する動画像データに関連付けられた画像関連情報が情報記憶部３２に記憶されていない場合、情報取得部３１を制御して動画像データに関連付けられた画像関連情報を取得する。情報取得部３１は取得した画像関連情報を情報記憶部３２に記憶させてステップＳＴ２４に進む。
ステップＳＴ２４で再生装置は早送り操作が行われたか判別する。再生装置３０の再生制御部３７は、ユーザインタフェース部３３からの操作信号に基づき、早送り操作が行われていないと判別した場合にステップＳＴ２５へ進み、早送り操作が行われたと判別した場合にステップＳＴ２６へ進む。
ステップＳＴ２５で再生装置は動画像データを取得する。再生装置３０の再生制御部３７は、再生位置管理部３５に記憶されている再生位置情報で示されたフレームに対して次のフレームの画像を表示できるように動画像データを取得する。さらに、再生制御部３７は、取得した動画像データをデコード処理部３８へ出力してステップＳＴ３０に進む。
ステップＳＴ２６で再生装置は注目位置検出結果を取得する。再生装置３０の再生制御部３７は、注目位置検出部３４から注目位置検出結果を取得してステップＳＴ２７に進む。なお、注目位置の検出は、早送り操作が行われた場合に行ってもよく、早送り操作に係らず常に行ってもよい。例えば、後述するように、全天球を撮像して得られた画像から一部の領域の画像をヘッドマウントディスプレイ等の表示部に表示して、頭部の向きに応じて表示する画像の領域を移動させることが行われている。この場合、早送りの有無にかかわらず注目位置を検出して、注目位置の方向の画像が表示される。したがって、再生装置は、注目位置の検出を常に行っている場合、早送り操作が行われたときの注目位置検出結果を取得する。
ステップＳＴ２７で再生装置は重要度を取得する。再生装置３０の再生制御部３７は、画像関連情報に基づき注目位置の検出を行った画像の領域重要度情報から注目位置検出結果が示す注目位置に対応する仮想分割領域の重要度を取得してステップＳＴ２８に進む。
ステップＳＴ２８で再生装置は重要度に応じたキーフレーム画像データの取得制御を行う。再生装置３０の再生制御部３７は、図２０に示すフローチャートの動作を行い、重要度に応じたキーフレーム画像データを取得する。
ステップＳＴ２８１で再生制御部は取得した重要度が「３」であるか判別する。再生制御部３７は、取得した重要度が「３」であると判別した場合にステップＳＴ２８２へ進み、重要度が「３」でないと判別した場合にステップＳＴ２８３へ進む。
ステップＳＴ２８２で再生制御部はキーフレーム経過数ＫＦＳがフレーム間隔「ＴＨＳ」以上であるか判別する。再生制御部３７は、キーフレーム経過数ＫＦＳがフレーム間隔「ＴＨＳ」以上であると判別した場合にステップＳＴ２８６へ進み、フレーム間隔「ＴＨＳ」未満であると判別した場合にステップＳＴ２８８へ進む。
ステップＳＴ２８１からステップＳＴ２８３に進むと、再生制御部は取得した重要度が「２」であるか判別する。再生制御部３７は、取得した重要度が「２」であると判別した場合にステップＳＴ２８４へ進み、重要度が「２」でないと判別した場合にステップＳＴ２８５へ進む。
ステップＳＴ２８４で再生制御部はキーフレーム経過数ＫＦＳがキーフレーム再生間隔「ＴＨＭ」以上であるか判別する。再生制御部３７は、キーフレーム経過数ＫＦＳがフレーム間隔「ＴＨＭ」以上であると判別した場合にステップＳＴ２８６へ進み、フレーム間隔「ＴＨＭ」未満であると判別した場合にステップＳＴ２８８へ進む。
ステップＳＴ２８３からステップＳＴ２８５に進むと、再生制御部はキーフレーム経過数ＫＦＳがフレーム間隔「ＴＨＬ」であるか判別する。再生制御部３７は、キーフレーム経過数ＫＦＳがフレーム間隔「ＴＨＬ」と等しいと判別した場合にステップＳＴ２８６へ進み、フレーム間隔「ＴＨＬ」と異なると判別した場合にステップＳＴ２８８へ進む。
ステップＳＴ２８６で再生制御部は次のキーフレーム画像データを取得する。再生制御部３７は、重要度に応じたキーフレーム再生間隔である次のキーフレーム画像データを情報記憶部３２から取得してステップＳＴ２８７に進む。
ステップＳＴ２８７で再生制御部はキーフレーム経過数ＫＦＳを「ＫＦＳ＝１」として図１９のステップＳＴ２８９に進む。
ステップＳＴ２８８で再生制御部はキーフレーム経過数ＫＦＳを「ＫＦＳ＝ＫＦＳ＋１」に更新してステップＳＴ２８９に進む。
ステップＳＴ２８９で再生制御部は再生位置情報を更新する。再生制御部３７は、ステップＳＴ２８の処理を行う毎に、データ読出の候補とされるキーフレームの位置が時間方向に更新されることから、更新されたキーフレームの位置に応じた再生位置情報を再生位置管理部３５に記憶させて図１９のステップＳＴ２９に進む。
図２１は、注目位置に対応する仮想分割領域の重要度と画像データが取得されるキーフレームの関係を例示している。なお、図２１では「ＴＨＬ＝３、ＴＨＭ＝２、ＴＨＳ＝１」の場合である。重要度が「３」である場合、キーフレーム経過数ＫＦＳが「ＫＳＦ＝１」であるときキーフレーム画像データが取得される。すなわち、再生装置では、キーフレームＫＦ１〜ＫＦ１０のデータが順に取得される。また、重要度が「２」である場合、キーフレーム経過数ＫＦＳが「ＫＳＦ＝２」であるときキーフレーム画像データが取得される。すなわち、再生装置では、キーフレーム画像データを１キーフレームおきに取得する処理が行われて、例えばキーフレームＫＦ１，ＫＦ３，ＫＦ５，ＫＦ７，ＫＦ９のデータが順に取得される。さらに、重要度が「１」である場合、キーフレーム経過数ＫＦＳが「ＫＳＦ＝３」であるときキーフレーム画像データが取得される。すなわち、再生装置では、キーフレーム画像データを２キーフレームおきに取得する処理が行われて、例えばキーフレームＫＦ１，ＫＦ４，ＫＦ７，ＫＦ１０のデータが順に取得される。
図２２は、重要度に応じたキーフレーム画像データの取得動作を例示している。図２２の（ａ）は、領域「Ａ」「Ｂ」「Ｃ」におけるフレーム毎の重要度を時間順に示している。また、図２２の（ａ）は、キーフレーム経過数ＫＦＳとデコード済みのフレーム番号を示している。図２２の（ｂ）は、キーフレームテーブルでありキーフレームのフレーム番号を示している。なお、キーフレームテーブルは、図２２の（ｃ）のようにキーフレームのタイムコードを示してもよい。
再生装置では、例えばフレーム番号「１５」の再生時に早送り操作が行われたとする。この場合、再生装置は、注目位置が領域「Ａ」であると、領域「Ａ」の重要度は「１」であることから、キーフレームテーブルに基づきフレーム番号「３０」，「６０」であるキーフレームを間引いて、フレーム番号「９０」のキーフレーム画像データを取得する。
また、再生装置は、注目位置が「Ｂ」の領域であると、「Ｂ」の領域の重要度は「２」であることから、フレーム番号「３０」であるキーフレームを間引いてフレーム番号「６０」のキーフレーム画像データを取得する。さらに、再生装置は、フレーム番号「３０」で注目位置が「Ｃ」の領域である場合、「Ｃ」の領域の重要度が「３」であることから、時間経過方向に一番近いキーフレームであるフレーム番号「３０」のキーフレーム画像データを取得する。
さらに、再生装置は、キーフレームの位置の更新に応じて再生位置情報を更新して、キーフレーム経過数ＫＦＳが例えば「ＫＦＳ＝２」であるときはフレーム番号「３０」、ＫＦＳ＝３」であるときはフレーム番号「６０」を再生位置情報として記憶する。このように再生位置情報を更新することで、次のキーフレーム画像データが取得される前に早送り操作が終了しても再生位置を進めることができる。例えばフレーム番号「９０」のキーフレーム画像データが取得される前に早送り操作が終了したとき、フレーム番号「１５」よりも時間が進んでいるフレーム番号「３０」またはフレーム番号「６０」の次のフレームから通常速度で再生動作を開始することができる。
ステップＳＴ２９で再生装置はキーフレーム画像データを取得したか判別する。再生装置３０の再生制御部３７は、ステップＳＴ２８でキーフレーム画像データを取得した場合に取得したデータをデコード処理部３８へ出力する。さらに、再生制御部３７は、デコード処理部３８で処理するデータの再生位置情報を再生位置管理部３５に記憶させてステップＳＴ３０に進む。例えば図２２の（ａ）に示すように、フレーム番号「１５」の再生時に早送り操作が行われたときの注目位置が「Ａ」の領域である場合、取得したデータのフレーム番号「９０」を再生位置情報として再生位置管理部３５に記憶させる。また、再生制御部３７は、キーフレーム画像データを取得していない場合にステップＳＴ２４に戻る。
ステップＳＴ３０で再生装置はデコード処理を行う。再生装置３０のデコード処理部３８は、ステップＳＴ２５で取得された動画像データまたはステップＳＴ２８で取得されたキーフレーム画像データのデコード処理を行い、再生画像の１フレームの画像データを出力してステップＳＴ３１に進む。
ステップＳＴ３１で再生装置は再生終了であるか判別する。再生装置３０の再生制御部３７は、ユーザインタフェース部３３で再生終了操作が行われたか、または動画像データの再生が最後まで行われたか判別する。再生制御部３７は、再生終了操作および動画像データの再生が最後まで行われていないと判別した場合にステップＳＴ２４に戻り、再生終了操作が行われたと判別した場合、または動画像データの再生が最後まで行われたと判別した場合に再生動作を終了する。
このような処理を行えば、例えば早送り操作が行われた場合、ユーザが注目している仮想分割領域の重要度に応じて早送り速度を変更することができる。このため、動画像データが示す画像の一部のみを表示する場合、例えば図２３に示すように、全天球を撮像して得られた画像ＧＰに対してヘッドマウントディスプレイ等の表示部における表示サイズが小さく、頭部の向きに応じて表示領域ＤＳを移動させる場合、リモートコントロール装置等で早送り速度の切り替え操作を行わなくとも、重要度の低い仮想分割領域に頭部の向きを移動させることで、頭部の向きに対応した表示領域の画像を早い速度で再生できる。また、重要度の高い領域に頭部の向きを移動させることで、頭部の向きに対応した表示領域の画像を重要度の低い領域に頭部を向けた場合よりも遅い速度で再生できる。
また、視線方向を検出する場合、重要度の低い領域に視線を移動させることで早送り速度を高くして、重要度の高い領域に視線を移動させることで、視線が重要度の低い領域である場合に比べて早送り速度を遅くすることができる。
なお、動画像データの画像の表示は、一部のみを表示部に表示する場合に限らず、画像全体を表示部に表示する場合であってもよい。また、各重要度のフレーム間隔は、予め設定されていてもよく、ユーザが設定や変更できるようにしてもよい。また、再生候補であるキーフレームの間隔を変更可能とすれば、各重要度に応じた再生速度をまとめて変更することができる。さらに、キーフレームの再生を逆時間方向とすれば、巻き戻し動作の速度を注目位置の重要度に応じて変更することができる。
このように、再生装置では、動画像データに関連付けられた画像関連情報に基づき、注目位置に対応する仮想分割領域の重要度に応じて再生動作が制御されるので、頭部の向きや視線方向を移動させることで最適な再生動作を容易に行うことができるようになる。
＜５．再生装置の他の動作＞
次に、再生装置の他の動作について説明する。再生装置は、注目位置に対応する仮想分割領域の重要度に応じてデコード処理を制御してもよい。例えば重要度の高い領域についてはデコード処理を行い、重要度が低い場合には部分的なデコード処理を行い、重要度が低い場合はデコード処理を行わないようにしてもよい。再生装置は、重要度に応じてデコード処理を制御することで、効率よくデコード処理を行うことができる。
部分的なデコード処理では、一部の領域についてデコード処理を行うようにしてもよく、デコード処理の簡略化によって低解像度の再生画像を生成するようにしてもよい。例えばＪＰＥＧ２０００等の符号化方式では、画像をタイル分割してタイル毎の符号化処理が行われている。また、タイル毎の符号化処理ではウェーブレット変換によってサブバンド分割が行われている。したがって、再生装置は、例えば注目位置を基準としてタイルの選択を行い、選択したタイルについてデコード処理を行う。また、一部のサブバンドを選択して用いることでデコード処理を簡略化する。このような部分的なデコード処理を行うことで、再生装置では、デコード処理に要する負荷を軽減できる。
また、再生装置で用いる画像関連情報は、画像毎に仮想分割領域に対して割り当てられた重要度が示されている。したがって、再生制御部は、重要度の低い仮想分割領域に情報表示領域を設けて種々の情報、例えば動画像データに関する補足情報や、メニュー，ＧＵＩ，広告等の画像を動画像データの画像に重ねて表示すれば、重要度の高い画像が隠れてしまうことを防止できる。また、重要度の高い仮想分割領域に情報表示領域を設けるようにすれば、情報表示領域で表示される情報に対する注目度を高くすることが可能となり、例えば効果的に広告等を行うことができるようになる。
また、画像関連情報に領域被写体情報が含まれている場合、再生制御部は、時間と仮想分割領域および仮想分割領域に含まれる領域被写体情報をテーブル化した図２４のようなＧＵＩ画像を表示してもよい。また、再生制御部は、表示された時間と仮想分割領域に対するユーザ選択結果に応じて動画像データの再生動作を制御してもよい。例えば、再生制御部は、ユーザが選択した時間および仮想分割領域の画像を所定位置（例えば正面位置）として動画像データを再生する。このような再生動作を行うようにすれば、ユーザが所望する時間からユーザが所望する被写体を所定位置として再生動作を行えるようになる。また、ユーザの注目位置と選択した仮想分割領域の位置が異なる場合、注目位置に対する選択した仮想分割領域の位置の提示を行ようにしてもよい。例えば、再生制御部は、選択した仮想分割領域が位置する方向を示す矢印等のナビゲート表示を設けるようにする。このようなナビゲート表示を設けることで、ユーザはナビゲート表示に基づき注目位置を移動させることで、選択した仮想分割領域の画像を見ることができる。
また、画像関連情報に領域被写体情報が含まれている場合、再生制御部は、注目位置検出部で検出した注目位置に対応する仮想分割領域を判別して、判別した仮想分割領域に含まれる被写体を示す前記領域被写体情報を表示してもよい。例えば、図２４に示すように領域被写体情報が含まれている場合、タイムコード「００：３０：００：００」の画像再生時におけるユーザの注目位置が分割領域ＩＤ「Ｂ」の仮想分割領域である場合、「役者Ｃ」に関する情報を表示する。なお、領域被写体情報は、動画像データに基づく再生画像に重畳させて表示してもよく、再生画像とは異なる表示領域に表示してもよい。
また、再生制御部は、領域被写体情報に基づき所望の被写体が含まれる仮想分割領域を判別して、判別結果に基づき動画像データの再生動作を制御してもよい。例えば再生制御部は、ユーザが選択した被写体を含む仮想分割領域を選択して、選択した仮想分割領域に割り当てられた重要度に応じて特殊再生動作の再生速度を設定する。この場合、再生装置は、ユーザが選択した被写体を含む仮想分割領域の表示画像を所定位置として動画像データを再生してもよい。また、再生装置は、ユーザの注目位置と選択した仮想分割領域の位置が異なる場合、上述のように注目位置に対する選択した仮想分割領域の位置の提示を行ようにしてもよい。このような再生動作を行うようにすれば、ユーザが選択した被写体を特殊再生時に表示できるようになる。また、ユーザが選択した被写体を含む仮想分割領域の重要度に応じて特殊再生動作時の再生速度を制御できる。
さらに、再生装置は、再生動作時におけるユーザの注目位置に対応する仮想分割領域の時間推移と動作の履歴を再生動作履歴として記憶して、画像関連情報と共に再生動作履歴を表示する。このように、画像関連情報と共に再生動作履歴を表示すれば、例えばユーザがどのような被写体に注目して再生を行ったか容易に判別できる。図２５は、画像関連情報に対して再生動作履歴を重畳して表示した場合を例示している。ユーザは、分割領域ＩＤが「Ｃ」である仮想分割領域を注目位置として再生動作を時間ｔ１から時間ｔ４まで行っている。その後、ユーザは、分割領域ＩＤが「Ｅ」である仮想分割領域を注目位置として早送り動作を行い、時間ｔ６で分割領域ＩＤが「Ａ」である仮想分割領域を注目位置として通常速度の再生動作を行っている。さらに、ユーザは、時間ｔ１０で分割領域ＩＤが「Ｃ」である仮想分割領域を注目位置として再生動作を終了している。なお、時間ｔ７では一時停止操作が行われている。このように、画像関連情報と共に再生動作履歴を表示すれば、図２５の場合では、ユーザが「役者Ｂ」の画像が表示されるように再生動作を行っていることが明らかとなる。
また、再生装置は、再生動作履歴を再利用可能に記憶することで、過去の再生動作を再現できる。また、再生動作履歴を利用して過去の再生動作を再現する場合、注目位置に対応する仮想分割領域の画像が所定位置に表示させるように制御すれば、所望の被写体が所定位置となるように再生動作における表示位置を制御できる。例えば図２５に示す再生動作履歴を用いた場合、「役者Ｂ」を含む仮想分割領域の画像が正面位置となるように再生動作を行うことができる。
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
例えば、プログラムは記録媒体としてのハードディスクやＳＳＤ（Solid State Drive）、ＲＯＭ（Read Only Memory）に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ（Compact Disc Read Only Memory），ＭＯ（Magneto optical）ディスク，ＤＶＤ（Digital Versatile Disc）、ＢＤ（Blu-Ray Disc（登録商標））、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからＬＡＮ（Local Area Network）やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
また、本技術の再生装置は以下のような構成も取ることができる。
（１） 動画像データの再生画像に対するユーザの注目位置を検出する注目位置検出部と、
前記再生画像を仮想的に分割した仮想分割領域の位置と重要度を示す前記動画像データに関連付けられた画像関連情報に基づき、前記注目位置検出部で検出した注目位置に対応する前記仮想分割領域の重要度を判別して、判別した重要度に応じて前記動画像データの再生動作を制御する再生制御部と
を備える再生装置。
（２） 前記画像関連情報は、前記再生画像の時間情報を用いて時間毎に前記仮想分割領域の位置と重要度を示しており、
前記再生制御部は、前記時間情報を用いて次の再生画像を前記判別した重要度に応じて設定する（１）に記載の再生装置。
（３） 前記再生制御部は、前記重要度が低くなるに伴い前記再生動作において間引きする画像が多くなるように前記次の再生画像を設定する（２）に記載の再生装置。
（４） 前記動画像データは符号化データであり、
前記再生制御部は、前記重要度に応じて前記動画像データのデコード処理を制御する（１）に記載の再生装置。
（５） 前記再生制御部は、前記重要度が低い仮想分割領域に対応する画像表示領域に情報表示領域を設ける（１）乃至（４）のいずれかに記載の再生装置。
（６） 前記画像関連情報は、前記再生画像の時間情報を用いて時間毎に前記仮想分割領域の位置と重要度と前記仮想分割領域に含まれる被写体に関する領域被写体情報を示しており、
前記再生制御部は、前記画像関連情報に基づき時間と被写体と仮想分割領域を関連付けて表示部に表示して、前記時間と仮想分割領域に対するユーザ選択結果に応じて前記動画像データの再生動作を制御する（１）乃至（５）のいずれかに記載の再生装置。
（７） 前記画像関連情報は前記仮想分割領域に含まれる被写体に関する領域被写体情報を含み、
前記再生制御部は、前記注目位置検出部で検出した注目位置に対応する前記仮想分割領域を判別して、判別した前記仮想分割領域に含まれる被写体を示す前記領域被写体情報を表示する（１）乃至（６）のいずれかに記載の再生装置。
（８） 前記画像関連情報は前記仮想分割領域に含まれる被写体に関する領域被写体情報を含み、
前記再生制御部は、前記領域被写体情報に基づき所望の被写体が含まれる前記仮想分割領域を判別して、判別結果に基づき前記動画像データの再生動作を制御する（１）乃至（６）のいずれかに記載の再生装置。
（９） 前記再生制御部は、前記所望の被写体が含まれる仮想分割領域と前記注目位置に対応する仮想分割領域が異なる場合、前記所望の被写体が含まれる仮想分割領域の位置を提示する（８）に記載の再生装置。
（１０） 前記再生制御部は、前記動画像データの再生動作履歴を前記画像関連情報と共に表示部に表示させる（１）乃至（９）のいずれかに記載の再生装置。
（１１） 前記再生制御部は、前記動画像データの再生動作履歴を再利用可能に記憶して、前記再生動作履歴に基づき前記動画像データを再生する場合、前記再生画像では前記注目位置に対応する仮想分割領域を所定位置とする（１）乃至（１０）のいずれかに記載の再生装置。
（１２） 前記注目位置検出部は、前記再生画像を見るユーザの頭部の向きまたは視線方向を検出するセンサを備えており、前記センサの検出結果に基づき判別した前記再生画像に対する前記頭部の向きまたは前記視線方向の位置を前記注目位置とする（１）乃至（１１）のいずれかに記載の再生装置。
また、本技術の情報生成装置は以下のような構成も取ることができる。
（１） 動画像データの画像を仮想的に分割した仮想分割領域毎に重要度を設定して、前記画像における前記仮想分割領域の位置と重要度を示す画像関連情報を、前記動画像データに関連付けて生成する画像関連情報生成部
を備える情報生成装置。
（２） 前記画像関連情報生成部は、前記画像に付加されている時間情報を用いて、時間毎に前記仮想分割領域の位置と重要度を示すように前記画像関連情報を生成する（１）に記載の情報生成装置。
（３） 前記画像関連情報生成部は、前記仮想分割領域に対して設定された画像処理の処理結果に基づいて重要度を設定する（２）に記載の情報生成装置。
（４） 前記画像関連情報生成部は、仮想分割領域に対して前記画像処理が複数設定されており、前記複数の画像処理の処理結果に基づいて重要度を設定する（３）に記載の情報生成装置。
（５） 前記画像関連情報生成部は、前記仮想分割領域に含まれる被写体に関する領域被写体情報を前記画像関連情報に含める（１）乃至（４）のいずれかに記載の情報生成装置。
（６） 前記画像関連情報生成部は、前記画像を用いて特定領域認識処理を行い、認識処理結果に基づいて前記画像を仮想的に分割する（１）乃至（５）のいずれかに記載の情報生成装置。
この技術の再生装置と再生方法および情報生成装置と情報生成方法によれば、動画像データの再生画像に対するユーザの注目位置が注目位置検出部で検出される。また、再生画像を仮想的に分割した仮想分割領域の位置と重要度を示す動画像データに関連付けられた画像関連情報に基づき、注目位置検出部で検出した注目位置に対応する仮想分割領域の重要度を判別して、判別した重要度に応じて動画像データの再生動作が再生制御部で制御される。このため、ユーザは、注目位置を移動するだけで再生動作を制御することが可能となり、最適な再生動作を容易に行うことができる。したがって、頭部に装着された表示部に再生画像を表示する再生装置や広画角の動画を再生する再生装置等に適している。
１０・・・画像処理システム
２０，２０ａ・・・情報生成装置
２１・・・分割領域設定部
２２・・・分割領域情報記憶部
２３・・・重要度設定制御部
２４・・・重要度分割領域設定制御部
２５，２５ａ・・・画像関連情報生成部
３０・・・再生装置
３１・・・情報取得部
３２・・・情報記憶部
３３・・・ユーザインタフェース部
３４・・・注目位置検出部
３５・・・再生位置管理部
３６・・・動作設定情報記憶部
３７・・・再生制御部
３８・・・デコード処理部
３９・・・情報表示処理部
４０・・・表示部

Claims (20)

  1. 動画像データの再生画像に対するユーザの注目位置を検出する注目位置検出部と、
    前記再生画像を仮想的に分割した仮想分割領域の位置と重要度を示す前記動画像データに関連付けられた画像関連情報に基づき、前記注目位置検出部で検出した注目位置に対応する前記仮想分割領域の重要度を判別して、判別した重要度に応じて前記動画像データの再生動作を制御する再生制御部と
    を備える再生装置。
  2. 前記画像関連情報は、前記再生画像の時間情報を用いて時間毎に前記仮想分割領域の位置と重要度を示しており、
    前記再生制御部は、前記時間情報を用いて次の再生画像を前記判別した重要度に応じて設定する
    請求項１に記載の再生装置。
  3. 前記再生制御部は、前記重要度が低くなるに伴い前記再生動作において間引きする画像が多くなるように前記次の再生画像を設定する
    請求項２に記載の再生装置。
  4. 前記動画像データは符号化データであり、
    前記再生制御部は、前記重要度に応じて前記動画像データのデコード処理を制御する
    請求項１に記載の再生装置。
  5. 前記再生制御部は、前記重要度が低い仮想分割領域に対応する画像表示領域に情報表示領域を設ける
    請求項１に記載の再生装置。
  6. 前記画像関連情報は、前記再生画像の時間情報を用いて時間毎に前記仮想分割領域の位置と重要度と前記仮想分割領域に含まれる被写体に関する領域被写体情報を示しており、
    前記再生制御部は、前記画像関連情報に基づき時間と被写体と仮想分割領域を関連付けて表示部に表示して、前記時間と仮想分割領域に対するユーザ選択結果に応じて前記動画像データの再生動作を制御する
    請求項１に記載の再生装置。
  7. 前記画像関連情報は前記仮想分割領域に含まれる被写体に関する領域被写体情報を含み、
    前記再生制御部は、前記注目位置検出部で検出した注目位置に対応する前記仮想分割領域を判別して、判別した前記仮想分割領域に含まれる被写体を示す前記領域被写体情報を表示する
    請求項１に記載の再生装置。
  8. 前記画像関連情報は前記仮想分割領域に含まれる被写体に関する領域被写体情報を含み、
    前記再生制御部は、前記領域被写体情報に基づき所望の被写体が含まれる前記仮想分割領域を判別して、判別結果に基づき前記動画像データの再生動作を制御する
    請求項１に記載の再生装置。
  9. 前記再生制御部は、前記所望の被写体が含まれる仮想分割領域と前記注目位置に対応する仮想分割領域が異なる場合、前記所望の被写体が含まれる仮想分割領域の位置を提示する
    請求項８に記載の再生装置。
  10. 前記再生制御部は、前記動画像データの再生動作履歴を前記画像関連情報と共に表示部に表示させる
    請求項１に記載の再生装置。
  11. 前記再生制御部は、前記動画像データの再生動作履歴を再利用可能に記憶して、前記再生動作履歴に基づき前記動画像データを再生する場合、前記再生画像では前記注目位置に対応する仮想分割領域を所定位置とする
    請求項１に記載の再生装置。
  12. 前記注目位置検出部は、前記再生画像を見るユーザの頭部の向きまたは視線方向を検出するセンサを備えており、前記センサの検出結果に基づき判別した前記再生画像に対する前記頭部の向きまたは前記視線方向の位置を前記注目位置とする
    請求項１に記載の再生装置。
  13. 動画像データの再生画像に対するユーザの注目位置を注目位置検出部で検出することと、
    前記再生画像を仮想的に分割した仮想分割領域の位置と前記仮想分割領域の重要度を示す前記動画像データに関連付けられた画像関連情報に基づき、前記注目位置検出部で検出した注目位置に対応する前記仮想分割領域の重要度を判別して、判別した重要度に応じて前記動画像データの再生動作を再生制御部で制御することと
    を含む再生方法。
  14. 動画像データの画像を仮想的に分割した仮想分割領域毎に重要度を設定して、前記画像における前記仮想分割領域の位置と重要度を示す画像関連情報を、前記動画像データに関連付けて生成する画像関連情報生成部
    を備える情報生成装置。
  15. 前記画像関連情報生成部は、前記画像に付加されている時間情報を用いて、時間毎に前記仮想分割領域の位置と重要度を示すように前記画像関連情報を生成する
    請求項１４に記載の情報生成装置。
  16. 前記画像関連情報生成部は、前記仮想分割領域に対して設定された画像処理の処理結果に基づいて重要度を設定する
    請求項１４に記載の情報生成装置。
  17. 前記画像関連情報生成部は、仮想分割領域に対して前記画像処理が複数設定されており、前記複数の画像処理の処理結果に基づいて重要度を設定する
    請求項１６に記載の情報生成装置。
  18. 前記画像関連情報生成部は、前記仮想分割領域に含まれる被写体に関する領域被写体情報を前記画像関連情報に含める
    請求項１４に記載の情報生成装置。
  19. 前記画像関連情報生成部は、前記画像を用いて特定領域認識処理を行い、認識処理結果に基づいて前記画像を仮想的に分割する
    請求項１４に記載の情報生成装置。
  20. 動画像データの画像を仮想的に分割した仮想分割領域毎に重要度を設定して、前記画像における前記仮想分割領域の位置と重要度を示す画像関連情報を、前記動画像データに関連付けて画像関連情報生成部で生成すること
    を含む情報生成方法。
JP2018519092A 2016-05-24 2017-02-24 再生装置と再生方法および情報生成装置と情報生成方法 Active JP6882634B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016103314 2016-05-24
JP2016103314 2016-05-24
PCT/JP2017/007062 WO2017203768A1 (ja) 2016-05-24 2017-02-24 再生装置と再生方法および情報生成装置と情報生成方法

Publications (2)

Publication Number Publication Date
JPWO2017203768A1 true JPWO2017203768A1 (ja) 2019-03-22
JP6882634B2 JP6882634B2 (ja) 2021-06-02

Family

ID=60412873

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018519092A Active JP6882634B2 (ja) 2016-05-24 2017-02-24 再生装置と再生方法および情報生成装置と情報生成方法

Country Status (6)

Country Link
US (1) US10930317B2 (ja)
JP (1) JP6882634B2 (ja)
KR (1) KR102592594B1 (ja)
CN (1) CN109155836B (ja)
DE (1) DE112017002665T5 (ja)
WO (1) WO2017203768A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10810773B2 (en) * 2017-06-14 2020-10-20 Dell Products, L.P. Headset display control based upon a user's pupil state
JP7140527B2 (ja) * 2018-03-30 2022-09-21 キヤノン株式会社 電子機器及びその制御方法
JP2020036261A (ja) * 2018-08-31 2020-03-05 シャープ株式会社 情報処理システムおよび操作履歴の確認方法
JP7330708B2 (ja) * 2019-01-28 2023-08-22 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290567A (ja) * 2008-05-29 2009-12-10 Canon Inc データ送信装置及びデータ受信装置
JP2011039797A (ja) * 2009-08-11 2011-02-24 Sony Ericsson Mobile Communications Ab タイトル自動付加装置、タイトル自動付加方法、タイトル自動付加プログラム、及び携帯端末装置
JP2011223097A (ja) * 2010-04-05 2011-11-04 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2014050018A (ja) * 2012-09-03 2014-03-17 Ricoh Co Ltd 情報処理装置、ビデオ会議システム及びプログラム
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5115151B2 (ja) * 2007-11-02 2013-01-09 ソニー株式会社 情報提示装置及び情報提示方法
JP2010074617A (ja) 2008-09-19 2010-04-02 Toshiba Corp 映像記録再生装置
JP5421727B2 (ja) * 2009-10-20 2014-02-19 キヤノン株式会社 画像処理装置およびその制御方法
US9838744B2 (en) * 2009-12-03 2017-12-05 Armin Moehrle Automated process for segmenting and classifying video objects and auctioning rights to interactive sharable video objects
CN103649904A (zh) * 2011-05-10 2014-03-19 Nds有限公司 自适应内容呈现
JP2013125191A (ja) 2011-12-15 2013-06-24 Canon Inc 映像表示装置、映像表示方法及びプログラム
US20130170559A1 (en) * 2011-12-28 2013-07-04 Rovi Technologies Corporation Systems and methods for region of interest video processing
JP5873982B2 (ja) * 2012-10-09 2016-03-01 パナソニックＩｐマネジメント株式会社 ３次元表示装置、３次元画像処理装置および３次元表示方法
US10152796B2 (en) * 2014-02-24 2018-12-11 H. Lee Moffitt Cancer Center And Research Institute, Inc. Methods and systems for performing segmentation and registration of images using neutrosophic similarity scores
CN105578258B (zh) 2015-12-11 2019-05-24 浙江大华技术股份有限公司 一种视频预处理和视频回放的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009290567A (ja) * 2008-05-29 2009-12-10 Canon Inc データ送信装置及びデータ受信装置
JP2011039797A (ja) * 2009-08-11 2011-02-24 Sony Ericsson Mobile Communications Ab タイトル自動付加装置、タイトル自動付加方法、タイトル自動付加プログラム、及び携帯端末装置
JP2011223097A (ja) * 2010-04-05 2011-11-04 Sony Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2014050018A (ja) * 2012-09-03 2014-03-17 Ricoh Co Ltd 情報処理装置、ビデオ会議システム及びプログラム
JP2016046642A (ja) * 2014-08-21 2016-04-04 キヤノン株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
KR20190008858A (ko) 2019-01-25
DE112017002665T5 (de) 2019-03-14
WO2017203768A1 (ja) 2017-11-30
CN109155836B (zh) 2021-11-05
CN109155836A (zh) 2019-01-04
US20190139574A1 (en) 2019-05-09
US10930317B2 (en) 2021-02-23
JP6882634B2 (ja) 2021-06-02
KR102592594B1 (ko) 2023-10-24

Similar Documents

Publication Publication Date Title
JP6882634B2 (ja) 再生装置と再生方法および情報生成装置と情報生成方法
US20130145248A1 (en) System and method for presenting comments with media
US11245887B2 (en) Electronic device and operation method therefor
JP2014096757A (ja) 画像処理装置および画像処理方法、並びにプログラム
JP2018113616A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2013162333A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US9558784B1 (en) Intelligent video navigation techniques
US20200349355A1 (en) Method for determining representative image of video, and electronic apparatus for processing the method
US9564177B1 (en) Intelligent video navigation techniques
JP2011135138A (ja) 映像再生装置及びその制御方法
JPWO2017169369A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2013240052A (ja) ディスプレイ装置、サーバおよびその制御方法
WO2018070092A1 (ja) 情報提供装置と情報提供方法および情報再生装置と情報再生方法
KR20150046619A (ko) 영상 출력 장치
CN112823528B (zh) 信息处理装置、信息处理方法和信息处理程序
WO2018222422A1 (en) Video splitter
JP2014209707A (ja) 映像再生装置および映像再生方法
KR101613777B1 (ko) 라이브 댄스 클래스 및 라이브 뮤직 룸을 위한 서비스 시스템 및 서비스 방법
JP2020140326A (ja) コンテンツ生成システム、及びコンテンツ生成方法
WO2017022296A1 (ja) 情報管理装置及び情報管理方法、並びに映像再生装置及び映像再生方法
KR102487976B1 (ko) 전자 장치 및 그 동작방법
JP2010193026A (ja) 画像再生装置、画像再生方法およびプログラム
JP5163605B2 (ja) 動画像再生装置および動画像再生方法
US11785314B2 (en) Systems and methods to enhance segment during trick play
JP2017084161A (ja) 画像処理装置、表示装置及びその制御方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201006

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20201110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210105

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20210105

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20210115

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20210119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210323

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210405

R151 Written notification of patent or utility model registration

Ref document number: 6882634

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151