JPWO2018066381A1 - 再生装置および再生方法、並びにプログラム - Google Patents

再生装置および再生方法、並びにプログラム Download PDF

Info

Publication number
JPWO2018066381A1
JPWO2018066381A1 JP2018543837A JP2018543837A JPWO2018066381A1 JP WO2018066381 A1 JPWO2018066381 A1 JP WO2018066381A1 JP 2018543837 A JP2018543837 A JP 2018543837A JP 2018543837 A JP2018543837 A JP 2018543837A JP WO2018066381 A1 JPWO2018066381 A1 JP WO2018066381A1
Authority
JP
Japan
Prior art keywords
moving image
image content
reproduction
processing unit
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018543837A
Other languages
English (en)
Other versions
JP6996511B2 (ja
Inventor
充 勝股
充 勝股
仕豪 温
仕豪 温
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2018066381A1 publication Critical patent/JPWO2018066381A1/ja
Application granted granted Critical
Publication of JP6996511B2 publication Critical patent/JP6996511B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

本開示は、より良好なユーザ体験を提供することができるようにする再生装置および再生方法、並びにプログラムに関する。再生処理部は、複数種類の動画像コンテンツを、それぞれの動画像コンテンツが対応している再生モードで再生する処理を行う。ユーザインタフェース表示処理部は、再生中の動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う。本技術は、例えば、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツを再生可能な再生装置に適用できる。

Description

本開示は、再生装置および再生方法、並びにプログラムに関し、特に、より良好なユーザ体験を提供することができるようにした再生装置および再生方法、並びにプログラムに関する。
一般的に、ユーザにより動画像をアップロード可能な配信サイトにおいてＵＧＣ（User-Generated Contents）などの動画像コンテンツが配信されたり、商用の配信サイトにおいて映画やドラマなどの動画像コンテンツが無料または有料で配信されている。従来、これらの動画像コンテンツとしては、コンテンツ生成時のカメラワークによって視線方向および視点位置が固定されている２Ｄ動画像コンテンツが主流である。
これに対し、近年、視線方向を自由に変更することができる動画像コンテンツ（以下、全天球動画像コンテンツと称する）の作成が可能となっている。全天球動画像コンテンツは、例えば、ヘッドマウントディスプレイを利用して、顔の向きに合わせて視線方向を変更することができるため、より臨場感が高く、今後の普及が期待されている。
さらに、今後、全天球動画像コンテンツと同様に視線方向を変更することができ、かつ、動画像により再現されている空間内を自由に移動することができる動画像コンテンツ（以下、自由視点動画像コンテンツと称する）の普及が想定される。
ところで、２Ｄ動画像コンテンツに対するユーザの操作として、例えば、ビデオテープを利用して動画像が提供されていたときには、基本的な再生や停止などが行われていた。その後、例えば、ディスクを利用して動画像が提供されるようになったときには、シークの利便性が向上したことより、シークバーなどのユーザインタフェースが新たに提案され、自由な再生時刻から再生の開始を行う操作が可能となった。
また、従来、全天球動画像コンテンツに対するユーザインタフェースとして、基本的には、２Ｄ動画像コンテンツにおいて利用されているユーザインタフェースが継続して利用されている。
例えば、特許文献１には、２Ｄコンテンツとしてのデータ部分が編集された３Ｄコンテンツを、正しく表示することができる３Ｄ再生装置が開示されている。
特開２０１３−１１８５３８号公報
ところで、２Ｄ動画像コンテンツにおいて利用されるユーザインタフェースを全天球動画像コンテンツや自由視点動画像コンテンツなどに適用しただけでは、それらを利用する際にユーザが不便に感じることがあった。そのため、従来、充分に良好なユーザ体験を提供することができていない状況となっていた。
本開示は、このような状況に鑑みてなされたものであり、より良好なユーザ体験を提供することができるようにするものである。
本開示の一側面の再生装置は、複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行う再生処理部と、再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う表示処理部とを備える。
本開示の一側面の再生方法またはプログラムは、複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行うステップを含む。
本開示の一側面においては、複数種類の動画像コンテンツを、それぞれの動画像コンテンツが対応している再生モードで再生する処理が行われ、再生中の動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理が行われる。
本開示の一側面によれば、より良好なユーザ体験を提供することができる。
本技術を適用した再生装置の一実施の形態の構成例を示すブロック図である。 ユーザインタフェースの一例を示す図である。 再生アイコンについて説明する図である。 再生アイコンが備える機能について説明する図である。 シークバーについて説明する図である。 再生アイコンの変形例について説明する図である。 ユーザインタフェースの表示処理を説明するフローチャートである。 本技術を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
＜再生装置の構成例＞
図１は、本技術を適用した再生装置の一実施の形態の構成例を示すブロック図である。
図１に示すように、再生装置１１は、操作部１２および表示部１３を接続して利用することができ、操作信号取得部２１、コンテンツ記録部２２、再生処理部２３、およびユーザインタフェース表示処理部２４を備えて構成される。
操作部１２は、例えば、リモートコントローラなどのように有線または無線により、ユーザによる操作に従った各種の操作信号を再生装置１１に供給する。例えば、操作部１２は、ユーザによる操作に従って、動画像コンテンツの再生に関する制御を行う操作信号や、後述するような視線方向または視点位置の制御を行う操作信号などを再生装置１１に供給することができる。
表示部１３は、再生装置１１により再生される動画像コンテンツそのものを表示したり、その動画像コンテンツに重畳させて、後述する図２に示すような各種のユーザインタフェースを表示する。
操作信号取得部２１は、操作部１２から供給される操作信号を取得して、再生処理部２３に供給する。
コンテンツ記録部２２には、再生装置１１において再生可能な動画像コンテンツとして、例えば、上述したような２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツが記録されている。
再生処理部２３は、コンテンツ記録部２２から動画像コンテンツを読み出してデコードし、その動画像コンテンツを再生する処理を行って、表示部１３に動画像コンテンツを供給して表示させる。
例えば、再生処理部２３は、コンテンツ記録部２２から２Ｄ動画像コンテンツを読み出して、空間的な移動や見回しができずに特定の視点位置から特定の視線方向のみを見ることになる再生モードである２Ｄ再生モードで再生を行う。また、再生処理部２３は、コンテンツ記録部２２から全天球動画像コンテンツを読み出して、空間的な移動はできないが特定の視点位置から任意の視線方向で見回すことができる再生モードである全天球再生モードで再生を行う。また、再生処理部２３は、コンテンツ記録部２２から自由視点動画像コンテンツを読み出して、空間的な移動が可能であって様々な視点位置から任意の視線方向で見回すことができる再生モードである自由視点再生モードで再生を行う。
また、再生処理部２３は、再生中の動画像コンテンツに関する情報（以下、再生中コンテンツ情報と称する）をユーザインタフェース表示処理部２４に供給する。例えば、再生中コンテンツ情報には、動画像コンテンツの再生モードを示す情報や、動画像コンテンツの種類を示す情報、動画像コンテンツの再生時刻を示す情報などが含まれる。
ユーザインタフェース表示処理部２４は、再生処理部２３から供給される再生中コンテンツ情報に基づいて、再生中の動画像コンテンツの種類や再生モードなどを提示するアイコンや、再生中の動画像コンテンツの再生時刻などを提示するシークバーなどのユーザインタフェースを生成し、表示部１３に供給して表示させる。
このように構成される再生装置１１は、例えば、再生中の動画像コンテンツの種類や再生モードを示すアイコンを表示することができ、より良好なユーザ体験を提供することができる。即ち、ユーザインタフェース表示処理部２４により表示部１３に表示されているアイコンにより、ユーザは、再生中の動画像コンテンツが、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツのいずれであるかを認識することができる。同様に、ユーザは、再生中の動画像コンテンツの再生モードが、２Ｄ再生モード、全天球再生モード、自由視点再生モードのいずれであるかを認識することができる。
従って、ユーザは、再生中の動画像コンテンツで、見回しが可能であるかということや、移動が可能であるかということなどを容易に把握することができるので、それらの操作をスムーズに行うことができ、より良好なユーザ体験を得ることができる。
＜ユーザインタフェースの表示例＞
図２は、表示部１３に表示されるユーザインタフェースの一例を示す図である。
例えば、表示部１３に表示される再生画面３１の全体に、再生処理部２３により再生される動画像コンテンツが表示される。そして、再生画面３１では、図２に示すように、再生画面３１の右上隅にアイコン表示部４１が設けられるとともに、再生画面３１の下側にシークバー表示部４２が設けられる。
アイコン表示部４１には、再生処理部２３により再生されている動画像コンテンツの再生モードを表す再生モードアイコンが表示される。図２の例では、再生処理部２３が全天球再生モードで動画像コンテンツを再生していることを示す全天球再生モードアイコンが表示されている。例えば、アイコン表示部４１には、ユーザインタフェースを表示させることを指示する操作が行われたときに、これらのアイコンが表示される。
シークバー表示部４２には、動画像コンテンツの全体の再生時間（図２の例では、0：30）を表すバー４３、および、動画像コンテンツの再生画面３１に表示されているフレームの再生時刻に対応する位置を表すスライダ４４により構成されるシークバーが表示される。例えば、シークバー表示部４２には、ユーザインタフェースを表示させることを指示する操作や、早送りまたは早戻しを指示する操作などが行われたときに、シークバーが表示される。
＜再生アイコンの表示例＞
図３を参照して、アイコン表示部４１に表示される再生アイコンについて説明する。
図３のＡには、再生装置１１が２Ｄ再生モードで動画像コンテンツを再生しているときに、再生画面３１のアイコン表示部４１に表示される２Ｄ再生モードアイコンの一例が示されている。例えば、２Ｄ再生モードアイコンは、再生画面が二次元的な平面であるという２Ｄ動画像コンテンツの特徴を表している。
図３のＢには、再生装置１１が全天球再生モードで動画像コンテンツを再生しているときに、再生画面３１のアイコン表示部４１に表示される全天球再生モードアイコンの一例が示されている。例えば、全天球再生モードアイコンは、動画像により再生される全天球を表す球形状の中央から外側に向かう矢印マークにより任意の視線方向の動画像を見ているという全天球動画像コンテンツの特徴を表している。
図３のＣには、再生装置１１が自由視点再生モードで動画像コンテンツを再生しているときに、再生画面３１のアイコン表示部４１に表示される自由視点再生モードアイコンが示されている。例えば、自由視点再生モードアイコンは、動画像により再現されている空間内で移動することができる範囲を表す平面の上に配置される人型マークおよび矢印マークにより、任意の視点位置および視点方向の動画像を見ているという自由視点動画像コンテンツの特徴を表している。
このように、ユーザインタフェース表示処理部２４は、再生中の動画像コンテンツの特徴を表す再生アイコンを生成して表示部１３に供給し、再生画面３１のアイコン表示部４１に表示させることができる。
図４を参照して、全天球再生モードアイコンおよび自由視点再生モードアイコンが備える機能について説明する。
例えば、全天球再生モードアイコン（図３のＢ）は矢印マークを有する構成となっており、全天球再生モードアイコンは、この矢印マークを利用して、視線方向を表す機能を備えることができる。
図４のＡには、視線方向を表す機能を備えた全天球再生モードアイコンの一例が示されている。ユーザインタフェース表示処理部２４は、操作信号取得部２１が取得した操作信号に基づいたユーザの視線方向に従って、全天球再生モードアイコンに表示される矢印マークの向きを変更する。
例えば、図４のＡの左側に示すような全天球再生モードアイコンの視線方向のときに、ユーザが上を向くような操作を行ったとする。この操作に同期して、ユーザインタフェース表示処理部２４は、図４のＡの右側に示すような全天球再生モードアイコンの視線方向となるように、全天球再生モードアイコンに表示される矢印マークの向きを変更する。
また、自由視点再生モードアイコン（図３のＣ）は矢印マークおよび人型マークを有する構成となっており、全天球再生モードアイコンは、この矢印マークおよび人型マークを利用して、視線方向および視点位置を表す機能を備えることができる。
図４のＢには、視線方向および視点位置を表す機能を備えた自由視点再生モードアイコンの一例が示されている。ユーザインタフェース表示処理部２４は、操作信号取得部２１が取得した操作信号に基づいたユーザの視線方向および視点位置に従い、自由視点動画像の全体の位置関係に合わせて、自由視点再生モードアイコンに表示される矢印マークの向きおよび人型マークの位置を変更する。
例えば、図４のＢの左側に示す自由視点再生モードアイコンのように視点位置が自由視点動画像の中央であるときに、ユーザが視点位置を自由視点動画像の端部に移動するとともに左側を向くような操作を行ったとする。この操作に同期して、ユーザインタフェース表示処理部２４は、図４のＢの右側に示すような自由視点再生モードアイコンの視点位置および視線方向となるように、自由視点再生モードアイコンに表示される矢印マークの向きおよび人型マークの位置を変更する。
このように、アイコン表示部４１は、再生装置１１が全天球再生モードで動画像コンテンツを再生しているとき、全天球再生モードアイコンにより視線方向を表すことができる。同様に、アイコン表示部４１は、再生装置１１が自由視点再生モードで動画像コンテンツを再生しているとき、自由視点再生モードアイコンにより視線方向および視点位置を表すことができる。
＜シークバーの表示例＞
図５を参照して、シークバー表示部４２に表示されるシークバーについて説明する。
例えば、再生装置１１により再生される動画像コンテンツには、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツそれぞれが独立して構成されているものの他、再生時間ごとに、それらが混在して構成されるものがある。そこで、シークバー表示部４２に表示されるシークバーは、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツが混在した動画像コンテンツにおいて、それぞれの再生時間を区別する機能を備えることができる。
図５のＡには、バー４３の太さにより、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの再生時間を区別することができるシークバーの例が示されている。図５のＡの例では、最も細いバー４３ａにより２Ｄ動画像コンテンツが再生可能な時間が表され、中間の太さのバー４３ｂにより全天球動画像コンテンツが再生可能な時間が表され、最も太いバー４３ｃにより自由視点動画像コンテンツが再生可能な時間が表されている。
図５のＢには、バー４３の配置により、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの再生時間を区別することができるシークバーの例が示されている。図５のＢの例では、上段に配置されるバー４３ａにより２Ｄ動画像コンテンツが再生可能な時間が表され、中段に配置されるバー４３ｂにより全天球動画像コンテンツが再生可能な時間が表され、下段に配置されるバー４３ｃにより自由視点動画像コンテンツが再生可能な時間が表されている。
このように、バー４３の配置（動画像コンテンツの種類ごとに並列的に配置すること）により区別する手法では、同一の再生時間において、複数の種類の動画像コンテンツが存在している場合にも適用することができる。
即ち、図５のＣに示すように、２Ｄ動画像コンテンツが再生可能な時間を表す上段に配置されるバー４３ａは、最初から最後までの時間において、２Ｄ動画像コンテンツが再生可能であることを示している。そして、バー４３ａと並行して、中段に配置されるバー４３ｂ、および、下段に配置されるバー４３ｃが表示されており、それぞれ重複する時間には、どちらかの動画像コンテンツが選択的に再生可能であることを示している。
また、図５のＣに示すシークバーでは、スライダ４４の配置によって、複数の再生可能な動画像コンテンツのうち、どの動画像コンテンツが再生されているかを示すことができる。即ち、図５のＣの例では、自由視点動画像コンテンツが再生可能な時間を示すバー４３ｃにスライダ４４が配置されており、自由視点動画像コンテンツが再生されていることを示している。
さらに、このシークバーでは、例えば、スライダ４４を左右に移動させる操作を行うことで再生時間を変更することができるユーザインタフェースと同様に、スライダ４４を上下に移動させる操作を行うこととで、再生する動画像コンテンツを選択することができる。図５のＣにおける表示位置のスライダ４４に対して上下方向に移動させる操作を行うことで、２Ｄ動画像コンテンツまたは自由視点動画像コンテンツの再生を選択することができる。
なお、例えば、再生装置１１が自由視点動画像コンテンツを再生する機能を備えていない場合には、図５のＤに示すように、自由視点動画像コンテンツが再生可能な時間を示すバー４３ｃの表示をグレーアウトすることができる。即ち、図５のＤに示す例では、再生装置１１が２Ｄ動画像コンテンツおよび全天球動画像コンテンツを再生する機能を備えていることが表されている。これにより、シークバーによって、再生装置１１が備える機能を示すことができる。
このように、ユーザインタフェース表示処理部２４が、シークバーの表示を制御することで、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの再生時間を区別すること、どの動画像コンテンツを再生させるかを選択することができる。
なお、例えば、動画像コンテンツが混在して構成されていない場合にも、同様に、バー４３の太さや配置で、動画像コンテンツの種類を示すことができる。また、バー４３の太さや配置の他、色や模様などによって動画像コンテンツの種類を示すようにしてもよい。
図６を参照して、再生アイコンの変形例について説明する。
図６のＡには、再生アイコンを利用して、動画像コンテンツの種類および再生モードを同時に表すユーザインタフェースの一例が示されている。
例えば、再生処理部２３は、全天球動画像コンテンツを全天球再生モードで再生する他、２Ｄ動画像コンテンツと同様に、視線方向および視点位置を固定した状態として２Ｄ再生モードで再生することができる。同様に、再生処理部２３は、自由視点動画像コンテンツを自由視点再生モードで再生する他、２Ｄ動画像コンテンツと同様に、視線方向および視点位置を固定した状態として２Ｄ再生モードで再生したり、全天球動画像コンテンツと同様に、視点位置を固定した状態として全天球再生モードで再生したりすることができる。
そこで、図２のアイコン表示部４１に、動画像コンテンツの種類を示すアイコンと、動画像コンテンツの再生モードを示すアイコンとを同時に表示して、それらをユーザに認識させることができる。
例えば、図６のＡの例では、動画像コンテンツの再生モードを示すアイコンが左上に表示され、動画像コンテンツの種類を示すアイコンが右下に表示されている。即ち、図６のＡでは、自由視点動画像コンテンツが全天球再生モードで再生されていることを表している。なお、このようなアイコンの表示は、例えば、ユーザインタフェースを表示させることを指示する操作が行われたときに行われる。
図６のＢおよび図６のＣには、再生アイコンを利用して、一時停止状態を表すユーザインタフェースの一例が示されている。
例えば、自由視点動画像コンテンツに対して時間的に一時停止をする操作が行われた場合、その他に、空間的移動に対する一時停止、および、見る方向の一時停止が可能になる。これらの組み合わせとしては、完全一時停止（時間の一時停止、移動禁止、見る方向固定）、時間と移動の一時停止（見る方向のみ変更が可能）、および、時間のみの一時停止（移動、見る方向の変更可能）の３つのパターンが想定される。
そこで、図６のＢには、左上の一時停止マークを表示することで、見る方向のみを変えることができ、時間的な一時停止状態を表すアイコンの例が示されている。
また、図６のＣには、全天球動画像コンテンツを示すアイコンと、自由視点動画像コンテンツを示すアイコンとを並べて表示し、どの操作が一時停止状態であるかを明示的に示すアイコンの例が示されている。即ち、左上の一時停止マークを表示することで時間的な一時停止状態を表し、自由視点動画像コンテンツを示すアイコンに対して×マークを付けることで、移動も停止状態であることが示されている。このようなユーザインタフェースにより、図６のＣの表示は、図６のＢの表示よりも、直観的に理解し易くなっている。
また、再生装置１１は、図６のＣに示すようなアイコンを表示した状態で、いずれかのアイコンを選択して、例えば、移動を可能に変更する機能や、見回しを禁止にする機能を備えることができる。
なお、例えば、再生装置１１が、自由視点動画像コンテンツを再生する機能を備えていない場合、自由視点動画像コンテンツを表すアイコンの表示をグレーアウトしてもよい。
＜動画像コンテンツの再生処理＞
図７のフローチャートを参照して、再生装置１１において実行される動画像コンテンツの再生処理について説明する。
例えば、ユーザが操作部１２に対する操作を行って、所定の動画像コンテンツを再生対象として選択し、再生モードを指定して再生を指示する操作信号が再生装置１１に供給されると、動画像コンテンツの再生処理が開始される。
ステップＳ１１において、操作信号取得部２１は、操作部１２から供給される操作信号を取得して、再生処理部２３に供給する。
ステップＳ１２において、再生処理部２３は、ステップＳ１１で操作信号取得部２１から供給される操作信号に従って、ユーザにより再生対象とされた動画像コンテンツをコンテンツ記録部２２から読み出す。そして、再生処理部２３は、ステップＳ１１で操作信号取得部２１から供給された操作信号で指定されている再生モードで、コンテンツ記録部２２から読み出した動画像コンテンツを再生する処理を行って、表示部１３に表示させる。また、再生処理部２３は、このとき再生した動画像コンテンツに関する再生中コンテンツ情報をユーザインタフェース表示処理部２４に供給する。
ステップＳ１３において、ユーザインタフェース表示処理部２４は、ステップＳ１２で再生処理部２３から供給される再生中コンテンツ情報に基づいて、ユーザインタフェースを表示部１３に表示させる処理を行う。例えば、ユーザインタフェース表示処理部２４は、再生中コンテンツ情報に含まれる動画像コンテンツの再生モードを示す情報に従って、再生画面３１のアイコン表示部４１（図２）に、再生モードアイコンを表示させる。
ステップＳ１４において、再生処理部２３は、ステップＳ１２で再生した動画像コンテンツの再生モードは、２Ｄ再生モード、全天球再生モード、および自由視点再生モードのいずれであるかを判定する。
ステップＳ１４において、再生処理部２３が、動画像コンテンツの再生モードは全天球再生モードであると判定した場合、処理はステップＳ１５に進む。
ステップＳ１５において、操作信号取得部２１は、ユーザにより視線方向を変更する操作が行われた操作信号が操作部１２から供給されると、その操作信号を取得して、再生処理部２３に供給する。
ステップＳ１６において、再生処理部２３は、ステップＳ１５で操作信号取得部２１から供給される操作信号に従って、全天球再生モードで再生している動画像コンテンツにおける視線方向を変更する。そして、再生処理部２３は、視線方向の変更を適用した動画像コンテンツを表示部１３に表示させる。
一方、ステップＳ１４において、再生処理部２３が、動画像コンテンツの再生モードは自由視点再生モードであると判定した場合、処理はステップＳ１７に進む。
ステップＳ１７において、操作信号取得部２１は、ユーザにより視線方向および視点位置を変更する操作が行われた操作信号が操作部１２から供給されると、その操作信号を取得して、再生処理部２３に供給する。
ステップＳ１８において、再生処理部２３は、ステップＳ１７で操作信号取得部２１から供給される操作信号に従って、自由視点再生モードで再生している動画像コンテンツにおける視線方向および視点位置を変更する。そして、再生処理部２３は、視線方向および視点位置の変更を適用した動画像コンテンツを表示部１３に表示させる。
ステップＳ１６またはＳ１８の処理後、処理はステップＳ１９に進む。また、ステップＳ１４において、再生処理部２３が、動画像コンテンツの再生モードは２Ｄ再生モードであると判定した場合にも、処理はステップＳ１９に進む。
ステップＳ１９において、再生処理部２３は、動画像コンテンツの再生を終了するか否かを判定する。例えば、再生処理部２３は、動画像コンテンツが終了時刻まで再生が完了した場合や、ユーザにより再生を停止する操作が行われると、動画像コンテンツの再生を終了すると判定する。
ステップＳ１９において、再生処理部２３が、動画像コンテンツの再生を終了しないと判定した場合、処理はステップＳ１２に戻り、以下、同様の処理が繰り返して行われる。一方、再生処理部２３が、動画像コンテンツの再生を終了すると判定した場合、動画像コンテンツの再生処理は終了される。
以上のように、再生装置１１は、動画像コンテンツの種類および再生モードを、簡易なユーザインタフェースによりユーザに認識させることができる。
なお、再生装置１１は、上述したような２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツの他、例えば、それぞれの動画像コンテンツについて視差を有するものを再生することができる。この場合、再生装置１１は、２Ｄ動画像コンテンツ、全天球動画像コンテンツ、および自由視点動画像コンテンツそれぞれについて、視差の有無を示すアイコン（例えば、３Ｄという文字）を表示してもよい。さらに、再生装置１１は、視差を有する動画像コンテンツを、視差なしで再生することができ、その旨を示す再生アイコンの表示を行うことができる。
なお、上述のフローチャートを参照して説明した各処理は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含むものである。また、プログラムは、１のCPUにより処理されるものであっても良いし、複数のCPUによって分散処理されるものであっても良い。
また、上述した一連の処理（再生方法）は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラムが記録されたプログラム記録媒体からインストールされる。
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
なお、本技術は以下のような構成も取ることができる。
（１）
複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行う再生処理部と、
再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う表示処理部と
を備える再生装置。
（２）
前記表示処理部は、前記動画像コンテンツの種類と再生モードとを同時に表示する
上記（１）に記載の再生装置。
（３）
前記表示処理部は、再生中の前記動画像コンテンツの全長のうちの再生箇所を表すシークバーを利用して、前記動画像コンテンツの種類ごとに、それぞれの種類の再生時間を表示する
上記（１）または（２）に記載の再生装置。
（４）
前記表示処理部は、前記動画像コンテンツの種類ごとに並列的に、それぞれの種類の前記動画像コンテンツに対応する前記シークバーを表示する
上記（３）に記載の再生装置。
（５）
前記シークバーに対するユーザの操作に従って、再生の対象とする前記動画像コンテンツの種類が選択される
上記（４）に記載の再生装置。
（６）
前記表示処理部は、前記再生装置が再生する機能を備えていない種類の前記動画像コンテンツに対応するシークバーをグレーアウトで表示する
上記（４）または（５）に記載の再生装置。
（７）
前記表示処理部は、前記動画像コンテンツの再生を一時停止する操作が行われた場合、前記動画像コンテンツの種類または再生モードを表すユーザインタフェースに対して、一時停止状態を表すユーザインタフェースを表示する
上記（１）から（６）までのいずれかに記載の再生装置。
（８）
前記表示処理部は、ユーザの視線方向または視点位置を表すユーザインタフェースを表示する
上記（１）から（７）までのいずれかに記載の再生装置。
（９）
複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
ステップを含む再生方法。
（１０）
複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
ステップを含む再生処理をコンピュータに実行させるプログラム。
なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
１１ 再生装置， １２ 操作部， １３ 表示部， ２１ 操作信号取得部， ２２ コンテンツ記録部， ２３ 再生処理部， ２４ ユーザインタフェース表示処理部， ３１ 再生画面， ４１ アイコン表示部， ４２ シークバー表示部， ４３ バー， ４４ スライダ

Claims (10)

  1. 複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行う再生処理部と、
    再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う表示処理部と
    を備える再生装置。
  2. 前記表示処理部は、前記動画像コンテンツの種類と再生モードとを同時に表示する
    請求項１に記載の再生装置。
  3. 前記表示処理部は、再生中の前記動画像コンテンツの全長のうちの再生箇所を表すシークバーを利用して、前記動画像コンテンツの種類ごとに、それぞれの種類の再生時間を表示する
    請求項１に記載の再生装置。
  4. 前記表示処理部は、前記動画像コンテンツの種類ごとに並列的に、それぞれの種類の前記動画像コンテンツに対応する前記シークバーを表示する
    請求項３に記載の再生装置。
  5. 前記シークバーに対するユーザの操作に従って、再生の対象とする前記動画像コンテンツの種類が選択される
    請求項４に記載の再生装置。
  6. 前記表示処理部は、前記再生装置が再生する機能を備えていない種類の前記動画像コンテンツに対応するシークバーをグレーアウトで表示する
    請求項４に記載の再生装置。
  7. 前記表示処理部は、前記動画像コンテンツの再生を一時停止する操作が行われた場合、前記動画像コンテンツの種類または再生モードを表すユーザインタフェースに対して、一時停止状態を表すユーザインタフェースを表示する
    請求項１に記載の再生装置。
  8. 前記表示処理部は、ユーザの視線方向または視点位置を表すユーザインタフェースを表示する
    請求項１に記載の再生装置。
  9. 複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
    再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
    ステップを含む再生方法。
  10. 複数種類の動画像コンテンツを、それぞれの前記動画像コンテンツが対応している再生モードで再生する処理を行い、
    再生中の前記動画像コンテンツの種類または再生モードの少なくとも一方を表すユーザインタフェースを表示する処理を行う
    ステップを含む再生処理をコンピュータに実行させるプログラム。
JP2018543837A 2016-10-06 2017-09-22 再生装置および再生方法、並びにプログラム Active JP6996511B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016198249 2016-10-06
JP2016198249 2016-10-06
PCT/JP2017/034237 WO2018066381A1 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、並びにプログラム

Publications (2)

Publication Number Publication Date
JPWO2018066381A1 true JPWO2018066381A1 (ja) 2019-07-18
JP6996511B2 JP6996511B2 (ja) 2022-01-17

Family

ID=61830857

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018543837A Active JP6996511B2 (ja) 2016-10-06 2017-09-22 再生装置および再生方法、並びにプログラム

Country Status (5)

Country Link
US (1) US20210297746A1 (ja)
JP (1) JP6996511B2 (ja)
CN (1) CN109792554B (ja)
DE (1) DE112017005090T5 (ja)
WO (1) WO2018066381A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7146472B2 (ja) * 2018-06-18 2022-10-04 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3798532B2 (ja) * 1996-09-30 2006-07-19 株式会社東芝 マルチアングルブロック再生システム
KR100320297B1 (ko) * 1998-11-04 2002-04-22 오길록 신체 아이콘을 이용한 가상 공간 탐색 인터페이스 방법
DE602006021225D1 (de) * 2005-11-11 2011-05-19 Sony Corp Bildverarbeitungseinrichtung, bildverarbeitungsverfahren, programm dafür und das programm enthaltendes aufzeichnungsmedium
US8184943B2 (en) * 2007-01-08 2012-05-22 Apple Inc. Transport controls for a media device
US9015631B2 (en) * 2008-08-07 2015-04-21 Dassault Systemes Animated icons to preview transformations related to 3D models
KR101520620B1 (ko) * 2008-08-18 2015-05-18 삼성전자주식회사 2차원/3차원 재생 모드 결정 방법 및 장치
US20110285827A1 (en) * 2009-07-14 2011-11-24 Panasonic Corporation Image reproducing apparatus and image display apparatus
JP4758520B1 (ja) * 2010-03-05 2011-08-31 シャープ株式会社 立体視映像表示装置、および立体視映像表示装置の動作方法
KR20120056929A (ko) * 2010-09-20 2012-06-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
JP5726201B2 (ja) * 2010-10-19 2015-05-27 三菱電機株式会社 ３次元立体視表示装置、３次元立体視表示制御装置、およびｌｓｉ回路
JP2012248960A (ja) * 2011-05-25 2012-12-13 Sony Computer Entertainment Inc コンテンツ再生装置
KR101249901B1 (ko) * 2011-06-22 2013-04-09 엘지전자 주식회사 이동통신 단말기 및 그 동작방법
JP2013118538A (ja) 2011-12-05 2013-06-13 Hitachi Consumer Electronics Co Ltd 再生方法／装置及び記録方法／装置
KR101527038B1 (ko) * 2012-02-24 2015-06-08 엘지전자 주식회사 이동 단말기 및 그 제어 방법, 이를 위한 기록 매체
JP5920708B2 (ja) * 2012-02-29 2016-05-18 国立大学法人名古屋大学 多視点映像ストリーム視聴システムおよび方法
CN103873842A (zh) * 2012-12-15 2014-06-18 联想(北京)有限公司 一种显示方法和装置
KR20160045441A (ko) * 2014-10-17 2016-04-27 삼성전자주식회사 동영상 재생 방법 및 장치
US10219026B2 (en) * 2015-08-26 2019-02-26 Lg Electronics Inc. Mobile terminal and method for playback of a multi-view video

Also Published As

Publication number Publication date
DE112017005090T5 (de) 2019-08-01
CN109792554B (zh) 2022-10-11
WO2018066381A1 (ja) 2018-04-12
JP6996511B2 (ja) 2022-01-17
US20210297746A1 (en) 2021-09-23
CN109792554A (zh) 2019-05-21

Similar Documents

Publication Publication Date Title
JP2019525628A (ja) 映像表示装置及びその動作方法
TR201808891T4 (tr) Metaveri kullanılarak çoklu video akışının kullanımına yönelik yöntem ve cihaz.
JP2004356774A (ja) マルチメディア再生装置およびマルチメディア再生方法
US8837912B2 (en) Information processing apparatus, information processing method and program
JP2009230468A (ja) 再生装置、再生装置の制御方法および制御プログラム
JP2019033430A (ja) 動画再生装置およびその制御方法、並びにプログラム
JP6705625B2 (ja) 動画再生プログラム、装置、及び方法
JP6988813B2 (ja) 再生装置および再生方法、記録装置および記録方法、再生記録装置および再生記録方法、並びにプログラム
JP6996511B2 (ja) 再生装置および再生方法、並びにプログラム
JP2008152333A (ja) 再生装置、再生方法及びプログラム
JP6651884B2 (ja) 動画再生方法、動画再生プログラム及び動画再生装置
JP2010074258A (ja) 表示装置及び表示方法
Smith Adobe After Effects CS6 Digital Classroom
JP4609711B2 (ja) 画像処理装置および方法、並びにプログラム
JP2017126856A (ja) 情報処理装置
JP7420642B2 (ja) 動画再生装置および動画再生方法
JP4200960B2 (ja) 編集装置及び編集方法並びにプログラム
KR101301958B1 (ko) 터치앤드래그 입력에 따른 동영상 재생 방법 및 그 방법이 기록된 기록매체
JP5737988B2 (ja) 画像処理装置およびその制御方法およびプログラム
US20240233768A1 (en) Methods and systems for presenting media content with multiple media elements in an editing environment
JP6958341B2 (ja) Ｖｒコンテンツを再生する方法、装置、及びプログラム
JP2011150568A (ja) 生産準備活動プログラム
KR20100117944A (ko) 멀티영상 편집장치 및 재생장치
JP2008176895A (ja) メニュー表示装置
TW202325031A (zh) 用於在編輯環境中呈現具有多媒體元素之媒體內容之方法及系統

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200707

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210823

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211129

R151 Written notification of patent or utility model registration

Ref document number: 6996511

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151