JP7301772B2 - 表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラム - Google Patents

表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラム Download PDF

Info

Publication number
JP7301772B2
JP7301772B2 JP2020050061A JP2020050061A JP7301772B2 JP 7301772 B2 JP7301772 B2 JP 7301772B2 JP 2020050061 A JP2020050061 A JP 2020050061A JP 2020050061 A JP2020050061 A JP 2020050061A JP 7301772 B2 JP7301772 B2 JP 7301772B2
Authority
JP
Japan
Prior art keywords
video
switching
candidate
viewpoint
instruction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020050061A
Other languages
English (en)
Other versions
JP2021150863A (ja
Inventor
純一 石垣
福生 秋山
雅子 吉田
慎二 渡邉
健太 小野
史奈 久次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2020050061A priority Critical patent/JP7301772B2/ja
Publication of JP2021150863A publication Critical patent/JP2021150863A/ja
Application granted granted Critical
Publication of JP7301772B2 publication Critical patent/JP7301772B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本開示の技術は、表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラムに関する。
特許文献1には、異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像の中から、ユーザにより選択された1つの視点の映像をユーザの端末装置に配信して表示させる技術が記載されている。特許文献1では、スワイプ操作といったユーザによる視点の切替確定指示に応じて、端末装置に表示させる映像の視点を切り替えている。
特開2016-010145号公報
特許文献1に記載の技術では、場面内に存在する人等の特定対象物体が、どの視点でどういった見え方をするのかを、ユーザが把握しにくかった。
本開示の技術は、場面内に存在する特定対象物体が、どの視点でどういった見え方をするのかを、ユーザが把握しやすい表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラムを提供することを目的とする。
本開示の表示制御装置は、少なくとも1つのプロセッサを備え、プロセッサは、異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像のうちの1つの視点の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付け、切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像に対して、場面内に存在する特定対象物体を強調する強調処理を行い、強調処理後の候補映像を表示することにより、切替候補となる視点を提示する制御を行う。
プロセッサは、強調処理として、候補映像のフレーム画像における、特定対象物体以外の背景を非表示にする処理を行うことが好ましい。
候補映像は複数あり、プロセッサは、強調処理後の複数の候補映像を、予め定められた時間間隔で切替表示する制御を行うことが好ましい。
複数台の撮像装置によって複数視点の映像が撮像されている最中に、映像の再生が行われている場合において、プロセッサは、切替候補として提示された視点の中から、現在再生中の映像の次に再生する映像の視点を確定させる切替確定指示を受け付けた場合には、切替確定指示によって確定された視点の映像の再生を、撮像のタイミングに合わせてリアルタイムで開始することが好ましい。
また、複数台の撮像装置によって複数視点の映像が撮像された後に、映像の再生が行われている場合において、プロセッサは、切替候補として提示された視点の中から、現在再生中の映像の次に再生する映像の視点を確定させる切替確定指示を受け付けた場合には、切替確定指示によって確定された視点の映像の再生を、切替開始指示を受け付けた時点にタイムシフトして開始することが好ましい。
プロセッサは、映像を表示するタッチパネルディスプレイに対する、ユーザの複数種のジェスチャー操作による切替開始指示を受け付け、ジェスチャー操作の種類に応じて、切替候補となる視点を変更することが好ましい。
本開示の表示制御装置の作動方法は、異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像のうちの1つの視点の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付ける指示受付ステップと、切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像に対して、場面内に存在する特定対象物体を強調する強調処理を行う処理ステップと、強調処理後の候補映像を表示することにより、切替候補となる視点を提示する制御を行う表示制御ステップと、を備える。
本開示の表示制御装置の作動プログラムは、異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像のうちの1つの視点の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付ける指示受付部と、切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像に対して、場面内に存在する特定対象物体を強調する強調処理を行う処理部と、強調処理後の候補映像を表示することにより、切替候補となる視点を提示する制御を行う表示制御部として、コンピュータを機能させる。
本開示の表示制御装置の作動方法は、異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像のうちの1つの視点の映像である第1の映像を再生する第1再生ステップと、第1の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付ける第1指示受付ステップと、切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像に対して、場面内に存在する特定対象物体を強調する強調処理を行う処理ステップと、強調処理後の候補映像を表示することにより、切替候補となる視点を提示する制御を行う表示制御ステップと、切替候補として提示された視点の中から、第1の映像の次に再生する第2の映像の視点を確定させる切替確定指示を受け付ける第2指示受付ステップと、切替確定指示によって確定された視点の第2の映像を再生する第2再生ステップと、を備える。
本開示の技術によれば、場面内に存在する特定対象物体が、どの視点でどういった見え方をするのかを、ユーザが把握しやすい表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラムを提供することができる。
映像配信システムを示す図である。 映像情報を示す図である。 映像配信サーバおよび端末装置を構成するコンピュータを示すブロック図である。 映像配信サーバのブロック図である。 端末装置のブロック図である。 初期画面を示す図である。 映像再生画面を示す図である。 ジェスチャー操作の種類と候補対象の撮像装置との関係を示す表である。 ジェスチャー操作の操作量と候補対象の撮像装置との関係を示す図であり、図9Aは操作量が比較的小さい場合、図9Bは操作量が比較的大きい場合をそれぞれ示す。 映像再生処理部において行う強調処理と切替表示処理の詳細を示す図である。 強調処理の例を示す図である。 強調処理と切替表示処理の例を示す図である。 切替確定指示が行われた場合に映像の視点を切り替える様子を示す図である。 映像再生画面にて再生される映像の推移を示す図である。 端末装置および映像配信サーバの処理手順を示すフローチャートである。 端末装置および映像配信サーバの処理手順を示すフローチャートである。 端末装置および映像配信サーバの処理手順を示すフローチャートである。 映像再生画面にて再生される映像の推移の別の例を示す図である。 強調処理の別の例を示す図である。 映像配信サーバおよび端末装置の別の態様を示す図である。 映像配信サーバおよび端末装置の別の態様を示す図である。 コメントの表示欄が設けられた映像再生画面を示す図である。
図1において、映像配信システム2は、映像配信サーバ10、撮像装置11、および端末装置12を備えている。これら映像配信サーバ10、撮像装置11、および端末装置12は、ネットワーク13を介して相互通信可能に接続されている。ネットワーク13は、例えば、インターネットあるいは公衆通信網等のWAN(Wide Area Network)である。
撮像装置11は複数台あり、異なる位置に配されている。より詳しくは、複数台の撮像装置11は、競技場20のサッカーフィールド21で行われているサッカーの試合を、観客席22にて観戦している複数人の観客23がそれぞれ所持している。観客23は、撮像装置11を用いて、同じタイミングでサッカーの試合の映像28(図2等参照)を撮像する。そして、撮像した映像28を含む映像情報24を、ネットワーク13を通じて映像配信サーバ10に送信する。ここで、サッカーの試合は、本開示の技術に係る「場面」の一例である。
端末装置12は、複数の観客23のうちの1人であるユーザ25が所持している。端末装置12は、ネットワーク13を通じて映像配信サーバ10から映像情報24を受信する機能と、受信した映像情報24に含まれる映像28を再生表示する機能とを少なくとも有する。映像28を再生表示する機能は、具体的にはタッチパネルディスプレイ26によって実現される。タッチパネルディスプレイ26は、映像28を再生表示する機能に加えて、ユーザ25のジェスチャー操作を受け付ける機能も持つ。タッチパネルディスプレイ26には、複数台の撮像装置11によって得られた複数視点の映像28のうち、ユーザ25により選択された1つの視点の映像28が再生表示される。また、タッチパネルディスプレイ26に再生表示する映像28の視点は、ジェスチャー操作によって切り替えることが可能である。端末装置12は、本開示の技術に係る「表示制御装置」の一例である。なお、端末装置12は1台以上であってもよく、同様にユーザ25は1人以上であってもよい。また、ユーザ25は複数の観客23のうちの1人である必要はなく、競技場20の外にいてもよい。
撮像装置11と端末装置12は、説明の便宜上、名称と符号を異ならせているが、撮像装置11は端末装置12の機能を併せ持ち、端末装置12は撮像装置11の機能を併せ持つ。つまり、撮像装置11と端末装置12は、実際には同種の装置である。このため、撮像装置11が端末装置12になる場合もあれば、端末装置12が撮像装置11になる場合もある。したがって、観客23は、撮像装置11にて映像28を撮像しつつ、異なる視点の映像28を再生表示することができる。同じく、ユーザ25は、端末装置12にて異なる視点の映像28を再生表示しつつ、映像28を撮像することができる。撮像装置11と端末装置12は、具体的には、デジタルカメラ、スマートフォン、タブレット端末、ノート型のパーソナルコンピュータ等である。
映像配信サーバ10は、例えばサーバコンピュータ、ワークステーション等である。映像配信サーバ10は、ネットワーク13を通じて撮像装置11から映像情報24を受信する。また、映像配信サーバ10は、ネットワーク13を通じて端末装置12に映像情報24を配信する。なお、以下では、サッカーの試合中に、複数台の撮像装置11から映像配信サーバ10に映像情報24がリアルタイムで送信され、かつ、ユーザ25が端末装置12にて映像28をリアルタイムで視聴する例、すなわち、複数台の撮像装置11によって複数視点の映像28が撮像されている最中に、映像28の再生が行われている場合の例を述べる。
図2に示すように、映像情報24は、映像28と、撮像装置11の装置ID(Identification Data)と、撮像装置11が配された位置とを含む。映像28には音声が含まれ、端末装置12のタッチパネルディスプレイ26にて映像28を再生表示する際には、端末装置12のスピーカー(図示省略)から音声も出力される。装置IDは、撮像装置11を一意に識別するための記号、番号等である。撮像装置11が配された位置は、例えば撮像装置11に内蔵されたGPS(Global Positioning System)機能により検出された経緯度、高度である。
図3において、映像配信サーバ10および端末装置12を構成するコンピュータは、基本的には同じ構成であり、ストレージデバイス30、メモリ31、CPU(Central Processing Unit)32、通信部33、およびUI(User Interface)系デバイス34を備えている。これらはバスライン35を介して相互接続されている。
ストレージデバイス30は、映像配信サーバ10および端末装置12を構成するコンピュータに内蔵、またはケーブル、ネットワークを通じて接続されたハードディスクドライブである。もしくはストレージデバイス30は、ハードディスクドライブを複数台連装したディスクアレイである。ストレージデバイス30には、オペレーティングシステム等の制御プログラム、各種アプリケーションプログラム(以下、AP(Application Program)と略す)、およびこれらのプログラムに付随する各種データ等が記憶されている。なお、ハードディスクドライブに代えてソリッドステートドライブを用いてもよい。
メモリ31は、CPU32が処理を実行するためのワークメモリである。CPU32は、ストレージデバイス30に記憶されたプログラムをメモリ31へロードして、プログラムにしたがった処理を実行することにより、コンピュータの各部を統括的に制御する。
通信部33は、ネットワーク13を介した各種情報の伝送制御を行うネットワークインターフェースである。UI系デバイス34は、ユーザ25に各種情報を表示し、かつユーザ25からの各種操作指示の入力を受け付ける。映像配信サーバ10においては、UI系デバイス34は、例えばディスプレイ、キーボード、マウスである。端末装置12においては、UI系デバイス34は、上述のタッチパネルディスプレイ26である。
なお、以下の説明では、映像配信サーバ10を構成するコンピュータの各部には添え字の「A」を、端末装置12を構成するコンピュータの各部には添え字の「B」をそれぞれ符号に付して区別する。
図4において、映像配信サーバ10のストレージデバイス30Aには、サーバプログラム40が記憶されている。サーバプログラム40が起動されると、映像配信サーバ10のCPU32Aは、メモリ31等と協働して、リードライト(以下、RW(Read Write)と略す)制御部50、要求受信部51、および配信制御部52として機能する。
RW制御部50は、ストレージデバイス30Aへの各種情報の記憶、およびストレージデバイス30A内の各種情報の読み出しを制御する。RW制御部50は、撮像装置11からの映像情報24を、ストレージデバイス30Aに記憶する。これにより、ストレージデバイス30Aには、複数の映像情報24が映像情報群55として記憶される。
RW制御部50は、映像情報群55を構成する複数の映像情報24のうち、切替候補となる視点の映像(以下、候補映像という)28C(図14参照)のフレーム画像28CFを、少なくとも1つストレージデバイス30Aから読み出す。図示は省略したが、RW制御部50は、フレーム画像28CFと併せて、候補映像28Cを含む映像情報24に登録された撮像装置11の装置IDも読み出す。RW制御部50は、読み出した候補映像28Cのフレーム画像28CFおよび撮像装置11の装置IDを配信制御部52に出力する。
また、RW制御部50は、映像情報群55を構成する複数の映像情報24のうち、端末装置12において再生する映像28を含む1つの映像情報24を、ストレージデバイス30Aから読み出す。RW制御部50は、読み出した映像情報24を配信制御部52に出力する。
要求受信部51は、端末装置12からの配信要求60を受信する。配信要求60は、映像情報24の配信を要求するものである。配信要求60は、端末装置12を一意に識別するための装置IDを含む。
また、要求受信部51は、端末装置12からの候補映像要求61を受信する。候補映像要求61は、候補映像28Cのフレーム画像28CFの配信を要求するものである。候補映像要求61は、端末装置12の装置ID、端末装置12が配された位置、およびタッチパネルディスプレイ26に対するユーザ25のジェスチャー操作の種類および操作量の情報を含む。端末装置12が配された位置は、撮像装置11の場合と同じく、例えば端末装置12に内蔵されたGPS機能により検出された経緯度、高度である。
さらに、要求受信部51は、端末装置12からの切替要求62を受信する。切替要求62は、現在再生中の映像28Pの視点から、1つの映像28に視点を切り替えるため、当該映像28を含む映像情報24の配信を要求するものである。切替要求62は、端末装置12の装置ID、および配信を要求する映像情報24の撮像装置11の装置IDを含む。要求受信部51は、配信要求60、候補映像要求61、および切替要求62を、RW制御部50および配信制御部52に出力する。なお、現在再生中の映像28Pは、本開示の技術に係る「第1の映像」の一例である。
配信制御部52は、端末装置12への映像情報24の配信を制御する。また、配信制御部52は、端末装置12へのフレーム画像28CFおよび撮像装置11の装置IDの配信を制御する。配信制御部52は、配信要求60、候補映像要求61、および切替要求62に含まれる端末装置12の装置IDによって、映像情報24、フレーム画像28CFおよび撮像装置11の装置IDの配信先の端末装置12を特定する。なお、映像情報24のうち、撮像装置11の装置IDと撮像装置11が配された位置とは、端末装置12には不要な情報である。このため、これら撮像装置11の装置IDと撮像装置11が配された位置とを除いた、映像28のみを含む映像情報24を端末装置12に配信してもよい。
図5において、端末装置12のストレージデバイス30Bには、映像共有AP70が記憶されている。映像共有AP70は、端末装置12を構成するコンピュータを、本開示の技術に係る「表示制御装置」として作動させるためのプログラムである。すなわち、映像共有AP70は、本開示の技術に係る「表示制御装置の作動プログラム」の一例である。
映像共有AP70が起動されると、端末装置12のCPU32Bは、メモリ31等と協働して、指示受付部75、要求送信部76、受信部77、および映像再生処理部78として機能する。CPU32Bは、本開示の技術に係る「プロセッサ」の一例である。
指示受付部75は、ユーザ25によりタッチパネルディスプレイ26に入力される様々な操作指示79を受け付ける。操作指示79には、映像情報24の配信指示、視点の切り替えを開始する切替開始指示、現在再生中の映像28Pの次に再生する映像の視点を確定させる切替確定指示等がある。指示受付部75は、操作指示79の情報を要求送信部76に出力する。
要求送信部76は、指示受付部75からの操作指示79の情報に応じた要求を映像配信サーバ10に送信する。例えば、要求送信部76は、映像情報24の配信指示に応じて、配信要求60を映像配信サーバ10に出力する。また、要求送信部76は、切替開始指示に応じて、候補映像要求61を映像配信サーバ10に出力する。さらに、要求送信部76は、切替確定指示に応じて、切替要求62を映像配信サーバ10に出力する。
受信部77は、映像配信サーバ10からの映像情報24を受信する。受信部77は、映像情報24を映像再生処理部78に出力する。また、受信部77は、映像配信サーバ10からのフレーム画像28CFおよび撮像装置11の装置IDを受信する。受信部77は、フレーム画像28CFを映像再生処理部78に、撮像装置11の装置IDを要求送信部76にそれぞれ出力する。
映像再生処理部78は、受信部77からの映像情報24に含まれる映像28を再生する処理を行う。具体的には、映像再生処理部78は、映像28を再生する映像再生画面80(図7も参照)を生成する。映像再生処理部78は、生成した映像再生画面80をタッチパネルディスプレイ26に出力する。
映像再生処理部78は、候補映像28Cのフレーム画像28CFに対して、場面内に存在する特定対象物体を強調する強調処理を行う(図10等参照)。また、映像再生処理部78は、強調処理後のフレーム画像28CFを、タッチパネルディスプレイ26に表示することにより、切替候補となる視点を提示する制御を行う。この際、フレーム画像28CFが複数ある場合、映像再生処理部78は、複数のフレーム画像28CFを、予め定められた時間間隔で切替表示する切替表示処理を行う(図10等参照)。すなわち、映像再生処理部78は、本開示の技術に係る「処理部」および「表示制御部」の一例である。
図6は、端末装置12において映像共有AP70が起動された場合に、タッチパネルディスプレイ26に表示される初期画面85である。初期画面85は、映像再生処理部78によって生成され、タッチパネルディスプレイ26に出力される。初期画面85には、ユーザ25が参加可能な映像共有グループの情報86が表示される。映像共有グループの情報86は、端末装置12が配された位置に基づいて導き出される。図6においては、端末装置12の位置が「富山県立競技場」内にあり、「富山県立競技場」で行われる「富山ツルギーズ VS 静岡ウルブス」のサッカーの試合の映像共有グループの情報86が表示された例を示している。なお、映像共有グループは、映像配信サーバ10の運営管理者が映像配信サーバ10に設定し、その情報を映像配信サーバ10から端末装置12に送信してもよい。あるいは、観客23またはユーザ25が映像配信サーバ10に設定し、その情報を映像配信サーバ10から端末装置12に送信してもよい。
ユーザ25は、情報86で示される映像共有グループに参加する意思がある場合、参加ボタン87を選択する。この参加ボタン87の選択が映像情報24の配信指示に該当し、要求送信部76は、参加ボタン87が選択されたことを契機に配信要求60を出力する。
図7は、端末装置12のタッチパネルディスプレイ26に表示される映像再生画面80の一例を示す。映像再生画面80には、映像28が再生表示される。
RW制御部50は、例えば、映像情報群55の中からランダムに選択して読み出した1つの映像情報24を、配信要求60に応じて最初に配信する映像情報24とする。あるいは、RW制御部50は、端末装置12から最も離れた位置にある撮像装置11で撮像している映像28を含む映像情報24を、最初に配信する映像情報24とする。さらには、RW制御部50は、現在視聴しているユーザ25が最も多い映像28を含む映像情報24、または過去の累積視聴回数が最も多い映像28を含む映像情報24を、最初に配信する映像情報24としてもよい。また、ユーザ25が選択した撮像装置11で撮像している映像28を含む映像情報24を、最初に配信する映像情報24としてもよい。この場合、撮像装置11が配された位置を示すアイコンが設けられた競技場20の俯瞰画像を有する画面をタッチパネルディスプレイ26に表示させ、ユーザ25に所望の撮像装置11のアイコンを選択させてもよい。
図8の表90に示すように、切替開始指示のジェスチャー操作には、左スワイプ操作、右スワイプ操作、ピンチイン操作、およびピンチアウト操作の4種類がある。左スワイプ操作は、例えば人差し指をタッチパネルディスプレイ26上で右から左に払う操作である。右スワイプ操作は、例えば人差し指をタッチパネルディスプレイ26上で左から右に払う操作である。ピンチイン操作は、例えば親指と人差し指を離した状態でタッチパネルディスプレイ26に接触させた後、親指と人差し指の一方または両方をタッチパネルディスプレイ26上で滑らせて、親指と人差し指同士を近付けるように移動させる操作である。ピンチアウト操作は、例えば親指と人差し指を近付けた状態でタッチパネルディスプレイ26に接触させた後、親指と人差し指の一方または両方をタッチパネルディスプレイ26上で滑らせて、親指と人差し指同士を離すように移動させる操作である。
各ジェスチャー操作には、その種類に応じた候補対象の撮像装置11が宛がわれている。候補対象の撮像装置11は、複数台の撮像装置11のうちの1台以上の撮像装置11である。この候補対象の撮像装置11によって撮像された映像28が、すなわち候補映像28Cである。映像再生処理部78は、候補対象の撮像装置11によって撮像された映像28のフレーム画像を、候補映像28Cのフレーム画像28CFとして扱う。
左スワイプ操作には、基準位置RPの右方に位置する撮像装置11が、右スワイプ操作には、基準位置RPの左方に位置する撮像装置11が、それぞれ候補対象の撮像装置11として宛がわれている。また、ピンチイン操作には、基準位置RPの後方に位置する撮像装置11が、ピンチアウト操作には、基準位置RPの前方に位置する撮像装置11が、それぞれ候補対象の撮像装置11として宛がわれている。基準位置RPは、例えば、現在再生中の映像28Pを撮像している撮像装置11が配された位置である。このように、指示受付部75は、ジェスチャー操作の種類に応じて、切替候補となる視点を変更する。なお、配信要求60に応じて最初に映像情報24を配信した場合の基準位置RPを、端末装置12が配された位置としてもよい。
候補対象の撮像装置11は、ジェスチャー操作の操作量に応じても変わる。すなわち、右スワイプ操作を例示した図9において、図9Aに示すように操作量が比較的小さい場合は、例えば基準位置RPに近い位置の1台の撮像装置11(図9Aでは基準位置RPの左隣りに位置する1台の撮像装置11)が、候補対象の撮像装置11とされる。この場合、映像配信サーバ10から端末装置12に配信されるフレーム画像28CFは、1つだけである。対して図9Bに示すように操作量が比較的大きい場合は、例えば基準位置RPから左に数えて計5台の撮像装置11が、候補対象の撮像装置11とされる。この場合、映像配信サーバ10から端末装置12に配信されるフレーム画像28CFは、5つになる。
切替確定指示のジェスチャー操作は、例えば、所望のフレーム画像28CFがタッチパネルディスプレイ26に表示された状態において、タッチパネルディスプレイ26の任意の箇所を人差し指等で1回軽く叩くシングルタップ操作である。
図10に示すように、強調処理は、候補映像28Cのフレーム画像28CFに対して、場面内に存在する特定対象物体を強調する処理である。より詳しくは、強調処理は、周知の画像認識技術を用いて、フレーム画像28CFから特定対象物体を抽出し(ステップST100)、フレーム画像28CFにおける、特定対象物体以外の背景を黒塗りにして非表示にする(ステップST110)処理である。特定対象物体は、映像配信サーバ10の運営管理者が映像配信サーバ10に設定し、その情報を映像配信サーバ10から端末装置12に送信してもよいし、ユーザ25が端末装置12に設定してもよい。
切替表示処理は、候補対象の撮像装置11が複数台あり、フレーム画像28CFが複数ある場合に行われる。切替表示処理は、強調処理後の複数のフレーム画像28CFを、予め定められた時間間隔(以下、設定時間間隔)で切替表示する(ステップST200)処理である。設定時間間隔は数秒間、例えば2秒間である。切替表示処理は、切替確定指示、または切替表示処理の終了指示があった場合(ステップST210でYES)に終了される。終了指示は、例えばタッチパネルディスプレイ26の任意の箇所を人差し指等で2回連続して軽く叩くダブルタップ操作である。
強調処理の具体例を示す図11において、映像再生処理部78は、フレーム画像28CFに映る選手100およびサッカーボール101を抽出する。次いで、映像再生処理部78は、選手100およびサッカーボール101以外のサッカーフィールド21を、ハッチングで示すように黒塗りにして非表示にし、フレーム画像28CFXとする。この場合、選手100およびサッカーボール101が、本開示の技術に係る「特定対象物体」の一例である。また、選手100およびサッカーボール101以外のサッカーフィールド21が、本開示の技術に係る「背景」の一例である。
図12は、フレーム画像28CFが複数ある場合の例である。この場合も図11の場合と同じく、映像再生処理部78は、フレーム画像28CF_1、28CF_2に映る選手100およびサッカーボール101を抽出する。そして、選手100およびサッカーボール101以外のサッカーフィールド21を黒塗りにして非表示にし、フレーム画像28CFX_1、28CFX_2とする。
続いて、映像再生処理部78は切替表示処理を行い、強調処理後のフレーム画像28CFX_1、28CFX_2を、設定時間間隔で映像再生画面80に切替表示する。
図13は、図12の例において、フレーム画像28CFX_1に対して切替確定指示が行われた場合を示している。この場合、映像再生処理部78は、切替開始指示前に再生されていた映像28Pに代えて、フレーム画像28CFX_1の元の候補映像28C_1を、映像再生画面80に再生表示する。なお、フレーム画像28CFX_1の元の候補映像28C_1は、本開示の技術に係る「第2の映像」の一例である。
図14に示すように、指示受付部75において切替開始指示が受け付けられる前は、映像再生画面80にて再生される映像28は、当然ながら現在再生中の映像28Pである。指示受付部75において切替開始指示が受け付けられた場合、映像再生画面80には、強調処理が行われて特定対象物体以外の背景が非表示とされたフレーム画像28CFXが表示され、これにより切替候補となる視点が提示される。このフレーム画像28CFXが表示された時点が、現在再生中の映像28Pの再生停止時点である。
図14では、フレーム画像28CFが1つである場合を例示しているが、フレーム画像28CFが複数ある場合は、切替表示処理が行われて、強調処理後の複数のフレーム画像28CFXが設定時間間隔で切替表示される。その後、指示受付部75において切替確定指示が受け付けられた場合、映像再生画面80にて再生される映像28は、切替確定指示がなされた候補映像28Cに切り替わる。この候補映像28Cは、指示受付部75において切替確定指示が受け付けられた時点に撮像されたものである。このように、映像再生処理部78は、切替確定指示によって確定された視点の候補映像28Cの再生を、候補映像28Cの撮像のタイミングに合わせてリアルタイムで開始する。このため、図13で示した候補映像28C_1は、フレーム画像28CF_1の撮像時点から、切替開始指示から切替確定指示までの時間分進んでいる。
次に、上記構成による作用について、図15~図17のフローチャートを参照して説明する。まず、サーバプログラム40が起動されると、図4で示したように、映像配信サーバ10のCPU32Aが、RW制御部50、要求受信部51、および配信制御部52として機能される。また、映像共有AP70が起動されると、図5で示したように、端末装置12のCPU32Bが、指示受付部75、要求送信部76、受信部77、および映像再生処理部78として機能される。
端末装置12のタッチパネルディスプレイ26には、図6で示した初期画面85が表示される。ユーザ25により参加ボタン87が選択された場合、映像情報24の配信指示が指示受付部75で受け付けられる(ステップST500)。そして、要求送信部76から映像配信サーバ10に配信要求60が送信される(ステップST510)。
映像配信サーバ10では、要求受信部51によって配信要求60が受信される(ステップST600)。配信要求60は、要求受信部51からRW制御部50および配信制御部52に出力される。
RW制御部50によって、映像再生画面80において最初に再生される映像28を含む映像情報24が、ストレージデバイス30Aの映像情報群55から読み出される(ステップST610)。読み出された映像情報24は、RW制御部50から配信制御部52に出力される。そして、配信制御部52によって、配信要求60の送信元の端末装置12に、映像情報24が配信される(ステップST620)。
端末装置12では、受信部77によって映像情報24が受信される(ステップST520)。映像情報24は、受信部77から映像再生処理部78に出力される。
映像再生処理部78によって、映像情報24に基づいて映像再生画面80が生成され、生成された映像再生画面80がタッチパネルディスプレイ26に表示される(ステップST530)。これにより、映像28がユーザ25の視聴に供される。ステップST530は、本開示の技術に係る「第1再生ステップ」の一例である。
ユーザ25は、映像28の視点を切り替えたい場合、映像再生画面80が表示されたタッチパネルディスプレイ26上で、図8で示した切替開始指示のジェスチャー操作のいずれかを行う。これにより、図16に示すように、切替開始指示が指示受付部75で受け付けられる(ステップST700)。そして、要求送信部76から映像配信サーバ10に候補映像要求61が送信される(ステップST710)。なお、ステップST700は、本開示の技術に係る「指示受付ステップ」および「第1指示受付ステップ」の一例である。
映像配信サーバ10では、要求受信部51によって候補映像要求61が受信される(ステップST800)。候補映像要求61は、要求受信部51からRW制御部50および配信制御部52に出力される。
RW制御部50によって、候補映像要求61に応じた候補映像28Cのフレーム画像28CFが、ストレージデバイス30Aから読み出される(ステップST810)。読み出されたフレーム画像28CFは、RW制御部50から配信制御部52に出力される。そして、配信制御部52によって、候補映像要求61の送信元の端末装置12に、フレーム画像28CFが配信される(ステップST820)。
端末装置12では、受信部77によって、フレーム画像28CFが受信される(ステップST720)。フレーム画像28CFは、受信部77から映像再生処理部78に出力される。
図10~図12で示したように、映像再生処理部78によって、フレーム画像28CFに対して強調処理が行われ、フレーム画像28CFXとされる(ステップST730)。そして、映像再生処理部78の制御の下、フレーム画像28CFXが映像再生画面80に表示される。フレーム画像28CFXが複数ある場合は、複数のフレーム画像28CFXが設定時間間隔で切替表示される(ステップST740)。これにより、切替候補となる視点がユーザ25に提示される。ステップST730は、本開示の技術に係る「処理ステップ」の一例である。また、ステップST740は、本開示の技術に係る「表示制御ステップ」の一例である。
ユーザ25は、所望の視点のフレーム画像28CFXが映像再生画面80に表示された状態において、タッチパネルディスプレイ26の任意の箇所に対してシングルタップ操作を行う。これにより、図17に示すように、切替確定指示が指示受付部75で受け付けられる(ステップST900)。そして、要求送信部76から映像配信サーバ10に切替要求62が送信される(ステップST910)。ステップST900は、本開示の技術に係る「第2指示受付ステップ」の一例である。
映像配信サーバ10では、要求受信部51によって切替要求62が受信される(ステップST1000)。切替要求62は、要求受信部51からRW制御部50および配信制御部52に出力される。
RW制御部50によって、切替要求62に応じた候補映像28Cを含む映像情報24が、ストレージデバイス30Aの映像情報群55から読み出される(ステップST1010)。読み出された映像情報24は、RW制御部50から配信制御部52に出力される。そして、配信制御部52によって、切替要求62の送信元の端末装置12に、映像情報24が配信される(ステップST1020)。
端末装置12では、受信部77によって、映像情報24が受信される(ステップST920)。映像情報24は、受信部77から映像再生処理部78に出力される。
図13で示したように、映像再生処理部78によって、現在再生中の映像28Pから切替確定指示がなされた候補映像28Cに表示が切り替られる(ステップST930)。ステップST930は、本開示の技術に係る「第2再生ステップ」の一例である。
映像再生画面80においては、切替開始指示に応じて、現在再生中の映像28Pから、特定対象物体以外の背景が非表示にされた候補映像28Cのフレーム画像28CFXに表示が切り替わる。そして、切替確定指示に応じて、フレーム画像28CFXから候補映像28Cに表示が切り替わる。特定対象物体を強調する強調処理が行われたフレーム画像28CFXによれば、強調処理が行われない場合と比べて、ユーザ25は、特定対象物体が、どの視点でどういった見え方をするのかを把握しやすい。
強調処理は、フレーム画像28CFにおける、特定対象物体以外の背景を非表示にする処理である。こうした視覚効果を有する処理によれば、ユーザ25は、特定対象物体が、どの視点でどういった見え方をするのかをさらに把握しやすくなる。
フレーム画像28CFXが複数ある場合、映像再生処理部78は、強調処理後の複数のフレーム画像28CFXを、設定時間間隔で切替表示する制御を行う。このため、ユーザ25は、複数のフレーム画像28CFXを見比べることができ、自らが好む視点の候補映像28Cを容易に選択することができる。
映像再生処理部78は、切替確定指示によって確定された視点の候補映像28Cの再生を、候補映像28Cの撮像のタイミングに合わせてリアルタイムで開始する。このため、映像再生画面80に表示される映像28と実際の場面とに、切替開始指示から切替確定指示までの時間分の時間差が生じない。したがって、映像再生画面80に表示される映像28と実際の場面との時間差によって、ユーザ25が違和感を覚えることを防ぐことができる。
指示受付部75は、端末装置12のタッチパネルディスプレイ26に対する、図8で示したようなユーザ25の複数種のジェスチャー操作による指定を受け付ける。そして、映像再生処理部78は、ジェスチャー操作の種類に応じて、切替候補となる視点を変更する。このため、簡易なジェスチャー操作によって、各視点の映像28の映り具合を容易に確認することができる。
上記実施形態では、サッカーの試合中に、複数台の撮像装置11から映像配信サーバ10に映像情報24がリアルタイムで送信され、かつ、ユーザ25が端末装置12にて映像28をリアルタイムで視聴する例を挙げたが、これに限らない。撮像装置11から映像配信サーバ10への映像情報24の送信、および映像28の視聴のうちの少なくともいずれか一方は、サッカーの試合中にリアルタイムで行われなくてもよい。具体的には、サッカーの試合が終了した後に、撮像装置11から映像配信サーバ10に映像28を送信してもよい。また、サッカーの試合が終了した後に、ユーザ25が端末装置12にて映像28を視聴してもよい。すなわち、複数台の撮像装置11によって複数視点の映像28が撮像された後に、映像28の再生を行ってもよい。
なお、事後にユーザ25が端末装置12にて映像28を視聴する場合は、以下のような態様を採用してもよい。
上記実施形態では、図14で示したように、切替確定指示切によって確定された視点の候補映像28Cの再生を、候補映像28Cの撮像のタイミングに合わせてリアルタイムで開始する、とした。対して、事後にユーザ25が端末装置12にて映像28を視聴する場合は、図18に示すように、切替確定指示によって確定された視点の候補映像28Cの再生を、切替開始指示を受け付けた時点にタイムシフトして開始する。リアルタイムの視聴でない場合、映像再生画面80に表示される映像28と実際の場面とをユーザ25が見比べることはないため、図18に示す態様を採用しても、ユーザ25が違和感を覚える懸念はない。現在再生中の映像28Pと候補映像28Cとが時間差なく切り替わるため、事後に映像28を視聴するユーザ25にとっては、かえって自然な表示となる。
上記実施形態では、候補映像28Cに対してのみ強調処理を行っているが、これに限らない。例えば図19に示すように、現在再生中の映像28Pのフレーム画像28PFに対して強調処理を行って、フレーム画像28PFXとしてもよい。この場合、映像再生画面80にて再生される映像28は、現在再生中の映像28Pのフレーム画像28PF、強調処理後のフレーム画像28PFX、強調処理後の候補映像28Cのフレーム画像28CFXと順に推移する。なお、フレーム画像28PFXを含めて切替表示処理を行ってもよい。こうすれば、ユーザ25は、現在再生中の映像28Pの特定対象物体の映り具合と、候補映像28Cの特定対象物体の映り具合とを見比べたうえで、切替確定指示を行うことができる。
切替確定指示がなされた候補映像28Cの再生を開始する場合に、予め定められた期間、例えば2秒間、候補映像28Cを一時停止して表示してもよい。こうすれば、確かに候補映像28Cの視点に切り替わったことを、ユーザ25に印象付けることができる。
強調処理は、上記実施形態で例示した、特定対象物体以外の背景を非表示にする態様に限らない。例えば、特定対象物体の輪郭を、赤色等の特定の色の太線でなぞってもよい。あるいは、特定対象物体から光が照射されているようなアニメーションを合成してもよい。
撮像装置11にて映像28を撮像しつつ、異なる視点の映像28を再生表示する場合、および端末装置12にて異なる視点の映像28を再生表示しつつ、映像28を撮像する場合に、撮像している映像28と再生表示している映像28のいずれか一方を親画面に、他方を子画面に表示してもよい。
なお、ジェスチャー操作は、例示の左スワイプ操作、右スワイプ操作、ピンチイン操作、ピンチアウト操作に限らない。例えば、ピンチイン操作を下スワイプ操作、ピンチアウト操作を上スワイプ操作に代えてもよい。
切替開始指示は、例示のジェスチャー操作に限らない。映像再生画面80上に設けられた十字ボタン等のGUI(Graphical User Interface)によって、切替開始指示を入力してもよい。あるいは、映像再生画面80にボタンを設け、当該ボタンが操作された場合に、全ての撮像装置11の映像28を候補映像28Cとして扱い、全ての撮像装置11の映像28のフレーム画像を強調処理したフレーム画像を、設定時間間隔で切替表示してもよい。こうすれば、全ての撮像装置11の映像28の中から、再生する映像28を選択することができる。
強調処理後の複数のフレーム画像CFXの表示を、スワイプ操作等で手動で切り替えてもよい。この場合、強調処理後のフレーム画像CFXが、予め定められた期間切り替えられずに継続して表示されていた場合は、切替確定指示を待たずに、当該フレーム画像CFXの元の候補映像28Cに切り替えてもよい。
上記実施形態では、場面としてサッカーの試合を例示したが、これに限らない。陸上競技、野球、バスケットボール、バレーボール、バドミントン、卓球、ラグビー、アメリカンフットボール等、他のスポーツの試合であってもよい。また、競馬場、コンサート、発表会、運動会、結婚式等であってもよい。あるいは、複数台の監視カメラによって撮像される街頭でもよい。このため、特定対象物体は、例示した選手100およびサッカーボール101に限らない。全ての映像28に映っている人物を抽出して、抽出した人物を特定対象物体としてもよい。
映像配信サーバ10および端末装置12を構成するコンピュータのハードウェア構成は、処理能力、安全性、信頼性等の要求される性能に応じて適宜変更することができる。さらに、ハードウェアに限らず、サーバプログラム40等のAPについても、安全性および信頼性の確保を目的として、二重化したり、あるいは、複数のストレージデバイスに分散して格納することももちろん可能である。
上記実施形態では、映像再生画面80にて再生表示する映像28を含む1つの映像情報24を、映像配信サーバ10から端末装置12に配信しているが、これに限らない。図20に示すように、配信要求60に応じて、映像配信サーバ10から端末装置12に映像情報群55を配信してもよい。
この場合、端末装置12の受信部77は、映像情報群55を受信する。端末装置12のCPU32Bには、上記の各処理部75~78に加えて、RW制御部50と同じ機能を有するRW制御部が設けられる。RW制御部は、受信部77において受信した映像情報群55をストレージデバイス30Bに記憶する。また、RW制御部は、映像情報群55を構成する複数の映像情報24のうち、映像再生画面80にて再生表示する映像28を含む1つの映像情報24を、ストレージデバイス30Bから読み出す。そして、読み出した映像情報24を映像再生処理部78に出力する。このように、映像配信サーバ10から端末装置12に映像情報群55を配信する構成とすれば、端末装置12から映像配信サーバ10に候補映像要求61および切替要求62を送信する必要がなくなる。
本開示の技術に係る「表示制御装置」の機能の一部または全部を、映像配信サーバ10が担ってもよい。映像再生処理部78の機能を映像配信サーバ10が担う場合は、図21に示すように、映像配信サーバ10は、端末装置12からの配信要求60、候補映像要求61、および切替要求62に応じて、映像再生画面80を端末装置12に配信する。候補映像要求61に応じて配信する映像再生画面80には、強調処理に関する情報が付帯されている。強調処理に関する情報は、例えば、候補映像28Cのフレーム画像28CFにおいて、背景として黒塗りの非表示とする領域を示す情報を含む。映像配信サーバ10は、映像再生画面80を、例えばXML(Extensible Markup Language)等のマークアップ言語によって作成される画面データの形式で出力する。なお、XMLに代えて、JSON(Javascript(登録商標) Object Notation)等の他のデータ記述言語を利用してもよい。
なお、図22に示す映像再生画面105のように、現在再生中の映像28Pを撮像した撮像装置11を所持する観客23が入力したコメントの表示欄106を設けてもよい。表示欄106の数は、映像28の数と同数である。表示欄106は、映像28の切り替えに合わせて表示が切り替わる。
上記実施形態において、例えば、RW制御部50、要求受信部51、配信制御部52、指示受付部75、要求送信部76、受信部77、および映像再生処理部78といった各種の処理を実行する処理部(Processing Unit)のハードウェア的な構造としては、次に示す各種のプロセッサ(Processor)を用いることができる。各種のプロセッサには、ソフトウェア(サーバプログラム40、映像共有AP70)を実行して各種の処理部として機能する汎用的なプロセッサであるCPU32A、32Bに加えて、FPGA(Field Programmable Gate Array)等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス(Programmable Logic Device:PLD)、および/またはASIC(Application Specific Integrated Circuit)等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。
1つの処理部は、これらの各種のプロセッサのうちの1つで構成されてもよいし、同種または異種の2つ以上のプロセッサの組み合わせ(例えば、複数のFPGAの組み合わせ、および/または、CPUとFPGAとの組み合わせ)で構成されてもよい。また、複数の処理部を1つのプロセッサで構成してもよい。
複数の処理部を1つのプロセッサで構成する例としては、第1に、クライアントおよびサーバ等のコンピュータに代表されるように、1つ以上のCPUとソフトウェアの組み合わせで1つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第2に、システムオンチップ(System On Chip:SoC)等に代表されるように、複数の処理部を含むシステム全体の機能を1つのIC(Integrated Circuit)チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサの1つ以上を用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造としては、より具体的には、半導体素子等の回路素子を組み合わせた電気回路(Circuitry)を用いることができる。
本開示の技術は、上述の種々の実施形態および/または種々の変形例を適宜組み合わせることも可能である。また、上記実施形態に限らず、要旨を逸脱しない限り種々の構成を採用し得ることはもちろんである。さらに、本開示の技術は、プログラムに加えて、プログラムを非一時的に記憶する記憶媒体にもおよぶ。
以上に示した記載内容および図示内容は、本開示の技術に係る部分についての詳細な説明であり、本開示の技術の一例に過ぎない。例えば、上記の構成、機能、作用、および効果に関する説明は、本開示の技術に係る部分の構成、機能、作用、および効果の一例に関する説明である。よって、本開示の技術の主旨を逸脱しない範囲内において、以上に示した記載内容および図示内容に対して、不要な部分を削除したり、新たな要素を追加したり、置き換えたりしてもよいことはいうまでもない。また、錯綜を回避し、本開示の技術に係る部分の理解を容易にするために、以上に示した記載内容および図示内容では、本開示の技術の実施を可能にする上で特に説明を要しない技術常識等に関する説明は省略されている。
本明細書において、「Aおよび/またはB」は、「AおよびBのうちの少なくとも1つ」と同義である。つまり、「Aおよび/またはB」は、Aだけであってもよいし、Bだけであってもよいし、AおよびBの組み合わせであってもよい、という意味である。また、本明細書において、3つ以上の事柄を「および/または」で結び付けて表現する場合も、「Aおよび/またはB」と同様の考え方が適用される。
本明細書に記載された全ての文献、特許出願および技術規格は、個々の文献、特許出願および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
2 映像配信システム
10 映像配信サーバ
11 撮像装置
12 端末装置(表示制御装置)
13 ネットワーク
20 競技場
21 サッカーフィールド
22 観客席
23 観客
24 映像情報
25 ユーザ
26 タッチパネルディスプレイ
28 映像
28C 候補映像(第2の映像)
28CF、28CFX 候補映像のフレーム画像
28P 現在再生中の映像(第1の映像)
28PF、28PFX 現在再生中の映像のフレーム画像
30、30A、30B ストレージデバイス
31 メモリ
32、32A CPU
32B CPU(プロセッサ)
33 通信部
34 UI系デバイス
35 バスライン
40 サーバプログラム
50 リードライト制御部(RW制御部)
51 要求受信部
52 配信制御部
55 映像情報群
60 配信要求
61 候補映像要求
62 切替要求
70 映像共有アプリケーションプログラム(映像共有AP、表示制御装置の作動プログラム)
75 指示受付部
76 要求送信部
77 受信部
78 映像再生処理部(処理部、表示制御部)
79 操作指示
80、105 映像再生画面
85 初期画面
86 映像共有グループの情報
87 参加ボタン
90 表
100 選手(特定対象物体)
101 サッカーボール(特定対象物体)
106 表示欄
RP 基準位置
ST100、ST110、ST200、ST210、ST500、ST510、ST520、ST600、ST610、ST620、ST710、ST720、ST800、ST810、ST820、ST910、ST920、ST1000、ST1010、ST1020 ステップ
ST530 ステップ(第1再生ステップ)
ST700 ステップ(指示受付ステップ、第1指示受付ステップ)
ST730 ステップ(処理ステップ)
ST740 ステップ(表示制御ステップ)
ST900 ステップ(第2指示受付ステップ)
ST930 ステップ(第2再生ステップ)

Claims (9)

  1. 少なくとも1つのプロセッサを備え、
    前記プロセッサは、
    異なる位置に配された複数台の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像のうちの1つの視点の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付け、
    前記切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像であって、前記切替開始指示を受け付けたときに前記場面を撮像して得られた候補映像に対して、前記場面内に存在する特定対象物体を強調する強調処理を行い、
    前記強調処理後の前記候補映像を表示することにより、前記切替候補となる視点を提示する制御を行う、
    表示制御装置。
  2. 前記プロセッサは、
    前記強調処理として、前記候補映像のフレーム画像における、前記特定対象物体以外の背景を非表示にする処理を行う請求項1に記載の表示制御装置。
  3. 前記候補映像は複数あり、
    前記プロセッサは、
    前記強調処理後の複数の前記候補映像を、予め定められた時間間隔で切替表示する制御を行う請求項1または請求項2に記載の表示制御装置。
  4. 前記複数台の前記撮像装置によって前記複数視点の映像が撮像されている最中に、前記映像の再生が行われている場合において、
    前記プロセッサは、
    前記切替候補として提示された視点の中から、現在再生中の映像の次に再生する映像の視点を確定させる切替確定指示を受け付けた場合には、
    前記切替確定指示によって確定された視点の映像の再生を、前記撮像のタイミングに合わせてリアルタイムで開始する請求項1から請求項3のいずれか1項に記載の表示制御装置。
  5. 前記複数台の前記撮像装置によって前記複数視点の映像が撮像された後に、前記映像の再生が行われている場合において、
    前記プロセッサは、
    前記切替候補として提示された視点の中から、現在再生中の映像の次に再生する映像の視点を確定させる切替確定指示を受け付けた場合には、
    前記切替確定指示によって確定された視点の映像の再生を、前記切替開始指示を受け付けた時点にタイムシフトして開始する請求項1から請求項4のいずれか1項に記載の表示制御装置。
  6. 前記プロセッサは、
    前記映像を表示するタッチパネルディスプレイに対する、ユーザの複数種のジェスチャー操作による前記切替開始指示を受け付け、
    前記ジェスチャー操作の種類に応じて、前記切替候補となる視点を変更する請求項1から請求項5のいずれか1項に記載の表示制御装置。
  7. 異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像のうちの1つの視点の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付ける指示受付ステップと、
    前記切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像であって、前記切替開始指示を受け付けたときに前記場面を撮像して得られた候補映像に対して、前記場面内に存在する特定対象物体を強調する強調処理を行う処理ステップと、
    前記強調処理後の前記候補映像を表示することにより、前記切替候補となる視点を提示する制御を行う表示制御ステップと、
    を備える表示制御装置の作動方法。
  8. 異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像ののうちの1つの視点の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付ける指示受付部と、
    前記切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像であって、前記切替開始指示を受け付けたときに前記場面を撮像して得られた候補映像に対して、前記場面内に存在する特定対象物体を強調する強調処理を行う処理部と、
    前記強調処理後の前記候補映像を表示することにより、前記切替候補となる視点を提示する制御を行う表示制御部として、
    コンピュータを機能させる表示制御装置の作動プログラム。
  9. 異なる位置に配された複数の撮像装置によって同じタイミングで同じ場面を撮像して得られた複数視点の映像のうちの1つの視点の映像である第1の映像を再生する第1再生ステップと、
    前記第1の映像の再生中に、視点の切り替えを開始する切替開始指示を受け付ける第1指示受付ステップと、
    前記切替開始指示を受け付けた場合、切替候補となる視点の映像である候補映像であって、前記切替開始指示を受け付けたときに前記場面を撮像して得られた候補映像に対して、前記場面内に存在する特定対象物体を強調する強調処理を行う処理ステップと、
    前記強調処理後の前記候補映像を表示することにより、前記切替候補となる視点を提示する制御を行う表示制御ステップと、
    前記切替候補として提示された視点の中から、前記第1の映像の次に再生する第2の映像の視点を確定させる切替確定指示を受け付ける第2指示受付ステップと、
    前記切替確定指示によって確定された視点の前記第2の映像を再生する第2再生ステップと、
    を備える表示制御装置の作動方法。
JP2020050061A 2020-03-19 2020-03-19 表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラム Active JP7301772B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020050061A JP7301772B2 (ja) 2020-03-19 2020-03-19 表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020050061A JP7301772B2 (ja) 2020-03-19 2020-03-19 表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラム

Publications (2)

Publication Number Publication Date
JP2021150863A JP2021150863A (ja) 2021-09-27
JP7301772B2 true JP7301772B2 (ja) 2023-07-03

Family

ID=77849542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020050061A Active JP7301772B2 (ja) 2020-03-19 2020-03-19 表示制御装置、表示制御装置の作動方法、表示制御装置の作動プログラム

Country Status (1)

Country Link
JP (1) JP7301772B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181043A (ja) 2008-01-31 2009-08-13 Sony Corp 映像信号処理装置、画像信号処理方法、プログラム、記録媒体
WO2013161319A1 (ja) 2012-04-27 2013-10-31 パナソニック株式会社 コンテンツ再生方法、コンテンツ再生システムおよびコンテンツ撮影装置
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
WO2016139906A1 (ja) 2015-03-04 2016-09-09 パナソニックIpマネジメント株式会社 人物追跡方法および人物追跡装置
JP2019106144A (ja) 2017-12-14 2019-06-27 キヤノン株式会社 仮想視点画像を生成するシステム、方法及びプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009181043A (ja) 2008-01-31 2009-08-13 Sony Corp 映像信号処理装置、画像信号処理方法、プログラム、記録媒体
WO2013161319A1 (ja) 2012-04-27 2013-10-31 パナソニック株式会社 コンテンツ再生方法、コンテンツ再生システムおよびコンテンツ撮影装置
JP2015187797A (ja) 2014-03-27 2015-10-29 シャープ株式会社 画像データ生成装置および画像データ再生装置
WO2016139906A1 (ja) 2015-03-04 2016-09-09 パナソニックIpマネジメント株式会社 人物追跡方法および人物追跡装置
JP2019106144A (ja) 2017-12-14 2019-06-27 キヤノン株式会社 仮想視点画像を生成するシステム、方法及びプログラム

Also Published As

Publication number Publication date
JP2021150863A (ja) 2021-09-27

Similar Documents

Publication Publication Date Title
US20210344991A1 (en) Systems, methods, apparatus for the integration of mobile applications and an interactive content layer on a display
US10499118B2 (en) Virtual and augmented reality system and headset display
US20210019982A1 (en) Systems and methods for gesture recognition and interactive video assisted gambling
US20180316948A1 (en) Video processing systems, methods and a user profile for describing the combination and display of heterogeneous sources
US20180316939A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316947A1 (en) Video processing systems and methods for the combination, blending and display of heterogeneous sources
US9026596B2 (en) Sharing of event media streams
EP3363511B1 (en) Video generating system, control device, and editing device
US20180316942A1 (en) Systems and methods and interfaces for video processing, combination and display of heterogeneous sources
US20170316606A1 (en) Methods and Systems for Creating and Manipulating an Individually-Manipulable Volumetric Model of an Object
US11284137B2 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US11363325B2 (en) Augmented reality apparatus and method
US20170318275A1 (en) Methods and Systems for Creating and Providing a Real-Time Volumetric Representation of a Real-World Event
CN111866539B (zh) 直播界面的切换方法、装置、终端及存储介质
US20180316944A1 (en) Systems and methods for video processing, combination and display of heterogeneous sources
US20180316943A1 (en) Fpga systems and methods for video processing, combination and display of heterogeneous sources
US20180316946A1 (en) Video processing systems and methods for display, selection and navigation of a combination of heterogeneous sources
US11302038B2 (en) System and method for generating an augmented reality experience
US11383164B2 (en) Systems and methods for creating a non-curated viewing perspective in a video game platform based on a curated viewing perspective
WO2018071781A2 (en) Systems and methods for video processing and display
US20180316941A1 (en) Systems and methods for video processing and display of a combination of heterogeneous sources and advertising content
US20180316940A1 (en) Systems and methods for video processing and display with synchronization and blending of heterogeneous sources
US20200104030A1 (en) User interface elements for content selection in 360 video narrative presentations
WO2017112520A9 (en) Video display system
JP7202935B2 (ja) 注目度算出装置、注目度算出方法、および注目度算出プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220124

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230530

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230621

R150 Certificate of patent or registration of utility model

Ref document number: 7301772

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150