JPWO2019038885A1 - 情報処理装置および画像出力方法 - Google Patents

情報処理装置および画像出力方法 Download PDF

Info

Publication number
JPWO2019038885A1
JPWO2019038885A1 JP2019537504A JP2019537504A JPWO2019038885A1 JP WO2019038885 A1 JPWO2019038885 A1 JP WO2019038885A1 JP 2019537504 A JP2019537504 A JP 2019537504A JP 2019537504 A JP2019537504 A JP 2019537504A JP WO2019038885 A1 JPWO2019038885 A1 JP WO2019038885A1
Authority
JP
Japan
Prior art keywords
image
camera
information
control unit
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019537504A
Other languages
English (en)
Other versions
JP6921204B2 (ja
Inventor
晋平 山口
晋平 山口
篠原 隆之
隆之 篠原
智 又吉
智 又吉
森貞 英彦
英彦 森貞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2019038885A1 publication Critical patent/JPWO2019038885A1/ja
Application granted granted Critical
Publication of JP6921204B2 publication Critical patent/JP6921204B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

画像取得部40は、受付部34が受け付けたユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得する。表示制御部50は、複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を出力する。受付部34が、縮小画像の選択操作を受け付けると、表示制御部50は、複数の縮小画像の配置はそのままに、選択された縮小画像を引き伸ばして背景画像とした表示画像を生成する。表示制御部50は、選択操作された縮小画像に対して、選択されたことを示すマークを付加する。

Description

本発明は、カメラで撮影した画像を出力する技術に関する。
ヘッドマウントディスプレイ(HMD)はユーザの視野全体に画像を提供し、ユーザの映像世界への没入感を高める。HMDにヘッドトラッキング機能をもたせ、ユーザの頭部の姿勢や位置と連動して3次元空間の画像を提供することで、映像世界への没入感をさらに高められるようになる。
たとえばコンサート会場を撮影したカメラ映像をHMDにライブ配信することで、会場にいるかのような臨場感をユーザに与えられることが期待される。コンサート会場に複数のカメラが設置されている場合、ユーザは、視聴したいカメラ映像を自由に選択できることが好ましい。なおHMDを利用する場合に限らず、テレビなどの出力装置にカメラ映像をライブ配信する場合であっても、ユーザがカメラ映像を自由に選択できるように、選択肢を効果的にユーザに提示するユーザインタフェースが提供されることが好ましい。
本発明はこうした課題に鑑みてなされたものであり、その目的は、複数のカメラで撮影した撮影画像の選択肢を効果的にユーザに提示する技術を提供することにある。
上記課題を解決するために、本発明のある態様の情報処理装置は、ユーザ操作を受け付ける受付部と、受付部が受け付けたユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得する画像取得部と、複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を出力する表示制御部と、を備える。
本発明の別の態様は、画像出力方法であって、ユーザ操作を受け付けるステップと、ユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得するステップと、複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を出力するステップとを有する。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを読み取り可能に記録した記録媒体、データ構造などの間で変換したものもまた、本発明の態様として有効である。
本発明によれば、複数のカメラで撮影した撮影画像の選択肢をユーザに提示する技術を提供できる。
実施例における情報処理システムの構成例を示す図である。 HMDの外観形状の例を示す図である。 HMDの機能ブロックを示す図である。 情報処理装置の機能ブロックを示す図である。 HMDに表示されるライブ映像の一例を示す図である。 表示する撮影画像をユーザが決定するためのユーザインタフェースを示す図である。 縮小画像の選択が変更された状態を示す図である。 ユーザインタフェースを拡大表示した例を示す図である。
図1は、実施例における情報処理システム1の構成例を示す。情報処理システム1は、情報処理装置10と、ヘッドマウントディスプレイ(HMD)100と、ユーザが手指で操作する入力装置16と、HMD100を装着したユーザを撮影する撮像装置14と、画像を表示する出力装置15とを備える。出力装置15はテレビであってよい。情報処理装置10は、アクセスポイント(AP)17を介して、インターネットなどの外部のネットワーク2に接続される。AP17は無線アクセスポイントおよびルータの機能を有し、情報処理装置10はAP17とケーブルで接続してもよく、既知の無線通信プロトコルで接続してもよい。
情報処理装置10は、ネットワーク2経由で、配信サーバ18と接続する。配信サーバ18は、コンサートホールやサッカー場などのイベント会場で、複数のカメラで撮影した撮影画像をライブ中継するストリーミング配信装置である。実施例においてイベント会場では、6台のカメラA〜Fがそれぞれ異なる位置で、ステージに向けられて設置されている。
このイベント会場は、2階席のあるコンサートホールであってよい。ここでカメラBは、ステージ正面近くの客席に配置されており、カメラA、Cは、ステージの両脇に配置されている。またカメラD〜Fは、会場の2階席にそれぞれ配置され、ステージに向かってカメラDは2階席の左側、カメラEは2階席の中央、カメラFは2階席の右側にそれぞれ配置されている。各カメラの撮影形式はライブ中継の演出用途に応じて異なってよく、カメラA、C、Eは魚眼カメラ、カメラB、D、Fは通常のカメラであってよい。なお各カメラの撮影方向は固定されていてもよいが、特定の対象者の動きに合わせて動かされてもよい。
HMD100はユーザの頭部に装着されて映像世界をユーザに提供する。実施例でHMD100は、配信サーバ18から提供されるカメラ映像をユーザに提供する。HMD100にヘッドトラッキング機能をもたせ、ユーザの頭部の動きに連動して表示画像を更新することで、イベント会場の臨場感を与えられるようになる。実施例でユーザは頭部の姿勢や位置を動かすことで、所望の視線方向、視点位置で、ライブ映像を見ることができる。
情報処理装置10は、処理装置11、出力制御装置12および記憶装置13を備える。処理装置11は、ユーザにより入力装置16に入力された操作情報を受け付けて、配信サーバ18から配信されるカメラ映像をHMD100に提供する端末装置である。処理装置11と入力装置16とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。なお実施例の処理装置11は、HMD100の位置情報および姿勢情報を、視線位置および視線方向を変更するためのユーザの操作情報として受け付けて、HMD100に表示する画像を更新する機能をもつ。出力制御装置12は、処理装置11で生成された画像データをHMD100に出力する処理ユニットであり、出力制御装置12とHMD100とはケーブルで接続されてよく、また既知の無線通信プロトコルで接続されてもよい。
撮像装置14はステレオカメラであって、HMD100を装着したユーザを所定の周期で撮影し、撮影画像を処理装置11に供給する。後述するがHMD100にはユーザ頭部をトラッキングするためのマーカ(トラッキング用LED)が設けられ、処理装置11は、撮影画像に含まれるマーカの位置にもとづいてHMD100の動きを検出する。なおHMD100には姿勢センサ(加速度センサおよびジャイロセンサ)が搭載され、処理装置11は、姿勢センサで検出されたセンサデータをHMD100から取得することで、マーカの撮影画像の利用とあわせて、高精度のトラッキング処理を実施する。なおトラッキング処理については従来より様々な手法が提案されており、処理装置11はHMD100の動きを検出できるのであれば、どのようなトラッキング手法を採用してもよい。
ユーザはHMD100で画像を見るため、HMD100を装着したユーザにとって出力装置15は必ずしも必要ではないが、出力装置15を用意することで、別のユーザが出力装置15の表示画像を見ることができる。出力制御装置12または処理装置11は、HMD100を装着したユーザが見ている画像と同じ画像を出力装置15に表示させてよい。
HMD100は、ユーザが頭部に装着することによりその眼前に位置する表示パネルに画像を表示する表示装置である。HMD100は、左目用表示パネルに左目用の画像を、右目用表示パネルに右目用の画像を、それぞれ別個に表示する。これらの画像は左右の視点から見た視差画像を構成し、立体視を実現する。なおユーザは光学レンズを通して表示パネルを見るため、情報処理装置10は、レンズによる光学歪みを補正した視差画像データをHMD100に供給する。この光学歪みの補正処理は、処理装置11、出力制御装置12のいずれが行ってもよい。
出力制御装置12による機能は、処理装置11に組み込まれてよい。情報処理装置10の処理ユニットは、1台の処理装置11から構成されても、また処理装置11および出力制御装置12から構成されてもよい。以下、画像をHMD100に提供する機能を、まとめて情報処理装置10の機能として説明する。
情報処理装置10は、ユーザのヘッドトラッキング処理を行うことで、ユーザ頭部(実際にはHMD100)の位置座標および姿勢を検出する。ここでHMD100の位置座標とは、基準位置を原点とした3次元空間における位置座標であり、基準位置はHMD100の電源がオンされたときの位置座標(緯度、経度)であってよい。またHMD100の姿勢とは、3次元空間における基準姿勢に対する3軸方向の傾きである。なお基準姿勢は、ユーザの視線方向が水平方向となる姿勢であり、HMD100の電源がオンされたときに基準姿勢が設定されてよい。
情報処理装置10は、HMD100の姿勢センサが検出したセンサデータのみから、HMD100の位置座標および姿勢を検出でき、さらに撮像装置14で撮影したHMD100のマーカ(トラッキング用LED)を画像解析することで、高精度にHMD100の位置座標および姿勢を検出できる。
図2は、HMD100の外観形状の例を示す。HMD100は、出力機構部102および装着機構部104から構成される。装着機構部104は、ユーザが被ることにより頭部を一周してHMD100を頭部に固定する装着バンド106を含む。装着バンド106はユーザの頭囲に合わせて長さの調節が可能な素材または構造をもつ。
出力機構部102は、HMD100をユーザが装着した状態において左右の目を覆う形状の筐体108を含み、内部には装着時に目に正対する表示パネルを備える。表示パネルは液晶パネルや有機ELパネルなどであってよい。筐体108内部にはさらに、表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する左右一対の光学レンズが備えられる。HMD100はさらに、ユーザの耳に対応する位置にスピーカーやイヤホンを備えてよく、外付けのヘッドホンが接続されるように構成されてもよい。
筐体108の外面には、発光マーカ110a、110b、110c、110dが備えられる。この例ではトラッキング用LEDが発光マーカ110を構成するが、その他の種類のマーカであってよく、いずれにしても撮像装置14により撮影されて、情報処理装置10がマーカ位置を画像解析できるものであればよい。発光マーカ110の数や配置は特に限定されないが、HMD100の姿勢や位置を検出できるための数および配置である必要があり、図示した例では筐体108の前面の4隅に設けている。さらにユーザが撮像装置14に対して背を向けたときにも撮影できるように、発光マーカ110は装着バンド106の側部や後部に設けられてもよい。
HMD100は、情報処理装置10にケーブルで接続されても、既知の無線通信プロトコルで接続されてもよい。HMD100は、姿勢センサが検出したセンサデータを情報処理装置10に送信し、また情報処理装置10から出力された画像データを受信して、左目用表示パネルおよび右目用表示パネルに表示する。
図3は、HMD100の機能ブロックを示す。制御部120は、画像データ、音声データ、センサデータなどの各種データや、命令を処理して出力するメインプロセッサである。記憶部122は、制御部120が処理するデータや命令などを一時的に記憶する。姿勢センサ124は、HMD100の姿勢情報を検出する。姿勢センサ124は、少なくとも3軸の加速度センサおよび3軸のジャイロセンサを含む。
通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、制御部120から出力されるデータを外部の情報処理装置10に送信する。また通信制御部128は、ネットワークアダプタまたはアンテナを介して、有線または無線通信により、情報処理装置10からデータを受信し、制御部120に出力する。
制御部120は、画像データや音声データを情報処理装置10から受け取ると、表示パネル130に供給して表示させ、また音声出力部132に供給して音声出力させる。表示パネル130は、左目用表示パネル130aと右目用表示パネル130bから構成され、各表示パネルに一対の視差画像が表示される。また制御部120は、姿勢センサ124からのセンサデータや、マイク126からの音声データを、通信制御部128から情報処理装置10に送信させる。
図4は、情報処理装置10の機能ブロックを示す。情報処理装置10は、外部との入出力インタフェースとして、センサデータ受信部20、カメラ画像受信部22、入力データ受信部24、画像取得部40および画像提供部52を備える。情報処理装置10は、さらにHMD情報取得部30、視線情報決定部32、受付部34および表示制御部50を備える。
図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
センサデータ受信部20は、ユーザが装着したHMD100の姿勢センサ124から所定の周期でセンサデータを受信して、HMD情報取得部30に供給する。カメラ画像受信部22は、撮像装置14から所定の周期でHMD100を撮影した画像を受信して、HMD情報取得部30に供給する。たとえば撮像装置14は(1/60)秒ごとに前方の空間を撮影し、カメラ画像受信部22は(1/60)秒ごとにカメラ画像を受信する。実施例においてHMD情報取得部30は、センサデータおよび撮影画像から、ユーザの頭部に装着されたHMD100の姿勢を示す姿勢情報および位置を示す位置情報を導出する。HMD情報取得部30は、導出した姿勢情報および位置情報を、視線情報決定部32に供給する。
HMD情報取得部30は、姿勢センサ124のセンサデータから、HMD100の姿勢および位置の変化を検出する。このときHMD情報取得部30は3軸ジャイロセンサのセンサデータから、HMD100の姿勢変化を特定し、3軸加速度センサのセンサデータから位置変化を特定してよい。なおHMD情報取得部30は、トラッキング用の発光マーカ110の撮影結果をさらに利用して、姿勢変化および位置変化の検出精度を高めることが好ましい。視線情報決定部32は、HMD100の姿勢情報および位置情報に応じてユーザの視線方向および視点位置を定める。視線情報決定部32は、決定した視線方向および視点位置を、表示制御部50に提供する。なお視線情報決定部32は、視線方向および視点位置の双方ではなく、いずれか一方だけを決定して、表示制御部50に提供してもよい。
入力データ受信部24は入力装置16から、ユーザが入力したキーデータを受信して、受付部34に供給する。受付部34は、入力装置16に入力されたユーザ操作を受け付ける。
情報処理装置10は、イベント会場で開催されているライブイベントの撮影映像を配信サーバ18から取得して、HMD100に提供する機能をもつ。この映像提供機能は、配信サーバ18にアクセスして撮影映像を取得し、HMD100に提供するライブ中継アプリケーションにより実現される。ユーザはコンテンツサーバからライブ中継アプリケーションを情報処理装置10にダウンロードすることで、ライブ中継アプリケーションを利用できるようになる。
ユーザがライブ中継アプリケーションを起動すると、画像取得部40が、カメラ画像の配信要求を配信サーバ18に送信する。配信サーバ18は、情報処理装置10からの配信要求を受けて、配信用にデフォルト設定されているカメラ(たとえばカメラB)の撮影画像を、情報処理装置10にストリーミング配信する。画像取得部40は、ストリーミング配信されるカメラ撮影画像を取得し、表示制御部50に提供する。後述するが、このとき画像取得部40は、高解像度のカメラ撮影画像を取得している。
図5は、HMD100に表示されるライブ映像の一例を示す。ここで<画像B>は、カメラBにより撮影されているライブ画像であることを示す。表示制御部50は、画像取得部40が取得した高解像度のカメラ撮影画像を用いて、HMD100の視線方向および視点位置に応じた表示画像を生成して、画像提供部52に出力する。このとき表示制御部50は、左目用の表示画像と右目用の表示画像を生成する。画像提供部52が、左目用表示画像と右目用表示画像をHMD100に提供し、HMD100が、表示パネル130に表示する。これによりユーザは、イベント会場で配信用にデフォルト設定されているカメラBの撮影画像を視聴できる。この状態でユーザは、入力装置16の所定のボタンを操作すると、視聴しているカメラ撮影画像を切り替えるためのユーザインタフェースを表示パネル130に表示させられる。
受付部34が、表示する撮影画像をユーザが決定するためのユーザインタフェースを表示させるユーザ操作を受け付ける。このユーザ操作は、たとえば入力装置16の所定のボタンの押下操作であってよい。この所定ボタンは、ユーザインタフェースの表示、非表示を決定するためのボタンである。高解像度のカメラ撮影画像が表示されている状態で、所定ボタンが押下操作されると、カメラ撮影画像が低解像度で表示されるとともに、表示画像を決定するためのユーザインタフェースが重畳表示される。一方、ユーザインタフェースが重畳表示された状態で、所定ボタンが押下操作されると、ユーザインタフェースが非表示とされて、高解像度のカメラ撮影画像が表示されるようになる。
ユーザインタフェースが非表示の状態で、受付部34が、所定ボタンの押下操作を受け付けると、画像取得部40が、複数のカメラ画像の配信要求を配信サーバ18に送信する。配信サーバ18は、情報処理装置10からの配信要求を受けて、複数のカメラA〜Fで撮影した撮影画像をそれぞれ縮小した(低解像度化した)複数の縮小画像をまとめて、情報処理装置10にストリーミング配信する。画像取得部40は、配信される複数のカメラA〜Fの縮小画像を取得し、表示制御部50に提供する。それぞれの縮小画像は、カメラ撮影画像の低解像度版となる。
表示制御部50は、HMD100の視線方向および視点位置にもとづいて、複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を生成して画像提供部52に出力する。
図6は、表示する撮影画像をユーザが決定するためのユーザインタフェースを示す。表示制御部50は、バックグランドにカメラ撮影画像を表示させつつ、ユーザインタフェース200を背景画像に重畳させた表示画像を生成する。表示制御部50は、複数の縮小画像をユーザインタフェース200に配置する。ユーザインタフェース200は、複数のカメラA〜Fが配置された会場を模した仮想会場を表現する形状を有し、仮想会場において、カメラA〜Fの位置に対応する位置に、各カメラ撮影画像の縮小画像が配置される。
具体的に表示制御部50は、実際の会場に配置されたカメラ位置に対応するユーザインタフェース200における位置に、表示ウィンドウ210を配置し、表示ウィンドウ210内で縮小画像を表示する。上記したように実際の会場で、カメラBは、ステージ正面近くの客席に、カメラA、Cは、ステージの両脇に配置されている。またステージに向かってカメラDは2階席の左側、カメラEは2階席の中央、カメラFは2階席の右側にそれぞれ配置されている。
そこで表示制御部50は、ユーザインタフェース200で表現される仮想会場において、カメラAの撮影画像を表示する表示ウィンドウ210aを左前方の位置に、カメラBの撮影画像を表示する表示ウィンドウ210bを中央前方の位置に、カメラCの撮影画像を表示する表示ウィンドウ210cを右前方の位置に、それぞれ配置する。また表示制御部50は、カメラDの撮影画像を表示する表示ウィンドウ210dを左後方の位置に、カメラEの撮影画像を表示する表示ウィンドウ210eを中央後方の位置に、カメラFの撮影画像を表示する表示ウィンドウ210fを右後方の位置に、それぞれ配置する。
このように表示制御部50が、仮想会場を表現したユーザインタフェース200を画面中に配置して、ユーザインタフェース200に複数の縮小画像を、実際の会場のカメラ位置に対応する位置に配置する。これによりユーザは、会場におけるカメラ位置を感覚的に理解するとともに、各表示ウィンドウ210に表示される縮小画像を確認することで、各カメラがどのような映像を撮影しているのかを知ることができる。
表示制御部50は、カメラA〜Fに関する情報を、各縮小画像に関連づけて配置する。ここでは表示制御部50が、カメラに関する情報として、カメラの撮影形式に関する情報を表示ウィンドウ210の下方に配置している。なお(16:9)は撮影画像のアスペクト比を、(魚眼)は魚眼レンズでの撮影であることを、それぞれ表現している。なお表示制御部50は、カメラに関する情報として、カメラの撮影方向に関する情報、撮影対象に関する情報などを、縮小画像に関連づけて配置してもよい。
また表示制御部50は、ユーザインタフェース200のバックグランドに、1つの縮小画像を引き伸ばした画像を表示させる。図6に示す例では、図5に示す状態で、ユーザインタフェース200の表示要求が生成されたために、カメラBの撮影画像がユーザインタフェース200の背景画像として、そのまま表示されている。なお図5に示す画面では、表示制御部50が、高解像度のカメラBの撮影画像を用いて表示画像を生成していたが、図6に示す画面では、表示制御部50が、低解像度のカメラBの縮小画像を引き伸ばして、背景画像を生成している。
表示制御部50は、バックグランド表示されている縮小画像の表示ウィンドウ210に、選択されていることを示す選択マーク220を付加する。ここでは表示ウィンドウ210bに選択マーク220が付加されており、ユーザは、バックグランド表示されている画像が、どのカメラによって撮影されたものであるか容易に知ることができる。
ユーザは入力装置16の矢印ボタンを操作して、バックグランド表示させる縮小画像を選択できる。受付部34が、ユーザによる縮小画像の選択操作として、矢印ボタン操作を受け付けると、表示制御部50は、矢印ボタン操作にしたがって、選択マーク220を、選択された表示ウィンドウ210の上方に配置するように動かす。このとき表示制御部50は、ユーザインタフェース200における複数の縮小画像の配置はそのままに、選択マーク220が上方に配置された表示ウィンドウ210の縮小画像を引き伸ばして背景画像とした表示画像を生成する。
図7は、縮小画像の選択が変更された状態を示す。図7に示す例では、選択マーク220が表示ウィンドウ210fの上方に付加されており、表示制御部50が、ユーザインタフェース200における複数の縮小画像の配置に変更を加えることなく、カメラFの縮小画像を引き伸ばして背景画像とした表示画像を生成している。バックグランド画像として表示されるカメラFの画像は低解像度であるが、ユーザは、プレビュー画面としてカメラFの画像を視聴することで、カメラFの撮影画像を表示画像として決定するべきか判断できる。
なお実施例において、表示画像はHMD100の姿勢情報、位置情報に連動し、ユーザは、HMD100を動かすことで、表示画像を変更できる。たとえばユーザは、撮像装置14に対して前方に移動することで、表示画像を拡大できる。
図8は、ユーザインタフェース200を拡大表示した例を示す。図8に示す例では、表示ウィンドウ210dが画面に拡大表示され、ユーザは、表示ウィンドウ210d内に表示されるカメラDの画像を確認しやすくなっている。このようにユーザインタフェース200は、複数の表示ウィンドウ210のそれぞれに縮小画像を表示した形態を有しているため、ユーザは、選択マーク220を動かさなくても、各表示ウィンドウ210を拡大表示することで、各カメラ画像の内容を容易に確認できるようになる。
ユーザインタフェース200が表示された状態で、ユーザが入力装置16の所定のボタンを操作すると、受付部34が、ユーザインタフェース200における縮小画像の決定操作として受け付ける。このとき画像取得部40は、選択マーク220が配置されているカメラ画像の配信要求を配信サーバ18に送信する。配信サーバ18は、情報処理装置10からの配信要求を受けて、指定されたカメラで撮影した高解像度の撮影画像を、情報処理装置10にストリーミング配信する。画像取得部40は、決定された縮小画像に対応する高解像度の撮影画像を取得し、表示制御部50は、取得した撮影画像を画像提供部52に出力する。このとき表示制御部50は、HMD100の視線方向および視点位置に応じた表示画像を生成して、画像提供部52に出力する。画像提供部52は、表示画像をHMD100に提供し、これによりユーザは、選択したカメラからのライブ映像を見ることができる。
以上、本発明を実施例をもとに説明した。実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、ユーザが自由にカメラ撮影画像を選択できるものとしたが、所定の表示モードを選択することで、配信サーバ18側で選択されたカメラ撮影画像が表示されるようにしてもよい。
変形例では、複数のスクリーンを仮想3次元空間に配置して、各スクリーンにおいて、カメラ撮影画像を表示させるようにしてもよい。このときユーザが複数のスクリーンの配置を自由に設定できるようにしてもよく、また各スクリーンに表示するカメラ撮影画像をユーザが自由に設定できるようにしてもよい。
実施例では、ライブ画像を配信することを説明したが、配信する画像はライブ画像でなくてよく、撮影済のものであってもよい。この場合、情報処理装置10は、配信サーバ18からカメラ撮影画像の提供を受けてもよく、またDVDなどの記録媒体からカメラ撮影画像を提供されてもよい。
1・・・情報処理システム、10・・・情報処理装置、18・・・配信サーバ、20・・・センサデータ受信部、22・・・カメラ画像受信部、24・・・入力データ受信部、30・・・HMD情報取得部、32・・・視線情報決定部、34・・・受付部、40・・・画像取得部、50・・・表示制御部、52・・・画像提供部、100・・・HMD。
本発明は、カメラ撮影画像を出力する技術に関する。

Claims (11)

  1. ユーザ操作を受け付ける受付部と、
    前記受付部が受け付けたユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得する画像取得部と、
    複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を出力する表示制御部と、
    を備えることを特徴とする情報処理装置。
  2. 前記受付部が、縮小画像の選択操作を受け付けると、前記表示制御部は、複数の縮小画像の配置はそのままに、選択された縮小画像を引き伸ばして背景画像とした表示画像を生成する、
    ことを特徴とする請求項1に記載の情報処理装置。
  3. 前記表示制御部は、選択操作された縮小画像に対して、選択されたことを示すマークを付加する、
    ことを特徴とする請求項2に記載の情報処理装置。
  4. 前記表示制御部は、複数の縮小画像を、表示する撮影画像を決定するためのユーザインタフェースに配置するものであって、
    前記受付部が、ユーザインタフェースにおいて縮小画像の決定操作を受け付けると、前記画像取得部は、決定された縮小画像に対応する高解像度の撮影画像を取得し、前記表示制御部は、取得した撮影画像を出力する、
    ことを特徴とする請求項1から3のいずれかに記載の情報処理装置。
  5. 前記画像取得部は、ストリーミング配信される画像を取得する、
    ことを特徴とする請求項1から4のいずれかに記載の情報処理装置。
  6. 前記表示制御部は、カメラに関する情報を、縮小画像に関連づけて配置する、
    ことを特徴とする請求項1から5のいずれかに記載の情報処理装置。
  7. 前記表示制御部は、カメラに関する情報として、カメラの撮影形式に関する情報、カメラの撮影方向に関する情報、撮影対象に関する情報の少なくとも1つを、縮小画像に関連づけて配置する、
    ことを特徴とする請求項6に記載の情報処理装置。
  8. 前記表示制御部は、複数のカメラが配置された会場を模した仮想会場を画面中に配置して、当該仮想会場に縮小画像を、カメラ位置に対応する位置に配置する、
    ことを特徴とする請求項1から7のいずれかに記載の情報処理装置。
  9. ユーザの頭部に装着されたヘッドマウントディスプレイの姿勢情報および/または位置情報を取得するHMD情報取得部と、
    ヘッドマウントディスプレイの姿勢情報および/または位置情報に応じて、視線方向および/または視点位置を定める視線情報決定部と、を備え、
    前記表示制御部は、視線方向および/または視点位置に応じて画像を生成する、
    ことを特徴とする請求項1から8のいずれかに記載の情報処理装置。
  10. ユーザ操作を受け付けるステップと、
    ユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得するステップと、
    複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した表示画像を出力するステップと、
    を有することを特徴とする画像出力方法。
  11. コンピュータに、
    ユーザ操作を受け付ける機能と、
    ユーザ操作にもとづいて、複数のカメラで撮影した撮影画像をそれぞれ縮小した複数の縮小画像を取得する機能と、
    複数の縮小画像のそれぞれを、撮影したカメラの位置に対応する位置に配置した画像を出力機能と、
    を実現させるためのプログラム。
JP2019537504A 2017-08-24 2017-08-24 情報処理装置および画像出力方法 Active JP6921204B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/030335 WO2019038885A1 (ja) 2017-08-24 2017-08-24 情報処理装置および画像出力方法

Publications (2)

Publication Number Publication Date
JPWO2019038885A1 true JPWO2019038885A1 (ja) 2020-05-28
JP6921204B2 JP6921204B2 (ja) 2021-08-18

Family

ID=65438474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019537504A Active JP6921204B2 (ja) 2017-08-24 2017-08-24 情報処理装置および画像出力方法

Country Status (2)

Country Link
JP (1) JP6921204B2 (ja)
WO (1) WO2019038885A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022015647A (ja) 2020-07-09 2022-01-21 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および画像表示方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344929A (ja) * 2001-05-21 2002-11-29 Toshiba Corp カメラ監視システム及び映像配信サーバ
JP2013242610A (ja) * 2012-05-17 2013-12-05 Denso Corp 車両用表示装置
JP2015015583A (ja) * 2013-07-04 2015-01-22 ブラザー工業株式会社 端末装置、及びプログラム
WO2017110632A1 (ja) * 2015-12-21 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP2017118347A (ja) * 2015-12-24 2017-06-29 株式会社コロプラ 映像コンテンツ配信システム及びコンテンツ管理サーバ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002344929A (ja) * 2001-05-21 2002-11-29 Toshiba Corp カメラ監視システム及び映像配信サーバ
JP2013242610A (ja) * 2012-05-17 2013-12-05 Denso Corp 車両用表示装置
JP2015015583A (ja) * 2013-07-04 2015-01-22 ブラザー工業株式会社 端末装置、及びプログラム
WO2017110632A1 (ja) * 2015-12-21 2017-06-29 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および操作受付方法
JP2017118347A (ja) * 2015-12-24 2017-06-29 株式会社コロプラ 映像コンテンツ配信システム及びコンテンツ管理サーバ

Also Published As

Publication number Publication date
WO2019038885A1 (ja) 2019-02-28
JP6921204B2 (ja) 2021-08-18

Similar Documents

Publication Publication Date Title
KR102502404B1 (ko) 정보 처리 장치 및 방법, 그리고 프로그램
JP6511386B2 (ja) 情報処理装置および画像生成方法
CN106165415B (zh) 立体观看
US10681276B2 (en) Virtual reality video processing to compensate for movement of a camera during capture
JP6845111B2 (ja) 情報処理装置および画像表示方法
JP6252849B2 (ja) 撮像装置および方法
US20100013738A1 (en) Image capture and display configuration
JP2015149634A (ja) 画像表示装置および方法
JP2020024417A (ja) 情報処理装置
JP2019046291A (ja) 情報処理装置および画像表示方法
EP3465631B1 (en) Capturing and rendering information involving a virtual environment
JP6649010B2 (ja) 情報処理装置
JP2018033107A (ja) 動画の配信装置及び配信方法
JP6518645B2 (ja) 情報処理装置および画像生成方法
JP6921204B2 (ja) 情報処理装置および画像出力方法
US9979930B2 (en) Head-wearable apparatus, 3D video call system and method for implementing 3D video call
WO2021049356A1 (ja) 再生装置、再生方法、及び記録媒体
JP2022015647A (ja) 情報処理装置および画像表示方法
JP6916896B2 (ja) 情報処理装置および画像生成方法
WO2022220306A1 (ja) 映像表示システム、情報処理装置、情報処理方法、及び、プログラム
US20240066394A1 (en) Information processing apparatus and image generation method
JP2005064681A (ja) 撮像・表示装置、撮像・表示システム、映像生成方法、この方法のプログラム、およびこのプログラムを記録した記録媒体
JP5779140B2 (ja) 映像生成システム及び映像生成方法
JP2024031114A (ja) 情報処理装置および画像生成方法
JP2021068296A (ja) 情報処理装置、ヘッドマウントディスプレイ、およびユーザ操作処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210629

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210727

R150 Certificate of patent or registration of utility model

Ref document number: 6921204

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150