JPWO2019208702A1 - 自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置 - Google Patents

自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置 Download PDF

Info

Publication number
JPWO2019208702A1
JPWO2019208702A1 JP2020515567A JP2020515567A JPWO2019208702A1 JP WO2019208702 A1 JPWO2019208702 A1 JP WO2019208702A1 JP 2020515567 A JP2020515567 A JP 2020515567A JP 2020515567 A JP2020515567 A JP 2020515567A JP WO2019208702 A1 JPWO2019208702 A1 JP WO2019208702A1
Authority
JP
Japan
Prior art keywords
viewpoint image
free viewpoint
display device
image
free
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020515567A
Other languages
English (en)
Other versions
JP7167134B2 (ja
Inventor
哲史 吉川
哲史 吉川
敏康 杉尾
敏康 杉尾
徹 松延
徹 松延
達也 小山
達也 小山
将貴 福田
将貴 福田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Panasonic Intellectual Property Corp of America
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Corp of America filed Critical Panasonic Intellectual Property Corp of America
Publication of JPWO2019208702A1 publication Critical patent/JPWO2019208702A1/ja
Application granted granted Critical
Publication of JP7167134B2 publication Critical patent/JP7167134B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Processing Or Creating Images (AREA)

Abstract

自由視点画像生成方法は、自由視点画像の生成対象の第１の場所を示す場所情報と、自由視点画像の生成対象の第１の時間帯を示す第１の時間情報とを表示装置（１０３）から受信し（Ｓ３０１）、第１の場所が第１の時間帯において撮影された第１映像を表示装置（１０３）に送信し（Ｓ３０２）、表示装置（１０３）において第１映像を用いて選択された、第１時間帯に含まれる指定時刻を示す指定時刻情報を表示装置（１０３）から受信し（Ｓ３０３）、第１の場所の指定時刻における自由視点画像を生成し（Ｓ３０４）、自由視点画像を表示装置（１０３）に送信する（Ｓ３０５）。

Description

本開示は、自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置に関する。
多視点映像の配信方法として、特許文献１には、複数の視点から撮影された映像を視点移動に連動して配信する技術が開示されている。
また、特定シーンを複数の校正済みカメラにより撮影した映像群を用いてそのシーンの三次元モデルを生成し、当該三次元モデルを用いて、そのシーンを自由な視点から見た自由視点画像（自由視点映像）を生成する技術が知られている。
特開２００２−１６５２００号公報
このような、自由視点画像を配信するシステムにおいて、自由視点画像を生成する対象をユーザが容易に選択できることが望まれている。
本開示は、自由視点画像を生成する対象をユーザが容易に選択できる自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置又は表示装置を提供することを目的とする。
本開示の一態様に係る自由視点画像生成方法は、自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報とを表示装置から受信し、前記第１の場所が前記第１の時間帯において撮影された第１映像を前記表示装置に送信し、前記表示装置において前記第１映像を用いて選択された、前記第１時間帯に含まれる指定時刻を示す指定時刻情報を前記表示装置から受信し、前記第１の場所の前記指定時刻における前記自由視点画像を生成し、前記自由視点画像を前記表示装置に送信する。
本開示の一態様に係る自由視点画像表示方法は、自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報を自由視点画像生成装置に送信し、前記第１の場所が前記第１の時間帯において撮影された第１映像を前記自由視点画像生成装置から受信し、前記第１映像を用いて前記第１時間帯に含まれる指定時刻を選択するための第１のユーザインタフェースを表示し、前記第１のユーザインタフェースを介して選択された前記指定時刻を示す指定時刻情報を前記自由視点画像生成装置に送信し、前記第１の場所の前記指定時刻における前記自由視点画像を前記自由視点画像生成装置から受信し、前記自由視点画像を表示する。
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
本開示は、自由視点画像を生成する対象をユーザが容易に選択できる自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置又は表示装置を提供できる。
図１は、実施の形態に係る自由視点画像生成システムの概要を示す図である。 図２は、実施の形態に係る自由視点画像生成システムの構成を示す図である。 図３は、実施の形態に係る自由視点画像生成装置のブロック図である。 図４は、実施の形態に係る表示装置のブロック図である。 図５は、実施の形態に係る自由視点画像生成システムの動作を示す図である。 図６は、実施の形態に係る表示装置による開始信号の送信処理のフローチャートである。 図７Ａは、実施の形態に係る設定画面の例を示す図である。 図７Ｂは、実施の形態に係る設定画面の例を示す図である。 図８は、実施の形態に係る自由視点画像生成装置による開始信号受信時の処理のフローチャートである。 図９は、実施の形態に係る自由視点画像生成装置によるカメラ映像生成処理のフローチャートである。 図１０は、実施の形態に係る表示装置による指定時刻選択処理のフローチャートである。 図１１は、実施の形態に係る配信映像表示画面の例を示す図である。 図１２は、実施の形態に係る自由視点画像生成装置による三次元モデル生成処理のフローチャートである。 図１３は、実施の形態に係る表示装置による視点選択処理のフローチャートである。 図１４は、実施の形態に係る三次元モデル表示画面の例を示す図である。 図１５は、実施の形態に係る自由視点画像生成装置による自由視点画像生成処理のフローチャートである。 図１６は、実施の形態に係る表示装置による自由視点画像表示処理のフローチャートである。 図１７は、実施の形態に係る自由視点画像表示画面の例を示す図である。 図１８は、実施の形態に係る自由視点画像生成装置による処理のフローチャートである。 図１９は、実施の形態に係る表示装置による処理のフローチャートである。
本開示の一態様に係る自由視点画像生成方法は、自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報とを表示装置から受信し、前記第１の場所が前記第１の時間帯において撮影された第１映像を前記表示装置に送信し、前記表示装置において前記第１映像を用いて選択された、前記第１時間帯に含まれる指定時刻を示す指定時刻情報を前記表示装置から受信し、前記第１の場所の前記指定時刻における前記自由視点画像を生成し、前記自由視点画像を前記表示装置に送信する。
これによれば、表示装置のユーザは、第１映像を用いて指定時刻を選択することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
例えば、前記表示装置から前記第１の時間情報を受信する前に、前記第１の時間帯を含む第２の時間帯を示す第２の時間情報を前記表示装置から受信し、前記第２の時間帯に含まれる複数の時刻におけるサムネイル画像を前記表示装置に送信し、前記第１の時間帯は、前記表示装置において前記サムネイル画像を用いて指定されてもよい。
これによれば、表示装置のユーザは、サムネイル画像を用いて詳細な時間帯を指定することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
例えば、前記自由視点画像生成方法は、さらに、前記第１の場所の前記指定時刻における三次元モデルを生成し、前記三次元モデルを前記表示装置に送信し、前記表示装置において前記三次元モデルを用いて選択された選択視点を示す視点情報を前記表示装置から受信し、前記自由視点画像は、前記選択視点から見た画像であってもよい。
これによれば、表示装置のユーザは、三次元モデルを用いて自由視点画像の視点を選択することができる。よって、ユーザは自由視点画像の視点を容易に選択できる。
本開示の一態様に係る自由視点画像表示方法は、自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報を自由視点画像生成装置に送信し、前記第１の場所が前記第１の時間帯において撮影された第１映像を前記自由視点画像生成装置から受信し、前記第１映像を用いて前記第１時間帯に含まれる指定時刻を選択するための第１のユーザインタフェースを表示し、前記第１のユーザインタフェースを介して選択された前記指定時刻を示す指定時刻情報を前記自由視点画像生成装置に送信し、前記第１の場所の前記指定時刻における前記自由視点画像を前記自由視点画像生成装置から受信し、前記自由視点画像を表示する。
これによれば、表示装置のユーザは、第１映像を用いて指定時刻を選択することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
例えば、前記第１の時間情報を前記自由視点画像生成装置に送信する前に、前記第１の時間帯を含む第２の時間帯を示す第２の時間情報を前記自由視点画像生成装置に送信し、前記第２の時間帯に含まれる複数の時刻におけるサムネイル画像を前記自由視点画像生成装置から受信し、前記サムネイル画像を用いて前記第１の時間帯を指定するための第２のユーザインタフェースを表示し、前記第１の時間帯は、前記第２のユーザインタフェースを介して指定されてもよい。
これによれば、表示装置のユーザは、サムネイル画像を用いて詳細な時間帯を指定することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
例えば、前記自由視点画像表示方法は、さらに、前記第１の場所の前記指定時刻における三次元モデルを前記自由視点画像生成装置から受信し、前記三次元モデルを用いて選択視点を選択するための第３のユーザインタフェースを表示し、前記第３のユーザインタフェースを介して選択された前記選択視点を示す視点情報を前記自由視点画像生成装置に送信し、前記自由視点画像は、前記選択視点から見た画像であってもよい。
これによれば、表示装置のユーザは、三次元モデルを用いて自由視点画像の視点を選択することができる。よって、ユーザは自由視点画像の視点を容易に選択できる。
また、本開示の一態様に係る自由視点画像生成装置は、複数の画像から三次元モデルを生成する自由視点画像生成装置であって、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報とを表示装置から受信し、前記第１の場所が前記第１の時間帯において撮影された第１映像を前記表示装置に送信し、前記表示装置において前記第１映像を用いて選択された、前記第１時間帯に含まれる指定時刻を示す指定時刻情報を前記表示装置から受信し、前記第１の場所の前記指定時刻における前記自由視点画像を生成し、前記自由視点画像を前記表示装置に送信する。
これによれば、表示装置のユーザは、第１映像を用いて指定時刻を選択することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
また、本開示の一態様に係る表示装置は、プロセッサと、メモリとを備え、前記プロセッサは、前記メモリを用いて、自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報を自由視点画像生成装置に送信し、前記第１の場所が前記第１の時間帯において撮影された第１映像を前記自由視点画像生成装置から受信し、前記第１映像を用いて前記第１時間帯に含まれる指定時刻を選択するための第１のユーザインタフェースを表示し、前記第１のユーザインタフェースを介して選択された前記指定時刻を示す指定時刻情報を前記自由視点画像生成装置に送信し、前記第１の場所の前記指定時刻における前記自由視点画像を前記自由視点画像生成装置から受信し、前記自由視点画像を表示する。
これによれば、表示装置のユーザは、第１映像を用いて指定時刻を選択することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。
以下、実施の形態について、図面を参照しながら具体的に説明する。なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
本実施の形態では、多視点カメラ及びその映像を利用しての自由視点画像の生成を容易に実現することを可能とする自由視点画像生成システムについて説明する。
複数のカメラ映像及び自由視点画像を利用することで様々な方向からの映像を取得及び生成することが可能となり、多様な視聴者のニーズに応えた映像（例えば、選手Ａをアップにした映像、又は俯瞰映像等）を提供できる。
図１は、自由視点画像生成システムの概要を示す図である。例えば、校正済みのカメラ（例えば固定カメラ）を用いて同一空間を多視点から撮影することにより撮影する空間を三次元再構成できる（三次元空間再構成）。この三次元再構成されたデータを用いて、トラッキング、シーン解析、及び映像レンダリングを行うことで、任意の視点（自由視点カメラ）から見た映像を生成できる。これにより、次世代広域監視システム、及び自由視点画像生成システムを実現できる。
しかしながら、ユーザの求めるタイミングにおける自由視点画像を生成するためには、生成したい時刻の指定及び視点の設定が必要となる。しかし、時刻と視点という異なる次元の設定を、ユーザが手軽に行うことは容易ではない。
これを実現するためには、時刻の設定及び視点の設定を独立した試行かつ連続的に行うことが必要となる。
本開示の一態様に係る自由視点画像生成システムでは、表示装置は、場所及び時間帯の情報を用いて自由視点画像を生成したい時刻を含むカメラ映像の取得し、カメラ映像から自由視点時刻を生成したい時刻を指定し、三次元モデルを用いて自由視点画像を生成したい視点を指定する。これにより、ユーザの求める自由視点画像の取得を容易に行えるシステムを実現できる。
これにより、ユーザはカメラ映像から自由視点画像を取得するまでの複雑な処理手順を、一連の処理を行うことで実施できるようになるため、自由視点画像の利用を手軽に行うことが可能となる。
以下、本実施の形態に係る自由視点画像生成システム１００の構成を説明する。図２は、本実施の形態に係る自由視点画像生成システム１００の構成例を示す図である。この自由視点画像生成システム１００は、複数のカメラ１０１と、自由視点画像生成装置１０２と、複数の表示装置１０３とを含む。
複数のカメラ１０１は、同一シーンを異なる視点から撮影することで複数のカメラ映像を生成する。例えば、複数のカメラ１０１は同期撮影を行ってもよい。または、複数のカメラ１０１は、映像に時刻情報を埋め込む、又は映像にフレーム順序を示すインデックス情報を付与してもよい。
自由視点画像生成装置１０２は、自由視点画像を生成するサーバであり、複数のカメラ１０１で撮影された複数のカメラ映像を取得し、当該複数のカメラ映像を用いて、三次元モデル及び自由視点画像を生成する。また、自由視点画像生成装置１０２は、ネットワーク１０４を介して複数の表示装置１０３に接続されている。自由視点画像生成装置１０２は、カメラ映像、三次元モデル及び自由視点画像を表示装置１０３に送信する。具体的には、自由視点画像生成装置１０２は、表示装置１０３から送信された時刻及び視点の情報に基づき、それぞれ三次元モデル及び自由視点画像を生成し、生成した三次元モデル及び自由視点画像を表示装置１０３へ送信する。この際、自由視点画像生成装置１０２は、三次元モデルを利用して自由視点画像を生成してもよいし、２枚以上の画像から映像を補間することで自由視点映像を生成してもよい。
表示装置１０３は、自由視点画像生成装置１０２から送信されたカメラ映像、三次元モデル、及び自由視点画像を表示することでユーザに提示する端末である。また、表示装置１０３は、カメラ映像から時刻を選択し、三次元モデルから視点を選択し、それぞれの情報を自由視点画像生成装置１０２に送信する。
なお、自由視点画像生成装置１０２と表示装置１０３との間ではデータのやり取りができればよく、通信方式は特に限定されない。例えば、遠隔地間では、インターネットを介して通信が行われてもよいし、実験室などにおいてＬＡＮ内で通信が行われてもよい。
図３は、本実施の形態に係る自由視点画像生成装置１０２のブロック図である。自由視点画像生成装置１０２は、全体設定部２０１と、カメラ映像配信部２０２と、三次元モデル生成部２０３と、自由視点画像生成部２０４と、通信部２０５と、設定保存部２０６と、カメラ映像保存部２０７と、カメラパラメータ保存部２０８と、三次元モデル保存部２０９と、自由視点画像保存部２１０とを備える。
全体設定部２０１は、自由視点画像を生成する際に利用する映像の時間及び場所である設定時間及び設定場所を設定し、設定した設定時間及び設定場所を示す情報を設定保存部２０６に保存する。例えば、事故現場の検証の際には、事故発生の瞬間を映している前後数分の時刻が設定時間として設定され、事故発生場所が設定場所として設定される。例えば、全体設定部２０１は、通信部２０５を通して表示装置１０３から指定された時間及び場所を設定時間及び設定場所として設定する。または、全体設定部２０１は、群衆を検知するなどの画像処理を用いて事故を認識することで自動的に設定場所及び設定時間を設定し、設定した設定場所及び設定情報を表示装置１０３に通知してもよい。
カメラ映像配信部２０２は、全体設定部２０１で設定された設定時間及び設定場所に対応するカメラ映像を取得し、取得したカメラ映像を表示装置１０３に送信する。
三次元モデル生成部２０３は、表示装置１０３から、三次元モデルを生成したい時刻を受け取り、該当時刻の三次元モデルを生成する。また、三次元モデル生成部２０３は、生成した三次元モデルを表示装置１０３に送信するとともに、当該三次元モデルを三次元モデル保存部２０９に保存する。例えば、三次元モデル生成部２０３は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）などの画像処理技術を用いて三次元再構成を行うことで三次元モデルを生成する。または、三次元でもる生成部２０３は、カメラ映像に深度情報が含まれる場合には、当該深度情報を用いて三次元モデルを生成する。
自由視点画像生成部２０４は、表示装置１０３から送信された視点情報を受け取り、その視点から見た自由視点画像を生成し、生成した自由視点画像を表示装置１０３に送信する。また、自由視点画像生成部２０４は、自由視点画像保存部２１０に生成した自由視点画像を保存する。例えば、自由視点画像生成部２０４は、三次元モデルを用いて自由視点画像を生成する。または、自由視点画像生成部２０４は、モーフィング処理のようにカメラ間の画像を二次元上で補間することで自由視点画像を生成する。なお、自由視点画像（自由視点映像）は、静止画像であってもよし、動画像であってもよい。また、動画像とは、ある視点から見た特定シーンの時系列変化を示す動画像であってもよいし、指定の時刻において、視点位置を連続的に変更した動画像であってもよいし、これらの組み合わせであってもよい。
通信部２０５は、全体設定部２０１、カメラ映像配信部２０２、三次元モデル生成部２０３、及び自由視点画像生成部２０４と、表示装置１０３とのデータのやり取りを行う。
設定保存部２０６は、自由視点画像を生成したい時間帯及び場所に関する全体処理に係る情報を格納する。
カメラ映像保存部２０７は、カメラ１０１で撮影されたカメラ映像を格納する。具体的には、カメラ映像保存部２０７は、カメラ１０１から直接取得したカメラ映像を保存する。または、カメラ映像保存部２０７は、他の装置を介して間接的に取得したカメラ映像を保存していてもよい。
カメラパラメータ保存部２０８は、カメラ映像保存部２０７に格納されたカメラ映像を撮影したカメラ１０１の三次元位置及び姿勢情報を含むカメラパラメータを格納する。この三次元位置及び姿勢情報は、例えば、カメラ１０１が備えるＧＰＳ又はジャイロセンサーなどで取得された情報である。または、自由視点画像生成装置１０２は、カメラ映像を元にＳｆＭなどの画像処理技術を用いてこの三次元位置及び姿勢情報を推定してもよい。
三次元モデル保存部２０９は、三次元モデル生成部２０３で生成された三次元モデルを格納する。
自由視点画像保存部２１０は、自由視点画像生成部２０４で生成された自由視点画像を格納する。
図４は、本実施の形態に係る表示装置１０３のブロック図である。表示装置１０３は、設定画面生成部３０１と、配信映像表示画面生成部３０２と、三次元モデル表示画面生成部３０３と、自由視点画像表示画面生成部３０４と、通信部３０５と、画面制御部３０６と、画面表示部３０７と、カメラ映像保存部３０８と、三次元モデル保存部３０９と、自由視点画像保存部３１０とを備える。
設定画面生成部３０１は、自由視点画像を生成する時刻を含んだ映像を取得するための時間帯情報及び場所情報を含む開始信号を生成するためのインタフェースである設定画面を生成する。なお、画面とは、静止した画像に限らず、動画像を含んでもよいし、時間的に表示形態が変化するアイコン及び操作部等を含んでもよい。
配信映像表示画面生成部３０２は、取得したカメラ映像から自由視点画像を生成する時刻を選択するためのインタフェースである配信映像表示画面を生成する。
三次元モデル表示画面生成部３０３は、取得した三次元モデルを用いて自由視点画像を生成するための視点を決定するためのインタフェースである三次元モデル表示画面を生成する。
自由視点画像表示画面生成部３０４は、取得した自由視点画像を表示する画面である自由視点画像表示画面を生成する。
通信部３０５は、自由視点画像生成装置１０２と通信し、設定画面生成部３０１、配信映像表示画面生成部３０２、三次元モデル表示画面生成部３０３、及び自由視点画像表示画面生成部３０４で用いられる情報の送受信を行う。
画面制御部３０６は、設定画面生成部３０１、配信映像表示画面生成部３０２、三次元モデル表示画面生成部３０３、及び自由視点画像表示画面生成部３０４にて生成された表示用の画面のいずれを、画面表示部３０７に表示するか、及びその表示タイミングを制御する。
また、画面制御部３０６は、画面表示部３０７に対して行われたユーザの操作等を取得し、設定画面生成部３０１、配信映像表示画面生成部３０２、三次元モデル表示画面生成部３０３、及び自由視点画像表示画面生成部３０４へユーザの操作等の情報を送る。
画面表示部３０７は、画面制御部３０６から取得した画面を表示することで各種情報をユーザに提示する。
カメラ映像保存部３０８は、自由視点画像生成装置１０２から送信されたカメラ映像を保存しておくストレージである。
三次元モデル保存部３０９は、自由視点画像生成装置１０２から送信された三次元モデルを保存しておくストレージである。
自由視点画像保存部３１０は、自由視点画像生成装置１０２から送信された自由視点画像を保存しておくストレージである。
なお、カメラ映像保存部３０８、三次元モデル保存部３０９、及び自由視点画像保存部３１０は、一時的及び長期間各々のデータを保存できればよく、メモリのような短期的なストレージでもＨＤＤ（ハードディスクドライブ）のような長期間データを保持できるものでもよい。
次に、本実施の形態に係る自由視点画像生成システム１００の動作を説明する。図５は、本実施の形態に係る自由視点画像生成システム１００の動作を示すシーケンス図である。
まず、表示装置１０３は、開始信号を自由視点画像生成装置１０２に送信する（Ｓ１０１Ａ、Ｓ１０１Ｂ）。図６は、この開始信号送信処理（Ｓ１０１）のフローチャートである。
まず、表示装置１０３は、自由視点画像生成装置１０２から候補情報を受信したか否かを判定する（Ｓ２１１）。ここで候補情報は、例えば、自由視点画像を生成する対象の場所及び時間（時間帯又は時刻）の複数の候補を示す情報である。
例えば、図５に示すステップＳ１０１Ａでは、表示装置１０３は、候補情報を受信していない（Ｓ２１１でＮｏ）。この場合、表示装置１０３は、候補情報を含まない設定画面４０１Ａを表示する。図７Ａは、この設定画面４０１Ａの一例を示す図である。例えば、設定画面４０１Ａは、時間情報が入力される時間入力部４１１と、場所情報が入力される場所入力部４１２とを含む。
なお、ここで示す設定画面４０１Ａは一例であり、表示装置１０３は、自由視点画像を生成する時間及び場所を特定するための入力情報を入力可能なインタフェースを有すればよい。例えば、図７Ａでは、入力情報の一例として、時刻情報及び場所情報が入力される例を示すが、自由視点画像を生成したい時間を含んだ映像をユーザが選択できればよく、時刻情報及び場所情報以外の情報が利用されてもよい。また、入力方式として任意の方式を用いてよく、例えば、音声入力等が用いられてもよい。
また、図５に示すステップＳ１０１Ｂでは、表示装置１０３は、候補情報を受信している（Ｓ２１１でＹｅｓ）。この場合、表示装置１０３は、受信した候補情報を含む設定画面４０１Ｂを生成し（Ｓ２１２）、生成した設定画面４０１Ｂを表示する（Ｓ２１３）。図７Ｂは、この設定画面４０１Ｂの一例を示す図である。設定画面４０１Ｂは、設定画面４０１Ａの内容に加え、候補情報を表示する候補情報表示部４１３を含む。候補情報は、例えば、同一地点の映像の一定時刻（例えば５分間隔）ごとのサムネイル画像である。これにより、ユーザは、アクシデント等が起こった時刻を推定することが可能となるので、ユーザによる時間の選択を容易できる。なお、ユーザによりサムネイル画像が選択されることで当該サムネイル画像に対応する時間が自動的に選択されてもよい。
設定画面４０１Ａ又は４０１Ｂが表示された後、表示装置１０３は、設定画面４０１Ａ又は４０１Ｂを用いてユーザにより入力された時間を示す時間情報を取得する（Ｓ２１４）。例えば、ユーザは、時間入力部４１１に時間情報を入力する。なお、この時間情報は、秒単位の入力であってもよいし、時間単位の大まかな入力であってもよい。つまり、時間情報は時刻を示してもよいし、時間帯を示してもよい。
また、表示装置１０３は、設定画面４０１Ａ又は４０１Ｂを用いてユーザにより入力された場所情報を取得する（Ｓ２１５）。例えば、ユーザは、場所入力部４１２に場所情報を入力する。例えば、場所情報は、住所であってもよいし、交差点又は建造物の固有名等でもあってよいし、緯度経度であってもよいし、利用者が任意で設定したＩＤ（識別子）などあってもよい。また、場所情報は、湾岸エリア又は工業地区などの大まかな場所を示してもよい。例えば、図５に示すステップＳ１０１Ａでは、大まかな時間が指定され、ステップＳ１０１Ｂでは詳細な時間が指定される。
次に、表示装置１０３は、ステップＳ２１４で取得された時間情報と、ステップＳ２１５で取得された場所情報とを含む開始信号を自由視点画像生成装置１０２に送信する（Ｓ２１６）。
図８は、開始信号を受信した自由視点画像生成装置１０２の全体設定部２０１の動作（Ｓ１０２）を示すフローチャートである。まず、全体設定部２０１は、表示装置１０３から開始信号を受信したか否かを判定する（Ｓ２２１）。全体設定部２０１は、開始信号を受信しなかった場合（Ｓ２２１でＮｏ）、再度ステップＳ２２１を行う。つまり、全体設定部２０１は、開始信号を受信するまで待ち状態を続ける。
全体設定部２０１は、開始信号を受信した場合（Ｓ２２１でＹｅｓ）、受信した開始信号に含まれる情報（場所情報及び時間情報）が一意であるか否かを判定する（Ｓ２２２）。ここで、情報が一意であるとは、場所情報及び時間情報によって、表示装置１０３に送信する映像を一意に決定できる状態を示す。具体例としては、この状態とは、１３：００：００の交差点Ａの映像のように指定されている場合である。
情報が一意である場合（Ｓ２２２でＹｅｓ）、全体設定部２０１は、開始信号に含まれた情報で一意に決定された映像の配信を開始するための配信開始信号をカメラ映像配信部２０２に送信する（Ｓ２２３）。例えば、図５に示すステップＳ１０２Ｂでは、情報が一意であり、全体設定部２０１は、配信開始信号をカメラ映像配信部２０２に送信する。
一方、情報が一意でない場合（Ｓ２２２でＮｏ）、全体設定部２０１は、開始信号に含まれる曖昧な情報を明確化するために必要な情報を取得又は生成することで候補情報を生成する（Ｓ２２４）。ここでいう、曖昧な情報とは、時間情報に関しては１３：００：００ではなく、昼ごろ又は午前中といった一定時間以上の範囲を含んでいる場合である。また、その際の候補情報の一例としては、昼ごろの１１：００から１３：００程度の１０分刻みでのサムネイル画像群がある。
次に、全体設定部２０１は、生成された候補情報を表示装置１０３に送信する（Ｓ２２５）。これにより、全体設定部２０１は、開始信号に含まれる情報を一意にする作業の補助を行うことができる。例えば、図５に示すステップＳ１０２Ａでは、情報が一意ではなく、全体設定部２０１は、候補情報を表示装置１０３に送信する。
このように、ユーザが大まかな入力を行った場合は絞り込み作業が行われる。例えば、時間情報として大まかな時間が入力された場合、表示装置１０３は、例えば、５分単位のサムネイル画像を取得し一覧表示する。これにより、ユーザは、絞り込み作業を行うことが可能なユーザインタフェースを通して正確な時間を探すことができるので、正確な時間情報を探索することができる。
なお、ここでは、主に、時間情報が一意でない場合の例を示したが、場所情報に対しても同様の手法を適用できる。例えば、エリアなどの大まかな場所が指定された場合、表示装置１０３は、時間情報で指定される時間の、当該エリアに含まれる複数の地点のサムネイル画像を表示する。ユーザは、表示されたサムネイル画像から所望の地点を選択することで、詳細な場所情報を選択できる。
また、これらの情報は、ユーザが直接入力する必要はなく、例えば、事故情報をまとめたデータベースなどと連携して、そのデータベースに含まれる時間情報及び場所情報を利用してもよい。
図９は、配信開始信号を受信したカメラ映像配信部２０２の動作（Ｓ１０３）を示すフローチャートである。まず、カメラ映像配信部２０２は、配信開始信号を受信したか否かを判定する（Ｓ２３１）。配信開始信号を受信していない場合（Ｓ２３１でＮｏ）、カメラ映像配信部２０２は、ステップＳ２３１を再度行う。つまり、カメラ映像配信部２０２は、配信開始信号を受信するまで待ち状態を続ける。
カメラ映像配信部２０２は、配信開始信号を受信した場合（Ｓ２３１でＹｅｓ）、配信開始信号に含まれる時間情報及び場所情報を取得し、配信する映像に関する場所及び時間を決定する（Ｓ２３２）。例えば、カメラ映像配信部２０２は、場所情報及び時間情報で示される場所及び時間を、配信する映像の場所及び時間に決定する。
次に、カメラ映像配信部２０２は、ステップＳ２３２において決定した場所及び時間に該当する映像をカメラ映像保存部２０７から取得する（Ｓ２３３）。なお、現時刻が指定された場合のように、カメラ１０１から直接カメラ映像を取得できる場合などには、カメラ映像配信部２０２は、カメラ１０１からカメラ映像を直接取得してもよい。最後に、カメラ映像配信部２０２は、取得したカメラ映像を表示装置１０３に送信する（Ｓ２３４）。
図１０は、カメラ映像を受信した表示装置１０３における処理（Ｓ１０４）を示すフローチャートである。まず、表示装置１０３は、自由視点画像生成装置１０２からカメラ映像を受信したか否かを判定する（Ｓ２４１）。表示装置１０３は、カメラ映像を受信していない場合（Ｓ２４１でＮｏ）、再度ステップＳ２４１を行う。つまり、表示装置１０３は、カメラ映像を受信するまで待ち状態を続ける。
表示装置１０３は、カメラ映像を受信した場合（Ｓ２４１でＹｅｓ）、受信したカメラ映像を利用して配信映像表示画面４０２を生成する（Ｓ２４２）。次に、表示装置１０３は、生成した配信映像表示画面４０２を画面制御部３０６及び画面表示部３０７を用いて、ユーザに提示する（Ｓ２４３）。
図１１は、配信映像表示画面４０２の一例を示す図である。配信映像表示画面４０２は、受信したカメラ映像が表示される映像表示部４２１と、三次元モデルを生成したい時刻を指定するための操作部４２２とを含む。
なお、表示装置１０３は、複数のカメラ映像を受信し、映像表示部４２１に複数のカメラ映像が表示されてもよい。この複数のカメラ映像は、例えば、同一時間帯において同一の場面を異なる視点から撮影したカメラ映像である。なお、表示装置１０３は、映像表示部４２１に、複数のカメラ映像の全てを同時に表示してもよいし、複数のカメラ映像のうち、１視点以上の映像を選択して表示してもよい。また、映像を選択した場合には、ユーザが映像を切り替えることができるようなインタフェースが設けられてもよい。
操作部４２２は、映像の再生及び停止を行う機能、並びに三次元モデルを生成する時刻である指定時刻を決定する機能を有すればよい。ユーザによる指定時刻の決定を容易にするために、操作部４２２は、スライドバー又はタイムコードを用いた映像中の時刻表示の可視化を行う機能を有してもよい。また、操作部４２２は、早送り又は巻き戻しといった再生速度又は再生方向の変更を行う機能を有してもよい。
例えば、ユーザは、操作部４２２のスライドバーを指定時刻に合わせ、決定操作（例えば決定ボタンの操作）を行うことで指定時刻を入力する。なお、指定時刻の入力方法はこれに限定されず、任意の方法でよい。
次に、表示装置１０３は、ユーザにより配信映像表示画面４０２を介して入力された指定時刻を取得する（Ｓ２４４）。次に、表示装置１０３は、取得した指定時刻を示す指定時刻情報を自由視点画像生成装置１０２に送信する（Ｓ２４５）。
図１２は、指定時刻情報を受信した自由視点画像生成装置１０２の三次元モデル生成部２０３による処理（Ｓ１０５）のフローチャートである。まず、三次元モデル生成部２０３は、表示装置１０３から指定時刻情報を受信したか否かを判定する（Ｓ２５１）。三次元モデル生成部２０３は、指定時刻情報を受信していない場合（Ｓ２５１でＮｏ）、再度ステップＳ２５１を行う。つまり、三次元モデル生成部２０３は、指定時刻情報を受信するまで待ち状態を続ける。
三次元モデル生成部２０３は、指定時刻情報を受信した場合（Ｓ２５１でＹｅｓ）、指定時刻情報で示される指定時刻の三次元モデルを生成する（Ｓ２５２）。例えば、三次元モデル生成部２０３は、ＰＭＶＳ（Ｐａｔｃｈ−ｂａｓｅｄ Ｍｕｌｔｉ Ｖｉｅｗ Ｓｔｅｒｅｏ）を用いて三次元モデルを生成する。具体的には、三次元モデル生成部２０３は、物体のコーナーなどの画像内の特徴のある特徴点を元に、画像間で同一特徴点を決定し、決定した特徴点に対して、カメラの三次元姿勢を含むカメラパラメータを用いた三次元測量を行うことで、三次元モデルを生成する。または、三次元モデル生成部２０３は、視体積交差法を用いて三次元モデルを生成してもよい。つまり、三次元モデル生成部２０３は、各カメラで写っているオブジェクト領域を三次元上で統合することによって三次元モデルを生成してもよい。
最後に、三次元モデル生成部２０３は、生成した三次元モデルを表示装置１０３に送信する（Ｓ２５３）。
なお、表示装置１０３に三次元モデルに関する情報を送信する手法は如何なる手法でもよい。例えば、三次元モデル生成部２０３は、一度、テキスト等の何らかのファイルに三次元モデルを書き出し、そのファイルを送信してもよい。または、三次元モデル生成部２０３は、生成した三次元モデルのデータを適宜ストリーミング送信してもよい。前者では、自由視点画像生成装置１０２内及び表示装置１０３内での時刻ごとの三次元モデルの管理等が容易になる。後者の方法では、表示装置１０３への送信に必要となる時間を短縮することが可能である。
なお、三次元モデル生成部２０３は、指定時刻の三次元モデルを生成したのちに、その指定時刻の前後の時刻の三次元モデルを生成し始めてもよい。例えば、指定時刻が時刻ｎである場合、三次元モデル生成部２０３は、時刻ｎの三次元モデルを生成及び送信したのちに、自動的に時刻ｎ＋１及び時刻ｎ−１の三次元モデルを生成してもよい。また、三次元モデル生成部２０３は、生成した時刻ｎ＋１及び時刻ｎ−１の三次元モデルを表示装置１０３に送信してもよいし、送信しなくてもよい。これによると、指定時刻の前後数フレーム、具体例としては交通事故の瞬間の前後等の三次元モデルが事前に作成される。ユーザは、指定時刻の周辺時刻の自由視点画像も見る可能性が高い。よって、このように前もって準備を行うことで、三次元モデルを生成するための待ち時間が不要となり、ユーザの待ち時間を減らすことが可能となる。
なお、三次元モデル生成部２０３は、ステップＳ２５２において、指定時刻とその前後の時刻の三次元モデルを生成し、ステップＳ２５３において、生成した複数時刻の三次元モデルを表示装置１０３に送信してもよい。または、指定時刻情報において複数時刻又は時間帯が指定され、三次元モデル生成部２０３は、指定された複数時刻又は時間帯の三次元モデルを生成し、生成した三次元モデルを表示装置１０３に送信してもよい。
図１３は、三次元モデルを受信した表示装置１０３における処理（Ｓ１０６）を示すフローチャートである。まず、表示装置１０３は、自由視点画像生成装置１０２から三次元モデルを受信したか否かを判定する（Ｓ２６１）。表示装置１０３は、三次元モデルを受信していない場合（Ｓ２６１でＮｏ）、再度ステップＳ２６１を行う。つまり、表示装置１０３は、三次元モデルを受信するまで待ち状態を続ける。
表示装置１０３は、三次元モデルを受信した場合（Ｓ２６１でＹｅｓ）受信した三次元モデルを利用して三次元モデル表示画面４０３を生成する（Ｓ２６２）。次に、表示装置１０３は、生成した三次元モデル表示画面４０３を、画面制御部３０６及び画面表示部３０７を用いて、ユーザに提示する（Ｓ２６３）。
図１４は、三次元モデル表示画面４０３の一例を示す図である。三次元モデル表示画面４０３は、受信した三次元モデルを表示するための三次元モデル表示部４３１と、三次元モデル表示部４３１に表示される三次元モデルを操作するための表示操作部４３２と、現時点において表示している三次元モルの視点を、自由視点画像生成装置１０２に送る視点情報として決定するため視点決定部４３３とを含む。
三次元モデル表示部４３１は、三次元モデルを所定の視点から見た二次元画像を表示する。例えば、表示装置１０３は、表示する初期視点を、配信映像表示画面４０２に表示されていたカメラ映像と同じ視点に設定する。または、表示装置１０３は、三次元モデル中の座標情報などを解析し、注目オブジェクト（例えば、最も大きいオブジェクト）などがよく見えるように初期視点を設定してもよい。例えば、表示装置１０３は、注目オブジェクトが画像の真ん中に表示されるように初期視点を設置してもよい。
表示操作部４３２は、三次元モデル表示部４３１に表示される画像の視点（仮想カメラ位置）を変更する操作をユーザが行うための機能を有する。具体的には、視点及び注視点の移動及び回転などの制御を行うことにより、三次元モデルの見える位置及び大きさ等をユーザの期待通りに変更できればよい。すなわち、インタフェースに関しては特に限定されず、キーボードによって視点の移動を制御してもよいし、図１４に示すようにボタン等のインタフェースを用意してもよい。または、三次元モデル表示部４３１上をタッチ操作することで視点が制御されてもよい。
視点決定部４３３は、現在の三次元モデル表示部４３１に表示されている三次元モデルの見え方状況を再現できる視点を自由視点画像生成装置１０２に送信する視点として決定するための操作部である。
なお、視点決定部４３３は、三次元モデル表示部４３１又は表示操作部４３２に含まれてもよい。つまり、ユーザが三次元モデル表示部４３１又は表示操作部４３２に対して予め定められた操作を行うことで、視点が決定されてもよい。
上記のように、表示装置１０３は、三次元モデル表示画面４０３に対するユーザの操作により指定された視点を示す視点情報を取得する（Ｓ２６４）。最後に、表示装置１０３は、取得した視点情報を自由視点画像生成装置１０２に送信する（Ｓ２６５）。
図１５は、視点情報を受信した自由視点画像生成装置１０２の自由視点画像生成部２０４の処理（Ｓ１０７）を示すフローチャートである。まず、自由視点画像生成部２０４は、自由視点画像を生成するための視点情報を表示装置１０３から受信したか否かを判定する（Ｓ２７１）。自由視点画像生成部２０４は、視点情報を受信していない場合（Ｓ２７１でＮｏ）、再度ステップＳ２７１を行う。つまり、自由視点画像生成部２０４は、視点情報を受信するまで待ち状態を続ける。
自由視点画像生成部２０４は、視点情報を受信した場合（Ｓ２７１でＹｅｓ）、受信した視点情報で示される視点から見た、指定時刻における自由視点画像を生成する（Ｓ２７２）。例えば、自由視点画像生成部２０４は、三次元モデルを利用して実際に三次元空間を想定し、指定された視点からの見えをシミュレーションしてレンダリングすることで自由視点画像を生成する。または、自由視点画像生成部２０４は、指定された視点に近接している２又は３個のカメラ映像を補間することで自由視点画像を生成してもよい。
最後に、自由視点画像生成部２０４は、生成した自由視点画像を表示装置１０３に送信する（Ｓ２７３）。
なお、自由視点画像生成部２０４は、視点情報に基づいた自由視点画像を生成したのちに、その周辺の視点から見た場合の自由視点画像を生成してもよい。具体的には、自由視点画像生成部２０４は、三次元モデルを解析して、指定された視点よりもオブジェクトに正対した状態の視点の自由視点画像を生成してもよい。
また、自由視点画像生成部２０４は、指定時刻情報で指定された指定時刻の前後の時刻における、視点情報で示される視点から見た自由視点画像を生成してもよい。これによると、ユーザは、指定された視点における時間変化を映像として確認することができるようになり、ユーザへの効果的な情報提示が可能となる。
また、自由視点画像生成部２０４は、指定された視点よりも少し広角な画角の自由視点画像を生成してもよい。この場合、表示装置１０３において表示範囲を、指定された視点と合わせることにより、指定された視点を再現することが可能となる。これによると、表示装置１０３において、指定した視点が想定より狭かった場合等に、再度の自由視点画像生成処理を行わずにユーザは周辺領域を視認できるようになる。
また、自由視点画像生成部２０４は、自由視点画像を生成する際に、指定された視点の自由視点画像の生成のほかに、同一位置かつ同一視線方向でより望遠の画像を生成してもよい。これによると、自由視点画像生成部２０４は、指定された視点と共に望遠画像を表示装置１０３に送信することで、表示装置１０３においてズーム操作を行った際に、これらの画像を切り替えながら表示することができる。これにより、ズーム後も高精細な画像をユーザに提示することが可能となる。
図１６は、自由視点画像を受信した表示装置１０３の処理（Ｓ１０８）を示すフローチャートである。まず、表示装置１０３は、自由視点画像生成装置１０２から自由視点画像を受信したか否かを判定する（Ｓ２８１）。表示装置１０３は、自由視点画像を受信していない場合（Ｓ２８１でＮｏ）、再度ステップＳ２８１を行う。つまり、表示装置１０３は、自由視点画像を受信するまで待ち状態を続ける。
表示装置１０３は、自由視点画像を受信した場合（Ｓ２８１でＹｅｓ）、受信した自由視点画像を利用して自由視点画像表示画面４０４を生成する（Ｓ２８２）。次に、表示装置１０３は、生成した自由視点画像表示画面４０４を画面制御部３０６及び画面表示部３０７を用いて、ユーザに提示する（Ｓ２８３）。
図１７は、自由視点画像表示画面４０４の一例を示す図である。自由視点画像表示画面４０４は、少なくとも取得した自由視点画像を表示する表示部４４１を含む。また、自由視点画像表示画面４０４は、以前に生成した自由視点画像のサムネイル画像等が表示される履歴部４４２を含んでもよい。
表示部４４１には、自由視点画像生成装置１０２から受信した自由視点画像が表示される。表示内容に関しては、静止画像以外にも、同じ視点において連続した時刻で生成された複数の自由視点画像がある場合は、この複数の自由視点画像が自由視点映像として表示されてもよい。また、表示部４４１において、表示の拡大縮小及び回転などの操作が行われてもよい。この操作は、タッチ操作等のインタフェースで行われてもよいし、キーボード及びマウスを用いた操作で行われてもよい。または、自由視点画像表示画面４０４は、ボタン等のインタフェースを含み、当該インタフェースを用いて操作が行われてもよい。
履歴部４４２は、以前に生成した自由視点画像を後で見返す際などに利用される。例えば、表示装置１０３は、自由視点画像を取得する度に、取得した自由視点画像を自由視点画像保存部３１０に保存する。これにより、表示装置１０３は、履歴内容の表示を行う際に表示装置１０３内から過去の自由視点画像を取得できるので、再度の自由視点画像の生成処理が不要となる。よって、処理時間の削減を実現できる。
以上のように、本実施の形態に係る自由視点画像生成装置１０２は、図１８に示す処理を行う。まず、自由視点画像生成装置１０２は、自由視点画像の生成対象の第１の場所を示す場所情報と、自由視点画像の生成対象の第１の時間帯を示す第１の時間情報とを表示装置１０３から受信する（Ｓ３０１：図５のＳ１０２Ｂ、図８のＳ２２１）。次に、自由視点画像生成装置１０２は、第１の場所が第１の時間帯において撮影された第１映像（カメラ映像）を表示装置１０３に送信する（Ｓ３０２：図５のＳ１０３、図９のＳ２３４）。次に、自由視点画像生成装置１０２は、表示装置１０３において第１映像を用いて選択された、第１時間帯に含まれる指定時刻を示す指定時刻情報を表示装置１０３から受信する（Ｓ３０３：図５のＳ１０５、図１２のＳ２５１）。次に、自由視点画像生成装置１０２は、第１の場所の指定時刻における自由視点画像を生成し（Ｓ３０４：図５のＳ１０７、図１５のＳ２７２）、自由視点画像を表示装置に送信する（Ｓ３０５：図５のＳ１０７、図１５のＳ２７３）。
これにより、表示装置１０３のユーザは、第１映像を用いて指定時刻を選択することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
また、自由視点画像生成装置１０２は、表示装置１０３から第１の時間情報を受信する前に、第１の時間帯を含む第２の時間帯を示す第２の時間情報を表示装置１０３から受信する（図５のＳ１０２Ａ、図８のＳ２２１）。次に、自由視点画像生成装置１０２は、第２の時間帯に含まれる複数の時刻におけるサムネイル画像（候補情報）を表示装置１０３に送信する（図５のＳ１０２Ａ、図８のＳ２２５）。第１の時間帯は、表示装置１０３においてサムネイル画像を用いて指定される。
これにより、表示装置１０３のユーザは、サムネイル画像を用いて詳細な時間帯を指定することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
また、自由視点画像生成装置１０２は、さらに、第１の場所の指定時刻における三次元モデルを生成し（図５のＳ１０５、図１２のＳ２５２）、三次元モデルを表示装置１０３に送信し（図５のＳ１０５、図１２のＳ２５３）、表示装置１０３において三次元モデルを用いて選択された選択視点を示す視点情報を表示装置１０３から受信する（図５のＳ１０７、図１５のＳ２７１）。また、自由視点画像は、選択視点から見た画像である。
これにより、表示装置１０３のユーザは、三次元モデルを用いて自由視点画像の視点を選択することができる。よって、ユーザは自由視点画像の視点を容易に選択できる。
例えば、自由視点画像生成装置１０２は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
また、本実施の形態に係る表示装置１０３は、図１９に示す処理を行う。まず、表示装置１０３は、自由視点画像の生成対象の第１の場所を示す場所情報と、自由視点画像の生成対象の第１の時間帯を示す第１の時間情報を自由視点画像生成装置１０２に送信する（Ｓ３１１：図５のＳ１０１Ｂ、図６のＳ２１６）。次に、表示装置１０３は、第１の場所が第１の時間帯において撮影された第１映像（カメラ映像）を自由視点画像生成装置１０２から受信する（Ｓ３１２：図５のＳ１０４、図１０のＳ２４１）。
次に、表示装置１０３は、第１映像を用いて第１時間帯に含まれる指定時刻を選択するための第１のユーザインタフェース（配信映像表示画面４０２）を表示する（Ｓ３１３：図５のＳ１０４、図１０のＳ２４３）。次に、表示装置１０３は、第１のユーザインタフェースを介して選択された指定時刻を示す指定時刻情報を自由視点画像生成装置１０２に送信する（Ｓ３１４：図５のＳ１０４、図１０のＳ２４５）。
次に、表示装置１０３は、第１の場所の指定時刻における自由視点画像を自由視点画像生成装置１０２から受信する（Ｓ３１５：図５のＳ１０８、図１６のＳ２８１）。次に、表示装置１０３は、自由視点画像を表示する（Ｓ３１６：図５のＳ１０８、図１６のＳ２８３）。
これにより、表示装置１０３のユーザは、第１映像を用いて指定時刻を選択することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
また、表示装置１０３は、第１の時間情報を自由視点画像生成装置に送信する前に、第１の時間帯を含む第２の時間帯を示す第２の時間情報を自由視点画像生成装置１０２に送信する（図５のＳ１０１Ａ、図６のＳ２１６）。表示装置１０３は、第２の時間帯に含まれる複数の時刻におけるサムネイル画像を自由視点画像生成装置１０２から受信する（図５のＳ１０１Ａ、図６のＳ２１１）。サムネイル画像を用いて第１の時間帯を指定するための第２のユーザインタフェース（設定画面４０１Ｂ）を表示する（図５のＳ１０１Ａ、図６のＳ２１２及びＳ２１３）。第１の時間帯は、第２のユーザインタフェースを介して指定される。
これにより、表示装置１０３のユーザは、サムネイル画像を用いて詳細な時間帯を指定することができる。よって、ユーザは自由視点画像を生成する対象を容易に選択できる。
また、表示装置１０３は、さらに、第１の場所の指定時刻における三次元モデルを自由視点画像生成装置１０２から受信し（図５のＳ１０６、図１３のＳ２６１）、三次元モデルを用いて選択視点を選択するための第３のユーザインタフェース（三次元モデル表示画面４０３）を表示し（図５のＳ１０６、図１３のＳ２６３）、第３のユーザインタフェースを介して選択された選択視点を示す視点情報を自由視点画像生成装置１０２に送信する（図５のＳ１０６、図１３のＳ２６５）。また、自由視点画像は、選択視点から見た画像である。
これにより、表示装置１０３のユーザは、三次元モデルを用いて自由視点画像の視点を選択することができる。よって、ユーザは自由視点画像の視点を容易に選択できる。
例えば、表示装置１０３は、プロセッサと、メモリとを備え、プロセッサは、メモリを用いて、上記の処理を行う。
以上、本開示の実施の形態に係る自由視点画像生成システムについて説明したが、本開示は、この実施の形態に限定されるものではない。
また、上記実施の形態に係る自由視点画像生成システムに含まれる各処理部は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。
また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
また、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、本開示は、自由視点画像生成システム、自由視点画像生成装置、又は表示装置により実行される自由視点画像生成方法、又は自由視点画像表示方法等の各種方法として実現されてもよい。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時（並列）に実行されてもよい。
以上、一つまたは複数の態様に係る自由視点画像生成システムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、一つまたは複数の態様の範囲内に含まれてもよい。
本開示は、自由視点画像生成システム等に適用できる。
１００ 自由視点画像生成システム
１０１ カメラ
１０２ 自由視点画像生成装置
１０３ 表示装置
１０４ ネットワーク
２０１ 全体設定部
２０２ カメラ映像配信部
２０３ 三次元モデル生成部
２０４ 自由視点画像生成部
２０５、３０５ 通信部
２０６ 設定保存部
２０７、３０８ カメラ映像保存部
２０８ カメラパラメータ保存部
２０９、３０９ 三次元モデル保存部
２１０、３１０ 自由視点画像保存部
３０１ 設定画面生成部
３０２ 配信映像表示画面生成部
３０３ 三次元モデル表示画面生成部
３０４ 自由視点画像表示画面生成部
３０６ 画面制御部
３０７ 画面表示部
４０１Ａ、４０１Ｂ 設定画面
４０２ 配信映像表示画面
４０３ 三次元モデル表示画面
４０４ 自由視点画像表示画面
４１１ 時間入力部
４１２ 場所入力部
４１３ 候補情報表示部
４２１ 映像表示部
４２２ 操作部
４３１ 三次元モデル表示部
４３２ 表示操作部
４３３ 視点決定部
４４１ 表示部
４４２ 履歴部

Claims (8)

  1. 自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報とを表示装置から受信し、
    前記第１の場所が前記第１の時間帯において撮影された第１映像を前記表示装置に送信し、
    前記表示装置において前記第１映像を用いて選択された、前記第１時間帯に含まれる指定時刻を示す指定時刻情報を前記表示装置から受信し、
    前記第１の場所の前記指定時刻における前記自由視点画像を生成し、
    前記自由視点画像を前記表示装置に送信する
    自由視点画像生成方法。
  2. 前記表示装置から前記第１の時間情報を受信する前に、前記第１の時間帯を含む第２の時間帯を示す第２の時間情報を前記表示装置から受信し、
    前記第２の時間帯に含まれる複数の時刻におけるサムネイル画像を前記表示装置に送信し、
    前記第１の時間帯は、前記表示装置において前記サムネイル画像を用いて指定される
    請求項１記載の自由視点画像生成方法。
  3. 前記自由視点画像生成方法は、さらに、
    前記第１の場所の前記指定時刻における三次元モデルを生成し、
    前記三次元モデルを前記表示装置に送信し、
    前記表示装置において前記三次元モデルを用いて選択された選択視点を示す視点情報を前記表示装置から受信し、
    前記自由視点画像は、前記選択視点から見た画像である
    請求項１又は２記載の自由視点画像生成方法。
  4. 自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報を自由視点画像生成装置に送信し、
    前記第１の場所が前記第１の時間帯において撮影された第１映像を前記自由視点画像生成装置から受信し、
    前記第１映像を用いて前記第１時間帯に含まれる指定時刻を選択するための第１のユーザインタフェースを表示し、
    前記第１のユーザインタフェースを介して選択された前記指定時刻を示す指定時刻情報を前記自由視点画像生成装置に送信し、
    前記第１の場所の前記指定時刻における前記自由視点画像を前記自由視点画像生成装置から受信し、
    前記自由視点画像を表示する
    自由視点画像表示方法。
  5. 前記第１の時間情報を前記自由視点画像生成装置に送信する前に、前記第１の時間帯を含む第２の時間帯を示す第２の時間情報を前記自由視点画像生成装置に送信し、
    前記第２の時間帯に含まれる複数の時刻におけるサムネイル画像を前記自由視点画像生成装置から受信し、
    前記サムネイル画像を用いて前記第１の時間帯を指定するための第２のユーザインタフェースを表示し、
    前記第１の時間帯は、前記第２のユーザインタフェースを介して指定される
    請求項４記載の自由視点画像表示方法。
  6. 前記自由視点画像表示方法は、さらに、
    前記第１の場所の前記指定時刻における三次元モデルを前記自由視点画像生成装置から受信し、
    前記三次元モデルを用いて選択視点を選択するための第３のユーザインタフェースを表示し、
    前記第３のユーザインタフェースを介して選択された前記選択視点を示す視点情報を前記自由視点画像生成装置に送信し、
    前記自由視点画像は、前記選択視点から見た画像である
    請求項４又は５記載の自由視点画像表示方法。
  7. 複数の画像から三次元モデルを生成する自由視点画像生成装置であって、
    プロセッサと、
    メモリとを備え、
    前記プロセッサは、前記メモリを用いて、
    自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報とを表示装置から受信し、
    前記第１の場所が前記第１の時間帯において撮影された第１映像を前記表示装置に送信し、
    前記表示装置において前記第１映像を用いて選択された、前記第１時間帯に含まれる指定時刻を示す指定時刻情報を前記表示装置から受信し、
    前記第１の場所の前記指定時刻における前記自由視点画像を生成し、
    前記自由視点画像を前記表示装置に送信する
    自由視点画像生成装置。
  8. プロセッサと、
    メモリとを備え、
    前記プロセッサは、前記メモリを用いて、
    自由視点画像の生成対象の第１の場所を示す場所情報と、前記自由視点画像の生成対象の第１の時間帯を示す第１の時間情報を自由視点画像生成装置に送信し、
    前記第１の場所が前記第１の時間帯において撮影された第１映像を前記自由視点画像生成装置から受信し、
    前記第１映像を用いて前記第１時間帯に含まれる指定時刻を選択するための第１のユーザインタフェースを表示し、
    前記第１のユーザインタフェースを介して選択された前記指定時刻を示す指定時刻情報を前記自由視点画像生成装置に送信し、
    前記第１の場所の前記指定時刻における前記自由視点画像を前記自由視点画像生成装置から受信し、
    前記自由視点画像を表示する
    表示装置。
JP2020515567A 2018-04-27 2019-04-25 自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置 Active JP7167134B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862663443P 2018-04-27 2018-04-27
US62/663,443 2018-04-27
PCT/JP2019/017658 WO2019208702A1 (ja) 2018-04-27 2019-04-25 自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置

Publications (2)

Publication Number Publication Date
JPWO2019208702A1 true JPWO2019208702A1 (ja) 2021-04-30
JP7167134B2 JP7167134B2 (ja) 2022-11-08

Family

ID=68294103

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020515567A Active JP7167134B2 (ja) 2018-04-27 2019-04-25 自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置

Country Status (3)

Country Link
US (1) US20210044793A1 (ja)
JP (1) JP7167134B2 (ja)
WO (1) WO2019208702A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020086983A (ja) * 2018-11-27 2020-06-04 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
JP2022028091A (ja) * 2018-12-19 2022-02-15 ソニーグループ株式会社 画像処理装置、画像処理方法、及び、プログラム
JP2020187706A (ja) * 2019-05-17 2020-11-19 キヤノン株式会社 画像処理装置、画像処理システム、画像処理方法およびプログラム
EP4318406A4 (en) * 2021-03-31 2024-09-18 Fujifilm Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD AND PROGRAM
JP2023072296A (ja) * 2021-11-12 2023-05-24 ソニーグループ株式会社 情報処理装置および方法
JP2023131043A (ja) * 2022-03-08 2023-09-21 東京海上日動火災保険株式会社 情報処理装置、情報処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224542A (ja) * 1999-01-29 2000-08-11 Hitachi Ltd 画像記憶装置、監視システム、記憶媒体
JP2017228146A (ja) * 2016-06-23 2017-12-28 Kddi株式会社 画像処理装置、画像処理方法およびコンピュータプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000224542A (ja) * 1999-01-29 2000-08-11 Hitachi Ltd 画像記憶装置、監視システム、記憶媒体
JP2017228146A (ja) * 2016-06-23 2017-12-28 Kddi株式会社 画像処理装置、画像処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JP7167134B2 (ja) 2022-11-08
US20210044793A1 (en) 2021-02-11
WO2019208702A1 (ja) 2019-10-31

Similar Documents

Publication Publication Date Title
JP7167134B2 (ja) 自由視点画像生成方法、自由視点画像表示方法、自由視点画像生成装置及び表示装置
US12079942B2 (en) Augmented and virtual reality
JP7525603B2 (ja) 位置特定サービスおよび共有場所ベースのコンテンツを伴うクロスリアリティシステム
US9851877B2 (en) Image processing apparatus, image processing method, and computer program product
US20200402248A1 (en) Volumetric depth video recording and playback
CN106598229B (zh) 一种虚拟现实场景的生成方法、设备及虚拟现实系统
RU2491638C2 (ru) Агрегация 3d контента, встроенная в устройства
CN114762008A (zh) 简化的虚拟内容编程的交叉现实系统
US20210019953A1 (en) Real-time feedback for surface reconstruction as a service
CN115461787A (zh) 具有快速定位的交叉现实系统
US20140181630A1 (en) Method and apparatus for adding annotations to an image
CN115244493B (zh) 用于大规模环境重建的交叉现实系统
CN114616534A (zh) 具有无线指纹的交叉现实系统
CN115398314A (zh) 使用多分辨率帧描述符进行地图处理的交叉现实系统
JP7017175B2 (ja) 情報処理装置、情報処理方法、プログラム
US20230005220A1 (en) Shooting method, shooting instruction method, shooting device, and shooting instruction device
WO2014094874A1 (en) Method and apparatus for adding annotations to a plenoptic light field
Sugimoto et al. Building movie map-a tool for exploring areas in a city-and its evaluations
WO2020017600A1 (ja) 表示制御装置、表示制御方法及びプログラム
WO2021131941A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2022182836A (ja) 映像処理装置及びその制御方法及びプログラム
JP2001042259A (ja) 医用画像表示装置
JP7559033B2 (ja) 拡張された仮想現実
US11302074B2 (en) Mobile device 3-dimensional modeling
KR101563593B1 (ko) 자동 순회 관제를 위한 장치

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211117

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221026

R150 Certificate of patent or registration of utility model

Ref document number: 7167134

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150