JPWO2016017121A1 - 拡張現実表示システム、端末装置および拡張現実表示方法 - Google Patents

拡張現実表示システム、端末装置および拡張現実表示方法 Download PDF

Info

Publication number
JPWO2016017121A1
JPWO2016017121A1 JP2016537744A JP2016537744A JPWO2016017121A1 JP WO2016017121 A1 JPWO2016017121 A1 JP WO2016017121A1 JP 2016537744 A JP2016537744 A JP 2016537744A JP 2016537744 A JP2016537744 A JP 2016537744A JP WO2016017121 A1 JPWO2016017121 A1 JP WO2016017121A1
Authority
JP
Japan
Prior art keywords
unit
data
content
augmented reality
imaging unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016537744A
Other languages
English (en)
Other versions
JP6715441B2 (ja
Inventor
齋藤　浩
浩 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2016017121A1 publication Critical patent/JPWO2016017121A1/ja
Application granted granted Critical
Publication of JP6715441B2 publication Critical patent/JP6715441B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

複数ユーザに対しても同時に有益なコンテンツを重畳する拡張現実感を実現する。拡張現実表示システムは、対象物の位置情報を生成するデータ生成システムと、データ生成システムが生成した位置情報を受信するクラウドサーバと、クラウドサーバにネットワーク経由で接続可能な端末装置とを含む。端末装置は、映像データを生成する撮像部と、映像データから撮像部の姿勢を推定するカメラ姿勢推定部と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、カメラ姿勢推定部によって推定された撮像部の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部と、重畳された映像データを表示する表示部と、を含む。

Description

本開示は、撮像された映像にコンテンツを重畳させる拡張現実表示システムに関する。
近年において、カメラで撮影した画像（現実環境）に、文字や画像等の他の情報を付加して提示する技術として、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）が知られている（例えば、特許文献１など参照）。
特開２０１３−２５３２６号公報
本開示は、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる拡張現実表示システムを提供する。
拡張現実表示システムは、対象物の位置情報を生成するデータ生成システムと、データ生成システムが生成した位置情報を受信するクラウドサーバと、クラウドサーバにネットワーク経由で接続可能な端末装置とを含む。端末装置は、映像データを生成する撮像部と、映像データから撮像部の姿勢を推定するカメラ姿勢推定部と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、カメラ姿勢推定部によって推定された撮像部の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部と、重畳された映像データを表示する表示部とを含む。
本開示における拡張現実表示システムは、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる。
実施形態１に係る拡張現実表示システムの構成を示す図 実施の形態１に係る撮像部の姿勢を説明するための図 実施の形態１に係るワイドカメラシステムによって撮像されるサッカー競技場のピッチの全景図 実施の形態１に係るクラウドサーバに格納される対象物の位置座標およびコンテンツのデータを示す図 実施の形態１に係る表示部の表示例５を説明するための図 実施の形態１に係る表示部の表示例６Ａを説明するための図 実施の形態１に係る表示部の表示例６Ｂを説明するための図 実施形態２に係る拡張現実表示システムの構成を示す図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
［１．構成］
図１は、本実施の形態に係る拡張現実表示システム１００の構成を示す図である。拡張現実表示システム１００は、端末装置３の撮像部３１が撮影した実写映像の適切な位置にコンテンツをオーバーレイ表示することができる。図１では、拡張現実表示システム１００の構成要素として、ワイドカメラシステム１と、クラウドサーバ２と、ネットワーク経由でクラウドサーバ２に接続可能な端末装置３とが示されている。
ワイドカメラシステム１は、複数台のカメラを含み、競技場やイベントホール等の会場を撮影した映像に基づいて、パノラマ合成映像を作成し、提供することができる。また、ワイドカメラシステム１は、画像解析によってパノラマ合成映像上で対象物（例えば、競技場における選手、ボール等）の位置情報として位置座標を算出する機能を有し、パノラマ合成映像上の対象物の位置座標を追跡することができる。ワイドカメラシステム１は、この追跡される対象物の位置座標を含む対象物に関するデータを生成するデータ生成部１１と、データ生成部１１によって生成されたデータをクラウドサーバ２に有線又は無線で送るデータ送信部１２とを備える。ワイドカメラシステム１はデータ生成システムの一例である。
クラウドサーバ２は、ワイドカメラシステム１のデータ送信部１２によって送信されるデータを受信するデータ受信部２１と、この受信したデータおよび重畳が可能なコンテンツに関するデータを配信するデータ配信部２２を備える。
端末装置３は、拡張現実を表示するビューアとなるものであり、映像データを生成する撮像部３１（カメラ）と、当該映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２とを含む。カメラ姿勢推定部３２は、図２に示すような撮像部３１の３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離（ズーム位置）の７つのパラメータによって、撮像部３１の姿勢を映像データから推定する。
具体的には、例えば、サッカー競技場のライブ観戦において、観客は端末装置３の撮像部３１を用いてサッカー競技の撮影を行う。撮像部３１によって撮像された画像にサッカー競技場のピッチ（フィールド）のラインが映っている場合、当該ラインは長さ・大きさが既知のラインであるため、カメラ姿勢推定部３２は、当該ラインをある種のマーカーとして投射変換を行い撮像部３１の姿勢を推定する。このことで、カメラ姿勢推定部３２は、３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離の７つのパラメータからなる撮像部３１の姿勢を画像から推定することができる。
なお、本実施の形態では、カメラ姿勢推定部３２は、競技場の既知のラインをマーカーとして用いたが、別途マーカーになり得るものをサッカー競技場等のスタジアムに配置し、より高精度に画像から撮像部３１の姿勢を推定してもよい。また、競技場のラインの長さ等の情報は、クラウドサーバ２から端末装置３に配信されるデータに含まれてもよい。
また、端末装置３は、サッカー競技場のピッチのような対称形の図形に基づいてカメラ姿勢を認識するために、別にＧＰＳのようなカメラ位置取得部３３を備える。これは、サッカー競技のピッチを示すラインのようにマーカーが対称形の図形の場合、この図形からだけでは、撮像部３１がピッチのどちら側に位置しているかを正確に判別できないからである。カメラ位置取得部３３は、撮像部３１の位置情報を取得する。この取得した位置情報はカメラ姿勢推定部３２に入力される。このことで、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いて対称形の図形からでも撮像部３１の姿勢推定が可能になる。
また、端末装置３は、データ受信部３４、データ重畳部３５及び表示部３６を含む。データ受信部３４は、撮像部３１によって撮像された画像に重畳が可能なコンテンツ（例えば、選手の付随情報である選手の背番号、選手名など）と選手の位置座標を含むデータを、クラウドサーバ２のデータ配信部２２から受信する。データ重畳部３５は、カメラ姿勢推定部３２によって推定されたカメラ姿勢に応じて、撮像部３１によって生成された映像データに選手名などのコンテンツを適切に重畳する。表示部３６は、このコンテンツが重畳された映像を表示する。
さらに、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を含む。
［２．動作］
以上のように構成された拡張現実表示システム１００について、その動作を、サッカー競技場を例として以下説明する。図３は、ワイドカメラシステム１によって撮像されるサッカー競技場のピッチの全景図である。ワイドカメラシステム１は、複数台のカメラを含み、図３に示すようなサッカー競技場のピッチのパノラマ合成映像を作成する。図３は、便宜上、一方のチーム（左への攻撃）の選手５０，５１と他方のチーム（右への攻撃）の選手５２の３人の選手およびボール５４を示しており、ワイドカメラシステム１は、対象物としてこれらの選手やボールを撮像する。
ワイドカメラシステム１は、画像解析による追跡機能によって各チームの選手やボールを追跡してそれら対象物の動きをフレーム毎の位置座標（ｘ、ｙ、ｚ座標）としてデータを生成する。対象物が選手の場合であれば、その同定には背番号を読み取って利用する場合もある。対象物がボールの場合であれば、その形状や動きを読み取って同定することができる。生成された対象物（選手など）を同定するための情報（背番号など）と対象物の位置座標などのデータはクラウドサーバ２に送信される。
クラウドサーバ２は、ワイドカメラシステム１から送信された対象物を同定するための情報と位置座標とのデータをデータ受信部２１により受信する。クラウドサーバ２は、フレーム毎に生成されるこれらの受信したデータを重畳可能なコンテンツとなる付随情報（選手名、背番号、ポジションなど）と関連付けて、格納する。この格納の一例を図４に示す。ここで、付随情報Ａには対象物の名称（各選手の名前（「ＡＡ＊＊＊」等）と「ボール」）が格納され、付随情報Ｂには各選手の背番号が格納され、付随情報Ｃには各選手のポジションが格納されている。対象物がボールの場合のように、対応する付随情報を有しない場合は、当該付随情報は格納されない。そして、これらの付随情報に関連付けて位置座標がフレーム毎に格納される。なお、付随情報の種類は、これらに限られず、競技等の種類に応じて適宜変更が可能である。
本実施の形態ではサッカー競技場を例としており、対象物が選手の場合はｚ方向（高さ方向）の動きを無視できると判断し、選手の位置座標はｘ、ｙ座標のみを格納しているが、ｚ座標も格納してもよい。これに対し、対象物がボールの場合は、ｚ方向の動きを無視することなく、ｚ座標についても格納している。ボールの位置座標は、例えば、ボールの軌跡をコンテンツとして端末装置３に重畳表示する場合に用いることができる。
本実施の形態では、クラウドサーバ２は、データ配信部２２により、付随情報等の重畳可能なコンテンツと対称物（選手等）の位置座標を含む格納されたデータを所定のタイミング毎に連続的に端末装置３に配信する。
また、端末装置３の使用者である観客は、コンテンツ選択部３７を操作して、重畳可能な各種コンテンツから、自分の好みに合ったコンテンツを選択して必要と思うコンテンツだけを重畳させることができる。
拡張現実表示システム１００は、各種コンテンツを重畳させることができるが、以下に代表的な例として２つのコンテンツの重畳例を説明する。もちろん、コンテンツ選択部３７を操作することで複数のコンテンツを同時に重畳させることもできる。
［２−１．オフサイドラインの重畳例］
図３において選手５１の位置座標は（ｘ１，ｙ１）であり、ｘ座標（ｘ１）の値が同一チームのゴールキーパー（ＧＫ）を除く他の選手（選手５０など）のいずれのｘ座標（ｘ０など）よりも大きければ、選手５１を起点としてオフサイドライン５３を設定することができる。図５は、端末装置３の撮像部３１により撮像された映像にオフサイドライン５３が重畳した表示部３６の表示例である。
ワイドカメラシステム１は、画像解析によって、対象物（選手）を同定するための情報（背番号など）と対象物の位置座標とを含むデータを生成し、クラウドサーバ２に送信する。クラウドサーバ２は、受信したデータを各選手の背番号に対応付けて格納し、各選手の位置座標を用いてコンテンツとなるオフサイドライン情報を生成する。即ち、クラウドサーバ２は、受信した位置座標と付随情報Ｃに示すポジションから、ゴールキーパーを除くピッチ内にいる同一チームの選手のうちｘ座標の値が最も大きい（又は小さい）選手を特定し、その選手のｘ座標の値に基づいてオフサイドライン情報を作成することができる。このように、オフサイドライン５３は、複数の対象物の位置座標からに基づいて生成されるコンテンツである。なお、オフサイドライン情報は、クラウドサーバ２から複数の対象物の位置座標を受信して端末装置３の側で作成することもできる。
クラウドサーバ２のデータ配信部２２は、付随情報（選手の背番号、選手名、ポジション）、選手の位置座標、およびオフサイドライン情報を含むデータを端末装置３のデータ受信部３４に所定のタイミングで連続的に配信する。
コンテンツ選択部３７の操作によりコンテンツとしてオフサイドライン５３の重畳が許可されている場合、データ重畳部３５は、撮像部３１が生成した映像データにデータ受信部３４が受信したオフサイドライン情報を重畳し、そのデータを表示部３６に送る。
図３に示す選手５１の位置座標（ｘ１，ｙ１）は、図５に示す表示部３６の表示では位置座標（ｘ１ｃ、ｙ１ｃ）に相当する。データ重畳部３５は座標変換処理を行って、受信した位置座標（ｘ１，ｙ１）から、図５に示すように、撮像部３１によって撮影された選手５１の映像の位置座標（ｘ１ｃ，ｙ１ｃ）を算出する。そして、データ重畳部３５は、撮像部３１によって撮影された映像に、位置座標（ｘ１ｃ，ｙ１ｃ）を基点としてオフサイドライン５３を重畳し、表示部３６にてこの重畳した映像を表示する。
なお、観客の撮像部３１が選手５１又はオフサイドライン５３の領域を撮影していないカメラ姿勢の場合は、オフサイドライン５３は重畳されることはない。
［２−１．付随情報の重畳例］
上述のように、クラウドサーバ２のデータ配信部２２は、コンテンツとなる選手の背番号、選手名、ポジションなどの付随情報と選手の位置座標とを含むデータを、端末装置３のデータ受信部３４に配信する。端末装置３のデータ重畳部３５は、ワイドカメラシステム１によって生成された各選手５０、５１、５２の位置座標から、座標変換処理を行って、撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を算出する。
そして、コンテンツ選択部３７によりコンテンツとして選手の付随情報の重畳が許可されている場合、データ重畳部３５は、図６Ａに示すように、座標変換処理により得られた撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を基点にこれらの選手の付随情報を、撮像部３１が撮影した映像に重畳し、表示部３６にてこの重畳された映像を表示する。このように観客の撮像部３１が、そのカメラ姿勢により選手５１を捉えている場合、端末装置３は、図６Ａに示すように、表示部３６にてコンテンツとして選手の背番号、選手名およびポジションを重畳して表示することができる。
撮像部３１のレンズの焦点距離が図６Ａに比べて望遠側にあり、撮像部３１によって表示部３６の表示領域内に選手５１が撮影されていない場合、図６Ｂに示すように選手名などの付随情報は重畳されない。
以上のように、拡張現実表示システム１００は、例えば、競技場に描かれているラインのように、マーカーがたとえ対称形の図形であっても、カメラ位置取得部３３によって得られる大まかなカメラ（撮像部３１）位置を利用することで、ＡＲ技術を応用して現実空間の映像の適切な位置に、選手の名前等のコンテンツを重畳することができる。重畳することができるコンテンツとしては、本実施の形態で例示したサッカー競技における選手名、背番号、ポジションに限られず、走行距離、スピードなどの選手個人に紐付いた情報や、オフサイドラインのようなフォーメーションの情報、陸上競技であれば投てき種目の円盤や槍の軌跡、飛距離などのような情報がある。
（実施の形態２）
図７は、実施の形態２に係る拡張現実表示システム２００の構成を示す図である。図７は図１とクラウドサーバ２０の内部構成が異なる。つまり、図７に示すように、クラウドサーバ２０は、データ蓄積するデータ蓄積部２３と、この蓄積されたデータを解析するデータ解析部２４を、図１に示すクラウドサーバ２に比べて、追加的に備えている。
図１に示す拡張現実表示システム１００の構成では、ワイドカメラシステム１によるライブ映像を用いて対象物に関するデータが生成され、このデータを用いて重畳すべきコンテンツを生成していた。これに対して、図７に示す拡張現実表示システム２００の構成であれば、過去に撮影した映像データがデータ蓄積部２３に蓄積されており、これを用いてデータ解析部２４がコンテンツデータを生成することができる。
例えば、端末装置３使用する観客が陸上競技の１００ｍ走を観戦している場合、上述のように、実施の形態１で説明した拡張現実表示システム１００は、撮像部３１で撮影している選手の映像に重畳してその選手の付随情報（選手名等）を表示することができる。これに対し、本実施の形態の拡張現実表示システム２００は、例えば、１００ｍ走の世界記録における軌跡をデータ蓄積部２３に保存することができる。そのため、この世界記録の軌跡ラインをコンテンツとして、撮像部３１で現実に撮影している１００ｍ走の競技映像にオーバーレイして表示することができる。この場合、世界記録の軌跡ラインの表示ではなく、表示部３６に仮想選手をグラフィック表示し、世界記録の軌跡に合わせて撮影している選手と併走するように走らせることもできる。
（効果等）
以上のように、本実施の形態において、拡張現実表示システム１００，２００は、対象物の位置情報を生成するワイドカメラシステム１と、ワイドカメラシステム１が生成した位置情報を受信するクラウドサーバ２と、クラウドサーバ２にネットワーク経由で接続可能な端末装置３と、を含む。端末装置３は、映像データを生成する撮像部３１と、映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバ２から受信するデータ受信部３４と、カメラ姿勢推定部３２によって推定された撮像部３１の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部３５と、重畳された映像データを表示する表示部３６と、を含む。
これにより、例えば、競技場でのライブ観戦に対して、観客が使用する端末装置３のそれぞれのカメラ位置に対応して、端末装置３が表示する映像の適切な位置にコンテンツを重畳して表示することができる。このように拡張現実表示システム１００，２００は、複数の端末装置３に対しても同時に、それぞれのカメラ位置に対応した有益なコンテンツを重畳して表示させることができる。
また、端末装置３は、端末装置３の位置情報を取得するカメラ位置取得部３３を有し、この位置情報から、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場等のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いることにより、マーカーが対称形の図形であってもカメラ姿勢の推定が可能になる。
また、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を有するので、端末装置３の使用者である観客は、コンテンツ選択部３７を操作し、重畳可能な各種コンテンツから必要と思うコンテンツを選択して重畳させることができる。
なお、本実施の形態では、データ生成部１１はカメラを含み、画像解析により対象物に関するデータを生成するとしたが、センサによってかかるデータを生成してもよい。
また、拡張現実表示システム２００のように、クラウドサーバ２０を図７の構成にすれば、ワイドカメラシステム１によるライブ映像に基づくデータと過去の記録データの両方を用いて、重畳させるべきコンテンツを作成することができる。
本開示は、各種競技場やイベントホール等の会場において拡張現実表示システムに適用可能である。
１ ワイドカメラシステム
２，２０ クラウドサーバ
３ 端末装置
１１ データ生成部
１２ データ送信部
２１ データ受信部
２２ データ配信部
２３ データ蓄積部
２４ データ解析部
３１ 撮像部
３２ カメラ姿勢推定部
３３ カメラ位置取得部
３４ データ受信部
３５ データ重畳部
３６ 表示部
３７ コンテンツ選択部
５０，５１，５２ 選手
５３ オフサイドライン
５４ ボール
１００，２００ 拡張現実表示システム
本開示は、撮像された映像にコンテンツを重畳させる拡張現実表示システムに関する。
近年において、カメラで撮影した画像（現実環境）に、文字や画像等の他の情報を付加して提示する技術として、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）が知られている（例えば、特許文献１など参照）。
特開２０１３−２５３２６号公報
本開示は、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる拡張現実表示システムを提供する。
拡張現実表示システムは、対象物の位置情報を生成するデータ生成システムと、データ生成システムが生成した位置情報を受信するクラウドサーバと、クラウドサーバにネットワーク経由で接続可能な端末装置とを含む。端末装置は、映像データを生成する撮像部と、映像データから撮像部の姿勢を推定するカメラ姿勢推定部と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、カメラ姿勢推定部によって推定された撮像部の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部と、重畳された映像データを表示する表示部とを含む。
本開示における拡張現実表示システムは、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる。
実施形態１に係る拡張現実表示システムの構成を示す図 実施の形態１に係る撮像部の姿勢を説明するための図 実施の形態１に係るワイドカメラシステムによって撮像されるサッカー競技場のピッチの全景図 実施の形態１に係るクラウドサーバに格納される対象物の位置座標およびコンテンツのデータを示す図 実施の形態１に係る表示部の表示例５を説明するための図 実施の形態１に係る表示部の表示例６Ａを説明するための図 実施の形態１に係る表示部の表示例６Ｂを説明するための図 実施形態２に係る拡張現実表示システムの構成を示す図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
（実施の形態１）
［１．構成］
図１は、本実施の形態に係る拡張現実表示システム１００の構成を示す図である。拡張現実表示システム１００は、端末装置３の撮像部３１が撮影した実写映像の適切な位置にコンテンツをオーバーレイ表示することができる。図１では、拡張現実表示システム１００の構成要素として、ワイドカメラシステム１と、クラウドサーバ２と、ネットワーク経由でクラウドサーバ２に接続可能な端末装置３とが示されている。
ワイドカメラシステム１は、複数台のカメラを含み、競技場やイベントホール等の会場を撮影した映像に基づいて、パノラマ合成映像を作成し、提供することができる。また、ワイドカメラシステム１は、画像解析によってパノラマ合成映像上で対象物（例えば、競技場における選手、ボール等）の位置情報として位置座標を算出する機能を有し、パノラマ合成映像上の対象物の位置座標を追跡することができる。ワイドカメラシステム１は、この追跡される対象物の位置座標を含む対象物に関するデータを生成するデータ生成部１１と、データ生成部１１によって生成されたデータをクラウドサーバ２に有線又は無線で送るデータ送信部１２とを備える。ワイドカメラシステム１はデータ生成システムの一例である。
クラウドサーバ２は、ワイドカメラシステム１のデータ送信部１２によって送信されるデータを受信するデータ受信部２１と、この受信したデータおよび重畳が可能なコンテンツに関するデータを配信するデータ配信部２２を備える。
端末装置３は、拡張現実を表示するビューアとなるものであり、映像データを生成する撮像部３１（カメラ）と、当該映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２とを含む。カメラ姿勢推定部３２は、図２に示すような撮像部３１の３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離（ズーム位置）の７つのパラメータによって、撮像部３１の姿勢を映像データから推定する。
具体的には、例えば、サッカー競技場のライブ観戦において、観客は端末装置３の撮像部３１を用いてサッカー競技の撮影を行う。撮像部３１によって撮像された画像にサッカー競技場のピッチ（フィールド）のラインが映っている場合、当該ラインは長さ・大きさが既知のラインであるため、カメラ姿勢推定部３２は、当該ラインをある種のマーカーとして投射変換を行い撮像部３１の姿勢を推定する。このことで、カメラ姿勢推定部３２は、３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離の７つのパラメータからなる撮像部３１の姿勢を画像から推定することができる。
なお、本実施の形態では、カメラ姿勢推定部３２は、競技場の既知のラインをマーカーとして用いたが、別途マーカーになり得るものをサッカー競技場等のスタジアムに配置し、より高精度に画像から撮像部３１の姿勢を推定してもよい。また、競技場のラインの長さ等の情報は、クラウドサーバ２から端末装置３に配信されるデータに含まれてもよい。
また、端末装置３は、サッカー競技場のピッチのような対称形の図形に基づいてカメラ姿勢を認識するために、別にＧＰＳのようなカメラ位置取得部３３を備える。これは、サッカー競技のピッチを示すラインのようにマーカーが対称形の図形の場合、この図形からだけでは、撮像部３１がピッチのどちら側に位置しているかを正確に判別できないからである。カメラ位置取得部３３は、撮像部３１の位置情報を取得する。この取得した位置情報はカメラ姿勢推定部３２に入力される。このことで、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いて対称形の図形からでも撮像部３１の姿勢推定が可能になる。
また、端末装置３は、データ受信部３４、データ重畳部３５及び表示部３６を含む。データ受信部３４は、撮像部３１によって撮像された画像に重畳が可能なコンテンツ（例えば、選手の付随情報である選手の背番号、選手名など）と選手の位置座標を含むデータを、クラウドサーバ２のデータ配信部２２から受信する。データ重畳部３５は、カメラ姿勢推定部３２によって推定されたカメラ姿勢に応じて、撮像部３１によって生成された映像データに選手名などのコンテンツを適切に重畳する。表示部３６は、このコンテンツが重畳された映像を表示する。
さらに、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を含む。
［２．動作］
以上のように構成された拡張現実表示システム１００について、その動作を、サッカー競技場を例として以下説明する。図３は、ワイドカメラシステム１によって撮像されるサッカー競技場のピッチの全景図である。ワイドカメラシステム１は、複数台のカメラを含み、図３に示すようなサッカー競技場のピッチのパノラマ合成映像を作成する。図３は、便宜上、一方のチーム（左への攻撃）の選手５０，５１と他方のチーム（右への攻撃）の選手５２の３人の選手およびボール５４を示しており、ワイドカメラシステム１は、対象物としてこれらの選手やボールを撮像する。
ワイドカメラシステム１は、画像解析による追跡機能によって各チームの選手やボールを追跡してそれら対象物の動きをフレーム毎の位置座標（ｘ、ｙ、ｚ座標）としてデータを生成する。対象物が選手の場合であれば、その同定には背番号を読み取って利用する場合もある。対象物がボールの場合であれば、その形状や動きを読み取って同定することができる。生成された対象物（選手など）を同定するための情報（背番号など）と対象物の位置座標などのデータはクラウドサーバ２に送信される。
クラウドサーバ２は、ワイドカメラシステム１から送信された対象物を同定するための情報と位置座標とのデータをデータ受信部２１により受信する。クラウドサーバ２は、フレーム毎に生成されるこれらの受信したデータを重畳可能なコンテンツとなる付随情報（選手名、背番号、ポジションなど）と関連付けて、格納する。この格納の一例を図４に示す。ここで、付随情報Ａには対象物の名称（各選手の名前（「ＡＡ＊＊＊」等）と「ボール」）が格納され、付随情報Ｂには各選手の背番号が格納され、付随情報Ｃには各選手のポジションが格納されている。対象物がボールの場合のように、対応する付随情報を有しない場合は、当該付随情報は格納されない。そして、これらの付随情報に関連付けて位置座標がフレーム毎に格納される。なお、付随情報の種類は、これらに限られず、競技等の種類に応じて適宜変更が可能である。
本実施の形態ではサッカー競技場を例としており、対象物が選手の場合はｚ方向（高さ方向）の動きを無視できると判断し、選手の位置座標はｘ、ｙ座標のみを格納しているが、ｚ座標も格納してもよい。これに対し、対象物がボールの場合は、ｚ方向の動きを無視することなく、ｚ座標についても格納している。ボールの位置座標は、例えば、ボールの軌跡をコンテンツとして端末装置３に重畳表示する場合に用いることができる。
本実施の形態では、クラウドサーバ２は、データ配信部２２により、付随情報等の重畳可能なコンテンツと対称物（選手等）の位置座標を含む格納されたデータを所定のタイミング毎に連続的に端末装置３に配信する。
また、端末装置３の使用者である観客は、コンテンツ選択部３７を操作して、重畳可能な各種コンテンツから、自分の好みに合ったコンテンツを選択して必要と思うコンテンツだけを重畳させることができる。
拡張現実表示システム１００は、各種コンテンツを重畳させることができるが、以下に代表的な例として２つのコンテンツの重畳例を説明する。もちろん、コンテンツ選択部３７を操作することで複数のコンテンツを同時に重畳させることもできる。
［２−１．オフサイドラインの重畳例］
図３において選手５１の位置座標は（ｘ１，ｙ１）であり、ｘ座標（ｘ１）の値が同一チームのゴールキーパー（ＧＫ）を除く他の選手（選手５０など）のいずれのｘ座標（ｘ０など）よりも大きければ、選手５１を起点としてオフサイドライン５３を設定することができる。図５は、端末装置３の撮像部３１により撮像された映像にオフサイドライン５３が重畳した表示部３６の表示例である。
ワイドカメラシステム１は、画像解析によって、対象物（選手）を同定するための情報（背番号など）と対象物の位置座標とを含むデータを生成し、クラウドサーバ２に送信する。クラウドサーバ２は、受信したデータを各選手の背番号に対応付けて格納し、各選手の位置座標を用いてコンテンツとなるオフサイドライン情報を生成する。即ち、クラウドサーバ２は、受信した位置座標と付随情報Ｃに示すポジションから、ゴールキーパーを除くピッチ内にいる同一チームの選手のうちｘ座標の値が最も大きい（又は小さい）選手を特定し、その選手のｘ座標の値に基づいてオフサイドライン情報を作成することができる。このように、オフサイドライン５３は、複数の対象物の位置座標からに基づいて生成されるコンテンツである。なお、オフサイドライン情報は、クラウドサーバ２から複数の対象物の位置座標を受信して端末装置３の側で作成することもできる。
クラウドサーバ２のデータ配信部２２は、付随情報（選手の背番号、選手名、ポジション）、選手の位置座標、およびオフサイドライン情報を含むデータを端末装置３のデータ受信部３４に所定のタイミングで連続的に配信する。
コンテンツ選択部３７の操作によりコンテンツとしてオフサイドライン５３の重畳が許可されている場合、データ重畳部３５は、撮像部３１が生成した映像データにデータ受信部３４が受信したオフサイドライン情報を重畳し、そのデータを表示部３６に送る。
図３に示す選手５１の位置座標（ｘ１，ｙ１）は、図５に示す表示部３６の表示では位置座標（ｘ１ｃ、ｙ１ｃ）に相当する。データ重畳部３５は座標変換処理を行って、受信した位置座標（ｘ１，ｙ１）から、図５に示すように、撮像部３１によって撮影された選手５１の映像の位置座標（ｘ１ｃ，ｙ１ｃ）を算出する。そして、データ重畳部３５は、撮像部３１によって撮影された映像に、位置座標（ｘ１ｃ，ｙ１ｃ）を基点としてオフサイドライン５３を重畳し、表示部３６にてこの重畳した映像を表示する。
なお、観客の撮像部３１が選手５１又はオフサイドライン５３の領域を撮影していないカメラ姿勢の場合は、オフサイドライン５３は重畳されることはない。
［２−２．付随情報の重畳例］
上述のように、クラウドサーバ２のデータ配信部２２は、コンテンツとなる選手の背番号、選手名、ポジションなどの付随情報と選手の位置座標とを含むデータを、端末装置３のデータ受信部３４に配信する。端末装置３のデータ重畳部３５は、ワイドカメラシステム１によって生成された各選手５０、５１、５２の位置座標から、座標変換処理を行って、撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を算出する。
そして、コンテンツ選択部３７によりコンテンツとして選手の付随情報の重畳が許可されている場合、データ重畳部３５は、図６Ａに示すように、座標変換処理により得られた撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を基点にこれらの選手の付随情報を、撮像部３１が撮影した映像に重畳し、表示部３６にてこの重畳された映像を表示する。このように観客の撮像部３１が、そのカメラ姿勢により選手５１を捉えている場合、端末装置３は、図６Ａに示すように、表示部３６にてコンテンツとして選手の背番号、選手名およびポジションを重畳して表示することができる。
撮像部３１のレンズの焦点距離が図６Ａに比べて望遠側にあり、撮像部３１によって表示部３６の表示領域内に選手５１が撮影されていない場合、図６Ｂに示すように選手名などの付随情報は重畳されない。
以上のように、拡張現実表示システム１００は、例えば、競技場に描かれているラインのように、マーカーがたとえ対称形の図形であっても、カメラ位置取得部３３によって得られる大まかなカメラ（撮像部３１）位置を利用することで、ＡＲ技術を応用して現実空間の映像の適切な位置に、選手の名前等のコンテンツを重畳することができる。重畳することができるコンテンツとしては、本実施の形態で例示したサッカー競技における選手名、背番号、ポジションに限られず、走行距離、スピードなどの選手個人に紐付いた情報や、オフサイドラインのようなフォーメーションの情報、陸上競技であれば投てき種目の円盤や槍の軌跡、飛距離などのような情報がある。
（実施の形態２）
図７は、実施の形態２に係る拡張現実表示システム２００の構成を示す図である。図７は図１とクラウドサーバ２０の内部構成が異なる。つまり、図７に示すように、クラウドサーバ２０は、データ蓄積するデータ蓄積部２３と、この蓄積されたデータを解析するデータ解析部２４を、図１に示すクラウドサーバ２に比べて、追加的に備えている。
図１に示す拡張現実表示システム１００の構成では、ワイドカメラシステム１によるライブ映像を用いて対象物に関するデータが生成され、このデータを用いて重畳すべきコンテンツを生成していた。これに対して、図７に示す拡張現実表示システム２００の構成であれば、過去に撮影した映像データがデータ蓄積部２３に蓄積されており、これを用いてデータ解析部２４がコンテンツデータを生成することができる。
例えば、端末装置３使用する観客が陸上競技の１００ｍ走を観戦している場合、上述のように、実施の形態１で説明した拡張現実表示システム１００は、撮像部３１で撮影している選手の映像に重畳してその選手の付随情報（選手名等）を表示することができる。これに対し、本実施の形態の拡張現実表示システム２００は、例えば、１００ｍ走の世界記録における軌跡をデータ蓄積部２３に保存することができる。そのため、この世界記録の軌跡ラインをコンテンツとして、撮像部３１で現実に撮影している１００ｍ走の競技映像にオーバーレイして表示することができる。この場合、世界記録の軌跡ラインの表示ではなく、表示部３６に仮想選手をグラフィック表示し、世界記録の軌跡に合わせて撮影している選手と併走するように走らせることもできる。
（効果等）
以上のように、本実施の形態において、拡張現実表示システム１００，２００は、対象物の位置情報を生成するワイドカメラシステム１と、ワイドカメラシステム１が生成した位置情報を受信するクラウドサーバ２と、クラウドサーバ２にネットワーク経由で接続可能な端末装置３と、を含む。端末装置３は、映像データを生成する撮像部３１と、映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバ２から受信するデータ受信部３４と、カメラ姿勢推定部３２によって推定された撮像部３１の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部３５と、重畳された映像データを表示する表示部３６と、を含む。
これにより、例えば、競技場でのライブ観戦に対して、観客が使用する端末装置３のそれぞれのカメラ位置に対応して、端末装置３が表示する映像の適切な位置にコンテンツを重畳して表示することができる。このように拡張現実表示システム１００，２００は、複数の端末装置３に対しても同時に、それぞれのカメラ位置に対応した有益なコンテンツを重畳して表示させることができる。
また、端末装置３は、端末装置３の位置情報を取得するカメラ位置取得部３３を有し、この位置情報から、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場等のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いることにより、マーカーが対称形の図形であってもカメラ姿勢の推定が可能になる。
また、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を有するので、端末装置３の使用者である観客は、コンテンツ選択部３７を操作し、重畳可能な各種コンテンツから必要と思うコンテンツを選択して重畳させることができる。
なお、本実施の形態では、データ生成部１１はカメラを含み、画像解析により対象物に関するデータを生成するとしたが、センサによってかかるデータを生成してもよい。
また、拡張現実表示システム２００のように、クラウドサーバ２０を図７の構成にすれば、ワイドカメラシステム１によるライブ映像に基づくデータと過去の記録データの両方を用いて、重畳させるべきコンテンツを作成することができる。
本開示は、各種競技場やイベントホール等の会場において拡張現実表示システムに適用可能である。
１ ワイドカメラシステム
２，２０ クラウドサーバ
３ 端末装置
１１ データ生成部
１２ データ送信部
２１ データ受信部
２２ データ配信部
２３ データ蓄積部
２４ データ解析部
３１ 撮像部
３２ カメラ姿勢推定部
３３ カメラ位置取得部
３４ データ受信部
３５ データ重畳部
３６ 表示部
３７ コンテンツ選択部
５０，５１，５２ 選手
５３ オフサイドライン
５４ ボール
１００，２００ 拡張現実表示システム

Claims (11)

  1. 対象物の位置情報を生成するデータ生成システムと、
    前記データ生成システムが生成した前記位置情報を受信するクラウドサーバと、
    前記クラウドサーバにネットワーク経由で接続可能な端末装置と、を含み、
    前記端末装置は、
    映像データを生成する撮像部と、
    前記映像データから前記撮像部の姿勢を推定するカメラ姿勢推定部と、
    コンテンツと前記コンテンツに関連する前記位置情報を、前記クラウドサーバから受信するデータ受信部と、
    前記カメラ姿勢推定部によって推定された前記撮像部の姿勢に対応付けて前記位置情報を変換し、前記変換された位置情報を基点として前記コンテンツを前記映像データに重畳するデータ重畳部と、
    前記重畳された映像データを表示する表示部と
    を含む、拡張現実表示システム。
  2. 前記クラウドサーバは前記コンテンツと前記位置情報を所定のタイミング毎に連続的に前記端末装置に配信する、請求項１記載の拡張現実表示システム。
  3. 前記コンテンツは、複数の前記対象物の前記位置情報に基づいて生成される、請求項１記載の拡張現実表示システム。
  4. 前記コンテンツは、前記対象物に関連した付随情報である、請求項１記載の拡張現実表示システム。
  5. 前記データ生成システムは、画像解析による対象物の追跡機能を備えたカメラシステムである、請求項１記載の拡張現実表示システム。
  6. 前記カメラ姿勢推定部は、前記撮像部の３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離の７つのパラメータによって前記撮像部の姿勢を前記映像データから推定する、請求項１記載の拡張現実表示システム。
  7. 前記端末装置は、前記撮像部の位置情報を取得するカメラ位置取得部を有し、前記撮像部の前記位置情報は前記カメラ姿勢推定部に入力される、請求項１記載の拡張現実表示システム。
  8. 前記端末装置は、前記クラウドサーバによって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部を有する、請求項１記載の拡張現実表示システム。
  9. 前記クラウドサーバは、前記データを蓄積するデータ蓄積部と、当該蓄積されたデータを解析するデータ解析部を含む、請求項１記載の拡張現実表示システム。
  10. 拡張現実表示システムに用いられる端末装置であって、
    映像データを生成する撮像部と、
    前記映像データから前記撮像部の姿勢を推定するカメラ姿勢推定部と、
    コンテンツおよび前記コンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、
    前記カメラ姿勢推定部によって推定された前記撮像部の姿勢に対応付けて前記位置情報を変換し、前記変換された位置情報を基点として前記コンテンツを前記映像データに重畳するデータ重畳部と、
    前記重畳された映像データを表示する表示部と、を含む、端末装置。
  11. 映像データを生成し、
    前記映像データを生成する撮像部の姿勢を前記映像データから推定し、
    コンテンツおよび前記コンテンツに関連する位置情報を、クラウドサーバから受信し、
    前記推定された撮像部の姿勢に対応付けて前記位置情報を変換し、
    前記変換された位置情報を基点として前記コンテンツを前記映像データに重畳し、
    前記重畳された映像データを表示する、拡張現実表示方法。
JP2016537744A 2014-07-28 2015-07-23 拡張現実表示システム、端末装置および拡張現実表示方法 Active JP6715441B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014152553 2014-07-28
JP2014152553 2014-07-28
PCT/JP2015/003688 WO2016017121A1 (ja) 2014-07-28 2015-07-23 拡張現実表示システム、端末装置および拡張現実表示方法

Publications (2)

Publication Number Publication Date
JPWO2016017121A1 true JPWO2016017121A1 (ja) 2017-06-22
JP6715441B2 JP6715441B2 (ja) 2020-07-01

Family

ID=55217041

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016537744A Active JP6715441B2 (ja) 2014-07-28 2015-07-23 拡張現実表示システム、端末装置および拡張現実表示方法

Country Status (4)

Country Link
US (1) US10152826B2 (ja)
EP (2) EP3176756A4 (ja)
JP (1) JP6715441B2 (ja)
WO (1) WO2016017121A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
WO2017196670A1 (en) 2016-05-13 2017-11-16 Vid Scale, Inc. Bit depth remapping based on viewing parameters
US11087486B2 (en) * 2016-05-18 2021-08-10 Panasonic Intellectual Property Management Co., Ltd. Lane specification method and lane specification device
WO2018009828A1 (en) 2016-07-08 2018-01-11 Vid Scale, Inc. Systems and methods for region-of-interest tone remapping
WO2018017936A1 (en) * 2016-07-22 2018-01-25 Vid Scale, Inc. Systems and methods for integrating and delivering objects of interest in video
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10325410B1 (en) * 2016-11-07 2019-06-18 Vulcan Inc. Augmented reality for enhancing sporting events
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
JP7215173B2 (ja) * 2017-02-02 2023-01-31 ソニーグループ株式会社 情報処理装置、および情報処理方法
CN110291575A (zh) * 2017-02-10 2019-09-27 夏普株式会社 图像处理装置以及图像处理程序
WO2018152437A1 (en) 2017-02-17 2018-08-23 Vid Scale, Inc. Systems and methods for selective object-of-interest zooming in streaming video
WO2018164911A1 (en) 2017-03-07 2018-09-13 Pcms Holdings, Inc. Tailored video streaming for multi-device presentations
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) * 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
JP7010292B2 (ja) * 2017-07-25 2022-01-26 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
JP6690622B2 (ja) 2017-09-26 2020-04-28 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
JP7210153B2 (ja) * 2018-04-04 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10873709B2 (en) * 2018-07-10 2020-12-22 Fuji Xerox Co., Ltd. Systems and methods for automatic detection and insetting of digital streams into a 360-degree video
US10853658B2 (en) * 2018-10-30 2020-12-01 Sony Corporation Image-based detection of offside in gameplay
JP7289630B2 (ja) * 2018-11-07 2023-06-12 キヤノン株式会社 画像処理装置
CN113273171A (zh) * 2018-11-07 2021-08-17 佳能株式会社 图像处理装置、图像处理服务器、图像处理方法、计算机程序和存储介质
JP7233886B2 (ja) * 2018-11-07 2023-03-07 キヤノン株式会社 画像処理装置
JP7233887B2 (ja) * 2018-11-07 2023-03-07 キヤノン株式会社 画像処理装置
US10880163B2 (en) * 2019-01-31 2020-12-29 Dell Products, L.P. System and method for hardware management and configuration in a datacenter using augmented reality and available sensor data
US10958959B1 (en) 2019-09-13 2021-03-23 At&T Intellectual Property I, L.P. Automatic generation of augmented reality media
EP4068762A4 (en) * 2019-12-20 2023-02-01 Sony Group Corporation INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
JP2021100222A (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 端末装置、アプリケーションサーバ、受信方法及び送信方法
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
WO2023140110A1 (ja) * 2022-01-20 2023-07-27 ソニーグループ株式会社 端末装置、位置姿勢推定方法、およびプログラム
CN114979708B (zh) * 2022-05-20 2023-10-17 咪咕数字传媒有限公司 视频推送方法、装置、服务器设备及可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003103052A (ja) * 2001-09-28 2003-04-08 Canon Inc 映像体験システム、情報処理方法およびプログラム
JP2003204481A (ja) * 2001-08-16 2003-07-18 Space Tag Inc 画像情報配信システム
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
JP2012034365A (ja) * 2010-07-29 2012-02-16 Liberovision Ag コンピュータ実行画像処理方法および仮想再生ユニット

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
US7091989B2 (en) * 2001-08-10 2006-08-15 Sony Corporation System and method for data assisted chroma-keying
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US20070035562A1 (en) * 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US9094615B2 (en) * 2004-04-16 2015-07-28 Intheplay, Inc. Automatic event videoing, tracking and content generation
US20080291272A1 (en) * 2007-05-22 2008-11-27 Nils Oliver Krahnstoever Method and system for remote estimation of motion parameters
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
GB2452546B (en) * 2007-09-07 2012-03-21 Sony Corp Video processing system and method
TWI558199B (zh) * 2008-08-08 2016-11-11 尼康股份有限公司 Carry information machine and information acquisition system
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
EP2534553A4 (en) * 2010-02-09 2016-03-02 Google Inc GEOKODIERTE COMMENTS IN A NOTIFICATION SERVICE
GB2489454A (en) * 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
GB2489675A (en) * 2011-03-29 2012-10-10 Sony Corp Generating and viewing video highlights with field of view (FOV) information
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US20150131845A1 (en) * 2012-05-04 2015-05-14 Mocap Analytics, Inc. Methods, systems and software programs for enhanced sports analytics and applications
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
US20140340423A1 (en) * 2013-03-15 2014-11-20 Nexref Technologies, Llc Marker-based augmented reality (AR) display with inventory management
US9700781B2 (en) * 2015-06-26 2017-07-11 Lawrence Maxwell Monari Sports entertainment tracking system for mobile sports spectators

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204481A (ja) * 2001-08-16 2003-07-18 Space Tag Inc 画像情報配信システム
JP2003103052A (ja) * 2001-09-28 2003-04-08 Canon Inc 映像体験システム、情報処理方法およびプログラム
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム
JP2012034365A (ja) * 2010-07-29 2012-02-16 Liberovision Ag コンピュータ実行画像処理方法および仮想再生ユニット

Also Published As

Publication number Publication date
EP3176756A1 (en) 2017-06-07
WO2016017121A1 (ja) 2016-02-04
US10152826B2 (en) 2018-12-11
EP3176756A4 (en) 2017-08-09
JP6715441B2 (ja) 2020-07-01
EP3869469A1 (en) 2021-08-25
US20170124769A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
JP6715441B2 (ja) 拡張現実表示システム、端末装置および拡張現実表示方法
US20210012557A1 (en) Systems and associated methods for creating a viewing experience
US11880932B2 (en) Systems and associated methods for creating a viewing experience
US10582191B1 (en) Dynamic angle viewing system
EP3451681B1 (en) Information processing device, control method of information processing device, and program
JP5531086B2 (ja) 自動車のディスプレイを用いた、拡張現実感を生成する方法及びシステム
EP3238445B1 (en) Interactive binocular video display
ES2790885T3 (es) Seguimiento de objetos en tiempo real y captura de movimiento en eventos deportivos
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
JP2015204512A (ja) 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
US11627251B2 (en) Image processing apparatus and control method thereof, computer-readable storage medium
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
US20170201723A1 (en) Method of providing object image based on object tracking
JP2018182428A (ja) 映像配信装置、映像配信システム及び映像配信方法
CN106873933B (zh) 显示方法及电子设备
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP2020042407A (ja) 情報処理装置、情報処理方法及びプログラム
JP6602726B2 (ja) 仮想環境生成装置、仮想環境生成方法、プログラム
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법
JP2021016015A (ja) 広告システム
US20120194736A1 (en) Methods and Apparatus for Interactive Media
US20240037843A1 (en) Image processing apparatus, image processing system, image processing method, and storage medium
US20240214543A1 (en) Multi-camera multiview imaging with fast and accurate synchronization
US20240214614A1 (en) Multi-camera multiview imaging with fast and accurate synchronization
JP5081804B2 (ja) 移動対象物の順位を示す表示システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170117

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180227

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20190118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190820

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191015

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200421

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200504

R151 Written notification of patent or utility model registration

Ref document number: 6715441

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151