WO2016017121A1 - 拡張現実表示システム、端末装置および拡張現実表示方法 - Google Patents

拡張現実表示システム、端末装置および拡張現実表示方法 Download PDF

Info

Publication number
WO2016017121A1
WO2016017121A1 PCT/JP2015/003688 JP2015003688W WO2016017121A1 WO 2016017121 A1 WO2016017121 A1 WO 2016017121A1 JP 2015003688 W JP2015003688 W JP 2015003688W WO 2016017121 A1 WO2016017121 A1 WO 2016017121A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
data
content
augmented reality
video data
Prior art date
Application number
PCT/JP2015/003688
Other languages
English (en)
French (fr)
Inventor
齋藤　浩
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to EP15826993.6A priority Critical patent/EP3176756A4/en
Priority to JP2016537744A priority patent/JP6715441B2/ja
Priority to EP21163922.4A priority patent/EP3869469A1/en
Publication of WO2016017121A1 publication Critical patent/WO2016017121A1/ja
Priority to US15/408,605 priority patent/US10152826B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1694—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a single or a set of motion sensors for pointer control or gesture input obtained by sensing movements of the portable computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6582—Data stored in the client, e.g. viewing habits, hardware capabilities, credit card number
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • This disclosure relates to an augmented reality display system that superimposes content on a captured video.
  • AR augmented reality
  • This disclosure provides an augmented reality display system capable of simultaneously superimposing useful content on a captured video for a plurality of users.
  • the augmented reality display system includes a data generation system that generates position information of an object, a cloud server that receives position information generated by the data generation system, and a terminal device that can be connected to the cloud server via a network.
  • the terminal device includes an imaging unit that generates video data, a camera attitude estimation unit that estimates the attitude of the imaging unit from the video data, a data reception unit that receives content and position information related to the content from the cloud server, and a camera A data superimposing unit that converts position information in association with the posture of the imaging unit estimated by the posture estimating unit, superimposes content on video data using the converted position information as a base point, and a display that displays the superimposed video data Part.
  • the augmented reality display system according to the present disclosure can simultaneously superimpose content useful for a plurality of users on a captured video.
  • FIG. 1 The figure which shows the structure of the augmented reality display system which concerns on Embodiment 1.
  • FIG. 1 The figure for demonstrating the attitude
  • position of the imaging part which concerns on Embodiment 1 Whole view of pitch of soccer stadium imaged by wide camera system according to Embodiment 1
  • FIG. 2 The figure which shows the structure of the augmented reality display system which concerns on Embodiment 2.
  • FIG. 1 is a diagram showing a configuration of an augmented reality display system 100 according to the present embodiment.
  • the augmented reality display system 100 can display the content in an overlay position at an appropriate position in the live-action image captured by the imaging unit 31 of the terminal device 3.
  • a wide camera system 1 a cloud server 2, and a terminal device 3 that can be connected to the cloud server 2 via a network are shown as components of the augmented reality display system 100.
  • the wide camera system 1 includes a plurality of cameras, and can create and provide a panoramic composite video based on video taken at a venue such as a stadium or an event hall. Further, the wide camera system 1 has a function of calculating position coordinates as position information of an object (for example, a player, a ball, etc. in a stadium) on a panorama composite image by image analysis, and the object on the panorama composite image Can be tracked.
  • the wide camera system 1 includes a data generation unit 11 that generates data related to the object including the position coordinates of the tracked object, and data that is sent by wire or wirelessly to the cloud server 2 from the data generated by the data generation unit 11 And a transmission unit 12.
  • the wide camera system 1 is an example of a data generation system.
  • the cloud server 2 includes a data receiving unit 21 that receives data transmitted by the data transmitting unit 12 of the wide camera system 1 and a data distribution unit 22 that distributes the received data and data related to content that can be superimposed.
  • the terminal device 3 is a viewer that displays augmented reality, and includes an imaging unit 31 (camera) that generates video data, and a camera posture estimation unit 32 that estimates the posture of the imaging unit 31 from the video data.
  • the camera posture estimation unit 32 includes three coordinates (x, y, z), three rotation angles (roll angle, pitch angle, and yaw angle) of the imaging unit 31 as shown in FIG. ) Of the imaging unit 31 is estimated from the video data.
  • the imaging unit 31 of the terminal device 3 uses the imaging unit 31 of the terminal device 3 to shoot a soccer game.
  • the line is a line having a known length and size. Is subjected to projection conversion using a certain kind of marker to estimate the posture of the imaging unit 31.
  • the camera posture estimation unit 32 includes an imaging unit 31 including seven parameters, ie, three coordinates (x, y, z), three rotation angles (roll angle, pitch angle, yaw angle), and lens focal length. Can be estimated from the image.
  • the camera posture estimation unit 32 uses a known line of the stadium as a marker. However, a camera that can be a separate marker is placed in a stadium such as a soccer stadium, and the image is more accurately recorded. From the above, the posture of the imaging unit 31 may be estimated. Information such as the length of the stadium line may be included in data distributed from the cloud server 2 to the terminal device 3.
  • the terminal device 3 includes a camera position acquisition unit 33 such as GPS in order to recognize the camera posture based on a symmetrical figure such as a pitch of a soccer field.
  • a camera position acquisition unit 33 such as GPS in order to recognize the camera posture based on a symmetrical figure such as a pitch of a soccer field.
  • the camera position acquisition unit 33 acquires position information of the imaging unit 31.
  • the acquired position information is input to the camera posture estimation unit 32.
  • the camera posture estimation unit 32 roughly determines on which side of the pitch of the soccer stadium the spectator with the terminal device 3 is located, and using this determination information, even from a symmetric figure, the imaging unit 31 posture estimations are possible.
  • the terminal device 3 includes a data receiving unit 34, a data superimposing unit 35, and a display unit 36.
  • the data receiving unit 34 stores data including content that can be superimposed on the image captured by the imaging unit 31 (for example, the player's back number and player name, which are accompanying information of the player), and the position coordinates of the player. 2 from the data distribution unit 22.
  • the data superimposing unit 35 appropriately superimposes content such as a player name on the video data generated by the imaging unit 31 in accordance with the camera posture estimated by the camera posture estimating unit 32.
  • the display unit 36 displays a video on which the content is superimposed.
  • the terminal device 3 includes a content selection unit 37 that selects whether or not to allow superimposition for each content distributed by the cloud server 2.
  • FIG. 3 is a full view of the pitch of the soccer stadium imaged by the wide camera system 1.
  • the wide camera system 1 includes a plurality of cameras and creates a panoramic composite image of a pitch of a soccer stadium as shown in FIG.
  • FIG. 3 shows three players, that is, the players 50 and 51 of one team (attack to the left) and the player 52 of the other team (attack to the right) and the ball 54 for the sake of convenience. Images these players and balls as objects.
  • the wide camera system 1 tracks players and balls of each team by a tracking function based on image analysis, and generates data using the movements of these objects as position coordinates (x, y, z coordinates) for each frame. If the target object is a player, the identification number may be read and used. If the object is a ball, its shape and movement can be read and identified. Information (such as a spine number) for identifying the generated object (such as a player) and data such as the position coordinates of the object are transmitted to the cloud server 2.
  • the cloud server 2 receives the data for identifying the object transmitted from the wide camera system 1 and the data of the position coordinates by the data receiving unit 21.
  • the cloud server 2 stores the received data generated for each frame in association with accompanying information (player name, spine number, position, etc.) that is a superimposable content.
  • accompanying information player name, spine number, position, etc.
  • FIG. An example of this storage is shown in FIG.
  • the accompanying information A stores the names of the objects (names of the players (such as “AA ***”) and “ball”)
  • the accompanying information B stores the number of each player.
  • Information C stores the position of each player.
  • the incidental information is not stored.
  • the position coordinates are stored for each frame in association with the accompanying information.
  • the kind of accompanying information is not restricted to these, It can change suitably according to types, such as a competition.
  • a soccer stadium is taken as an example.
  • the object is a player
  • the z coordinate may also be stored.
  • the position coordinates of the ball can be used, for example, when the trajectory of the ball is superimposed on the terminal device 3 as content.
  • the cloud server 2 uses the data distribution unit 22 to continuously store stored data including content information that can be superimposed, such as accompanying information, and position coordinates of symmetrical objects (players, etc.) at predetermined timings. Delivered to the terminal device 3.
  • the spectator who is a user of the terminal device 3 may operate the content selection unit 37 to select content that suits his / her preference from various contents that can be superimposed, and superimpose only the content that is necessary. it can.
  • the augmented reality display system 100 can superimpose various contents, and an example of superimposing two contents will be described below as a typical example. Of course, it is possible to simultaneously superimpose a plurality of contents by operating the content selection unit 37.
  • FIG. 5 is a display example of the display unit 36 in which the offside line 53 is superimposed on the video imaged by the imaging unit 31 of the terminal device 3.
  • the wide camera system 1 generates data including information (such as a back number) for identifying an object (player) and position coordinates of the object by image analysis, and transmits the data to the cloud server 2.
  • the cloud server 2 stores the received data in association with each player's spine number, and generates offside line information serving as content using the position coordinates of each player. That is, the cloud server 2 identifies the player with the largest (or smallest) x-coordinate value among the players of the same team in the pitch excluding the goalkeeper, from the received position coordinates and the position shown in the accompanying information C.
  • Offside line information can be created based on the x-coordinate value of the player.
  • the offside line 53 is content generated based on the position coordinates of a plurality of objects.
  • the offside line information can also be created on the terminal device 3 side by receiving the position coordinates of a plurality of objects from the cloud server 2.
  • the data distribution unit 22 of the cloud server 2 sends data including accompanying information (player number, player name, position), player position coordinates, and offside line information to the data reception unit 34 of the terminal device 3 at a predetermined timing. Deliver continuously.
  • the data superimposition unit 35 When superimposition of the offside line 53 is permitted as content by the operation of the content selection unit 37, the data superimposition unit 35 superimposes the offside line information received by the data reception unit 34 on the video data generated by the imaging unit 31, The data is sent to the display unit 36.
  • the position coordinates (x1, y1) of the player 51 shown in FIG. 3 correspond to the position coordinates (x1c, y1c) in the display of the display unit 36 shown in FIG.
  • the data superimposing unit 35 performs a coordinate conversion process, and from the received position coordinates (x1, y1), as shown in FIG. 5, the position coordinates (x1c, y1c) of the video of the player 51 photographed by the imaging unit 31 are obtained. calculate. Then, the data superimposing unit 35 superimposes the offside line 53 on the video captured by the imaging unit 31 with the position coordinates (x1c, y1c) as a base point, and the display unit 36 displays the superimposed video.
  • the offside line 53 is not superimposed when the image capturing unit 31 of the spectator is in a camera posture where the area of the player 51 or the offside line 53 is not photographed.
  • the data distribution unit 22 of the cloud server 2 uses the data receiving unit 34 of the terminal device 3 as the data including the accompanying information such as the player's spine number, player name, position, and the position coordinates of the player. Deliver to.
  • the data superimposing unit 35 of the terminal device 3 performs a coordinate conversion process from the position coordinates of the players 50, 51, 52 generated by the wide camera system 1, and the players 50, 51, The position coordinates of 52 images are calculated.
  • the data superimposition unit 35 captures each image captured by the imaging unit 31 obtained by the coordinate conversion process. Based on the position coordinates of the images of the players 50, 51, 52, the accompanying information of these players is superimposed on the image captured by the imaging unit 31, and the superimposed image is displayed on the display unit 36.
  • the terminal device 3 displays the player's spine number, player name, and position as content on the display unit 36, as shown in FIG. 6A. Can be superimposed and displayed.
  • the augmented reality display system 100 is a rough camera obtained by the camera position acquisition unit 33 even if the marker is a symmetric figure such as a line drawn on a stadium, for example.
  • the position of the imaging unit 31 By using the position of the imaging unit 31), it is possible to superimpose content such as the player's name at an appropriate position in the real space image by applying the AR technology.
  • the content that can be superimposed is not limited to the player name, back number, and position in the soccer competitions exemplified in this embodiment, but information associated with individual players such as mileage and speed, and formations such as offside lines If it is a track and field event, there are information such as the throwing disc, the trajectory of the kite, and the flight distance.
  • FIG. 7 is a diagram showing a configuration of the augmented reality display system 200 according to the second embodiment.
  • FIG. 7 differs from FIG. 1 in the internal configuration of the cloud server 20. That is, as shown in FIG. 7, the cloud server 20 includes a data storage unit 23 for storing data and a data analysis unit 24 for analyzing the stored data, as compared with the cloud server 2 shown in FIG. In preparation.
  • the augmented reality display system 100 described in the first embodiment uses the imaging unit 31 to capture the player.
  • the accompanying information (player name, etc.) of the player can be displayed superimposed on the video.
  • the augmented reality display system 200 according to the present embodiment can store, for example, a trajectory in a world record of 100 m running in the data storage unit 23. Therefore, this world record trajectory line can be overlaid and displayed as content on the 100 m running competition video actually captured by the imaging unit 31.
  • the virtual player instead of displaying the track line of the world record, the virtual player can be displayed graphically on the display unit 36, and can be run alongside the player who is shooting according to the track of the world record.
  • the augmented reality display systems 100 and 200 include the wide camera system 1 that generates position information of an object, and the cloud server 2 that receives position information generated by the wide camera system 1. And a terminal device 3 that can be connected to the cloud server 2 via a network.
  • the terminal device 3 receives data from the cloud server 2 such as an imaging unit 31 that generates video data, a camera attitude estimation unit 32 that estimates the attitude of the imaging unit 31 from the video data, and content and position information related to the content.
  • a receiving unit 34 a data superimposing unit 35 that converts position information in association with the posture of the imaging unit 31 estimated by the camera posture estimating unit 32, and superimposes content on video data using the converted position information as a base point; And a display unit 36 for displaying the superimposed video data.
  • the content is superimposed and displayed at an appropriate position of the video displayed by the terminal device 3 corresponding to each camera position of the terminal device 3 used by the spectator. can do.
  • the augmented reality display systems 100 and 200 can simultaneously superimpose and display useful contents corresponding to the respective camera positions on the plurality of terminal devices 3.
  • the terminal device 3 includes a camera position acquisition unit 33 that acquires the position information of the terminal device 3, and from this position information, the camera posture estimation unit 32 indicates that the spectator with the terminal device 3 has a soccer stadium, etc. By roughly discriminating which side of the pitch is present and using this discrimination information, the camera posture can be estimated even if the marker is a symmetrical figure.
  • the terminal device 3 since the terminal device 3 includes the content selection unit 37 that selects whether or not to allow superimposition for each content distributed by the cloud server 2, a spectator who is a user of the terminal device 3 has the content selection unit 37. , And the content that is considered necessary can be selected and superimposed from various contents that can be superimposed.
  • the data generation unit 11 includes a camera and generates data related to the object by image analysis.
  • data may be generated by a sensor.
  • the cloud server 20 is configured as shown in FIG. 7 as in the augmented reality display system 200, content to be superimposed is created using both data based on live video from the wide camera system 1 and past recorded data. can do.
  • This disclosure can be applied to an augmented reality display system in venues such as various stadiums and event halls.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Devices (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

　複数ユーザに対しても同時に有益なコンテンツを重畳する拡張現実感を実現する。拡張現実表示システムは、対象物の位置情報を生成するデータ生成システムと、データ生成システムが生成した位置情報を受信するクラウドサーバと、クラウドサーバにネットワーク経由で接続可能な端末装置とを含む。端末装置は、映像データを生成する撮像部と、映像データから撮像部の姿勢を推定するカメラ姿勢推定部と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、カメラ姿勢推定部によって推定された撮像部の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部と、重畳された映像データを表示する表示部と、を含む。

Description

拡張現実表示システム、端末装置および拡張現実表示方法
　本開示は、撮像された映像にコンテンツを重畳させる拡張現実表示システムに関する。
　近年において、カメラで撮影した画像（現実環境）に、文字や画像等の他の情報を付加して提示する技術として、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）が知られている（例えば、特許文献１など参照）。
特開２０１３－２５３２６号公報
　本開示は、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる拡張現実表示システムを提供する。
　拡張現実表示システムは、対象物の位置情報を生成するデータ生成システムと、データ生成システムが生成した位置情報を受信するクラウドサーバと、クラウドサーバにネットワーク経由で接続可能な端末装置とを含む。端末装置は、映像データを生成する撮像部と、映像データから撮像部の姿勢を推定するカメラ姿勢推定部と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、カメラ姿勢推定部によって推定された撮像部の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部と、重畳された映像データを表示する表示部とを含む。
　本開示における拡張現実表示システムは、複数のユーザに対しても同時に有益なコンテンツを撮影された映像に重畳することができる。
実施形態１に係る拡張現実表示システムの構成を示す図 実施の形態１に係る撮像部の姿勢を説明するための図 実施の形態１に係るワイドカメラシステムによって撮像されるサッカー競技場のピッチの全景図 実施の形態１に係るクラウドサーバに格納される対象物の位置座標およびコンテンツのデータを示す図 実施の形態１に係る表示部の表示例５を説明するための図 実施の形態１に係る表示部の表示例６Ａを説明するための図 実施の形態１に係る表示部の表示例６Ｂを説明するための図 実施形態２に係る拡張現実表示システムの構成を示す図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。
　（実施の形態１）
　［１．構成］
　図１は、本実施の形態に係る拡張現実表示システム１００の構成を示す図である。拡張現実表示システム１００は、端末装置３の撮像部３１が撮影した実写映像の適切な位置にコンテンツをオーバーレイ表示することができる。図１では、拡張現実表示システム１００の構成要素として、ワイドカメラシステム１と、クラウドサーバ２と、ネットワーク経由でクラウドサーバ２に接続可能な端末装置３とが示されている。
　ワイドカメラシステム１は、複数台のカメラを含み、競技場やイベントホール等の会場を撮影した映像に基づいて、パノラマ合成映像を作成し、提供することができる。また、ワイドカメラシステム１は、画像解析によってパノラマ合成映像上で対象物（例えば、競技場における選手、ボール等）の位置情報として位置座標を算出する機能を有し、パノラマ合成映像上の対象物の位置座標を追跡することができる。ワイドカメラシステム１は、この追跡される対象物の位置座標を含む対象物に関するデータを生成するデータ生成部１１と、データ生成部１１によって生成されたデータをクラウドサーバ２に有線又は無線で送るデータ送信部１２とを備える。ワイドカメラシステム１はデータ生成システムの一例である。
　クラウドサーバ２は、ワイドカメラシステム１のデータ送信部１２によって送信されるデータを受信するデータ受信部２１と、この受信したデータおよび重畳が可能なコンテンツに関するデータを配信するデータ配信部２２を備える。
　端末装置３は、拡張現実を表示するビューアとなるものであり、映像データを生成する撮像部３１（カメラ）と、当該映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２とを含む。カメラ姿勢推定部３２は、図２に示すような撮像部３１の３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離（ズーム位置）の７つのパラメータによって、撮像部３１の姿勢を映像データから推定する。
　具体的には、例えば、サッカー競技場のライブ観戦において、観客は端末装置３の撮像部３１を用いてサッカー競技の撮影を行う。撮像部３１によって撮像された画像にサッカー競技場のピッチ（フィールド）のラインが映っている場合、当該ラインは長さ・大きさが既知のラインであるため、カメラ姿勢推定部３２は、当該ラインをある種のマーカーとして投射変換を行い撮像部３１の姿勢を推定する。このことで、カメラ姿勢推定部３２は、３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離の７つのパラメータからなる撮像部３１の姿勢を画像から推定することができる。
　なお、本実施の形態では、カメラ姿勢推定部３２は、競技場の既知のラインをマーカーとして用いたが、別途マーカーになり得るものをサッカー競技場等のスタジアムに配置し、より高精度に画像から撮像部３１の姿勢を推定してもよい。また、競技場のラインの長さ等の情報は、クラウドサーバ２から端末装置３に配信されるデータに含まれてもよい。
　また、端末装置３は、サッカー競技場のピッチのような対称形の図形に基づいてカメラ姿勢を認識するために、別にＧＰＳのようなカメラ位置取得部３３を備える。これは、サッカー競技のピッチを示すラインのようにマーカーが対称形の図形の場合、この図形からだけでは、撮像部３１がピッチのどちら側に位置しているかを正確に判別できないからである。カメラ位置取得部３３は、撮像部３１の位置情報を取得する。この取得した位置情報はカメラ姿勢推定部３２に入力される。このことで、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いて対称形の図形からでも撮像部３１の姿勢推定が可能になる。
　また、端末装置３は、データ受信部３４、データ重畳部３５及び表示部３６を含む。データ受信部３４は、撮像部３１によって撮像された画像に重畳が可能なコンテンツ（例えば、選手の付随情報である選手の背番号、選手名など）と選手の位置座標を含むデータを、クラウドサーバ２のデータ配信部２２から受信する。データ重畳部３５は、カメラ姿勢推定部３２によって推定されたカメラ姿勢に応じて、撮像部３１によって生成された映像データに選手名などのコンテンツを適切に重畳する。表示部３６は、このコンテンツが重畳された映像を表示する。
　さらに、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を含む。
　［２．動作］
　以上のように構成された拡張現実表示システム１００について、その動作を、サッカー競技場を例として以下説明する。図３は、ワイドカメラシステム１によって撮像されるサッカー競技場のピッチの全景図である。ワイドカメラシステム１は、複数台のカメラを含み、図３に示すようなサッカー競技場のピッチのパノラマ合成映像を作成する。図３は、便宜上、一方のチーム（左への攻撃）の選手５０，５１と他方のチーム（右への攻撃）の選手５２の３人の選手およびボール５４を示しており、ワイドカメラシステム１は、対象物としてこれらの選手やボールを撮像する。
　ワイドカメラシステム１は、画像解析による追跡機能によって各チームの選手やボールを追跡してそれら対象物の動きをフレーム毎の位置座標（ｘ、ｙ、ｚ座標）としてデータを生成する。対象物が選手の場合であれば、その同定には背番号を読み取って利用する場合もある。対象物がボールの場合であれば、その形状や動きを読み取って同定することができる。生成された対象物（選手など）を同定するための情報（背番号など）と対象物の位置座標などのデータはクラウドサーバ２に送信される。
　クラウドサーバ２は、ワイドカメラシステム１から送信された対象物を同定するための情報と位置座標とのデータをデータ受信部２１により受信する。クラウドサーバ２は、フレーム毎に生成されるこれらの受信したデータを重畳可能なコンテンツとなる付随情報（選手名、背番号、ポジションなど）と関連付けて、格納する。この格納の一例を図４に示す。ここで、付随情報Ａには対象物の名称（各選手の名前（「ＡＡ＊＊＊」等）と「ボール」）が格納され、付随情報Ｂには各選手の背番号が格納され、付随情報Ｃには各選手のポジションが格納されている。対象物がボールの場合のように、対応する付随情報を有しない場合は、当該付随情報は格納されない。そして、これらの付随情報に関連付けて位置座標がフレーム毎に格納される。なお、付随情報の種類は、これらに限られず、競技等の種類に応じて適宜変更が可能である。
　本実施の形態ではサッカー競技場を例としており、対象物が選手の場合はｚ方向（高さ方向）の動きを無視できると判断し、選手の位置座標はｘ、ｙ座標のみを格納しているが、ｚ座標も格納してもよい。これに対し、対象物がボールの場合は、ｚ方向の動きを無視することなく、ｚ座標についても格納している。ボールの位置座標は、例えば、ボールの軌跡をコンテンツとして端末装置３に重畳表示する場合に用いることができる。
　本実施の形態では、クラウドサーバ２は、データ配信部２２により、付随情報等の重畳可能なコンテンツと対称物（選手等）の位置座標を含む格納されたデータを所定のタイミング毎に連続的に端末装置３に配信する。
　また、端末装置３の使用者である観客は、コンテンツ選択部３７を操作して、重畳可能な各種コンテンツから、自分の好みに合ったコンテンツを選択して必要と思うコンテンツだけを重畳させることができる。
　拡張現実表示システム１００は、各種コンテンツを重畳させることができるが、以下に代表的な例として２つのコンテンツの重畳例を説明する。もちろん、コンテンツ選択部３７を操作することで複数のコンテンツを同時に重畳させることもできる。
　［２－１．オフサイドラインの重畳例］
　図３において選手５１の位置座標は（ｘ１，ｙ１）であり、ｘ座標（ｘ１）の値が同一チームのゴールキーパー（ＧＫ）を除く他の選手（選手５０など）のいずれのｘ座標（ｘ０など）よりも大きければ、選手５１を起点としてオフサイドライン５３を設定することができる。図５は、端末装置３の撮像部３１により撮像された映像にオフサイドライン５３が重畳した表示部３６の表示例である。
　ワイドカメラシステム１は、画像解析によって、対象物（選手）を同定するための情報（背番号など）と対象物の位置座標とを含むデータを生成し、クラウドサーバ２に送信する。クラウドサーバ２は、受信したデータを各選手の背番号に対応付けて格納し、各選手の位置座標を用いてコンテンツとなるオフサイドライン情報を生成する。即ち、クラウドサーバ２は、受信した位置座標と付随情報Ｃに示すポジションから、ゴールキーパーを除くピッチ内にいる同一チームの選手のうちｘ座標の値が最も大きい（又は小さい）選手を特定し、その選手のｘ座標の値に基づいてオフサイドライン情報を作成することができる。このように、オフサイドライン５３は、複数の対象物の位置座標からに基づいて生成されるコンテンツである。なお、オフサイドライン情報は、クラウドサーバ２から複数の対象物の位置座標を受信して端末装置３の側で作成することもできる。
　クラウドサーバ２のデータ配信部２２は、付随情報（選手の背番号、選手名、ポジション）、選手の位置座標、およびオフサイドライン情報を含むデータを端末装置３のデータ受信部３４に所定のタイミングで連続的に配信する。
　コンテンツ選択部３７の操作によりコンテンツとしてオフサイドライン５３の重畳が許可されている場合、データ重畳部３５は、撮像部３１が生成した映像データにデータ受信部３４が受信したオフサイドライン情報を重畳し、そのデータを表示部３６に送る。
　図３に示す選手５１の位置座標（ｘ１，ｙ１）は、図５に示す表示部３６の表示では位置座標（ｘ１ｃ、ｙ１ｃ）に相当する。データ重畳部３５は座標変換処理を行って、受信した位置座標（ｘ１，ｙ１）から、図５に示すように、撮像部３１によって撮影された選手５１の映像の位置座標（ｘ１ｃ，ｙ１ｃ）を算出する。そして、データ重畳部３５は、撮像部３１によって撮影された映像に、位置座標（ｘ１ｃ，ｙ１ｃ）を基点としてオフサイドライン５３を重畳し、表示部３６にてこの重畳した映像を表示する。
　なお、観客の撮像部３１が選手５１又はオフサイドライン５３の領域を撮影していないカメラ姿勢の場合は、オフサイドライン５３は重畳されることはない。
　［２－１．付随情報の重畳例］
　上述のように、クラウドサーバ２のデータ配信部２２は、コンテンツとなる選手の背番号、選手名、ポジションなどの付随情報と選手の位置座標とを含むデータを、端末装置３のデータ受信部３４に配信する。端末装置３のデータ重畳部３５は、ワイドカメラシステム１によって生成された各選手５０、５１、５２の位置座標から、座標変換処理を行って、撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を算出する。
　そして、コンテンツ選択部３７によりコンテンツとして選手の付随情報の重畳が許可されている場合、データ重畳部３５は、図６Ａに示すように、座標変換処理により得られた撮像部３１によって撮影された各選手５０、５１、５２の映像の位置座標を基点にこれらの選手の付随情報を、撮像部３１が撮影した映像に重畳し、表示部３６にてこの重畳された映像を表示する。このように観客の撮像部３１が、そのカメラ姿勢により選手５１を捉えている場合、端末装置３は、図６Ａに示すように、表示部３６にてコンテンツとして選手の背番号、選手名およびポジションを重畳して表示することができる。
　撮像部３１のレンズの焦点距離が図６Ａに比べて望遠側にあり、撮像部３１によって表示部３６の表示領域内に選手５１が撮影されていない場合、図６Ｂに示すように選手名などの付随情報は重畳されない。
　以上のように、拡張現実表示システム１００は、例えば、競技場に描かれているラインのように、マーカーがたとえ対称形の図形であっても、カメラ位置取得部３３によって得られる大まかなカメラ（撮像部３１）位置を利用することで、ＡＲ技術を応用して現実空間の映像の適切な位置に、選手の名前等のコンテンツを重畳することができる。重畳することができるコンテンツとしては、本実施の形態で例示したサッカー競技における選手名、背番号、ポジションに限られず、走行距離、スピードなどの選手個人に紐付いた情報や、オフサイドラインのようなフォーメーションの情報、陸上競技であれば投てき種目の円盤や槍の軌跡、飛距離などのような情報がある。
　（実施の形態２）
　図７は、実施の形態２に係る拡張現実表示システム２００の構成を示す図である。図７は図１とクラウドサーバ２０の内部構成が異なる。つまり、図７に示すように、クラウドサーバ２０は、データ蓄積するデータ蓄積部２３と、この蓄積されたデータを解析するデータ解析部２４を、図１に示すクラウドサーバ２に比べて、追加的に備えている。
　図１に示す拡張現実表示システム１００の構成では、ワイドカメラシステム１によるライブ映像を用いて対象物に関するデータが生成され、このデータを用いて重畳すべきコンテンツを生成していた。これに対して、図７に示す拡張現実表示システム２００の構成であれば、過去に撮影した映像データがデータ蓄積部２３に蓄積されており、これを用いてデータ解析部２４がコンテンツデータを生成することができる。
　例えば、端末装置３使用する観客が陸上競技の１００ｍ走を観戦している場合、上述のように、実施の形態１で説明した拡張現実表示システム１００は、撮像部３１で撮影している選手の映像に重畳してその選手の付随情報（選手名等）を表示することができる。これに対し、本実施の形態の拡張現実表示システム２００は、例えば、１００ｍ走の世界記録における軌跡をデータ蓄積部２３に保存することができる。そのため、この世界記録の軌跡ラインをコンテンツとして、撮像部３１で現実に撮影している１００ｍ走の競技映像にオーバーレイして表示することができる。この場合、世界記録の軌跡ラインの表示ではなく、表示部３６に仮想選手をグラフィック表示し、世界記録の軌跡に合わせて撮影している選手と併走するように走らせることもできる。
　（効果等）
　以上のように、本実施の形態において、拡張現実表示システム１００，２００は、対象物の位置情報を生成するワイドカメラシステム１と、ワイドカメラシステム１が生成した位置情報を受信するクラウドサーバ２と、クラウドサーバ２にネットワーク経由で接続可能な端末装置３と、を含む。端末装置３は、映像データを生成する撮像部３１と、映像データから撮像部３１の姿勢を推定するカメラ姿勢推定部３２と、コンテンツとコンテンツに関連する位置情報を、クラウドサーバ２から受信するデータ受信部３４と、カメラ姿勢推定部３２によって推定された撮像部３１の姿勢に対応付けて位置情報を変換し、変換された位置情報を基点としてコンテンツを映像データに重畳するデータ重畳部３５と、重畳された映像データを表示する表示部３６と、を含む。
　これにより、例えば、競技場でのライブ観戦に対して、観客が使用する端末装置３のそれぞれのカメラ位置に対応して、端末装置３が表示する映像の適切な位置にコンテンツを重畳して表示することができる。このように拡張現実表示システム１００，２００は、複数の端末装置３に対しても同時に、それぞれのカメラ位置に対応した有益なコンテンツを重畳して表示させることができる。
　また、端末装置３は、端末装置３の位置情報を取得するカメラ位置取得部３３を有し、この位置情報から、カメラ姿勢推定部３２は、端末装置３をもった観客がサッカー競技場等のピッチのどちら側に居るかを大まかに判別し、この判別情報を用いることにより、マーカーが対称形の図形であってもカメラ姿勢の推定が可能になる。
　また、端末装置３は、クラウドサーバ２によって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部３７を有するので、端末装置３の使用者である観客は、コンテンツ選択部３７を操作し、重畳可能な各種コンテンツから必要と思うコンテンツを選択して重畳させることができる。
　なお、本実施の形態では、データ生成部１１はカメラを含み、画像解析により対象物に関するデータを生成するとしたが、センサによってかかるデータを生成してもよい。
　また、拡張現実表示システム２００のように、クラウドサーバ２０を図７の構成にすれば、ワイドカメラシステム１によるライブ映像に基づくデータと過去の記録データの両方を用いて、重畳させるべきコンテンツを作成することができる。
　本開示は、各種競技場やイベントホール等の会場において拡張現実表示システムに適用可能である。
　１　ワイドカメラシステム
　２，２０　クラウドサーバ
　３　端末装置
　１１　データ生成部
　１２　データ送信部
　２１　データ受信部
　２２　データ配信部
　２３　データ蓄積部
　２４　データ解析部
　３１　撮像部
　３２　カメラ姿勢推定部
　３３　カメラ位置取得部
　３４　データ受信部
　３５　データ重畳部
　３６　表示部
　３７　コンテンツ選択部
　５０，５１，５２　選手
　５３　オフサイドライン
　５４　ボール
　１００，２００　拡張現実表示システム

Claims (11)

  1. 　対象物の位置情報を生成するデータ生成システムと、
    　前記データ生成システムが生成した前記位置情報を受信するクラウドサーバと、
    　前記クラウドサーバにネットワーク経由で接続可能な端末装置と、を含み、
    　前記端末装置は、
    　映像データを生成する撮像部と、
    　前記映像データから前記撮像部の姿勢を推定するカメラ姿勢推定部と、
    　コンテンツと前記コンテンツに関連する前記位置情報を、前記クラウドサーバから受信するデータ受信部と、
    　前記カメラ姿勢推定部によって推定された前記撮像部の姿勢に対応付けて前記位置情報を変換し、前記変換された位置情報を基点として前記コンテンツを前記映像データに重畳するデータ重畳部と、
    　前記重畳された映像データを表示する表示部と
    を含む、拡張現実表示システム。
  2. 　前記クラウドサーバは前記コンテンツと前記位置情報を所定のタイミング毎に連続的に前記端末装置に配信する、請求項１記載の拡張現実表示システム。
  3. 　前記コンテンツは、複数の前記対象物の前記位置情報に基づいて生成される、請求項１記載の拡張現実表示システム。
  4. 　前記コンテンツは、前記対象物に関連した付随情報である、請求項１記載の拡張現実表示システム。
  5. 　前記データ生成システムは、画像解析による対象物の追跡機能を備えたカメラシステムである、請求項１記載の拡張現実表示システム。
  6. 　前記カメラ姿勢推定部は、前記撮像部の３つの座標（ｘ，ｙ，ｚ）と３つの回転角（ロール角，ピッチ角，ヨー角）とレンズの焦点距離の７つのパラメータによって前記撮像部の姿勢を前記映像データから推定する、請求項１記載の拡張現実表示システム。
  7. 　前記端末装置は、前記撮像部の位置情報を取得するカメラ位置取得部を有し、前記撮像部の前記位置情報は前記カメラ姿勢推定部に入力される、請求項１記載の拡張現実表示システム。
  8. 　前記端末装置は、前記クラウドサーバによって配信されるコンテンツ毎の重畳を許可するか否かを選択するコンテンツ選択部を有する、請求項１記載の拡張現実表示システム。
  9. 　前記クラウドサーバは、前記データを蓄積するデータ蓄積部と、当該蓄積されたデータを解析するデータ解析部を含む、請求項１記載の拡張現実表示システム。
  10. 　拡張現実表示システムに用いられる端末装置であって、
    　映像データを生成する撮像部と、
    　前記映像データから前記撮像部の姿勢を推定するカメラ姿勢推定部と、
    　コンテンツおよび前記コンテンツに関連する位置情報を、クラウドサーバから受信するデータ受信部と、
    　前記カメラ姿勢推定部によって推定された前記撮像部の姿勢に対応付けて前記位置情報を変換し、前記変換された位置情報を基点として前記コンテンツを前記映像データに重畳するデータ重畳部と、
    　前記重畳された映像データを表示する表示部と、を含む、端末装置。
  11. 　映像データを生成し、
    　前記映像データを生成する撮像部の姿勢を前記映像データから推定し、
    　コンテンツおよび前記コンテンツに関連する位置情報を、クラウドサーバから受信し、
    　前記推定された撮像部の姿勢に対応付けて前記位置情報を変換し、
    　前記変換された位置情報を基点として前記コンテンツを前記映像データに重畳し、
    　前記重畳された映像データを表示する、拡張現実表示方法。
PCT/JP2015/003688 2014-07-28 2015-07-23 拡張現実表示システム、端末装置および拡張現実表示方法 WO2016017121A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP15826993.6A EP3176756A4 (en) 2014-07-28 2015-07-23 Augmented reality display system, terminal device and augmented reality display method
JP2016537744A JP6715441B2 (ja) 2014-07-28 2015-07-23 拡張現実表示システム、端末装置および拡張現実表示方法
EP21163922.4A EP3869469A1 (en) 2014-07-28 2015-07-23 Augmented reality display system, terminal device and augmented reality display method
US15/408,605 US10152826B2 (en) 2014-07-28 2017-01-18 Augmented reality display system, terminal device and augmented reality display method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-152553 2014-07-28
JP2014152553 2014-07-28

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/408,605 Continuation US10152826B2 (en) 2014-07-28 2017-01-18 Augmented reality display system, terminal device and augmented reality display method

Publications (1)

Publication Number Publication Date
WO2016017121A1 true WO2016017121A1 (ja) 2016-02-04

Family

ID=55217041

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003688 WO2016017121A1 (ja) 2014-07-28 2015-07-23 拡張現実表示システム、端末装置および拡張現実表示方法

Country Status (4)

Country Link
US (1) US10152826B2 (ja)
EP (2) EP3176756A4 (ja)
JP (1) JP6715441B2 (ja)
WO (1) WO2016017121A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017199498A1 (ja) * 2016-05-18 2017-11-23 パナソニックＩｐマネジメント株式会社 レーン特定方法およびレーン特定装置
WO2019021375A1 (ja) * 2017-07-25 2019-01-31 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
JP2019061479A (ja) * 2017-09-26 2019-04-18 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
CN110291575A (zh) * 2017-02-10 2019-09-27 夏普株式会社 图像处理装置以及图像处理程序
JPWO2018142705A1 (ja) * 2017-02-02 2019-11-21 ソニー株式会社 情報処理装置、および情報処理方法
JP2020010327A (ja) * 2018-07-10 2020-01-16 富士ゼロックス株式会社 ３６０度ビデオへのデジタルストリームの自動検出及び挿入のためのシステム、方法及びプログラム
WO2020095647A1 (ja) * 2018-11-07 2020-05-14 キヤノン株式会社 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体
JP2020077951A (ja) * 2018-11-07 2020-05-21 キヤノン株式会社 画像処理装置
JP2020077952A (ja) * 2018-11-07 2020-05-21 キヤノン株式会社 画像処理装置
JP2020077953A (ja) * 2018-11-07 2020-05-21 キヤノン株式会社 画像処理装置
WO2021131992A1 (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 端末装置、アプリケーションサーバ、受信方法及び送信方法
JP2022122436A (ja) * 2021-02-10 2022-08-23 株式会社コロプラ プログラム、情報処理方法、情報処理装置、及びシステム
WO2023140110A1 (ja) * 2022-01-20 2023-07-27 ソニーグループ株式会社 端末装置、位置姿勢推定方法、およびプログラム

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11006095B2 (en) 2015-07-15 2021-05-11 Fyusion, Inc. Drone based capture of a multi-view interactive digital media
US10242474B2 (en) 2015-07-15 2019-03-26 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11095869B2 (en) 2015-09-22 2021-08-17 Fyusion, Inc. System and method for generating combined embedded multi-view interactive digital media representations
US10222932B2 (en) 2015-07-15 2019-03-05 Fyusion, Inc. Virtual reality environment based manipulation of multilayered multi-view interactive digital media representations
US10147211B2 (en) 2015-07-15 2018-12-04 Fyusion, Inc. Artificially rendering images using viewpoint interpolation and extrapolation
US11783864B2 (en) 2015-09-22 2023-10-10 Fyusion, Inc. Integration of audio into a multi-view interactive digital media representation
EP3456058A1 (en) 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
EP3482566B1 (en) 2016-07-08 2024-02-28 InterDigital Madison Patent Holdings, SAS Systems and methods for region-of-interest tone remapping
US20190253747A1 (en) * 2016-07-22 2019-08-15 Vid Scale, Inc. Systems and methods for integrating and delivering objects of interest in video
US11202017B2 (en) 2016-10-06 2021-12-14 Fyusion, Inc. Live style transfer on a mobile device
US10325410B1 (en) * 2016-11-07 2019-06-18 Vulcan Inc. Augmented reality for enhancing sporting events
US10437879B2 (en) 2017-01-18 2019-10-08 Fyusion, Inc. Visual search using multi-view interactive digital media representations
CN110301136B (zh) 2017-02-17 2023-03-24 交互数字麦迪逊专利控股公司 在流传输视频中进行选择性感兴趣对象缩放的系统和方法
CN110383848B (zh) 2017-03-07 2022-05-06 交互数字麦迪逊专利控股公司 用于多设备呈现的定制视频流式传输
US10313651B2 (en) 2017-05-22 2019-06-04 Fyusion, Inc. Snapshots at predefined intervals or angles
US11069147B2 (en) 2017-06-26 2021-07-20 Fyusion, Inc. Modification of multi-view interactive digital media representation
US11282133B2 (en) 2017-11-21 2022-03-22 International Business Machines Corporation Augmented reality product comparison
US10586360B2 (en) 2017-11-21 2020-03-10 International Business Machines Corporation Changing view order of augmented reality objects based on user gaze
US10565761B2 (en) 2017-12-07 2020-02-18 Wayfair Llc Augmented reality z-stack prioritization
JP7210153B2 (ja) * 2018-04-04 2023-01-23 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
US10592747B2 (en) 2018-04-26 2020-03-17 Fyusion, Inc. Method and apparatus for 3-D auto tagging
US10853658B2 (en) * 2018-10-30 2020-12-01 Sony Corporation Image-based detection of offside in gameplay
US10880163B2 (en) * 2019-01-31 2020-12-29 Dell Products, L.P. System and method for hardware management and configuration in a datacenter using augmented reality and available sensor data
US10958959B1 (en) * 2019-09-13 2021-03-23 At&T Intellectual Property I, L.P. Automatic generation of augmented reality media
US12010403B2 (en) * 2019-12-20 2024-06-11 Sony Group Corporation Information processing apparatus, information processing method, and program
US12003806B2 (en) * 2021-03-11 2024-06-04 Quintar, Inc. Augmented reality system for viewing an event with multiple coordinate systems and automatically generated model
CN114979708B (zh) * 2022-05-20 2023-10-17 咪咕数字传媒有限公司 视频推送方法、装置、服务器设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204481A (ja) * 2001-08-16 2003-07-18 Space Tag Inc 画像情報配信システム
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5729471A (en) * 1995-03-31 1998-03-17 The Regents Of The University Of California Machine dynamic selection of one video camera/image of a scene from multiple video cameras/images of the scene in accordance with a particular perspective on the scene, an object in the scene, or an event in the scene
WO2005099423A2 (en) * 2004-04-16 2005-10-27 Aman James A Automatic event videoing, tracking and content generation system
US7091989B2 (en) * 2001-08-10 2006-08-15 Sony Corporation System and method for data assisted chroma-keying
US7173672B2 (en) * 2001-08-10 2007-02-06 Sony Corporation System and method for transitioning between real images and virtual images
JP3584230B2 (ja) * 2001-09-28 2004-11-04 キヤノン株式会社 映像体験システム、情報処理方法およびプログラム
US7274380B2 (en) * 2001-10-04 2007-09-25 Siemens Corporate Research, Inc. Augmented reality system
US20070035562A1 (en) * 2002-09-25 2007-02-15 Azuma Ronald T Method and apparatus for image enhancement
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
US20080291272A1 (en) * 2007-05-22 2008-11-27 Nils Oliver Krahnstoever Method and system for remote estimation of motion parameters
GB2452508A (en) * 2007-09-05 2009-03-11 Sony Corp Generating a three-dimensional representation of a sports game
GB2452546B (en) * 2007-09-07 2012-03-21 Sony Corp Video processing system and method
TWI661723B (zh) * 2008-08-08 2019-06-01 日商尼康股份有限公司 攜帶資訊機器及資訊取得系統
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
DE202011110872U1 (de) * 2010-02-09 2017-01-18 Google Inc. Geokodierte Kommentare in einem Messaging-Dienst
EP2413286A1 (en) * 2010-07-29 2012-02-01 LiberoVision AG Image processing method and device for instant replay
GB2489454A (en) * 2011-03-29 2012-10-03 Sony Corp A method of annotating objects in a displayed image
GB2489675A (en) * 2011-03-29 2012-10-10 Sony Corp Generating and viewing video highlights with field of view (FOV) information
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US20150131845A1 (en) * 2012-05-04 2015-05-14 Mocap Analytics, Inc. Methods, systems and software programs for enhanced sports analytics and applications
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
WO2014145193A1 (en) * 2013-03-15 2014-09-18 Nexref Technologies, Llc Marker-based augmented reality (ar) display with inventory management
US9700781B2 (en) * 2015-06-26 2017-07-11 Lawrence Maxwell Monari Sports entertainment tracking system for mobile sports spectators

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003204481A (ja) * 2001-08-16 2003-07-18 Space Tag Inc 画像情報配信システム
JP2003281504A (ja) * 2002-03-22 2003-10-03 Canon Inc 撮像部位置姿勢推定装置及びその制御方法並びに複合現実感提示システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3176756A4 *

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2017199498A1 (ja) * 2016-05-18 2019-04-04 パナソニックＩｐマネジメント株式会社 レーン特定方法およびレーン特定装置
WO2017199498A1 (ja) * 2016-05-18 2017-11-23 パナソニックＩｐマネジメント株式会社 レーン特定方法およびレーン特定装置
JPWO2018142705A1 (ja) * 2017-02-02 2019-11-21 ソニー株式会社 情報処理装置、および情報処理方法
JP7215173B2 (ja) 2017-02-02 2023-01-31 ソニーグループ株式会社 情報処理装置、および情報処理方法
CN110291575A (zh) * 2017-02-10 2019-09-27 夏普株式会社 图像处理装置以及图像处理程序
WO2019021375A1 (ja) * 2017-07-25 2019-01-31 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
JPWO2019021375A1 (ja) * 2017-07-25 2020-03-26 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
JP7010292B2 (ja) 2017-07-25 2022-01-26 富士通株式会社 映像生成プログラム、映像生成方法および映像生成装置
US10999535B2 (en) 2017-07-25 2021-05-04 Fujitsu Limited Recording medium, method, and information processing device for generating three-dimensional synthesized video of information related to subjects with background area based on free viewpoint video
US10783376B2 (en) 2017-09-26 2020-09-22 Casio Computer Co., Ltd Information processing apparatus
JP2019061479A (ja) * 2017-09-26 2019-04-18 カシオ計算機株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2020010327A (ja) * 2018-07-10 2020-01-16 富士ゼロックス株式会社 ３６０度ビデオへのデジタルストリームの自動検出及び挿入のためのシステム、方法及びプログラム
JP7395855B2 (ja) 2018-07-10 2023-12-12 富士フイルムビジネスイノベーション株式会社 ３６０度ビデオへのデジタルストリームの自動検出及び挿入のためのシステム、方法及びプログラム
JP2020077953A (ja) * 2018-11-07 2020-05-21 キヤノン株式会社 画像処理装置
JP2020077952A (ja) * 2018-11-07 2020-05-21 キヤノン株式会社 画像処理装置
JP2020077951A (ja) * 2018-11-07 2020-05-21 キヤノン株式会社 画像処理装置
WO2020095647A1 (ja) * 2018-11-07 2020-05-14 キヤノン株式会社 画像処理装置、画像処理サーバー、画像処理方法、コンピュータプログラム及び記憶媒体
JP7233886B2 (ja) 2018-11-07 2023-03-07 キヤノン株式会社 画像処理装置
JP7233887B2 (ja) 2018-11-07 2023-03-07 キヤノン株式会社 画像処理装置
JP7289630B2 (ja) 2018-11-07 2023-06-12 キヤノン株式会社 画像処理装置
WO2021131992A1 (ja) * 2019-12-23 2021-07-01 ソニーグループ株式会社 端末装置、アプリケーションサーバ、受信方法及び送信方法
US11836876B2 (en) 2019-12-23 2023-12-05 Sony Group Corporation Terminal device, application server, receiving method, and transmitting method
JP2022122436A (ja) * 2021-02-10 2022-08-23 株式会社コロプラ プログラム、情報処理方法、情報処理装置、及びシステム
WO2023140110A1 (ja) * 2022-01-20 2023-07-27 ソニーグループ株式会社 端末装置、位置姿勢推定方法、およびプログラム

Also Published As

Publication number Publication date
EP3176756A1 (en) 2017-06-07
US10152826B2 (en) 2018-12-11
JP6715441B2 (ja) 2020-07-01
JPWO2016017121A1 (ja) 2017-06-22
EP3869469A1 (en) 2021-08-25
EP3176756A4 (en) 2017-08-09
US20170124769A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
JP6715441B2 (ja) 拡張現実表示システム、端末装置および拡張現実表示方法
US20210012557A1 (en) Systems and associated methods for creating a viewing experience
US10582191B1 (en) Dynamic angle viewing system
JP6719465B2 (ja) 放送において風の特性及び影響を表示するためのシステム及び方法
EP3238445B1 (en) Interactive binocular video display
JP7030452B2 (ja) 情報処理装置、情報処理装置の制御方法、情報処理システム及びプログラム
US7796155B1 (en) Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
KR102105189B1 (ko) 관심 객체 추적을 위한 다중 카메라 동적 선택 장치 및 방법
US9729788B2 (en) Image generation apparatus and image generation method
US9894272B2 (en) Image generation apparatus and image generation method
JP2015204512A (ja) 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
US20080068463A1 (en) system and method for graphically enhancing the visibility of an object/person in broadcasting
EP2150057A3 (en) Camera-based tracking and position determination for sporting events
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
US20170201723A1 (en) Method of providing object image based on object tracking
JP2021192273A (ja) 情報処理装置、情報処理方法及びプログラム
JP2018182428A (ja) 映像配信装置、映像配信システム及び映像配信方法
Cavallaro et al. Augmenting live broadcast sports with 3D tracking information
TWI623342B (zh) 螢幕高爾夫系統，用於螢幕高爾夫的影像實現方法及存儲其的電腦可讀存儲介質
JP2019114147A (ja) 情報処理装置、情報処理装置の制御方法及びプログラム
JP7235098B2 (ja) 情報配信装置、情報配信方法、情報配信プログラム
JP6602726B2 (ja) 仮想環境生成装置、仮想環境生成方法、プログラム
US20160127617A1 (en) System for tracking the position of the shooting camera for shooting video films
JP6660622B2 (ja) 情報処理装置、情報処理方法、カメラ、受信装置、受信方法
KR20150066941A (ko) 선수 정보 제공 장치 및 이를 이용한 선수 정보 제공 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15826993

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016537744

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015826993

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE