WO2017022641A1 - 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置 - Google Patents

動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置 Download PDF

Info

Publication number
WO2017022641A1
WO2017022641A1 PCT/JP2016/072228 JP2016072228W WO2017022641A1 WO 2017022641 A1 WO2017022641 A1 WO 2017022641A1 JP 2016072228 W JP2016072228 W JP 2016072228W WO 2017022641 A1 WO2017022641 A1 WO 2017022641A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
panoramic image
playback
panoramic
switching
Prior art date
Application number
PCT/JP2016/072228
Other languages
English (en)
French (fr)
Inventor
崇行 青木
和隆 内田
駿 福本
Original Assignee
カディンチェ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by カディンチェ株式会社 filed Critical カディンチェ株式会社
Priority to JP2016575237A priority Critical patent/JP6178524B2/ja
Priority to US15/737,720 priority patent/US10686985B2/en
Priority to EP16832920.9A priority patent/EP3331239A4/en
Priority to CN201680034701.4A priority patent/CN107852476B/zh
Publication of WO2017022641A1 publication Critical patent/WO2017022641A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof
    • H04N5/935—Regeneration of digital synchronisation signals

Definitions

  • the present invention relates to a moving image reproducing apparatus, a moving image reproducing method, and a moving image reproducing program, and is particularly suitable for reproducing an image having a wide angle of view.
  • panoramic images images with a wide angle of view are called panoramic images, and are widely used in surveillance cameras and video conference applications. Some of these panoramic images are taken with a 360 ° angle of view, which is called an omnidirectional or hemispherical sphere.
  • the present invention has been made to solve such a problem, and an object of the present invention is to provide a moving image reproducing device, a moving image reproducing method, a moving image reproducing program, a moving image reproducing system, and a moving image transmitting device capable of enhancing entertainment. Is.
  • the video playback device of the present invention is Storage means for storing a plurality of panoramic image data photographed at the same time in association with predetermined time information; Reproduction control means for selecting one selected panoramic image data among the plurality of panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying the display image on a display device; Switching control means for switching a reproduction target to another panoramic image data at the reproduction time based on the time information in response to a user's switching request when reproducing a predetermined reproduction time point in the reproduction target.
  • the moving image reproduction system of the present invention includes a storage unit that stores a plurality of panoramic image data captured at the same time in association with predetermined time information; Reproduction control means for selecting one selected panoramic image data among the plurality of panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying the display image on a display device; Switching control means for switching a reproduction target to another panoramic image data at the reproduction time based on the time information in response to a user's switching request when reproducing a predetermined reproduction time point in the reproduction target.
  • the moving image reproduction method of the present invention includes a storage step of storing a plurality of panoramic image data photographed at the same time in association with predetermined time information; A playback control step of selecting one selected panoramic image data from the plurality of panoramic image data as a playback target, cutting out a part of the playback target as a display image, and displaying the display image on a display device; A switching control step of switching a playback target to another panoramic image data at the playback time based on the time information in response to a user switching request when playing back a predetermined playback time point in the playback target.
  • the moving image reproduction program of the present invention stores a plurality of panoramic image data photographed at the same time in association with predetermined time information, A playback control step of selecting one selected panoramic image data from the plurality of panoramic image data as a playback target, cutting out a part of the playback target as a display image, and displaying the display image on a display device; A switching control step of switching a playback target to another panoramic image data at the playback time based on the time information in response to a user switching request when playing back a predetermined playback time point in the playback target.
  • the moving picture transmitting apparatus of the present invention obtains identification information of the selected one panoramic image data from a reproducing means for reproducing one selected panoramic image data among a plurality of panoramic image data photographed simultaneously.
  • the total amount of data transmitted to the playback device can be reduced, and a plurality of panorama image data can be switched smoothly, and the entertainment of the panorama image data can be enhanced.
  • the moving image reproduction system of the present invention includes an acquisition means for acquiring a plurality of panoramic image data photographed simultaneously, Reproduction control means for selecting one selected panoramic image data among the plurality of panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying the display image on a display device; Detecting means for detecting a preset detection target from the plurality of panoramic image data; Switching control means for selecting one panoramic image data from the panoramic image data in which the detection target is detected according to a predetermined priority, and switching the selected one panoramic image data to the reproduction target. To do.
  • the panoramic image data can be automatically switched without any operation by the viewing user, and the entertainment of the panoramic image data can be enhanced.
  • the moving image reproducing apparatus of the present invention includes an acquisition unit that acquires a plurality of panoramic image data shot simultaneously, Reproduction control means for selecting one selected panoramic image data among the plurality of panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying the display image on a display device; Detecting means for detecting a preset detection target from the plurality of panoramic image data; Switching control means for selecting one panoramic image data from the panoramic image data in which the detection target is detected according to a predetermined priority, and switching the selected one panoramic image data to the reproduction target. To do.
  • the panoramic image data can be automatically switched without any operation by the viewing user, and the entertainment of the panoramic image data can be enhanced.
  • the present invention can provide a moving image reproducing device, a moving image reproducing method, a moving image reproducing program, a moving image reproducing system, and a moving image transmitting device that can enhance the entertainment of panoramic image data.
  • FIG. 1 shows a moving image playback system 10 as a whole, which includes a camera set 1, an editing device 2, a server 3, and a playback device 5.
  • a moving image playback system 10 normal moving image data shot based on one lens is combined with single image data, single image data, or a fisheye lens is used, so that the angle of view is wider than usual.
  • the moving image data generated in the above is called panoramic image data.
  • panoramic image data When panoramic image data is displayed as it is, since the angle of view is too large for the human eye, it is general that only the angle of view considering the human visual field range is cut out and displayed.
  • the single image data photographed by the camera set 1 is subjected to editing processing by the editing device 2 to become panoramic image data, and is stored in the server 3 in a state in which the panoramic image data photographed at the same time are associated with each other.
  • the editing apparatus 2 can also serve as a server.
  • the server 3 and the playback device 5 are connected to a network NT such as the Internet wirelessly or by wire.
  • the panoramic image data stored in the server 3 is distributed via the network NT and is played back by the playback device 5 (5A to 5D).
  • shooting is performed using a plurality of camera sets 1.
  • the number of camera sets 1 is not limited, in the present embodiment, a case will be described in which three camera sets 1A to 1C are mounted on three automobiles and are respectively photographed. *
  • the camera set 1 is, for example, a omnidirectional or hemispherical camera set in which a plurality of cameras and a plurality of lenses are combined so that a single camera set 1 can capture a moving image with a field angle of 360 °.
  • a camera set 1 in which six cameras are combined will be described as an example.
  • Each camera has a built-in internal clock, and this built-in clock is synchronized in advance within the camera set 1 and between the camera sets 1. This clock synchronization is executed by using, for example, a radio clock.
  • Each camera embeds time information in the moving image data, performs an appropriate encoding process, compresses the moving image data by a predetermined method, and stores it in the camera.
  • Each camera stores single image data taken by each camera. These moving image data are transferred to and stored in the editing device 2 by wire or wireless.
  • the editing device 2 has a computer configuration, and a system controller 21 including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory) (not shown) includes the editing device 2. It is designed to control the entire system.
  • the system controller 21 develops a basic program, an editing program, an auxiliary information setting program, and the like stored in a storage unit 22 such as a flash memory, a ROM, or a hard disk drive in a RAM, and thereby performs various processes based on these programs. An editing process to be described later is executed.
  • the system controller 21 of the editing apparatus 2 starts the editing process when a request from the editing user to execute the editing process is supplied via the operation input unit 25.
  • the editing device 2 stores the moving image data and device ID (identification) supplied by being connected from each camera by wire or wirelessly in the image storage unit 22 ⁇ / b> A of the storage unit 22.
  • moving image data captured by each camera is referred to as single image data.
  • the image editing unit 21A of the system controller 21 recognizes a combination of single image data from the single image data and the device ID, decodes the single image data, and synchronizes using the time information for each single camera set 1.
  • the panoramic image data D of the omnidirectional sphere is synthesized by combining the data.
  • the device ID for each camera set 1 is registered in advance by the editor.
  • the six single image data photographed by the camera set 1 becomes an image that is photographed in a spherical shape around the photographing location.
  • the image is developed by applying a projection such as Mercator projection or equirectangular projection.
  • the image is stored in the image storage unit 22A of the storage unit 22 as an image.
  • panoramic image data Da to Dc are generated for each of the camera sets 1A to 1C.
  • the combined panoramic image data Da to Dc (denoted as P images Da to Dc in the drawing) are stored in the image storage unit 22A in an encoded state.
  • the editing device 2 associates the panoramic image data Da to Dc, and executes auxiliary information setting processing that facilitates switching between the panoramic image data Da to Dc and tracking of the object.
  • This auxiliary information setting process is executed by appropriately decoding the panoramic image data Da to Dc stored in the image storage unit 22A.
  • the auxiliary information setting unit 21B of the system controller 21 executes an auxiliary information setting process according to the auxiliary information setting program,
  • the set auxiliary information is registered in the auxiliary information storage unit 22B of the storage unit 22.
  • the panorama image data Dc will be described, but the same processing is performed on the panorama image data Da and Db.
  • auxiliary information setting processing is executed for each panorama image data Dc shot continuously. This auxiliary information setting process is executed for each object to be tracked.
  • the auxiliary information setting unit 21 ⁇ / b> B displays an object designation screen and causes the editing user to set an object. For example, in the panoramic image data obtained by photographing the automobile 8A from the automobile 8C, one image is displayed and the editing user is made to designate the outline of the object as outline coordinates composed of a plurality of points.
  • auxiliary information setting unit 21B causes the editing user to input an object name and additional information related to the object (for example, information on a passenger and a car) by displaying on the display unit 24, and the auxiliary information storage unit 22B as auxiliary information. Register with.
  • the auxiliary information setting unit 21B determines the contour coordinates using the motion vector and the contour extraction from each image, and stores them as auxiliary information in the auxiliary information storage unit 22B. Note that the extraction of contour coordinates is not necessarily performed for all images, and may be performed at intervals of, for example, one image per 1/6 second (that is, about 6 images per second).
  • the auxiliary information setting unit 21B extracts the motion vector and the contour from the image of the automobile 8A. Two images on which the contour coordinates calculated by the above are respectively superimposed are displayed, and the editing user is allowed to select one image.
  • the auxiliary information setting unit 21B preferentially uses the contour coordinates based on the method used in the selected image.
  • the contour coordinates of the object are extracted by a plurality of methods, and when the difference between the plurality of contour coordinates becomes large, by making the editing user select one of them, the reliability of the contour coordinates can be improved. Can be increased.
  • the auxiliary information setting unit 21B registers the contour coordinates as auxiliary information in the state associated with the additional information and the time information as the auxiliary information storage unit 22B. Also, the auxiliary information setting unit 21B registers one piece of panoramic image data D (hereinafter referred to as priority reproduction image data) to be preferentially reproduced as auxiliary information for causing the editing user to select the auxiliary information storage unit 22B.
  • priority reproduction image data one piece of panoramic image data D
  • the system controller 21 of the editing device 2 sets auxiliary information in advance for the panoramic image data Da to Dc.
  • the system controller 21 registers the panorama image data Da to Dc and auxiliary information in a storage unit (not shown) of the server 3 in response to a request from the editing user.
  • the server 3 executes download processing in response to a request from the playback device 5.
  • the playback device 5 performs playback processing.
  • the server 3 has a computer configuration, and a system controller 31 including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory) (not shown) It is designed to control the overall system.
  • the system controller 31 expands a basic program or streaming distribution program stored in a storage unit 32 such as a flash memory, a ROM, or a hard disk drive in the RAM, thereby performing various processes based on these programs and a download process described later. Has been made to run.
  • the playback device 5 has a computer configuration, and is a system controller including a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory) (not shown).
  • Reference numeral 51 denotes an overall control of the playback apparatus 5.
  • the system controller 51 expands a basic program and a reproduction program stored in a storage unit 52 such as a flash memory, a ROM, or a hard disk drive in a RAM, and performs various processes and a reproduction process described later based on these programs. It is made to run.
  • various terminals equipped with a personal computer function such as a desktop terminal and a notebook personal computer, as well as a tablet terminal and a smart phone terminal can be used.
  • a touch panel or the like can be used in addition to a mouse and a keyboard.
  • the server 3 stores a plurality of image groups PDG (PDGa, PDG ⁇ , PDGw) in the image storage unit 32A of the storage unit 32 with the above-described panoramic image data Da to Dc and auxiliary information as one image group PDG. . Furthermore, the PF (platform) information storage unit of the storage unit 32 stores web page data of the platform on which the panoramic image is reproduced.
  • the platform 3 web page data is supplied from the server 3.
  • a list of panoramic image data is displayed for each image group PDG.
  • This list of panoramic image data displays, for example, one representative image selected in advance by the editing user from the panoramic image data in the image group PDG.
  • the server 3 executes download processing, while the playback device 5 executes playback processing.
  • the reproduction apparatus 5 generates image data by cutting out only the area corresponding to the size of the displayed image from the panoramic image data D.
  • viewpoint coordinates the center of the displayed image at this time.
  • the playback device 5 moves the viewpoint coordinates or switches the panorama image data D to be displayed according to the operation of the viewing user's operation input unit 55, so that the viewing user exists as if at the shooting site. It is designed to let you experience the experience.
  • the system controller 31 of the server 3 supplies the panorama image data D and auxiliary information belonging to the selected image group PDG to the playback device 5.
  • the image group PDGa is downloaded.
  • the packet generator 31A of the system controller 31 packetizes the panorama image data Da to Dc belonging to the image group PDGa and the auxiliary information for each time series to generate packet data
  • the packet generator 31A reproduces the packet data via the external interface 33. To supply.
  • the system controller 51 of the playback device 5 stores the packet data in the storage unit 52 and starts playback processing in the normal mode.
  • the system controller 51 performs decoding processing for all panoramic image data Da to Dc belonging to the image group PDGa, and displays the priority playback image data specified in the auxiliary information as a display target.
  • Image data having the center coordinates of the data as viewpoint coordinates is generated and displayed on the display unit 54.
  • the system controller 51 moves the viewpoint coordinates moved to the right by the coordinates corresponding to the operation input from the center coordinates of the priority reproduction image data.
  • the display image data is generated around the center and displayed on the display unit 54.
  • the viewpoint coordinates are moved by operating the left and right cursor buttons 93.
  • the viewpoint coordinates can be moved by a slide operation or the like.
  • the contour coordinates of the object are registered in the auxiliary information.
  • the system controller 51 can execute the tracking process with the object as a tracking target using the contour coordinates.
  • the system controller 51 displays the tracking designation screen as shown in FIG. Is displayed.
  • this tracking designation screen display image data is displayed as in normal playback, and a tracking target designation button 95 and a cancel button 96 are displayed.
  • the system controller 51 changes the color of the object portion and displays it. Whether or not the object is recognized is determined from the contour coordinates in the auxiliary information.
  • the system controller 51 shifts to the tracking mode and sets the automobile 8C as the tracking target. Set.
  • the system controller 51 generates image data centered on the center point of the contour coordinates and displays it on the display unit 54.
  • the system controller 51 generates display image data with the center point of the contour coordinates of the automobile 8C as the center until the tracking setting is canceled and displays the display image data on the display unit 54.
  • the system controller 51 When the system controller 51 recognizes that the automobile 8A has been clicked in the normal mode, the system controller 51 changes the display object to the panorama image data Da and the automobile in which the panorama image data Dc that was the display object before the switching was captured. A viewpoint coordinate is set to 8C, and display image data is generated.
  • the viewing user can recognize his / her viewpoint before switching, and re-recognize the feeling as if the viewing user had jumped before and after switching, as if he was there. it can.
  • an automobile 8C is displayed as shown in FIG.
  • the system controller 51 reads additional information in the auxiliary information related to the automobile 8C and displays it on an image.
  • the system controller 51 monitors the position of the cursor 99, and reads out the additional information in the auxiliary information from the image storage unit 32A and adds it when the coordinates of the tip of the cursor 99 enter the contour coordinates.
  • Display image data is generated by superimposing information.
  • the viewing user can acquire information related to the object such as the model of the car, the shooting time, the travel distance, and the episode.
  • a plurality of panoramic image data D can be viewed at the same time by associating a plurality of panoramic image data D, handling them as an image group PDG, and switching the panoramic image data D according to a predetermined operation. Therefore, the entertainment as the panoramic image data D can be enhanced.
  • the display image is switched from the designated object to the panoramic image data D taken.
  • the images are transmitted to the server 103 photographed by the seven camera sets 101 (101A to 101G), edited, and directly from the server 103 via the network NT. Streamed.
  • the system controller 131 of the server 103 combines the single image data by the image editing unit 131A and combines the panoramic image data D (Da to Dg). Generate.
  • the panoramic image data D is originally a combination of six pieces of single image data, and is a flat image, but the amount of data is larger than that of normal image data due to the wide angle of view.
  • the server 103 delivers all the panorama image data Da to Dg having such a large amount of data as they are, the communication load increases. Therefore, the server 103 generates a combination of packets according to each mode and distributes the packets to the playback device 105.
  • the packet PK supplied from the server 103 is temporarily stored in the RAM in the system controller 151 of the playback apparatus 105 and used for playback, and then deleted without being stored in the storage unit 152.
  • each viewing user selects the panoramic image data D and viewpoint coordinates he / she wants to view himself / herself, and sets the viewpoint coordinates using the tracking function although the panoramic image data D is selected by himself / herself.
  • the viewing user selects and sets in which mode the playback device 105 performs viewing.
  • the server 103 transmits a packet corresponding to the set mode to the playback device 105.
  • the user viewer can select what he / she sees himself / herself.
  • a small screen or a thumbnail screen showing the camera arrangement is displayed beside the display image data.
  • the panoramic image data D captured by the corresponding camera can be viewed and the viewpoint coordinates are also set. Set it yourself.
  • a camera diagram is shown to imitate the camera set.
  • the direction indicated by this camera figure indicates the direction of the viewpoint coordinates immediately after the panoramic image data D is switched.
  • On this screen it is also possible to associate the direction of the viewpoint coordinates with the direction of the camera on the figure and change the direction of the camera on the figure along with the movement of the viewpoint coordinates for display. This makes it easy to understand which direction the viewing user is currently facing.
  • the server 103 supplies the panorama image data D currently being viewed at a playback rate and reduces the rate of the panorama image data D that has not been viewed (for example, 1/10 to 1).
  • Low rate panoramic image data Dl (Dla to Dlg) is supplied at the same time.
  • the playback device 105 always sends playback identification information about the panoramic image data D currently being played back to the server 103, thereby supplying the server with the packet PK centered on the panoramic image data D indicated by the playback identification information. Request to 103.
  • the packet generator 131B of the system controller 131 combines panoramic image data Da and low-rate panoramic image data (denoted as LP images in the figure) Dlb to Dlg to generate a packet PK1.
  • This packet PK1 is supplied to the playback device 105 that is currently playing back the panoramic image data Da.
  • the packet generator 131B combines the panorama image data Db and the low-rate panorama image data (denoted as LP images in the figure) Dla and Dlc to Dlg to generate a packet PK2.
  • This packet PK2 is supplied to the playback device 105 that is currently playing back the panoramic image data Db.
  • the packet generation unit 131B generates the packets PK3 to PK7 in the same manner. Then, the system controller 131 supplies a packet PK corresponding to the playback status of the playback device 105.
  • the playback device 105 displays an image based on the low-rate panorama image data Dl and requests the server 103 to supply a packet PK corresponding to the currently played panorama image data D.
  • the server 103 When the request signal is supplied, the server 103 immediately changes the packet PK supplied to the playback device 105, and supplies the packet PK corresponding to the camera currently being played back.
  • the server 103 can avoid trouble caused by a large amount of data to be supplied and can display an image based on the panoramic image data D after switching without delay for the viewing user.
  • the panorama image data D being played is set to a playback rate, and the panorama image data being played back is supplied to the playback device 105 in a state where the rate is reduced.
  • the viewing user sets the camera (panoramic image data D) by itself, but the viewpoint coordinates automatically change.
  • the viewing user sets a tracking target via the playback device 105.
  • the tracking target is set not by the server 103 but by the system controller 151 of the playback device 105.
  • the packet PK is supplied in combination with panoramic image data D and low-rate panoramic image data Dl corresponding to the camera set by the viewing user, as in the manual mode.
  • the tracking unit 151A of the system controller 151 decodes the panoramic image data D and detects a tracking target using a face image or a motion vector using a planar image or a 3D polygon. Then, the system controller 151 generates display image data so that the detected vicinity of the center of the tracking target is a viewpoint coordinate.
  • the auto mode is a mode in which tracking information representing suitable panorama image data D and viewpoint coordinate information is supplied as a packet PK according to the setting of the tracking target of the viewing user.
  • the viewing user can perform processing such as movement of viewpoint coordinates and zooming, but cannot switch cameras.
  • the camera can be switched by switching to manual mode or semi-manual mode.
  • the viewing user sets a tracking target via the playback device 105.
  • the setting of the tracking target is performed by the system controller 131 in the server 103.
  • the system controller 131 in the server 103 As an example, a case where the tracking target is set to one idol will be described.
  • the tracking unit 131C of the system controller 131 detects a tracking target from the panoramic image data D and supplies the tracking target information to the packet generation unit 131B as tracking information.
  • the packet generation unit 131B selects one panoramic image data D based on the area area of the tracking target, the size of the movement, the size of the face, the brightness, and the like, and the tracking target in the selected panoramic image data D
  • the packet PK is generated using the coordinate information of the following as tracking information.
  • two (or more) panoramic image data D and tracking information are generated as a packet PK (for example, a packet PKa).
  • the system controller 151 of the playback device 105 sequentially decodes the supplied packets PK and generates display image data using the coordinate information indicated by the tracking information as viewpoint coordinates.
  • this auto mode it is possible to set an overall tracking target that gives priority to the whole instead of limiting the tracking target to one person. For example, it is used when a specific favorite does not exist in a concert of a plurality of idol groups.
  • the system controller 131 of the server 103 selects the panoramic image data D in which all the idols appear as large as possible (that is, the area ratio is large). Also, if there is something that moves outside the tracking target, such as fireworks, gondola, or flame, or a loud sound, panoramic image data D in which that is reflected is selected.
  • the system controller 131 detects the spotlight irradiation destination and tracks the spotlight. Spotlight tracking can be performed by edge detection and motion vector detection.
  • the panoramic image data D is sequentially displayed (looped) in time division or the camera is rotated.
  • the display image data may be changed while moving the viewpoint coordinates at a constant speed.
  • the panorama image data D selected in the auto mode can be set at a high rate. That is, the panoramic image data D that will be switched next is predicted in advance, and for example, when the tracking target is large, it is determined that there is a high possibility of switching, and the rate of the corresponding panoramic image data D is determined. Set high. Conversely, when the tracking target is not shown or very small, the rate of the corresponding panoramic image data D is set low because the possibility of switching is low.
  • the camera set 101 corresponding to the panoramic image data D selected in the auto mode can be discolored or blinked to notify the viewing user that the tracking target is reflected in large size.
  • Feature A1 In the moving image reproducing device (reproducing device 5) or the moving image reproducing system (moving image reproducing system 10) of the present invention, a plurality of panoramic image data (panoramic image data D) photographed at the same time are stored in association with predetermined time information.
  • Storage means storage unit 52 for Of the plurality of panoramic image data, a reproduction control means (system) for selecting one selected panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying it on a display device (display unit 54).
  • Switching control means for switching the playback target to other panorama image data at the playback time based on the time information in response to a user switching request when playing back a predetermined playback time point in the playback target It is characterized by having.
  • panoramic image data shot at the same time can be freely switched to other panoramic image data as if jumping in response to a user's switching request.
  • the pleasure of reproducing image data can be further improved.
  • Feature A2 In the invention described in Feature A1, the user switching request is: It is executed by designating a camera in which the plurality of panoramic image data is photographed or an object on which the camera is mounted.
  • the camera in which the plurality of panoramic image data is captured or the object on which the camera is mounted is the camera that is reflected in the panoramic image data or the object on which the camera is mounted, the sub small screen, or the thumbnail. It includes the cameras displayed on the camera layout displayed on the screen.
  • a diagram of a camera that is not real, such as a camera layout diagram it is preferable that the direction of the viewpoint coordinates of the panoramic image data displayed immediately after switching is the same as the direction of the camera.
  • Feature A3 In the invention according to Feature A1 or A2, the storage means is Storing coordinate information (contour coordinates) of a camera in which the plurality of panoramic image data is captured or an object on which the camera is mounted;
  • the switching control means includes Based on the coordinate information, it is recognized that a camera in which the plurality of panoramic image data is captured or an object on which the camera is mounted is specified.
  • the playback device can also identify the camera or object on the spot by cutting it out. is there. Thereby, the editing work can be facilitated.
  • the internal area of the shape of the camera or the object is set in advance as a link area for switching, and the viewing user designates these internal areas, so that the panorama image data Since the switching is performed, the viewing user can intuitively understand the operation method.
  • the reproduction control means includes A display image showing a camera in which the plurality of panoramic image data before switching or an object on which the camera is mounted is displayed on the display device immediately after switching.
  • the reproduction control means includes A display image having the same viewpoint coordinates as before switching is displayed on the display device immediately after switching.
  • Feature A6 In the moving image reproduction method and the moving image reproduction program, a storage step of storing a plurality of panoramic image data photographed simultaneously in association with predetermined time information; A playback control step of selecting one selected panoramic image data from the plurality of panoramic image data as a playback target, cutting out a part of the playback target as a display image, and displaying the display image on a display device; A switching control step of switching a playback target to another panoramic image data at the playback time based on the time information in response to a user switching request when playing back a predetermined playback time point in the playback target.
  • the moving picture transmission apparatus (server 103) of the present invention is selected from reproduction means (reproduction apparatus 105) that reproduces one selected panoramic image data among a plurality of panoramic image data photographed simultaneously.
  • Acquisition means system controller 131 for acquiring identification information (playback identification information) of the single panoramic image data;
  • Transmission means (external interface 133) for transmitting the generated transmission data to the reproducing means.
  • the amount of data relating to panoramic image data other than that currently being reproduced can be reduced, so that the panoramic image data can be switched promptly according to the request of the viewing user, and decoding in the reproduction device can be performed. Processing load and communication load can be reduced.
  • Feature B2 In the invention described in the feature B1, the data generation unit makes the rate of the other panoramic image data lower than that of the one panoramic image data.
  • the data generation unit sets only a part of the other panoramic image data as the transmission data.
  • the acquisition unit acquires, as identification information, information related to the display position of the display image, such as the viewpoint coordinates of the panoramic image data currently being reproduced, from the reproducing apparatus, in addition to information representing the panoramic image data being reproduced. .
  • information related to the display position of the display image such as the viewpoint coordinates of the panoramic image data currently being reproduced
  • the reproducing apparatus in addition to information representing the panoramic image data being reproduced.
  • only data around the display position is transmitted.
  • the type of data to be generated can be reduced by dividing the panoramic image data in advance and transmitting panoramic image data of only the area including the viewpoint coordinates and the area adjacent to the area.
  • the processing load on the data generation means can be reduced.
  • Feature B4 In the video playback system described in Feature B4, A video playback device described in the feature A1, An acquisition means for acquiring identification information of the selected one panoramic image data from the video reproduction device; Data generating means for generating transmission data so that the unit data amount of the other panoramic image data is lower than that of the one panoramic image data; And a moving image transmission device having transmission means for transmitting the generated transmission data to the reproduction means.
  • Feature C1 In the moving image playback system (moving image playback system 110) of the present invention, an acquisition means (external interface 133) for acquiring a plurality of panoramic image data shot at the same time; Reproduction control means (system controller 151) for selecting one selected panoramic image data among the plurality of panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying it on a display device; Detecting means for detecting a preset detection target from the plurality of panoramic image data; Switching control means (system controller 131) for selecting one panorama image data from the panorama image data in which the detection target is detected according to a predetermined priority order and switching the selected one panorama image data to the reproduction target; It is characterized by having.
  • panoramic image data in which the set detection image is reflected can be automatically selected and displayed, so that a plurality of panoramic images can be displayed without any operation by the viewing user. You can fully enjoy the data.
  • the playback control means sets the inside of the detection target as the viewpoint coordinates in the panoramic image data to be played back. Thereby, it is possible to display a display image in which the detection target is always the center of the display image or the vicinity of the center, and the viewing user can be further enjoyed.
  • Feature C2 In the invention described in feature C1, the detection target is a preset object or event.
  • the moving image reproduction system it is possible to detect and display a specific object or event, and thus it is possible to visually recognize an image according to a user's request.
  • an acquisition means for acquiring a plurality of panoramic image data shot at the same time;
  • Reproduction control means for selecting one selected panoramic image data among the plurality of panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying it on a display device;
  • Detecting means for detecting a preset detection target from the plurality of panoramic image data;
  • Switching control means for selecting one panoramic image data from the panoramic image data in which the detection target is detected according to a predetermined priority, and switching the selected one panoramic image data to the reproduction target; It is characterized by having.
  • panoramic image data in which the set detection image is reflected can be automatically selected and displayed, so that a plurality of panoramic images can be displayed without any operation by the viewing user. You can fully enjoy the data.
  • Feature C4 In the video playback method and video playback program of the present invention, an acquisition step of acquiring a plurality of panoramic image data shot at the same time; A playback control step of selecting one selected panoramic image data from the plurality of panoramic image data as a playback target, cutting out a part of the playback target as a display image, and displaying the display image on a display device; A detection step of detecting a preset detection target from the plurality of panoramic image data; A switching control step of selecting one panoramic image data from the panoramic image data in which the detection target is detected according to a predetermined priority, and switching the selected one panoramic image data to the reproduction target. To do.
  • panoramic image data in which the set detection image is reflected can be automatically selected and displayed, so that a plurality of panoramic images can be displayed without any operation by the viewing user. You can fully enjoy the data.
  • FIGS. 18 to 26 a third embodiment shown in FIGS. 18 to 26 will be described.
  • the moving image reproduction system 210 according to the third embodiment is different from the first embodiment described above in that reference index coordinates based on a common index are set for each panoramic image data D photographed at the same time. is doing. Note that, in the third embodiment, a portion corresponding to the first embodiment is indicated by 200, and description of the same portion is omitted.
  • FIG. 18 a case will be described in which three photographers CM1 to CM3 perform overhead photography using three camera sets 201A to 201C. As shown in FIG. 19, it is assumed that the photographer CM1 is looking in the direction of the photographer CM2, and the photographers CM2 and CM3 are looking at the object OJ.
  • the panorama moving image D1p ⁇ As shown in FIG. 19, when the photographer CM1 is looking at the photographer CM2, and the photographers CM2 and CM3 are looking at the object OJ, the panorama center coordinates are scattered.
  • the viewing user when the viewing user views the panoramic moving image D1p taken by the photographer CM1 with the panoramic center coordinates as the viewpoint coordinates, the viewing user is near the viewpoint coordinates of the display image 251 based on the panoramic moving image D1p.
  • a display image 252 based on the panorama image D2p is displayed.
  • An object OJ is displayed in the vicinity of the viewpoint coordinates of the display image 252.
  • a display image 253 based on the panorama image D3p is displayed.
  • Nothing is projected near the viewpoint coordinates of the display image 253.
  • the panoramic images D1p to D3p photographed by the photographers CM1 to CM3 have the same panoramic center coordinates depending on the viewpoints of the photographers CM1 to CM3. If a display image is cut out from each of the panoramic images D1p to D3p using the coordinates as a reference, images showing different directions are cut out, which may confuse the viewing user.
  • a common index setting process is performed on the panoramic image D so that the display image can be cut out based on the common index. To do.
  • the same direction is set as a common index as shown in FIG.
  • a direction detector such as an azimuth magnetic needle or a vertical (gravity) detector is installed in the camera set 201 (201A to 201C).
  • a system controller 221 (not shown) of the editing apparatus 202 acquires direction information together with single image data and time information, and sets panorama center coordinates in the panorama image data D so that the directions are the same or substantially the same.
  • the panorama center coordinates are the common index coordinates.
  • the image editing unit 221A of the system controller 221 recognizes a combination of single image data from the single image data and the device ID, decodes the single image data, and synchronizes using the time information, and sets the camera set 201.
  • Single image data is combined for each of them, and spherical image data of all celestial spheres are synthesized, and panoramic image data D is generated so as to be developed around panoramic center coordinates. In practice, these processes are executed by calculation.
  • the image editing unit 221A has almost the same direction (up / down / left / right ⁇ 10 from the same direction) based on the direction information CP (CP1 to CP3) acquired for each camera set.
  • the panorama image data D is created as if it was taken at the angle (°).
  • the image editing unit 221A generates panoramic image data D corresponding to one preset camera set.
  • panoramic image data D1 corresponding to the camera set 201A is set.
  • the image editing unit 221A compares the direction information CP1 to CP3 corresponding to the panorama image data D1, and if there is a difference in the direction indicated by the direction information, the image editing unit 221A remains while shifting the panorama center coordinates so as to cancel the difference.
  • the panorama center coordinates can be arranged in substantially the same direction between the panoramic image data D1 to D3 photographed at the same time, and therefore, as shown in FIG. 21, all the camera sets 201A to 201C have substantially the same direction.
  • Panorama image data D1 to D3 can be generated as if they were taken with the camera.
  • the playback device 205 can generate the display images 251 to 253 by simply cutting out images at the same viewpoint coordinates in accordance with the viewing user switching instruction.
  • the images obtained by photographing relatively close portions are displayed as the display images 251 to 253, so that the viewer can enjoy the difference between the panoramic image data D1 to D3.
  • an image area with a high degree of human attention is preferentially selected as the common image area.
  • a method of automatically extracting a region of interest from a feature amount of an image called a saliency map (Saligency Map) can be applied to the level of human attention. Details of these are described in URL1 and URL2 below, and an attention area with a high level of human attention is extracted based on, for example, the brightness, brightness pattern, image size, and the like.
  • URL1 http://www.slideshare.net/akisatokimura/ss-10694017
  • URL2 http://www.slideshare.net/takao-y/20150619-49592895
  • a common image area which is an image area obtained by photographing a common subject such as an object or a landscape, as a common index. It should be noted that the common image area may be cut out for all frames or periodically (for example, once every 0.1 to 1 second).
  • the image editing unit 221A of the system controller 221 recognizes a combination of single image data from the single image data and the device ID, decodes the single image data, and synchronizes using the time information, and sets the camera set 201. Single image data is combined for each, and panoramic image data D1 to D3 are generated.
  • the image editing unit 221 searches for a subject to be photographed such as an object or a landscape common to the panoramic image data D1 to D3 as a common image region, and uses the common index coordinate as a common index coordinate, for example. Stored in association with the panorama image data D1 to D3.
  • the common image area detection method is not limited, and is performed by using various known techniques such as image area clipping and matching based on luminance differences, and common image area tracking using motion vectors.
  • the image editing unit 221 associates the center of the object OJ with the panoramic image data D1 to D3 as the common index coordinates, and stores them in the storage unit 222.
  • the image editing unit 221 associates the center of the object OJ with the panoramic image data D1 to D3 as the common index coordinates, and stores them in the storage unit 222.
  • the viewpoint coordinates are determined by canceling the difference of the common index coordinates, and the display image 261 is cut out as shown in FIG. ⁇ 263 can be generated.
  • the display images 261 to 263 since the viewpoint close to that before the switching is displayed, the viewing user can be prevented from being confused.
  • panoramic image data D1 to D3 in which photographers CM1 to CM3 have photographed the same subject can be generated.
  • the image editing apparatus 203 executes the common index setting process for determining the viewpoint coordinates serving as the center of the display image based on the common index, so that the basis of the display image is changed according to the switching support of the viewing user. Even when the panorama image data D to be changed is switched, the shooting area in the display image can be set to the same or close position, and it is not known where the shooting area is displayed by displaying a completely different shooting area. It is possible to prevent the viewing user from being confused.
  • the fourth embodiment is different from the third embodiment described above in that fixed point shooting and stereo recording are performed. Note that in the fourth embodiment, portions corresponding to those in the third embodiment are denoted by 100, and description of the same portions is omitted.
  • the common index is set.
  • the common index setting process is performed in at least one frame of the panoramic video data D continuously shot. That's fine.
  • a specific mark or the like may be photographed, or a subject to be photographed such as a scene of a concert venue, a person such as a staff or a talent, or a direction may be set.
  • the camera set 301 there is a recording unit for four channels, and at the time of playback, the sound of the four channels is mixed and reproduced from the headphone information from the viewpoint information.
  • a 360 ° stereo microphone for example, an Ambisonics microphone
  • a 360 ° stereo microphone that re-synthesizes the sound of the two channels to be used is used.
  • the panoramic image reproduction technology having such a configuration is based on the assumption that one panoramic image data is reproduced by one camera set. If a plurality of panoramic image data can be reproduced while being switched by a plurality of camera sets, it is considered that the entertainment of the panoramic image data can be improved.
  • Feature D1 In the moving image reproducing device (reproducing device 205) or moving image reproducing system (moving image reproducing system 210) of the present invention, a plurality of panoramic image data (panoramic image data D) photographed at the same time are stored in association with predetermined time information.
  • Storage means storage unit 252
  • a reproduction control means for selecting one selected panoramic image data as a reproduction target, cutting out a part of the reproduction target as a display image, and displaying it on a display device (display unit 54).
  • Switching control means for switching the playback target to other panoramic image data at the playback time based on the time information in response to a user switching request when playing back a predetermined playback time point in the playback target
  • a common index setting unit image editing unit 221A for executing a common index setting process for determining a viewpoint coordinate serving as a center of the display image based on a common index common to the plurality of panoramic image data.
  • the display image determined based on the common index can be displayed on the playback device, even when panoramic image data is switched, the same or near place is photographed.
  • the displayed portion can always be displayed, and the viewing user can easily understand the position of the display image.
  • the reproduction control means is When switching the playback target to the other panoramic image data in response to a user switching request, the display device displays a display image in the other panoramic image data based on the common index coordinates set in the common index setting process. It is characterized by that.
  • the common position where the same or near place is photographed based on the common index can be set as the common index coordinates, the same or near place is easily photographed using the common index coordinates.
  • the generated image can be generated as a display image.
  • Feature D3 In the invention described in Feature D1 or Feature D2, The common indicator is It is a direction generated based on measurement information acquired at the time of photographing.
  • Feature D4 In the invention described in Feature D1, The common indicator is It is a common image area in which a subject to be photographed such as a landscape or an object photographed in common in the plurality of panoramic image data.
  • the current viewing position can be easily recognized by the viewing user.
  • Feature D5 According to the invention described in Feature D1, Having an audio output means for outputting audio;
  • the storage means 3D audio recorded in stereo using a microphone with two or more channels is stored,
  • the reproduction control means includes The voice output means outputs the voice in the direction according to the user's instruction to the voice output means.
  • the storage means stores a three-dimensional sound recorded using a microphone having four or more channels. More preferably, the reproduction control means outputs sound recorded using a microphone having four or more channels as sound of two channels corresponding to the left and right ears.
  • audio that matches the viewing user's field of view can be output. You can enhance the sense of reality.
  • Feature D6 A panoramic video editing apparatus that edits a panoramic image for displaying a display image centered on viewpoint coordinates according to a user's request on a display device, Storage means for storing a plurality of panoramic image data (panoramic image data D) photographed simultaneously; It has time information setting means for setting time information indicating the time relationship of the captured time for the plurality of panoramic image data.
  • the display image determined based on the common index can be displayed on the playback device, even when the panoramic image data is switched, the same or near place is photographed.
  • the displayed portion can always be displayed, and the viewing user can easily understand the position of the display image.
  • Feature D7 The panoramic video editing device described in Feature D6 is It further has a common index setting means for executing a common index setting process for determining the viewpoint coordinates based on a common index common to the plurality of panoramic image data.
  • the common position where the same or near place is photographed based on the common index can be set as the common index coordinates, the same or near place is easily photographed using the common index coordinates. It is possible to cause the playback device to generate the displayed image as a display image.
  • the common index setting means includes The common index setting process is executed by setting common index coordinates based on the common index in the plurality of panoramic image data.
  • Feature D9 In the invention described in Feature D7, The common indicator is Direction,
  • the common index setting means includes The common index setting process is performed by recreating the plurality of panoramic image data so that the directions substantially coincide between the plurality of panoramic image data.
  • a display image of substantially the same viewpoint is displayed on the playback device by a process of cutting out the same viewpoint coordinates between a plurality of panoramic image data. be able to.
  • the common indicator is A common image area that represents a subject to be photographed, such as a landscape or an object.
  • the common index setting means includes The common index setting process is performed by recreating the plurality of panoramic image data so that the positions of the common image areas substantially coincide between the plurality of panoramic image data.
  • the common index setting means includes If multiple common image areas are extracted, An image area having a high human attention is preferentially set as the common image area.
  • the playback control means in the playback device is: A viewpoint coordinate serving as a center of the display image is determined based on a common index common to the plurality of panoramic image data.
  • the playback control means in the playback device is: When switching the playback target to the other panoramic image data in response to a user switching request, the display device displays a display image in the other panoramic image data based on the common index coordinates set in the common index setting process. It is characterized by that.
  • time information is generated by embedding synchronization information for simultaneous photographing and synchronization such as sound and light, and synchronizing later (in the editing process) based on this synchronization information. You may do it. Even in this case, the same effects as those of the above-described embodiment can be obtained.
  • the first embodiment described above has a configuration in which the photographer takes a picture with the camera 1.
  • the camera since the camera is fixed, there is no problem.
  • the shooting angle varies. In other words, even when switching is performed using the same coordinates as the viewpoint coordinates, the photographing angle may be different.
  • the camera 1A is set as an angle reference camera, and the angular movement of the camera 1A is detected by a gyro sensor.
  • the angular movement in the cameras 1B and 1C is detected by the gyro sensor.
  • the system controller 2 of the editing apparatus 2 uses the camera 1A as a reference and the angular velocity detected by the gyro sensor so that the viewpoint movement of the center coordinates in the panorama image Da and the viewpoint movement of the center coordinates in the panorama images Db and Dc are the same.
  • the center coordinates in the panoramic images Db and Dc are adjusted by the difference value. This makes it possible to unify the viewpoints of the central coordinates when switching the panoramic images Da to Dc. For example, when a camera is mounted on a human head, the viewpoint changes greatly when the photographer turns sideways.
  • the present invention is not limited to this, and can be combined with a normal image photographed by a general photographing camera.
  • a zoom camera that specially shoots idle zoom is installed, and for zooming according to the demand of the viewing user or according to the situation (for example, when designated by the photographer) It is possible to switch to a zoom image taken with a camera. Thereby, it is possible to meet the demand of the viewing user who wants to see the idol's face up.
  • the editing program and the reproduction program are stored in advance in a ROM or a hard disk drive.
  • the present invention is not limited to this, and it may be installed from an external storage medium such as a memory card into a flash memory or a hard disk drive in the computer.
  • database creation programs, etc. are acquired from the outside via a wireless LAN (Local Area Network) such as USB (Universal Serial Bus) or Ethernet (registered trademark) (Institute of Electrical and Electronics Electronics) 802.11a / b / g.
  • a wireless LAN Local Area Network
  • USB Universal Serial Bus
  • Ethernet registered trademark
  • it may be distributed by terrestrial digital television broadcasting or BS digital television broadcasting.
  • the present invention can be applied to, for example, bodily entertainment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

【課題】　パノラマ画像の娯楽性を向上させる。 【解決手段】本発明は、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶手段と、　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段と　を有するようにした。

Description

動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置
　本発明は、動画再生装置、動画再生方法及び動画再生プログラムに関し、特に広い画角の画像を再生する際に好適なものである。
　従来、画角の広い画像はパノラマ画像と呼ばれており、監視カメラやテレビ会議の用途において、広く使用されている。このパノラマ画像の中には、全天球や半天球と呼ばれるような３６０°の画角で撮影されたものがある。
　このような超広画角のパノラマ画像では、人間の目に自然に感じるように一度に表示するのは困難であり、撮影されたパノラマ画像から、ユーザの視点に応じた箇所の画像を切り出して表示装置に表示させるようになされている。
特開２０１４－１６５７６３号
　ところで、かかるパノラマ画像では、一段と娯楽性を高めたいという要望があった。
　本発明はこのような問題を解決するためになされたもので、その目的は、娯楽性を高めることができる動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置を提供するものである。
　かかる課題を解決するため、本発明の動画再生装置は、
　同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶手段と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有することを特徴とする。
　これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
　また、本発明の動画再生システムは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶手段と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段とを有することを特徴とする。
　これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
　さらに、本発明の動画再生方法は、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
　これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
　また、本発明の動画再生プログラムは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
　これにより、同時に撮影された複数のパノラマ画像データを違和感なく切り替えて視聴ユーザを楽しませることができ、パノラマ画像データの娯楽性を高めることができる。
　さらに、本発明の動画送信装置は、同時に撮影された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生する再生手段から、前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
　他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
　前記生成された送信データを前記再生手段に送信する送信手段とを有することを特徴とする。
　これにより、再生装置に対して送信するデータの総量を低減でき、複数のパノラマ画像データをスムーズに切り替えさせることができ、パノラマ画像データの娯楽性を高めることができる。
　また、本発明の動画再生システムは、同時に撮影された複数のパノラマ画像データを取得する取得手段と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
　所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。
　これにより、視聴ユーザが何ら操作しなくても自動的にパノラマ画像データを切り替えることができ、パノラマ画像データの娯楽性を高めることができる。
さらに、本発明の動画再生装置は、同時に撮影された複数のパノラマ画像データを取得する取得手段と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
　所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段とを有することを特徴とする。
　これにより、視聴ユーザが何ら操作しなくても自動的にパノラマ画像データを切り替えることができ、パノラマ画像データの娯楽性を高めることができる。
　本発明は、パノラマ画像データの娯楽性を高めることができる動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置を提供できる。
第１の実施の形態における動画再生システムシステムの構成を示す略線図である。 第１の実施の形態における撮影の説明に供する略線図である。 第１の実施の形態における編集装置の構成を示すブロック図である。 オブジェクト指定画面を示す略線図である。 追尾対象指定画面を示す略線図である。 第１の実施の形態におけるサーバの構成を示すブロック図である。 第１の実施の形態における再生装置の構成を示すブロック図である。 パノラマ画像データの切替（１）の説明に供する略線図である。 パノラマ画像データの切替（２）の説明に供する略線図である。 パノラマ画像データの切替（３）の説明に供する略線図である。 付加情報の表示の説明に供する略線図である。 第２の実施の形態における動画再生システムシステムの構成を示す略線図である。 第２の実施の形態における撮影の説明に供する略線図である。 第２の実施の形態におけるサーバの構成を示すブロック図である。 第２の実施の形態におけるパケットデータの生成（１）の説明に供する略線図である。 第２実施の形態による再生装置の構成を示すブロック図である。 第２の実施の形態におけるパケットデータの生成（２）の説明に供する略線図である。 パノラマ画像データの切替（１）の説明に供する略線図である。 パノラマ画像データの切替（２）の説明に供する略線図である。 パノラマ画像データの切替（３）の説明に供する略線図である。 付加情報の表示の説明に供する略線図である。 第２の実施の形態における動画再生システムシステムの構成を示す略線図である。 第２の実施の形態における撮影の説明に供する略線図である。 第２の実施の形態におけるサーバの構成を示すブロック図である。 第２の実施の形態におけるパケットデータの生成（１）の説明に供する略線図である。 第２実施の形態による再生装置の構成を示すブロック図である。
　次に本発明を実施するための形態について図面を参照して説明する。
＜第１の実施の形態＞
　図１は全体として動画再生システム１０を示しており、カメラセット１、編集装置２、サーバ３及び再生装置５を有している。本明細書では、１つのレンズに基づいて撮影された通常の動画像データをシングル画像データ、シングル画像データが組み合わされることにより、若しくは魚眼レンズなどを使用することにより、通常よりも画角が広い状態で生成された動画像データをパノラマ画像データと呼ぶ。パノラマ画像データは、そのまま表示すると人間の目には画角が大きすぎて不自然なため、人間の視野範囲を考慮した画角分だけが切り出されて表示されるのが一般的である。
　カメラセット１によって撮影されたシングル画像データは、編集装置２によって編集処理が実行されてパノラマ画像データとなり、同時に撮影されたパノラマ画像データ同士が関連付けられた状態で、サーバ３に記憶される。なお、編集装置２がサーバを兼ねることもできる。
　サーバ３及び再生装置５は、無線または有線でインターネットなどのネットワークＮＴに接続されている。サーバ３に記憶されたパノラマ画像データは、ネットワークＮＴを介して配信され、再生装置５（５Ａ～５Ｄ）によって再生される。
　図２に示すように、本実施の形態では、複数のカメラセット１を用いて撮影が行われる。カメラセット１の数に制限はないが、本実施の形態では、３つのカメラセット１Ａ～１Ｃが３台の自動車に搭載されてそれぞれ撮影が行われている場合について説明する。　
　カメラセット１は、例えば複数のカメラや複数のレンズが組み合わされることにより、１つのカメラセット１で３６０°の画角で動画撮影が可能な全天球又は半天球のカメラセットである。ここでは、一例として６つのカメラが組み合わされたカメラセット１について説明する。
　各カメラは、それぞれに内部時計が内蔵されており、この内蔵時計はカメラセット１内及びカメラセット１間において予め同期されている。この時計の同期は、例えば電波時計を用いことにより実行される。各カメラは、動画像データに対し、時間情報を埋め込むと共に、適宜エンコード処理を実施して動画像データを所定の方式で圧縮し、カメラ内に記憶する。
　各カメラには、それぞれにおいて撮影されたシングル画像データが記憶されている。これらの動画像データは、有線又は無線によって編集装置２に転送されて記憶される。
　図３に示すように、編集装置２は、コンピュータ構成でなり、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されるシステムコントローラ２１が編集装置２の全体を統括的に制御するようになされている。システムコントローラ２１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部２２に格納されている基本プログラムや編集プログラム、補助情報設定プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する編集処理を実行するようになされている。
　編集装置２のシステムコントローラ２１は、編集処理を実行する旨の編集ユーザからの要求が操作入力部２５を介して供給されると、編集処理を開始する。編集装置２は、各カメラから有線または無線によって接続されることにより供給された動画像データ及び装置ＩＤ（identification）を、記憶部２２の画像記憶部２２Ａに記憶している。なお以下、各カメラによって撮影された動画像データをシングル画像データと呼ぶ。
　システムコントローラ２１の画像編集部２１Ａは、シングル画像データ及び装置ＩＤから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット１ごとにシングル画像データを組み合わせ、全天球のパノラマ画像データＤを合成する。なお、カメラセット１ごとの装置ＩＤは、予め編集者によって登録されている。
　カメラセット１によって撮影された６つのシングル画像データは、撮影箇所を中心に球状に撮影されたような画像となるが、例えばメルカトル図法や正距方位図法などの図法を応用して展開されて平面画像として記憶部２２の画像記憶部２２Ａに記憶される。この結果、カメラセット１Ａ～１Ｃごとに、それぞれパノラマ画像データＤａ～Ｄｃが生成される。なお、合成されたパノラマ画像データＤａ～Ｄｃ（図ではＰ画像Ｄａ～Ｄｃと記載）は、エンコードした状態で画像記憶部２２Ａに記憶される。
　編集装置２は、このパノラマ画像データＤａ～Ｄｃを紐付けすると共に、パノラマ画像データＤａ～Ｄｃ間の切り替えやオブジェクトの追尾を容易にする補助情報設定処理を実行する。この補助情報設定処理は、画像記憶部２２Ａに記憶されたパノラマ画像データＤａ～Ｄｃを適宜デコードすることにより実行される。
　システムコントローラ２１の補助情報設定部２１Ｂは、操作入力部２５に対する編集ユーザの操作に応じて操作入力部２５から操作要求信号が供給されると、補助情報設定プログラムに従って補助情報設定処理を実行し、設定された補助情報を記憶部２２の補助情報記憶部２２Ｂに登録する。なお、ここでは、パノラマ画像データＤｃについて説明するが、パノラマ画像データＤａ及びＤｂについても同様に処理が行われる。
　また、断続的に撮影が行われた場合には、連続して撮影されたパノラマ画像データＤｃごとに補助情報設定処理が実行される。この補助情報設定処理は、追尾対象となるオブジェクトごとに実行される。
　図４に示すように、補助情報設定部２１Ｂは、オブジェクト指定画面を表示し、オブジェクトの設定を編集ユーザに実行させる。例えば自動車８Ｃから自動車８Ａを撮影したパノラマ画像データにおいて、一枚の画像を表示すると共に、オブジェクトの輪郭を複数の点からなる輪郭座標として編集ユーザに指定させる。
　さらに、補助情報設定部２１Ｂは、表示部２４への表示により、編集ユーザにオブジェクトの名称及びオブジェクトに関する付加情報（例えば搭乗者や自動車の情報など）を入力させ、補助情報として補助情報記憶部２２Ｂに登録する。
　補助情報設定部２１Ｂは、各画像から動きベクトル及び輪郭抽出を用いて輪郭座標を決定し、補助情報として補助情報記憶部２２Ｂに記憶する。なお、輪郭座標の抽出は、必ずしもすべての画像について行う必要はなく、例えば１／６秒に１枚（すなわち１秒に６枚程度）の間隔で行えば良い。
　また、補助情報設定部２１Ｂは、動きベクトルによって算出された輪郭座標と輪郭抽出によって算出された輪郭座標が大きく相違する場合には、自動車８Ａが撮影された画像に対して、動きベクトル及び輪郭抽出によって算出した輪郭座標をそれぞれ重畳した２つの画像を表示し、編集ユーザに一の画像を選択させる。
　補助情報設定部２１Ｂは、選択された画像で使用されていた手法に基づく輪郭座標を優先して使用する。このように、複数の手法でオブジェクトの輪郭座標を抽出すると共に、複数の輪郭座標の相違が大きくなった場合には、編集ユーザにいずれか一つを選択させることにより、輪郭座標の信頼性を高めることができる。
　特に、撮影時の自動車同士の位置関係が変わったことによりパノラマ画像データＤｃ中における自動車８Ａの側面が変化した場合であっても、正しい輪郭座標を設定することができ、有効である。
　補助情報設定部２１Ｂは、付加情報及び時間情報に関連付けた状態で、補助情報として輪郭座標を補助情報記憶部２２Ｂ登録する。また、補助情報設定部２１Ｂは、優先的に再生される一のパノラマ画像データＤ（以下、これを優先再生画像データと呼ぶ）を編集ユーザに選択させる補助情報として補助情報記憶部２２Ｂ登録する。
　このように、編集装置２のシステムコントローラ２１は、パノラマ画像データＤａ～Ｄｃに対して、予め補助情報を設定しておく。そしてシステムコントローラ２１は、編集ユーザの要求に応じて、パノラマ画像データＤａ～Ｄｃ及び補助情報をサーバ３の記憶部（図示せず）に登録する。サーバ３は、再生装置５の要求に応じてダウンロード処理を実行する。同時に再生装置５では、再生処理が実行される。
　図５に示すように、サーバ３は、コンピュータ構成でなり、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されるシステムコントローラ３１がサーバ３の全体を統括的に制御するようになされている。システムコントローラ３１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部３２に格納されている基本プログラムやストリーミング配信プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述するダウンロード処理を実行するようになされている。
　図６に示すように、再生装置５（５Ａ～５Ｄ）は、コンピュータ構成でなり、図示しないＣＰＵ（Central Processing Unit ）、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）から構成されるシステムコントローラ５１が再生装置５の全体を統括的に制御するようになされている。システムコントローラ５１は、フラッシュメモリ、ＲＯＭ又はハードディスクドライブ等の記憶部５２に格納されている基本プログラムや再生プログラム等をＲＡＭに展開することによって、これらのプログラムに基づいて各種処理や後述する再生処理を実行するようになされている。再生装置５としては、デスクトップパソコンやノートパソコンの他、タブレット端末及びスマートフォン端末など、パソコン機能を搭載した各種の端末を使用することができる。操作入力部５５としては、マウスやキーボードの他にタッチパネルなどを使用することができる。
　サーバ３は、記憶部３２の画像記憶部３２Ａにおいて、上述したパノラマ画像データＤａ～Ｄｃ及び補助情報を一つの画像グループＰＤＧとして、複数の画像グループＰＤＧ（ＰＤＧａ、ＰＤＧα、ＰＤＧｗ）を記憶している。さらに、記憶部３２のＰＦ（プラットフォーム）情報記憶部には、パノラマ画像が再生されるプラットフォームのウェブページのデータが記憶されている。
　再生装置５を保有する視聴ユーザは、ネットワークＮＴを介してプラットフォームのウェブページにアクセスすると、サーバ３からプラットフォームのウェブページのデータが供給される。このプラットフォームにおける所定のウェブページには、画像グループＰＤＧごとに、パノラマ画像データの一覧が表示される。このパノラマ画像データの一覧は、例えば画像グループＰＤＧにおけるパノラマ画像データのうち、予め編集ユーザによって選択された代表的な１枚の画像が表示される。
　再生装置５の視聴ユーザが、例えば表示された画像をクリックすることにより、視聴したい画像グループＰＤＧを選択すると、パノラマ画像データＤの再生が開始される。以下、一例として画像データを一時的にダウンロードしながら再生する、いわゆるプログレッシブダウンロードによってダウンロードが実行される場合について説明する。
　具体的に、サーバ３はダウンロード処理を実行する一方、再生装置５は再生処理を実行する。この再生処理において、再生装置５は、パノラマ画像データＤのうち、表示される画像のサイズに応じた領域のみを切り出して画像データを生成する。以下、このときの表示される画像の中心を視点座標と呼ぶ。
　そして再生装置５は、視聴ユーザの操作入力部５５に対する操作に応じて、視点座標を移動させたり、表示するパノラマ画像データＤを切り替えることにより、視聴ユーザがあたかも撮影現場に存在するかのような体感を経験させることができるようになされている。
　サーバ３のシステムコントローラ３１は、選択された画像グループＰＤＧに属するパノラマ画像データＤ及び補助情報を再生装置５に供給する。以下、一例として、画像グループＰＤＧａがダウンロードされる場合について説明する。
　システムコントローラ３１のパケット生成部３１Ａは、画像グループＰＤＧａに属するパノラマ画像データＤａ～Ｄｃ及び補助情報を時系列ごとにパケット化してパケットデータを生成すると、外部インターフェース３３を介してパケットデータを再生装置５に供給する。
　再生装置５のシステムコントローラ５１は、外部インターフェース５３を介してパケットデータが供給されると、記憶部５２に記憶すると共に、通常モードにおいて再生処理を開始する。
　具体的に、システムコントローラ５１は、画像グループＰＤＧａに属するパノラマ画像データＤａ～Ｄｃのすべてについてのデコード処理を行うと共に、補助情報において指定されている優先再生画像データを表示対象とし、当該優先再生画像データの中心座標を視点座標とした画像データを生成し、表示部５４に表示させる。
　視聴ユーザの操作入力部５５に対する操作入力により、視点を右方向にずらすよう要求されると、システムコントローラ５１は、優先再生画像データの中心座標から操作入力に応じた座標だけ右に移動した視点座標を中心として表示画像データを生成し、表示部５４に表示させる。
　例えば、図１のように３台の自動車８Ａ～８Ｃが併走している場合において、優先再生画像データがパノラマ画像データＤｃだった（すなわち自動車８Ｃから撮影された画像であった）場合、視点を右に移動させることにより、図７に示すように、自動車８Ａを後ろ斜め左方向から撮影した表示画像が表示される。なお、左右のカーソルボタン９３を操作することにより視点座標が移動する。再生装置５がタッチパネルを有する場合には、スライド動作などによって視点座標を移動させることが可能である。
　上述したように、補助情報には、オブジェクトの輪郭座標が登録されている。システムコントローラ５１は、この輪郭座標を用い、オブジェクトを追尾対象として追尾処理を実行することができる。
　例えば、画面上に表示された設定ボタン（図示せず）をクリックすることにより、追尾設定を行う旨の要求信号が供給されると、図８に示すように、システムコントローラ５１は、追尾指定画面を表示する。この追尾指定画面では、通常の再生時と同様、表示画像データが表示されると共に、追尾対象指定ボタン９５と、キャンセルボタン９６とが表示される。この状態において、輪郭座標が登録されているオブジェクト上に視聴ユーザがカーソル９９を載せると、システムコントローラ５１は、オブジェクトの部分の色を変色させて表示する。なお、オブジェクトか否かの認識は、補助情報における輪郭座標から判断する。
　ここで視聴ユーザが決定ボタン（図示せず）をクリックすることにより、追尾対象を決定する旨の要求信号が供給されると、システムコントローラ５１は、追尾モードに遷移し、自動車８Ｃを追尾対象に設定する。
　そしてシステムコントローラ５１は、輪郭座標の中心点を中心として画像データを生成し、表示部５４に表示させる。システムコントローラ５１は、追尾設定が解除されるまでの間に亘って、自動車８Ｃの輪郭座標の中心点を中心として表示画像データを生成し、表示部５４に表示させる。
　この結果、図９に示すように、表示部５４には、パノラマ画像データＤｃにおいて、自動車８Ａが中心となった表示画像が表示される。
また、視聴ユーザが自動車８Ａをクリックすると、自動車８Ａから撮影したパノラマ画像データＤａへの切替が実行される。
　システムコントローラ５１は、通常モードにおいて、自動車８Ａがクリックされたことを認識すると、表示対象をパノラマ画像データＤａに変更すると共に、切替前の表示対象であったパノラマ画像データＤｃが撮影されていた自動車８Ｃに視点座標を設定し、表示画像データを生成する。
　これにより、視聴ユーザは、切替前の自分の視点を認識することができ、ああ、あそこにいたんだというように、切替前後において視聴ユーザがあたかもジャンプしたかのような感覚を再認識することができる。
　視聴ユーザが視点座標を左方向へ移動させると、図１０に示すように、自動車８Ｃが表示される。そして図１１に示すように、視聴ユーザがカーソル９９を自動車８Ｃ上に載せると、システムコントローラ５１は、自動車８Ｃに関する補助情報における付加情報を読み出し、画像に表示する。
　具体的に、システムコントローラ５１は、カーソル９９の位置を監視し、カーソル９９の先端部の座標が輪郭座標の内部に入った場合に、画像記憶部３２Ａから補助情報における付加情報を読み出すと共に、付加情報を重畳して表示画像データを生成する。
　これにより、視聴ユーザは、自動車の車種や撮影時間、走行距離やエピソードなど、オブジェクトにまつわる情報を取得することができる。
　このように、複数のパノラマ画像データＤを関連付け、画像グループＰＤＧとして取り扱うと共に、所定の操作に応じてパノラマ画像データＤを切り替えることにより、同時に撮影された複数のパノラマ画像データＤを自在に視聴できるため、パノラマ画像データＤとしての娯楽性を高めることができる。
　また、予め設定されたオブジェクトを指定することにより、指定されたオブジェクトから撮影されたパノラマ画像データＤへ表示画像を切り替えるようにした。これにより、視聴ユーザに撮影ポイント間をワープしたかのような体感をさせることができ、視聴ユーザの楽しみを増大させることができる。
＜第２の実施の形態＞
　図１２～１７に示す第２の実施の形態においては、図１～図１１に示す第１の実施の形態と対応する箇所に１００を足した符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、広い会場でより多くのカメラセットを使用する点と、ライブでパノラマ画像データが配信される点が第１の実施の形態と異なっている。
　図１２に示すように、第２の実施の形態では、７つのカメラセット１０１（１０１Ａ～１０１Ｇ）によって撮影されたサーバ１０３に送信され、編集処理されると共に、サーバ１０３からそのままネットワークＮＴを介してストリーミング配信される。
　従って、図１４及び図１５に示すように、サーバ１０３のシステムコントローラ１３１は、シングル画像データが供給されると、画像編集部１３１Ａによってシングル画像データを組み合わせ、パノラマ画像データＤ（Ｄａ～Ｄｇ）を生成する。
　ところで、パノラマ画像データＤは、元々６枚のシングル画像データが組み合わされたものであり、平面画像であるものの、画角が広い分、そのデータ量は通常の画像データよりも大きくなる。
　サーバ１０３は、このようなデータ量の大きいパノラマ画像データＤａ～Ｄｇのすべてをそのまま配信するのでは、通信負荷が大きくなってしまう。そこで、サーバ１０３は、各モードに応じた組み合わせのパケットを生成し、再生装置１０５へ配信するようになされている。
　サーバ１０３から供給されるパケットＰＫは、再生装置１０５のシステムコントローラ１５１内のＲＡＭに一時記憶されて再生に使用された後、記憶部１５２に記憶されることなく消去される。
　一例として、図１３に示すように、コンサート会場で撮影が行われると共に、撮影された画像がライブで配信される場合について説明する。
　本実施の形態では、各視聴ユーザが自分の視聴したいパノラマ画像データＤ及び視点座標を自身で選択するマニュアルモード、パノラマ画像データＤは自身で選択するものの、追尾機能を用いて視点座標を設定するセミマニュアルモード、パノラマ画像データＤ及び視点座標を自動選択するオートモードの３種類を有している。
　視聴ユーザは、再生装置１０５によっていずれのモードで視聴を行うかを選択して設定する。サーバ１０３は、設定されたモードに対応するパケットを再生装置１０５に送信する。
まず、マニュアルモードについて説明する。
　マニュアルモードでは、ユーザ視聴者が自身で何を見るのかを選択できるモードである。表示画像データの脇に、カメラの配置を示す小画面又はサムネイル画面が表示されており、カメラをクリックすると、対応するカメラで撮影されたパノラマ画像データＤを視聴することができると共に、視点座標も自身で設定する。
　このカメラの配置を示す小画面又はサムネイル画面には、カメラセットを模してカメラの図が記載されている。このカメラの図が指す方向は、パノラマ画像データＤが切り替えられた直後の視点座標の方向を示している。この画面において、視点座標の方向と図上のカメラの方向とを対応付け、視点座標の移動に伴って図上のカメラの方向を変化させて表示することも可能である。これにより、視聴ユーザが現在どの方向を向いているかをわかりやすくできる。
　１つの場所で３６０度周りを見渡せるので、視聴ユーザはあたかもコンサートに参加しているかのような体感が得られると共に、状況に応じてステージ近くのカメラで撮影されたパノラマ画像データＤを視聴することもできる。
　このマニュアルモードでは、いつ視聴ユーザがカメラを切り替えて視聴するパノラマ画像データＤを変更するか不明である。通常、デコードにはわずかであるが時間を要するため、視聴ユーザが切替を要求してから対応するパノラマ画像データＤを供給すると、タイムラグが発生してしまう。一方、すべてのカメラに対応するパノラマ画像データＤを供給するのでは、通信負荷が大きくなってしまう。
　そこで、本実施の形態のサーバ１０３では、現在視聴中のパノラマ画像データＤを再生用のレートで供給すると共に、視聴していないパノラマ画像データＤのレートを低下させた（例えば１／１０～１／３程度に低下）低レートパノラマ画像データＤｌ（Ｄｌａ～Ｄｌｇ）を同時に供給するようにした。
　再生装置１０５は、現在再生中のパノラマ画像データＤについての再生識別情報をサーバ１０３に対して常に送信することにより、当該再生識別情報が示すパノラマ画像データＤを中心としたパケットＰＫの供給をサーバ１０３に対して要求する。
　図１５に示すように、システムコントローラ１３１のパケット生成部１３１Ｂは、パノラマ画像データＤａと、低レートパノラマ画像データ（図ではＬＰ画像と記載）Ｄｌｂ～Ｄｌｇを組み合わせ、パケットＰＫ１を生成する。このパケットＰＫ１は、現在、パノラマ画像データＤａを再生している再生装置１０５に対して供給される。
　同様に、パケット生成部１３１Ｂは、パノラマ画像データＤｂと、低レートパノラマ画像データ（図ではＬＰ画像と記載）Ｄｌａ、Ｄｌｃ～Ｄｌｇを組み合わせ、パケットＰＫ２を生成する。このパケットＰＫ２は、現在、パノラマ画像データＤｂを再生している再生装置１０５に対して供給される。
　以下、パケット生成部１３１Ｂは、同様にしてパケットＰＫ３～ＰＫ７を生成する。そしてシステムコントローラ１３１は、再生装置１０５の再生状況に応じたパケットＰＫを供給する。
　再生装置１０５は、視聴ユーザがカメラを切り替えた場合、低レートパノラマ画像データＤｌに基づく画像を表示すると共に、現在再生中のパノラマ画像データＤに対応するパケットＰＫの供給をサーバ１０３に要求する。
サーバ１０３は、要求信号が供給されると、再生装置１０５に対して供給するパケットＰＫを即座に変更し、現在再生中のカメラに対応するパケットＰＫを供給する。
　これにより、サーバ１０３は、供給するデータ量が大きいことによって生じるトラブルを未然に回避すると共に、視聴ユーザに遅延なく切替後のパノラマ画像データＤに基づく画像を表示させることができる。
　このように、マニュアルモードでは、再生中のパノラマ画像データＤのみ再生用のレートとし、非再生中のパノラマ画像データについてはレートを低下させた状態で再生装置１０５に供給するようにした。
　次に、セミマニュアルモードについて説明する。セミマニュアルモードでは、カメラ（パノラマ画像データＤ）については、視聴ユーザが自身で設定するものの、視点座標については自動で変化するモードである。
　視聴ユーザは、再生装置１０５を介して、追尾対象を設定する。この追尾対象の設定は、サーバ１０３ではなく、再生装置１０５のシステムコントローラ１５１において行われる。パケットＰＫは、マニュアルモードと同様、視聴ユーザが設定したカメラに対応するパノラマ画像データＤ及び低レートパノラマ画像データＤｌが組み合わされて供給される。
　システムコントローラ１５１の追尾部１５１Ａは、パノラマ画像データＤをデコードすると共に平面画像または３Ｄポリゴンを用いた顔認証や動きベクトルなどを用いて追尾対象を検出する。そしてシステムコントローラ１５１は、検出された追尾対象の中心近傍を視点座標とするように表示画像データを生成する。
　このように、固定されたカメラからのパノラマ画像データＤを用いつつ追尾対象を自動的に追尾することにより、コンサートの体感をそのままに体験しつつ、追尾対象を追いかける操作を省略することができ、表示画像に集中させて視聴ユーザにコンサートを楽しませることができる。
　次に、オートモードについて説明する。オートモードでは、視聴ユーザの追尾対象の設定に応じて、サーバ１０３が適したパノラマ画像データＤ及び視点座標の情報を表す追尾情報をパケットＰＫとして供給するモードである。このオートモードにおいて、視聴ユーザは、視点座標の移動やズームなどの処理はできるものの、カメラの切替を行うことができない。もちろん、マニュアルモード又はセミマニュアルモードへの切替を実行すれば、カメラを切り替えることは可能である。
　具体的に、視聴ユーザは、再生装置１０５を介して、追尾対象を設定する。この追尾対象の設定は、サーバ１０３におけるシステムコントローラ１３１において行われる。ここでは、一例として、追尾対象を一人のアイドルに設定した場合について説明する。
　図１７に示すように、システムコントローラ１３１の追尾部１３１Ｃは、パノラマ画像データＤから追尾対象を検出すると共に、追尾対象の情報を追尾情報としてパケット生成部１３１Ｂに供給する。
　パケット生成部１３１Ｂは、追尾対象の領域面積や、動きの大きさ、顔の大きさ、明るさなどから、一のパノラマ画像データＤを選択すると共に、当該選択されたパノラマ画像データＤにおける追尾対象の座標情報を追尾情報としてパケットＰＫを生成する。パケットＰＫの途中で選択されたパノラマ画像データＤが切り替わった場合には、２つ（もしくはそれ以上）のパノラマ画像データＤと追尾情報とをパケットＰＫ（例えばパケットＰＫａ）として生成する。
　再生装置１０５のシステムコントローラ１５１は、供給されたパケットＰＫを順次デコードすると共に、追尾情報が示す座標情報を視点座標として表示画像データを生成する。
　また、このオートモードでは、追尾対象を一人に限定するのではなく全体を優先する全体追尾対象を設定することも可能である。例えば、複数人のアイドルグループのコンサートにおいて、特定のお気に入りが存在しないような場合に使用される。
　この場合、サーバ１０３のシステムコントローラ１３１は、なるべくアイドル全員が大きく映っている（すなわち面積比率が大きい）パノラマ画像データＤを選択する。また、花火・ゴンドラ・炎など、追尾対象以外で動くものや大きな音がある場合には、そちらが大きく映っているパノラマ画像データＤを選択する。
　また、システムコントローラ１３１は、スポットライトが用いられている場合には、スポットライトの照射先を検出し、スポットライトを追尾する。スポットライトの追尾は、エッジ検出及び動きベクトルの検出により実行可能である。
　パノラマ画像データＤ間において、面積比率の差異が小さい場合や、アイドルたちが分散している場合には、時分割でパノラマ画像データＤを順次表示（ループ）したり、カメラを回転させているように視点座標を一定速度で移動させながら表示画像データを変化させても良い。
　また、マニュアルモード及びセミマニュアルモードにおいて、オートモードにおいて選択されたパノラマ画像データＤについては、レートを高く設定することも可能である。すなわち、次に切り替えられるであろうパノラマ画像データＤを予め予測しておき、例えば追尾対象が大きく映っている場合には、切り替えられる可能性が高いと判断し、該当するパノラマ画像データＤのレートを高く設定する。逆に、追尾対象が映っていない、又は非常に小さい場合などには、切り替えられる可能性が低いため、該当するパノラマ画像データＤのレートを低く設定する。
　また、マニュアルモード及びセミマニュアルモードにおいて、オートモードにおいて選択されたパノラマ画像データＤに対応するカメラセット１０１を変色又は点滅表示などさせ、追尾対象が大きく映っていることを視聴ユーザに知らせることもできる。
　このように、再生対象のパノラマ画像データＤ以外のパノラマ画像データＤについては、データ量が小さくなるようにパケットデータＰＫを生成することにより、通信付加を大幅に軽減できる。
＜動作及び効果＞
　特徴Ａ１：本発明の動画再生装置（再生装置５）又は動画再生システム（動画再生システム１０）では、同時に撮影された複数のパノラマ画像データ（パノラマ画像データＤ）を所定の時間情報によって関連づけて記憶する記憶手段（記憶部５２）と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置（表示部５４）に表示させる再生制御手段（システムコントローラ５１）と、
　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段（システムコントローラ５１）とを有することを特徴とする。
　特徴Ａ１に記載の発明であれば、同時に撮影されたパノラマ画像データを、ユーザの切替要求に応じて、まるでジャンプするかのように自在に他のパノラマ画像データへと切り替えることができるため、パノラマ画像データを再生する楽しみを一層向上させることができる。
　特徴Ａ２：特徴Ａ１に記載の発明において、前記ユーザの切替要求は、
　前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行されることを特徴とする。
　なお、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトとは、パノラマ画像データに実写で映り込んでいるカメラ若しくは当該カメラが搭載されたオブジェクトや、サブ小画面やサムネイル画面に表示されたカメラの配置図に表示されたカメラを含む。カメラの配置図のように、実物ではないカメラの図を表示する場合には、切り替えられた直後に表示されるパノラマ画像データの視点座標の方向と、カメラの方向とが一致することが好ましい。
　特徴Ａ２に記載の発明であれば、簡単な操作で視聴ユーザにパノラマ画像データの切替を行わせることができると共に、直感的にどのカメラで撮影された画像かを視聴ユーザに認識させることができ、パノラマ画像データの視聴を一段と楽しませることができる。
　特徴Ａ３：特徴Ａ１又はＡ２に記載の発明において、前記記憶手段は、
　前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報（輪郭座標）を記憶しており、
　前記切替制御手段は、
　前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識することを特徴とする。
　特徴Ａ３に記載の発明によれば、予めリンク領域を示す座標情報を有しているため、リンク領域を特定するための処理を必要とせず、再生装置の処理負荷を軽減することができる。
　なお、パノラマ画像データに実写で映り込んでいるカメラ若しくは当該カメラが搭載されたオブジェクトをリンク領域に指定する場合には、再生装置が当該カメラ若しくはオブジェクトを切り出しによってその場で特定することも可能である。これにより、編集作業を容易にすることができる。
　特徴Ａ３に記載の発明であれば、カメラ又はオブジェクトの形状の内部領域が切替のためのリンク領域に予め設定されており、視聴ユーザがこれらの内部領域を指定することにより、パノラマ画像データ間の切替が行われるため、視聴ユーザに操作方法を直感的に理解させることができる。
　特徴Ａ４：特徴Ａ１～Ａ３のいずれかに記載の発明において、
前記再生制御手段は、
　切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させることを特徴とする。
 
　特徴Ａ４に記載の発明であれば、切替直後の表示画像に、直前まで見ていた視点が映し出されるため、現在及び直前の位置関係を視聴ユーザに理解させやすくできると共に、パノラマ画像データの切替を一層楽しませることができる。
　特徴Ａ５：特徴Ａ１～Ａ３のいずれかに記載の発明において、
　前記再生制御手段は、
　切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
　ことを特徴とする。
　特徴Ａ５に記載の発明であれば、例えば複数の撮影者がいる場合において、位置の相違による見え方の違いなどを比較しながら体感することができ、パノラマ画像データの楽しみ方を増やすことができる。
　特徴Ａ６：動画再生方法及び動画再生プログラムでは、同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップとを有することを特徴とする。
　特徴Ａ６に記載の発明によれば、同時に撮影された複数のパノラマ画像データを、再生時点を合わせた状態で違和感なく切り替えることができるため、視聴ユーザにあたかも人間が入れ替わったかのような不思議な体感をさせることができ、パノラマ画像データの視聴により得られる体感の楽しみを一段と高めることができる。
　特徴Ｂ１：本発明の動画送信装置（サーバ１０３）は、同時に撮影された複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生する再生手段（再生装置１０５）から、前記選択された一のパノラマ画像データの識別情報（再生識別情報）を取得する取得手段（システムコントローラ１３１）と、
　他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段（パケット生成部１３１Ｂ）と、
　前記生成された送信データを前記再生手段に送信する送信手段（外部インターフェース１３３）と
　を有することを特徴とする。
　特徴Ｂ１に記載の発明であれば、現在再生中以外のパノラマ画像データに関してのデータ量を低減できるため、視聴ユーザの要望に応じて速やかにパノラマ画像データの切替をおこないつつ、再生装置におけるデコードの処理負荷及び通信負荷を低減することができる。
　特徴Ｂ２：特徴Ｂ１に記載の発明において、前記データ生成手段は、前記他のパノラマ画像データのレートを、前記一のパノラマ画像データよりも低くする
ことを特徴とする。
　特徴Ｂ２に記載の発明であれば、同一のパノラマ画像データを再生中の再生装置に対して一律的なデータを送信することができるため、生成するデータの種類を減少させることができ、データ生成のための処理負荷を軽減できる。
　なお、他のパノラマ画像データのレートを低下させるだけでなく、他のパノラマ画像データの画像圧縮率を高める（画質を低下させる）ことによっても同様の効果を得ることが可能である。
　特徴Ｂ３：特徴Ｂ１に記載の発明において、前記データ生成手段は、前記他のパノラマ画像データについては、一部のみを前記送信データとすることを特徴とする。
　なお、この場合取得手段は、識別情報として、再生中のパノラマ画像データを表す情報に加えて、現在再生中のパノラマ画像データの視点座標など、表示画像の表示位置に関する情報を再生装置から取得する。そして、他のパノラマ画像データに関しては、当該表示位置の周囲のデータのみを送信する。例えば、予めパノラマ画像データを複数に分割しておき、視点座標を含む領域、さらには当該領域と隣接する領域のみのパノラマ画像データを送信することにより、生成するデータの種類を低減することができ、データ生成手段の処理負荷を軽減できる。
　特徴Ｂ４：特徴Ｂ４に記載の動画再生システムでは、
　特徴Ａ１に記載の動画再生装置と、
　前記動画再生装置から前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
　他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
　前記生成された送信データを前記再生手段に送信する送信手段とを有する動画送信装置とを有するようにした。
　特徴Ｃ１：本発明の動画再生システム（動画再生システム１１０）では、では、同時に撮影された複数のパノラマ画像データを取得する取得手段（外部インターフェース１３３）と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段（システムコントローラ１５１）と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
　所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段（システムコントローラ１３１）と
　を有することを特徴とする。
　特徴Ｃ１に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。
　なお、再生制御手段は、再生対象となるパノラマ画像データにおいて、検出対象の内部を視点座標とすることが好ましい。これにより、検出対象を常に表示画像の中心又は中心近傍とする表示画像を表示することができ、視聴ユーザを一層楽しませることができる。
　特徴Ｃ２：特徴Ｃ１に記載の発明において、前記検出対象は、予め設定されたオブジェクト又はイベントである。
　これにより、動画再生システムでは、特定のオブジェクトやイベントを検出して表示することができるため、ユーザの要望に応じた画像を視認させることが可能である。
　特徴Ｃ３：本発明の動画再生装置（動画再生システム１０）では、同時に撮影された複数のパノラマ画像データを取得する取得手段（外部インターフェース５３）と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段（システムコントローラ５１）と、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
　所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段（システムコントローラ５１）と
　を有することを特徴とする。
　特徴Ｃ３に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。
特徴Ｃ４：本発明の動画再生方法及び動画再生プログラムでは、同時に撮影された複数のパノラマ画像データを取得する取得ステップと、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出ステップと、
　所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御ステップとを有することを特徴とする。
　特徴Ｃ４に記載の発明であれば、設定された検出画像が映っているパノラマ画像データを自動的に選択して表示することができるため、視聴ユーザが何ら操作しなくても、複数のパノラマ画像データを存分に楽しむことができる。
＜第３の実施の形態＞
　次に、図１８～図２６に示す第３の実施の形態について説明する。第３の実施の形態における動画再生システム２１０においては、同時に撮影された各パノラマ画像データＤに対し、共通の指標に基づく基準指標座標を設定する点が、上述した第１の実施の形態と相違している。なお、第３の実施の形態では、第１の実施の形態と対応する箇所に２００を付して示し、同一箇所についての説明を省略する。
　図１８に示すように、３人の撮影者ＣＭ１～ＣＭ３が３台のカメラセット２０１Ａ～２０１Ｃを用いて頭上で撮影を行う場合について説明する。図１９に示すように、撮影者ＣＭ１が撮影者ＣＭ２の方向を見ており、撮影者ＣＭ２及びＣＭ３がオブジェクトＯＪを見ていたと仮定する。
　仮に、編集装置２０２が、撮影者ＣＭが見ている目線近傍をパノラマ画像Ｄにおける中心座標（以下、これをパノラマ中心座標と呼ぶ）として一律にパノラマ画像Ｄを作成することによりパノラマ動画像Ｄ１ｐ～Ｄ３ｐを作成した場合を考える。図１９に示すように、撮影者ＣＭ１が撮影者ＣＭ２を見ており、撮影者ＣＭ２及びＣＭ３がオブジェクトＯＪを見ていた場合、パノラマ中心座標はばらばらとなる。
　例えば、図２０に示すように、視聴ユーザがパノラマ中心座標を視点座標として撮影者ＣＭ１が撮影したパノラマ動画像Ｄ１ｐを視聴している場合、パノラマ動画像Ｄ１ｐに基づく表示画像２５１の視点座標近傍には、撮影者ＣＭ２及びＣＭ３が映し出されている。ここで視聴ユーザがパノラマ画像Ｄ２ｐに切り替えると、パノラマ画像Ｄ２ｐに基づく表示画像２５２が表示される。表示画像２５２の視点座標近傍には、オブジェクトＯＪが映し出されている。さらに、視聴ユーザがパノラマ画像Ｄ３ｐに切り替えると、パノラマ画像Ｄ３ｐに基づく表示画像２５３が表示される。表示画像２５３の視点座標近傍には、何も映し出されない。
　このように、撮影者ＣＭ１～ＣＭ３によって撮影されたパノラマ画像Ｄ１ｐ～Ｄ３ｐは、撮影者ＣＭ１～ＣＭ３の視点に応じてパノラマ中心座標が変化してしまうため、同じ場所で撮影したにも拘わらず同じ座標を基準として各パノラマ画像Ｄ１ｐ～Ｄ３ｐから表示画像を切り出すと、それぞれ相違する方向を示す画像が切り出されてしまい、視聴ユーザを混乱させてしまうおそれがある。
　そこで、本願発明では、表示画像がどちらの方向を向いているのか視聴ユーザに理解し易くするため、共通指標に基づいて表示画像を切り出せるよう、パノラマ画像Ｄに対して共通指標設定処理を実行する。
　具体的に、共通指標設定処理として、図２１に示すように、同一の方角を共通指標とする。方角は、例えばカメラセット２０１（２０１Ａ～２０１Ｃ）に方位磁針や垂直（重力）検知器などの方角検出器を設置しておく。編集装置２０２のシステムコントローラ２２１（図示せず）は、シングル画像データ及び時間情報と共に方角情報を取得し、方角が同一又はほぼ同一になるようにパノラマ画像データＤにおけるパノラマ中心座標を設定する。この場合、パノラマ中心座標が共通指標座標となる。
　具体的に、システムコントローラ２２１の画像編集部２２１Ａは、シングル画像データ及び装置ＩＤから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット２０１ごとにシングル画像データを組み合わせ、全天球の天球状の画像データを合成し、これをパノラマ中心座標を中心に展開するようにしてパノラマ画像データＤを生成する。なお、実際にはこれらの処理は計算により実行される。
　このとき、画像編集部２２１Ａは、共通指標設定処理として、各カメラセットごとに取得された方角情報ＣＰ（ＣＰ１～ＣＰ３）に基づき、全てのカメラセットがほぼ同一方角（同一方向から上下左右±１０°）を向いて撮影したかのように、パノラマ画像データＤを作成する。
　具体的に、画像編集部２２１Ａは、予め設定された一のカメラセットに対応するパノラマ画像データＤを生成する。なお、ここではカメラセット２０１Ａに対応するパノラマ画像データＤ１が設定されているものとして説明する。画像編集部２２１Ａは、パノラマ画像データＤ１に対応する方角情報ＣＰ１～ＣＰ３を照らし合わせ、方角情報が示す方角に差違がある場合には、当該差違を相殺するように、パノラマ中心座標をずらしながら残りのパノラマ画像データＤ２及びＤ３を生成する。
　これにより、同一時刻に撮影されたパノラマ画像データＤ１～Ｄ３間についてほぼ同一方角にパノラマ中心座標を配置させることができるため、図２１に示すように、全てのカメラセット２０１Ａ～２０１Ｃでほぼ同一方角で撮影したかのようなパノラマ画像データＤ１～Ｄ３を生成することができる。
　このように、共通指標に基づいてパノラマ中心座標を設定する場合、図２２に示すように、共通指標としての方角がほぼ同一であるパノラマ画像データＤ１～Ｄ３が生成されることになる。このため、再生装置２０５では、視聴ユーザの切替指示に従って単純に同じ視点座標で画像を切り出すことにより、表示画像２５１～２５３を生成することができる。
　この結果、図２２に示すように、比較的近い箇所を撮影した画像が表示画像２５１～２５３として表示されるため、パノラマ画像データＤ１～Ｄ３間の相違を視聴ユーザに楽しませることができる。
　なお、共通画像領域が複数存在する場合には、人間の注目度が高い画像領域が共通画像領域として優先的に選択されることが好ましい。人間の注目度の高さは、顕著性マップ（Saligency Map）と呼ばれる画像の特徴量から自動で注目領域を抽出する手法を適用することができる。これらの詳細については、以下のＵＲＬ１及びＵＲＬ２に記載されており、例えば輝度の高さや、輝度のパターン、画像の大きさなどにより人間の注目度が高い注目領域が抽出される。
　ＵＲＬ１：http://www.slideshare.net/akisatokimura/ss-10694017
　ＵＲＬ２：http://www.slideshare.net/takao-y/20150619-49592895
　また、オブジェクトや風景のような共通の被撮影対象を撮影した画像領域である共通画像領域を共通指標として設定することも可能である。なお、共通画像領域の切り出しは、全フレームで行われても良く、定期的（例えば０．１～１秒ごとに１回の割合）に行うようにしても良い。
　具体的に、システムコントローラ２２１の画像編集部２２１Ａは、シングル画像データ及び装置ＩＤから、シングル画像データの組み合わせを認識すると共に、シングル画像データをデコードし、時間情報を用いて同期させながらカメラセット２０１ごとにシングル画像データを組み合わせ、パノラマ画像データＤ１～Ｄ３を生成する。
　この後、画像編集部２２１は、パノラマ画像データＤ１～Ｄ３に共通するオブジェクトや風景などの被撮影対象を共通画像領域として検索し、例えば共通画像領域の中心を共通指標座標として当該共通指標座標をパノラマ画像データＤ１～Ｄ３に関連付けて記憶する。
　共通画像領域の検出手法に制限はなく、輝度差による画像領域の切り出し及びマッチング、動きベクトルを用いた共通画像領域の追いかけなど、種々の公知の技術を用いることによって実行される。
　例え
ば図２４に示すように、画像編集部２２１は、オブジェクトＯＪが共通画像領域として検出された場合、オブジェクトＯＪの中心を共通指標座標として、パノラマ画像データＤ１～Ｄ３に紐付け、記憶部２２２に記憶する。
　再生装置２０５では、視聴ユーザの切替指示に従って、共通指標座標の相違を相殺して視点座標を決定することにより、共通指標座標に基づいて画像を切り出すことにより、図２５に示すように表示画像２６１～２６３を生成することができる。表示画像２６１～２６３では、切替前と近い視点が表示されるため、視聴ユーザを混乱させないようにできる。
　すなわち、図２６に示すように、共通画像領域を共通指標とすることにより、撮影者ＣＭ１～ＣＭ３が同一の被撮影対象を撮影したようなパノラマ画像データＤ１～Ｄ３を生成することができる。
　このように、画像編集装置２０３では、共通指標に基づいて表示画像の中心となる視点座標を決定させるための共通指標設定処理を実行することにより、視聴ユーザの切替支持に応じて表示画像の基になるパノラマ画像データＤを切り替えた場合であっても、表示画像における撮影領域を同一又は近い位置に設定することができ、全く相違する撮影領域が表示されることによりどこが表示されているか分からず、視聴ユーザが混乱することを未然に防止できる。
＜第４の実施の形態＞
　次に、第４の実施の形態について説明する。第４の実施の形態では、定点撮影を行う点及びステレオ録音を行う点が上述した第３の実施の形態と相違している。なお、第４の実施の形態では、第３の実施の形態と対応する箇所に１００を付して示し、同一箇所についての説明を省略する。
　第４の実施の形態においては、図１３に示した第２の実施の形態と同様に、定点撮影が実行される。このため、第３の実施の形態と同様、共通指標の設定が行われるが、撮影開始後、連続して撮影されたパノラマ動画像データＤのうち、少なくとも１フレームで共通指標設定処理が行われればよい。
　共通指標としては、例えば特定のマークなどを撮影したり、コンサート会場の風景やスタッフ及びタレントなどの人物などの被撮影対象に設定しても良く、方角を設定しても良い。
　また、第４の実施の形態においては、カメラセット３０１の一部として、４チャンネルの録音手段を有し、再生時には、視点方向の情報から、４チャンネルの音をミックスすることでヘッドホンで再生されるべき２チャンネルの音を再合成する３６０°ステレオマイク（例えばAmbisonicsマイク）が使用される。
　これにより、パノラマ画像データＤの切替に伴い、表示画像の視野に応じた、場所に応じて相違する音声を提供できるため、視聴ユーザが感じる臨場感を高める、パノラマ画像の娯楽性を一層高めることができる。
＜動作及び効果（２）＞
　以下、上記した実施形態から抽出される発明群の特徴について、必要に応じて課題及び効果等を示しつつ説明する。なお以下においては、理解の容易のため、上記各実施形態において対応する構成を括弧書き等で適宜示すが、この括弧書き等で示した具体的構成に限定されるものではない。また、各特徴に記載した用語の意味や例示等は、同一の文言にて記載した他の特徴に記載した用語の意味や例示として適用しても良い。
　従来、３６０°の視野角度を有する全天球又は半天球と呼ばれる動画像データを撮影し、ユーザの要望に応じて一部を切り出して表示するパノラマ画像再生技術が提案されている（例えば特許文献１参照）。
　かかる構成のパノラマ画像再生技術では、１台のカメラセットによる１つのパノラマ画像データを再生することを前提にしている。仮に、複数台のカメラセットによって複数のパノラマ画像データを切替ながら再生できるならば、パノラマ画像データの娯楽性を向上させることができると考えられる。
　特徴Ｄ１：本発明の動画再生装置（再生装置２０５）又は動画再生システム（動画再生システム２１０）では、同時に撮影された複数のパノラマ画像データ（パノラマ画像データＤ）を所定の時間情報によって関連づけて記憶する記憶手段（記憶部２５２）と、
　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置（表示部５４）に表示させる再生制御手段（システムコントローラ２５１）と、
　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段（システムコントローラ２５１）と、
　前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段（画像編集部２２１Ａ）とを有することを特徴とする。
　特徴Ｄ１に記載の発明によれば、共通指標に基づいて決定された表示画像を再生装置に表示させることができるため、パノラマ画像データを切り替えた場合であっても、同一又は近い場所が撮影された部分を常に表示することができ、視聴ユーザに表示画像の位置を簡単に理解させることができる。
　特徴Ｄ２：前記再生制御手段は、
　ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。
　特徴Ｄ２に記載の発明によれば、共通指標に基づいて同じ又は近しい場所が撮影された共通の位置を共通指標座標に設定できるため、共通指標座標を用いて簡単に同じ又は近しい場所が撮影された画像を表示画像として生成することが可能となる。
　特徴Ｄ３：特徴Ｄ１又は特徴Ｄ２に記載の発明において、
　前記共通指標は、
　撮影時において取得された測定情報に基づいて生成された方角であることを特徴とする。
　特徴Ｄ３に記載の発明によれば、同一方角の領域を表示画像として切り出すことができるため、視聴ユーザに違和感を感じさせずに済む。
　特徴Ｄ４：特徴Ｄ１に記載の発明において、
　前記共通指標は、
　前記複数のパノラマ画像データにおいて共通して撮影された風景やオブジェクトなどの被撮影対象を撮影した共通画像領域であることを特徴とする。
　特徴Ｄ４に記載の発明によれば、同一の箇所を撮影した領域を表示画像にすることができるため、視聴ユーザに現在の視界の位置を認識さ易くできる。
　特徴Ｄ５：特徴Ｄ１に記載の発明によれば、
　音声を出力する音声出力手段を有し、
　前記記憶手段は、
　２以上のチャンネルを有するマイクロフォンを用いてステレオ録音された立体音声を記憶し、
　前記再生制御手段は、
　前記ユーザの指示に応じた方角の音声を前記音声を前記音声出力手段に出力させることを特徴とする。
　好ましくは、前記記憶手段は、４以上のチャンネルを有するマイクロフォンを用いて録音された立体音声を記憶する。
　さらに好ましくは、前記再生制御手段は、４以上のチャンネルを有するマイクロフォンを用いて録音された音声を左右両耳に対応する２チャンネルの音声として出力する。
　特徴Ｄ５に記載の発明によれば、視聴ユーザの視野に合わせた３６０°のパノラマ画像に加えて、視聴ユーザの視野（顔の向き）に合わせた音声の出力を行うことができるため、パノラマ画像の臨場感をより高めることができる。
　特徴Ｄ６：ユーザの要求に応じた視点座標を中心とする表示画像を表示装置に表示させるためのパノラマ画像を編集するパノラマ動画編集装置であって、
　同時に撮影された複数のパノラマ画像データ（パノラマ画像データＤ）を記憶する記憶手段と、
　前記複数のパノラマ画像データに対し、前記撮影された時間関係を示す時間情報を設定する時間情報設定手段とを有することを特徴とする。
　特徴Ｄ６に記載の発明によれば、共通指標に基づいて決定された表示画像を再生装置に表示させることができるため、パノラマ画像データを切り替えた場合であっても、同一又は近い場所が撮影された部分を常に表示することができ、視聴ユーザに表示画像の位置を簡単に理解させることができる。
　特徴Ｄ７：特徴Ｄ６に記載のパノラマ動画編集装置は、
　前記複数のパノラマ画像データに共通する共通指標に基づいて上記視点座標を決定させるための共通指標設定処理を実行する共通指標設定手段
　をさらに有することを特徴とする。
　特徴Ｄ７に記載の発明によれば、共通指標に基づいて同じ又は近しい場所が撮影された共通の位置を共通指標座標に設定できるため、共通指標座標を用いて簡単に同じ又は近しい場所が撮影された画像を表示画像として再生装置に生成させることが可能となる。
　特徴Ｄ８：特徴Ｄ７に記載の発明において、
　前記共通指標設定手段は、
　前記共通指標に基づく共通指標座標を前記複数のパノラマ画像データに設定することにより、前記共通指標設定処理を実行する
　ことを特徴とする。
　特徴Ｄ８に記載の発明によれば、共通指標座標を紐付けるだけで済むため、編集装置の処理負荷を軽減できる。
　特徴Ｄ９：特徴Ｄ７に記載の発明において、
　前記共通指標は、
　方角であり、
　前記共通指標設定手段は、
　前記複数のパノラマ画像データ間で前記方角がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
　ことを特徴とする。
　特徴Ｄ９に記載の発明によれば、共通指標座標をパノラマ中心座標とできるため、複数のパノラマ画像データ間で同一の視点座標で切り出すだけの処理によって再生装置にほぼ同一視点の表示画像を表示させることができる。
　特徴Ｄ１０：特徴Ｄ７に記載の発明において、
　前記共通指標は、
　風景やオブジェクトなどの被撮影対象を表す共通画像領域であり、
　前記共通指標設定手段は、
　前記複数のパノラマ画像データ間で前記共通画像領域の位置がほぼ一致するように前記複数のパノラマ画像データを作り替えることにより、前記共通指標設定処理を実行する
　ことを特徴とする。
　特徴Ｄ１０に記載の発明によれば、パノラマ画像データ間で同一座標を視点座標とすればよいため、パノラマ画像データを切り替える際の再生装置の処理負荷を軽減できる。
　特徴Ｄ１１：特徴Ｄ８に記載の発明において、
　前記共通指標設定手段は、
　共通する画像領域が複数抽出された場合には、
　人間の注目度の高い画像領域を優先的に前記共通画像領域として設定する
　ことを特徴とする。　
　特徴Ｄ１１に記載の発明によれば、注目度の高い画像領域を共通画像領域とできるため、撮影時の位置の誤差が最も小さい共通画像領域に注目度の高い画像領域を設定することにより、撮影場所の誤差を視聴ユーザに感じさせずに済む。
　再生装置における再生制御手段は、
　前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定することを特徴とする。
　再生装置における再生制御手段は、
　ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させることを特徴とする。
＜他の実施の形態＞
　なお上述した第２の実施の形態において、追尾対処のアイドルを顔認証や動きベクトルで追尾するようにした場合について述べた。本発明はこれに限らず、例えば首掛けのネックレスやバンドなどのように、検出が容易な特殊なマークを追尾対象に身につけてもらい、当該マークを検出するようにしても良い。これにより、一段と確実に追尾対象を追尾することができる。
　また上述した第１の実施の形態において、電波時計を用いて同期するようにした場合について述べた。本発明は是に限らず、音や光など同時撮影して同期するための同期情報を埋め込み、この同期情報に基づいて後から（編集処理の段階において）同期させることにより、時間情報を生成するようにしても良い。この場合であっても上述した実施の形態と同様の効果を得ることができる。
　さらに上述した第１の実施の形態においては、撮影者がカメラ１を持って撮影する構成を有している。第２の実施の形態においては、カメラが固定されているため、問題はないが、カメラが人や動物に搭載されたり、人手を使って撮影を行う場合には、撮影角度にばらつきが生じてしまい、同一の座標を視点座標として切替を行った場合であっても、撮影角度が異なってしまう場合が生じてしまう。このため、予めカメラ１にジャイロセンサを搭載し、パノラマ画像Ｄにおける中心座標を調整しておくことも可能である。具体的に、例えばカメラ１Ａを角度基準カメラとして設定し、カメラ１Ａの角度移動をジャイロセンサで検出する。カメラ１Ｂ及び１Ｃにおける角度移動も同様にジャイロセンサで検出する。編集装置２のシステムコントローラ２は、カメラ１Ａを基準とし、パノラマ画像Ｄａにおける中心座標の視点移動とパノラマ画像Ｄｂ及びＤｃにおける中心座標の視点移動が同一になるよう、ジャイロセンサによって検出された角速度の差分値分だけパノラマ画像Ｄｂ及びＤｃにおける中心座標を調整する。これにより、パノラマ画像Ｄａ～Ｄｃ切替時において、中心座標の視点を統一しておくことができる。また、例えば人間の頭上にカメラを搭載する場合、撮影者が横を向いたりすることで視点が大きく変わってしまう。このような場合には、常に一方向（東西南北の角度）が中心座標となるようにパノラマ画像Ｄａ～Ｄｃの中心座標を調整することも可能である。これにより、視聴ユーザの視点が最優先されることになり、３６０°の撮影を最大限活かすことができる。
　また上述した第１及び２の実施の形態においては、パノラマ画像Ｄのみを撮影して切替可能に再生するようにした場合について述べた。本発明はこれに限らず、一般的な撮影カメラで撮影した通常画像と組み合わせることも可能である。例えば第２の実施の形態において、アイドルのズームを専門に撮影するズーム用カメラを設置し、視聴ユーザの要望に応じて、又はシチュエーションに応じて（例えば撮影者が指定したとき）などにズーム用カメラで撮影されたズーム画像へ切り替えるようにすることができる。これにより、アイドルの顔をアップで見たいという視聴ユーザの要望に応じることができる。
　さらに、上述した実施の形態においては、編集プログラム及び再生プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納した場合について述べた。本発明はこれに限らず、メモリカードなどの外部記憶媒体からコンピュータ内部のフラッシュメモリやハードディスクドライブなどにインストールするようにしても良い。また、データベース作成プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。
　本発明は、例えば体感型のエンターテインメントに適用することができる。
１、１０１　　　　：カメラセット
２、１０２　　　　：編集装置
３、１０３　　　　：サーバ
５、１０５　　　　：再生装置
１０、１１０　　　：動画再生システム
２１　　　：システムコントローラ
２２　　　：記憶部
２４　　　：表示部
２５　　　：操作入力部
３１、１３１　　　：システムコントローラ
３１Ａ、１３１Ａ　　：パケット生成部
３２、１３２　　　：記憶部
３３、１３３　　　：外部インターフェース
５１、１５１　　　：システムコントローラ
５２、１５２　　　：記憶部
５３、１５３　　　：外部インターフェース
５４、１５４　　　：表示部
５５、１５５　　　：操作入力部

 

Claims (14)

  1. 　同時に撮影され、所定の時間情報によって関連づけて記憶された複数のパノラマ画像データを取得する取得手段と、
    　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御手段と、
    　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御手段と
    　を有することを特徴とする動画再生装置。
  2. 　前記ユーザの切替要求は、
    　前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトを指定することにより実行される
    　ことを特徴とする請求項１に記載の動画再生装置。
  3. 　前記記憶手段は、
    　前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトの座標情報を記憶しており、
    　前記切替制御手段は、
    　前記座標情報に基づいて、前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが指定されたことを認識する
    　ことを特徴とする請求項１又は２のいずれかに記載の動画再生装置。
  4. 　前記再生制御手段は、
    　切替前の前記複数のパノラマ画像データが撮影されたカメラ若しくは当該カメラが搭載されたオブジェクトが映っている表示画像を、切替直後に前記表示装置に表示させる
    　ことを特徴とする請求項１～３のいずれかに記載の動画再生装置。
  5. 　前記再生制御手段は、
    　切替前と同じ視点座標の表示画像を、切替直後に前記表示装置に表示させる
    　ことを特徴とする請求項１～３のいずれかに記載の動画再生装置。
  6. 　前記再生制御手段は、
    　前記複数のパノラマ画像データに共通する共通指標に基づいて上記表示画像の中心となる視点座標を決定する
    　を有することを特徴とする請求項１に記載のパノラマ動画再生装置。
  7. 　前記再生制御手段は、
    　ユーザの切替要求に応じて前記他のパノラマ画像データへ再生対象を切り替える際、共通指標設定処理において設定された共通指標座標に基づいて前記他のパノラマ画像データにおける表示画像を前記表示装置に表示させる
    　ことを特徴とする請求項６に記載のパノラマ動画再生装置。
  8. 　請求項１に記載の動画再生装置と、
    　前記動画再生装置から前記選択された一のパノラマ画像データの識別情報を取得する取得手段と、
    　他のパノラマ画像データの単位データ量が、前記一のパノラマ画像データよりも低くなるよう送信データを生成するデータ生成手段と、
    　前記生成された送信データを前記再生手段に送信する送信手段とを有する動画送信装置と
    　を有することを特徴とするパノラマ動画再生システム。
  9. 　前記データ生成手段は、
    　前記他のパノラマ画像データのレートを、前記一のパノラマ画像データよりも低くする
    　ことを特徴とする請求項８に記載の動画再生システム。
  10. 　前記データ生成手段は、
    　前記他のパノラマ画像データについては、一部のみを前記送信データとする
    　ことを特徴とする請求項９に記載の動画再生システム。
  11. 　前記複数のパノラマ画像データから、予め設定された検出対象を検出する検出手段と、
    　所定の優先順位に従って前記検出対象が検出されたパノラマ画像データから一のパノラマ画像データを選択し、当該選択された一のパノラマ画像データを前記再生対象に切り替える切替制御手段と
    　を有することを特徴とする請求項１に記載の動画再生装置。
  12. 　前記検出対象は、
    　予め設定されたオブジェクト又はイベントである
    　ことを特徴とする請求項１１に記載の動画再生装置。
  13. 　同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
    　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
    　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップと
    　を有することを特徴とする動画再生方法。
  14. 　同時に撮影された複数のパノラマ画像データを所定の時間情報によって関連づけて記憶する記憶ステップと、
    　前記複数のパノラマ画像データのうち、選択された一のパノラマ画像データを再生対象として、当該再生対象の一部を切り出して表示画像とし、表示装置に表示させる再生制御ステップと、
    　前記再生対象における所定の再生時点を再生している際、ユーザの切替要求に応じて、前記時間情報に基づき前記再生時点における他のパノラマ画像データへ再生対象を切り替える切替制御ステップと
    　を有することを特徴とする動画再生プログラム。

     
PCT/JP2016/072228 2015-07-31 2016-07-28 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置 WO2017022641A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2016575237A JP6178524B2 (ja) 2015-07-31 2016-07-28 パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
US15/737,720 US10686985B2 (en) 2015-07-31 2016-07-28 Moving picture reproducing device, moving picture reproducing method, moving picture reproducing program, moving picture reproducing system, and moving picture transmission device
EP16832920.9A EP3331239A4 (en) 2015-07-31 2016-07-28 Moving image playback device, moving image playback method, moving image playback program, moving image playback system, and moving image transmitting device
CN201680034701.4A CN107852476B (zh) 2015-07-31 2016-07-28 动画播放装置、动画播放方法、动画播放系统以及动画发送装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015152269 2015-07-31
JP2015-152269 2015-07-31

Publications (1)

Publication Number Publication Date
WO2017022641A1 true WO2017022641A1 (ja) 2017-02-09

Family

ID=57943123

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/072228 WO2017022641A1 (ja) 2015-07-31 2016-07-28 動画再生装置、動画再生方法、動画再生プログラム、動画再生システム及び動画送信装置

Country Status (5)

Country Link
US (1) US10686985B2 (ja)
EP (1) EP3331239A4 (ja)
JP (1) JP6178524B2 (ja)
CN (1) CN107852476B (ja)
WO (1) WO2017022641A1 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147918A (zh) * 2017-06-12 2017-09-08 北京佰才邦技术有限公司 一种数据处理方法、系统、设备和服务器
JP2019029877A (ja) * 2017-07-31 2019-02-21 グリー株式会社 画像表示システム、画像表示プログラム及び画像表示方法
CN109949392A (zh) * 2017-12-18 2019-06-28 丰田自动车株式会社 动画发送系统
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
JP2021029028A (ja) * 2019-08-09 2021-02-25 サンリツオートメイション株式会社 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
WO2022085775A1 (ja) * 2020-10-23 2022-04-28 ソニーグループ株式会社 ユーザインタフェースシステム、ユーザインタフェース方法及び画像編集装置
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109379524B (zh) * 2018-12-14 2024-06-04 上海杰图天下网络科技有限公司 基于工业相机和工业镜头的全景数据采集装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191261A (ja) * 1996-12-20 1998-07-21 Nippon Telegr & Teleph Corp <Ntt> 多視点映像再生方法
JP2012142860A (ja) * 2011-01-05 2012-07-26 Canon Inc 任意視点映像処理装置及びその制御方法、及びプログラム
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
JP2013250470A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2013250829A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7149549B1 (en) * 2000-10-26 2006-12-12 Ortiz Luis M Providing multiple perspectives for a venue activity through an electronic hand held device
US7580952B2 (en) * 2005-02-28 2009-08-25 Microsoft Corporation Automatic digital image grouping using criteria based on image metadata and spatial information
JP4232774B2 (ja) * 2005-11-02 2009-03-04 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4818178B2 (ja) * 2007-03-27 2011-11-16 キヤノン株式会社 ネットワーク制御装置、ネットワーク制御方法、プログラム
WO2009042858A1 (en) * 2007-09-28 2009-04-02 Gracenote, Inc. Synthesizing a presentation of a multimedia event
JP5223318B2 (ja) * 2007-12-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US8447136B2 (en) * 2010-01-12 2013-05-21 Microsoft Corporation Viewing media in the context of street-level images
US8872888B2 (en) * 2010-10-01 2014-10-28 Sony Corporation Content transmission apparatus, content transmission method, content reproduction apparatus, content reproduction method, program and content delivery system
US20120105577A1 (en) * 2010-11-01 2012-05-03 Olympus Imaging Corp. Panoramic image generation device and panoramic image generation method
JP5735330B2 (ja) * 2011-04-08 2015-06-17 株式会社ソニー・コンピュータエンタテインメント 画像処理装置および画像処理方法
TR201819457T4 (tr) * 2011-06-22 2019-01-21 Koninklijke Philips Nv Bir sunum ekranı için bir sinyal oluşturmak üzere yöntem ve cihaz.
US8805158B2 (en) * 2012-02-08 2014-08-12 Nokia Corporation Video viewing angle selection
CN102729902B (zh) * 2012-07-19 2014-10-15 西北工业大学 一种服务于汽车安全驾驶的嵌入式全景显示装置和方法
WO2014024475A1 (ja) * 2012-08-10 2014-02-13 パナソニック株式会社 映像提供方法、送信装置および受信装置
JP2014165763A (ja) * 2013-02-26 2014-09-08 Ricoh Co Ltd 編集装置、編集方法、及び編集プログラム
US10365797B2 (en) * 2013-03-15 2019-07-30 Ambient Consulting, LLC Group membership content presentation and augmentation system and method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10191261A (ja) * 1996-12-20 1998-07-21 Nippon Telegr & Teleph Corp <Ntt> 多視点映像再生方法
JP2012142860A (ja) * 2011-01-05 2012-07-26 Canon Inc 任意視点映像処理装置及びその制御方法、及びプログラム
JP2013183209A (ja) * 2012-02-29 2013-09-12 Nagoya Univ 多視点映像ストリーム視聴システムおよび方法
JP2013250470A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法
JP2013250829A (ja) * 2012-06-01 2013-12-12 Nintendo Co Ltd 情報処理プログラム、情報処理装置、情報処理システム、およびパノラマ動画表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3331239A4 *

Cited By (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107147918A (zh) * 2017-06-12 2017-09-08 北京佰才邦技术有限公司 一种数据处理方法、系统、设备和服务器
JP2019029877A (ja) * 2017-07-31 2019-02-21 グリー株式会社 画像表示システム、画像表示プログラム及び画像表示方法
JP7288022B2 (ja) 2017-07-31 2023-06-06 グリー株式会社 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
JP2022003818A (ja) * 2017-07-31 2022-01-11 グリー株式会社 画像表示システム、画像表示プログラム、画像表示方法及びサーバ
CN109949392A (zh) * 2017-12-18 2019-06-28 丰田自动车株式会社 动画发送系统
US10728443B1 (en) 2019-03-27 2020-07-28 On Time Staffing Inc. Automatic camera angle switching to create combined audiovisual file
US10963841B2 (en) 2019-03-27 2021-03-30 On Time Staffing Inc. Employment candidate empathy scoring system
US11961044B2 (en) 2019-03-27 2024-04-16 On Time Staffing, Inc. Behavioral data analysis and scoring system
US11863858B2 (en) 2019-03-27 2024-01-02 On Time Staffing Inc. Automatic camera angle switching in response to low noise audio to create combined audiovisual file
US11457140B2 (en) 2019-03-27 2022-09-27 On Time Staffing Inc. Automatic camera angle switching in response to low noise audio to create combined audiovisual file
JP2021029028A (ja) * 2019-08-09 2021-02-25 サンリツオートメイション株式会社 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム
JP7335753B2 (ja) 2019-08-09 2023-08-30 サンリツオートメイシヨン株式会社 物体追尾システム、物体追尾装置、物体追尾方法及びプログラム
US11127232B2 (en) 2019-11-26 2021-09-21 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11783645B2 (en) 2019-11-26 2023-10-10 On Time Staffing Inc. Multi-camera, multi-sensor panel data extraction system and method
US11023735B1 (en) 2020-04-02 2021-06-01 On Time Staffing, Inc. Automatic versioning of video presentations
US11636678B2 (en) 2020-04-02 2023-04-25 On Time Staffing Inc. Audio and video recording and streaming in a three-computer booth
US11184578B2 (en) 2020-04-02 2021-11-23 On Time Staffing, Inc. Audio and video recording and streaming in a three-computer booth
US11861904B2 (en) 2020-04-02 2024-01-02 On Time Staffing, Inc. Automatic versioning of video presentations
US11720859B2 (en) 2020-09-18 2023-08-08 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
US11144882B1 (en) 2020-09-18 2021-10-12 On Time Staffing Inc. Systems and methods for evaluating actions over a computer network and establishing live network connections
WO2022085775A1 (ja) * 2020-10-23 2022-04-28 ソニーグループ株式会社 ユーザインタフェースシステム、ユーザインタフェース方法及び画像編集装置
US11727040B2 (en) 2021-08-06 2023-08-15 On Time Staffing, Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11966429B2 (en) 2021-08-06 2024-04-23 On Time Staffing Inc. Monitoring third-party forum contributions to improve searching through time-to-live data assignments
US11423071B1 (en) 2021-08-31 2022-08-23 On Time Staffing, Inc. Candidate data ranking method using previously selected candidate data
WO2023176389A1 (ja) * 2022-03-15 2023-09-21 ソニーグループ株式会社 情報処理装置、情報処理方法、及び記録媒体
US11907652B2 (en) 2022-06-02 2024-02-20 On Time Staffing, Inc. User interface and systems for document creation

Also Published As

Publication number Publication date
JPWO2017022641A1 (ja) 2017-08-03
CN107852476A (zh) 2018-03-27
JP6178524B2 (ja) 2017-08-09
US10686985B2 (en) 2020-06-16
CN107852476B (zh) 2020-11-20
EP3331239A4 (en) 2018-08-08
EP3331239A1 (en) 2018-06-06
US20180191955A1 (en) 2018-07-05

Similar Documents

Publication Publication Date Title
JP6178524B2 (ja) パノラマ動画再生装置、パノラマ動画編集装置、パノラマ動画再生方法、パノラマ動画再生プログラム、パノラマ動画再生システム及びパノラマ動画送信装置
JP6558587B2 (ja) 情報処理装置、表示装置、情報処理方法、プログラム、および情報処理システム
US10805592B2 (en) Apparatus and method for gaze tracking
US9751015B2 (en) Augmented reality videogame broadcast programming
US10805530B2 (en) Image processing for 360-degree camera
US9794541B2 (en) Video capture system control using virtual cameras for augmented reality
EP3238445B1 (en) Interactive binocular video display
US10382680B2 (en) Methods and systems for generating stitched video content from multiple overlapping and concurrently-generated video instances
JP5594850B2 (ja) 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
US20210092466A1 (en) Information processing apparatus, information processing method, and program
WO2016009865A1 (ja) 情報処理装置及び方法、表示制御装置及び方法、再生装置及び方法、プログラム、並びに情報処理システム
US20130242105A1 (en) System and method for video recording and webcasting sporting events
KR20170015938A (ko) 콘텐트를 전달 및/또는 콘텐트를 재생하기 위한 방법들 및 장치
CN112262583A (zh) 360度多视口系统
JP2020086983A (ja) 画像処理装置、画像処理方法、及びプログラム
WO2021246183A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2020059327A1 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2016167160A1 (ja) データ生成装置および再生装置
WO2018004933A1 (en) Apparatus and method for gaze tracking
JP2014240961A (ja) 代替現実システム制御装置、代替現実システム、代替現実システム制御方法、プログラム、および記録媒体
US8855462B2 (en) Video playback system for enhancing drama effect and related computer program product
KR102124194B1 (ko) 영상분석을 위한 다채널 영상 전송 시스템 및 이의 제어 방법
WO2021049356A1 (ja) 再生装置、再生方法、及び記録媒体
JP2016134742A (ja) 画像再生方法、画像再生装置、及び画像再生プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2016575237

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16832920

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2016832920

Country of ref document: EP