WO2022220066A1 - 画像配信装置、表示装置、撮像装置、制御方法、プログラム - Google Patents

画像配信装置、表示装置、撮像装置、制御方法、プログラム Download PDF

Info

Publication number
WO2022220066A1
WO2022220066A1 PCT/JP2022/014365 JP2022014365W WO2022220066A1 WO 2022220066 A1 WO2022220066 A1 WO 2022220066A1 JP 2022014365 W JP2022014365 W JP 2022014365W WO 2022220066 A1 WO2022220066 A1 WO 2022220066A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
images
information
notification
Prior art date
Application number
PCT/JP2022/014365
Other languages
English (en)
French (fr)
Inventor
拓真 慈幸
孝一 岡田
Original Assignee
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2022009525A external-priority patent/JP2022163685A/ja
Application filed by キヤノン株式会社 filed Critical キヤノン株式会社
Priority to CN202280028219.5A priority Critical patent/CN117136547A/zh
Publication of WO2022220066A1 publication Critical patent/WO2022220066A1/ja
Priority to US18/485,968 priority patent/US20240064351A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194—Transmission of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Definitions

  • the present invention relates to a system for displaying and reproducing, on a plurality of display devices, a plurality of images of a subject photographed from different directions by a plurality of imaging devices.
  • Japanese Patent Application Laid-Open No. 2002-200000 describes a technique for notifying a subject of a camera that is capturing an image that is being broadcasted by operating a controller to control lighting of a tally lamp.
  • Patent Document 1 the viewer can view the image from a desired viewpoint, but there is a problem that it is difficult for the subject to understand which camera to gaze at.
  • Patent Document 2 conventionally, images to be aired are uniquely determined by the distribution source, so that the subject can identify the camera that is shooting the images to be aired by the tally lamp. .
  • free-viewpoint video using the above-described volumetric capture technology or the like is distributed, each of a plurality of viewers can view from a desired viewpoint. It would be difficult to identify which camera to look at.
  • the present invention has been made in view of the above problems, and when a plurality of images obtained by photographing a subject from different directions by a plurality of imaging devices are displayed and reproduced on a plurality of display devices, the degree of attention based on the viewing state of the images can be adjusted. to realize a technique of notifying an image capturing device that is capturing an image.
  • the present invention provides an image distribution apparatus for distributing images to a plurality of display devices, wherein the images are generated by photographing a predetermined subject from mutually different directions using a plurality of imaging devices.
  • image transmission means for transmitting the plurality of images to the plurality of display devices; and receiving viewing image information related to images being displayed and reproduced on the display device from the display device.
  • a receiving means for calculating attention level for each imaging device that is capturing said image based on said viewing image information; and a notification based on said attention and information transmitting means for transmitting notification control information to be executed by a notification unit arranged in an orientation, to the imaging device.
  • the imaging device when a plurality of images obtained by photographing a subject from different directions by a plurality of imaging devices are displayed and reproduced on a plurality of display devices, the images are photographed according to the degree of attention based on the viewing state of the images. It is possible to notify the imaging device that is
  • FIG. 1 is a configuration diagram of a system for distributing images according to the first embodiment.
  • FIG. 2 is a diagram illustrating the configuration of the imaging system according to the first embodiment.
  • FIG. 3 is a diagram for explaining the shooting environment of the first embodiment.
  • FIG. 4 is a diagram illustrating multi-stream data according to the first embodiment.
  • FIG. 5 is a diagram illustrating an image selection screen according to the first embodiment.
  • FIG. 6 is a diagram illustrating an image that has been stitched according to the first embodiment.
  • 7A and 7B are diagrams for explaining a method of selecting images that have undergone stitching processing according to the first embodiment.
  • FIG. 8 is a diagram illustrating 3D spatial data according to the first embodiment.
  • FIG. 9 is a diagram illustrating a method of selecting an image from 3D spatial data according to the first embodiment.
  • 10A and 10B are diagrams for explaining a notification operation of a specific imaging device according to Embodiment 1.
  • FIG. 11A and 11B are diagrams for explaining a method of linking notification operations of a plurality of imaging devices according to the first embodiment.
  • 12A is a flowchart illustrating an example of the operation of the imaging device according to Embodiment 1.
  • FIG. 12B is a flowchart for explaining an example of the operation of the image distribution device according to the first embodiment;
  • FIG. 12C is a flowchart illustrating an example of the operation of the display device according to Embodiment 1;
  • Embodiment 1 First, Embodiment 1 will be described.
  • the present invention is applied to a system that notifies an imaging device to be watched by a subject so that it can be identified from the viewing state of images shot by a plurality of imaging devices and distributed to a plurality of display devices. An embodiment will be described.
  • FIG. 1 is a diagram illustrating the configuration of a system for distributing images according to the first embodiment.
  • the system of this embodiment includes a photographing system 100 that distributes images photographed by a plurality of photographing devices 110, and a display device 300 that displays the images distributed from the photographing system 100 so that viewers can view them.
  • the imaging system 100 has multiple imaging devices 110 and an image distribution device 200 .
  • the imaging system 100 distributes an image generated by the imaging device 110 to the viewer's display device 300 using the image distribution device 200, acquires viewing image information related to the image being viewed on the display device 300, Control components.
  • the imaging device 110 is a digital camera that photographs a subject, generates an image, and outputs the image to the outside.
  • the display device 300 has an image reception unit 301 , an image generation unit 302 , a display control unit 303 , a selection unit 304 , a display unit 305 and an information transmission/reception unit 306 .
  • the display device 300 selects and displays a desired image from the images distributed from the imaging system 100 and transmits viewing image information regarding the selected desired image to the imaging system 100 .
  • An image receiving unit 301 is a communication interface capable of receiving images by a predetermined communication method.
  • An image generation unit 302 is an image processor that generates a plurality of images from a synthesized image.
  • a display control unit 303 is a controller including an arithmetic processor, a ROM, a RAM, and the like, which controls the operation of the entire display device.
  • a selection unit 304 is an operation unit such as a push button switch, a rotary dial, or a touch panel that receives user operations.
  • a display unit 305 is a display device such as a liquid crystal panel or an organic EL panel.
  • the information transmitting/receiving unit 306 is a communication interface capable of transmitting/receiving data according to a predetermined communication method.
  • FIG. 2 is a diagram illustrating the configuration of the imaging system 100 of FIG.
  • the imaging system 100 includes multiple imaging devices 110 and an image distribution device 200 .
  • FIG. 12A is a flow chart showing an example of the operation of the imaging device 110 .
  • the imaging device 110 has an imaging unit 111 , an imaging control unit 112 , an image output unit 113 , an information input/output unit 114 and a notification unit 115 .
  • the imaging unit 111 is an image sensor including photoelectric conversion elements such as CCD and CMOS.
  • the imaging control unit 112 is a controller including an arithmetic processing processor for controlling the imaging operation of the imaging unit 111, a ROM, a RAM, and the like.
  • An image output unit 113 is an output interface capable of transferring images.
  • the information input/output unit 114 is an input/output interface capable of transmitting and receiving data.
  • the notification unit 115 is a tally lamp that includes a light-emitting element such as an LED that can be visually recognized by the subject, and that has a function of giving notification by light emission.
  • the notification unit 115 may be arranged at a position that can be visually recognized by the subject whose image is captured through the lens unit included in the imaging device 110 . In other words, the notification unit 115 is arranged facing the shooting direction in the same manner as the lens unit.
  • the imaging device 110 uses the imaging unit 111 and the imaging control unit 112 to convert the optical image of the subject formed by the optical system into an electrical signal to generate an image (S1201). Various image processing is performed on the image, metadata and audio data are added, and the image is made into a file or streamed.
  • the imaging device 110 uses the image output unit 113 to transmit the image to the image distribution device 200 (S1202).
  • the image distribution device 200 has an image input unit 201 , an image composition unit 202 , an image transmission unit 203 , an information transmission/reception unit 204 , a system control unit 205 and a recording unit 206 .
  • the image distribution device 200 performs predetermined image processing on the images acquired from the plurality of imaging devices 110 and distributes the processed images to the display device 300 of the viewer.
  • An image input unit 201 is an input interface capable of receiving images.
  • An image synthesizing unit 202 is an image processor that synthesizes a plurality of images.
  • An image transmission unit 203 is a communication interface capable of distributing images by a predetermined communication method.
  • the information transmitting/receiving unit 204 is a communication interface capable of transmitting/receiving data according to a predetermined communication method.
  • a system control unit 205 is a controller including an arithmetic processing processor, a ROM, a RAM, and the like for controlling the operation of the entire system.
  • a recording unit 206 is a storage device such as a flash memory or a hard disk.
  • FIG. 12B is a flowchart showing an example of the operation of the image delivery apparatus 200.
  • FIG. 12C is a flow chart showing an example of the operation of the display device 300.
  • the image delivery device 200 receives image data generated by the plurality of imaging devices 110 through the image input unit 201 (S1211), and the image synthesizing unit 202 generates synthesized image data by synthesizing the plurality of images (S1212).
  • the composite image data is multi-stream data in which a plurality of images are combined into one, image data obtained by stitching a plurality of image data, or 3D spatial data generated from a plurality of image data.
  • the composite image data may or may not be integrated into one file or one stream as long as a plurality of images are associated as one set.
  • the synthesized image data generated by the image synthesizing unit 202 is distributed from the image transmitting unit 203 to a plurality of display devices 300 via communication lines such as 4G, 5G, the Internet, broadcast waves, etc. (S1213), and is distributed to a plurality of viewers. is displayed and reproduced on each display device 300, and the viewer can view each image.
  • communication lines such as 4G, 5G, the Internet, broadcast waves, etc. (S1213)
  • the display device 300 receives the composite image data distributed from the image distribution device 200 by the image reception unit 301 (S1221).
  • the display control unit 303 selects one of the plurality of images included in the composite image data by the selection unit 304 using a selection method described later (S1222). An example of the selection method will be described later with reference to FIGS. 4 to 9.
  • the synthesized image data is output to the image generation unit 302, and the image generation unit 302 decodes the synthesized image data and performs image superimposition processing according to the control of the display control unit 303 based on the data representing the selected image, and displays the data.
  • image data is generated and output to the display unit 305 .
  • the image generator 302 generates display image data for full-screen display of only an image selected from a plurality of images included in the composite image data, for example.
  • image data for display is generated in which the selected image is arranged in the center of the screen and the non-selected images are arranged and displayed at the edge of the screen in a smaller area than the selected image.
  • the display unit 305 displays and reproduces the display image data generated by the image generation unit 302 (S1223).
  • the selection unit 304 can select an image to be viewed from a plurality of images received by the display device 300, and can perform various actions on the selected image. Various actions are, for example, instructions for performing evaluation, payment of consideration, support, etc., for the selected image being displayed and reproduced. Viewing image information including identification information specifying the image selected by the selection unit 304 and information indicating the content of the action is output to the display control unit 303 .
  • the display control unit 303 controls the processing performed by the image generation unit 302 according to the data selected by the selection unit 304, and the information transmission/reception unit 306 transmits the viewing image information of the selection unit 304 to the image distribution device 200 (S1224). ).
  • the image distribution device 200 receives the viewing image information transmitted from the plurality of display devices 300 by the information transmission/reception unit 204 (S1214), and outputs it to the system control unit 205.
  • the system control unit 205 analyzes the viewing image information and updates the analysis result recorded in the recording unit 206 (S1215).
  • the analysis results include information indicating the number of views (the number of times selected on each display device) of the plurality of images generated by the plurality of imaging devices 110 and the degree of attention calculated from the executed actions. That is, information representing the degree of attention is generated for each imaging device 110 according to the analysis result.
  • the analysis result may be updated at predetermined time intervals, when the amount of change in the parameter included in the viewing image information exceeds a predetermined threshold value, or when requested by the user at a desired timing. You can go accordingly.
  • the system control unit 205 When the analysis result recorded in the recording unit 206 is updated, the system control unit 205 generates notification control information for the plurality of imaging devices 110 based on the analysis result (S1216) and outputs it (S1217).
  • the notification control information is received by the information transmission/reception unit 204 of the image distribution device 200, transmitted to each information input/output unit 114 of the plurality of imaging devices 110, and received by each imaging control unit 112 of the imaging device 110 (S1203). .
  • the imaging control unit 112 performs notification processing by controlling the notification unit 115 based on the notification control information (S1204). An example of the notification process will be described later with reference to FIGS. 10 and 11. FIG.
  • the notification control information may be generated by the system control unit 205 for the plurality of imaging devices 110 and transmitted to each imaging device 110 .
  • the system control unit 205 generates notification control information that can be commonly recognized by the plurality of imaging devices 110 and transmits it to each imaging device 110, and each imaging device 110 individually analyzes the notification control information, and based on the analysis result. You may control execution of a notification process.
  • FIGS. 3 to 9 a method of generating synthetic image data in the image distribution device 200 of the imaging system 100, a method of selecting an image in the display device 300, and a method of transmitting viewing image information will be described.
  • FIG. 3 is a diagram illustrating an imaging environment in the imaging system 100 of this embodiment.
  • a plurality of imaging devices 110A to 110H are arranged to surround the subject 500, and the imaging devices 110A to 110H capture images of the subject 500 from different directions.
  • a plurality of images 600A to 600H captured by a plurality of imaging devices 110A to 110H are transmitted to the image delivery device 200, synthesized by the image synthesizing unit 202, and delivered to the plurality of display devices 300 as synthesized image data.
  • FIG. 3 illustrates a state in which the subject 500 is photographed by the eight imaging devices 110A to 110H.
  • FIG. 4 is a diagram illustrating multi-stream data generated by the image synthesizing unit 202.
  • images A to C are first to third images 600A to 600C captured by first to third imaging devices 110A to 110C.
  • the first to third images 600A to 600C include identification information for identifying any one of the first to third imaging devices 110A to 110H that captured the images 600A to 600C.
  • Metadata 610A-610C is added.
  • the image synthesis unit 202 encodes the input image data of the first to third images 600A to 600C and the first to third metadata to generate one multistream data 611, and the image transmission unit 203 Multistream data is distributed to the display device 300 .
  • the image generation unit 302 decodes the multi-stream data 611 to generate image data corresponding to the first to third images 600A to 600C, and displays them on the display unit 305.
  • the selection unit 304 can accept a user operation for selecting an image to be displayed on the full screen on the display unit 305 from the first to third images 600A to 600C.
  • an image selection screen 612 is displayed on the display unit 305 as shown in FIG.
  • An image selection subscreen 613 , a previous image display subscreen 614 , and a next image display subscreen 615 are displayed on the image selection screen 612 .
  • the image selection sub-screen 613 displays the identification information of the first to third metadata 610A to 610C included in the multistream data 611, and the user operates the selection unit 304 to select the image of the desired identification information. It is selectable. On the previous image display subscreen 614 , identification information and images that precede the identification information selected on the image selection subscreen 613 are displayed in order. On the next image display subscreen 615, the identification information and the image that are sequentially next to the identification information selected on the image selection subscreen 613 are displayed. When the user operates the selection unit 304 to change the identification information selected on the image selection subscreen 613, the display unit 305 displays an image (example in FIG. 5) corresponding to the identification information selected on the image selection subscreen 613.
  • the first image 600A is displayed, and the identification information and images of the previous image display subscreen 614 and the next image display subscreen 615 are updated and displayed.
  • the identification information is finally determined by the user operating the selection unit 304, the image selection subscreen 613, the previous image display subscreen 614, and the next image display subscreen 615 are hidden, and the finally determined identification information is displayed.
  • the image of the information is displayed in full screen. Further, the finally determined identification information is transmitted as viewing image information to the image distribution device 200 of the imaging system 100 by the information transmission/reception unit 306 .
  • the system control unit 205 counts the number of viewing times (or the number of viewers) for the imaging device 110 that captured the image of the identification information received from the display device 300 , and the count value is recorded in the recording unit 206 . be.
  • FIG. 6 is a diagram exemplifying an image that has undergone stitching processing and is generated by the image synthesizing unit 202.
  • images A to C are first to third images 600A to 600C captured by first to third imaging devices 110A to 110C.
  • a stitching image 621 is a composite image generated by stitching the first to third images 600A to 600C.
  • the stitching process is a process of transforming, moving, synthesizing a plurality of images, and synthesizing the images into one image.
  • the image synthesizing unit 202 stitches the input image data of the first to third images 600A to 600C to generate one stitched image 621.
  • the image transmission unit 203 distributes stitching image data obtained by encoding the stitching image 621 to the display device 300 .
  • the image generation unit 302 decodes the stitching image data to generate image data corresponding to the stitching image 621 and displays it on the display unit 305 .
  • the selection unit 304 can accept a user operation for selecting a specific image area from the stitching image 621.
  • FIG. When the selection unit 304 receives an image selection instruction, an image selection screen 622 is displayed on the display unit 305 as shown in FIG.
  • An area selection indicator 623 and a display confirmation screen 624 are superimposed on a stitching image 621 on the image selection screen 622 .
  • the user can perform operations such as moving, enlarging, reducing, and rotating the area selection indicator 623 using the selection unit 304 to select a desired area from the stitching image 621 as an image area to be viewed.
  • the image area selected by the area selection indicator 623 is displayed on the display confirmation screen 624, and the user can confirm the desired image area by viewing the image displayed on the display confirmation screen 624.
  • FIG. when the image area that the user wants to view is finally determined by operating the selection unit 304, the image selection screen 622 is hidden, and the image of the finally determined image area is displayed on the full screen. Furthermore, the information of the finally determined image area is transmitted by the information transmitting/receiving unit 306 to the image distribution device 200 of the photographing system 100 as viewing image information.
  • the system control unit 205 counts the number of viewing times for the imaging device 110 that captured the image of the image area received from the display device 300 , and the count value is recorded in the recording unit 206 .
  • the count value of the number of views may be weighted according to the ratio of the area occupied in the image area.
  • FIG. 8 is a diagram illustrating 3D spatial data generated by the image synthesizing unit 202.
  • the 3D spatial image 631 is generated by the image synthesizing unit 202 of the image distribution device 200 acquiring stereoscopic information from the image data generated by the plurality of first to third imaging devices 110A to 110C. do.
  • the image transmission unit 203 encodes 3D spatial data corresponding to the 3D spatial image 631 and distributes it to the display device 300 .
  • the image generator 302 decodes the 3D spatial data, and the 3D spatial image 631 is displayed on the display 305 .
  • the selection unit 304 can receive a user operation for arranging the virtual camera 633 at a desired position in the 3D spatial image 631 and panning/tilting/zooming the virtual camera 633 .
  • an image selection screen 632 is displayed on the display unit 305 as shown in FIG.
  • a virtual camera 633, a photographing assistance display 634, and a display confirmation screen 635 are superimposed on a 3D spatial image 631 and displayed.
  • the shooting assistance display 634 is auxiliary information that changes according to the pan/tilt/zoom of the virtual camera 633, and a line indicating the shooting range of the virtual camera 633 is displayed in an identifiable manner.
  • the shooting assistance display 634 is displayed with a dashed line, but information such as the position coordinates and focal length of the virtual camera 633 in the 3D spatial image 631 may be displayed.
  • the image generation unit 302 of the display device 300 generates image data captured by the virtual camera 633 according to the information of the 3D space image 631 and the virtual camera 633 , and the image captured by the virtual camera 633 is displayed on the display confirmation screen 635 . Is displayed. The user can adjust the imaging parameters of the virtual camera 633 while viewing the image displayed on the display confirmation screen 635 . Then, when the shooting parameters of the virtual camera 633 are finally determined by the user operating the selection unit 304, the virtual camera 633, the shooting assistance display 634, and the display confirmation screen 635 are hidden, and the finally determined virtual camera 633 is displayed. The image captured with is displayed in full screen.
  • the information of the virtual camera 633 that has been finally determined is transmitted by the information transmitting/receiving unit 306 to the image distribution device 200 of the imaging system 100 as viewed image information.
  • the system control unit 205 captures the image of the most selected shooting range on the plurality of display devices 300 based on the shooting parameters of the virtual camera 633 received from the plurality of display devices 300. 110 is counted, and the count value is recorded in the recording unit 206 .
  • the imaging system 100 counts the number of views of an image in each imaging device based on viewing image information related to an image displayed on the display unit 305 .
  • Information related to actions such as evaluation and payment of compensation may be transmitted to the imaging system 100, and the number of times each action is performed may be counted.
  • composite image data is transmitted from the imaging system 100 to the display device 300, and processing is performed in the display device 300 in accordance with the selection operation of the selection unit 304.
  • the data exchanged between the devices can be appropriately changed, such as receiving the selection operation of the selection unit 304, performing processing according to the selection operation, and transmitting the processing result to the display device 300.
  • FIG. 10 An example of a notification method using viewing image information in the imaging system 100 will be described with reference to FIGS. 10 and 11.
  • FIG. 10 The viewing image information transmitted from the plurality of display devices 300 to the imaging system 100 is used for various purposes.
  • notification is made so that the specific imaging device 110 to be watched by the subject 500 can be identified from the plurality of imaging devices 110A to 110H.
  • Viewed image information transmitted from the display device 300 to the imaging system 100 is received by the information transmission/reception unit 204 of the image distribution device 200 and output to the system control unit 205 .
  • the system control unit 205 analyzes the viewing image information received from the plurality of display devices 300 and updates the analysis results recorded in the recording unit 206 .
  • Table 1 exemplifies analysis result data recorded in the recording unit 206 .
  • the viewed image information includes information on the number of views of images captured by a plurality of imaging devices 110A to 110H and information on the number of times an action is executed, selected by a user who is a viewer.
  • the system control unit 205 calculates attention levels of the plurality of imaging devices 110A to 110H using viewing image information.
  • the attention level A is obtained from Equation 1 by setting the attention level specific weight Wi for actions such as the number of views and high evaluations, and using the number of times Ni of action executions of the plurality of imaging devices 110A to 110H.
  • a x ⁇ W i ⁇ N i Ax is the degree of attention of the imaging device X , Wi is the specific weight of the degree of attention of action i , and Ni is the number of executions of action i .
  • an arithmetic expression is used to calculate the degree of attention, but the calculation method can be changed as appropriate, such as a method of calculating by machine learning using a learning model such as a neural network.
  • the system control unit 205 generates notification control information for each of the imaging devices 110A to 110H from the attention levels A of the plurality of imaging devices 110A to 110H.
  • the notification control information for example, controls the notification unit 115 of the second imaging device 110B whose degree of attention is higher than a predetermined reference value (predetermined value) or whose degree of attention is the highest (hereinafter abbreviated as "high degree of attention").
  • This is control information for The notification control information is transmitted to the second imaging device 110B via the information transmission/reception unit 204.
  • the second imaging device 110 ⁇ /b>B receives the notification control information from the image distribution device 200 through the information input/output unit 114 and outputs the notification control information to the imaging control unit 112 .
  • the imaging control unit 112 generates a control signal based on the notification control information and drives the notification unit 115 .
  • the notification control information may be transmitted only to the second imaging device 110B, and may not be transmitted to the imaging devices 110A, 110C to 110H. good.
  • notification control information indicating that the notification process does not need to be executed or notification control information for executing the notification process indicating that the degree of attention is not high is transmitted to the imaging devices 110A, 110C to 110H, good.
  • FIG. 10 exemplifies the notification form of the notification unit 115 when the degree of attention of the second imaging device 110B is high.
  • the system control unit 205 determines that the second imaging device 110B has a higher degree of attention among the plurality of imaging devices 110A to 110H, it transmits notification control information to the second imaging device 110B.
  • the second imaging device 110B Upon receiving the notification control information, the second imaging device 110B turns on the notification unit 115B to notify the subject 500 that the viewer is paying attention to the image captured by the second imaging device 110B.
  • the notification unit 115 may be any device such as a tally lamp that allows the subject to be visually recognized. Further, in the present embodiment, an example in which the notification unit 115 of the second imaging device 110B with a high degree of attention is driven has been described.
  • the notification unit 115 may emit light when the degree of attention is higher than a predetermined reference value, when the degree of attention is the lowest, or when it is lower than a predetermined reference value.
  • the light may be emitted in any one of these cases, and the color, lighting, and blinking may be changed according to each case so that the subject can recognize the degree of attention.
  • the system control unit 205 of the image distribution device 200 generates notification control information and transmits it to a specific imaging device.
  • the analysis result recorded in the unit 206 may be obtained, and the notification control information may be generated by the imaging control unit 112 .
  • the imaging system 100 may perform notification by interlocking the notification units 115 of the plurality of imaging devices 110 as shown in FIG. In FIG. 11, when the degree of attention is high and the specific imaging device that the subject 500 should gaze at is the sixth imaging device 110F, the sixth imaging device 110F is behind the subject 500 and is out of the field of view of the subject 500. in position. In such a case, the system control unit 205 selects the sixth imaging device as shown in FIG. The first to fifth, seventh, and eighth imaging devices 110A to 110E, 110G, and 110H other than 110F are interlocked to notify the subject 500 to gaze at the sixth imaging device 110F. Generate and send.
  • the notification unit 115F of the sixth imaging device 110F to be watched by the subject 500 is lit most brightly, and the sixth imaging device
  • the notification unit 115B of the third imaging device 110B which is the farthest from the device 110F, is lit most dimly, and the notification units of the first, third to fifth, seventh, and eighth imaging devices 110A, 110C to 110E, 110G, and 110H are turned on.
  • 115A, 115C to 115E, 115G, and 115H are lit so that the closer they are to the sixth imaging device 110F, the brighter they are.
  • notification units 116A to 116F different from the notification units 115A to 115F may be provided to display symbols such as arrows to notify the subject 500 to guide the subject 500 to the sixth imaging device 110F to watch.
  • the notification method of the notification unit 115 can be appropriately changed, such as notification by color change or notification by displaying an arbitrary image.
  • the control unit 205 in addition to the system control unit 205 distributing the composite image data and controlling the notification unit 115 based on the degree of attention of the plurality of imaging devices 110A to 110H, an imaging specified in advance by the distribution source is performed.
  • the control method may be switched so as to drive the notification unit of the imaging device of the image being distributed. Accordingly, it is possible to switch between control for notifying a previously designated imaging device regardless of the number of times of viewing and control for notifying an imaging device of an image with a high degree of attention.
  • the imaging device to be watched by the subject can be identified from the viewing state of the images shot by the plurality of imaging devices and distributed to the plurality of display devices. become.
  • the viewing image information collected from the plurality of display devices 300 is used to notify the imaging system 100 so that the specific imaging device 110 to be watched by the subject 500 can be identified.
  • viewing image information is used to notify viewers of other display devices 300 of an image that the viewer of the display device 300 is paying attention to.
  • viewing image information of a specific display device 300 is used to notify viewers of other display devices 300 of an image that the viewer of the specific display device 300 is paying attention to.
  • the imaging system 100 embeds viewing image information acquired from a specific display device 300 and attention levels calculated by the system control unit 205 as metadata in synthesized image data, and transmits the metadata to other display devices 300 .
  • the composite image data in which the metadata is embedded is transmitted to the other display device 300 by the image transmission unit 203 as in the first embodiment.
  • the other display device 300 receives the composite image data in which the metadata is embedded by the image receiving section 301 and outputs it to the image generating section 302 .
  • the image generator 302 extracts metadata from the synthesized image data.
  • the other display device 300 when the other display device 300 receives the composite image data from the image distribution device 200 and initially displays it on the display unit 305 , it refers to the metadata to obtain the image that has the high degree of attention on the specific display device 300 . to select and display. 5, 7, and 9, etc., information such as an image and a shooting range that are attracting the viewer's attention on a specific display device 300 are presented, and an image with a high degree of attention is displayed by a message. You may notify us.
  • viewing can be started without hesitation as to which imaging device's image should be viewed.
  • the present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in the computer of the system or apparatus reads and executes the program. It can also be realized by processing to It can also be implemented by a circuit (for example, ASIC) that implements one or more functions.
  • a circuit for example, ASIC

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Studio Devices (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)

Abstract

画像を複数の表示装置に配信する画像配信装置であって、複数の撮像装置を用いて、所定の被写体を互いに異なる方向から撮影することにより生成された複数の画像を取得する取得手段と、前記複数の画像を前記複数の表示装置へ送信する画像送信手段と、前記表示装置において表示再生されている画像に関する視聴画像情報を、前記表示装置から受信する受信手段と、前記視聴画像情報に基づいて、前記画像を撮影している撮像装置ごとに、注目度を算出する算出手段と、前記注目度に基づく通知を、前記撮像装置のレンズユニットと同じ向きに配置された通知部により実行させるための通知制御情報を、前記撮像装置へ送信する情報送信手段と、を有する。

Description

画像配信装置、表示装置、撮像装置、制御方法、プログラム
　本発明は、複数の撮像装置により被写体を異なる方向から撮影した複数の画像を複数の表示装置で表示再生するシステムに関する。
　複数の撮像装置（以下、カメラ）で撮影した画像から３Ｄ空間データを生成し、３Ｄ空間において仮想的にカメラを移動させることで所望の視点から撮影した画像（自由視点映像）を生成するボリュメトリックキャプチャ（Volumetric Capture）技術等が知られている。このような技術によって生成された画像はデータ量が膨大となるためにリアルタイムで配信する際にはデータ処理やデータ伝送に時間がかかるという課題があったが、今後５Ｇの普及に伴い課題が解決に向かうことが予想される。特許文献１には、視聴者参加型番組において視聴者が番組に参加している雰囲気を味わうためにアバタと呼ばれる仮想の参加者の画像を生成し、アバタの位置に対応する視点から撮影した画像を生成する技術が記載されている。
　また、撮影現場において、出演者を複数のカメラで異なる方向から撮影している場合に、オンエアされている画像を撮影しているカメラを出演者に通知することが行われている。特許文献２には、コントローラを操作してタリーランプの点灯を制御することによりオンエアされている画像を撮影しているカメラを被写体に通知する技術が記載されている。
特開２００６－０６７４０５号公報 特開２０１３－１６２５０１号公報
　特許文献１では、視聴者が所望の視点から画像を視聴できるようになるが、被写体がどのカメラを注視してよいのかわかりにくいといった課題がある。このような課題に対して、特許文献２によれば、従来はオンエアされる画像が配信元によって一意に決められるので被写体はオンエアされる画像を撮影しているカメラをタリーランプによって識別可能である。しかしながら、上述したボリュメトリックキャプチャ技術等を用いた自由視点映像が配信されることを想定した場合、複数の視聴者の各々は所望の視点からの視聴が可能となるため、特許文献２では被写体が注視すべきカメラを識別することが難しくなると考えられる。
　本発明は、上記課題に鑑みてなされ、複数の撮像装置により被写体を異なる方向から撮影した複数の画像が複数の表示装置で表示再生されている場合に、画像の視聴状態に基づく注目度に応じて、画像を撮影している撮像装置に通知を行う技術を実現する。
　上記課題を解決するために、本発明は、画像を複数の表示装置に配信する画像配信装置であって、複数の撮像装置を用いて、所定の被写体を互いに異なる方向から撮影することにより生成された複数の画像を取得する取得手段と、前記複数の画像を前記複数の表示装置へ送信する画像送信手段と、前記表示装置において表示再生されている画像に関する視聴画像情報を、前記表示装置から受信する受信手段と、前記視聴画像情報に基づいて、前記画像を撮影している撮像装置ごとに、注目度を算出する算出手段と、前記注目度に基づく通知を、前記撮像装置のレンズユニットと同じ向きに配置された通知部により実行させるための通知制御情報を、前記撮像装置へ送信する情報送信手段と、を有する。
　本発明によれば、複数の撮像装置により被写体を異なる方向から撮影した複数の画像が複数の表示装置で表示再生されている場合に、画像の視聴状態に基づく注目度に応じて、画像を撮影している撮像装置に通知を行うことができる。
　本発明のその他の特徴及び利点は、添付図面を参照とした以下の説明により明らかになるであろう。なお、添付図面においては、同じ若しくは同様の構成には、同じ参照番号を付す。
　添付図面は明細書に含まれ、その一部を構成し、本発明の実施の形態を示し、その記述と共に本発明の原理を説明するために用いられる。
図１は、実施形態１の画像を配信するシステムの構成図である。 図２は、実施形態１の撮影システムの構成を例示する図である。 図３は、実施形態１の撮影環境を説明する図である。 図４は、実施形態１のマルチストリームデータを例示する図である。 図５は、実施形態１の画像選択画面を例示する図である。 図６は、実施形態１のスティッチング処理された画像を例示する図である。 図７は、実施形態１のスティッチング処理された画像の選択方法を説明する図である。 図８は、実施形態１の３Ｄ空間データを例示する図である。 図９は、実施形態１の３Ｄ空間データから画像を選択する方法を説明する図である。 図１０は、実施形態１の特定の撮像装置の通知動作を説明する図である。 図１１は、実施形態１の複数の撮像装置の通知動作を連動させる方法を説明する図である。 図１２Ａは、実施形態１の撮像装置の動作の一例を説明するフローチャートである。 図１２Ｂは、実施形態１の画像配信装置の動作の一例を説明するフローチャートである。 図１２Ｃは、実施形態１の表示装置の動作の一例を説明するフローチャートである。
　以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
　［実施形態１］まず、実施形態１について説明する。
　以下では、本発明を、複数の撮像装置で撮影され、複数の表示装置に配信された画像の視聴状態から、被写体が注視すべき撮像装置を識別可能にするように通知を行うシステムに適用した実施形態について説明する。
　＜システム構成＞まず、図１および図２を参照して、実施形態１のシステム構成について説明する。図１は、実施形態１の画像を配信するシステムの構成を例示する図である。
　本実施形態のシステムは、複数の撮像装置１１０により撮影された画像を配信する撮影システム１００と、撮影システム１００から配信された画像を視聴者が視聴可能に表示する表示装置３００とを含む。
　撮影システム１００は、複数の撮像装置１１０と、画像配信装置２００とを有する。撮影システム１００は、撮像装置１１０が生成した画像を、画像配信装置２００を用いて視聴者の表示装置３００に配信するとともに、表示装置３００において視聴されている画像に関する視聴画像情報を取得し、各構成要素の制御を行う。撮像装置１１０は被写体を撮影し、画像を生成して外部出力するデジタルカメラである。
　表示装置３００は、画像受信部３０１と、画像生成部３０２と、表示制御部３０３と、選択部３０４と、表示部３０５と、情報送受信部３０６とを有する。表示装置３００は、撮影システム１００から配信される画像から所望の画像を選択して表示再生し、選択された所望の画像に関する視聴画像情報を撮影システム１００に送信する。画像受信部３０１は所定の通信方式により画像の受信が可能な通信インタフェースである。画像生成部３０２は合成画像から複数の画像を生成する画像処理プロセッサである。表示制御部３０３は表示装置全体の動作を制御する演算処理プロセッサ、ＲＯＭ、ＲＡＭなどを備えるコントローラである。選択部３０４はユーザ操作を受け付ける押しボタンスイッチ、回転ダイヤル、タッチパネルなどの操作部である。表示部３０５は液晶パネルや有機ＥＬパネルなどの表示デバイスである。情報送受信部３０６は所定の通信方式によりデータの送受信が可能な通信インタフェースである。
　図２は、図１の撮影システム１００の構成を例示する図である。撮影システム１００は、複数の撮像装置１１０と、画像配信装置２００とを含む。また、図１２Ａは撮像装置１１０の動作の一例を示すフローチャートである。
　撮像装置１１０は、撮像部１１１と、撮像制御部１１２と、画像出力部１１３と、情報入出力部１１４と、通知部１１５とを有する。撮像部１１１はＣＣＤやＣＭＯＳなどの光電変換素子を備えるイメージセンサである。撮像制御部１１２は撮像部１１１の撮像動作を制御する演算処理プロセッサ、ＲＯＭ、ＲＡＭなどを備えるコントローラである。画像出力部１１３は画像の転送が可能な出力インタフェースである。情報入出力部１１４はデータの送受信が可能な入出力インタフェースである。通知部１１５は、被写体が視認可能なＬＥＤ等の発光素子を備え、発光により通知を行う機能を有するタリーランプである。通知部１１５は、撮像装置１１０が備えるレンズユニットを介して撮像される被写体から視認可能な位置に配置されていればよい。すなわち、通知部１１５は、レンズユニットと同様に撮影方向を向いて配置される。
　撮像装置１１０は、撮像部１１１や撮像制御部１１２を用いて、光学系により結像された被写体の光学像を電気信号に変換し画像を生成する（Ｓ１２０１）。画像は各種の画像処理が実行され、メタデータや音声データを付加してファイル化あるいはストリーミング化される。撮像装置１１０は画像出力部１１３を用いて画像を画像配信装置２００に送信する（Ｓ１２０２）。
　画像配信装置２００は、画像入力部２０１と、画像合成部２０２と、画像送信部２０３と、情報送受信部２０４と、システム制御部２０５と、記録部２０６とを有する。画像配信装置２００は、複数の撮像装置１１０から取得された画像に対して所定の画像処理を施して視聴者の表示装置３００に配信する。画像入力部２０１は画像の受信が可能な入力インタフェースである。画像合成部２０２は複数の画像を合成する画像処理プロセッサである。画像送信部２０３は所定の通信方式により画像の配信が可能な通信インタフェースである。情報送受信部２０４は所定の通信方式によりデータの送受信が可能な通信インタフェースである。システム制御部２０５はシステム全体の動作を制御する演算処理プロセッサ、ＲＯＭ、ＲＡＭなどを備えるコントローラである。記録部２０６はフラッシュメモリやハードディスクなどのストレージデバイスである。
　次に、図２を参照して、撮影システム１００と表示装置３００の各構成要素の機能について説明する。また、図１２Ｂは画像配信装置２００の動作の一例を示すフローチャートである。図１２Ｃは表示装置３００の動作の一例を示すフローチャートである。
　画像配信装置２００は、画像入力部２０１により複数の撮像装置１１０で生成された画像データを受信し（Ｓ１２１１）、画像合成部２０２が複数の画像を合成した合成画像データを生成する（Ｓ１２１２）。合成画像データは、複数の画像が１つにまとめられたマルチストリームデータ、複数の画像データをスティッチング処理した画像データ、あるいは、複数の画像データから生成した３Ｄ空間データである。合成画像データは、複数の画像が１つのセットとして関連付けられていればよく、１つのファイルや１つのストリームに統合されていてもよいし、されていなくてもよい。画像合成部２０２で生成された合成画像データは、画像送信部２０３から４Ｇ、５Ｇ、インターネットなどの通信回線や放送電波等を介して複数の表示装置３００に配信され（Ｓ１２１３）、複数の視聴者の各表示装置３００において表示再生され、視聴者は各画像を視聴可能となる。
　表示装置３００は、画像受信部３０１により画像配信装置２００から配信された合成画像データを受信する（Ｓ１２２１）。表示制御部３０３は、後述する選択方法で選択部３０４によって、合成画像データに含まれる複数の画像の中からいずれかを選択する（Ｓ１２２２）。選択方法の一例については、図４から図９を用いて後述する。合成画像データは画像生成部３０２に出力され、画像生成部３０２は選択された画像を示すデータに基づいて、表示制御部３０３の制御に応じて合成画像データのデコードや画像重畳処理を行って表示用の画像データを生成し、表示部３０５に出力する。画像生成部３０２は、例えば、合成画像データに含まれる複数の画像のうち選択された画像だけを全画面表示する表示用の画像データを生成する。あるいは、選択画像を画面の中央に配置し、選択されなかった画像は選択画像よりも小さな面積で画面の端部に配置して表示する表示用の画像データを生成する。表示部３０５は、画像生成部３０２により生成された表示用の画像データを表示再生する（Ｓ１２２３）。
　次に、表示装置３００から画像配信装置２００へ視聴画像情報を送信する方法について説明する。
　表示装置３００において、選択部３０４は表示装置３００が受信した複数の画像から視聴したい画像を選択できると共に、選択した画像に対して各種のアクションを実行することができる。各種のアクションとは、例えば、選択され、表示再生されている画像に対する評価や対価の支払いや支援等の実行の指示である。選択部３０４で選択された画像を特定する識別情報やアクションの内容を示す情報を含む視聴画像情報は表示制御部３０３に出力される。表示制御部３０３は、選択部３０４によって選択されたデータに従って画像生成部３０２で行う処理の制御を行うと共に、情報送受信部３０６により選択部３０４の視聴画像情報を画像配信装置２００に送信する（Ｓ１２２４）。
　画像配信装置２００は、情報送受信部２０４により複数の表示装置３００から送信される視聴画像情報を受信し（Ｓ１２１４）、システム制御部２０５に出力する。システム制御部２０５は、視聴画像情報を解析し、記録部２０６に記録されている解析結果を更新する（Ｓ１２１５）。解析結果には、複数の撮像装置１１０で生成された複数の画像に関する視聴された回数（各表示装置で選択された回数）や実行されたアクションから算出される注目度を表す情報が含まれる。すなわち、解析結果にしたがって、撮像装置１１０ごとに、注目度を表す情報が生成される。解析結果の更新は所定時間ごとに行ってもよいし、視聴画像情報に含まれるパラメータの変化量が所定の閾値を越えたときに行ってもよいし、ユーザが所望のタイミングで要求することに応じて行ってもよい。
　記録部２０６に記録されている解析結果が更新されると、システム制御部２０５は解析結果に基づいて複数の撮像装置１１０に対して通知制御情報を生成し（Ｓ１２１６）、出力する（Ｓ１２１７）。通知制御情報は、画像配信装置２００の情報送受信部２０４により受信され、複数の撮像装置１１０の各情報入出力部１１４に送信され、撮像装置１１０の各撮像制御部１１２により受信される（Ｓ１２０３）。撮像制御部１１２は、通知制御情報に基づいて通知部１１５を制御して通知処理を行う（Ｓ１２０４）。通知処理の一例については、図１０および図１１を用いて後述する。通知制御情報は、システム制御部２０５が複数の撮像装置１１０に対して生成し、各撮像装置１１０に送信されるようにしてもよい。また、システム制御部２０５が複数の撮像装置１１０において共通に認識できる通知制御情報を生成して各撮像装置１１０に送信し、各撮像装置１１０が個別に通知制御情報を解析し、解析結果に基づく通知処理の実行の制御を行ってもよい。
　次に、図３から図９を参照して、撮影システム１００の画像配信装置２００における合成画像データの生成方法と表示装置３００における画像選択方法と視聴画像情報の送信方法について説明する。
　図３は、本実施形態の撮影システム１００における撮像環境を例示する図である。図３の例では、複数の撮像装置１１０Ａ～１１０Ｈが被写体５００を取り囲むように配置されて、各撮像装置１１０Ａ～１１０Ｈにより被写体５００が異なる方向から撮影される。複数の撮像装置１１０Ａ～１１０Ｈによって撮影された複数の画像６００Ａ～６００Ｈは、画像配信装置２００に送信され、画像合成部２０２によって合成され、合成画像データとして複数の表示装置３００に配信される。
　以下では、合成画像データがマルチストリームデータである場合、スティッチング処理画像である場合、３Ｄ空間データである場合における画像選択方法の例を説明する。また、図３では８台の撮像装置１１０Ａ～１１０Ｈで被写体５００を撮影する状態を例示しているが、説明の簡略化のため、以下では第１～第３の３台の撮像装置１１０Ａ～１１０Ｃにより撮影された第１～第３の画像６００Ａ～６００Ｃの例を用いて説明する。
　まず、図４および図５を用いて、合成画像データがマルチストリームデータである場合の画像選択方法を説明する。
　図４は画像合成部２０２が生成するマルチストリームデータを例示する図である。図４において、画像Ａ～Ｃは第１～第３の撮像装置１１０Ａ～１１０Ｃによって撮影された第１～第３の画像６００Ａ～６００Ｃである。第１～第３の画像６００Ａ～６００Ｃには、各画像６００Ａ～６００Ｃを撮影した第１～第３の撮像装置１１０Ａ～１１０Ｈのいずれかを識別するための識別情報を含む第１～第３のメタデータ６１０Ａ～６１０Ｃが付加される。画像合成部２０２は、入力された第１～第３の画像６００Ａ～６００Ｃの画像データと第１～第３のメタデータをエンコードして１つのマルチストリームデータ６１１を生成し、画像送信部２０３がマルチストリームデータを表示装置３００に配信する。
　表示装置３００では、画像生成部３０２がマルチストリームデータ６１１をデコードして第１～第３の画像６００Ａ～６００Ｃに対応する各画像データを生成し、表示部３０５に表示する。選択部３０４は、第１～第３の画像６００Ａ～６００Ｃから表示部３０５に全画面表示する画像を選択するためのユーザ操作を受け付け可能である。選択部３０４が画像の選択指示を受け付けると、図５に示すように、表示部３０５に画像選択画面６１２が表示される。画像選択画面６１２には、画像選択サブ画面６１３、前画像表示サブ画面６１４、次画像表示サブ画面６１５が表示される。画像選択サブ画面６１３には、マルチストリームデータ６１１に含まれる第１～第３のメタデータ６１０Ａ～６１０Ｃの識別情報が表示され、ユーザは選択部３０４を操作することによって所望の識別情報の画像を選択可能である。前画像表示サブ画面６１４には、画像選択サブ画面６１３で選択されている識別情報より順番的に前の識別情報や画像が表示される。次画像表示サブ画面６１５には、画像選択サブ画面６１３で選択されている識別情報の順番的に次の識別情報や画像が表示される。ユーザが選択部３０４を操作することによって画像選択サブ画面６１３で選択されている識別情報を変更すると、表示部３０５は画像選択サブ画面６１３で選択された識別情報に対応する画像（図５の例では第１の画像６００Ａ）を表示し、前画像表示サブ画面６１４と次画像表示サブ画面６１５の識別情報と画像を更新して表示する。そして、ユーザが選択部３０４を操作することによって識別情報が最終決定されると、画像選択サブ画面６１３、前画像表示サブ画面６１４、次画像表示サブ画面６１５が非表示となり、最終決定された識別情報の画像が全画面表示される。さらに、最終決定された識別情報は、情報送受信部３０６により撮影システム１００の画像配信装置２００に視聴画像情報として送信される。画像配信装置２００では、システム制御部２０５が、表示装置３００から受信した識別情報の画像を撮影した撮像装置１１０に対する視聴回数（または視聴者数）をカウントし、カウント値が記録部２０６に記録される。
　次に、図６および図７を用いて、合成画像データがスティッチング処理を行った画像である場合の画像選択方法を説明する。
　図６は画像合成部２０２が生成するスティッチング処理を行った画像を例示する図である。図６において、画像Ａ～Ｃは第１～第３の撮像装置１１０Ａ～１１０Ｃによって撮影された第１～第３の画像６００Ａ～６００Ｃである。スティッチング画像６２１は第１～第３の画像６００Ａ～６００Ｃをスティッチング処理して生成された合成画像である。スティッチング処理とは、複数の画像に対して変形・移動・合成等の処理を行い、１枚の画像に合成する処理である。画像合成部２０２は、入力された第１～第３の画像６００Ａ～６００Ｃの画像データをスティッチング処理して１つのスティッチング画像６２１を生成する。画像送信部２０３は、スティッチング画像６２１をエンコードしたスティッチング画像データを表示装置３００に配信する。
　表示装置３００では、画像生成部３０２がスティッチング画像データをデコードしてスティッチング画像６２１に対応する画像データを生成し、表示部３０５に表示する。選択部３０４は、スティッチング画像６２１から特定の画像領域を選択するためのユーザ操作を受け付け可能である。選択部３０４が画像の選択指示を受け付けると、図７に示すように、表示部３０５に画像選択画面６２２が表示される。画像選択画面６２２には、スティッチング画像６２１に領域選択インジケータ６２３と表示確認画面６２４が重畳表示される。ユーザは、選択部３０４によって領域選択インジケータ６２３を移動、拡大、縮小、回転等させる操作を行い、スティッチング画像６２１から所望の領域を視聴したい画像領域として選択可能である。領域選択インジケータ６２３により選択された画像領域は表示確認画面６２４に表示され、ユーザは、表示確認画面６２４に表示される画像を見て視聴したい画像領域を確認することができる。そして、ユーザが選択部３０４を操作することによって視聴したい画像領域が最終決定されると、画像選択画面６２２が非表示となり、最終決定された画像領域の画像が全画面表示される。さらに、最終決定された画像領域の情報は、情報送受信部３０６により撮影システム１００の画像配信装置２００に視聴画像情報として送信される。画像配信装置２００では、システム制御部２０５が、表示装置３００から受信した画像領域の画像を撮影した撮像装置１１０に対する視聴回数をカウントし、カウント値が記録部２０６に記録される。この場合、画像領域に占める面積の割合に応じて視聴回数のカウント値に重み付けを行ってもよい。
　次に、図８および図９を用いて、合成画像データが３Ｄ空間データである場合の画像選択方法を説明する。
　図８は画像合成部２０２が生成する３Ｄ空間データを例示する図である。図８において、３Ｄ空間画像６３１は、画像配信装置２００の画像合成部２０２が第１～第３の複数の撮像装置１１０Ａ～１１０Ｃによって生成された画像データから立体的な情報を取得することによって生成する。画像送信部２０３は３Ｄ空間画像６３１に対応する３Ｄ空間データをエンコードして表示装置３００に配信する。
　表示装置３００では、画像生成部３０２が３Ｄ空間データをデコードして、３Ｄ空間画像６３１が表示部３０５に表示される。選択部３０４は、３Ｄ空間画像６３１の所望の位置に仮想カメラ６３３を配置し、仮想カメラ６３３のパン・チルト・ズームを行うためのユーザ操作を受け付け可能である。選択部３０４が画像の選択指示を受け付けると、図９に示すように、表示部３０５に画像選択画面６３２が表示される。画像選択画面６３２には、３Ｄ空間画像６３１に、仮想カメラ６３３、撮影補助表示６３４、表示確認画面６３５が重畳表示される。ユーザは選択部３０４を操作することによって仮想カメラ６３３を３Ｄ空間画像６３１の所望の位置に設定可能であり、パン・チルト・ズームの操作が可能である。撮影補助表示６３４は、仮想カメラ６３３のパン・チルト・ズームに応じて変化する補助情報であり、仮想カメラ６３３の撮影範囲を示す線が識別可能に表示される。本実施形態では、撮影補助表示６３４は破線で表示されているが、３Ｄ空間画像６３１における仮想カメラ６３３の位置座標や焦点距離等の情報を表示してもよい。表示装置３００の画像生成部３０２は、３Ｄ空間画像６３１と仮想カメラ６３３の情報に応じて仮想カメラ６３３で撮影される画像データを生成し、表示確認画面６３５に仮想カメラ６３３で撮影される画像が表示される。ユーザは、表示確認画面６３５に表示される画像を見ながら仮想カメラ６３３の撮影パラメータを調整することができる。そして、ユーザが選択部３０４を操作することによって仮想カメラ６３３の撮影パラメータが最終決定されると、仮想カメラ６３３、撮影補助表示６３４、表示確認画面６３５が非表示となり、最終決定された仮想カメラ６３３で撮影された画像が全画面表示される。さらに、最終決定された仮想カメラ６３３の情報は、情報送受信部３０６により撮影システム１００の画像配信装置２００に視聴画像情報として送信される。画像配信装置２００では、システム制御部２０５が、複数の表示装置３００から受信した仮想カメラ６３３の撮影パラメータに基づいて、複数の表示装置３００において最も選択されている撮影範囲の画像を撮影した撮像装置１１０に対する視聴回数をカウントし、カウント値が記録部２０６に記録される。
　なお、本実施形態では、表示部３０５に表示されている画像に関する視聴画像情報に基づいて撮影システム１００が各撮像装置における画像の視聴回数をカウントする例を示したが、例えば視聴している画像に対する評価や対価の支払い等のアクションに関する情報を撮影システム１００に送信し、各アクションの実行回数をカウントしてもよい。
　また、本実施形態では、撮影システム１００から表示装置３００に合成画像データを送信し、表示装置３００において選択部３０４の選択操作に応じた処理を行っているが、撮影システム１００が表示装置３００から選択部３０４の選択操作を受信し、選択操作に応じた処理を行い、処理結果を表示装置３００に送信するなど、各装置間で授受されるデータは適宜変更可能である。
　次に、図１０および図１１を用いて、撮影システム１００における視聴画像情報を利用した通知方法の一例を説明する。複数の表示装置３００から撮影システム１００に送信される視聴画像情報は様々な用途に利用される。本実施形態では、複数の撮像装置１１０Ａ～１１０Ｈから被写体５００が注視すべき特定の撮像装置１１０を識別可能にするように通知を行う例を説明する。
　表示装置３００から撮影システム１００に送信される視聴画像情報は、画像配信装置２００の情報送受信部２０４により受信され、システム制御部２０５に出力される。システム制御部２０５は、複数の表示装置３００から受信した視聴画像情報を解析し、記録部２０６に記録されている解析結果を更新する。表１は記録部２０６に記録されている解析結果のデータを例示している。
（表１）
Figure JPOXMLDOC01-appb-I000001
　表１に示すように、視聴画像情報には視聴者であるユーザにより選択された、複数の撮像装置１１０Ａ～１１０Ｈで撮影された画像の視聴回数やアクションの実行回数の情報が含まれる。なお、回数に限らず、視聴時間や、アクションの支払いの金額の量、評価の高さなどの情報であってもよい。システム制御部２０５は、視聴画像情報を用いて複数の撮像装置１１０Ａ～１１０Ｈの注目度を算出する。注目度Ａの算出例として、視聴回数や高評価等のアクションに対して注目度の比重Ｗｉを設定し、複数の撮像装置１１０Ａ～１１０Ｈのアクションの実行回数Ｎｉを用いて式１から求められる。
（式１）
Ａｘ＝ΣＷｉ×Ｎｉ
　Ａｘは撮像装置Ｘの注目度、Ｗｉはアクションｉの注目度の比重、Ｎｉはアクションｉの実行回数である。
　なお、本実施形態では、注目度の算出は演算式を用いているが、ニューラルネットワーク等の学習モデルを利用した機械学習により算出する方法等、算出方法は適宜変更可能である。
　システム制御部２０５は、複数の撮像装置１１０Ａ～１１０Ｈの注目度Ａから撮像装置１１０Ａ～１１０Ｈのそれぞれに対する通知制御情報を生成する。通知制御情報は、例えば、注目度が所定の基準値（所定値）よりも高いまたは注目度が最も高い（以下、注目度が高いと略称する）第２の撮像装置１１０Ｂの通知部１１５を制御するための制御情報である。通知制御情報は、情報送受信部２０４を介して第２の撮像装置１１０Ｂに送信される。第２の撮像装置１１０Ｂは情報入出力部１１４により画像配信装置２００から通知制御情報を受信し、撮像制御部１１２へ出力する。撮像制御部１１２は通知制御情報に基づく制御信号を生成し、通知部１１５を駆動する。なお、注目度が最も高い撮像装置に通知処理を行わせる場合は、通知制御情報は第２の撮像装置１１０Ｂだけに送信されればよく、撮像装置１１０Ａ、１１０Ｃ～１１０Ｈへは送信されなくてもよい。あるいは、撮像装置１１０Ａ、１１０Ｃ～１１０Ｈへは通知処理を実行しなくてよいことを示す通知制御情報または、注目度が高くないことを示す通知処理を実行するための通知制御情報が送信されてもよい。
　図１０は第２の撮像装置１１０Ｂの注目度が高い場合の通知部１１５の通知形態を例示している。システム制御部２０５は、複数の撮像装置１１０Ａ～１１０Ｈの注目度のうち、第２の撮像装置１１０Ｂの注目度が高いと判定した場合、第２の撮像装置１１０Ｂに通知制御情報を送信する。通知制御情報を受信した第２の撮像装置１１０Ｂは、通知部１１５Ｂを点灯し、被写体５００に対して第２の撮像装置１１０Ｂで撮影された画像が視聴者に注目されていることを通知する。通知部１１５は、タリーランプ等の被写体が視認できるものであればよい。また、本実施形態では、注目度の高い第２の撮像装置１１０Ｂの通知部１１５を駆動する例を説明したが、注目度の内容に応じて複数の撮像装置１１０Ａ～１１０Ｈの通知部１１５の発光時の明るさや色などを変化させるように駆動してもよい。例えば、注目度が所定の基準値より高い場合、注目度が最も低い場合、あるいは所定の基準値より低い場合に通知部１１５を発光するようにしてもよい。あるいは、これらのいずれかの場合に発光し、被写体が注目度の高さを識別できるように、それぞれの場合に応じて、発光時の色や点灯、点滅を異ならせるようにしてもよい。
　また、本実施形態では、画像配信装置２００のシステム制御部２０５が通知制御情報を生成して特定の撮像装置に送信しているが、複数の撮像装置１１０Ａ～１１０Ｈそれぞれが画像配信装置２００の記録部２０６に記録されている解析結果を取得し、撮像制御部１１２により通知制御情報を生成してもよい。
　また、撮影システム１００は、図１１のように複数の撮像装置１１０の通知部１１５を連動させて通知を行ってもよい。図１１において、注目度が高く、被写体５００が注視すべき特定の撮像装置が第６の撮像装置１１０Ｆである場合、第６の撮像装置１１０Ｆは被写体５００の背面にあり被写体５００の視界に入らない位置にある。このような場合、システム制御部２０５は、複数の撮像装置１１０Ａ～１１０Ｈの注目度と被写体５００との位置関係から複数の撮像装置１１０Ａ～１１０Ｈに対して、図１１のように第６の撮像装置１１０Ｆ以外の第１～第５、第７、第８の撮像装置１１０Ａ～１１０Ｅ、１１０Ｇ、１１０Ｈが連動して第６の撮像装置１１０Ｆを注視するように被写体５００に通知するように通知制御情報を生成し送信する。そして、第１～第６の撮像装置１１０Ａ～１１０Ｆの各通知部１１５Ａ～１１５Ｆのうち、被写体５００が注視すべき第６の撮像装置１１０Ｆの通知部１１５Ｆを最も明るく点灯させると共に、第６の撮像装置１１０Ｆから最も遠い第３の撮像装置１１０Ｂの通知部１１５Ｂを最も暗く点灯させ、第１、第３～第５、第７、第８の撮像装置１１０Ａ、１１０Ｃ～１１０Ｅ、１１０Ｇ、１１０Ｈの通知部１１５Ａ、１１５Ｃ～１１５Ｅ、１１５Ｇ、１１５Ｈについては、第６の撮像装置１１０Ｆに近づくほど明るくなるように点灯させる。また、通知部１１５Ａ～１１５Ｆとは異なる通知部１１６Ａ～１１６Ｆを設けて、矢印などの記号を表示して被写体５００が注視すべき第６の撮像装置１１０Ｆへ誘導するように通知してもよい。その他、通知部１１５の通知方法は色の変化による通知や任意の画像を表示して通知するなど適宜変更可能である。
　なお、撮影システム１００において、システム制御部２０５が合成画像データを配信して複数の撮像装置１１０Ａ～１１０Ｈの注目度に基づいて通知部１１５の制御を行う以外に、配信元によって予め指定された撮像装置の画像を配信している場合には、配信中の画像の撮像装置の通知部を駆動するように制御方法を切り替えてもよい。これにより、視聴回数とは無関係に予め指定された撮像装置を通知する場合の制御と、注目度の高い画像の撮像装置を通知する場合の制御とを切り替えて実行できる。
　また、注目度の高い画像（視聴回数）が変化したことに応じて頻繁に通知部が変更すると、被写体の視線が通知部を追いかけてゆらぐことが懸念されるので、注目度の変化した場合は所定時間（固定または可変）が経過してから通知部の通知処理の内容を変更したり、視聴回数が所定の値以上変化した場合に通知部の通知処理の内容を変更したりするように制御してもよい。
　実施形態１によれば、複数の撮像装置で撮影され、複数の表示装置に配信された画像の視聴状態から、被写体が注視すべき撮像装置を識別可能にするように通知を行うことができるようになる。
　［実施形態２］次に、実施形態２について説明する。
　上述した実施形態１では、複数の表示装置３００から収集した視聴画像情報は、撮影システム１００が被写体５００が注視すべき特定の撮像装置１１０を識別可能にするように通知を行うために利用されている。これに対して、実施形態２では、表示装置３００の視聴者が注目している画像を、他の表示装置３００の視聴者に通知するために視聴画像情報を利用する。
　複数の撮像装置１１０が撮影する画像の注目度は時間とともに変化することが予想される。よって、ユーザが配信された画像の視聴を途中から開始した場合には、どの撮像装置の画像を視聴するべきか迷う可能性がある。そこで、実施形態２では、特定の表示装置３００の視聴画像情報を利用して、特定の表示装置３００の視聴者が注目している画像を、他の表示装置３００の視聴者に通知する。
　なお、実施形態２のシステムや装置の構成や機能は実施形態１と同様である。
　実施形態２において、撮影システム１００は、特定の表示装置３００から取得した視聴画像情報やシステム制御部２０５が算出した注目度を、合成画像データにメタデータとして埋め込み、他の表示装置３００に送信する。メタデータが埋め込まれた合成画像データは、実施形態１と同様に画像送信部２０３により他の表示装置３００へ送信される。他の表示装置３００は、メタデータが埋め込まれた合成画像データを画像受信部３０１により受信し、画像生成部３０２に出力する。画像生成部３０２は合成画像データからメタデータを抽出する。そして、他の表示装置３００は、画像配信装置２００から合成画像データを受信して最初に表示部３０５に表示するときに、メタデータを参照して、特定の表示装置３００において注目度が高い画像を選択して表示するように制御する。また、図５、図７および図９の画像選択画面などに、特定の表示装置３００において視聴者に注目されている画像や撮影範囲などの情報を提示したり、メッセージによって注目度が高い画像を通知したりしてもよい。
　実施形態２によれば、ユーザが配信された画像の視聴を途中から開始した場合に、どの撮像装置の画像を視聴するべきか迷うことなく、視聴を開始することができるようになる。
　［他の実施形態］
　本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
　発明は本実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
　本願は、２０２１年４月１４日提出の日本国特許出願特願２０２１－６８５３１並びに２０２２年１月２５日提出の日本国特許出願特願２０２２－９５２５を基礎として優先権を主張するものであり、その記載内容の全てを、ここに援用する。
１００…撮影システム、１１０…撮像装置、１１５…通知部、２００…画像配信装置、２０２…画像合成部、２０５…システム制御部、３００…表示装置、３０３…表示制御部、３０４…選択部、３０５…表示部

Claims (13)

  1. 画像を複数の表示装置に配信する画像配信装置であって、
    　複数の撮像装置を用いて、所定の被写体を互いに異なる方向から撮影することにより生成された複数の画像を取得する取得手段と、
    　前記複数の画像を前記複数の表示装置へ送信する画像送信手段と、
    　前記複数の表示装置において表示再生されている画像に関する視聴画像情報を、前記複数の表示装置から受信する受信手段と、
    　前記視聴画像情報に基づいて、前記画像を撮影している撮像装置ごとに、注目度を算出する算出手段と、
    　前記注目度に基づく通知を、前記撮像装置のレンズユニットと同じ向きに配置された通知部により実行させるための通知制御情報を、前記撮像装置へ送信する情報送信手段と、を有することを特徴とする画像配信装置。
  2. 　前記情報送信手段は、前記注目度が所定値より高い画像を撮影している撮像装置へ前記通知制御情報を送信することを特徴とする請求項１に記載の画像配信装置。
  3. 　前記通知制御情報は、前記注目度が所定値より高いまたは前記注目度が高いまたは前記注目度が所定値より低いまたは前記注目度が最も低いことを、識別可能な通知処理を実行するための情報であることを特徴とする請求項１に記載の画像配信装置。
  4. 　前記通知部は、発光または記号の表示により通知を行う機能を有し、
    　前記通知制御情報は、前記通知部の発光時の明るさまたは記号の表示を異ならせる情報を含むことを特徴とする請求項１から３のいずれか１項に記載の画像配信装置。
  5. 　前記視聴画像情報は、前記複数の表示装置それぞれにおいて視聴者により選択されて表示再生された画像に関する視聴画像情報であり、
    　前記複数の表示装置それぞれから受信された複数の視聴画像情報に基づき、前記撮像装置により生成された画像ごとに視聴回数またはアクションの実行回数を解析する解析手段をさらに備え、
    　前記算出手段は、前記注目度を前記解析手段による解析結果にしたがって算出することを特徴とする請求項１から４のいずれか１項に記載の画像配信装置。
  6. 　前記所定のアクションは、前記複数の表示装置において表示再生されている画像について視聴者による高評価を行うための指示または対価を支払うための指示を受け付けたことであることを特徴とする請求項５に記載の画像配信装置。
  7. 　前記複数の画像は合成されており、
    　前記視聴画像情報は、前記複数の表示装置それぞれにおいて設定された前記合成された画像の撮影範囲に関し、
    　前記算出手段は、前記合成された画像の撮影範囲を撮影している撮像装置ごとに、前記注目度を、算出することを特徴とする請求項１から６のいずれか１項に記載の画像配信装置。
  8. 　画像を画面に表示する表示装置であって、
    　複数の撮像装置を用いて、所定の被写体を互いに異なる方向から撮影することにより生成された複数の画像を画像配信装置から受信する画像受信手段と、
    　視聴者の操作を受け付け、前記複数の画像からいずれかの画像を選択する選択手段と、
    　前記選択手段により選択された画像に基づき、表示用の画像データを生成する画像生成手段と、
    　前記表示用の画像データを表示再生する表示再生手段と、
    　前記選択手段により選択された画像に関する視聴画像情報を前記画像配信装置へ送信する情報送信手段と、を有することを特徴とする表示装置。
  9. 　所定の被写体を他の撮像装置とは異なる方向から撮影することにより生成された画像を生成する生成手段と、
    　前記画像を画像配信装置へ送信する送信手段と、
    　前記画像は、さらに前記画像配信装置から表示装置へ転送され、
    　前記表示装置において表示再生されている画像に関する視聴画像情報に基づき算出された注目度に基づく通知処理を実行するための通知制御情報を前記画像配信装置から受信する受信手段と、
    　前記通知制御情報に基づき、通知処理を実行する通知手段と、を有することを特徴とする撮像装置。
  10. 　画像を複数の表示装置に配信する画像配信装置の制御方法であって、
    　複数の撮像装置を用いて、所定の被写体を互いに異なる方向から撮影することにより生成された複数の画像を取得するステップと、
    　前記複数の画像を前記複数の表示装置へ送信するステップと、
    　前記表示装置において表示再生されている画像に関する視聴画像情報を、前記表示装置から受信するステップと、
    　前記視聴画像情報に基づいて、前記画像を撮影している撮像装置ごとに、注目度を算出するステップと、
    　前記注目度に基づく通知を、前記撮像装置のレンズユニットと同じ向きに配置された通知部により実行させるための通知制御情報を、前記撮像装置へ送信するステップと、を有することを特徴とする制御方法。
  11. 　画像を画面に表示する表示装置の制御方法であって、
    　複数の撮像装置を用いて、所定の被写体を互いに異なる方向から撮影することにより生成された複数の画像を画像配信装置から受信するステップと、
    　視聴者の操作を受け付け、前記複数の画像からいずれかの画像を選択するステップと、
    　前記選択された画像に基づき、表示用の画像データを生成するステップと、
    　前記表示用の画像データを表示再生するステップと、
    　前記選択された画像に関する視聴画像情報を前記画像配信装置へ送信するステップと、を有することを特徴とする制御方法。
  12. 　所定の被写体を他の撮像装置とは異なる方向から撮影することにより生成された画像を生成するステップと、
    　前記画像を画像配信装置へ送信するステップと、
    　前記画像は、さらに前記画像配信装置から表示装置へ転送され、
    　前記表示装置において表示再生されている画像に関する視聴画像情報に基づき算出された注目度に基づく通知処理を実行するための通知制御情報を前記画像配信装置から受信するステップと、
    　前記通知制御情報に基づき、通知処理を実行するステップと、を有することを特徴とする撮像装置の制御方法。
  13. 　請求項１０から１２のいずれか１項に記載の制御方法をコンピュータで実行させるための、コンピュータで読み込み可能なプログラム。
PCT/JP2022/014365 2021-04-14 2022-03-25 画像配信装置、表示装置、撮像装置、制御方法、プログラム WO2022220066A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202280028219.5A CN117136547A (zh) 2021-04-14 2022-03-25 图像分配设备、显示设备、摄像设备、控制方法和程序
US18/485,968 US20240064351A1 (en) 2021-04-14 2023-10-12 Image distribution apparatus, display apparatus, image capture apparatus, and control method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2021-068531 2021-04-14
JP2021068531 2021-04-14
JP2022009525A JP2022163685A (ja) 2021-04-14 2022-01-25 画像配信装置、表示装置、撮像装置、制御方法、プログラム
JP2022-009525 2022-01-25

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/485,968 Continuation US20240064351A1 (en) 2021-04-14 2023-10-12 Image distribution apparatus, display apparatus, image capture apparatus, and control method

Publications (1)

Publication Number Publication Date
WO2022220066A1 true WO2022220066A1 (ja) 2022-10-20

Family

ID=83640621

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/014365 WO2022220066A1 (ja) 2021-04-14 2022-03-25 画像配信装置、表示装置、撮像装置、制御方法、プログラム

Country Status (2)

Country Link
US (1) US20240064351A1 (ja)
WO (1) WO2022220066A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220994A (ja) * 2014-12-25 2019-12-26 パナソニックＩｐマネジメント株式会社 映像配信方法及びサーバ

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019220994A (ja) * 2014-12-25 2019-12-26 パナソニックＩｐマネジメント株式会社 映像配信方法及びサーバ

Also Published As

Publication number Publication date
US20240064351A1 (en) 2024-02-22

Similar Documents

Publication Publication Date Title
JP6725038B2 (ja) 情報処理装置及び方法、表示制御装置及び方法、プログラム、並びに情報処理システム
CN105264876B (zh) 低成本电视制作的方法及系统
US9955147B2 (en) Zoom related methods and apparatus
JP4645956B2 (ja) 映像配信遠隔制御装置、映像配信システムおよび映像配信方法
US20100013738A1 (en) Image capture and display configuration
US10534427B1 (en) Virtual reality system for providing individuals with customized live experiences
US20180225537A1 (en) Methods and apparatus relating to camera switching and/or making a decision to switch between cameras
JP5884073B2 (ja) 没入位置情報生成方法
JP2002271693A (ja) 画像処理装置、画像処理方法、及び制御プログラム
JP6241802B1 (ja) 映像配信システム、ユーザ端末装置および映像配信方法
US11350080B2 (en) Methods and apparatus for displaying images
KR101782582B1 (ko) 아이 트랙킹을 기반으로 하는 영상 전송 방법, 장치 및 시스템
US20180249189A1 (en) Methods and apparatus for use in a system or device where switching between cameras may occur
JP2021136683A (ja) 全景リアリティシミュレーションシステム及びその使用方法
JP2022128489A (ja) 撮像装置
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
WO2022220066A1 (ja) 画像配信装置、表示装置、撮像装置、制御方法、プログラム
JP2022163685A (ja) 画像配信装置、表示装置、撮像装置、制御方法、プログラム
CN117136547A (zh) 图像分配设备、显示设备、摄像设备、控制方法和程序
JP6921204B2 (ja) 情報処理装置および画像出力方法
JP3229221U (ja) 全景リアリティシミュレーションシステム
WO2024084943A1 (ja) 情報処理装置、情報処理方法、プログラム
WO2023171120A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20170020391A (ko) 사용자의 능동적 이용이 가능한 방송 제공방법 및 이를 이용한 단말기, 컴퓨터 판독 가능한 기록매체
JP2021186215A (ja) パフォーマンスイベント実施方法及び該パフォーマンスイベント実施方法において用いられる中継装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22787991

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22787991

Country of ref document: EP

Kind code of ref document: A1