WO2021251127A1 - 情報処理装置、情報処理方法、撮像装置、画像転送システム - Google Patents

情報処理装置、情報処理方法、撮像装置、画像転送システム Download PDF

Info

Publication number
WO2021251127A1
WO2021251127A1 PCT/JP2021/019769 JP2021019769W WO2021251127A1 WO 2021251127 A1 WO2021251127 A1 WO 2021251127A1 JP 2021019769 W JP2021019769 W JP 2021019769W WO 2021251127 A1 WO2021251127 A1 WO 2021251127A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
image
processing
client terminal
control unit
Prior art date
Application number
PCT/JP2021/019769
Other languages
English (en)
French (fr)
Inventor
嶺 陣内
寛 合間
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/928,837 priority Critical patent/US20230179811A1/en
Priority to JP2022530108A priority patent/JPWO2021251127A1/ja
Priority to EP21821610.9A priority patent/EP4167577A4/en
Priority to CN202180040028.6A priority patent/CN115702569A/zh
Publication of WO2021251127A1 publication Critical patent/WO2021251127A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00132Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture in a digital photofinishing system, i.e. a system where digital photographic images undergo typical photofinishing processing, e.g. printing ordering
    • H04N1/00169Digital image input
    • H04N1/00172Digital image input directly from a still digital camera or from a storage medium mounted in a still digital camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00127Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
    • H04N1/00204Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
    • H04N1/00244Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/21Intermediate information storage
    • H04N1/2104Intermediate information storage for one or a few pictures
    • H04N1/2112Intermediate information storage for one or a few pictures using still video cameras
    • H04N1/2125Display of information relating to the still picture recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N1/32101Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N1/32106Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file
    • H04N1/32117Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title separate from the image data, e.g. in a different computer file in a separate transmission or protocol signal prior to or subsequent to the image data transmission, e.g. in digital identification signal [DIS], in non standard setup [NSS] or in non standard field [NSF]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223Cameras
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4227Providing Remote input by a user located remotely from the client device, e.g. at work
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81Monomedia components thereof
    • H04N21/8146Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics
    • H04N21/8153Monomedia components thereof involving graphical data, e.g. 3D object, 2D graphics comprising still images, e.g. texture, background image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/482End-user interface for program selection
    • H04N21/4821End-user interface for program selection using a grid, e.g. sorted out by channel and broadcast time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/0077Types of the still picture apparatus
    • H04N2201/0084Digital still camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2201/00Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
    • H04N2201/32Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
    • H04N2201/3201Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title
    • H04N2201/3225Display, printing, storage or transmission of additional information, e.g. ID code, date and time or title of data relating to an image, a page or a document
    • H04N2201/325Modified version of the image, e.g. part of the image, image reduced in size or resolution, thumbnail or screennail
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • This technology relates to an information processing device, an information processing method, an image pickup device, and an image transfer system, and particularly to a technique suitable for transferring an image captured by the image pickup device to another device.
  • Patent Document 1 discloses a technique for first transmitting related data having a smaller amount of data with respect to image data.
  • the cameraman For news purposes such as television broadcasting and web distribution, it may be required for the cameraman to immediately deliver the shot still image or video immediately after shooting on site.
  • the cameraman connects the image pickup device to the network at the shooting site, transmits the captured image to the network, and delivers the image.
  • the delivery destination device for example, a device of a broadcasting station, which is referred to as a "client terminal"
  • a person in charge of sorting separately waits for sorting the delivered images, and the sorted images are used for news articles. Is being done.
  • transmitting a large-sized image (image data of quality / data amount used for reporting) from the image pickup device to an external device increases the network load and takes time. In addition, it may take time to perform the image selection work. Further, if all the captured images are transmitted from the image pickup device to the external device, it is necessary to increase the storage capacity required for the transmission destination device, which increases the system load.
  • this disclosure proposes a technology that enables appropriate image transmission without significantly increasing the load on network communication and the system.
  • the information processing device receives additional information based on the related information in response to receiving related information which is information associated with the image captured by the image pickup device and has a smaller amount of data than the image.
  • related information which is information associated with the image captured by the image pickup device and has a smaller amount of data than the image.
  • a control unit that performs a main image transfer process of transmitting an image transmitted from the image pickup device to the client terminal. For example, assume an information processing device that can transfer information to and from an image pickup device and also can transfer information to and from a client terminal.
  • This information processing device first transmits related information and additional information to the client terminal before transferring the image data (main image) as the captured image. Then, this image is transferred from the image pickup apparatus to the client terminal according to the request information obtained as a result of the selection process based on the related information and the additional information.
  • control unit obtains the additional information by performing a database search based on the related information in the initial information transfer process.
  • a database search based on the related information supplied from the image pickup apparatus, it is possible to acquire more detailed information about the image (subject) from the related information. This is used as additional information.
  • the related information includes an image having a smaller amount of data representing an image captured by the imaging apparatus, and the control unit performs the initial information transfer process.
  • the control unit performs the initial information transfer process.
  • the control unit switches between a plurality of transmission patterns including a transmission pattern to which the additional information is added and a transmission pattern to which the additional information is not added, as the initial information transfer process. It is conceivable to perform processing.
  • a transmission pattern for example, an additional information is obtained based on the related information supplied from the image pickup device, and the related information and the additional information are transmitted to the client terminal, or the related information supplied from the image pickup device is transferred to the client terminal as it is. Allows you to change multiple transmission patterns, such as patterns or patterns with different contents of related information.
  • the control unit transmits voice information included in the related information to the client terminal as transmission of a predetermined transmission pattern which is one of a plurality of transmission patterns. It is conceivable to perform the processing to be performed. For example, when the audio information associated with the image as a still image is transferred from the image pickup device, the audio information is transmitted to the client terminal as it is.
  • the control unit converts voice information included in the related information into text data as transmission of a predetermined transmission pattern which is one of a plurality of transmission patterns. It is conceivable to perform a process of transmitting data to the client terminal. For example, when audio information associated with an image as a still image is transferred from an image pickup device, the audio information is converted into text data and then transmitted to a client terminal.
  • control unit performs the switching process according to the determination result of the communication status.
  • various transmission patterns are used properly according to the communication status.
  • control unit performs the switching process based on the information of the photographing target notified from the imaging apparatus.
  • the shooting target for example, the event type, the competition type, etc.
  • the first process for acquiring additional information in the initial information transfer process and the second process for not performing it are used properly.
  • control unit performs the estimation processing of the photographing target by the imaging device and performs the switching processing based on the estimated information of the photographing target. If the image pickup target in the image pickup apparatus can be estimated, the first process for acquiring additional information and the second process for not performing it can be used properly as the initial information transfer process based on the estimation result.
  • control unit performs a process of notifying the client terminal or the image pickup apparatus of the transmission pattern of the initial information transfer process set by the switching process. Be done.
  • the transmission pattern to be executed as a result is notified to the image pickup apparatus and the client terminal.
  • the related information is meta information associated with the image captured by the image pickup apparatus. That is, it is information that is associated with the image on the image pickup apparatus side and transmitted to the information processing apparatus. For example, image pickup device information, photographer information, image pickup location and time information, image analysis information on the image pickup device side, various parameters related to image pickup operation and processing, sensing information of various sensors in the image pickup device at the time of image pickup, image data / Various information such as information about files, thumbnail images, screen nail images, text information and voice memo information associated with images by photographers are assumed.
  • the related information is an image having a smaller amount of data representing an image captured by the imaging apparatus.
  • images with a smaller amount of data include thumbnail images, screen nail images, proxy moving images, and the like.
  • the related information is an image representing a grouping image which is a plurality of images continuously shot and captured by the imaging apparatus.
  • an image that expresses the entire image as a single image for example, a thumbnail image of the first image, is used as related information.
  • the related information is audio information recorded together with the moving image by the moving image imaging by the imaging device.
  • the information processing device receives the voice information recorded at the same time as the moving image recording as related information and transmits it to the client terminal.
  • the related information is time-series data at the time of imaging of the moving image captured by the imaging apparatus.
  • the time-series data is information that expresses the progress of imaging, such as position information for each time at the time of imaging.
  • the control unit transmits the first related information to the client terminal as the initial information transfer process with or without the additional information.
  • the first related information is information having a smaller amount of data than the second related information.
  • the first related information may be meta information indicating a shooting time, a shooting location, or the like
  • the second related information may be a thumbnail image or the like.
  • the image pickup apparatus performs related information transmission processing for transmitting related information associated with the captured image and having a smaller amount of data than the image to an external information processing apparatus, and receiving from the information processing apparatus. It is provided with a control unit that performs a main image transmission process of transmitting the image indicated by the request information to the information processing apparatus according to the requested information. As a result, the image pickup device transmits related information prior to the transmission of the captured image.
  • the image transfer system enables information communication between the image pickup device and the information processing device, and enables information communication between the information processing device and the client terminal.
  • the image pickup apparatus has the above configuration, and the information processing apparatus also has the above configuration.
  • Information can be transferred directly between the image pickup device and the information processing device or via another device or transmission line, and between the information processing device and the client terminal, information can be transferred directly or via another device or transmission line. Is possible. First, related information with a smaller amount of data than the captured image is transferred between such devices, and selection is performed on the client terminal side. After that, the main image is transmitted from the image pickup apparatus to the client terminal according to the selection.
  • Image is a term that refers to various image data including both still images and moving images.
  • the “main image” refers to an image to be delivered from the image pickup apparatus 1 shown in FIG. 1 to the client terminal 3. This image includes still images and moving images. In particular, when indicating that it is a moving image, it is referred to as "this moving image”.
  • the “related information” refers to information associated with an image taken by the image pickup apparatus 1 regardless of the content of the information. For example, photographer information about images, date and time, location, so-called meta information including various sensing data in the image pickup device, voice memo information, images with a lower amount of data than this image (thumbnail images related to still images and moving images, screens).
  • the "additional information” refers to information searched, extracted, or generated by the server device 2 based on the related information regardless of the information content.
  • the “initial information transfer process” refers to a process of transferring related information and additional information before transmission of the main image. It may be done multiple times.
  • the “main image transfer process” refers to a process of transferring the main image.
  • the “transmission pattern” is a pattern that is a variation of the procedure up to the transfer of the main image between the image pickup device 1, the server device 2, and the client terminal 3 and the information content to be transferred.
  • the first transmission pattern to the tenth transmission pattern are shown as different types of transfer information content according to the type of information content, whether the main image is a still image / continuous image / moving image, and the like.
  • a pattern of whether or not the initial information transfer process is performed, or a pattern of performing one information transfer from the image pickup device 1 to the client terminal 3 via the server device 2 as the initial information transfer process.
  • Various patterns are assumed, such as a pattern in which information is transferred multiple times.
  • FIG. 1 shows a configuration example of the image transfer system of the embodiment.
  • the image transfer system is basically composed of one or a plurality of image pickup devices 1, a server device 2, and a client terminal 3, and these can be communicated via a network 6.
  • the image pickup device 1 there are various image pickup devices such as a video camera and a still camera.
  • the image pickup device 1 illustrated is assumed to be a camera used by a cameraman or a reporter at a venue for sports or an event, an interview site, or the like.
  • Both the server device 2 and the client terminal 3 are information processing devices formed by computer devices, but the server device 2 provides a service for image transfer, and the client terminal 3 uses the transfer service by the server device 2.
  • the server device 2 is assumed to be a device that functions as a so-called cloud server. Of course, it is not limited to the mode as a cloud server. Although the server device 2 shows the control unit 2a, the control unit 2a executes the initial information transfer process and the main image transfer process as described later.
  • the server device 2 obtains various information by referring to the database 7 (hereinafter, the database is referred to as "DB"), and the text conversion engine 8 executes the text conversion of the voice data to obtain the text data.
  • DB 7 may be a DB configured in a storage device that can be used locally by the server device 2, or may be a DB configured in a storage device that can retrieve information via various networks. That is, the DB 7 may be any form of DB as long as it is accessible to the server device 2 (control unit 2a) and can acquire information.
  • the client terminal 3 indicates an information processing device to which a photographer delivers an image, such as a broadcasting station, a newspaper company, or a news agency. Broadcasting stations, etc. are examples, and delivery destinations are not limited.
  • the network 6 is assumed to be, for example, the Internet, a home network, a LAN (Local Area Network), a satellite communication network, and various other networks.
  • LAN Local Area Network
  • satellite communication network and various other networks.
  • the image pickup apparatus 1 communicates with the server apparatus 2 via the base station 4.
  • the base station 4 is, for example, a base station for 4G communication (4th generation mobile communication system) and 5G communication (5th generation mobile communication system).
  • a MEC (Mobile Edge Computing) 5 may be arranged in the base station 4. The communication of each image pickup apparatus 1 may be performed via the processing of the MEC 5, or some functions of the server apparatus 2 may be executed by the MEC 5.
  • the image transfer system As shown in FIG. 1, for example, when the user of the image pickup device 1 is a cameraman who works at a broadcasting station, a newspaper company, or the like, the image captured by the cameraman at the event venue is transferred to the server. It can be transferred to a client terminal 3 installed in a broadcasting station or the like via the device 2. On the client terminal 3 side, the person in charge selects the sent image and uses it for reporting. In such a field where immediate delivery after shooting for news coverage is required, it is expected that a large amount of high-definition images will be transferred, but this may increase the network load and the processing load of each part. be.
  • the server device 2 divides the transfer until the delivery of the main image into the initial information transfer process and the main image transfer process, so that the network communication load, the storage capacity load, and the sorting work are easy. Realize the conversion. Furthermore, by switching the transfer pattern (procedure and information content) depending on the situation, image transfer suitable for that time can be performed.
  • the image pickup device 1 includes, for example, a lens system 11, an image pickup element 12, a camera signal processing unit 13, a recording control unit 14, a display unit 15, a communication unit 16, an operation unit 17, a camera control unit 18, a memory unit 19, and a driver unit 22. It has a sensor unit 23, a voice input unit 25, and a voice processing unit 26.
  • the lens system 11 includes a lens such as a zoom lens and a focus lens, an aperture mechanism, and the like.
  • the lens system 11 guides the light (incident light) from the subject and condenses it on the image sensor unit 12.
  • the image sensor unit 12 includes, for example, an image sensor 12a (image sensor) such as a CMOS (Complementary Metal Oxide Semiconductor) type or a CCD (Charge Coupled Device) type.
  • the image sensor unit 12 executes, for example, CDS (Correlated Double Sampling) processing, AGC (Automatic Gain Control) processing, and the like on the electric signal obtained by photoelectric conversion of the light received by the image sensor 12a, and further performs A / D. (Analog / Digital) Perform conversion processing. Then, the image pickup signal as digital data is output to the camera signal processing unit 13 and the camera control unit 18 in the subsequent stage.
  • the camera signal processing unit 13 is configured as an image processing processor by, for example, a DSP (Digital Signal Processor) or the like.
  • the camera signal processing unit 13 performs various signal processing on the digital signal (image pickup image signal) from the image pickup element unit 12. For example, as a camera process, the camera signal processing unit 13 performs preprocessing, simultaneous processing, YC generation processing, resolution conversion processing, file formation processing, and the like.
  • a clamping process for clamping the black level of R, G, B to a predetermined level, a correction process between the color channels of R, G, B, etc. are performed on the captured image signal from the image sensor unit 12. conduct.
  • a color separation processing is performed so that the image data for each pixel has all the color components of R, G, and B.
  • demosaic processing is performed as color separation processing.
  • YC generation process a luminance (Y) signal and a color (C) signal are generated (separated) from the image data of R, G, and B.
  • the resolution conversion process the resolution conversion process is executed for the image data to which various signal processes have been performed.
  • a file for recording or communication for example, for image data that has undergone the above various processes, for example, compression coding for recording or communication, formatting, generation or addition of meta information, etc. are performed to generate a file for recording or communication.
  • a still image file an image file in a format such as JPEG (Joint Photographic Experts Group), TIFF (Tagged Image File Format), GIF (Graphics Interchange Format) is generated.
  • JPEG Joint Photographic Experts Group
  • TIFF Tagged Image File Format
  • GIF Graphics Interchange Format
  • the camera signal processing unit 13 includes information on processing parameters in the camera signal processing unit 13, various control parameters acquired from the camera control unit 18, and information indicating the operating state of the lens system 11 and the image pickup element unit 12. , Mode setting information, imaging environment information (date and time, location, etc.), identification information of the imaging device itself, attached lens information, pre-registered cameraman information (name, identification information), IPTC (International Press Telecommunications Council) metadata And so on.
  • IPTC metadata is meta information in a format formulated by a media company organization, and can describe various information such as "description / caption", “description writer”, “headline”, and "keyword”.
  • the recording control unit 14 records and reproduces, for example, a recording medium using a non-volatile memory.
  • the recording control unit 14 performs a process of recording an image file such as moving image data or still image data, a thumbnail image, a screen nail image, or the like on a recording medium, for example.
  • the actual form of the recording control unit 14 can be considered in various ways.
  • the recording control unit 14 may be configured as a flash memory built in the image pickup apparatus 1 and a write / read circuit thereof.
  • the recording control unit 14 may be in the form of a card recording / playback unit that performs recording / playback access to a recording medium that can be attached to / detached from the image pickup device 1, for example, a memory card (portable flash memory or the like).
  • the recording control unit 14 may be realized as an HDD (Hard Disk Drive) or the like as a form built in the image pickup apparatus 1.
  • the display unit 15 is a display unit that displays various displays to the imager, and is, for example, a display such as a liquid crystal panel (LCD: Liquid Crystal Display) or an organic EL (Electro-Luminescence) display arranged in the housing of the image pickup device 1. It is said to be a display panel or viewfinder depending on the device.
  • the display unit 15 causes various displays to be executed on the display screen based on the instructions of the camera control unit 18. For example, the display unit 15 displays a reproduced image of image data read from a recording medium by the recording control unit 14.
  • the display unit 15 is supplied with image data of the captured image whose resolution has been converted for display by the camera signal processing unit 13, and the display unit 15 is based on the image data of the captured image according to the instruction of the camera control unit 18. May be displayed. As a result, a so-called through image (subject monitoring image), which is an captured image during composition confirmation or video recording, is displayed. Further, the display unit 15 causes various operation menus, icons, messages, etc., that is, display as a GUI (Graphical User Interface) to be executed on the screen based on the instruction of the camera control unit 18.
  • GUI Graphic User Interface
  • the communication unit 16 performs data communication and network communication with an external device by wire or wirelessly. For example, image data (still image files and moving image files) and meta information are transmitted and output to an external display device, recording device, playback device, and the like. Further, the communication unit 16 communicates with various networks 6 such as the Internet, a home network, and a LAN (Local Area Network) as a network communication unit, and transmits / receives various data to / from a server, a terminal, or the like on the network. Can be done. For example, in the case of the present embodiment, the communication unit 16 performs a communication process of transmitting captured image data (the above-mentioned image file or the like) or meta information to the server device 2.
  • various networks 6 such as the Internet, a home network, and a LAN (Local Area Network) as a network communication unit, and transmits / receives various data to / from a server, a terminal, or the like on the network. Can be done.
  • the communication unit 16 perform
  • the image pickup device 1 uses a communication unit 16 to communicate with, for example, a smartphone or tablet terminal owned by a photographer or the like, for example, Bluetooth (Bluetooth: registered trademark), WI-FI (registered trademark) communication, NFC (Near Field Communication). It may be possible to communicate information with each other by short-range wireless communication or infrared communication. In that case, the image can be transferred via a smartphone or the like. Further, the image pickup apparatus 1 and other devices may be made capable of communicating with each other by wired connection communication.
  • Bluetooth Bluetooth: registered trademark
  • WI-FI registered trademark
  • NFC Near Field Communication
  • the operation unit 17 collectively shows input devices for the user to perform various operation inputs. Specifically, the operation unit 17 shows various controls (keys, dials, touch panels, touch pads, etc.) provided in the housing of the image pickup apparatus 1. The operation unit 17 detects the user's operation, and the signal corresponding to the input operation is sent to the camera control unit 18.
  • the camera control unit 18 is composed of a microcomputer (arithmetic processing unit) provided with a CPU (Central Processing Unit).
  • the memory unit 19 stores information and the like used for processing by the camera control unit 18.
  • a ROM Read Only Memory
  • RAM Random Access Memory
  • flash memory and the like are comprehensively shown.
  • the memory unit 19 may be a memory area built in the microcomputer chip as the camera control unit 18, or may be configured by a separate memory chip.
  • the camera control unit 18 controls the entire image pickup device 1 by executing a program stored in the ROM of the memory unit 19, the flash memory, or the like.
  • the camera control unit 18 controls the shutter speed of the image sensor unit 12, gives instructions for various signal processing in the camera signal processing unit 13, captures and records operations according to user operations, reproduces recorded image files, and lenses. It controls the operation of each necessary part regarding the operation of the lens system 11 such as zoom, focus, and aperture adjustment in the lens barrel, and the operation of the user interface.
  • the RAM in the memory unit 19 is used for temporarily storing data, programs, and the like as a work area for various data processing of the CPU of the camera control unit 18.
  • the ROM and flash memory (nonvolatile memory) in the memory unit 19 include an OS (Operating System) for the CPU to control each unit, content files such as image files, application programs for various operations, and firmware. , Used to store various setting information, etc.
  • Various setting information includes communication setting information, exposure setting as setting information related to imaging operation, shutter speed setting, mode setting, white balance setting as setting information related to image processing, color setting, and setting related to image effects. , There are custom key settings and display settings as setting information related to operability.
  • the driver unit 22 is provided with, for example, a motor driver for a zoom lens drive motor, a motor driver for a focus lens drive motor, a motor driver for a motor of an aperture mechanism, and the like. These motor drivers apply a drive current to the corresponding driver in response to an instruction from the camera control unit 18, to move the focus lens and the zoom lens, open and close the diaphragm blades of the diaphragm mechanism, and the like.
  • the sensor unit 23 comprehensively shows various sensors mounted on the image pickup apparatus.
  • the sensor unit 23 is equipped with, for example, an IMU (inertial measurement unit).
  • an angular velocity is detected by a three-axis angular velocity (gyro) sensor of pitch, yaw, and roll, and acceleration is detected by an acceleration sensor.
  • a position information sensor, an illuminance sensor, or the like may be mounted.
  • the voice input unit 25 has, for example, a microphone, a microphone amplifier, or the like, and outputs a voice signal that collects ambient sound.
  • the voice processing unit 26 performs processing for converting the voice signal obtained by the voice input unit 25 into a digital voice signal, AGC processing, sound quality processing, noise reduction processing, and the like.
  • the audio data that has undergone these processes is output to the camera signal processing unit 13 and the camera control unit 18.
  • the audio data is processed by the camera control unit 18 as audio data accompanying the moving image at the time of capturing the moving image.
  • the voice data can be filed as a voice file in the camera signal processing unit 13 or the camera control unit 18 as voice memo data as a so-called voice memo at the time of imaging or the like.
  • the audio file can be recorded on a recording medium in association with the image file in the recording control unit 14, or can be transmitted and output together with the image file from the communication unit 16.
  • FIG. 3 shows a configuration example of the information processing device 70 as the server device 2 and the client terminal 3.
  • the CPU 71 of the information processing apparatus 70 is various according to a program stored in a non-volatile memory unit 74 such as a ROM 72 or an EEPROM (Electrically Erasable Programmable Read-Only Memory), or a program loaded from the storage unit 79 into the RAM 73. Executes the processing of.
  • the RAM 73 also appropriately stores data and the like necessary for the CPU 71 to execute various processes.
  • the CPU 71, ROM 72, RAM 73, and non-volatile memory unit 74 are connected to each other via a bus 83.
  • An input / output interface 75 is also connected to the bus 83.
  • An input unit 76 including an operator and an operation device is connected to the input / output interface 75.
  • various controls and operation devices such as a keyboard, a mouse, a key, a dial, a touch panel, a touch pad, and a remote controller are assumed.
  • the user's operation is detected by the input unit 76, and the signal corresponding to the input operation is interpreted by the CPU 71.
  • a display unit 77 made of an LCD or an organic EL panel and an audio output unit 78 made of a speaker or the like are connected to the input / output interface 75 as one or as a separate body.
  • the display unit 77 is a display unit that performs various displays, and is composed of, for example, a display device provided in the housing of the information processing device 70, a separate display device connected to the information processing device 70, and the like.
  • the display unit 77 executes the display of various images for image processing, moving images to be processed, and the like on the display screen based on the instruction of the CPU 71. Further, the display unit 77 displays various operation menus, icons, messages, etc., that is, as a GUI (Graphical User Interface) based on the instruction of the CPU 71.
  • GUI Graphic User Interface
  • the input / output interface 75 may be connected to a storage unit 79 composed of a hard disk, a solid-state memory, or the like, or a communication unit 80 composed of a modem or the like.
  • the communication unit 80 performs communication processing via a transmission line such as the Internet, wire / wireless communication with various devices, bus communication, and the like.
  • a drive 81 is also connected to the input / output interface 75, if necessary, and a removable recording medium 82 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory is appropriately mounted.
  • the drive 81 can read data files such as image files and various computer programs from the removable recording medium 82.
  • the read data file is stored in the storage unit 79, and the image and sound included in the data file are output by the display unit 77 and the sound output unit 78. Further, the computer program or the like read from the removable recording medium 82 is installed in the storage unit 79 as needed.
  • software for processing according to the present embodiment can be installed via network communication by the communication unit 80 or removable recording medium 82.
  • the software may be stored in the ROM 72, the storage unit 79, or the like in advance.
  • the information processing device 70 is a server device 2
  • software for transfer processing including initial information transfer processing and main image transfer processing described below, transmission pattern switching processing in transfer processing, and the like is installed. Will be.
  • the CPU 71 functions as the control unit 2a in FIG. 1 and performs necessary processing. Further, various communications described below will be performed via the communication unit 80.
  • interface processing using the input unit 76, the display unit 77, and the like is executed under the control of the CPU 71 in the transfer processing process described below. Further, various communications will be performed via the communication unit 80.
  • FIG. 4 shows a communication procedure and information content as the first transmission pattern of image transfer.
  • the transmission / reception between the image pickup device 1, the server device 2, and the client terminal 3 is coded as TP ** (“**” is Numerical value) is indicated by an arrow, and the processing of each device is indicated by the code PS **.
  • the vertical direction (top to bottom) of the figure corresponds to the progress of time.
  • the first transmission pattern shown in FIG. 4 is performed by the following procedure.
  • ⁇ Communication TP1 Meta information is transmitted from the image pickup device 1 to the server device 2 as related information about the captured image. At this point, this image is not transmitted.
  • the image pickup apparatus 1 transmits meta information about one or a plurality of images, for example, depending on the operation of a cameraman.
  • the server device 2 searches the DB 7 based on the meta information of each received image, and derives additional information. For example, when the shooting location and time are obtained as meta information, the competition content and the player name may be specified by searching the DB7 using the shooting location and time. The competition name and player name obtained in this way are examples of additional information. Based on the meta information of some content transmitted from the image pickup device 1 in this way, various information obtained by the server device 2 by the DB search is used as additional information. Further, in this processing PS1, it is assumed that additional information is obtained by performing a DB search for each of the meta information about the plurality of images transmitted from the image pickup apparatus 1.
  • the server device 2 transmits a pair of meta information and additional information for each image to the client terminal 3.
  • the client terminal 3 performs UI (User Interface) processing using the received meta information and additional information.
  • the client terminal 3 executes the display as shown in FIG. 5A on the display unit 77.
  • the meta information includes the cameraman (photographer) information, the shooting time, and the shooting location, and the competition name and the player name are extracted as additional information based on the shooting time and the shooting location.
  • the information content list 30 corresponding to each image is displayed.
  • FIG. 5A shows an example of displaying a list of the photographer's information included in the meta information and the competition name and the player name obtained as additional information as the information corresponding to the six images.
  • a check box 31 is arranged corresponding to each information so that the person in charge on the client terminal 3 side can perform the selection operation.
  • a thumbnail request button 32 is displayed so that the person in charge can operate it.
  • FIG. 5A shows a state in which the person in charge checks the check box 31 for the first, second, and sixth information in the information content list 30. If the thumbnail request button 32 is operated in that state, it is assumed that the person in charge has requested the thumbnail image of the image corresponding to the first, second, and sixth information.
  • Such an operation is an operation when the person in charge confirms the meta information and the additional information and tries to confirm what kind of image content they are actually by using thumbnails.
  • the CPU 71 of the client terminal 3 controls the display of the UI screen and detects the input of the person in charge accordingly.
  • thumbnail / screen nail is known to indicate an image content with a small amount of data with a low resolution
  • thumbnailnail referred to in the present disclosure is a main image (still) like an image generally called a thumbnail / screen nail.
  • Images and moving images) are broadly referred to as low-resolution still images.
  • the client terminal 3 transmits a thumbnail image request list to the server device 2. That is, the client terminal 3 responds to the person in charge checking the check box 31 and operating the thumbnail request button 32 in the UI processing of the processing PS2, and the list information of the images corresponding to the checked information and theirs. Generates a thumbnail image request list containing information for requesting thumbnails and sends it.
  • the server device 2 transfers the thumbnail image request list received from the client terminal 3 to the image pickup device 1.
  • the image pickup device 1 transmits thumbnail images of one or a plurality of images listed in the thumbnail image request list to the server device 2.
  • the server device 2 transfers the thumbnail image received from the image pickup device 1 to the client terminal 3.
  • the client terminal 3 performs UI processing using the received thumbnail image. For example, the client terminal 3 displays the thumbnail list 34 as shown in FIG. 5B on the display unit 77. That is, the received thumbnail images 38 are displayed in a list. Further, as in the example of the figure, all or part of the meta information and additional information about each thumbnail image 38 may be displayed as related / additional information 39. Further, a check box 31 is arranged corresponding to each thumbnail image 38 so that the person in charge on the client terminal 3 side can perform the selection operation. Further, the main image request button 33 is displayed so that the person in charge can operate it.
  • FIG. 5B shows a state in which the person in charge has checked the check box 31 for the thumbnail image 38 in the center.
  • the main image request button 33 is operated in that state, it is assumed that the person in charge has requested the main image corresponding to the thumbnail image.
  • the CPU 71 of the client terminal 3 performs such display control of the UI screen and detection of the input of the person in charge corresponding to the display control.
  • the client terminal 3 transmits the main image request list to the server device 2. That is, in the client terminal 3, the list information of the images corresponding to the checked thumbnails and the list information of the images corresponding to the checked thumbnails in response to the person in charge checking the check box 31 and operating the main image request button 33 in the UI processing of the processing PS3. Generates a book request list containing information requesting the picture and sends it.
  • the server device 2 transfers the main image request list received from the client terminal 3 to the image pickup device 1.
  • the image pickup apparatus 1 transmits the main image of one or a plurality of images listed in the main image request list to the server device 2.
  • the server device 2 transfers the main image received from the image pickup device 1 to the client terminal 3. As a result, the main image 35 of FIG. 5C is delivered to the client terminal 3.
  • the first round trip is to perform rough image selection based on meta information and additional information, and then the second round trip is the image by the thumbnail image 38. Allow sorting to take place.
  • the server device 2 executes the relay of the processing up to this point as the initial information transfer processing.
  • the server device 2 causes the image transfer process to transfer the main image listed in the main image request list in the selection in the initial information transfer process from the image pickup device 1 to the client terminal 3.
  • FIG. 6 shows the processing at the time of photographing of the image pickup apparatus 1.
  • the processing of the image pickup apparatus 1 mainly indicates the control processing of the camera control unit 18.
  • the camera control unit 18 of the image pickup apparatus 1 controls the image pickup process in step S101 of FIG. That is, the camera control unit 18 controls each necessary unit in FIG. 2 so that the image is captured / recorded according to the operation of the cameraman.
  • the camera control unit 18 causes the image sensor unit 12 and the camera signal processing unit 13 to perform image signal processing of a still image, generation of related meta information, and the like.
  • step S102 the camera control unit 18 causes the camera signal processing unit 13 to execute the encoding process of the thumbnail image and the main image.
  • step S103 the camera control unit 18 causes the recording control unit 14 to record a thumbnail image and a main image (including meta information) on a recording medium.
  • step S104 the camera control unit 18 causes the communication unit 16 to execute the process of transmitting the meta information of the captured image.
  • the process of step S104 is executed, for example, according to the transmission operation of the cameraman.
  • the camera control unit 18 selects individual images or image folders to be transmitted (delivered to the client terminal 3) among the images taken and recorded on the recording medium by the cameraman, and performs a transmission operation. Execute according to.
  • the camera control unit 18 causes the communication unit 16 to transmit the corresponding meta information for one or a plurality of images selected to be transmitted by the cameraman.
  • the communication TP1 of FIG. 4 is performed by the above processing.
  • FIG. 7 shows the processing of the server device 2 for the processing PS1 and communication TP2 of FIG.
  • the control process of the control unit 2a is shown as the process of the server device 2.
  • the control unit 2a confirms the reception of the meta information from the image pickup apparatus 1 in step S201. Then, when the meta information is received, the control unit 2a executes the loop processing LP1.
  • steps S202 and S203 are performed for the meta information of each image transmitted from the image pickup device 1, respectively. For example, when meta information about 10 images is received, these processes are performed for each image.
  • step S202 the control unit 2a performs a DB search process based on the meta information and acquires additional information. For example, when information on the shooting position and shooting time is sent as meta information for one image as described above, the control unit 2a performs a DB search based on the information on the shooting position and shooting time, for example, the competition name or Get additional information such as player names.
  • step S203 the control unit 2a performs a process of transmitting meta information and additional information about the image to the client terminal 3.
  • control unit 2a When the control unit 2a performs the processing of steps S202 and S203 for each image in the loop processing LP1, the meta information transmitted by the image pickup apparatus 1 for each image and the corresponding additional information are transmitted to the client terminal 3. Will be.
  • FIG. 8 shows the processing of the server device 2 for the communication TP4 according to the thumbnail image request list.
  • the control unit 2a of the server device 2 confirms the reception of the image request list in step S220.
  • the image request list referred to here is, for example, a thumbnail image request list or a main image request list.
  • there may be information such as a request information for a grouping image, a request for a partial clip of this video, and a request for a partial clip of a proxy video.
  • step S221 the control unit 2a performs a process of transferring the received image request list to the image pickup apparatus 1.
  • the thumbnail image request list is transferred as the communication TP4.
  • FIG. 9 shows the processing of the image pickup apparatus 1 for the communication TP5.
  • the camera control unit 18 confirms the reception of the image request list from the server device 2. Then, when the image request list is received, the camera control unit 18 executes the loop processing LP20.
  • the camera control unit 18 repeats the processing of steps S121 to S125 for the number of images related to the requests listed in the image request list.
  • the camera control unit 18 determines whether the image request list is a thumbnail image request list or a main image request list, and branches the process.
  • the camera control unit 18 causes the recording control unit 14 to read the thumbnail image of one image included in the request from the recording medium in step S122. Then, in step S123, the camera control unit 18 performs a process of transmitting the thumbnail image read from the recording medium to the server device 2 via the communication unit 16.
  • the camera control unit 18 causes the recording control unit 14 to read the main image of one image included in the request from the recording medium in step S124. Then, in step S125, the camera control unit 18 performs a process of transmitting the main image read from the recording medium to the server device 2 via the communication unit 16.
  • the thumbnail image or the main image related to the image request list is transmitted.
  • the thumbnail image is transmitted according to the thumbnail image request list.
  • FIG. 10 shows the processing of the server device 2 for the communication TP6.
  • the control unit 2a of the server device 2 confirms the reception of the image from the image pickup device 1 in step S230.
  • the image referred to here is, for example, a thumbnail image or a main image. Then, when the image is received, the control unit 2a executes the loop processing LP10.
  • control unit 2a repeats the processing of step S231 as many times as the number of received images.
  • control unit 2a performs a process of transmitting the received image to the client terminal 3.
  • the server device 2 when the server device 2 receives one or a plurality of thumbnail images from the image pickup device 1, the server device 2 transfers them to the client terminal 3.
  • the client terminal 3 side performs UI processing as processing PS3 as described above, and transmits the main image request list as communication TP7.
  • the processing of the server device 2 for the communication TP8 according to the main image request list is as shown in FIG. 8 above.
  • the processing of the image pickup apparatus 1 that has received the main image request list by the communication TP8 is as shown in FIG. That is, by performing steps S124 and S125 of FIG. 9 for the images related to the requests listed in the main image request list, the transmission of the main image related to the main image request list as the communication TP9 is executed.
  • the processing of the server device 2 for the communication TP10 is as shown in FIG.
  • the server device 2 receives one or a plurality of main images from the image pickup device 1, the server device 2 transfers them to the client terminal 3 in the process of step S231.
  • Information on the transmission priority may be included in the image request list transmitted to the image pickup apparatus 1 by the communication TP5 or the communication TP7.
  • the person in charge can set the high and low of the priority.
  • the order is set in the image request list, and the image pickup apparatus 1 transmits images in the order according to the priority. This makes it possible to deliver highly needed images as soon as possible. This can also be applied to each of the following transmission patterns.
  • FIG. 11 shows the second transmission pattern.
  • Communication TP1 is the same as in FIG. 4, and meta information is transmitted from the image pickup apparatus 1 to the server apparatus 2.
  • the server device 2 does not derive the additional information as the above-mentioned processing PS1 at this point, and the communication TP2 transmits the received meta information as it is to the client terminal 3.
  • the client terminal 3 performs UI processing as the processing PS2, but in this case, since the additional information is not received, the display content is based only on the meta information as shown in FIG. 12A. For example, when the photographer, the shooting location, and the time are transmitted as meta information, the information of the cameraman (photographer) corresponding to each image, the shooting location, and the shooting time are displayed as the information content list 30. Further, a check box 31 and a thumbnail request button 32 corresponding to each information are displayed so that the person in charge can operate the information.
  • the thumbnail image request list is transmitted from the client terminal 3 in response to the operation on the screen of FIG. 12A.
  • the server device 2 transfers the thumbnail image request list to the image pickup device 1.
  • the image pickup apparatus 1 transmits the thumbnail image requested in the thumbnail image request list.
  • the server device 2 that has received the thumbnail image as the related information of the captured main image by the communication TP5 performs a process of obtaining additional information as the process PS4 at this time.
  • image analysis and object recognition processing are performed on the thumbnail image, and additional information is generated based on the result.
  • a player name can be obtained by performing face recognition, personal identification, identification of a uniform number, and the like. It is also possible to determine the competition type by object recognition of the subject and generate the competition name as additional information. According to these examples, some information is acquired by the recognition process using the thumbnail image, and it is used as additional information.
  • the server device 2 transmits the thumbnail image and the additional information determined from the thumbnail image to the client terminal 3.
  • the client terminal 3 performs UI processing using the thumbnail image received as the processing PS3.
  • the client terminal 3 can display the image based on the additional information together with the thumbnail image.
  • the client terminal 3 displays the received thumbnail image 38 on the display unit 77 as the display of the thumbnail list 34 as shown in FIG. 12B.
  • related / additional information 39 is also displayed as all or part of the meta information and additional information about each thumbnail image 38.
  • the competition name and the player name obtained as additional information are displayed together with the photographer's information obtained as meta information.
  • a check box 31 corresponding to each thumbnail image 38 and a main image request button 33 are displayed so that the person in charge can operate them.
  • the main image request list is transmitted from the client terminal 3 in response to the operation on the screen of FIG. 12B.
  • the server device 2 transfers the main image request list to the image pickup device 1.
  • the image pickup apparatus 1 transmits the main image requested in the main image request list.
  • the server device 2 transfers the main image as shown in FIG. 12C to the client terminal 3.
  • the second transmission pattern of FIG. 11 differs from the first transmission pattern of FIG. 4 in that the processing for the server device 2 to obtain additional information is based on the thumbnail image as the processing PS4.
  • the processing of the image pickup apparatus 1 and the server apparatus 2 for the second transmission pattern is as follows.
  • the processing of the image pickup apparatus 1 for the communication TP1 is as shown in FIG. 6 described above.
  • the processing of the server device 2 for the communication TP2 is as shown in FIG.
  • the control unit 2a confirms the reception of the meta information from the image pickup apparatus 1 in step S201. Then, when the meta information is received, the control unit 2a executes the loop processing LP2.
  • step S205 the control unit 2a performs a process of transmitting the meta information transmitted from the image pickup apparatus 1 to the client terminal 3.
  • the control unit 2a performs the processing of this step S205 for each image in the loop processing LP2, the meta information transmitted by the image pickup apparatus 1 for each image is transmitted to the client terminal 3.
  • the client terminal 3 side performs UI processing as processing PS2 as described above, and transmits a thumbnail image request list as communication TP3.
  • the processing of the server device 2 for the communication TP4 according to the thumbnail image request list is as shown in FIG. 8 above.
  • the processing of the image pickup apparatus 1 for the communication TP5 is as shown in FIG. 9 described above.
  • the processing of the server device 2 for the communication TP6 is as shown in FIG.
  • the control unit 2a of the server device 2 confirms the reception of the image from the image pickup device 1 in step S230.
  • the image referred to here is, for example, a thumbnail image or a main image.
  • the control unit 2a branches the process depending on whether the received image is a thumbnail image or a main image. Then, the control unit 2a executes the loop processing LP11 when the thumbnail image is received, and executes the loop processing LP11 when the main image is received.
  • the control unit 2a repeats the processing of steps S241, S242, and S243 as many times as the number of received thumbnail images.
  • step S241 the control unit 2a performs image recognition processing.
  • step S242 additional information is generated based on the result of the image recognition process.
  • additional information may be generated by performing a DB search based on the image recognition result.
  • step S243 the control unit 2a performs a process of transmitting the received image to the client terminal 3.
  • the server device 2 when the server device 2 receives one or a plurality of thumbnail images from the image pickup device 1, the server device 2 transfers additional information to the client terminal 3 together with them.
  • the client terminal 3 side performs UI processing as processing PS3 as described above, and transmits the main image request list as communication TP7.
  • the processing of the server device 2 for the communication TP8 according to the main image request list is as shown in FIG. 8 above.
  • the processing of the image pickup apparatus 1 that has received the main image request list by the communication TP8 is as shown in FIG. That is, by performing steps S124 and S125 of FIG. 9 for the images related to the requests listed in the main image request list, the transmission of the main image related to the image request list as the communication TP9 is executed.
  • the processing of the server device 2 for the communication TP10 is as shown in FIG.
  • the server device 2 receives one or a plurality of main images from the image pickup device 1, the server device 2 proceeds to the loop process LP12 from step S240 in FIG.
  • the control unit 2a repeats the processing of step S244 as many times as the number of received main images.
  • the control unit 2a performs a process of transmitting the received main image to the client terminal 3. Therefore, as the communication TP10, when the server device 2 receives one or a plurality of main images from the image pickup device 1, the server device 2 transfers them to the client terminal 3.
  • FIG. 15 shows a third transmission pattern.
  • Meta information is transmitted from the image pickup apparatus 1 to the server apparatus 2 as the communication TP1.
  • the server device 2 transmits the received meta information as it is to the client terminal 3.
  • the client terminal 3 performs UI processing as the processing PS2, but in this case, since the additional information is not received, the display content is based only on the meta information as shown in FIG. 16A. For example, the content is the same as in FIG. 12A.
  • the thumbnail image request list is transmitted from the client terminal 3 in response to the operation on the screen of FIG. 16A.
  • the server device 2 transfers the thumbnail image request list to the image pickup device 1.
  • the image pickup apparatus 1 transmits the thumbnail image requested in the thumbnail image request list.
  • the server device 2 transmits the thumbnail image to the client terminal 3 by the communication TP6.
  • the client terminal 3 performs UI processing using the thumbnail image received as the processing PS3. For example, the client terminal 3 displays the received thumbnail image 38 on the display unit 77 as the display of the thumbnail list 34 as shown in FIG. 16B. In this case, since the additional information is not transmitted, only the information based on the meta information, for example, the shooting location and the shooting time, is displayed as the related / additional information 39. Further, a check box 31 corresponding to each thumbnail image 38 and a main image request button 33 are displayed so that the person in charge can operate them.
  • the main image request list is transmitted from the client terminal 3 in response to the operation on the screen of FIG. 16B.
  • the server device 2 transfers the main image request list to the image pickup device 1.
  • the image pickup apparatus 1 transmits the main image requested in the main image request list.
  • the server device 2 transfers the main image as shown in FIG. 16C to the client terminal 3.
  • the third transmission pattern of FIG. 15 is different from the above-mentioned first transmission pattern and second transmission pattern in that the server device 2 does not perform the process of obtaining additional information.
  • the processing of the image pickup apparatus 1 and the server apparatus 2 for the third transmission pattern is as follows.
  • the processing of the image pickup apparatus 1 at the time of shooting is as shown in FIG. 6, and the processing at the time of receiving an image request is as shown in FIG.
  • the processing at the time of receiving the meta information of the server device 2 is as shown in FIG. 13, the processing at the time of receiving the image request is as shown in FIG. 8, and the processing at the time of receiving the image is as shown in FIG.
  • the whole procedure is the same as that of the third transmission pattern of FIG. 15, but it is an example when the image pickup apparatus 1 has the personal face registration function.
  • the image pickup apparatus 1 performs, for example, the processing shown in FIG.
  • the processing of the camera control unit 18 the processing of steps S101, S102, S103, and S104 of FIG. 17 is the same as that of FIG.
  • the camera control unit 18 performs personal face recognition processing as step S180 in FIG. For example, for each image recorded in step S103, personal face recognition processing is performed, a player who is a subject is specified, and the information is added to the meta information.
  • the meta information also includes player information.
  • the client terminal 3 can display the information content list 30 as shown in FIG. 16D based on the meta information. That is, player information can be displayed. This is very useful, for example, when the person in charge wants to select an image of a specific player.
  • the fifth communication pattern will be described with reference to FIG.
  • meta information including voice memo data is transmitted from the image pickup device 1 to the server device 2.
  • Voice memo data means that when an image is captured (for example, immediately after a release operation) or after recording on a recording medium, the voice is associated with the image as a memo by uttering a word that becomes a memo. It is data stored as one of the information.
  • This fifth communication pattern can be applied when the image pickup apparatus 1 has a voice memo function.
  • the server device 2 When the server device 2 receives the meta information including the voice memo data, it transmits it as the communication TP2 to the client terminal 3.
  • the client terminal 3 performs UI processing as the processing PS2, and in this case, the display content is the information content list 30 based only on the meta information as shown in FIG. 19A. However, since the meta information including the voice memo data is received, the voice reproduction icon 40 is displayed for the information content including the voice memo data. In the example of the figure, the voice reproduction icon 40 is displayed corresponding to each information content, assuming that the voice memo data exists for all the images. By operating the voice reproduction icon 40, for example, the voice output unit 78 reproduces the voice memo on the client terminal 3. When the cameraman appropriately records the voice memo, the person in charge of the client terminal 3 can perform image selection with reference to the voice memo.
  • steps S101, S102, S103, and S104 are the same as those in FIG.
  • the cameraman can arbitrarily add a voice memo to the captured image. If the cameraman does not perform an operation of recording a voice memo on the captured image, the process proceeds from step S110 to step S104, and is the same as in FIG.
  • the process of FIG. 20 proceeds from step S110 to step S111, and the camera control unit 18 performs the recording process. That is, it is a process of recording the voice input from the voice input unit 25 for a period of, for example, about 10 to 20 seconds according to a predetermined operation.
  • the camera control unit 18 causes the camera signal processing unit 13 to execute the encoding process of the input voice memo data.
  • step S113 the camera control unit 18 causes the recording control unit 14 to execute the recording process of the encoded voice memo data on the recording medium. Then, in step S114, the camera control unit 18 causes the communication unit 16 to execute the transmission process to the server device 2 in a state where the voice memo data is added to the meta information of the image.
  • the processing of the server device 2 for the communication TP2 when the meta information including the voice memo data is received is as shown in FIG.
  • the control unit 2a confirms the reception of the meta information from the image pickup apparatus 1 in step S201. Then, when the meta information is received, the control unit 2a executes the loop processing LP3.
  • step S206 the control unit 2a determines whether or not the voice memo data is included in the meta information and branches the processing. If the meta information does not include the voice memo data, the control unit 2a performs a process of transmitting the meta information transmitted from the image pickup apparatus 1 to the client terminal 3 in step S205. If the meta information includes voice memo data, the control unit 2a performs a process of transmitting the meta information including the voice memo data transmitted from the image pickup apparatus 1 to the client terminal 3 in step S207.
  • the control unit 2a performs the processing of steps S206 and S205 or steps S206 and S207 for each image in the loop processing LP3, so that the meta information transmitted by the image pickup apparatus 1 for each image is transmitted to the client terminal 3. Therefore, if voice memo data is added, it is also transmitted.
  • the sixth communication pattern will be described with reference to FIG.
  • the communication TP1 meta information including voice memo data is transmitted from the image pickup device 1 to the server device 2.
  • the server device 2 receives the meta information including the voice memo data
  • the server device 2 performs a transcription process of the voice memo as the processing PS5. That is, the information obtained by transcribing the voice memo data into the text data is generated.
  • the communication TP2 the meta information and the text information based on the voice memo data are transmitted to the client terminal 3.
  • the client terminal 3 performs UI processing as the processing PS2.
  • the information content list 30 includes the content of the meta information and the voice memo text 41 in which the voice memo data is converted into text. Will be able to be displayed.
  • the text information may be regarded as one of the additional information referred to in the present disclosure in the sense that it is generated by the server device 2, but since the content is the same as the voice memo data, the related information referred to in the present disclosure. You may think of it as.
  • Subsequent communication TP3 to communication TP10 and processing PS3 are the same as the third communication pattern.
  • the processing at the time of shooting of the image pickup apparatus capable of recording the voice memo data is as shown in FIG. 20 above.
  • the processing of the server device 2 for the communication TP2 when the meta information including the voice memo data is received is as shown in FIG. 24.
  • the control unit 2a confirms the reception of the meta information from the image pickup apparatus 1 in step S201. Then, when the meta information is received, the control unit 2a executes the loop processing LP4.
  • step S206 the control unit 2a determines whether or not the voice memo data is included in the meta information and branches the processing. If the meta information does not include the voice memo data, the control unit 2a performs a process of transmitting the meta information transmitted from the image pickup apparatus 1 to the client terminal 3 in step S205. If the meta information includes voice memo data, the control unit 2a performs a text conversion process of the voice memo data in step S208. Then, in step S209, the control unit 2a performs a process of transmitting the textualized data of the voice memo data transmitted from the image pickup apparatus 1 and other meta information to the client terminal 3.
  • the amount of transmitted data can be reduced by not transmitting the voice memo data itself.
  • the original voice memo data may be transmitted to the client terminal 3 together with the textualized data of the voice memo data so that the client terminal 3 can also reproduce the voice.
  • the control unit 2a performs the processing of steps S206 and S205, or steps S206, S208, and S209 for each image in the loop processing LP4, so that the meta information transmitted by the image pickup apparatus 1 for each image is transmitted to the client terminal 3. If voice memo data is added, it will be converted into text and sent.
  • ⁇ 8. 7th transmission pattern> As the seventh transmission pattern in FIG. 25, an example will be described in which continuous shooting is performed by the image pickup apparatus and a series of images are managed as grouping images.
  • the image pickup device 1 transmits meta information including a thumbnail image of the first image of the continuous shooting grouping image to the server device 2 as related information about the captured image.
  • the image pickup apparatus 1 transmits thumbnail images of the first image for each one or a plurality of continuous shooting grouping images, but not limited to the beginning, a certain image included in the continuous shooting grouping image is selected and the image is selected. It suffices if the thumbnail image of is sent.
  • the server device 2 transmits meta information including thumbnail images for each continuous shooting grouping image to the client terminal 3.
  • the client terminal 3 performs UI processing using thumbnail images of each received continuous shooting grouping image. For example, the client terminal 3 displays the thumbnail list 34 as shown in FIG. 26A. In this case, as for the continuous shooting grouping image, the thumbnail image of the continuous shooting grouping image (continuous shooting thumbnail image 42) is displayed. If the transmitted content includes a thumbnail image of an image obtained by a normal single image capture that is not continuous shooting, the thumbnail image 38 is displayed. Further, corresponding to the continuous shooting thumbnail image 42 and the thumbnail image 38, the information of the cameraman (photographer), the shooting time, the shooting location, and the like are displayed as the related / additional information 39 based on the meta information.
  • a check box 31 is arranged corresponding to the continuous shooting thumbnail image 42 and the thumbnail image 38 so that the person in charge on the client terminal 3 side can perform the selection operation. Further, the main image request button 33 and the expansion button 36 are displayed so that the person in charge can operate them.
  • Such a UI screen is a screen for the person in charge of the client terminal 3 to select an image requesting the main image from the thumbnail images, but for the continuous shooting grouping image, it is also possible to select an individual image. Has been done. For example, by selecting the continuous shooting thumbnail image 42 with the check box 31 and operating the expand button 36, the thumbnail images of the images constituting the continuous shooting can be viewed as shown in FIG. 26B.
  • the client terminal 3 transmits a request for the entire grouping image to the server device 2. That is, in the client terminal 3, the person in charge in the UI processing of the processing PS2 checks the check box 31 for a certain continuous shooting thumbnail image 42, and in response to operating the expansion button 36, all the checked continuous shooting grouping images. Generates and sends request information for the entire grouping image, including list information for the images in the group and information requesting those thumbnails.
  • the server device 2 transfers the request for the entire grouping image received from the client terminal 3 to the image pickup device 1.
  • the image pickup device 1 transmits the thumbnail images of the individual images included in the requested continuous shooting grouping image to the server device 2.
  • the server device 2 transfers the thumbnail image received from the image pickup device 1 to the client terminal 3.
  • the client terminal 3 performs UI processing using all the thumbnail images of the received grouping images. For example, the client terminal 3 displays each thumbnail image 43 of the continuous shooting grouping image on the display unit 77 as the development list 37 as shown in FIG. 26B. Further, it is preferable to display the related / additional information 39 corresponding to the entire continuous shooting grouping image. Further, a check box 31 is arranged corresponding to each thumbnail image 43 so that the person in charge on the client terminal 3 side can perform the selection operation. Further, the main image request button 33 is displayed so that the person in charge can operate it.
  • the person in charge of the client terminal 3 can select a part of the continuous shot images.
  • the client terminal 3 transmits the main image request list to the server device 2. That is, the client terminal 3 responds to the person in charge checking the check box 31 and operating the main image request button 33 in the UI processing of the processing PS6 or the processing PS7, and the list information of the images corresponding to the checked thumbnails. And, a main picture request list including information requesting those main pictures is generated and transmitted.
  • the server device 2 transfers the main image request list received from the client terminal 3 to the image pickup device 1.
  • the image pickup apparatus 1 transmits the main image of one or a plurality of images listed in the main image request list to the server device 2.
  • the server device 2 transfers the main image received from the image pickup device 1 to the client terminal 3. As a result, the main image 35 of FIG. 26C is delivered to the client terminal 3.
  • a thumbnail image representing the continuous shooting grouping image is transmitted so that the continuous shooting grouping image can be selected. Furthermore, it is possible to select individual images of continuous shooting grouping images. By doing so, instead of transferring a large amount of the main images continuously shot by the image pickup device 1 to the client terminal 3, the continuous shooting grouping image or individual image required by the person in charge of the client terminal 3 is used. It is possible to select and transfer the main image of the above, and the series of transfer is extremely efficient.
  • FIG. 25 shows the communication TP30 from the communication TP21 on the assumption that the continuous shooting is performed by the image pickup device 1, but when the continuous shooting image is not performed by the image pickup device 1, the communication TP30 is shown.
  • the communication TP10 is performed from the communication TP1 by any one of the above-mentioned first transmission pattern to the sixth transmission pattern.
  • the communication TP1, the processing PS1, the communication TP2, the processing PS2, the communication TP3, and the communication TP4 shown in FIG. 4 are performed before the communication TP21 in FIG. 25, and the communication TP4 is performed. It is also conceivable that the processing after the communication TP21 of FIG. 25 is performed on the image requested by the thumbnail image request list of FIG.
  • FIG. 27 An example of FIG. 27 can be considered as a process at the time of photographing of the image pickup apparatus 1 regarding the 7th transmission pattern.
  • the camera control unit 18 branches the process depending on whether or not continuous shooting is performed (whether or not the continuous shooting mode is set) in step S140. If it is not continuous shooting, the camera control unit 18 performs the processes from step S101 to step S104. This is the same process as in FIG.
  • the camera control unit 18 repeats the processing from step S141 to step S144 as the number of times of imaging by continuous shooting as the loop processing LP30.
  • the camera control unit 18 controls the imaging process of one image in continuous shooting.
  • the camera control unit 18 causes the image sensor unit 12 and the camera signal processing unit 13 to execute image signal processing of a still image.
  • step S142 the camera control unit 18 causes the camera signal processing unit 13 to execute the encoding process of the thumbnail image and the main image.
  • step S143 the camera control unit 18 causes the recording control unit 14 to record the thumbnail image and the main image on the recording medium.
  • step S144 the camera control unit 18 updates the group information management file. This is a process of updating the meta information associated with the continuous shooting grouping image for the file managed by the continuous shooting grouping image.
  • the camera control unit 18 After performing the above processing for the number of continuous shots, the camera control unit 18 proceeds to step S145, and causes the communication unit 16 to execute a meta information transmission process including the first thumbnail image of the continuous shot grouping image.
  • the communication TP1 of FIG. 4 is performed by the above processing.
  • the processing at the time of receiving the image request of the image pickup apparatus 1 is as shown in FIG. 28.
  • This is a process when the communication TP25 receives a request for a thumbnail image of the entire grouping image, the communication TP28 receives a main image request list, and the communication TP5 receives a thumbnail image request list as shown in the communication TP5.
  • step S120 the camera control unit 18 confirms the reception of the image request list from the server device 2. Then, when the image request list is received, the camera control unit 18 executes the loop processing LP21.
  • the camera control unit 18 repeats the following processing for the number of images related to the requests listed in the image request list. First, in step S131, the camera control unit 18 determines whether or not the image request list is a thumbnail image request list.
  • the camera control unit 18 causes the recording control unit 14 to read the thumbnail image of one image included in the request from the recording medium in step S122. Then, in step S123, the camera control unit 18 performs a process of transmitting the thumbnail image read from the recording medium to the server device 2 via the communication unit 16. Repeat this for the number of requested images.
  • the camera control unit 18 determines in step S132 whether or not the image request list is the main image request list. In the case of the main image request list, the camera control unit 18 causes the recording control unit 14 to read out the main image of one image included in the request from the recording medium in step S124. Then, in step S125, the camera control unit 18 performs a process of transmitting the main image read from the recording medium to the server device 2 via the communication unit 16. Repeat this for the number of requested images.
  • the camera control unit 18 determines in step S133 whether or not the request is for the entire grouping image. In that case, the camera control unit 18 performs the loop processing LP22. In the loop processing LP22, steps S126 and S127 are repeated according to the number of images constituting the corresponding continuous shooting grouping image. To be precise, the thumbnail image of the first image has already been transmitted, so the processing may be repeated for the second and subsequent images.
  • step S126 the recording control unit 14 causes the recording medium to read the thumbnail image of the untransmitted image among the continuous shooting grouping images. Then, in step S127, the camera control unit 18 performs a process of transmitting the thumbnail image read from the recording medium to the server device 2 via the communication unit 16.
  • the thumbnail image or the main image related to the image request list is transmitted.
  • Image transmission as communication TP25, communication TP29 (or communication TP9), and communication TP5 will be performed.
  • the processing at the time of receiving the meta information of the server device 2 is as shown in FIG. 13, the processing at the time of receiving the image request is as shown in FIG. 8, and the processing at the time of receiving the image is as shown in FIG.
  • the transmission pattern itself may be switched, such as automatically switching from the first transmission pattern to the seventh transmission pattern, but this is not the only case.
  • meta information and additional information are transmitted on the first round trip to execute selection on the client terminal 3
  • thumbnail images are transmitted on the second round trip to execute selection on the client terminal 3.
  • the initial information transfer process is performed twice, but an example of performing the main image transfer process after only one round trip, or performing the main image transfer process from the beginning without performing the initial information transfer process.
  • switching such as reducing or adding transmission pattern procedures.
  • the focus is mainly on switching transmission patterns, but it should be understood that it can also be applied to switching procedures within a transmission pattern.
  • FIG. 29 shows an example I of the switching process.
  • the server device 2 determines the situation and determines the transmission pattern to be executed according to the situation. As described above, it is also possible to make a decision to change the procedure in a certain transmission pattern (for example, omit the initial information transfer process or limit the initial information transfer process to only one round trip).
  • the server device 2 notifies the image pickup device 1 of the determined transmission pattern.
  • -Processing PS11 The image pickup apparatus 1 performs setting processing for image delivery according to the notified transmission pattern.
  • the camera control unit 18 makes the following settings.
  • the setting is made to transmit only the meta information at the time of image transfer.
  • the fifth and sixth transmission patterns it is set to transmit meta information including voice memo data at the time of image transfer.
  • the setting is made to transmit the thumbnail image of the first image for the continuous shooting grouping image.
  • the server device 2 notifies the client terminal 3 of the determined transmission pattern.
  • -Processing PS12 The client terminal 3 performs UI processing indicating the notified transmission pattern.
  • the order of the above communication TP40 and communication TP41 may be reversed. It is also conceivable that one or both of the communication TP40 and the communication TP41, and the processing PS11 and the processing PS12 corresponding thereto are not performed.
  • FIG. 30 shows an example of processing of the server device 2 for performing such switching processing.
  • the control unit 2a determines the situation. For example, the communication status such as the current transfer rate and the packet error rate, the number of connected image pickup devices 1, the processing load of the server device 2 itself, and the like are determined.
  • the control unit 2a branches the process depending on whether or not switching should be performed as a result of the status determination. If the control unit 2a does not perform the switching, the process of FIG. 30 ends, but if the switching is performed, the process proceeds to step S302.
  • step S302 the control unit 2a determines the transmission pattern according to the determined situation. For example, if the communication status with the image pickup device 1 is good, the first transmission pattern is used, if it is deteriorated, the third transmission pattern is used, or when the processing load of the server device 2 itself is light, the first or second transmission pattern is used. When the transmission pattern and the processing load are heavy, it is conceivable to use a third transmission pattern.
  • step S303 the control unit 2a performs a process of notifying the image pickup apparatus 1 of the transmission pattern, and in step S304, performs a process of notifying the client terminal 3 of the transmission pattern.
  • an appropriate transmission pattern is selected according to the communication status, the processing load status, and the like. Specific examples of switching according to various situation judgments are given.
  • the server device 2 needs to generate additional information.
  • the sixth transmission pattern requires a text conversion process. Therefore, if the information for generating additional information has not been created, or if the DB cannot be accessed, or if the text conversion process is not possible, the third, fourth, and fifth transmission patterns are set, and these additional information generation, etc. If it is possible, set it to the first, second, and sixth transmission patterns.
  • a large number of client terminals 3 request an image list
  • images are received from a large number of cameras, it is desired to reduce the amount of data to be transmitted in order to reduce the network load on the server device 2 side. For example, in the case of continuous shooting images, we want to reduce the amount of data by sending the first image.
  • the network load on the server device 2 side is high, it may be switched to the seventh transmission pattern, and if the network load on the server device 2 side is low, it may be switched to the third transmission pattern. Further, when a large amount of meta information is received from a large number of image pickup devices 1 side, the data creation processing load on the server device 2 side increases. Therefore, when the interface processing on the server device 2 side or the processing load of the CPU 71 is high, the processing is switched to the third and fourth transmission patterns, and when the interface processing on the server device 2 side and the processing load of the CPU 71 are low, the first and second transmission patterns are switched. , It is conceivable to switch the processing to the fifth transmission pattern.
  • the server device 2 notifies the client terminal 3 of the transmission pattern, so that the client terminal 3 displays the pattern information 44 as shown in FIGS. 31A and 31B, for example. Then, it is possible to present to the person in charge what kind of transmission pattern the image transfer is performed.
  • 31A is an example of the display state of the processed PS12 before the start of transfer
  • FIG. 31B is an example of the display state of the processed PS2 of FIG. 16, for example.
  • As the pattern information 44 for example, as shown in FIG. 31C, it is conceivable to indicate the content and order of the information transmitted to the client terminal 3.
  • the server device 2 automatically performs the switching by the status determination process, but the person in charge of the client terminal 3 may be asked whether or not the switching is possible.
  • the confirmation dialog 45 is displayed on the client terminal 3, and the transmission pattern is switched when the person in charge approves the switching.
  • the figure shows an example of asking the person in charge for consent when switching according to the network environment.
  • the server device 2 performs the process as shown in, for example, FIG. 33 in step S301 of FIG.
  • step S310 the control unit 2a performs a network status determination process. For example, when it is determined that the transfer rate is low and the information transfer is low, the control unit 2a proceeds from step S311 to step S313 and transmits a switching recommendation notification to the client terminal 3. In response to this, the client terminal 3 displays the confirmation dialog 45 as shown in FIG. 32. Then, in step S314, the response notification from the client terminal 3 side is awaited.
  • the process proceeds from step S314 to steps S301 and S302 in FIG. 30 to switch the transmission pattern.
  • the process proceeds from step S314 to step S301 of FIG. 30, and the process of FIG. 30 is terminated assuming that the transmission pattern is not switched.
  • step S310 When, for example, it is determined in the network status determination process of step S310 that the transfer rate has increased and the information transfer has been restored to a high-speed state, the control unit 2a proceeds from step S312 to step S315 to the client terminal 3. And send a switch recommendation notification. In response to this, the client terminal 3 displays a confirmation dialog 45 prompting the user to switch to the transmission pattern under good communication conditions. Then, the control unit 2a waits for the reply notification from the client terminal 3 side in step S316. When the person in charge performs an operation to approve the switching and the client terminal 3 notifies to that effect, the process proceeds from step S316 to steps S301 and S302 in FIG. 30 to switch the transmission pattern. When the person in charge performs an operation that does not approve the switching and the client terminal 3 notifies to that effect, the process proceeds from step S316 to step S301 of FIG. 30, and the process of FIG. 30 is terminated assuming that the transmission pattern is not switched.
  • the transmission pattern switching process may be performed based on both the result of the situation determination and the intention of the person in charge of the client terminal 3. This makes it possible to prevent inappropriate switching depending on the circumstances of the client terminal 3.
  • sports information (competition type information) to be photographed is input by, for example, an operation of a cameraman, and the competition type is included as meta information in the image pickup apparatus 1.
  • the image pickup device 1 transmits meta information including sports information to be photographed to the server device 2 at some timing.
  • the timing of transmission may be immediately after the processing PS20, or may be the time when the meta information is first transmitted in the first transmission pattern or the like.
  • the server device 2 determines the transmission pattern based on the sports information included in the received meta information. After that, the notification of the transmission pattern set as the communication TP40 and the communication TP41 is performed in the same manner as in the above-mentioned switching processing example I.
  • the processing PS11 in the image pickup apparatus 1 and the processing PS12 in the client terminal 3 are also performed in the same manner.
  • step S320 the control unit 2a confirms whether or not the image pickup device 1 has received the notification of the photographing target, that is, the sports information.
  • the control unit 2a proceeds to step S321 and determines whether or not the competition to be photographed is a competition for which additional information can be acquired. For example, in athletics where a schedule (timetable) is fixed, it is possible to obtain information on the athlete who is the subject of the image by DB search as additional information, but in marathons and soccer, the information on the image can be obtained. It is difficult to identify the player shown in the image from the meta information (for example, time and place) by the DB search.
  • step S322 if the competition is such that additional information can be acquired by DB search, the control unit 2a proceeds to step S322 and selects the first transmission pattern. On the other hand, if it is a competition in which it is difficult to acquire additional information by DB search, the control unit 2a proceeds to step S323 and selects a third transmission pattern. Then, the control unit 2a proceeds from step S322 or step S323 to step S324 to notify the image pickup apparatus 1 of the transmission pattern, and in step S325, notify the client terminal 3 of the transmission pattern.
  • the project information is notified from the client terminal 3 as the communication TP50.
  • the project information is, for example, information in which a camera ID that identifies an image pickup device 1 is associated with what kind of competition the image pickup device 1 shoots when. Alternatively, it may be information that associates the cameraman information with what competition the cameraman shoots when.
  • the server device 2 performs a process of registering the received project information as the process PS30.
  • the image pickup device 1 transmits meta information including time information, camera ID, or cameraman information to the server device 2 as communication TP51 at some timing.
  • the transmission timing may be, for example, when the meta information is first transmitted in the first transmission pattern or the like.
  • the server device 2 refers to the registered project information from the time information, the camera ID, or the cameraman information included in the received meta information, and estimates the competition type to be photographed by the image pickup device 1. do. Then, the transmission pattern is determined depending on whether or not the competition type is a competition to which additional information can be given. After that, the notification of the transmission pattern set as the communication TP40 and the communication TP41 is performed in the same manner as in the switching process Example I. The processing PS11 in the image pickup apparatus 1 and the processing PS12 in the client terminal 3 are also performed in the same manner.
  • step S330 of FIG. 37 the control unit 2a confirms the reception of the project information from the client terminal 3. If received, the process proceeds to step S331 to register the project information. That is, after that, the project information is stored in a predetermined storage unit (for example, storage unit 79) so that the project information can be referred to.
  • a predetermined storage unit for example, storage unit 79
  • step S332 of FIG. 38 the control unit 2a confirms whether or not the meta information has been received from the image pickup apparatus 1. In this case, it is confirmed that the meta information including the time information, the camera ID, or the cameraman information is received. When the corresponding meta information is received, the control unit 2a proceeds to step S333 and estimates the competition type to be photographed. That is, the competition type is estimated by collating the meta information with the project information.
  • step S321 the control unit 2a determines whether or not the estimated competition to be photographed is a competition for which additional information can be acquired. Then, in the case of a competition in which additional information can be acquired by DB search, the control unit 2a proceeds to step S322 and selects the first transmission pattern. On the other hand, if it is a competition in which it is difficult to acquire additional information by DB search, the control unit 2a proceeds to step S323 and selects a third transmission pattern. Then, the control unit 2a proceeds from step S322 or step S323 to step S324 to notify the image pickup apparatus 1 of the transmission pattern, and in step S325, notify the client terminal 3 of the transmission pattern.
  • FIG. 39 shows the eighth transmission pattern.
  • the image pickup apparatus 1 transmits a proxy moving image to the server apparatus 2.
  • a proxy video is a video with a smaller amount of data, such as a lower resolution, than the video for delivery.
  • the server device 2 transmits the received proxy video to the client terminal 3.
  • the client terminal 3 performs UI processing using the received proxy video. For example, the client terminal 3 executes the display as shown in FIG. 40 on the display unit 77. That is, the proxy video reproduction image 46 and the video timeline 47 are displayed. On the timeline 47, a representative image and an audio waveform at each time point extracted from the proxy moving image are displayed. Further, on the timeline 47, the person in charge can specify the required section DK. Further, the moving image request button 48 is displayed so that the person in charge can operate it.
  • Such a UI screen is performed so that the person in charge of the client terminal 3 first confirms the reproduced image of the proxy video and specifies a section required for the main video.
  • the person in charge operates the video request button 48 after designating the section DK.
  • the CPU 71 of the client terminal 3 performs such display control of the UI screen and detection of the input of the person in charge corresponding to the display control.
  • the client terminal 3 transmits a partial clip request for this moving image to the server device 2. That is, the client terminal 3 generates information requesting a moving image of the section DK specified by the person in charge in the UI processing of the processing PS40, and transmits it.
  • the server device 2 transfers a partial clip request of this moving image received from the client terminal 3 to the image pickup device 1.
  • the image pickup apparatus 1 In response to receiving a partial clip request for this moving image, the image pickup apparatus 1 performs a process of creating a clip obtained by cutting out a designated section from this moving image. ⁇ Communication TP75 The image pickup apparatus 1 transmits a partial clip of this moving image generated by the processing PS41 to the server apparatus 2.
  • the server device 2 transfers a part of the clip of this moving image received from the image pickup device 1 to the client terminal 3. As a result, this moving image of the scene required by the person in charge is delivered to the client terminal 3.
  • the proxy video is transferred as the initial information transfer process, and the required section is specified on the client terminal 3 side. Accordingly, as the main image transfer process, a part of the clip of the main video in the required section is transferred.
  • FIG. 41 shows an example of processing at the time of moving image recording of the image pickup apparatus 1 for the eighth transmission pattern.
  • the camera control unit 18 of the image pickup apparatus 1 performs a moving image recording process as the loop process LP50 of FIG. 41. That is, in step S401, steps S402 and S403 are controlled for each frame until the recording stop request is detected.
  • the camera control unit 18 causes the camera signal processing unit 13 to execute frame image data and audio data encoding processing.
  • the camera control unit 18 causes the recording control unit 14 to record frame image data, audio data, and meta information on a recording medium.
  • the camera control unit 18 proceeds to step S405 and controls reading of the proxy moving image of the recorded moving image.
  • the recording control unit 14 executes the moving image reading, and the camera signal processing unit 13 performs low-resolution conversion so that the proxy moving image is generated.
  • the camera control unit 18 controls the communication unit 16 so that the proxy moving image is transmitted.
  • the communication TP71 of FIG. 39 is performed by the above processing.
  • FIG. 42 shows the processing of the server device 2 for the communication TP72 of FIG. 39.
  • the control unit 2a of the server device 2 confirms the reception of the proxy moving image from the image pickup device 1 in step S501. Then, when the proxy video is being received, the control unit 2a executes the process of transmitting the proxy video to the client terminal 3 in step S502.
  • the client terminal 3 side performs UI processing as processing PS40 as described above, and transmits a partial clip request of this moving image as communication TP73.
  • the processing of the server device 2 for the communication TP74 in response to the partial clip request of this moving image is the same as that in FIG. 8 described above.
  • FIG. 43 shows an example of processing for the processing PS41 and communication TP75 of the image pickup apparatus 1.
  • the camera control unit 18 confirms the reception of the moving image request from the server device 2. Then, when the moving image request list is received, the camera control unit 18 executes the loop processing LP60.
  • the camera control unit 18 repeats the processing of steps S431 to S442 as many times as necessary (the number of requested moving images) according to the content of the moving image request.
  • the camera control unit 18 determines whether the video request content is a proxy video or the main video (a partial clip request for the video), and branches the process. It should be noted that the case where the proxy moving image is requested occurs in the ninth transmission pattern and the tenth transmission pattern described later, and the processing of steps S432 to S434 will be described later.
  • step S440 the camera control unit 18 causes the recording control unit 14 to read the moving image from the recording medium.
  • step S441 the camera control unit 18 causes, for example, the camera signal processing unit 13 to perform a cutout process of a requested section from the moving image read from the recording medium.
  • step S442 the camera control unit 18 performs a process of transmitting a part of the clip of this moving image generated by the cutting process to the server device 2 via the communication unit 16.
  • FIG. 44 shows the processing of the server device 2 for the communication TP76.
  • the control unit 2a of the server device 2 confirms the reception of the moving image from the image pickup device 1 in step S530. Then, when the moving image is received, the control unit 2a performs a process of transmitting the received moving image to the client terminal 3 in step S531. As a result, a part of the clip of this moving image is delivered to the client terminal 3.
  • the ninth transmission pattern will be described with reference to FIG. -Communication TP81
  • the image pickup device 1 transmits a sound-only file to the server device 2 for moving images.
  • the sound-only file is a file containing only audio data recorded at the time of video recording.
  • the server device 2 transmits only the received sound file to the client terminal 3.
  • the client terminal 3 performs UI processing using only the received sound file. For example, the client terminal 3 executes the display as shown in FIG. 46A on the display unit 77. In this case, since only the sound file is received, the proxy moving image reproduction image 46 cannot be reproduced and becomes a blank image. Only the voice waveform is displayed as the timeline 47. Further, the proxy video request button 49 is displayed so that the person in charge can operate it.
  • Such a UI screen is performed so that the person in charge of the client terminal 3 first roughly specifies a necessary section from the timeline 47 of the voice waveform. From the voice waveform, for example, it is possible to determine a section where the audience is excited. The person in charge operates the proxy video request button 49 after designating the section DKA.
  • the CPU 71 of the client terminal 3 controls the display of the UI screen and detects the input of the person in charge accordingly.
  • the client terminal 3 transmits a partial clip request for the proxy video to the server device 2. That is, the client terminal 3 generates information requesting the proxy video of the section DKA designated by the person in charge in the UI processing of the processing PS42, and transmits it.
  • the server device 2 transfers a partial clip request of the proxy moving image received from the client terminal 3 to the image pickup device 1.
  • the image pickup apparatus 1 performs a process of creating a clip of the proxy moving image by cutting out a designated section in response to receiving a partial clip request of the proxy moving image.
  • ⁇ Communication TP85 The image pickup apparatus 1 transmits a partial clip of the proxy moving image generated by the processing PS43 to the server apparatus 2.
  • the server device 2 transmits the received proxy video to the client terminal 3 as the communication TP72.
  • the communication TP72 and later are the same as the communication TP72 and later shown in FIG. 39.
  • the UI display as shown in FIG. 46B is executed as the processing PS40. This is the same display content as in FIG. 40. However, in this case, it is different from the example of FIG. 39 that the proxy moving image of the section specified by the processing PS42 is used instead of the proxy moving image of the entire moving image recorded by the image pickup apparatus 1. Since communication TP73 and later are repeated, the description thereof will be omitted.
  • the section is roughly specified by the sound only file
  • the proxy video is transmitted accordingly
  • the proxy video is confirmed on the client terminal 3 side, and the necessary section is specified. Accordingly, as the main image transfer process, a part of the clip of the main video in the required section is transferred.
  • FIG. 47 shows an example of processing at the time of moving image recording of the image pickup apparatus 1 for the ninth transmission pattern.
  • the camera control unit 18 of the image pickup apparatus 1 performs a moving image recording process as a loop process LP50 as in FIG. 41.
  • the camera control unit 18 proceeds to step S410 and controls reading only the audio data of the recorded moving image.
  • the recording control unit 14 reads only the audio data from the moving image files, and the camera signal processing unit 13 causes the camera signal processing unit 13 to generate only the sound file.
  • step S411 the camera control unit 18 controls the communication unit 16 so that only the sound is transmitted.
  • the communication TP81 of FIG. 45 is performed by the above processing.
  • FIG. 48 shows the processing of the server device 2 for the communication TP82.
  • the control unit 2a of the server device 2 confirms the reception of the sound-only file from the image pickup device 1 in step S511.
  • the control unit 2a executes the process of transmitting the sound-only file to the client terminal 3 in step S512.
  • the client terminal 3 side performs UI processing as processing PS42 as described above, and transmits a partial clip request of the proxy video as communication TP83.
  • the processing of the server device 2 for the communication TP84 in response to the partial clip request of the proxy moving image is the same as that in FIG. 8 described above.
  • the processing for the processing PS43 and the communication TP85 of the image pickup apparatus 1 is performed according to FIG. 43 described above. That is, when a partial clip request for the proxy moving image is received, the process proceeds from step S431 to step S432 in FIG. 43.
  • step S432 the camera control unit 18 causes the recording control unit 14 to read the proxy moving image from the recording medium.
  • step S433 the camera control unit 18 causes, for example, the camera signal processing unit 13 to execute the cutout process of the requested section from the proxy moving image read from the recording medium.
  • step S434 the camera control unit 18 performs a process of transmitting a partial clip of the proxy moving image generated in the cutout process to the server device 2 via the communication unit 16.
  • the processing of the server device 2 and the image pickup device 1 after the communication TP72 in FIG. 45 is the same as that described in the eighth transmission pattern.
  • the tenth transmission pattern will be described with reference to FIG. ⁇ Communication TP91
  • the image pickup device 1 transmits a meta time series file of the moving image to the server device 2.
  • the meta time-series file is a data file in which meta information (for example, shooting position information) generated at the time of video recording can be presented in time series.
  • the server device 2 transmits the received meta time series file to the client terminal 3.
  • the client terminal 3 performs UI processing using the received meta time series file. For example, the client terminal 3 executes a display based on the meta time series file as shown in FIG. 50 on the display unit 77. For example, as a meta time-series file, when it is possible to determine a change in shooting position information on the time series, a map image 50 or time-series information 51 corresponding to the shooting position information is displayed. In the map image 50, each shooting position is indicated by a marker. The time-series information 51 shows the time and the shooting position information in chronological order. As the timeline 47, only the one showing the section length is displayed. In the timeline 47, it is desirable to display the position at each time point. The proxy video request button 49 is also displayed so that the person in charge can operate it.
  • Such a UI screen is performed so that the person in charge of the client terminal 3 can roughly specify a section in which a necessary subject is considered to be captured from the shooting position.
  • the person in charge can determine the moving image section that may have been shot for the event.
  • the person in charge operates the proxy video request button 49 after designating the section DKP.
  • the CPU 71 of the client terminal 3 controls the display of the UI screen and detects the input of the person in charge accordingly.
  • the client terminal 3 As the communication TP83, the client terminal 3 generates information requesting the proxy video of the section DKP specified by the person in charge in the UI processing of the processing PS44, and transmits it. Since the communication TP83 and later are the same as the ninth transmission pattern shown in FIG. 45, the description thereof will be omitted.
  • the section is roughly specified by the time series information
  • the proxy video is transmitted accordingly
  • the proxy video is confirmed on the client terminal 3 side, and the necessary section is specified. Accordingly, as the main image transfer process, a part of the clip of the main video in the required section is transferred.
  • FIG. 51 shows an example of processing at the time of moving image recording of the image pickup apparatus 1 for the tenth transmission pattern.
  • the camera control unit 18 of the image pickup apparatus 1 performs a moving image recording process as a loop process LP50 as in FIG. 41.
  • the camera control unit 18 proceeds to step S420 and controls reading of time-series data of meta information about the recorded moving image.
  • the recording control unit 14 reads out the meta information about the moving image file, and the camera signal processing unit 13 causes the camera signal processing unit 13 to generate a time-series file.
  • step S421 the camera control unit 18 controls the communication unit 16 so that the time-series file is transmitted.
  • the communication TP91 of FIG. 49 is performed by the above processing.
  • FIG. 52 shows the processing of the server device 2 for the communication TP92.
  • the control unit 2a of the server device 2 confirms the reception of the time-series file from the image pickup device 1 in step S521. Then, when the time-series file is being received, the control unit 2a executes the process of transmitting the time-series file to the client terminal 3 in step S522.
  • the client terminal 3 side performs UI processing as processing PS44 as described above, and transmits a partial clip request of the proxy video as communication TP83. Subsequent processing of the server device 2 and the image pickup device 1 is the same as that described in the eighth and ninth transmission patterns.
  • the control unit 2a of the server device 2 of the embodiment is based on the related information in response to receiving the related information that is associated with the image captured by the image pickup device 1 and has a smaller amount of data than the image.
  • the initial information transfer process is performed to obtain additional information and transmit the related information and additional information to the client terminal 3. Further, the control unit 2a transmits an image transmitted from the image pickup apparatus 1 to the client terminal 3 in response to the request information generated by the selection process in the client terminal 3 based on the transmission of related information or additional information. Perform transfer processing.
  • the server device 2 By performing such processing by the server device 2, for example, an image that does not increase the network load and the storage capacity load of the system at the site where immediate delivery after shooting such as news reports is required, and does not cause a transfer delay due to them. While realizing the transfer, the high-definition main image required on the client terminal 3 side can be appropriately transferred. Further, since the client terminal 3 can execute the presentation based on the related information, it is possible to provide an environment in which the person in charge can easily and appropriately select the necessary image.
  • the information processing device as the server device 2 and the client terminal 3 include a personal computer device, a tablet-type information processing device, a mobile phone device, a game device, an audio device, a video device, a communication device, and a television device.
  • a personal computer device a tablet-type information processing device
  • a mobile phone device a game device
  • an audio device a video device
  • a communication device a communication device
  • a television device Various examples such as server equipment are assumed.
  • a device capable of performing calculations as information processing for example, a device having a built-in microcomputer can be realized as the information processing device of the present disclosure.
  • the MEC 5 may have a function of replacing the server device 2 in the embodiment. Further, the MEC 5 may have a part of the function (transmission function) of the image pickup apparatus 1.
  • the server device 2 of the embodiment has given an example of obtaining additional information by performing a DB search based on related information (for example, meta information) in the initial information transfer process (see the first transmission pattern).
  • related information for example, meta information
  • DB search based on related information (for example, meta information) in the initial information transfer process
  • an image having a smaller amount of data (for example, a thumbnail image) representing an image captured by the image pickup device 1 is included as related information, and the server device 2 uses the related information in the initial information transfer process.
  • An example of obtaining the additional information by image recognition processing on the included image is given (see the second transmission pattern).
  • the server device 2 of the embodiment includes a plurality of first and second transmission patterns to which additional information is added and transmission patterns (second to tenth transmission patterns) to which additional information is not added as initial information transfer processing. It was stated that the transmission pattern switching process is performed. Since there are environments, situations, image (subject) contents, etc. that are not suitable for transferring additional information, it is not always appropriate for the server device 2 to perform processing for obtaining additional information. Therefore, in some cases, by preventing the server device 2 from performing the process of obtaining additional information, it becomes possible to execute the process suitable for the situation and circumstances. This also contributes to reducing the server load and improving network efficiency.
  • the server device 2 performs a process of transmitting voice information included in related information to a client terminal 3 as a transmission of a predetermined transmission pattern which is one of a plurality of transmission patterns. (Refer to the fifth transmission pattern).
  • a voice memo associated with a still image or a moving image is transmitted from the image pickup device
  • the server device 2 transfers the voice memo to the client terminal 3 at the time of initial information transfer processing, so that the client terminal 3 has a voice memo.
  • the person in charge can play the voice memo and select an image. This makes it possible to provide an environment in which more desirable image selection can be performed.
  • the server device 2 converts the voice information included in the related information into text data as transmission of a predetermined transmission pattern which is one of the plurality of transmission patterns, and transmits the text data to the client terminal 3.
  • a predetermined transmission pattern which is one of the plurality of transmission patterns
  • An example of performing the processing is given (see the sixth transmission pattern).
  • the server device 2 converts the voice memo into text data and transfers the voice memo to the client terminal 3 at the time of the initial information transfer process.
  • the amount of data can be reduced compared to voice information.
  • since the content of the voice memo is displayed by the text it is not necessary for the person in charge of the client terminal 3 to play the voice memo, and it is possible to provide an environment in which the image can be selected more easily.
  • an example in which the server device 2 performs the switching process according to the determination result of the communication status is given (see the switching process example I).
  • image transfer can be performed according to the situation at that time. It will be possible. Especially when transferring sports images, the communication environment may fluctuate outdoors. In addition, at large-scale sporting events, there are many reporters, etc., and it is possible that the transmission line will be congested. By selecting an appropriate transmission pattern according to such a situation, it is suitable to maintain an appropriate transfer state in real time.
  • the network state will change particularly between the image pickup apparatus 1 and the server apparatus 2. This is because factors such as the position of the cameraman, movement, area of the venue for events such as sports, location, equipment, and situation are added. Therefore, it is conceivable to switch the transmission pattern from the viewpoint of whether or not the related information is transferred in order to obtain the additional information. For example, when obtaining additional information by image analysis, it is possible to switch between requesting a thumbnail image from the image pickup device 1 and eliminating the need to transmit the thumbnail image by not obtaining the additional information, depending on the communication status. The amount of data can be adjusted.
  • the processing is not limited to the switching process between the transmission pattern including additional information (for example, the first or second transmission pattern) and the transmission pattern not including the additional information (for example, the third to seventh transmission patterns), depending on the communication status.
  • switching within the third to seventh transmission patterns may be performed.
  • the switching from any one of the first to seventh transmission patterns to one of the eighth transmission pattern to the tenth transmission pattern may be performed, and further, the moving image may be performed.
  • the 8th transmission pattern to the 10th transmission pattern may be switched according to the communication status.
  • an example in which the server device 2 performs the switching process based on the information of the photographing target notified from the image pickup device 1 is given (see the switching process example II).
  • additional information may not be obtained properly.
  • the additional information is used as the player name
  • the competition has a fixed schedule, the player name can be obtained by performing a DB search from the date, time, place, etc. of the imaging, but there are some competitions in which such a situation cannot be obtained. ..
  • processing for acquiring additional information may reduce the processing efficiency. Therefore, it is preferable to switch the transmission pattern according to the information of the competition type as in the switching processing example II.
  • the server device 2 performs the estimation processing of the photographing target by the imaging device 1 and performs the switching processing based on the estimated information of the imaging target (see the switching processing example III). It may be appropriate to switch the transmission pattern depending on the type of competition. For example, in the switching process example III, the project information is registered in advance. As a result, it is possible to estimate the competition type of the shooting target based on the time information, the camera ID, the cameraman information, etc. with the meta information as the related information of the image. By switching the transmission pattern by this estimation process, transfer suitable for the competition type can be executed.
  • the server device 2 performs a process of notifying the client terminal 3 or the image pickup device 1 of the transmission pattern of the initial information transfer process set by the switching process (switching process examples I, II, See III).
  • switching process examples I, II, See III For example, in the image pickup apparatus 1, it is possible to set the information content to be transmitted according to the notification of the transmission pattern.
  • the first transmission it is possible to set whether to transmit meta information or a thumbnail image, what kind of meta information is to be transmitted, and the like.
  • the switching process not only the transmission pattern for acquiring additional information and the transmission pattern for not acquiring additional information are switched, but also, for example, which of the first transmission pattern to the tenth transmission pattern is used can be switched.
  • notifying the image pickup apparatus 1 of the transmission pattern is useful for cooperative control. Further, by notifying the client terminal 3 of the transmission pattern of the initial information transfer process, for example, the display as shown in FIG. 31 can be made, and the person in charge can easily grasp what kind of transfer is being performed.
  • the related information is the meta information associated with the image captured by the image pickup apparatus 1. That is, it is the information associated with the image on the image pickup device 1 side and transmitted to the server device 2. For example, information on the image pickup device 1, information on the cameraman, information on the image pickup location and time, information on image analysis on the image pickup device 1 side, various parameters related to image pickup operation and processing, sensing information of various sensors in the image pickup device 1 at the time of image pickup, Various information such as image data / file information, thumbnail images, screen nail images, text information associated with images by photographers, and voice memo information are assumed. These meta information are useful information for presenting the image content and obtaining additional information about the image.
  • the related information is an image having a smaller amount of data, which represents an image captured by the image pickup apparatus 1.
  • images with a smaller amount of data include thumbnail images, screen nail images, proxy moving images, and the like.
  • Thumbnail images, proxy moving images, and the like which have a smaller amount of data than the main image, are extremely useful information for the person in charge of the client terminal 3, for example, to determine the content of the main image. It is also useful as information for obtaining additional information by image analysis.
  • the related information is an image representing a grouping image continuously shot and captured by the image pickup apparatus 1 (see the seventh transmission pattern).
  • a series of images obtained by continuous shooting is used as a grouping image
  • an image that expresses the entire image as a single image for example, a thumbnail image of the first image
  • Grouped images by continuous shooting have a large number of images and a large amount of data, but the image contents of the subject are almost the same. Therefore, it can be expressed by a representative thumbnail image or the like, and it is desirable to transmit such a thumbnail image by the initial information transfer processing in order to improve the processing efficiency and reduce the network load.
  • the related information is audio information recorded together with the moving image by video imaging (see the ninth transmission pattern).
  • the server device 2 receives only the sound file recorded at the same time as the moving image recording as related information and transmits it to the client terminal 3.
  • the person in charge of the client terminal 3 confirms the content of the moving image and becomes useful information for specifying a necessary scene.
  • the related information is time-series data at the time of imaging of a moving image (see the tenth transmission pattern).
  • the time-series data of the moving image is useful information for the person in charge of the client terminal 3 to confirm the content of the moving image and identify a necessary scene.
  • the server device 2 of the embodiment has, as an initial information transfer process, a process of transmitting the first related information to the client terminal 3 with or without additional information, and a transmission including the first related information.
  • the process of transferring the request information generated by the selection process in the client terminal 3 based on the above to the image pickup device 1, and the second related information transmitted from the image pickup device 1 in response to the request information is transmitted to the client terminal 3.
  • An example of processing is given (see the first to seventh, ninth, and tenth transmission patterns). That is, as the initial information transfer process, information is transmitted a plurality of times before the main image is transmitted to the client terminal 3.
  • the server device 2 transmits meta information to the client terminal 3 for a rough selection at the first time, and transmits a thumbnail image at the second time to make a final selection. By doing so, it is possible to execute a more appropriate and easy-to-understand selection on the client terminal 3 side without increasing the amount of data to be transferred.
  • the example of performing two round-trip transfers mainly as the initial information transfer process has been described, but as the initial information transfer process before the transmission of the main image, only one round-trip transfer may be performed. It may be 3 round trips or more.
  • the first related information is information having a smaller amount of data than the second related information.
  • the first related information may be meta information indicating a shooting time, a shooting location, or the like
  • the second related information may be a thumbnail image or the like.
  • the first round trip of the initial information transfer process can be transferred without increasing the transfer burden by transmitting the first related information, which indicates the shooting time and shooting location, to the client terminal 3 with a relatively small amount of data. Information that represents many images can be presented.
  • a thumbnail image or the like is transferred in order to present more detailed image contents according to the first selection of the client terminal 3.
  • thumbnail images need to be transferred only for images that have been narrowed down to some extent, so that the person in charge of the client terminal 3 can more clearly grasp and select the image contents without increasing the transfer burden. can do.
  • the image pickup apparatus 1 of the embodiment has a related information transmission process of transmitting related information associated with the captured image and having a smaller amount of data than the image to the external server apparatus 2, and receiving from the server apparatus 2.
  • the camera control unit 18 is provided with a camera control unit 18 that performs a main image transmission process of transmitting the image indicated by the request information to the server device 2 according to the request information. As a result, it is possible to realize the image pickup apparatus 1 that performs an operation suitable for the image transfer system of the embodiment.
  • the program of the embodiment is a program that causes the above-mentioned processing of the server device 2 to be executed by, for example, a CPU, a DSP, or a device including these. That is, the program of the embodiment is information associated with the image captured by the image pickup apparatus 1, and is additional information based on the related information in response to receiving the related information having a smaller amount of data than the image. 1 This is a program that causes an information processing apparatus to execute a main image transfer process of transmitting an image transmitted from the user to a client terminal 3. With such a program, the server device 2 described above can be realized by various computer devices.
  • the program of the embodiment is a program that causes the processing of the image pickup apparatus 1 to be executed by, for example, a CPU, a DSP, or a device including these. That is, the program includes related information transmission processing for transmitting related information associated with the captured image and having a smaller amount of data than the image to the external server device 2, and request information received from the server device 2. Accordingly, this is a program for transmitting the main image transmission process of transmitting the image indicated by the request information to the server device 2 and a program to be executed by a processor or the like as a control unit. With such a program, the above-mentioned image pickup apparatus 1 can be realized.
  • the server device 2 and the image pickup device 1 of the embodiment it is suitable for a wide range of provision of the server device 2 and the image pickup device 1 of the embodiment.
  • a mobile terminal device such as a smartphone or tablet, a mobile phone, a personal computer, a game device, a video device, a PDA (Personal Digital Assistant), or the like
  • the smartphone or the like can be captured by the server device 2 or image pickup of the present disclosure. It can function as a device 1.
  • the present technology can also adopt the following configurations.
  • (1) In response to receiving the related information which is the information associated with the image captured by the image pickup apparatus and the amount of data is smaller than that of the image, additional information is obtained based on the related information, and the related information and the additional information are obtained.
  • Initial information transfer processing to send information to the client terminal The main image transfer process of transmitting an image transmitted from the image pickup apparatus to the client terminal in response to the request information generated by the selection process in the client terminal based on the transmission of the related information or the additional information.
  • An information processing device equipped with a control unit that performs (2) The information processing device according to (1) above, wherein the control unit obtains the additional information by performing a database search based on the related information in the initial information transfer process.
  • the relevant information includes images with a smaller amount of data representing images captured by the image pickup apparatus.
  • the information processing device according to (1) or (2) above, wherein the control unit obtains the additional information by image recognition processing for an image included in the related information in the initial information transfer processing.
  • the control unit 4 The method according to any one of (1) to (3) above, wherein as the initial information transfer process, a process of switching a plurality of transmission patterns including a transmission pattern to which the additional information is added and a transmission pattern to which the additional information is not added is performed.
  • Information processing device (5)
  • the control unit The information processing apparatus according to (4) above, which performs a process of transmitting voice information included in the related information to the client terminal as transmission of a predetermined transmission pattern which is one of a plurality of transmission patterns.
  • the control unit Described in (4) above, as a transmission of a predetermined transmission pattern, which is one of a plurality of transmission patterns, a process of transmitting text data obtained by converting voice information included in the related information into text data is transmitted to the client terminal. Information processing equipment. (7) The control unit The information processing apparatus according to any one of (4) to (6) above, which performs the switching process according to the determination result of the communication status. (8) The control unit The information processing apparatus according to any one of (4) to (7) above, which performs the switching process based on the information of the photographing target notified from the image pickup apparatus.
  • the control unit The information processing apparatus according to any one of (4) to (8) above, wherein the image pickup device performs estimation processing of an imaging target, and the switching processing is performed based on the estimated information of the imaging target.
  • the control unit The information processing apparatus according to any one of (4) to (9) above, which performs a process of notifying the client terminal or the image pickup apparatus of the transmission pattern of the initial information transfer process set by the switching process.
  • the related information is meta information associated with an image captured by the image pickup device.
  • the related information is an image having a smaller amount of data representing an image captured by the image pickup device.
  • the information processing device according to any one of (1) to (12) above, wherein the related information is an image representing a grouping image which is a plurality of images continuously shot and captured by the image pickup device.
  • the related information is audio information recorded together with a moving image by imaging a moving image with the imaging device.
  • the information processing apparatus according to any one of (1) to (14) above, wherein the related information is time-series data at the time of imaging of a moving image captured by the imaging apparatus.
  • the control unit performs the initial information transfer process. A process of transmitting the first related information to the client terminal with or without the additional information.
  • the information processing apparatus according to any one of (1) to (15) above, wherein the second related information transmitted from the image pickup apparatus is transmitted to the client terminal in response to the request information.
  • the first related information is information having a smaller amount of data than the second related information.
  • additional information is obtained based on the related information, and the related information and the additional information are obtained.
  • Initial information transfer processing to send information to the client terminal The main image transfer process of transmitting an image transmitted from the image pickup apparatus to the client terminal in response to the request information generated by the selection process in the client terminal based on the transmission of the related information and the additional information.
  • Information processing method performed by the information processing device.
  • Related information transmission processing that transmits related information that is related to the captured image and has a smaller amount of data than the image to an external information processing device.
  • An image pickup device equipped with a control unit that performs (20) Information communication is possible between the image pickup device and the information processing device. Information communication is possible between the information processing device and the client terminal.
  • the image pickup device is Related information transmission processing that transmits related information that is related to the captured image and has a smaller amount of data than the image to the information processing apparatus.
  • the information processing device generates an image represented by the request information according to the request information generated by the selection process in the client terminal that has received the related information via the information processing device and received via the information processing device.
  • the information processing device is An initial information transfer process that obtains additional information based on the related information in response to receiving the related information from the image pickup apparatus and transmits the related information and the additional information to the client terminal.
  • Imaging device 1 Imaging device 2 Server device 2a Control unit 3 Client terminal 4 Base station 5 MEC 6 network 7 DB 8 Text conversion engine 18 Camera control unit 70 Information processing device, 71 CPU

Abstract

撮像装置からクライアント端末への転送を行うサーバ装置としての情報処理装置は、撮像装置で撮像された画像に関連付けられた情報であって撮像された画像よりもデータ量の少ない関連情報を受信することに応じて、関連情報に基づいて付加情報を得、関連情報及び付加情報をクライアント端末に送信する初期情報転送処理と、クライアント端末における選択処理により生成された要求情報に応じて、撮像装置から送信されてくる画像をクライアント端末に送信する本画転送処理とを行う制御部を備えるようにする。

Description

情報処理装置、情報処理方法、撮像装置、画像転送システム
 本技術は情報処理装置、情報処理方法、撮像装置、画像転送システムに関し、特に撮像装置で撮像した画像を他の装置に転送する場合に好適な技術に関する。
 撮像装置で撮像した画像(静止画や動画)を他の装置、例えばコンピュータ装置に送信することは一般に行われている。
 下記特許文献1では、画像データに関して、よりデータ量の少ない関連データを先に送信する技術が開示されている。
特開2007-150781号公報
 テレビジョン放送やウェブ配信等による報道目的などでは、カメラマンが現地で撮影した直後に、撮影した静止画や動画を即納することが求められる場合がある。
 この場合カメラマンは、撮影現場において、撮像装置をネットワークに接続し、撮像画像をネットワーク送信して納品する。納品先の装置(例えば放送局の装置などであり「クライアント端末」と表記する)では、別途待機する選別の担当者が納品された画像を選別し、選別した画像を報道記事に用いる、といったことが行われている。
 このような場合、サイズの大きい画像(報道に用いる品質/データ量の画像データ)を、撮像装置から外部装置(例えば中継するクラウドサーバやクライアント端末)に送信するのはネットワーク負荷も大きくなって時間がかかることもあり、またそれに伴い画像選別作業を行うまでに時間がかかることがある。
 また、撮像装置から、撮像した全ての画像を外部装置に送信すると、送信先の装置に必要な記憶容量を大きくする必要もあり、システム負担が増える。
 そこで本開示では、ネットワーク通信やシステムへの負荷をあまり増大させずに、適切な画像の送信ができるようにする技術を提案する。
 本技術に係る情報処理装置は、撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、を行う制御部を備える。
 例えば撮像装置との間で情報転送を行うことができ、またクライアント端末との間でも情報転送を行うことができる情報処理装置を想定する。この情報処理装置は、まず撮像画像としての画像データ(本画)を転送する前に、関連情報及び付加情報をクライアント端末に送信する。そして関連情報及び付加情報に基づく選択処理の結果で得られる要求情報に応じて、本画が撮像装置からクライアント端末に転送されるようにする。
 上記した本技術に係る情報処理装置においては、前記制御部は、前記初期情報転送処理において、前記関連情報に基づいてデータベース検索を行うことで前記付加情報を得ることが考えられる。
 撮像装置から供給された関連情報に基づいてデータベース検索を行うことで、関連情報から、画像(被写体)に関するより詳細な情報を取得することができる。これを付加情報とする。
 上記した本技術に係る情報処理装置においては、前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、前記制御部は、前記初期情報転送処理において、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得ることが考えられる。
 撮像装置から供給された関連情報がサムネイル画像やスクリーンネイル画像などの画像を含む場合、その画像解析により、被写体についての情報を取得することができる。これを付加情報とする。
 上記した本技術に係る情報処理装置においては、前記制御部は、前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む、複数の送信パターンの切り替え処理を行うことが考えられる。
 送信パターンとして、例えば撮像装置から供給された関連情報に基づいて付加情報を得、関連情報と付加情報をクライアント端末に送信するパターンや、撮像装置から供給された関連情報をそのままクライアント端末に転送するパターン、あるいは関連情報の内容が異なるパターンなど、複数の送信パターンを変更できるようにする。
 上記した本技術に係る情報処理装置においては、前記制御部は、複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報を前記クライアント端末に送信する処理を行うことが考えられる。
 例えば静止画としての画像に関連づけられた音声情報が撮像装置から転送されてくる場合、その音声情報をそのままクライアント端末に送信する。
 上記した本技術に係る情報処理装置においては、前記制御部は、複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報をテキストデータ化したテキストデータを前記クライアント端末に送信する処理を行うことが考えられる。
 例えば静止画としての画像に関連づけられた音声情報が撮像装置から転送されてくる場合、その音声情報をテキストデータに変換してからクライアント端末に送信する。
 上記した本技術に係る情報処理装置においては、前記制御部は、通信状況の判定結果に応じて前記切り替え処理を行うことが考えられる。
 初期情報転送処理として各種の送信パターンを、通信状況に応じて使い分けるようにする。
 上記した本技術に係る情報処理装置においては、前記制御部は、前記撮像装置から通知される撮影対象の情報に基づいて前記切り替え処理を行うことが考えられる。
 撮影対象としての、例えばイベント種別、競技種別などに応じて、初期情報転送処理において付加情報の取得を行う第1処理と、それを行わない第2処理とを使い分けるようにする。
 上記した本技術に係る情報処理装置においては、前記制御部は、前記撮像装置による撮影対象の推定処理を行い、推定した撮影対象の情報に基づいて前記切り替え処理を行うことが考えられる。
 撮像装置における撮影対象を推定可能であれば、その推定結果に基づいて、初期情報転送処理として付加情報の取得を行う第1処理と、それを行わない第2処理とを使い分けることができる。
 上記した本技術に係る情報処理装置においては、前記制御部は、前記切り替え処理により設定される前記初期情報転送処理の送信パターンを、前記クライアント端末又は前記撮像装置に通知する処理を行うことが考えられる。
 情報処理装置で第1処理と第2処理の切り替えを行う場合、その結果実行されることになる送信パターンを撮像装置やクライアント端末に通知する。
 上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で撮像された画像に関連付けられたメタ情報であることが考えられる。
 つまり撮像装置側で画像に関連づけられ、情報処理装置に送信されてきた情報である。例えば撮像装置の情報、カメラマンの情報、撮像場所や時刻の情報、撮像装置側での画像の解析情報、撮像動作や処理に関する各種パラメータ、撮像時の撮像装置における各種センサのセンシング情報、画像データ/ファイルに関する情報、サムネイル画像、スクリーンネイル画像、カメラマンが画像に関連づけたテキスト情報や音声メモ情報など、多様な情報が想定される。
 上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で撮像された画像を表す、よりデータ量が少ない画像であることが考えられる。
 よりデータ量が少ない画像としては例えばサムネイル画像、スクリーンネイル画像、プロキシ動画などが該当する。
 上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で連写撮像された複数画像であるグルーピング画像を表す画像であることが考えられる。
 連写撮像による一連の画像をグルーピング画像としたとき、その全体を一枚で表現する画像、例えば先頭画像のサムネイル画像などを関連情報とする。
 上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置での動画撮像により動画と共に収録された音声情報であることが考えられる。
 例えば情報処理装置は初期情報転送処理で、動画記録時に同時に記録された音声情報を関連情報として受信し、クライアント端末に送信する。
 上記した本技術に係る情報処理装置においては、前記関連情報は、前記撮像装置で撮像された動画についての撮像時の時系列データであることが考えられる。
 時系列データとは、例えば撮像時の時刻毎の位置情報など、撮像の経過が表現される情報である。
 上記した本技術に係る情報処理装置においては、前記制御部は、前記初期情報転送処理として、前記付加情報と共に、又は前記付加情報を伴わずに、第1の関連情報を前記クライアント端末に送信する処理と、前記第1の関連情報を含む送信に基づいた前記クライアント端末における選択処理により生成された要求情報を前記撮像装置に転送する処理と、前記要求情報に応じて、前記撮像装置から送信されてくる第2の関連情報を前記クライアント端末に送信する処理と、を行うことが考えられる。
 つまり初期情報転送処理として、クライアント端末3への本画の送信に至る前に、複数回、情報送信を行う。
 上記した本技術に係る情報処理装置においては、前記第1の関連情報は、前記第2の関連情報よりもデータ量の少ない情報であることが考えられる。
 例えば第1の関連情報は、撮影時刻や撮影場所などを示すメタ情報、第2の関連情報はサムネイル画像などとしての例が考えられる。
 本技術に係る撮像装置は、撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を外部の情報処理装置に送信する関連情報送信処理と、前記情報処理装置から受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、を行う制御部を備える。
 これにより、撮像画像の送信に先だって関連情報を送信する撮像装置とする。
 本技術に係る画像転送システムは、撮像装置と情報処理装置の間で情報通信が可能とされ、前記情報処理装置とクライアント端末の間で情報通信が可能とされる。そして撮像装置は上記の構成とされ、情報処理装置も上記の構成とされる。
 撮像装置と情報処理装置の間は直接又は他の機器や伝送路を介して情報転送が可能とされ、また情報処理装置とクライアント端末の間は直接又は他の機器や伝送路を介して情報転送が可能とされる。このような機器間で、まず撮像画像よりもデータ量の少ない関連情報の転送を行ってクライアント端末側で選択を行う。その後、選択に応じて撮像装置からクライアント端末に本画を送信するようにする。
本技術の実施の形態の画像転送システムの構成例の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の情報処理装置のブロック図である。 実施の形態の第1送信パターンの説明図である。 実施の形態の第1送信パターンでのUI画面等の説明図である。 実施の形態の第1、第2、第3、第4の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第1の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第1から第7の送信パターンに適用できるサーバ装置の画要求受信時の処理のフローチャートである。 実施の形態の第1から第6の送信パターンに適用できる撮像装置の画要求受信時の処理のフローチャートである。 実施の形態の第1、第3から第7の送信パターンに適用できるサーバ装置の画像受信時の処理のフローチャートである。 実施の形態の第2送信パターンの説明図である。 実施の形態の第2送信パターンでのUI画面等の説明図である。 実施の形態の第2、第3、第4の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第2の送信パターンに適用できるサーバ装置の画像受信時の処理のフローチャートである。 実施の形態の第3送信パターンの説明図である。 実施の形態の第3、第4送信パターンでのUI画面等の説明図である。 実施の形態の第4の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第5送信パターンの説明図である。 実施の形態の第5送信パターンでのUI画面等の説明図である。 実施の形態の第5、第6の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第5の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第6送信パターンの説明図である。 実施の形態の第6送信パターンでのUI画面等の説明図である。 実施の形態の第6の送信パターンに適用できるサーバ装置のメタ情報受信時の処理のフローチャートである。 実施の形態の第7送信パターンの説明図である。 実施の形態の第7送信パターンでのUI画面等の説明図である。 実施の形態の第7の送信パターンに適用できる撮像装置の撮影時の処理のフローチャートである。 実施の形態の第7の送信パターンに適用できる撮像装置の画要求受信時の処理のフローチャートである。 実施の形態の切り替え処理例Iの説明図である。 実施の形態のサーバ装置の切り替え処理のフローチャートである。 実施の形態の切り替えに係るUI表示の説明図である。 実施の形態の切り替え指示を求めるUI表示の説明図である。 実施の形態の状況判定処理のフローチャートである。 実施の形態の切り替え処理例IIの説明図である。 実施の形態のサーバ装置の切り替え処理のフローチャートである。 実施の形態の切り替え処理例IIIの説明図である。 実施の形態のサーバ装置のプロジェクト情報受信時の処理のフローチャートである。 実施の形態のサーバ装置の切り替え処理のフローチャートである。 実施の形態の第8送信パターンの説明図である。 実施の形態の第8送信パターンでのUI画面等の説明図である。 実施の形態の第8の送信パターンに適用できる撮像装置の動画録画時の処理のフローチャートである。 実施の形態の第8の送信パターンに適用できるサーバ装置のプロキシ動画受信時の処理のフローチャートである。 実施の形態の第8、第9、第10の送信パターンに適用できる撮像装置の動画クリップ要求受信時の処理のフローチャートである。 実施の形態の第8、第9、第10の送信パターンに適用できるサーバ装置の本動画クリップ受信時の処理のフローチャートである。 実施の形態の第9送信パターンの説明図である。 実施の形態の第9送信パターンでのUI画面等の説明図である。 実施の形態の第9の送信パターンに適用できる撮像装置の動画録画時の処理のフローチャートである。 実施の形態の第9の送信パターンに適用できるサーバ装置の音のみファイル受信時の処理のフローチャートである。 実施の形態の第10送信パターンの説明図である。 実施の形態の第10送信パターンでのUI画面等の説明図である。 実施の形態の第10の送信パターンに適用できる撮像装置の動画録画時の処理のフローチャートである。 実施の形態の第10の送信パターンに適用できるサーバ装置の時系列ファイル受信時の処理のフローチャートである。
 以下、実施の形態を次の順序で説明する。
<1.システム構成>
<2.撮像装置、サーバ装置、クライアント端末の構成>
<3.第1送信パターン>
<4.第2送信パターン>
<5.第3、第4送信パターン>
<6.第5送信パターン>
<7.第6送信パターン>
<8.第7送信パターン>
<9.切り替え処理例I>
<10.切り替え処理例II>
<11.切り替え処理例III>
<12.第8送信パターン>
<13.第9送信パターン>
<14.第10送信パターン>
<15.まとめ及び変形例>
 最初に各種用語の定義を記載しておく。
 「画像」とは、静止画、動画の両方を含む各種の画像データを指す用語とする。
 「本画」とは、図1に示す撮像装置1からクライアント端末3に納品しようとする目的の画像を指す。本画としては静止画、動画を含む。特に動画であることを示す場合は「本動画」と表記する。
 「関連情報」とは、情報内容は問わず、撮像装置1側で撮影した画像に関連づけられた情報を指す。例えば画像についての撮影者情報、日時、場所、撮像装置での各種センシングデータなどを含むいわゆるメタ情報、音声メモの情報、本画よりも低データ量の画像(静止画や動画に関するサムネイル画像、スクリーンネイル画像、動画に関するプロキシ動画など)がある。
 「付加情報」とは、情報内容は問わず、関連情報に基づいてサーバ装置2が検索、抽出、又は生成した情報を指す。
 「初期情報転送処理」とは、本画の送信の前に関連情報や付加情報を転送する処理を指す。複数回行われることもある。
 「本画転送処理」とは、本画を転送する処理を指す。
 「送信パターン」とは、撮像装置1、サーバ装置2、クライアント端末3の間の本画転送に至るまでの手順や転送する情報内容のバリエーションとなるパターンである。実施の形態では、情報内容の種別、本画が静止画/連写画像/動画のいずれであるか、などに応じた転送情報内容の別として、第1送信パターンから第10送信パターンを示すが、例えば各送信パターンにおいて、初期情報転送処理を行うか行わないかのパターンや、初期情報転送処理として、撮像装置1からサーバ装置2を介してクライアント端末3へ、1回の情報転送を行うパターンや、複数回の情報転送を行うパターンなど、多様なパターンが想定される。
<1.システム構成>
 図1に実施の形態の画像転送システムの構成例を示している。画像転送システムは、1又は複数の撮像装置1、サーバ装置2、クライアント端末3を基本に構成され、これらがネットワーク6を介して通信可能とされる。
 撮像装置1としては、ビデオカメラやスチルカメラとしての各種の撮像装置がある。図示する撮像装置1は、カメラマンや記者がスポーツやイベントの会場や取材現場などで用いるカメラを想定している。
 サーバ装置2とクライアント端末3は、共にコンピュータ機器により形成される情報処理装置であるが、サーバ装置2が画像転送のためのサービスを提供し、クライアント端末3は、サーバ装置2による転送サービスを利用する顧客の情報処理装置であるため、本開示では区別のために「サーバ装置」「クライアント端末」と呼ぶこととしている。
 サーバ装置2は、いわゆるクラウドサーバとして機能する装置であることが想定される。もちろんクラウドサーバとしての態様に限定されるものではない。
 サーバ装置2では制御部2aを示しているが、制御部2aが後述するように初期情報転送処理や本画転送処理を実行する。
 またサーバ装置2は、データベース7(以下、データベースを「DB」と表記する)を参照して各種の情報を得ることや、テキスト変換エンジン8により音声データのテキストデータ化を実行させてテキストデータを得ることができる。
 DB7は、サーバ装置2がローカルに用いることのできる記憶装置に構成されたDBでもよいし、各種のネットワークを介して情報検索可能な記憶装置に構成されたDBでもよい。すなわちDB7は、サーバ装置2(制御部2a)がアクセス可能で情報を取得することができるDBであればどのような形態のDBであってもよい。
 クライアント端末3は、例えば放送局、新聞社、通信社など、カメラマンが画像を納品する先の情報処理装置を示している。放送局等は一例であり、納品先が限られるものではない。
 ネットワーク6は、例えばインターネット、ホームネットワーク、LAN(Local Area Network)、衛星通信網、その他の各種のネットワークが想定される。
 この図1の例では、撮像装置1は基地局4を介してサーバ装置2と通信を行う。基地局4は、例えば4G通信(第4世代移動通信システム)及び5G通信(第5世代移動通信システム)の基地局である。
 基地局4にはMEC(Mobile Edge Computing)5が配置される場合がある。各撮像装置1の通信はMEC5の処理を介して行わる場合や、またサーバ装置2の一部の機能がMEC5により実行される場合もある。
 この図1のような画像転送システムが構築されることで、例えば撮像装置1のユーザが放送局や新聞社等の仕事を行うカメラマンである場合、そのカメラマンがイベント会場で撮像した画像を、サーバ装置2を介して放送局等に設置されたクライアント端末3に転送することができる。クライアント端末3側では、担当者が、送られてきた画像を選別し、報道に使用する。
 このように報道等のための撮影後の即納が求められる現場においては、高精細で大量の画像が転送されることが想定されるが、これによりネットワーク負荷や各部の処理負担が増大することがある。
 また、クライアント端末3側でも大量の本画が納品されてしまうと、記憶容量負担も大きくなるとともに、担当者の選別作業にも時間がかかるようになって、報道等に求められる迅速性を損なう恐れもある。
 そこで本実施の形態では、サーバ装置2が、本画の納品までの転送を、初期情報転送処理と本画転送処理に分けるようにし、ネットワーク通信の負荷、記憶容量負担の減少、選別作業の容易化等を実現する。
 さらに状況等により転送のパターン(手順や情報内容)の切り替えも行うことで、その時点に適した画像転送が行われるようにする。
<2.撮像装置、サーバ装置、クライアント端末の構成>
 以下、撮像装置1、サーバ装置2、クライアント端末3の構成例を説明する。
 まず撮像装置1の構成例を図2で説明する。
 撮像装置1は、例えばレンズ系11、撮像素子部12、カメラ信号処理部13、記録制御部14、表示部15、通信部16、操作部17、カメラ制御部18、メモリ部19、ドライバ部22、センサ部23、音声入力部25、音声処理部26を有する。
  レンズ系11は、ズームレンズ、フォーカスレンズ等のレンズや絞り機構などを備える。このレンズ系11により、被写体からの光(入射光)が導かれ撮像素子部12に集光される。
 撮像素子部12は、例えば、CMOS(Complementary Metal Oxide Semiconductor)型やCCD(Charge Coupled Device)型などのイメージセンサ12a(撮像素子)を有して構成される。
  この撮像素子部12では、イメージセンサ12aで受光した光を光電変換して得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号を、後段のカメラ信号処理部13やカメラ制御部18に出力する。
 カメラ信号処理部13は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このカメラ信号処理部13は、撮像素子部12からのデジタル信号(撮像画像信号)に対して、各種の信号処理を施す。例えばカメラプロセスとしてカメラ信号処理部13は、前処理、同時化処理、YC生成処理、解像度変換処理、ファイル形成処理等を行う。
  前処理では、撮像素子部12からの撮像画像信号に対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を行う。
  同時化処理では、各画素についての画像データが、R,G,B全ての色成分を有するようにする色分離処理を施す。例えば、ベイヤー配列のカラーフィルタを用いた撮像素子の場合は、色分離処理としてデモザイク処理が行われる。
  YC生成処理では、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
  解像度変換処理では、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
 ファイル形成処理では、例えば以上の各種処理が施された画像データについて、例えば記録用や通信用の圧縮符号化、フォーマティング、メタ情報の生成や付加などを行って記録用や通信用のファイル生成を行う。
 例えば静止画ファイルとしてJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式の画像ファイルの生成を行う。またMPEG-4準拠の動画・音声の記録に用いられているMP4フォーマットなどとしての画像ファイルの生成を行うことも考えられる。
 なおロー(RAW)画像データとして画像ファイルを生成することも考えられる。
 カメラ信号処理部13は、メタ情報については、カメラ信号処理部13内の処理パラメータの情報や、カメラ制御部18から取得する各種制御パラメータ、レンズ系11や撮像素子部12の動作状態を示す情報、モード設定情報、撮像環境情報(日時や場所など)、撮像装置自体の識別情報、装着レンズの情報、あらかじめ登録されたカメラマンの情報(氏名、識別情報)、IPTC(International Press Telecommunications Council)メタデータなどを含むものとして生成する。
 なおIPTCメタデータは、メディア企業団体が策定したフォーマットによるメタ情報であり、例えば「ディスクリプション/キャプション」「ディスクリプションライター」「ヘッドライン」「キーワード」など、多様な情報を記述可能とされる。
 記録制御部14は、例えば不揮発性メモリによる記録媒体に対して記録再生を行う。記録制御部14は例えば記録媒体に対し動画データや静止画データ等の画像ファイルやサムネイル画像やスクリーンネイル画像等を記録する処理を行う。
  記録制御部14の実際の形態は多様に考えられる。例えば記録制御部14は、撮像装置1に内蔵されるフラッシュメモリとその書込/読出回路として構成されてもよい。また記録制御部14は、撮像装置1に着脱できる記録媒体、例えばメモリカード(可搬型のフラッシュメモリ等)に対して記録再生アクセスを行うカード記録再生部による形態でもよい。また記録制御部14は、撮像装置1に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
 表示部15は撮像者に対して各種表示を行う表示部であり、例えば撮像装置1の筐体に配置される液晶パネル(LCD:Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスによる表示パネルやビューファインダーとされる。
 表示部15は、カメラ制御部18の指示に基づいて表示画面上に各種表示を実行させる。
 例えば表示部15は、記録制御部14において記録媒体から読み出された画像データの再生画像を表示させる。
 また表示部15にはカメラ信号処理部13で表示用に解像度変換された撮像画像の画像データが供給され、表示部15はカメラ制御部18の指示に応じて、当該撮像画像の画像データに基づいて表示を行う場合がある。これにより構図確認中や動画記録中などの撮像画像である、いわゆるスルー画(被写体のモニタリング画像)が表示される。
 また表示部15はカメラ制御部18の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
  通信部16は、外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う。
  例えば外部の表示装置、記録装置、再生装置等に対して撮像画像データ(静止画ファイルや動画ファイル)やメタ情報の送信出力を行う。
  また通信部16はネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワーク6による通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うことができる。例えば本実施の形態の場合、通信部16は、撮像した画像データ(上述の画像ファイル等)やメタ情報をサーバ装置2に送信する通信処理を行う。
 また撮像装置1は、通信部16により、例えばカメラマン等が有するスマートフォン、タブレット端末などとの間で、例えばブルートゥース(Bluetooth:登録商標)、WI-FI(登録商標)通信、NFC(Near Field Communication)等の近距離無線通信、赤外線通信により、相互に情報通信を行うことも可能とされてもよい。その場合、スマートフォン等を介して画像の転送を行うようにすることもできる。
 また撮像装置1と他の機器が有線接続通信によって相互に通信可能とされてもよい。
 操作部17は、ユーザが各種操作入力を行うための入力デバイスを総括して示している。具体的には操作部17は撮像装置1の筐体に設けられた各種の操作子(キー、ダイヤル、タッチパネル、タッチパッド等)を示している。
 操作部17によりユーザの操作が検知され、入力された操作に応じた信号はカメラ制御部18へ送られる。
  カメラ制御部18はCPU(Central Processing Unit)を備えたマイクロコンピュータ(演算処理装置)により構成される。
 メモリ部19は、カメラ制御部18が処理に用いる情報等を記憶する。図示するメモリ部19としては、例えばROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを包括的に示している。
 メモリ部19はカメラ制御部18としてのマイクロコンピュータチップに内蔵されるメモリ領域であってもよいし、別体のメモリチップにより構成されてもよい。
 カメラ制御部18はメモリ部19のROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置1の全体を制御する。
  例えばカメラ制御部18は、撮像素子部12のシャッタースピードの制御、カメラ信号処理部13における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、レンズ鏡筒におけるズーム、フォーカス、絞り調整等のレンズ系11の動作、ユーザインタフェース動作等について、必要各部の動作を制御する。
 メモリ部19におけるRAMは、カメラ制御部18のCPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
  メモリ部19におけるROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア、各種の設定情報等の記憶に用いられる。
 各種の設定情報としては、通信設定情報や、撮像動作に関する設定情報としての露出設定、シャッタースピード設定、モード設定や、画像処理に係る設定情報としてのホワイトバランス設定、色設定、画像エフェクトに関する設定や、操作性に係る設定情報としてのカスタムキー設定や表示設定などがある。
 ドライバ部22には、例えばズームレンズ駆動モータに対するモータドライバ、フォーカスレンズ駆動モータに対するモータドライバ、絞り機構のモータに対するモータドライバ等が設けられている。
 これらのモータドライバはカメラ制御部18からの指示に応じて駆動電流を対応するドライバに印加し、フォーカスレンズやズームレンズの移動、絞り機構の絞り羽根の開閉等を実行させることになる。
 センサ部23は、撮像装置に搭載される各種のセンサを包括的に示している。
 センサ部23としては例えばIMU(inertial measurement unit:慣性計測装置)が搭載されており、例えばピッチ、ヨー、ロールの3軸の角速度(ジャイロ)センサで角速度を検出し、加速度センサで加速度を検出することができる。
 またセンサ部23としては、例えば位置情報センサ、照度センサ等が搭載される場合もある。
 音声入力部25は例えばマイクロホン及びマイクアンプ等を有し、周囲音声を集音した音声信号を出力する。
 音声処理部26は、音声入力部25で得られた音声信号についてデジタル音声信号に変換する処理や、AGC処理、音質処理、ノイズリダクション処理などを行う。これらの処理を経た音声データはカメラ信号処理部13やカメラ制御部18に出力される。
 例えば音声データは、動画撮像時にはカメラ制御部18において動画に付随する音声データとして処理される。
 また音声データは、撮像時などにおける、いわゆるボイスメモとしての音声メモデータとして、カメラ信号処理部13或いはカメラ制御部18において音声ファイルとしてファイル化されるようにすることもできる。
 音声ファイルは、記録制御部14において画像ファイルに対応づけられて記録媒体に記録されたり、通信部16から画像ファイルとともに送信出力されたりすることができる。
 次にサーバ装置2やクライアント端末3としての情報処理装置70の構成例を図3に示す。
 情報処理装置70のCPU71は、ROM72や例えばEEP-ROM(Electrically Erasable Programmable Read-Only Memory)などの不揮発性メモリ部74に記憶されているプログラム、または記憶部79からRAM73にロードされたプログラムに従って各種の処理を実行する。RAM73にはまた、CPU71が各種の処理を実行する上において必要なデータなども適宜記憶される。
 CPU71、ROM72、RAM73、不揮発性メモリ部74は、バス83を介して相互に接続されている。このバス83にはまた、入出力インタフェース75も接続されている。
 入出力インタフェース75には、操作子や操作デバイスよりなる入力部76が接続される。
 例えば入力部76としては、キーボード、マウス、キー、ダイヤル、タッチパネル、タッチパッド、リモートコントローラ等の各種の操作子や操作デバイスが想定される。
 入力部76によりユーザの操作が検知され、入力された操作に応じた信号はCPU71によって解釈される。
 また入出力インタフェース75には、LCD或いは有機ELパネルなどよりなる表示部77や、スピーカなどよりなる音声出力部78が一体又は別体として接続される。
 表示部77は各種表示を行う表示部であり、例えば情報処理装置70の筐体に設けられるディスプレイデバイスや、情報処理装置70に接続される別体のディスプレイデバイス等により構成される。
 表示部77は、CPU71の指示に基づいて表示画面上に各種の画像処理のための画像や処理対象の動画等の表示を実行する。また表示部77はCPU71の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を行う。
 入出力インタフェース75には、ハードディスクや固体メモリなどより構成される記憶部79や、モデムなどより構成される通信部80が接続される場合もある。
 通信部80は、インターネット等の伝送路を介しての通信処理や、各種機器との有線/無線通信、バス通信などによる通信を行う。
 入出力インタフェース75にはまた、必要に応じてドライブ81が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブル記録媒体82が適宜装着される。
 ドライブ81により、リムーバブル記録媒体82からは画像ファイル等のデータファイルや、各種のコンピュータプログラムなどを読み出すことができる。読み出されたデータファイルは記憶部79に記憶されたり、データファイルに含まれる画像や音声が表示部77や音声出力部78で出力されたりする。またリムーバブル記録媒体82から読み出されたコンピュータプログラム等は必要に応じて記憶部79にインストールされる。
 この情報処理装置70では、例えば本実施の形態の処理のためのソフトウェアを、通信部80によるネットワーク通信やリムーバブル記録媒体82を介してインストールすることができる。或いは当該ソフトウェアは予めROM72や記憶部79等に記憶されていてもよい。
 例えば情報処理装置70がサーバ装置2とされる場合、以下説明していく初期情報転送処理及び本画転送処理を含む転送処理や、転送処理における送信パターンの切り替え処理等のためのソフトウェアがインストールされることになる。その場合、CPU71が図1の制御部2aとして機能し、必要な処理を行う。また以降説明する各種通信は、通信部80を介して行われることになる。
 また情報処理装置70がクライアント端末3とされる場合、以下説明していく転送処理の課程で、入力部76や表示部77等を用いたインタフェース処理が、CPU71の制御により実行される。また各種通信は、通信部80を介して行われることになる。
<3.第1送信パターン>
 撮像装置1からサーバ装置2を介してクライアント端末3に対して行われる画像転送処理としての送信パターンについて各種説明していく。
 図4に画像転送の第1送信パターンとしての、通信手順及び情報内容を示している。
 なお、以降説明する第1送信パターンから第10送信パターンの図は、図4のように、撮像装置1、サーバ装置2、クライアント端末3の間の送受信を符号TP**(「**」は数値)付した矢印で示し、各装置の処理を符号PS**で示して表記する。図の縦方向(上から下)が時間の進行に対応する。
 図4に示す第1送信パターンは次の手順で行われる。
・通信TP1
 撮像装置1から撮像画像についての関連情報としてメタ情報をサーバ装置2に送信する。この時点では本画については送信しない。
 撮像装置1は例えばカメラマンの操作に応じて、1又は複数の画像についてのメタ情報を送信する。
・処理PS1
 サーバ装置2は、受信した各画像のメタ情報に基づいてDB7の検索を行い、付加情報を導出する。例えばメタ情報として、撮影場所と時刻が得られる場合、撮影場所と時刻を用いたDB7の検索により、競技内容や選手名が特定できる場合がある。このように得られる競技名や選手名などが、付加情報の一例となる。
 このように撮像装置1から送信されてきた何らかの内容のメタ情報に基づいて、サーバ装置2がDB検索で得られる各種の情報を付加情報とする。
 またこの処理PS1では、撮像装置1から送信されてきた複数の画像についてのメタ情報のそれぞれについて、DB検索を行って付加情報を得ることが想定される。
・通信TP2
 サーバ装置2は、各画像についてのメタ情報と付加情報のペアを、クライアント端末3に送信する。
・処理PS2
 クライアント端末3は、受信したメタ情報と付加情報を用いたUI(User Interface)処理を行う。
 例えばクライアント端末3は図5Aのような表示を表示部77において実行する。この例では、メタ情報にカメラマン(撮影者)の情報、撮影時刻、撮影場所が含まれており、撮影時刻、撮影場所に基づいて付加情報として競技名と選手名が抽出されていたとする。このようなメタ情報、付加情報に基づいて、各画像に対応する情報内容一覧30が表示される。図5Aでは、6枚の画像に対応する情報として、例えばメタ情報に含まれる撮影者の情報と、付加情報として得られた競技名及び選手名を一覧表示する例を示している。
 また、各情報に対応してチェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
 さらにサムネイル要求ボタン32が表示され、担当者が操作できるようにしている。
 このようなUI画面は、クライアント端末3の担当者が、まず画像に対応する情報内容のみを確認して、大まかに必要な画像を選別するために行われる。
 図5Aでは、情報内容一覧30における1つめ、2つめ、6つめの情報について、担当者がチェックボックス31にチェックを入れた状態を示している。
 またその状態でサムネイル要求ボタン32を操作すると、担当者が1つめ、2つめ、6つめの情報に対応する画像のサムネイル画像を要求したものとされる。
 このような操作は、担当者が、メタ情報や付加情報を確認して、それらが実際にどのような画像内容であるかをサムネイルによって確認しようとする場合の操作となる。
 処理PS2では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
 なお、例えば画像内容を低解像度の少ないデータ量で示すものとしてサムネイル/スクリーンネイルが知られているが、本開示でいう「サムネイル」は一般にサムネイル/スクリーンネイルといわれる画像のように本画(静止画や動画)を低解像度の静止画で示すものを広く指すものとする。
・通信TP3
 クライアント端末3はサーバ装置2に対してサムネイル画要求リストを送信する。すなわちクライアント端末3は、処理PS2のUI処理で担当者がチェックボックス31へのチェック及びサムネイル要求ボタン32の操作を行うことに応じて、チェックされた情報に対応する画像のリスト情報と、それらのサムネイルを要求する情報を含むサムネイル画要求リストを生成し、それを送信する。
・通信TP4
 サーバ装置2は、クライアント端末3から受信したサムネイル画要求リストを、撮像装置1に転送する。
・通信TP5
 撮像装置1は、サムネイル画要求リストを受信することに応じて、サムネイル画要求リストに挙げられた1又は複数の画像のサムネイル画をサーバ装置2に送信する。
・通信TP6
 サーバ装置2は、撮像装置1から受信したサムネイル画を、クライアント端末3に転送する。
・処理PS3
 クライアント端末3は、受信したサムネイル画を用いたUI処理を行う。
 例えばクライアント端末3は図5Bのようなサムネイル一覧34の表示を表示部77において実行する。すなわち受信したサムネイル画38を一覧表示する。
 また図の例のように各サムネイル画38についてのメタ情報や付加情報の全部又は一部を、関連/付加情報39として表示させるとよい。
 また各サムネイル画38に対応してチェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
 さらに本画要求ボタン33を表示させ、担当者が操作できるようにする。
 このようなUI画面は、クライアント端末3の担当者が、先の図5Aの画面で大まかに選別した画像について、その画像内容をサムネイル画38により確認しながら、最終的に必要な画像を選別するために表示される。
 図5Bでは、中央のサムネイル画38について、担当者がチェックボックス31にチェックを入れた状態を示している。
 その状態で本画要求ボタン33が操作されると、担当者が当該サムネイル画に対応する本画を要求したものとされる。
 処理PS3では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
・通信TP7
 クライアント端末3はサーバ装置2に対して本画要求リストを送信する。すなわちクライアント端末3は、処理PS3のUI処理で担当者がチェックボックス31へのチェック及び本画要求ボタン33の操作を行うことに応じて、チェックされたサムネイルに対応する画像のリスト情報と、それらの本画を要求する情報を含む本画要求リストを生成し、それを送信する。
・通信TP8
 サーバ装置2は、クライアント端末3から受信した本画要求リストを、撮像装置1に転送する。
・通信TP9
 撮像装置1は、本画要求リストを受信することに応じて、本画要求リストに挙げられた1又は複数の画像の本画をサーバ装置2に送信する。
・通信TP10
 サーバ装置2は、撮像装置1から受信した本画を、クライアント端末3に転送する。
 これによりクライアント端末3に、図5Cの本画35が納品されることになる。
 以上のように、はじめから本画35を転送するのではなく、まず1往復目としてメタ情報や付加情報に基づく大まかな画像選別が行われるようにし、続いて2往復目としてサムネイル画38による画像選別が行われるようにする。ここまでの処理の中継をサーバ装置2が初期情報転送処理として実行する。
 そして最終的にサーバ装置2は、本画転送処理により、初期情報転送処理における選別で本画要求リストに挙げられた本画について、撮像装置1からクライアント端末3に転送されるようにする。
 このようにすることで、撮像装置1で撮像された大量の本画を全てクライアント端末3に転送するのではなく、クライアント端末3の担当者が必要とする本画を選別して転送することができ、一連の転送は極めて効率化される。
 図4に挙げた各通信TPや処理PSを実現するための撮像装置1及びサーバ装置2の処理例を説明していく。
 通信TP1のための処理として、図6に撮像装置1の撮影時の処理を示す。撮像装置1の処理とは、主にカメラ制御部18の制御処理を示す。
 撮像装置1のカメラ制御部18は図6のステップS101で撮像処理の制御を行う。すなわちカメラ制御部18は、カメラマンの操作に応じて画像の撮像/記録が行われるように、図2の必要各部を制御する。例えばカメラ制御部18は、撮像素子部12、カメラ信号処理部13により静止画の画像信号処理、関連するメタ情報生成などを実行させる。
 ステップS102でカメラ制御部18は、サムネイル画及び本画のエンコード処理をカメラ信号処理部13に実行させる。
 ステップS103でカメラ制御部18は、記録制御部14にサムネイル画及び本画(メタ情報を含む)を記録媒体に記録させる。
 ステップS104でカメラ制御部18は、通信部16による撮影画像のメタ情報の送信処理を実行させる。
 このステップS104の処理は、例えばカメラマンの送信操作に応じて実行する。例えばカメラ制御部18は、カメラマンが、撮影し記録媒体に記録した画像の中で、送信する(クライアント端末3に納品する)ために個々の画像や画像フォルダを選択し、送信操作を行うことに応じて実行する。カメラ制御部18はカメラマンが送信するものとして選択した1又は複数の画像について、それぞれ対応するメタ情報を、通信部16から送信させる。
 以上の処理で図4の通信TP1が行われる。
 図4の処理PS1、通信TP2のためのサーバ装置2の処理を図7に示す。なおサーバ装置2の処理として制御部2aの制御処理を示している。
 制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
 そしてメタ情報の受信があったときに、制御部2aはループ処理LP1を実行する。
 ループ処理LP1では、撮像装置1から送信されてきた各画像のメタ情報について、それぞれステップS202,S203を行う。例えば10枚の画像についてのメタ情報を受信した場合は、各画像についてこれらの処理を行うことになる。
 ステップS202で制御部2aは、メタ情報に基づいてDB検索処理を行い、付加情報を取得する。例えば1枚の画像について上述のように撮影位置と撮影時刻の情報がメタ情報として送られてきた場合、制御部2aは撮影位置と撮影時刻の情報に基づいてDB検索を行い、例えば競技名や選手名などの付加情報を得る。
 ステップS203で制御部2aは、当該画像についてのメタ情報と付加情報をクライアント端末3に送信する処理を行う。
 制御部2aが、ループ処理LP1で、このステップS202,S203の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報と、それに対応する付加情報がクライアント端末3に送信されることになる。
 これに応じてクライアント端末3側では上述のように処理PS2としてのUI処理を行い、通信TP3としてサムネイル画要求リストを送信する。
  サムネイル画要求リストに応じた通信TP4のためのサーバ装置2の処理を図8に示す。
 サーバ装置2の制御部2aは、ステップS220で画要求リストの受信を確認する。ここでいう画要求リストとは、例えばサムネイル画要求リストや本画要求リストのことである。後述の送信パターンでは、グルーピング画像の要求情報や、本動画の一部クリップの要求、プロキシ動画の一部クリップ要求などの情報の場合もある。
 図4の第1送信パターンの場合、サムネイル画要求リスト又は本画要求リストの受信があったときに、制御部2aはステップS221の処理を実行する。
 ステップS221で制御部2aは、受信した画要求リストを撮像装置1に転送する処理を行う。これにより通信TP4としてはサムネイル画要求リストが転送されることになる。
 通信TP5のための撮像装置1の処理を図9に示す。
 カメラ制御部18はステップS120で、サーバ装置2からの画要求リストの受信を確認する。
 そして画要求リストの受信があったときに、カメラ制御部18はループ処理LP20を実行する。
 ループ処理LP20では、カメラ制御部18は、画要求リストに挙げられた要求に係る画像の数だけ、ステップS121からステップS125の処理を繰り返す。
 まずステップS121でカメラ制御部18は、画要求リストがサムネイル画要求リストか本画要求リストかを判定して処理を分岐する。
 画要求リストがサムネイル画要求リストであった場合は、カメラ制御部18はステップS122で、記録制御部14により記録媒体から、要求に含まれる1つの画像についてのサムネイル画の読出を実行させる。
 そしてカメラ制御部18はステップS123で、記録媒体から読み出したサムネイル画を、通信部16を介してサーバ装置2に送信する処理を行う。
 画要求リストが本画要求リストであった場合は、カメラ制御部18はステップS124で、記録制御部14により記録媒体から、要求に含まれる1つの画像についての本画の読出を実行させる。
 そしてカメラ制御部18はステップS125で、記録媒体から読み出した本画を、通信部16を介してサーバ装置2に送信する処理を行う。
 以上の処理が画要求リストに挙げられた要求に係る画像についてそれぞれ行われることで、画要求リストにかかるサムネイル画又は本画の送信が実行される。
 通信TP5に関していえば、サムネイル画要求リストに応じてサムネイル画が送信されることになる。
 通信TP6のためのサーバ装置2の処理を図10に示す。
 サーバ装置2の制御部2aは、ステップS230で、撮像装置1からの画像の受信を確認する。ここでいう画像とは、例えばサムネイル画又は本画である。
 そして画像の受信があったときに、制御部2aは、ループ処理LP10を実行する。
 ループ処理LP10では、制御部2aは、受信した画像の数だけ、ステップS231の処理を繰り返す。
 ステップS231で制御部2aは、受信した画像をクライアント端末3に送信する処理を行う。
 従って通信TP6としては、サーバ装置2は、撮像装置1から1又は複数のサムネイル画を受信した場合、それらをクライアント端末3に転送することになる。
 これに応じてクライアント端末3側では上述のように処理PS3としてのUI処理を行い、通信TP7として本画要求リストを送信する。
  本画要求リストに応じた通信TP8のためのサーバ装置2の処理は上述の図8のようになる。
 また通信TP8により本画要求リストを受信した撮像装置1の処理は図9のようになる。つまり本画要求リストに挙げられた要求に係る画像についてそれぞれ図9のステップS124,S125が行われることで、通信TP9としての本画要求リストにかかる本画の送信が実行される。
 また通信TP10のためのサーバ装置2の処理は図10のとおりとなる。サーバ装置2は、撮像装置1から1又は複数の本画を受信した場合、それらをステップS231の処理でクライアント端末3に転送することになる。
 なお、通信TP5や通信TP7で撮像装置1に送信される画要求リストには送信優先度の情報を載せても良い。例えば複数の画像を要求するときに、優先順位の高低を担当者が設定できるようにする。そしてその順番を画要求リストに設定し、撮像装置1はその優先順位に応じた順序で画像送信を行うようにする。これにより、必要性の高い画像をなるべく早く納品できるようになる。これは以下の各送信パターンの場合にも適用できる。
<4.第2送信パターン>
 第2通信パターンを説明する。なお以下では、各通信パターンについては既述の通信パターンと異なる点を主に説明し、同様の部分の詳述は避ける。
 図11に第2送信パターンを示している。
 通信TP1は図4と同様であり、撮像装置1からメタ情報がサーバ装置2に送信される。
 但し第2送信パターンでは、サーバ装置2は、この時点で上述の処理PS1としての付加情報の導出を行うことなく、通信TP2では、受信したメタ情報をそのままクライアント端末3に送信する。
 クライアント端末3は処理PS2としてUI処理を行うが、この場合、付加情報を受信していないため、表示内容は図12Aに示すようなメタ情報のみに基づいたものとなる。
 例えばメタ情報として、撮影者と撮影場所と時刻が送信されてきた場合、各画像に対応するカメラマン(撮影者)の情報、撮影場所、撮影時刻が、情報内容一覧30として表示される。
 また、各情報に対応するチェックボックス31やサムネイル要求ボタン32が表示され、担当者が操作できるようにされる。
 通信TP3では図12Aの画面に対する操作に応じてクライアント端末3からサムネイル画要求リストが送信される。
 通信TP4ではサーバ装置2がサムネイル画要求リストを撮像装置1に転送する。
 通信TP5では、撮像装置1が、サムネイル画要求リストで要求されたサムネイル画を送信する。
 当該第2送信パターンでは、通信TP5により、撮像した本画の関連情報としてのサムネイル画を受信したサーバ装置2は、このときの処理PS4として付加情報を得る処理を行う。この場合、サムネイル画についての画像解析、物体認識処理を行い、その結果により付加情報を生成する。例えば顔認識、個人識別、背番号の識別などを行って、選手名を得ることができる。また被写体についての物体認識により競技種別を判別し、競技名を付加情報として生成することもできる。これらの例により、サムネイル画を用いた認識処理により、何らかの情報を取得し、それを付加情報とする。
 通信TP6でサーバ装置2は、サムネイル画と、サムネイル画から判定した付加情報をクライアント端末3に送信する。
 クライアント端末3は、処理PS3として受信したサムネイル画を用いたUI処理を行う。この場合、付加情報も受信することになるため、クライアント端末3では、サムネイル画とともに付加情報に基づく表示も行うことができる。
 例えばクライアント端末3は図12Bのようなサムネイル一覧34の表示として、受信したサムネイル画38の表示を表示部77において実行する。また各サムネイル画38についてのメタ情報や付加情報の全部又は一部として、関連/付加情報39も表示させる。この例ではメタ情報として得られる撮影者の情報とともに、付加情報として得られた競技名や選手名が表示されている。
 また各サムネイル画38に対応するチェックボックス31や本画要求ボタン33が表示され、担当者が操作できるようにしている。
 通信TP7では図12Bの画面に対する操作に応じてクライアント端末3から本画要求リストが送信される。
 通信TP8ではサーバ装置2が本画要求リストを撮像装置1に転送する。
 通信TP9では、撮像装置1が、本画要求リストで要求された本画を送信する。
 通信TP10では、サーバ装置2が、図12Cのような本画をクライアント端末3に転送する。
 以上のように図11の第2送信パターンは、サーバ装置2が付加情報を得るための処理を、処理PS4としてサムネイル画に基づく点が図4の第1送信パターンと異なる。
 第2送信パターンのための撮像装置1やサーバ装置2の処理は次のようになる。
 通信TP1のための撮像装置1の処理は前述の図6の通りとなる。
 通信TP2のためのサーバ装置2の処理は図13のようになる。
 制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
 そしてメタ情報の受信があったときに、制御部2aはループ処理LP2を実行する。
 ループ処理LP2としては、ステップS205で制御部2aが、撮像装置1から送信されてきたメタ情報をクライアント端末3に送信する処理を行う。
 制御部2aが、ループ処理LP2で、このステップS205の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報がクライアント端末3に送信されることになる。
 これに応じてクライアント端末3側では上述のように処理PS2としてのUI処理を行い、通信TP3としてサムネイル画要求リストを送信する。
  サムネイル画要求リストに応じた通信TP4のためのサーバ装置2の処理は前述の図8の通りとなる。
 また通信TP5のための撮像装置1の処理は前述の図9の通りとなる。
 通信TP5でサムネイル画38を受信した場合の、通信TP6のためのサーバ装置2の処理は図14のようになる。
 サーバ装置2の制御部2aは、ステップS230で、撮像装置1からの画像の受信を確認する。ここでいう画像とは、例えばサムネイル画又は本画である。
 ステップS240で制御部2aは、受信した画像がサムネイル画であるか本画であるかにより処理を分岐する。
 そして制御部2aは、サムネイル画の受信があったときにはループ処理LP11を実行し、本画の受信があったときにはループ処理LP11を実行する。
 ループ処理LP11では、制御部2aは、受信したサムネイル画像の数だけ、ステップS241,S242,S243の処理を繰り返す。
 ステップS241で制御部2aは、画像認識処理を行う。そしてステップS242で画像認識処理の結果に基づいて付加情報を生成する。
 なお、この場合に、画像認識結果に基づいてDB検索を行って付加情報を生成してもよい。さらに画像認識結果に基づく付加情報と、メタ情報に基づくDB検索結果として得られる付加情報の両方を導出するようにしてもよい。
 ステップS243で制御部2aは、受信した画像をクライアント端末3に送信する処理を行う。
 従って通信TP6としては、サーバ装置2は、撮像装置1から1又は複数のサムネイル画を受信した場合、それらとともに付加情報をクライアント端末3に転送することになる。
 これに応じてクライアント端末3側では上述のように処理PS3としてのUI処理を行い、通信TP7として本画要求リストを送信する。
  本画要求リストに応じた通信TP8のためのサーバ装置2の処理は上述の図8のようになる。
 また通信TP8により本画要求リストを受信した撮像装置1の処理は図9のようになる。つまり本画要求リストに挙げられた要求に係る画像についてそれぞれ図9のステップS124,S125が行われることで、通信TP9としての画要求リストにかかる本画の送信が実行される。
 また通信TP10のためのサーバ装置2の処理は図14のとおりとなる。サーバ装置2は、撮像装置1から1又は複数の本画を受信した場合、図14のステップS240からループ処理LP12に進む。
 ループ処理LP12では、制御部2aは、受信した本画の数だけ、ステップS244の処理を繰り返す。
 ステップS244で制御部2aは、受信した本画をクライアント端末3に送信する処理を行う。
 従って通信TP10としては、サーバ装置2は、撮像装置1から1又は複数の本画を受信した場合、それらをクライアント端末3に転送することになる。
<5.第3、第4送信パターン>
 第3、第4送信パターンとして付加情報の取得/転送が行われない例を説明する。
 図15は第3送信パターンを示している。
 通信TP1として撮像装置1からメタ情報がサーバ装置2に送信される。
 通信TP2として、サーバ装置2は、受信したメタ情報をそのままクライアント端末3に送信する。
 クライアント端末3は処理PS2としてUI処理を行うが、この場合、付加情報を受信していないため、表示内容は図16Aに示すようなメタ情報のみに基づいたものとなる。例えば図12Aと同様の内容となる。
 通信TP3では図16Aの画面に対する操作に応じてクライアント端末3からサムネイル画要求リストが送信される。
 通信TP4ではサーバ装置2がサムネイル画要求リストを撮像装置1に転送する。
 通信TP5では、撮像装置1が、サムネイル画要求リストで要求されたサムネイル画を送信する。
 通信TP6でサーバ装置2は、サムネイル画をクライアント端末3に送信する。
 クライアント端末3は、処理PS3として受信したサムネイル画を用いたUI処理を行う。例えばクライアント端末3は図16Bのようなサムネイル一覧34の表示として、受信したサムネイル画38の表示を表示部77において実行する。この場合、付加情報は送信されてこないため、関連/付加情報39としてはメタ情報に基づく情報のみ、例えば撮影場所と撮影時刻などが表示されている。
 また各サムネイル画38に対応するチェックボックス31や本画要求ボタン33が表示され、担当者が操作できるようにしている。
 通信TP7では図16Bの画面に対する操作に応じてクライアント端末3から本画要求リストが送信される。
 通信TP8ではサーバ装置2が本画要求リストを撮像装置1に転送する。
 通信TP9では、撮像装置1が、本画要求リストで要求された本画を送信する。
 通信TP10では、サーバ装置2が、図16Cのような本画をクライアント端末3に転送する。
 以上のように図15の第3送信パターンは、サーバ装置2が付加情報を得る処理を行わない点が、上述の第1送信パターン、第2送信パターンと異なる。
 第3送信パターンのための撮像装置1やサーバ装置2の処理は次のようになる。
 撮像装置1の、撮影時の処理は図6のとおりとなり、画要求受信時の処理は図9のとおりとなる。
 サーバ装置2のメタ情報受信時の処理は図13のとおりとなり、画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
 次に第4送信パターンを説明する。
 全体の手順は図15の第3送信パターンと同様となるが、撮像装置1が個人顔登録機能を有している場合の例となる。
 撮像装置1が例えば競技の選手の個々の顔と所属チーム、氏名等を登録していれば、画像認識により被写体とされた選手を識別し、その情報をメタ情報に含めることができる。
 そこで撮像装置1は、例えば図17の処理を行うようにする。
 カメラ制御部18の処理として図17のステップS101,S102,S103,S104の処理は図6と同様である。
 カメラ制御部18は図17のステップS180として、個人顔認識処理を行う。例えばステップS103で記録した各画像について、個人顔認識処理を行い、被写体となっている選手を特定し、その情報をメタ情報に追加する。
 これにより、ステップS104でのメタ情報の送信を行うと、そのメタ情報には選手情報も含まれることになる。
 そのため、図15の通信TP1,通信TP2によりメタ情報がクライアント端末3に送信された場合、クライアント端末3では、メタ情報に基づいて、図16Dのような情報内容一覧30を表示することができる。すなわち選手の情報を表示できる。
 これにより、例えば担当者が特定の選手の画像を選択したい場合などに非常に有用となる。
<6.第5送信パターン>
 第5通信パターンを図18で説明する。
 通信TP1では、撮像装置1から音声メモデータを含むメタ情報がサーバ装置2に送信される。
 音声メモデータとは、画像撮像時(例えばレリーズ操作直後)や、あるいは記録媒体への記録後に画像をしたうえで、メモとなる言葉を発することで、その音声がメモとして画像に関連づけられてメタ情報の1つとして保存されるデータである。この第5通信パターンは、撮像装置1に音声メモ機能がある場合に適用できるものとなる。
 サーバ装置2は、音声メモデータを含むメタ情報を受信したら、通信TP2として、それをクライアント端末3に送信する。
 クライアント端末3は処理PS2としてUI処理を行うが、この場合、表示内容としては図19Aに示すようにメタ情報のみに基づいた情報内容一覧30となる。但し音声メモデータを含むメタ情報を受信しているため、音声メモデータを含む情報内容に対して音声再生アイコン40を表示させる。図の例では全ての画像に対して音声メモデータが存在する場合として、各情報内容に対応して音声再生アイコン40が表示されている。
 音声再生アイコン40を操作することで、クライアント端末3においては例えば音声出力部78により音声メモが再生される。カメラマンが適切に音声メモを録音しておくことで、クライアント端末3の担当者は、音声メモを参考にして画像選別を行うことができるようになる。
 以降の通信TP3から通信TP10、及び処理PS3は、第3通信パターンと同様となるため重複説明を避ける。
 音声メモデータを記録できる撮像装置の撮影時の処理は図20のようになる。
 なお図20においてステップS101,S102,S103,S104は図6と同様である。
 撮像した画像については、カメラマンは任意に音声メモを付加することができる。
 カメラマンが、撮像した画像に音声メモを録音する操作を行わない場合、処理はステップS110からステップS104に進み、図6と同様となる。
 音声メモを録音する操作を行った場合、図20の処理はステップS110からステップS111に進み、カメラ制御部18は録音処理を行う。すなわち所定の操作に応じて、例えば10秒から20秒程度の期間、音声入力部25から入力する音声を録音する処理となる。
 ステップS112でカメラ制御部18は入力された音声メモデータのエンコード処理を、カメラ信号処理部13に実行させる。
 ステップS113でカメラ制御部18はエンコードした音声メモデータの記録媒体への記録処理を、記録制御部14に実行させる。
 そしてステップS114でカメラ制御部18は、画像のメタ情報に音声メモデータを加えた状態で、サーバ装置2への送信処理を通信部16に実行させる。
 音声メモデータを含むメタ情報を受信したときの、通信TP2のためのサーバ装置2の処理は図21のようになる。
 制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
 そしてメタ情報の受信があったときに、制御部2aはループ処理LP3を実行する。
 ループ処理LP3としては、ステップS206で制御部2aは、メタ情報に音声メモデータが含まれているか否かを判定して処理を分岐する。
 メタ情報に音声メモデータが含まれていなければ、制御部2aはステップS205で、撮像装置1から送信されてきたメタ情報をクライアント端末3に送信する処理を行う。
 メタ情報に音声メモデータが含まれていれば、制御部2aはステップS207で、撮像装置1から送信されてきた音声メモデータを含むメタ情報をクライアント端末3に送信する処理を行う。
 制御部2aが、ループ処理LP3で、このステップS206とS205、又はステップS206とS207の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報がクライアント端末3に送信されることになり、音声メモデータが付加されていれば、それも送信される。
 この第5送信パターンについての他の処理は、次のようになる。
 撮像装置1の画要求受信時の処理は図9のとおりとなる。
 サーバ装置2の画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
<7.第6送信パターン>
 第6通信パターンを図22で説明する。
 通信TP1では、撮像装置1から音声メモデータを含むメタ情報がサーバ装置2に送信される。
 サーバ装置2は、音声メモデータを含むメタ情報を受信したら、処理PS5として音声メモの文字起こし処理を行う。つまり音声メモデータをテキストデータに文字起こしした情報を生成する。そして通信TP2として、メタ情報と、音声メモデータに基づくテキスト情報をクライアント端末3に送信する。
 クライアント端末3は処理PS2としてUI処理を行うが、この場合、表示内容としては図23Aに示すように、情報内容一覧30として、メタ情報の内容とともに、音声メモデータをテキスト化した音声メモテキスト41が表示できることになる。
 なお、テキスト情報は、サーバ装置2で発生させるという意味で、本開示でいう付加情報の1つとしてとらえても良いが、内容的にあくまで音声メモデータと同じであるため本開示でいう関連情報としてとらえてもよい。
 音声メモテキスト41の表示により。クライアント端末3の担当者は、音声メモの内容を参考にして画像選別を行うことができるようになる。このときに音声メモを再生させる必要もないので、より効率よく選択操作ができるようになる。
 以降の通信TP3から通信TP10、及び処理PS3は、第3通信パターンと同様となる。
 音声メモデータを記録できる撮像装置の撮影時の処理は上述の図20のとおりである。
 音声メモデータを含むメタ情報を受信したときの、通信TP2のためのサーバ装置2の処理は図24のようになる。
 制御部2aは、ステップS201で撮像装置1からのメタ情報の受信を確認する。
 そしてメタ情報の受信があったときに、制御部2aはループ処理LP4を実行する。
 ループ処理LP4としては、ステップS206で制御部2aは、メタ情報に音声メモデータが含まれているか否かを判定して処理を分岐する。
 メタ情報に音声メモデータが含まれていなければ、制御部2aはステップS205で、撮像装置1から送信されてきたメタ情報をクライアント端末3に送信する処理を行う。
 メタ情報に音声メモデータが含まれていれば、制御部2aはステップS208で音声メモデータのテキスト化処理を行う。そして制御部2aはステップS209で、撮像装置1から送信されてきた音声メモデータのテキスト化データと、他のメタ情報をクライアント端末3に送信する処理を行う。
 なお、この際、音声メモデータ自体は送信しないようにすることで、送信データ量を削減することができる。
 但し、音声メモデータのテキスト化データと共に、元の音声メモデータをクライアント端末3に送信し、クライアント端末3側で音声再生もできるようにしてもよい。
 制御部2aが、ループ処理LP4で、このステップS206とS205、又はステップS206、S208,S209の処理を各画像について行うことで、撮像装置1が各画像について送信したメタ情報がクライアント端末3に送信されることになり、音声メモデータが付加されていれば、それがテキスト化されて送信される。
 この第6送信パターンについての他の処理は、次のようになる。
 撮像装置1の画要求受信時の処理は図9のとおりとなる。
 サーバ装置2の画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
<8.第7送信パターン>
 図25で第7送信パターンとして、撮像装置で連写が行われ、一連の画像がグルーピング画像として管理される場合の例を説明する。
・通信TP21
 撮像装置1は、撮像画像についての関連情報として、連写グルーピング画像の先頭画のサムネイル画を含むメタ情報をサーバ装置2に送信する。
 この場合、撮像装置1は、1又は複数の連写グルーピング画像について、それぞれ先頭画のサムネイル画を送信するが、先頭に限らず、連写グルーピング画像に含まれるある画像が選択されて、その画像のサムネイル画が送信されれば良い。
・通信TP22
 サーバ装置2は、各連写グルーピング画像についてのサムネイル画を含むメタ情報をクライアント端末3に送信する。
・処理PS6
 クライアント端末3は、受信した各連写グルーピング画像のサムネイル画を用いたUI処理を行う。
 例えばクライアント端末3では図26Aのようなサムネイル一覧34を表示させる。この場合、連写グルーピング画像については連写グルーピング画像のサムネイル画(連写サムネイル画42)が表示される。
 また送信されてきた内容に、連写ではない通常の1枚撮像により得られた画像のサムネイル画が含まれる場合、そのサムネイル画38が表示される。
 また、連写サムネイル画42やサムネイル画38に対応して、メタ情報に基づく関連/付加情報39として、カメラマン(撮影者)の情報、撮影時刻、撮影場所などが表示される。
 また連写サムネイル画42やサムネイル画38に対応して、チェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
 さらに本画要求ボタン33や展開ボタン36が表示され、担当者が操作できるようにされる。
 このようなUI画面は、クライアント端末3の担当者が、サムネイル画像から本画を要求する画像を選別するための画面となるが、連写グルーピング画像については、個々の画像を選択できるようにもされている。
 例えば連写サムネイル画42をチェックボックス31で選択して展開ボタン36を操作することで、図26Bのように、連写を構成する各画像のサムネイル画が閲覧できる状態となる。
・通信TP23
 クライアント端末3はサーバ装置2に対してグルーピング画像全体の要求を送信する。すなわちクライアント端末3は、処理PS2のUI処理で担当者が、ある連写サムネイル画42についてチェックボックス31へチェックし、展開ボタン36を操作することに応じて、チェックされた連写グルーピング画像の全部の画像のリスト情報と、それらのサムネイルを要求する情報を含むグルーピング画像全体の要求の情報を生成し、それを送信する。
・通信TP24
 サーバ装置2は、クライアント端末3から受信したグルーピング画像全体の要求を、撮像装置1に転送する。
・通信TP25
 撮像装置1は、グルーピング画像全体の要求を受信することに応じて、要求された連写グルーピング画像に含まれる個々の画像のサムネイル画をサーバ装置2に送信する。
・通信TP26
 サーバ装置2は、撮像装置1から受信したサムネイル画を、クライアント端末3に転送する。
・処理PS7
 クライアント端末3は、受信したグルーピング画像の全てのサムネイル画を用いたUI処理を行う。
 例えばクライアント端末3は図26Bのような展開一覧37として、連写グルーピング画像の各サムネイル画43の表示を表示部77において実行する。
 また連写グルーピング画像全体に対応して、関連/付加情報39も表示させるとよい。
 また各サムネイル画43に対応してチェックボックス31を配置し、クライアント端末3側の担当者が選択操作を行うことができるようにする。
 さらに本画要求ボタン33を表示させ、担当者が操作できるようにする。
 このようなUI画面により、クライアント端末3の担当者が、連写画像について、その一部の画像を選択するということも可能となる。
・通信TP27
 クライアント端末3はサーバ装置2に対して本画要求リストを送信する。すなわちクライアント端末3は、処理PS6又は処理PS7のUI処理で担当者がチェックボックス31へのチェック及び本画要求ボタン33の操作を行うことに応じて、チェックされたサムネイルに対応する画像のリスト情報と、それらの本画を要求する情報を含む本画要求リストを生成し、それを送信する。
・通信TP28
 サーバ装置2は、クライアント端末3から受信した本画要求リストを、撮像装置1に転送する。
・通信TP29
 撮像装置1は、本画要求リストを受信することに応じて、本画要求リストに挙げられた1又は複数の画像の本画をサーバ装置2に送信する。
・通信TP30
 サーバ装置2は、撮像装置1から受信した本画を、クライアント端末3に転送する。
 これによりクライアント端末3に、図26Cの本画35が納品されることになる。
 以上のように、連写グルーピング画像を想定する場合には、その連写グルーピング画像を代表するサムネイル画を送信し、それにより連写グルーピング画像を選択できるようにする。さらには連写グルーピング画像の個々の画像を選択できるようにする。
 このようにすることで、撮像装置1で連写撮像された大量の本画を全てクライアント端末3に転送するのではなく、クライアント端末3の担当者が必要とする連写グルーピング画像や個々の画像についての本画を選別して転送することができ、一連の転送は極めて効率化される。
 なお、図25は、撮像装置1で連写撮影が行われた場合を想定して通信TP21から通信TP30を示したものであるが、撮像装置1で連写撮像が行われていないときは、例えば上述の第1送信パターンから第6送信パターンのいずれかにより通信TP1から通信TP10が行われることになる。
 また連写が行われた場合でも、図25の通信TP21より前の時点で、例えば図4に示した通信TP1、処理PS1、通信TP2、処理PS2、通信TP3、通信TP4が行われ、通信TP4のサムネイル画要求リストにより要求された画像について、図25の通信TP21以降の処理が行われるようにすることも考えられる。
 この第7送信パターンに関する撮像装置1の撮影時の処理としては図27の例が考えられる。
 カメラ制御部18は、ステップS140で連写撮影か否か(連写撮影モードとされているか否か)により処理を分岐する。
 連写撮影でなければカメラ制御部18はステップS101からステップS104の処理を行う。これは図6と同様の処理となる。
 連写撮影時には、カメラ制御部18はループ処理LP30として、連写による撮像回数の数だけ、ステップS141からステップS144までの処理を繰り返す。
 ステップS141でカメラ制御部18は連写内の1枚の撮像処理の制御を行う。例えばカメラ制御部18は、撮像素子部12、カメラ信号処理部13により静止画の画像信号処理などを実行させる。
 ステップS142でカメラ制御部18は、サムネイル画及び本画のエンコード処理をカメラ信号処理部13に実行させる。
 ステップS143でカメラ制御部18は、記録制御部14にサムネイル画及び本画を記録媒体に記録させる。
 ステップS144でカメラ制御部18は、グループ情報管理ファイルを更新する。これは連写グルーピング画像の管理するファイルについて、その連写グルーピング画像に関連づけるメタ情報を更新する処理である。
 以上の処理を連写枚数だけ行った後に、カメラ制御部18はステップS145に進み、連写グルーピング画像の先頭の1枚のサムネイル画を含むメタ情報の送信処理を通信部16に実行させる。
 以上の処理で図4の通信TP1が行われる。
 撮像装置1の画像要求受信時の処理は図28のようになる。
通信TP25でグルーピング画像全体のサムネイル画の要求の受信時、通信TP28での本画要求リストの受信時、さらには図4の通信TP5のようにサムネイル画要求リストの受信時の処理である。
 カメラ制御部18はステップS120で、サーバ装置2からの画要求リストの受信を確認する。
 そして画要求リストの受信があったときに、カメラ制御部18はループ処理LP21を実行する。
 ループ処理LP21では、カメラ制御部18は、画要求リストに挙げられた要求に係る画像の数だけ、以下の処理を繰り返す。
 まずステップS131でカメラ制御部18は、画要求リストがサムネイル画要求リストであるか否かを判定する。
 画要求リストがサムネイル画要求リストであった場合は、カメラ制御部18はステップS122で、記録制御部14により記録媒体から、要求に含まれる1つの画像についてのサムネイル画の読出を実行させる。
 そしてカメラ制御部18はステップS123で、記録媒体から読み出したサムネイル画を、通信部16を介してサーバ装置2に送信する処理を行う。
 これを要求された画像の数だけ繰り返す。
 受信した要求情報が、サムネイル画要求リストではない場合は、カメラ制御部18はステップS132で、画要求リストが本画要求リストであったか否かを判定する。本画要求リストであった場合は、カメラ制御部18はステップS124で、記録制御部14により記録媒体から、要求に含まれる1つの画像についての本画の読出を実行させる。
 そしてカメラ制御部18はステップS125で、記録媒体から読み出した本画を、通信部16を介してサーバ装置2に送信する処理を行う。
 これを要求された画像の数だけ繰り返す。
 受信した要求情報が、サムネイル画要求リストでも本画要求リストでもない場合は、カメラ制御部18はステップS133で、グルーピング画像全体要求であったか否かを判定する。その場合、カメラ制御部18はループ処理LP22を行う。
 ループ処理LP22では、ステップS126,S127を、該当の連写グルーピング画像を構成する画像数に応じて繰り返す。正確には先頭画像のサムネイル画はすでに送信済みであるので、2枚目以降の画像について処理を繰り返し行えば良い。
 ステップS126では、記録制御部14により記録媒体から、連写グルーピング画像のうちの未送信画のサムネイル画の読出を実行させる。
 そしてカメラ制御部18はステップS127で、記録媒体から読み出したサムネイル画を、通信部16を介してサーバ装置2に送信する処理を行う。
 以上の処理が行われることで、画要求リストにかかるサムネイル画又は本画の送信が実行される。
 通信TP25、通信TP29(又は通信TP9)、通信TP5としての画像送信が行われることになる。
 なお、サーバ装置2のメタ情報受信時の処理は図13のとおりとなり、画要求受信時の処理は図8のとおりとなり、画像受信時の処理は図10のとおりとなる。
<9.切り替え処理例I>
 ここまで、主に画像として静止画を想定して第1送信パターンから第7送信パターンを説明してきたが、これらの送信パターンは、サーバ装置2が適宜切り替えることで、状況や撮影対象に応じて適切な通信が実現できる。
 以下で述べる切り替えとしては、例えば状況に応じて第1送信パターンと第4送信パターンの切り替えや、第5送信パターンと第6送信パターンの切り替えを行うことや、例えば撮像装置で連写が行われた場合に、自動的に第1送信パターンから第7送信パターンに切り替えるといったような、送信パターン自体を切り替えることが挙げられるが、それだけではない。
 例えば第1送信パターンでは、1往復目でメタ情報と付加情報を送信してクライアント端末3での選択を実行させ、2往復目でサムネイル画を送信してクライアント端末3での選択を実行させるというように、初期情報転送処理を2往復行うものとしたが、これを1往復のみを経て本画転送処理を行うといった例や、初期情報転送処理を行わないで最初から本画転送処理を行うといった例もあり、これらのように、送信パターンの手順の削減又は追加を行うといった切り替えも含まれる。
 以下の説明では、主に送信パターンの切り替えに着目して説明するが、送信パターン内での手順の切り替えにも適用できるものとして理解されたい。
 図29は切り替え処理例Iを示している。
・処理PS10
 サーバ装置2が状況判定を行い、状況に応じて実行する送信パターンを決定する。なお上述のように、ある送信パターンにおいて手順を変更する(例えば初期情報転送処理を省略したり、初期情報転送処理を1往復のみにしたりするなど)といった決定を行うこともできる。
・通信TP40
 サーバ装置2は、決定した送信パターンを撮像装置1に通知する。
・処理PS11
 撮像装置1は、通知された送信パターンに応じて画像納品のための設定処理を行う。
 例えばカメラ制御部18は次のような設定を行う。第1送信パターンから第4送信パターンの場合は、画像転送時にメタ情報のみを送信する設定を行う。第5、第6送信パターンの場合は画像転送時に音声メモデータを含むメタ情報を送信する設定を行う。第7送信パターンの場合は、連写グルーピング画像について先頭画像のサムネイル画を送信する設定を行う。
 あるいは、ある送信パターンにおいて初期情報転送処理を省略するという設定を行うような場合もあり得る。
・通信TP41
 サーバ装置2は、決定した送信パターンをクライアント端末3に通知する。
・処理PS12
 クライアント端末3は、通知された送信パターンに応じて、それを示すUI処理を行う。
 なお、上記の通信TP40と通信TP41の順序は逆でも良い。また通信TP40と通信TP41の一方又は両方、及びそれに応じた処理PS11,処理PS12は行われないということも考えられる。
 このような切り替え処理を行うためのサーバ装置2の処理例を図30に示す。
 ステップS300で制御部2aは状況判定を行う。例えば現在の転送レートやパケットエラー率などの通信状況、接続されている撮像装置1の数、サーバ装置2自身の処理負荷、などの状況を判定する。
 ステップS301で制御部2aは、状況判定の結果、切り替えを行うべきか否かで処理を分岐する。制御部2aは、切り替えを行わない場合は図30の処理を終了するが、切り替えを行う場合はステップS302に進む。
 ステップS302で制御部2aは、判定した状況に応じて送信パターンを決定する。例えば撮像装置1側との通信状況が良好であれば第1送信パターン、悪化している場合は第3送信パターンとする例や、サーバ装置2自身の処理負荷が軽い状態では第1又は第2送信パターン、処理負荷が重くなっている時は第3送信パターンとするなどが考えられる。
 ステップS303で制御部2aは、撮像装置1に送信パターンを通知する処理を行い、ステップS304でクライアント端末3に送信パターンを通知する処理を行う。
 このような処理で送信パターンの切り替えが実行されることで、通信状況や処理負荷の状況などに応じて適切な送信パターンが選択されることになる。
 各種の状況判定に応じた切り替えの具体例を挙げる。
 まずタイミングに関する状況判定がある。
・第1,第2送信パターンについてはサーバ装置2が付加情報生成の必要がある。また第6送信パターンではテキスト化処理が必要である。そこで、付加情報生成のための情報が未作成、又はDBアクセスができない状態の場合、又はテキスト化処理が不能な場合では第3,第4,第5送信パターンを設定し、これら付加情報生成等が可能な状態であれば第1,第2,第6送信パターンに設定する。
 サーバ装置2の処理負荷に関する状況判定も考えられる。
 多数のクライアント端末3側から画リストを要求された場合、サーバ装置2側のネットワーク負荷を下げるために、送信するデータ量を少なくしたい。例えば音声データよりテキストデータを送りたい。そこでサーバ装置2のネットワーク負荷が高い場合、第3送信パターンに切り替え、サーバ装置2のネットワーク負荷が低い場合、第5送信パターンに切り替えることが考えられる。
 また、多数のカメラ側から画を受信した場合、サーバ装置2側のネットワーク負荷を下げるために、送信するデータ量を少なくしたい。例えば連写画像の場合は先頭画を送ることでデータ量をすくなくしたい。そこでサーバ装置2側のネットワーク負荷が高い場合、第7送信パターンに切り替え、サーバ装置2側のネットワーク負荷が低い場合、第3送信パターンに切り替えることが考えられる。
 また、多数の撮像装置1側から多数のメタ情報を受信した場合、サーバ装置2側のデータ作成処理負荷が上がる。そこでサーバ装置2側のインタフェース処理やCPU71の処理負荷が高い場合、第3,第4送信パターンに処理を切り替え、サーバ装置2側のインタフェース処理やCPU71の処理負荷が低い場合、第1,第2,第5送信パターンに処理を切り替えることが考えられる。
 ユースケースの観点での状況判定も考えられる。
 ネットワーク環境が貧弱な可能性がある屋外スポーツ、ネットワーク環境が充実した屋内/スタジアム内のスポーツという撮像場所の環境の差がある。例えばネットワーク環境が貧弱な場合は第3送信パターン、ネットワーク環境が充実している場合は第5送信パターンに処理を切り替えるという例が考えられる。
 また、ネットワーク環境が貧弱な場合は、メタ情報送信、サムネイル画送信、本画送信というように第1から第6送信パターンで説明した送信を行うが、ネットワーク環境が充実した状況では、サムネイル画送信、本画送信とすること(つまり初期情報転送処理を1往復にする)、最初から本画送信をする(初期情報転送処理を行わない)ことなど、送信段階を減らすことが考えられる。
 陸上/水泳等、競技プログラムから時間・場所・競技選手のDBが作成可能なスポーツ、マラソンやトライアスロンなどそうではないスポーツがある。被写体イベントがDB作成可能なスポーツの場合は、第1送信パターンを用い、被写体イベントがDB作成可能なスポーツではない場合は第3,第4,第5,第6送信パターンに切り替えるといったことが考えられる。
 なお撮影対象となるスポーツの種別によって送信パターンを切り替える処理については、切り替え処理例II、IIIとして後述する。
 5G環境か4G環境かという観点での状況判定も考えられる。
 ネットワーク環境によって送信するデータ量を少なくしたい。そこで4G環境の場合、第3,第4送信パターンに切り替え、5G環境の場合第1,第2,第5,第6送信パターンに切り替えるといった例が考えられる。
 ところで、図29、図30の例では、サーバ装置2がクライアント端末3に送信パターンを通知することとしているが、これによりクライアント端末3側では例えば図31A、図31Bのようにパターン情報44を表示し、担当者に、どのような送信パターンで画像転送が行われるかを提示することができる。図31Aは処理PS12の転送開始前の表示状態、図31Bは、例えば図16の処理PS2などでの表示状態の例である。
 このパターン情報44としては、例えば図31Cに各例を示すように、クライアント端末3に送信されてくる情報の内容と順序を示すようにすることが考えられる。
 また、図29、図30の例では、サーバ装置2が状況判定処理により切り替えを自動的に行うものとしたが、クライアント端末3の担当者に切り替えの可否を求めるようにしてもよい。
 例えば図32に示すように、クライアント端末3において確認ダイアログ45を表示させ、担当者が切り替えを了承したときに送信パターンの切り替えを行うようにする。図ではネットワーク環境に応じて切り替えを行う場合に、担当者に了解を求める例としている。
 このためには、サーバ装置2が、図30のステップS301において例えば図33のような処理を行うようにする。
 ステップS310において制御部2aは、ネットワーク状況判定処理を行う。
 例えば転送レートが低くなり、情報転送が低下したと判定したときは、制御部2aはステップS311からステップS313に進み、クライアント端末3に対して切り替え推奨通知を送信する。これに応じてクライアント端末3では図32のような確認ダイアログ45を表示させる。そしてステップS314でクライアント端末3側からの回答通知を待機する。
 担当者が切り替えを了承する操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS314から図30のステップS301、S302と進み、送信パターンの切り替えを行う。
 担当者が切り替えを了承しない操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS314から図30のステップS301に進み、送信パターンの切り替えを行わないとして図30の処理を終了する。
 ステップS310のネットワーク状況判定処理で、例えば転送レートが高くなり、情報転送が高速に行われる状態に回復したと判定したときは、制御部2aはステップS312からステップS315に進み、クライアント端末3に対して切り替え推奨通知を送信する。これに応じてクライアント端末3では通信が良好な状況下での送信パターンへの切り替えを促す確認ダイアログ45を表示させる。そして制御部2aはステップS316でクライアント端末3側からの回答通知を待機する。
 担当者が切り替えを了承する操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS316から図30のステップS301、S302と進み、送信パターンの切り替えを行う。
 担当者が切り替えを了承しない操作を行い、その旨がクライアント端末3から通知されてきたら、ステップS316から図30のステップS301に進み、送信パターンの切り替えを行わないとして図30の処理を終了する。
 このように、状況判定の結果と、クライアント端末3の担当者の意思の両方に基づいて送信パターンの切り替え処理を行うようにしてもよい。
 これによりクライアント端末3側の事情に応じて、不適切な切り替えが行われないようにすることができる。
<10.切り替え処理例II>
 切り替え処理例IIを図34で説明する。
 まず、処理PS20として、例えばカメラマンの操作により、撮影対象のスポーツ情報(競技種別の情報)が入力され、撮像装置1においてメタ情報として競技種別が含まれるようにする。
 通信TP50として、撮像装置1は何らかのタイミングで、撮影対象のスポーツ情報を含むメタ情報をサーバ装置2に送信する。送信するタイミングは、処理PS20の直後でもよいし、第1送信パターンなどで最初にメタ情報を送信するときなどでもよい。
 処理PS21として、サーバ装置2は、受信したメタ情報に含まれているスポーツ情報に基づいて、送信パターンを決定する。
 以降、通信TP40,通信TP41として設定した送信パターンの通知を、上述の切り替え処理例Iと同様に行う。撮像装置1における処理PS11、クライアント端末3における処理PS12も同様に行われる。
 このような切り替え処理例IIのためのサーバ装置2の処理は図35のようになる。
 ステップS320で制御部2aは、撮像装置1からの撮影対象の通知、つまりスポーツ情報の受信があったか否かを確認する。
 スポーツ情報の受信があった場合は、制御部2aはステップS321に進み、その撮影対象の競技が、付加情報取得が可能な競技であるか否かを判定する。例えばスケジュール(タイムテーブル)が決まっている陸上競技などでは、付加情報として、画像の被写体となっている選手の情報などをDB検索で得ることが可能であるが、マラソンやサッカーなどでは、画像のメタ情報(例えば時刻や場所)から、画像に写っている選手を特定することは、DB検索では困難である。
 そこでDB検索により付加情報取得が可能な競技であった場合、制御部2aはステップS322に進み、第1送信パターンを選択する。
 一方、DB検索による付加情報取得が困難な競技であった場合、制御部2aはステップS323に進み、第3送信パターンを選択する。
 そして制御部2aはステップS322又はステップS323からステップS324に進み、撮像装置1への送信パターンの通知を行い、またステップS325でクライアント端末3への送信パターンの通知を行う。
<11.切り替え処理例III>
 切り替え処理例IIIを図36で説明する。
 通信TP50として、クライアント端末3からプロジェクト情報が通知される。プロジェクト情報とは、例えば撮像装置1を識別するカメラIDと、その撮像装置1が何の競技をいつ撮影するかを対応づけた情報である。あるいはカメラマン情報とそのカメラマンが何の競技をいつ撮影するかを対応づけた情報であってもよい。
 サーバ装置2は処理PS30として、受信したプロジェクト情報を登録する処理を行う。
 撮像装置1からは何らかのタイミングで、通信TP51として、時刻情報、カメラID、あるいはカメラマン情報を含むメタ情報をサーバ装置2に送信する。送信するタイミングは、例えば第1送信パターンなどで最初にメタ情報を送信するときなどであればよい。
 処理PS31として、サーバ装置2は、受信したメタ情報に含まれている時刻情報、カメラID、あるいはカメラマン情報から、登録したプロジェクト情報を参照し、その撮像装置1が撮影対象とする競技種別を推定する。そしてその競技種別が、付加情報付与可能な競技であるか否かにより送信パターンを決定する。
 以降、通信TP40,通信TP41として設定した送信パターンの通知を切り替え処理例Iと同様に行う。撮像装置1における処理PS11、クライアント端末3における処理PS12も同様に行われる。
 このような切り替え処理例IIIのためのサーバ装置2の処理は図37、図38のようになる。
 図37のステップS330で制御部2aは、クライアント端末3からのプロジェクト情報の受信を確認する。受信があった場合は、ステップS331に進み、プロジェクト情報の登録処理を行う。つまりその後、プロジェクト情報を参照できるように所定の記憶部(例えば記憶部79)に記憶させる。
 図38のステップS332で制御部2aは、撮像装置1からのメタ情報の受信があったか否かを確認する。この場合、時刻情報、カメラID、あるいはカメラマン情報が含まれるメタ情報の受信を確認することになる。
 該当するメタ情報の受信があった場合は、制御部2aはステップS333に進み、撮影対象の競技種別を推定する。すなわちメタ情報とプロジェクト情報を照合して競技種別を推定する。
 ステップS321で制御部2aは、推定した撮影対象の競技が、付加情報取得が可能な競技であるか否かを判定する。そしてDB検索により付加情報取得が可能な競技であった場合、制御部2aはステップS322に進み、第1送信パターンを選択する。一方、DB検索による付加情報取得が困難な競技であった場合、制御部2aはステップS323に進み、第3送信パターンを選択する。そして制御部2aはステップS322又はステップS323からステップS324に進み、撮像装置1への送信パターンの通知を行い、またステップS325でクライアント端末3への送信パターンの通知を行う。
<12.第8送信パターン>
 ここまで主に第1から第7送信パターン及びその切り替えについて説明してきたが、特に転送画像が動画である場合は、それに適した送信パターンもある。また上述の切り替え処理では、それらの動画に適した送信パターンへの切り替えも想定される。
 以下では、第8、第9、第10送信パターンとして、動画に適した送信パターンを説明する。
 図39は第8送信パターンを示している。
・通信TP71
 撮像装置1はプロキシ動画をサーバ装置2に送信する。プロキシ動画とは、納品目的の本動画に比較して低解像度などとしてデータ量を少なくした動画である。
・通信TP72
 サーバ装置2は、受信したプロキシ動画をクライアント端末3に送信する。
・処理PS40
 クライアント端末3は、受信したプロキシ動画を用いたUI処理を行う。
 例えばクライアント端末3は図40のような表示を表示部77において実行する。すなわちプロキシ動画再生画像46や、動画のタイムライン47を表示させる。タイムライン47では、プロキシ動画から抽出される各時点の代表画像や音声波形が表示される。またタイムライン47上では、担当者が、必要な区間DKを指定できるようにする。
 さらに本動画要求ボタン48が表示され、担当者が操作できるようにされる。
 このようなUI画面は、クライアント端末3の担当者が、まずプロキシ動画の再生画像を確認して、本動画として必要な区間を指定するために行われる。
 担当者は区間DKを指定した上で本動画要求ボタン48を操作する。
 処理PS40では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
・通信TP73
 クライアント端末3はサーバ装置2に対して本動画の一部クリップ要求を送信する。すなわちクライアント端末3は、処理PS40のUI処理で担当者が指定した区間DKの動画を要求する情報を生成し、それを送信する。
・通信TP74
 サーバ装置2は、クライアント端末3から受信した本動画の一部クリップ要求を、撮像装置1に転送する。
・処理PS41
 撮像装置1は本動画の一部クリップ要求を受信することに応じて、本動画から、指定された区間を切り出したクリップを作成する処理を行う。
・通信TP75
 撮像装置1は、処理PS41で生成した本動画の一部クリップをサーバ装置2に送信する。
・通信TP76
 サーバ装置2は、撮像装置1から受信した本動画の一部クリップをクライアント端末3に転送する。
 これによりクライアント端末3に、担当者が必要としたシーンの本動画が納品されることになる。
 以上のように、はじめから本動画全体を転送するのではなく、初期情報転送処理としてプロキシ動画を転送し、クライアント端末3側で必要な区間を指定する。それに応じて本画転送処理として、必要とされる区間の本動画の一部クリップの転送が行われるようにする。
 この第8送信パターンのための撮像装置1の動画録画時の処理例を図41に示す。
 撮像装置1のカメラ制御部18は、図41のループ処理LP50として動画録画処理を行う。すなわちステップS401で、録画停止要求が検知されるまでの間、フレーム毎にステップS402、S403の制御を行う。
 ステップS402でカメラ制御部18は、カメラ信号処理部13に、フレーム画像データ及び音声データのエンコード処理を実行させる。
 ステップS403でカメラ制御部18は、記録制御部14にフレーム画像データ及び音声データ及びメタ情報を記録媒体に記録させる。
 例えばカメラマンの操作などにより録画停止が要求されると、カメラ制御部18はステップS405に進み、記録した動画についてのプロキシ動画の読出制御を行う。たとえば記録制御部14によって動画読出を実行させ、カメラ信号処理部13に低解像度変換を行うなどしてプロキシ動画が生成されるようにする。
 そしてステップS406でカメラ制御部18は、通信部16によりプロキシ動画の送信が行われるように制御する。
 以上の処理で図39の通信TP71が行われる。
 図39の通信TP72のためのサーバ装置2の処理を図42に示す。
 サーバ装置2の制御部2aは、ステップS501で撮像装置1からのプロキシ動画の受信を確認する。
 そしてプロキシ動画の受信が行われているときは、制御部2aはステップS502でプロキシ動画のクライアント端末3への送信処理を実行する。
 これに応じてクライアント端末3側では上述のように処理PS40としてのUI処理を行い、通信TP73として本動画の一部クリップ要求を送信する。
 本動画の一部クリップ要求に応じた通信TP74のためのサーバ装置2の処理は、前述の図8と同様となる。
 撮像装置1の処理PS41及び通信TP75のための処理例を図43に示す。
 カメラ制御部18はステップS430で、サーバ装置2からの動画要求の受信を確認する。
 そして動画要求リストの受信があったときには、カメラ制御部18はループ処理LP60を実行する。
 ループ処理LP60では、カメラ制御部18は、動画要求の内容に応じて必要回数(要求された動画の数)だけ、ステップS431からステップS442の処理を繰り返す。
 まずステップS431でカメラ制御部18は、動画要求内容がプロキシ動画であるか本動画(本動画の一部クリップ要求)であるかを判定して処理を分岐する。
 なお、プロキシ動画が要求される場合とは、後述の第9送信パターン、及び第10送信パターンにおいての発生するものであり、ステップS432からステップS434の処理については後述する。
 本動画の一部クリップ要求であった場合は、カメラ制御部18はステップS440、S441,S442の処理を行う。
 ステップS440では、カメラ制御部18は、記録制御部14により記録媒体から本動画の読出を実行させる。
 ステップS441でカメラ制御部18は、例えばカメラ信号処理部13により、記録媒体から読み出した本動画から、要求された区間の切り出し処理を実行させる。
 そしてカメラ制御部18はステップS442で、切り出し処理で生成した本動画の一部クリップを、通信部16を介してサーバ装置2に送信する処理を行う。
 通信TP76のためのサーバ装置2の処理を図44に示す。
 サーバ装置2の制御部2aは、ステップS530で、撮像装置1からの本動画の受信を確認する。
 そして本動画の受信があったときに、制御部2aはステップS531で、受信した本動画をクライアント端末3に送信する処理を行う。
 これにより本動画の一部クリップが、クライアント端末3に納品されることになる。
<13.第9送信パターン>
 第9送信パターンを図45で説明する。
・通信TP81
 撮像装置1は動画について、音のみファイルをサーバ装置2に送信する。音のみファイルとは、動画録画時に収録した音声データのみのファイルである。
・通信TP82
 サーバ装置2は、受信した音のみファイルをクライアント端末3に送信する。
・処理PS42
 クライアント端末3は、受信した音のみファイルを用いたUI処理を行う。
 例えばクライアント端末3は図46Aのような表示を表示部77において実行する。この場合、音のみファイルを受信しているのみであるためプロキシ動画再生画像46は再生できず空白画像となる。タイムライン47としては音声波形のみを表示させる。
 さらにプロキシ動画要求ボタン49が表示され、担当者が操作できるようにされる。
 このようなUI画面は、クライアント端末3の担当者が、まず音声波形のタイムライン47から、大まかに必要な区間を指定するために行われる。音声波形により、例えば観客が盛り上がっている区間などを判定できる。
 担当者は区間DKAを指定した上でプロキシ動画要求ボタン49を操作する。
 処理PS42では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
・通信TP83
 クライアント端末3はサーバ装置2に対してプロキシ動画の一部クリップ要求を送信する。すなわちクライアント端末3は、処理PS42のUI処理で担当者が指定した区間DKAのプロキシ動画を要求する情報を生成し、それを送信する。
・通信TP84
 サーバ装置2は、クライアント端末3から受信したプロキシ動画の一部クリップ要求を、撮像装置1に転送する。
・処理PS43
 撮像装置1はプロキシ動画の一部クリップ要求を受信することに応じて、指定された区間を切り出したプロキシ動画のクリップを作成する処理を行う。
・通信TP85
 撮像装置1は、処理PS43で生成したプロキシ動画の一部クリップをサーバ装置2に送信する。
 サーバ装置2は通信TP72として、受信したプロキシ動画をクライアント端末3に送信する。
 この通信TP72以降は、図39に示した通信TP72以降と同様である。
 クライアント端末3では、処理PS40として、図46BのようなUI表示を実行させる。これは図40と同様の表示内容となる。
 但し、この場合は、撮像装置1で録画した動画全体のプロキシ動画ではなく、処理PS42で指定された区間のプロキシ動画となることが、図39の例と異なる。
 通信TP73以降は繰り返しとなるため説明を省略する。
 つまり第9送信パターンでは、まず音のみファイルで大まかに区間を指定させ、それに応じてプロキシ動画を送信し、クライアント端末3側でプロキシ動画を確認して必要な区間を指定するようにする。それに応じて本画転送処理として、必要とされる区間の本動画の一部クリップの転送が行われるようにする。
 この第9送信パターンのための撮像装置1の動画録画時の処理例を図47に示す。
 撮像装置1のカメラ制御部18は、図41と同様に、ループ処理LP50として動画録画処理を行う。
 その後、例えばカメラマンの操作などにより録画停止が要求されると、カメラ制御部18はステップS410に進み、記録した動画についての音声データのみの読出制御を行う。たとえば記録制御部14によって動画ファイルのうちで音声データのみを読み出させ、カメラ信号処理部13に音のみファイルを生成させるようにする。
 そしてステップS411でカメラ制御部18は、通信部16により音のみファイルの送信が行われるように制御する。
 以上の処理で図45の通信TP81が行われる。
 通信TP82のためのサーバ装置2の処理を図48に示す。
 サーバ装置2の制御部2aは、ステップS511で撮像装置1からの音のみファイルの受信を確認する。
 そして音のみファイルの受信が行われているときは、制御部2aはステップS512で音のみファイルのクライアント端末3への送信処理を実行する。
 これに応じてクライアント端末3側では上述のように処理PS42としてのUI処理を行い、通信TP83としてプロキシ動画の一部クリップ要求を送信する。
 プロキシ動画の一部クリップ要求に応じた通信TP84のためのサーバ装置2の処理は、前述の図8と同様となる。
 撮像装置1の処理PS43及び通信TP85のための処理は、上述の図43により行われる。
 すなわちプロキシ動画の一部クリップ要求が受信された場合、図43のステップS431からステップS432に進むことになる。
 ステップS432では、カメラ制御部18は、記録制御部14により記録媒体からプロキシ動画の読出を実行させる。
 ステップS433でカメラ制御部18は、例えばカメラ信号処理部13により、記録媒体から読み出したプロキシ動画から、要求された区間の切り出し処理を実行させる。
 そしてカメラ制御部18はステップS434で、切り出し処理で生成したプロキシ動画の一部クリップを、通信部16を介してサーバ装置2に送信する処理を行う。
 図45の通信TP72以降のサーバ装置2や撮像装置1の処理は、第8送信パターンで説明したものと同様となる。
<14.第10送信パターン>
 第10送信パターンを図49で説明する。
・通信TP91
 撮像装置1は動画について、メタ時系列ファイルをサーバ装置2に送信する。メタ時系列ファイルとは、動画録画時に生成されたメタ情報(例えば撮影位置情報)を時系列で提示可能なデータのファイルである。
・通信TP92
 サーバ装置2は、受信したメタ時系列ファイルをクライアント端末3に送信する。
・処理PS44
 クライアント端末3は、受信したメタ時系列ファイルを用いたUI処理を行う。
 例えばクライアント端末3は図50のようなメタ時系列ファイルに基づく表示を表示部77において実行する。例えばメタ時系列ファイルとして、時系列上での撮影位置情報の変化が判定できる場合、撮影位置情報に応じた地図画像50や時系列情報51を表示させる。地図画像50では、各撮影位置をマーカーで示すものとする。時系列情報51は、時刻と撮影位置情報を対応させて時系列で示している。タイムライン47としては区間長を示すもののみ表示させる。タイムライン47では、各時点での位置を示す表示を行うことが望ましい。
 プロキシ動画要求ボタン49も表示され、担当者が操作できるようにされる。
 このようなUI画面は、クライアント端末3の担当者が、まず撮影位置から、必要な被写体が写っていると思われる区間を大まかに指定するために行われる。ある時刻にある場所で何らかの事象が発生したという情報を知ることで、担当者は、その事象について撮影されている可能性がある動画区間を判定できる。
 担当者は区間DKPを指定した上でプロキシ動画要求ボタン49を操作する。
 処理PS44では、クライアント端末3のCPU71は、このようなUI画面の表示制御と、それに応じた担当者の入力の検知を行うことになる。
 通信TP83としてクライアント端末3は、処理PS44のUI処理で担当者が指定した区間DKPのプロキシ動画を要求する情報を生成し、それを送信する。
 この通信TP83以降は、図45に示した第9送信パターンと同様となるため説明を省略する。
 つまり第10送信パターンでは、まず時系列情報で大まかに区間を指定させ、それに応じてプロキシ動画を送信し、クライアント端末3側でプロキシ動画を確認して必要な区間を指定するようにする。それに応じて本画転送処理として、必要とされる区間の本動画の一部クリップの転送が行われるようにする。
 この第10送信パターンのための撮像装置1の動画録画時の処理例を図51に示す。
 撮像装置1のカメラ制御部18は、図41と同様に、ループ処理LP50として動画録画処理を行う。
 その後、例えばカメラマンの操作などにより録画停止が要求されると、カメラ制御部18はステップS420に進み、記録した動画についてのメタ情報の時系列データの読出制御を行う。たとえば記録制御部14によって動画ファイルについてのメタ情報を読み出させ、カメラ信号処理部13に時系列ファイルを生成させるようにする。
 そしてステップS421でカメラ制御部18は、通信部16により時系列ファイルの送信が行われるように制御する。
 以上の処理で図49の通信TP91が行われる。
 通信TP92のためのサーバ装置2の処理を図52に示す。
 サーバ装置2の制御部2aは、ステップS521で撮像装置1からの時系列ファイルの受信を確認する。
 そして時系列ファイルの受信が行われているときは、制御部2aはステップS522で時系列ファイルのクライアント端末3への送信処理を実行する。
 これに応じてクライアント端末3側では上述のように処理PS44としてのUI処理を行い、通信TP83としてプロキシ動画の一部クリップ要求を送信する。
 以降のサーバ装置2や撮像装置1の処理は、第8、第9送信パターンで説明したものと同様となる。
<15.まとめ及び変形例>
 以上の実施の形態によれば次のような効果が得られる。
 実施の形態のサーバ装置2の制御部2aは、撮像装置1で撮像された画像に関連付けられた情報であって画像よりもデータ量の少ない関連情報を受信することに応じて、関連情報に基づいて付加情報を得、関連情報及び付加情報を前記クライアント端末3に送信する初期情報転送処理を行う。また制御部2aは、関連情報又は付加情報の送信に基づいたクライアント端末3における選択処理により生成された要求情報に応じて、撮像装置1から送信されてくる画像をクライアント端末3に送信する本画転送処理を行う。
 サーバ装置2がこのような処理を行うことで、例えば報道等の撮影後の即納が求められる現場においてネットワーク負荷、システムの記憶容量負荷を増大させず、またそれらにより転送遅延を発生させないような画像転送を実現しながら、クライアント端末3側で必要とされる高精細な本画を適切に転送できることとなる。
 またクライアント端末3においては関連情報に基づく提示が実行できることで、担当者が必要な画像を容易且つ適切に選択できる環境を提供できることにもなる。
 なおサーバ装置2やクライアント端末3としての情報処理装置の具体例としては、例えばパーソナルコンピュータ装置、タブレット型情報処理装置、携帯電話装置、ゲーム機器、オーディオ機器、ビデオ機器、通信装置、テレビジョン装置、サーバ装置など、各種の例が想定される。情報処理としての演算を行うことのできる装置、例えばマイクロコンピュータを内蔵する装置であれば本開示の情報処理装置として実現可能である。
 また図1にはMEC5を示したが、MEC5が実施の形態でサーバ装置2に代わる機能を有するようにしてもよい。
 さらにはMEC5が撮像装置1の機能(送信機能)の一部を有するものとしてもよい。
 実施の形態のサーバ装置2は、初期情報転送処理において、関連情報(例えばメタ情報)に基づいてDB検索を行うことで付加情報を得る例を挙げた(第1送信パターン参照)。
 本画に関してメタ情報等からより詳細な付加情報をDB検索で得ることで、クライアント端末3側の担当者に、よりわかりやすく画像選択に適した情報を提供することができるようになる。これにより選択操作が適切化されることで、ネットワーク通信効率も向上することになる。
 実施の形態では、関連情報として撮像装置1で撮像された画像を表す、よりデータ量が少ない画像(例えばサムネイル画)が含まれており、サーバ装置2は、初期情報転送処理において、関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る例を挙げた(第2送信パターン参照)。
 画像解析により被写体の情報を得て付加情報とすることでも、クライアント端末3側の担当者に、よりわかりやすく画像選択に適した情報を提供することができるようになり、これも選択操作の適切化やネットワーク通信効率の向上に寄与する。
 実施の形態のサーバ装置2は、初期情報転送処理として、付加情報を加えた第1,第2送信パターンと、付加情報を加えない送信パターン(第2から第10送信パターン)を含む、複数の送信パターンの切り替え処理を行うことを述べた。
 付加情報の転送に適していない環境、状況、画像(被写体)内容などもあるため、サーバ装置2が常に付加情報を得る処理を行うことが適切とは限らない。そこで場合によっては、サーバ装置2が付加情報を得る処理を行わないようにすることで、状況や事情に適した処理を実行することができるようになる。これはサーバ負荷の削減、ネットワーク効率の向上などにも寄与する。
 実施の形態では、サーバ装置2が、複数の送信パターンの内の1つである所定の送信パターンの送信として、関連情報に含まれる音声情報をクライアント端末3に送信する処理を行う例を挙げた(第5送信パターン参照)。
 静止画や動画に関連づけられた音声メモが撮像装置から送信されてくる場合、サーバ装置2は、初期情報転送処理の際に、その音声メモをクライアント端末3に転送することで、クライアント端末3の担当者が、音声メモを再生させて画像選択を行うことができる。これにより、より望ましい画像選択ができる環境を提供できることになる。
 実施の形態では、サーバ装置2が、複数の送信パターンの内の1つである所定の送信パターンの送信として、関連情報に含まれる音声情報をテキストデータ化し、そのテキストデータをクライアント端末3に送信する処理を行う例を挙げた(第6送信パターン参照)。
 静止画や動画に関連づけられた音声メモが撮像装置から送信されてくる場合、サーバ装置2は、初期情報転送処理の際に、その音声メモをテキストデータに変換してクライアント端末3に転送する。テキストデータ化することで、音声情報よりもデータ量を少なくすることができる。
 またテキストにより音声メモ内容が表示されることで、クライアント端末3の担当者が、音声メモを再生させることも不要になり、より容易に画像選択ができる環境を提供できることになる。
 実施の形態では、サーバ装置2は通信状況の判定結果に応じて切り替え処理を行う例を挙げた(切り替え処理例I参照)。
 ネットワークの伝送路の通信速度、パケット率、4G/5Gの状況、撮像装置の場所による通信環境など、通信状況の変化に応じて送信パターンを切り替えることで、そのときの状況に応じた画像転送が実現できることになる。
 特にスポーツの画像の転送では、屋外で通信環境が変動しやすいこともある。また大規模スポーツイベントでは、取材記者等が多く、伝送路の混雑も考えられる。そのような状況に応じて適切な送信パターンを選択することで、リアルタイムの適切な転送状態を維持することに好適となる。
 ネットワーク状態は、特に撮像装置1とサーバ装置2の間で変化することが想定されやすい。カメラマンの位置、移動、スポーツ等のイベントの会場の地域、立地、設備、状況などの要因が加わるためである。
 そのため、付加情報の転送の有無は、付加情報を得るための関連情報の転送の有無という観点で、送信パターンの切り替えを行うことも考えられる。
 例えば画像解析で付加情報を得る場合に、撮像装置1にサムネイル画像を要求する場合と、付加情報を得ないことでサムネイル画像の送信を不要とすることなどを切り替えることで、通信状況に応じてデータ量を調整できることになる。
 また、付加情報を含む送信パターン(例えば第1又は第2送信パターン)と付加情報を含まない送信パターン(例えば第3から第7の送信パターン)の切り替え処理に限らず、通信状況に応じて、例えば第3から第7の送信パターンの内での切り替えを行うようにしてもよい。例えば第3送信パターンと第4送信パターンを切り替えることや、第5送信パターンと第3送信パターンを切り替えることなどである。
 同様に第1送信パターンと第2送信パターンの切り替えも可能である。
 また静止画転送から動画転送に切り替えることで、第1から第7の送信パターンのいずれかから、第8送信パターンから第10送信パターンのいずれかへの切り替えが行われてもよいし、さらに動画転送時において第8送信パターンから第10送信パターンを、通信状況に応じて切り替えるようにしてもよい。
 実施の形態では、サーバ装置2が、撮像装置1から通知される撮影対象の情報に基づいて切り替え処理を行う例を挙げた(切り替え処理例II参照)。
 競技の種別によっては付加情報が適切に得られないものもある。例えば付加情報を選手名とした場合、スケジュールが決まった競技であれば、撮像の日時・場所等からDB検索を行うことで選手名を得ることができるが、そのようなことができない競技もある。付加情報取得ができない競技の画像に関して、付加情報取得の処理を行うことは処理効率を低下させることになる場合もある。そこで、切り替え処理例IIのように競技種別の情報に応じて送信パターンの切り替えを行うことが好適となる。
 実施の形態では、サーバ装置2が、撮像装置1による撮影対象の推定処理を行い、推定した撮影対象の情報に基づいて切り替え処理を行う例を挙げた(切り替え処理例III参照)。
 競技の種別により送信パターンの切り替えを行うことが適切な場合がある。例えば切り替え処理例IIIでは、あらかじめプロジェクト情報を登録しておく。これにより画像の関連情報としてのメタ情報で時刻情報やカメラID、カメラマン情報などに基づいて、撮影対象の競技種別推定できる。この推定処理によって送信パターンの切り替えを行うことで競技種別に適した転送が実行できる。
 実施の形態では、サーバ装置2が、切り替え処理により設定される初期情報転送処理の送信パターンを、クライアント端末3又は撮像装置1に通知する処理を行う例を挙げた(切り替え処理例I、II、III参照)。
 例えば撮像装置1では、送信パターンの通知に応じて、送信する情報内容を設定することが可能となる。例えば最初の送信ではメタ情報を送信するのかサムネイル画像を送信するのか、であるとか、どのようなメタ情報を送信するのか、といったような設定が可能となる。
 なお、切り替え処理は、付加情報の取得を行う送信パターンと、それを行わない送信パターンとを切り替えるだけでなく、例えば第1送信パターンから第10送信パターンのいずれを用いるかという切り替えもあり、さらには第1送信パターンから第10送信パターンにおける初期情報転送処理を行うか行わないかというパターンもある。例えば、通信状況等に応じて、初期情報転送処理を行わずに、最初から本画の転送を行うようにする場合があり得る。そのため、送信パターンを撮像装置1に通知することは、連携制御のために有用となる。
 また初期情報転送処理の送信パターンをクライアント端末3に通知することで、例えば図31のような表示も可能となり、担当者が、どのような転送が行われているかを把握しやすくできる。
 実施の形態では、関連情報は、撮像装置1で撮像された画像に関連付けられたメタ情報である例を挙げた。
 つまり撮像装置1側で画像に関連づけられ、サーバ装置2に送信されてきた情報である。例えば撮像装置1の情報、カメラマンの情報、撮像場所や時刻の情報、撮像装置1側での画像の解析情報、撮像動作や処理に関する各種パラメータ、撮像時の撮像装置1における各種センサのセンシング情報、画像データ/ファイルに関する情報、サムネイル画像、スクリーンネイル画像、カメラマンが画像に関連づけたテキスト情報や音声メモ情報など、多様な情報が想定される。
 これらのメタ情報は、画像内容を提示するためや、画像についての付加情報を得たりするための有用な情報となる。
 実施の形態では、関連情報は、撮像装置1で撮像された画像を表す、よりデータ量が少ない画像である例を挙げた。
 よりデータ量が少ない画像としては例えばサムネイル画像、スクリーンネイル画像、プロキシ動画などが該当する。
 本画よりデータ量が少ない画像としてサムネイル画像やプロキシ動画等は、例えばクライアント端末3の担当者が本画の内容を判別するためには極めて有用な情報になる。また画像解析により付加情報を得たりするための情報としても有用である。
 実施の形態では、関連情報は、撮像装置1での連写撮像されたグルーピング画像を表す画像であるとする例を挙げた(第7送信パターン参照)。
 連写撮像による一連の画像をグルーピング画像としたとき、その全体を一枚で表現する画像、例えば先頭画像のサムネイル画像などを関連情報とする。
 連写によるグルーピング画像は、画像数が多くデータ量は大きくなるが、ほぼ同じ被写体の画像内容となる。そこで代表のサムネイル画像などで表現することができ、そのようなサムネイル画像を初期情報転送処理で送信することが、処理の効率化やネットワーク負荷の削減に望ましいものとなる。
 実施の形態では、関連情報は、動画撮像により動画と共に収録された音声情報であるとする例を挙げた(第9送信パターン参照)。
 例えばサーバ装置2は、初期情報転送処理で、動画記録時に同時に記録された音のみファイルを関連情報として受信し、クライアント端末3に送信する。
 動画の音声情報は、それを聞くことで、クライアント端末3の担当者が動画内容を確認し、必要なシーンを特定するための有用な情報となる。
 実施の形態では、関連情報は、動画についての撮像時の時系列データであるとする例を挙げた(第10送信パターン参照)。
 動画の時系列データは、クライアント端末3の担当者が動画内容を確認し、必要なシーンを特定するための有用な情報となる。
 実施の形態のサーバ装置2は、初期情報転送処理として、付加情報と共に、又は付加情報を伴わずに、第1の関連情報をクライアント端末3に送信する処理と、第1の関連情報を含む送信に基づいたクライアント端末3における選択処理により生成された要求情報を撮像装置1に転送する処理と、要求情報に応じて撮像装置1から送信されてくる第2の関連情報をクライアント端末3に送信する処理と、を行う例を挙げた(第1から第7、第9、第10送信パターン参照)。
 つまり初期情報転送処理として、クライアント端末3への本画の送信に至る前に、複数回、情報送信を行う。
 サーバ装置2は、初期情報転送処理として、例えば1回目はクライアント端末3へメタ情報を送信して大まかな選択を行わせ、2回目にサムネイル画像を送信して、最終的な選択を行わせるなどすることで、転送するデータ量を過大にすることなく、クライアント端末3側でより適切且つ担当者がわかりやすい選択を実行させることができる。
 なお実施の形態では、初期情報転送処理として主に2往復の転送を行う例で説明したが本画の送信に至る前の初期情報転送処理としては、1往復の転送を行うのみでもよいし、3往復以上としてもよい。
 実施の形態において初期情報転送処理を複数回行う場合の第1の関連情報は、第2の関連情報よりもデータ量の少ない情報であるとした。
 例えば第1の関連情報は、撮影時刻や撮影場所などを示すメタ情報、第2の関連情報はサムネイル画像などとしての例が考えられる。
 初期情報転送処理の1往復目は、撮影時刻や撮影場所などを示す、比較的データ量の少ない第1の関連情報をクライアント端末3に送信することで、転送負担を大きくせずに、転送可能な多くの画像を表す情報を提示できる。2往復目は、クライアント端末3の最初の選択に応じて、より詳細な画像内容を提示するために例えばサムネイル画像などを転送する。これにより、ある程度絞られた画像についてのみ、サムネイル画像を転送すればよいため、これも転送負担を大きくせずに、クライアント端末3の担当者がより明確に画像内容を把握して選択できるようにすることができる。
 実施の形態の撮像装置1は、撮像した画像に関連付けられた情報であって画像よりもデータ量の少ない関連情報を外部のサーバ装置2に送信する関連情報送信処理と、サーバ装置2から受信した要求情報に応じて、当該要求情報で示される画像をサーバ装置2に送信する本画送信処理とを行うカメラ制御部18を備えている。
 これにより、実施の形態の画像転送システムに適した動作を行う撮像装置1を実現できる。
 実施の形態のプログラムは、上述のサーバ装置2の処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
 即ち実施の形態のプログラムは、撮像装置1で撮像された画像に関連付けられた情報であって、前記画像よりもデータ量の少ない関連情報を受信することに応じて、関連情報に基づいて付加情報を得、関連情報及び付加情報をクライアント端末3に送信する初期情報転送処理と、関連情報及び付加情報の送信に基づいたクライアント端末3における選択処理により生成された要求情報に応じて、撮像装置1から送信されてくる画像をクライアント端末3に送信する本画転送処理と、を情報処理装置に実行させるプログラムである。
 このようなプログラムにより、上述したサーバ装置2を、各種のコンピュータ装置により実現できる。
 また実施の形態のプログラムは、撮像装置1の処理を、例えばCPU、DSP等、或いはこれらを含むデバイスに実行させるプログラムである。
 即ちそのプログラムは、撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を外部のサーバ装置2に送信する関連情報送信処理と、サーバ装置2から受信した要求情報に応じて、当該要求情報で示される画像をサーバ装置2に送信する本画送信処理と、制御部としてのプロセッサ等に実行させるプログラムである。
 このようなプログラムにより、上述した撮像装置1を実現できる。
 これらのプログラムはコンピュータ装置等の機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROM等に予め記録しておくことができる。
 あるいはまた、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)、MO(Magneto Optical)ディスク、DVD(Digital Versatile Disc)、ブルーレイディスク(Blu-ray Disc(登録商標))、磁気ディスク、半導体メモリ、メモリカードなどのリムーバブル記録媒体に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネットなどのネットワークを介してダウンロードすることもできる。
 またこのようなプログラムによれば、実施の形態のサーバ装置2や撮像装置1の広範な提供に適している。例えばスマートフォンやタブレット等の携帯端末装置、携帯電話機、パーソナルコンピュータ、ゲーム機器、ビデオ機器、PDA(Personal Digital Assistant)等にプログラムをダウンロードすることで、当該スマートフォン等を、本開示のサーバ装置2や撮像装置1として機能させることができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
 なお本技術は以下のような構成も採ることができる。
 (1)
 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
 前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
 を行う制御部を備えた
 情報処理装置。
 (2)
 前記制御部は、前記初期情報転送処理において、前記関連情報に基づいてデータベース検索を行うことで前記付加情報を得る
 上記(1)に記載の情報処理装置。
 (3)
 前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、
 前記制御部は、前記初期情報転送処理において、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る
 上記(1)又は(2)に記載の情報処理装置。
 (4)
 前記制御部は、
 前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む、複数の送信パターンの切り替え処理を行う
 上記(1)から(3)のいずれかに記載の情報処理装置。
 (5)
 前記制御部は、
 複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報を前記クライアント端末に送信する処理を行う
 上記(4)に記載の情報処理装置。
 (6)
 前記制御部は、
 複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報をテキストデータ化したテキストデータを前記クライアント端末に送信する処理を行う
 上記(4)に記載の情報処理装置。
 (7)
 前記制御部は、
 通信状況の判定結果に応じて前記切り替え処理を行う
 上記(4)から(6)のいずれかに記載の情報処理装置。
 (8)
 前記制御部は、
 前記撮像装置から通知される撮影対象の情報に基づいて前記切り替え処理を行う
 上記(4)から(7)のいずれかに記載の情報処理装置。
 (9)
 前記制御部は、
 前記撮像装置による撮影対象の推定処理を行い、推定した撮影対象の情報に基づいて前記切り替え処理を行う
 上記(4)から(8)のいずれかに記載の情報処理装置。
 (10)
 前記制御部は、
 前記切り替え処理により設定される前記初期情報転送処理の送信パターンを、前記クライアント端末又は前記撮像装置に通知する処理を行う
 上記(4)から(9)のいずれかに記載の情報処理装置。
 (11)
 前記関連情報は、前記撮像装置で撮像された画像に関連付けられたメタ情報である
 上記(1)から(10)のいずれかに記載の情報処理装置。
 (12)
 前記関連情報は、前記撮像装置で撮像された画像を表す、よりデータ量が少ない画像である
 上記(1)から(11)のいずれかに記載の情報処理装置。
 (13)
 前記関連情報は、前記撮像装置で連写撮像された複数画像であるグルーピング画像を表す画像である
 上記(1)から(12)のいずれかに記載の情報処理装置。
 (14)
 前記関連情報は、前記撮像装置での動画撮像により動画と共に収録された音声情報である
 上記(1)から(13)のいずれかに記載の情報処理装置。
 (15)
 前記関連情報は、前記撮像装置で撮像された動画についての撮像時の時系列データである
 上記(1)から(14)のいずれかに記載の情報処理装置。
 (16)
 前記制御部は、前記初期情報転送処理として、
 前記付加情報と共に、又は前記付加情報を伴わずに、第1の関連情報を前記クライアント端末に送信する処理と、
 前記第1の関連情報を含む送信に基づいた前記クライアント端末における選択処理により生成された要求情報を前記撮像装置に転送する処理と、
 前記要求情報に応じて、前記撮像装置から送信されてくる第2の関連情報を前記クライアント端末に送信する処理と、を行う
 上記(1)から(15)のいずれかに記載の情報処理装置。
 (17)
 前記第1の関連情報は、前記第2の関連情報よりもデータ量の少ない情報である
 上記(16)に記載の情報処理装置。
 (18)
 撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
 前記関連情報及び前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
 を情報処理装置が行う情報処理方法。
 (19)
 撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を外部の情報処理装置に送信する関連情報送信処理と、
 前記情報処理装置から受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、
 を行う制御部を備えた
 撮像装置。
 (20)
 撮像装置と情報処理装置の間で情報通信が可能とされ、
 前記情報処理装置とクライアント端末の間で情報通信が可能とされ、
 前記撮像装置は、
 撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を前記情報処理装置に送信する関連情報送信処理と、
 前記情報処理装置を介して前記関連情報を受信した前記クライアント端末における選択処理により生成され、前記情報処理装置を介して受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、
 を行う制御部を備え、
 前記情報処理装置は、
 前記撮像装置から前記関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報を前記クライアント端末に送信する初期情報転送処理と、
 前記要求情報に応じて前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
 を行う制御部を備えた
 画像転送システム。
1 撮像装置
2 サーバ装置
2a 制御部
3 クライアント端末
4 基地局
5 MEC
6 ネットワーク
7 DB
8 テキスト変換エンジン
18 カメラ制御部
70 情報処理装置、
71 CPU

Claims (20)

  1.  撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
     前記関連情報又は前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
     を行う制御部を備えた
     情報処理装置。
  2.  前記制御部は、前記初期情報転送処理において、前記関連情報に基づいてデータベース検索を行うことで前記付加情報を得る
     請求項1に記載の情報処理装置。
  3.  前記関連情報には、撮像装置で撮像された画像を表す、よりデータ量が少ない画像が含まれており、
     前記制御部は、前記初期情報転送処理において、前記関連情報に含まれる画像に対する画像認識処理により前記付加情報を得る
     請求項1に記載の情報処理装置。
  4.  前記制御部は、
     前記初期情報転送処理として、前記付加情報を加えた送信パターンと前記付加情報を加えない送信パターンを含む、複数の送信パターンの切り替え処理を行う
     請求項1に記載の情報処理装置。
  5.  前記制御部は、
     複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報を前記クライアント端末に送信する処理を行う
     請求項4に記載の情報処理装置。
  6.  前記制御部は、
     複数の送信パターンの内の1つである所定の送信パターンの送信として、前記関連情報に含まれる音声情報をテキストデータ化したテキストデータを前記クライアント端末に送信する処理を行う
     請求項4に記載の情報処理装置。
  7.  前記制御部は、
     通信状況の判定結果に応じて前記切り替え処理を行う
     請求項4に記載の情報処理装置。
  8.  前記制御部は、
     前記撮像装置から通知される撮影対象の情報に基づいて前記切り替え処理を行う
     請求項4に記載の情報処理装置。
  9.  前記制御部は、
     前記撮像装置による撮影対象の推定処理を行い、推定した撮影対象の情報に基づいて前記切り替え処理を行う
     請求項4に記載の情報処理装置。
  10.  前記制御部は、
     前記切り替え処理により設定される前記初期情報転送処理の送信パターンを、前記クライアント端末又は前記撮像装置に通知する処理を行う
     請求項4に記載の情報処理装置。
  11.  前記関連情報は、前記撮像装置で撮像された画像に関連付けられたメタ情報である
     請求項1に記載の情報処理装置。
  12.  前記関連情報は、前記撮像装置で撮像された画像を表す、よりデータ量が少ない画像である
     請求項1に記載の情報処理装置。
  13.  前記関連情報は、前記撮像装置で連写撮像された複数画像であるグルーピング画像を表す画像である
     請求項1に記載の情報処理装置。
  14.  前記関連情報は、前記撮像装置での動画撮像により動画と共に収録された音声情報である
     請求項1に記載の情報処理装置。
  15.  前記関連情報は、前記撮像装置で撮像された動画についての撮像時の時系列データである
     請求項1に記載の情報処理装置。
  16.  前記制御部は、前記初期情報転送処理として、
     前記付加情報と共に、又は前記付加情報を伴わずに、第1の関連情報を前記クライアント端末に送信する処理と、
     前記第1の関連情報を含む送信に基づいた前記クライアント端末における選択処理により生成された要求情報を前記撮像装置に転送する処理と、
     前記要求情報に応じて、前記撮像装置から送信されてくる第2の関連情報を前記クライアント端末に送信する処理と、を行う
     請求項1に記載の情報処理装置。
  17.  前記第1の関連情報は、前記第2の関連情報よりもデータ量の少ない情報である
     請求項16に記載の情報処理装置。
  18.  撮像装置で撮像された画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報をクライアント端末に送信する初期情報転送処理と、
     前記関連情報及び前記付加情報の送信に基づいた前記クライアント端末における選択処理により生成された要求情報に応じて、前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
     を情報処理装置が行う情報処理方法。
  19.  撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を外部の情報処理装置に送信する関連情報送信処理と、
     前記情報処理装置から受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、
     を行う制御部を備えた
     撮像装置。
  20.  撮像装置と情報処理装置の間で情報通信が可能とされ、
     前記情報処理装置とクライアント端末の間で情報通信が可能とされ、
     前記撮像装置は、
     撮像した画像に関連付けられた情報であって前記画像よりもデータ量の少ない関連情報を前記情報処理装置に送信する関連情報送信処理と、
     前記情報処理装置を介して前記関連情報を受信した前記クライアント端末における選択処理により生成され、前記情報処理装置を介して受信した要求情報に応じて、当該要求情報で示される画像を前記情報処理装置に送信する本画送信処理と、
     を行う制御部を備え、
     前記情報処理装置は、
     前記撮像装置から前記関連情報を受信することに応じて、前記関連情報に基づいて付加情報を得、前記関連情報及び前記付加情報を前記クライアント端末に送信する初期情報転送処理と、
     前記要求情報に応じて前記撮像装置から送信されてくる画像を前記クライアント端末に送信する本画転送処理と、
     を行う制御部を備えた
     画像転送システム。
PCT/JP2021/019769 2020-06-10 2021-05-25 情報処理装置、情報処理方法、撮像装置、画像転送システム WO2021251127A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/928,837 US20230179811A1 (en) 2020-06-10 2021-05-25 Information processing apparatus, information processing method, imaging apparatus, and image transfer system
JP2022530108A JPWO2021251127A1 (ja) 2020-06-10 2021-05-25
EP21821610.9A EP4167577A4 (en) 2020-06-10 2021-05-25 INFORMATION PROCESSING APPARATUS, INFORMATION PROCESSING METHOD, IMAGING APPARATUS AND IMAGE TRANSMISSION SYSTEM
CN202180040028.6A CN115702569A (zh) 2020-06-10 2021-05-25 信息处理设备、信息处理方法、成像设备和图像转发系统

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-100971 2020-06-10
JP2020100971 2020-06-10

Publications (1)

Publication Number Publication Date
WO2021251127A1 true WO2021251127A1 (ja) 2021-12-16

Family

ID=78846035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/019769 WO2021251127A1 (ja) 2020-06-10 2021-05-25 情報処理装置、情報処理方法、撮像装置、画像転送システム

Country Status (5)

Country Link
US (1) US20230179811A1 (ja)
EP (1) EP4167577A4 (ja)
JP (1) JPWO2021251127A1 (ja)
CN (1) CN115702569A (ja)
WO (1) WO2021251127A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022125701A (ja) * 2021-02-17 2022-08-29 富士フイルム株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007150781A (ja) 2005-11-29 2007-06-14 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
JP2013175883A (ja) * 2012-02-24 2013-09-05 Sony Corp クライアント端末、サーバ、およびプログラム
JP2016123069A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ及び端末装置
CN106804014A (zh) * 2017-02-20 2017-06-06 江苏省广播电视总台 一种基于4g无线专网的媒体直播方法
US20180052923A1 (en) * 2016-04-06 2018-02-22 Charles R. Tudor Video Streaming with Feedback Using Mobile Device

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4240973B2 (ja) * 2002-09-26 2009-03-18 ソニー株式会社 画像処理システム、画像処理装置および方法、記録媒体、並びにプログラム
JP2010093342A (ja) * 2008-10-03 2010-04-22 Canon Inc 映像サーバ装置、映像クライアント装置、映像送受信システム及び情報処理方法
JP2015090553A (ja) * 2013-11-05 2015-05-11 株式会社ソニー・コンピュータエンタテインメント 端末装置、付加情報管理装置、および付加情報管理方法
KR102445859B1 (ko) * 2014-08-12 2022-09-20 소니그룹주식회사 정보 처리 장치, 정보 처리 방법 및 프로그램
KR102545768B1 (ko) * 2015-11-11 2023-06-21 삼성전자주식회사 메타 데이터를 처리하기 위한 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007150781A (ja) 2005-11-29 2007-06-14 Sony Corp 情報処理装置および情報処理方法、並びにプログラム
JP2013175883A (ja) * 2012-02-24 2013-09-05 Sony Corp クライアント端末、サーバ、およびプログラム
JP2016123069A (ja) * 2014-12-25 2016-07-07 パナソニックIpマネジメント株式会社 映像配信方法、映像受信方法、サーバ及び端末装置
US20180052923A1 (en) * 2016-04-06 2018-02-22 Charles R. Tudor Video Streaming with Feedback Using Mobile Device
CN106804014A (zh) * 2017-02-20 2017-06-06 江苏省广播电视总台 一种基于4g无线专网的媒体直播方法

Also Published As

Publication number Publication date
EP4167577A1 (en) 2023-04-19
JPWO2021251127A1 (ja) 2021-12-16
CN115702569A (zh) 2023-02-14
EP4167577A4 (en) 2023-09-27
US20230179811A1 (en) 2023-06-08

Similar Documents

Publication Publication Date Title
US8477227B2 (en) Monitoring and communication in a system having multiple imaging apparatuses
JP6324063B2 (ja) 画像再生装置及びその制御方法
EP2294813B1 (en) Data receiving apparatus, data transmitting apparatus, method for controlling the same and program
RU2507610C2 (ru) Устройство записи информации и способ управления им
WO2021251127A1 (ja) 情報処理装置、情報処理方法、撮像装置、画像転送システム
US7412155B2 (en) Imaging apparatus having a continuous shooting function
JP5147559B2 (ja) 映像表示装置及び映像表示方法
WO2018042794A1 (ja) 画像送信装置、画像送信方法、プログラム
JP2008011087A (ja) 撮像装置
WO2022014226A1 (ja) 情報処理装置、情報処理方法、プログラム
JP2009260600A (ja) 電子カメラ
JP7380025B2 (ja) 撮像装置、情報処理方法、プログラム
JP6679409B2 (ja) 撮像装置、遠隔制御装置、制御方法及びプログラム並びに記憶媒体
US20220283700A1 (en) Information processing device, information processing method, and program
JP5372103B2 (ja) 画像再生装置及びその制御方法
JP5750688B2 (ja) 画像データ送信装置、画像データ送信方法、およびプログラム
US20220382512A1 (en) Imaging apparatus, information processing method, and program
JP2009089325A (ja) 情報機器及び電池残量検出方法
JP5414930B2 (ja) 画像再生装置
JP6042935B2 (ja) 画像データ送信装置および画像データ送信方法
JP5704945B2 (ja) 撮像装置およびその制御方法、プログラム
JP5112178B2 (ja) 画像データ送信装置
CN114270791A (zh) 信息处理设备、信息处理方法和程序
JP2008277892A (ja) 情報処理装置、情報処理方法、プログラム、情報処理システム、および画像再生装置
JP2009128478A (ja) 電子カメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21821610

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022530108

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021821610

Country of ref document: EP

Effective date: 20230110