WO2013132828A1 - 通信システムおよび中継装置 - Google Patents

通信システムおよび中継装置 Download PDF

Info

Publication number
WO2013132828A1
WO2013132828A1 PCT/JP2013/001337 JP2013001337W WO2013132828A1 WO 2013132828 A1 WO2013132828 A1 WO 2013132828A1 JP 2013001337 W JP2013001337 W JP 2013001337W WO 2013132828 A1 WO2013132828 A1 WO 2013132828A1
Authority
WO
WIPO (PCT)
Prior art keywords
streaming video
streaming
receiving
server
video
Prior art date
Application number
PCT/JP2013/001337
Other languages
English (en)
French (fr)
Inventor
岡崎 芳紀
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2013132828A1 publication Critical patent/WO2013132828A1/ja
Priority to US14/190,668 priority Critical patent/US20140244858A1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/75Media network packet handling
    • H04L65/765Media network packet handling intermediate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27Server based end-user applications
    • H04N21/274Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743Video hosting of uploaded data from client
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/414Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65Transmission of management data between client and server
    • H04N21/658Transmission by the client directed to the server
    • H04N21/6587Control parameters, e.g. trick play commands, viewpoint selection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals

Definitions

  • the present disclosure relates to a communication system that performs communication of video data between devices and a relay device that relays communication of video data between devices.
  • Patent Document 1 discloses a video distribution system that extracts and transmits data corresponding to a request of a user terminal from composite video data obtained by combining data of a plurality of video sources.
  • the multi-encoder device receives a video source which is a video source desired by the user and video data of another video source, converts them into MPEG4 format and combines them. To generate composite video data. Then, the video distribution system transmits this data to the video distribution server. The video distribution server extracts the video data of the video source by checking the ID number from the received composite video data, and transmits it to the user terminal.
  • the amount of communication data increases as the number of video sources increases.
  • the amount of increase in data increases more remarkably. If the network communication band is not sufficient for the amount of data to be communicated, a smooth communication operation cannot be performed.
  • the present disclosure provides a communication system and a communication device capable of dynamically processing video so that the video can be appropriately transmitted according to the situation.
  • the communication system includes at least one transmission device, at least one reception device, and a relay device that relays data transmission from the transmission device to the reception device.
  • the relay device includes a first receiving unit that receives at least one streaming video from at least one transmission device, and a second receiving unit that receives a designation of streaming video from one of the at least one receiving device.
  • a conversion unit that dynamically converts at least one streaming video in the received streaming video into a streaming video with a smaller amount of data according to the received designation, and the converted streaming video in one receiving device A transmission unit for transmission.
  • the relay device is a relay device that relays at least one transmission device, at least one reception device, and data transmission from the transmission device to the reception device.
  • the relay device includes a first receiving unit that receives at least one streaming video from at least one transmission device, and a second receiving unit that receives a designation of streaming video from one of the at least one receiving device.
  • at least one streaming video in the received streaming video is dynamically converted to a streaming video with a smaller amount of data, and the converted streaming video is transmitted to one receiving device A transmitting unit.
  • a communication system and a relay device that can reduce a communication load in a situation where video can be transmitted appropriately according to the situation, particularly in a situation where a plurality of streaming videos are delivered simultaneously.
  • Communication system configuration diagram of digital camera 100, smartphone 250, and server 300 Electrical configuration diagram of the digital camera 100 Electrical configuration diagram of smartphone 250 Electrical configuration diagram of server 300 Sequence diagram regarding connection operation of digital camera 100, smartphone 250, and server 300 Image diagram of image distributed from server 300 to smartphone 250 Flowchart of image processing operation in server 300 Sequence diagram regarding cutting operation of digital camera 100, smartphone 250, and server 300 Sequence diagram of remote operation of digital camera 100 via server 300 by smartphone 250
  • FIG. 1 is a diagram illustrating a configuration of a communication system according to the present disclosure.
  • the communication system includes a digital camera 100, a smartphone 250, and a server 300.
  • FIG. 1 a configuration in which a plurality of digital cameras 100A, 100B, C, 100D and a plurality of smartphones 250 (A, B, C, D,...) Are connected to a server 300 via a network 400 is illustrated. Show.
  • Each digital camera 100 (A, B, C, D,%) Can stream-transmit the through image (or higher-quality moving image) currently being photographed to the server 300. That is, each digital camera 100 (A, B, C, D,%) Can transmit a real-time video to the server 300.
  • each smartphone 250 (A, B, C, D,%) Transmits through images (or more) transmitted from the digital cameras 100 (A, B, C, D, etc To the server 300.
  • High-quality moving images can be streamed. That is, each smart phone 250 (A, B, C, D,%) Is transmitted from the server 300 to the server 300 by each digital camera 100 (A, B, C, D,). Video can be received.
  • the server 300 receives streaming video transmitted from the digital cameras 100 (A, B, C, D,%), And each digital camera 100 (A, B, C, D,.
  • the received streaming video is transmitted to the smartphone 250 (A, B, C, D,).
  • the server 300 receives a plurality of streaming video transmission requests from a plurality of digital cameras 100 (A, B, C, D,...)
  • a plurality of streaming images are dynamically converted into streaming images with a smaller amount of data (less occupied bandwidth).
  • video can be dynamically transmitted so that video can be appropriately transmitted according to the situation.
  • the digital camera 100 is exemplified as a streaming video transmission device, but the transmitter is not limited to this. That is, the transmission device may be any device that can transmit streaming video to the server 300, such as a digital movie camera, a monitoring camera, an in-vehicle camera, and an information terminal with a camera (smart phone).
  • the transmission device may be any device that can transmit streaming video to the server 300, such as a digital movie camera, a monitoring camera, an in-vehicle camera, and an information terminal with a camera (smart phone).
  • the smartphone 250 is exemplified as a streaming video receiving device, but the receiving device is not limited to this. That is, the receiving device may be any device that can receive and display streaming video from the server 300, such as a tablet terminal, a television receiver, or a digital camera with a display monitor.
  • the server 300 is exemplified as a streaming video relay device, but the relay device is not limited to this. That is, the relay device may be any device that can receive at least one streaming video from at least one receiving device, perform predetermined conversion processing on the received streaming video, and transmit the received streaming video to the receiving device.
  • a digital camera will be described as an example of a streaming video transmission apparatus
  • a smartphone will be described as an example of a streaming video reception apparatus
  • a server will be described as an example of a relay apparatus.
  • FIG. 2 is an electrical configuration diagram of the digital camera 100.
  • the digital camera 100 captures a subject image formed via the optical system 110 with the CCD image sensor 120.
  • the CCD image sensor 120 generates image data based on the captured subject image.
  • the image data generated by the imaging is subjected to various processes in an AFE (analog front end) 121 and an image processing unit 122.
  • the generated image data is recorded in the flash memory 142 or the memory card 140.
  • the image data recorded in the flash memory 142 or the memory card 140 is displayed on the liquid crystal monitor 123 in response to an operation of the operation unit 150 by the user.
  • the optical system 110 includes a focus lens 111, a zoom lens 112, a diaphragm 113, a shutter 114, and the like. Although not shown, the optical system 110 may include an optical camera shake correction lens OIS.
  • the various lenses constituting the optical system 110 may be composed of any number of lenses or any number of groups.
  • the CCD image sensor 120 captures a subject image formed through the optical system 110 and generates image data.
  • the CCD image sensor 120 generates image data of a new frame at a predetermined frame rate (for example, 30 frames / second).
  • the image data generation timing and electronic shutter operation of the CCD image sensor 120 are controlled by the controller 130.
  • image data read from the CCD image sensor 120 is subjected to noise suppression by correlated double sampling, gain multiplication based on an ISO sensitivity value by an analog gain controller, and AD conversion by an AD converter. Thereafter, the AFE 121 outputs the image data to the image processing unit 122.
  • the image processing unit 122 performs various processes on the image data output from the AFE 121. Examples of the various processes include, but are not limited to, BM (block memory) integration, smear correction, white balance correction, gamma correction, YC conversion processing, electronic zoom processing, compression processing, expansion processing, and the like.
  • the image processing unit 122 may be configured with a hard-wired electronic circuit or a microcomputer using a program. Further, it may be constituted by one semiconductor chip together with the controller 130 or the like.
  • the LCD monitor 123 is provided on the back of the digital camera 100.
  • the liquid crystal monitor 123 displays an image based on the image data processed by the image processing unit 122.
  • the image displayed on the liquid crystal monitor 123 includes a through image and a recorded image.
  • the controller 130 controls the overall operation of the digital camera 100.
  • the controller 130 may be configured with a hard-wired electronic circuit or a microcomputer. Further, it may be constituted by one semiconductor chip together with the image processing unit 122 and the like.
  • the flash memory 142 functions as an internal memory for recording image data and the like.
  • the flash memory 142 stores a program for overall control of the operation of the entire digital camera 100 in addition to a program related to autofocus control (AF control) and communication control.
  • AF control autofocus control
  • the buffer memory 124 is a storage unit that functions as a work memory for the image processing unit 122 and the controller 130.
  • the buffer memory 124 can be realized by a DRAM (Dynamic Random Access Memory) or the like.
  • the card slot 141 is a connection means that allows the memory card 140 to be attached and detached.
  • the card slot 141 can connect the memory card 140 electrically and mechanically.
  • the card slot 141 may have a function of controlling the memory card 140.
  • the memory card 140 is an external memory provided with a recording unit such as a flash memory.
  • the memory card 140 can record data such as image data processed by the image processing unit 122.
  • the communication unit 171 is a wireless or wired communication interface, and the controller 130 can be connected to the Internet network via the communication unit 171.
  • the communication unit 171 can be realized by USB, Bluetooth (registered trademark), wireless LAN, wired LAN, or the like.
  • the operation unit 150 is a general term for operation buttons and operation levers provided on the exterior of the digital camera 100, and accepts an operation by a user. When the operation unit 150 receives an operation by the user, the operation unit 150 notifies the controller 130 of various operation instruction signals.
  • FIG. 3 is an electrical configuration diagram of the smartphone 250.
  • the smartphone 250 includes a controller 251, a work memory 252, a flash memory 253, a communication unit 254, a liquid crystal monitor 256, a touch panel 257, and the like. Although not shown, an imaging unit and an image processing unit may be provided.
  • the controller 251 is a processing unit that executes processing on the smartphone 250.
  • the controller 251 is electrically connected to the work memory 252, the flash memory 253, the communication unit 254, the liquid crystal monitor 256, and the touch panel 257.
  • the controller 251 receives user operation information using the touch panel 257.
  • the controller 251 can read data stored in the flash memory 253.
  • the system of the electric power etc. which are supplied to each part of the smart phone 250 is controlled as a whole.
  • the controller 251 executes a telephone function and various applications downloaded via the Internet.
  • the work memory 252 is a memory that temporarily stores information necessary for the controller 251 to execute various processing operations.
  • the flash memory 253 is a large-capacity disk drive that stores various data. As described above, various data stored in the flash memory 253 can be read by the controller 251 as appropriate. Although the flash memory 253 is provided in this embodiment, a hard disk drive or the like may be provided instead of the flash memory.
  • the liquid crystal monitor 256 is a display device that displays a screen instructed by the controller 251.
  • the touch panel 257 is an input device that receives user operation information.
  • the touch panel 257 is provided as an input device that receives user operation information.
  • a hard key may be provided instead of the touch panel.
  • the communication unit 254 can transmit the image data received from the controller 251 to another device via the Internet network.
  • the communication unit 254 can be realized by, for example, a wired LAN or a wireless LAN.
  • FIG. 4 is an electrical configuration diagram of the server 300.
  • the server 300 includes a communication unit 310, a controller 320, a work memory 330, an HDD (hard disk drive) 340, an image processing unit 350, and the like.
  • the communication unit 310 can transmit and receive information (image information, request information, response information, etc.) from other devices via the Internet network.
  • the communication unit 310 can be realized by, for example, a wired LAN or a wireless LAN.
  • the controller 320 is a processing unit that executes processing of the server 300.
  • the controller 320 is electrically connected to the communication unit 310, work memory 330, HDD 340, and image processing unit 350.
  • the controller 320 processes information (image information, request information, etc.) acquired via the communication unit 310.
  • the controller 320 transmits information (image information, response information, etc.) via the communication unit 310 based on the processing.
  • the controller 320 appropriately uses the work memory 330, the HDD 340, and the image processing unit 350 when processing information.
  • the controller 210 can read data stored in the work memory 330 and the HDD 340.
  • the controller 210 controls the entire system such as power supplied to each unit of the server 300.
  • the work memory 330 is a memory that temporarily stores information necessary for the controller 320 to execute various processing operations.
  • the HDD 340 is a large-capacity disk drive that stores various data. As described above, various data stored in the HDD 340 can be read by the controller 320 as appropriate. In the present embodiment, the HDD 340 is provided, but another recording medium may be provided.
  • the image processing unit 350 performs various image processes on the input image information based on an instruction from the controller 320.
  • Various image processing includes composite processing, resizing processing, composition processing, and encoding processing. Detailed operation of the image processing by the image processing unit 350 will be described later.
  • FIG. 5 is a sequence diagram regarding the connection operation of the digital camera 100, the smartphone 250, and the server 300.
  • the server 300 includes a plurality of digital cameras 100 (A, B, C, D,%) And a plurality of smartphones 250 (A, B, C, D,. ).
  • the digital camera 100A, the digital camera 100B, and the smartphone 250 are connected to the server 300 via the Internet 400 will be described as an example.
  • the controller 130 of the digital camera 100A supplies power to each unit constituting the digital camera 100A so as to be able to perform photographing and communication.
  • the user can display the menu screen on the liquid crystal monitor 123 by operating the operation unit 150 of the digital camera 100A.
  • the user can select an item for instructing communication start on the menu screen by operating the operation unit 150.
  • controller 130 searches for an access point to which digital camera 100A can be connected. Then, the controller 130 connects to the access point found by the search, and acquires the IP address.
  • the digital camera 100A completes acquisition of the IP address, the digital camera 100A transmits a connection request to the server 300 via the access point (S500).
  • the controller 320 of the server 300 receives a connection request from the digital camera 100A via the communication unit 310, the controller 320 determines whether or not the digital camera 100A can be connected. If there is no inconvenience due to the connection of the digital camera 100A, such as when a predetermined number or more of digital cameras are connected to the server 300 and the processing capability is reduced, the controller 320 of the server 300 causes the communication unit 310 to be connected. Then, the connection permission is notified to the controller 130 of the digital camera 100A (S501). When receiving the connection permission, the controller 130 of the digital camera 100A transmits the through image currently being photographed and the moving image for recording with higher image quality to the server 300 (controller 320) via the communication unit 171 (S502). ).
  • the digital camera 100B transmits a connection request (corresponding to S503: S500), receives a connection permission (corresponding to S504: S501), a through image, or a moving image for recording with higher image quality.
  • Image supply (corresponding to S505: S502) is performed.
  • the controller 251 of the smartphone 250 supplies power to each unit configuring the smartphone 250 so as to control communication.
  • the smartphone 250 When the smartphone 250 is in a communicable state, the user can display the menu screen on the liquid crystal monitor 256 by operating the touch panel 257 of the smartphone 250. Then, the user can select an item for instructing communication start by operating the touch panel 257 on the menu screen.
  • the controller 251 searches for an access point. The controller 251 connects to the access point that can be found by the search, and acquires an IP address. When completing the acquisition of the IP address, the smartphone 250 transmits a connection request to the server 300 via the access point (S506).
  • the controller 320 of the server 300 When the controller 320 of the server 300 receives a connection request from the smartphone 250 via the communication unit 310, the controller 320 determines whether or not the smartphone 250 may be connected. If there is no problem for the server 300, the controller 320 of the server 300 notifies the controller 251 of the smartphone 250 of connection permission via the communication unit 310 (S507). What is inconvenient for the server 300 is that, for example, a predetermined number or more of the smartphones 250 are connected to the server 300 and the processing capability is reduced.
  • the controller 320 of the server 300 generates a list screen of currently active camera images based on the video data transmitted from each digital camera, and transmits the image information to the smartphone 250 (S508).
  • the controller 320 of the server 300 generates a streaming video so as to display an active camera image (through image or higher-quality moving image) transmitted from each digital camera in the display frame, and performs streaming transmission to the smartphone 250. To do. That is, the controller 320 of the server 300 reads through and reads through images (or higher-quality moving images) transmitted from the digital cameras 100A and 100B and temporarily recorded in the HDD 340 by a predetermined amount of data. A streaming video is generated from the through image and transmitted to the smartphone 250 (streaming transmission). Thereby, a list screen in which active camera images (streaming video) transmitted from the digital cameras 100A and 100B are displayed in the display frame is displayed on the liquid crystal monitor 256 of the smartphone 250.
  • FIGS. 6A to 6D are diagrams showing examples of images distributed from the server 300 to the smartphone 250.
  • FIG. 6A is a diagram showing an example of a list screen in which real-time streaming images acquired from a plurality of cameras are arranged in a matrix of, for example, 3 ⁇ 4 in the server 300. That is, FIG. 6A shows a list screen on which real-time streaming images transmitted from 12 digital cameras 100 are displayed. With such display, the user of the smartphone 250 can check the real-time streaming video acquired from the server 300 in a list.
  • FIG. 6B shows an example of a list screen in which real-time streaming video acquired from a plurality of cameras is displayed together with character information explaining the streaming video.
  • character information indicating the shooting location of the real-time video is displayed together with the streaming video as character information for explaining the streaming video.
  • the example shown in FIG. 6B can be realized by the server 300 receiving from the digital camera 100 together with streaming video, information that describes the streaming video.
  • the user can easily confirm information about the real-time streaming video acquired from the server 300.
  • the information describing the streaming video is character information indicating the shooting location, but is not limited thereto. That is, pictogram information may be used instead of text information. Further, not the shooting location but the shooting conditions and the shooting time (local time in case of shooting overseas) may be used.
  • FIG. 6C shows a screen showing a place on the map where the streaming video is captured for real-time streaming video acquired from a plurality of cameras.
  • the example shown in FIG. 6C can be realized when the server 300 receives information about the shooting location together with the streaming video from the camera 100. Thereby, the user can easily confirm the shooting location of the real-time streaming video acquired from the server 300.
  • FIG. 6D shows an example of a list screen displayed for real-time streaming video acquired from a plurality of cameras via the server 300 together with information (name, face photograph, etc.) regarding the photographer of the streaming video.
  • the example shown in FIG. 6D can be realized by the server 300 receiving from the camera 100 together with the streaming video, information related to the photographer of the video. If a single photographer is sending multiple streaming videos shot in real time using multiple cameras, multiple streaming videos will be displayed in the display frame indicating that the photographer is streaming video. Are displayed side by side. Thereby, the user can easily confirm the photographer of the real-time streaming video acquired from the server 300.
  • the user of the smartphone 250 may select a desired list screen by operating an operation unit such as the touch panel 257.
  • selection information on the list screen is transmitted from the smartphone 250 to the server 300, and the server 300 generates a list screen based on the selection information.
  • the user can browse the real-time streaming video acquired from the server 300 in a favorite format.
  • the streaming video that the server 300 transmits to the smartphone 250 may be transmitted when the digital cameras 100A and 100B that are video providers specify the smartphone 250.
  • the digital cameras 100A and 100B transmit designation information to the server 300.
  • the server 300 transmits the streaming video received from each of the digital cameras 100A and 100B only to the smartphone 250 specified by the received designation information.
  • the digital camera 100A and 100B which are video providing sources, may set the disclosure range of the streaming video transmitted to the server 300.
  • the digital cameras 100 ⁇ / b> A and 100 ⁇ / b> B transmit the disclosure range information to the server 300.
  • the server 300 may transmit the streaming video only to the smartphone 250 that matches the disclosure range indicated by the received information.
  • the server 300 transmits real-time streaming video as video included in the list screen displayed on the liquid crystal monitor 256 of the smartphone 250, but is not limited thereto.
  • the server 300 may use a still image at a specific time cut out from the real-time streaming video instead of the real-time streaming video.
  • the user operates the operation unit such as the touch panel 257 of the smartphone 250 while selecting the streaming video desired to be viewed in detail while browsing the active camera image list screen. At this time, the user can select a plurality of streaming videos for which detailed browsing is desired.
  • the controller 251 of the smartphone 250 notifies the controller 320 of the server 300 of information (designation) indicating the selection by the user via the communication unit 254 (S509).
  • the controller 320 of the server 300 receives the notification of the information indicating the selection in step S509, and if necessary, performs image processing by the image processing unit 350 on the streaming video transmitted from the digital cameras 100A and 100B. . Then, the controller 320 of the server 300 receives the streaming video (through image or moving image) selected by the user of the smartphone 250 (S510). Thereby, the user can enjoy browsing only the selected streaming video.
  • FIG. 7A is a diagram illustrating a sequence of image processing operations in the server 300.
  • FIG. 7A illustrates an example in particular when the user selects delivery of streaming video from the digital camera 100A and the digital camera 100B.
  • the controller 320 of the server 300 receives streaming video from the digital cameras 100A and 100B, the streaming video received from the digital camera 100A (hereinafter referred to as “streaming video A”) and the streaming video received from the digital camera 100B (hereinafter referred to as “streaming video A”). , (Referred to as “Streaming Video B”) (temporary recording in HDD 340) (S550).
  • streaming video A the streaming video received from the digital camera 100A
  • streaming video A streaming video received from the digital camera 100B
  • streaming video A streaming video received from the digital camera 100B
  • Streaming Video B temporary recording in HDD 340
  • the buffered streaming video A and streaming video B are information that is compression-encoded based on a predetermined compression-encoding method. Therefore, the image processing unit 350 performs a decoding process corresponding to a predetermined compression encoding method on the streaming video A and the streaming video B, and converts the information into a format developed as an image (S551).
  • the image processing unit 350 performs a resizing process on the decoded streaming video A and streaming video B so that they can be viewed on the same screen of the liquid crystal monitor 256 of the smartphone 250 (S552).
  • the size of streaming video A (the number of pixels configuration) is QVGA and the size of streaming video B (the number of pixels configuration) is also QVGA
  • the images indicated by streaming video A and streaming video B are output in QVGA on the same screen.
  • Apply resizing processing to the possible size as an example, each of the streaming video A and the streaming video B is subjected to a resizing process that reduces the size by 50%.
  • the image processing unit 350 has the QVGA size (number of pixels configuration) so that the images indicated by the respective streaming videos are included in the same screen.
  • Composite processing is performed on both streaming images (S553).
  • the video in which the streaming video A and the streaming video B are arranged on the same screen by the synthesis process (S553) is referred to as “synthetic streaming video”.
  • the composite streaming video is a video including a screen as shown in FIGS. 6A, 6B, and 6D, for example.
  • the image processing unit 350 performs compression encoding processing on the QVGA-sized composite streaming video according to a predetermined compression encoding method (S554).
  • the combined streaming video subjected to the compression encoding process is sequentially buffered (temporarily recorded in the work memory 330) (S555).
  • the buffered composite streaming video is sequentially read out and streamed to the smartphone 250 via the communication unit 310.
  • the size (number of pixels configuration) on which the image processing unit 350 performs the resizing process is QVGA, but is not limited thereto. Any other size (number of pixels configuration) may be used as long as the size is suitable for the smartphone 250 that receives and displays the streaming video.
  • FIG. 7B shows a sequence in the case where only streaming video from one digital camera 100 is distributed to the smartphone 250.
  • FIG. 7B shows an example of processing when the compression encoding method of the streaming video received from the digital camera 100 is different from the compression encoding method that can be decoded by the smartphone 250. In this case, resizing processing and synthesis processing are not necessary.
  • the image processing unit 350 sequentially performs decoding processing on the streaming video that is buffered (S551), and then performs encoding processing (S554) using an encoding method that can be decoded by the smartphone 250.
  • FIG. 7C illustrates a sequence in a case where only streaming video from one digital camera 100 is distributed to the smartphone 250.
  • FIG. 7C shows an example of processing when the compression encoding method for streaming video received from the digital camera 100 is the same as the compression encoding method that can be decoded by the smartphone 250.
  • the image processing unit 350 since resize processing, decoding processing, and coding processing are not necessary, the image processing unit 350 sequentially performs smartphone processing via the communication unit 310 while sequentially buffering streaming video received from the digital camera 100 (S550). Distribution to 250.
  • the image processing unit 350 of the server 300 responds to streaming video conditions such as the number of streaming videos received from the digital camera, the size (the number of pixels), and the compression encoding method.
  • the contents of the image processing are dynamically determined and the processing is executed. Accordingly, the server 300 can distribute an appropriate streaming video according to the streaming video distribution state and the status of the smartphone 250 to the smartphone 250.
  • FIG. 8 is a sequence diagram regarding the cutting operation of the digital camera 100, the smartphone 250, and the server 300.
  • the controller 130 of the digital camera 100 ⁇ / b> A receives a user operation through the operation unit 150 during transmission of streaming video, the controller 130 determines to disconnect transmission of the streaming video A from the digital camera 100 ⁇ / b> A to the server 300.
  • the user operation at this time may be a transmission stop operation or a power supply stop operation of the digital camera 100A.
  • the controller 130 of the digital camera 100A determines to disconnect the transmission of the streaming video A to the server 300, the controller 130 notifies the server 300 of a disconnect request via the communication unit 171 (S600).
  • the controller 320 of the server 300 notifies the digital camera 100A of disconnection permission via the communication unit 310 (S601).
  • the image processing unit 350 of the server 300 performs the processing from step S551 to step S554 as shown in FIG. It is done sequentially.
  • the image processing unit 350 sequentially performs the processes shown in FIG. 7B or 7C.
  • the controller 130 of the server 300 distributes only the through image from the digital camera 100B to the smartphone 250 via the communication unit 310 (S603).
  • a screen D700 shows an example of a display screen when a combined streaming video obtained by combining the stream video A and the stream video B is delivered to the smartphone 250 and displayed on the liquid crystal monitor 256.
  • a screen D710 illustrated in FIG. 8 illustrates an example of a display screen of the liquid crystal monitor 256 when the streaming video A is disconnected from the state of the screen D700 and only the streaming video B is distributed.
  • the liquid crystal of the smartphone 250 is changed in accordance with the change in the distribution state (or disconnection state) of the streaming video from the digital camera 100 that is the streaming video provider.
  • the display state of the monitor 256 is changed. As a result, the user can easily grasp the provision status of the streaming video.
  • FIG. 9 is a diagram illustrating a sequence of remote operation of the digital camera 100 via the server 300 by the smartphone 250.
  • the smartphone 250 receives the streaming video A and the streaming video B from the digital cameras 100A and 100B via the server 300 (see screen D700 in FIG. 9).
  • the zoom operation of the digital camera 100 ⁇ / b> A is performed by an operation on the touch panel 257 of the smartphone 250 in this state will be described.
  • the user can execute a pinch-out operation on the touch panel 257 of the smartphone 250 in order to enlarge the area where the streaming video transmitted from the digital camera 100A is displayed.
  • the pinch-out operation is an operation corresponding to an image enlargement, that is, a zoom operation toward the telephoto side.
  • the controller 251 of the smartphone 250 displays information on the fact that the pinch-out operation has been performed and information on the image area (position on the touch panel 257) on which the pinch-out operation has been performed. Are sent as a pinch-out command notification to the server 300 via the communication unit 254 (S701).
  • the controller 320 of the server 300 receives the pinch-out command notification transmitted from the smartphone 250 via the communication unit 310, the controller 320 analyzes the image area where the pinch-out operation has been performed (S702).
  • the controller 320 of the server 300 when it is detected that a pinch-out operation (zoom operation) has been performed in the streaming video area of the digital camera 100A, the controller 320 of the server 300 generates a zoom request notification to the telephoto side. Then, the controller 320 of the server 300 transmits the generated zoom request notification to the digital camera 100A via the communication unit 310 (S703).
  • the controller 130 of the digital camera 100A receives the zoom request notification to the telephoto side transmitted by the server 300 via the communication unit 171 of the digital camera 100A. Based on the received zoom request notification, the controller 130 controls the optical system 110 to perform a zoom operation toward the telephoto side (S704).
  • the controller 130 transmits the zoomed through image to the server 300 via the communication unit 171 (S705).
  • the controller 130 preferably transmits the through image to the server 300 in real time with respect to the actual zoom operation.
  • the controller 320 of the server 300 transmits the zoomed through image received from the digital camera 100A to the smartphone 250 (S706). At this time, it is preferable that the controller 320 of the server 300 transfers the through image to the smartphone 250 without delay after receiving the through image from the digital camera 100.
  • the smartphone 250 can operate the digital camera 100A at a remote place based on the operation performed by the user on the received streaming video.
  • the user of the smartphone 250 can acquire a through image in which a remote operation result is reflected in real time.
  • the communication system relays at least one digital camera 100 (an example of a transmission device), at least one smartphone 250 (an example of a reception device), and transmission from the digital camera 100 to the smartphone 250.
  • the communication system includes a server 300 (an example of a relay device).
  • the server 300 receives at least one streaming video from the at least one digital camera 100 via the communication unit 310.
  • the server 300 receives the designation of streaming video (image selection, image designation, operation information, etc.) from one smartphone among at least one smartphone 250 via the communication unit 310.
  • the controller 320 of the server 300 dynamically receives at least one of the plurality of streaming videos received according to the received designation.
  • the server 300 Convert to streaming video with less data (less occupied bandwidth). Then, the server 300 transmits the converted streaming video to one smartphone 250 via the communication unit 310. Accordingly, it is possible to provide a communication system with a reduced communication load even in a situation where a plurality of streaming videos are simultaneously distributed.
  • the controller 320 changes the content of the streaming video conversion process according to the transmission status of the streaming video from the digital camera 100 (transmitter) (the number of streaming videos to be transmitted, the image size, the compression encoding method, etc.). It may be different dynamically. Thereby, a video can be appropriately transmitted according to the transmission status of the streaming video from the digital camera 100 (transmitter).
  • the controller 320 may perform conversion processing so that a plurality of streaming videos are included in one video streaming.
  • the smartphone 250 may remotely operate the digital camera 100 with respect to processing for streaming video via the server 300. Thereby, the remote operation from the smartphone 250 can be performed on the streaming video transmitted from the digital camera.
  • the server 300 receives information related to the user's operation on the smartphone 250 from one smartphone 250, analyzes the content of the information, and results of analysis (for example, the operated region) Based on the above, the state of the streaming video received from the digital camera 100 may be controlled.
  • the server 300 may receive information related to a user operation on the smartphone 250 from one smartphone 250 and transmit an instruction related to processing of a streaming video based on the received information related to the operation to the digital camera 100. Good.
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the image processing unit 350 of the server 300 may change the compression rate in the encoding process for the streaming video distributed to the smartphone 250 according to the number of provided streaming videos. More specifically, the image processing unit 350 increases the compression rate in the encoding process when the number of streaming videos to be provided is large, and compresses the compression rate when the number of streaming videos to be provided is small. Should be made smaller. In other words, any other method may be used as long as it is a method for converting a plurality of streaming videos so that the bandwidth required for communication of the converted data becomes smaller.
  • the zoom operation is described as an example of the remote operation by the smartphone 250, but the remote operation is not limited to this.
  • the remote operation by the smartphone 250 may be a video switching operation by a shutter operation or a pan / tilt operation.
  • the smartphone 250 may transmit the operation information to the server 300. That is, the smartphone 250 may transmit information indicating the touch position on the touch panel 257 that has been touched to the server 300 as a command notification.
  • the server 300 analyzes the area operated by the user based on the position information included in the received command notification. Then, the server 300 may interpret that the video related to the area operated by the user is “selected” and generate a streaming video to be transmitted to the smartphone 250 so that only the selected video is displayed.
  • the server 300 when the server 300 receives the pinch out command notification (S701) from the smartphone 250, the server 300 analyzes the user's operation area (S702) and transmits a zoom request notification to the digital camera (S703). Instead, the controller 320 of the server 300 analyzes the user's operation area and electronically enlarges the image in the operation area (electronic zoom) without sending a zoom request notification to the digital camera 100. Good. The server 300 transmits the enlarged video to the smartphone 250. As described above, processing corresponding to the remote operation of the digital camera 100 may be performed in the server 300.
  • the smartphone 250 remotely controls the operation of the digital camera 100A
  • the digital camera 100B can also be remotely operated from the smartphone 250.
  • remote operation may be performed from a plurality of smartphones.
  • the server 300 performs management of a notification command from the smartphone 250.
  • the server 300 may perform processing exclusively so as not to accept notification commands from other smartphones.
  • the exclusive processing by the server 300 may not be performed, and the processing may be sequentially performed in the order in which the digital camera 100A receives a plurality of commands.
  • the digital camera can be remotely operated from the smartphone as in the case where one smartphone is connected.
  • the decoding process (S551) is performed once and then the encoding process (S554) is performed again. However, the decoding process is not performed (that is, the original format is maintained). ) Streaming video may be transcoded.
  • the present disclosure can be applied to a communication system that communicates video data between devices and a relay device that mediates communication of video data between devices.

Abstract

 通信システムは、少なくとも1つの送信装置と、少なくとも1つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む。中継装置は、少なくとも1つの送信装置から、少なくとも1つのストリーミング映像を受信する第1受信部と、少なくとも1つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第2受信部と、受信した指定に応じて動的に、受信したストリーミング映像の中の少なくとも1つのストリーミング映像を、より少ないデータ量のストリーミング映像に変換する変換部と、変換されたストリーミング映像を一つの受信装置に送信する送信部と、を備える。

Description

通信システムおよび中継装置
 本開示は、機器間で映像データの通信を行う通信システム及び機器間の映像データの通信を中継する中継装置に関する。
 ネットワークを介して、映像データを利用者端末に配信するサービスが知られている。例えば、特許文献1は、複数の映像ソースのデータが合成された複合映像データから利用者端末の要求に応じたデータを抽出し、送信する映像配信システムを開示している。
 特許文献1の映像配信システムによれば、マルチエンコーダ装置は、ユーザが希望する映像ソースである映像ソースと、他の映像ソースの映像データとを受信し、これらをMPEG4形式に変換するとともに合成して複合映像データを生成する。そして、映像配信システムは、このデータを映像配信サーバに送信する。映像配信サーバは、受信した複合映像データからID番号をチェックすることにより映像ソースの映像データを抽出して、利用者端末に送信する。
特開2007-110586号公報
 近年、通信速度の向上や、表示端末の表示解像度の向上などに伴って、より高画質な映像ソースの配信が望まれている。
 また、複数の映像ソースがサーバに収集され、サーバから配信されるシステムにおいて、映像ソースの数が増えると、通信データ量が増加する。特に、より高画質の映像データを送信する場合、データの増加量はより顕著に増加する。ネットワークの通信帯域が通信すべきデータ量に対して十分でない場合、スムーズな通信動作が行なえなくなる。
 本開示は、状況に合わせて適切に映像が送信できるよう、動的に映像を処理することが可能な通信システムおよび通信装置を提供する。
 本開示に係る通信システムは、少なくとも1つの送信装置と、少なくとも1つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む。中継装置は、少なくとも1つの送信装置から、少なくとも1つのストリーミング映像を受信する第1受信部と、少なくとも1つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第2受信部と、受信した指定に応じて、受信したストリーミング映像の中の少なくとも1つのストリーミング映像をより少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一つの受信装置に送信する送信部と、を備える。
 本開示に係る中継装置は、少なくとも1つの送信装置と、少なくとも1つの受信装置と、送信装置から受信装置へのデータの送信を中継する中継装置である。中継装置は、少なくとも1つの送信装置から少なくとも1つのストリーミング映像を受信する第1受信部と、少なくとも1つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第2受信部と、受信した指定に応じて、受信したストリーミング映像の中の少なくとも1つのストリーミング映像をより少ないデータ量のストリーミング映像に動的に変換する変換部と、変換されたストリーミング映像を一の受信装置に送信する送信部と、を備える。
 本開示によれば、状況に合わせて適切に映像が送信できるような、特に、複数のストリーミング映像を同時に配信するような状況において通信負荷を低減できる通信システムおよび中継装置を提供することができる。
デジタルカメラ100とスマートフォン250とサーバ300の通信システム構成図 デジタルカメラ100の電気的構成図 スマートフォン250の電気的構成図 サーバ300の電気的構成図 デジタルカメラ100とスマートフォン250とサーバ300の接続動作に関するシーケンス図 サーバ300からスマートフォン250に配信される画像のイメージ図 サーバ300における画像処理動作のフローチャート デジタルカメラ100とスマートフォン250とサーバ300の切断動作に関するシーケンス図 スマートフォン250による、サーバ300を介したデジタルカメラ100の遠隔操作のシーケンス図
 以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
 なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
 〔実施の形態1〕
 本実施の形態1にかかる通信システムの構成および動作を説明する。
  〔1-1.構成〕
 以下図を用いて本開示に係る通信システムの構成を説明する。
   〔1-1-1.通信システムの構成〕
 図1は、本開示における通信システムの構成を示した図である。通信システムは、デジタルカメラ100とスマートフォン250とサーバ300とで構成される。
 図1では、複数のデジタルカメラ100A、100B、C、100Dと、複数のスマートフォン250(A、B、C、D、・・・)が、ネットワーク400を介して、サーバ300に接続された構成を示している。
 各デジタルカメラ100(A、B、C、D、・・・)は、サーバ300に対して、現在撮影中のスルー画像(又はより高画質な動画像)をストリーミング送信することができる。すなわち、各デジタルカメラ100(A、B、C、D、・・・)は、サーバ300に対して、リアルタイム映像を送信することができる。
 一方、各スマートフォン250(A、B、C、D、・・・)は、各デジタルカメラ100(A、B、C、D、・・・)がサーバ300に対して送信したスルー画像(又はより高画質な動画像)をストリーミング受信することができる。すなわち、各スマートフォン250(A、B、C、D、・・・)は、サーバ300から、各デジタルカメラ100(A、B、C、D、・・・)がサーバ300に対して送信したリアルタイム映像を受信することができる。
 サーバ300は、デジタルカメラ100(A、B、C、D、・・・)から送信されてくるストリーミング映像を受信し、各デジタルカメラ100(A、B、C、D、・・・)が指定するスマートフォン250(A、B、C、D、・・・)へ、受信したストリーミング映像を送信する。このとき、サーバ300は、単一のスマートフォン250に対して、複数のデジタルカメラ100(A、B、C、D、・・・)からの複数のストリーミング映像の送信要求を受けた場合は、該複数のストリーミング映像を、より少ないデータ量(より少ない占有帯域)のストリーミング映像に動的に変換する。
 以上のように、本実施の形態1にかかる通信システムによれば、状況に合わせて適切に映像が送信できるよう、動的に映像を送信することができる。
 本実施の形態1では、ストリーミング映像の送信装置として、デジタルカメラ100を例示するが、送信機はこれに限定されない。すなわち、送信装置は、デジタルムービーカメラ、監視用カメラ、車載カメラ、カメラ付き情報端末(スマートフォン)のような、ストリーミング映像をサーバ300に送信可能な装置であればよい。
 また、本実施の形態1では、ストリーミング映像の受信装置として、スマートフォン250を例示するが、受信装置はこれに限定されない。すなわち、受信装置は、タブレット端末、テレビジョン受像機、表示モニタ付のデジタルカメラのような、ストリーミング映像をサーバ300から受信し表示可能な装置であればよい。
 また、本実施の形態1では、ストリーミング映像の中継装置として、サーバ300を例示するが、中継装置はこれに限定されない。すなわち、中継装置は、少なくとも1つの受信装置から少なくとも1つのストリーミング映像を受信し、受信したストリーミング映像に対して所定の変換処理を行って受信装置に送信可能な装置であればよい。
 以下、本実施の形態では、ストリーミング映像の送信装置の一例として、デジタルカメラを挙げ、ストリーミング映像の受信装置の一例としてスマートフォンを挙げ、中継装置の一例としてサーバを挙げて説明する。
   〔1-1-2.デジタルカメラの構成〕
 図2は、デジタルカメラ100の電気的構成図である。デジタルカメラ100は、光学系110を介して形成された被写体像をCCDイメージセンサ120で撮像する。CCDイメージセンサ120は撮像した被写体像に基づく画像データを生成する。撮像により生成された画像データは、AFE(アナログ・フロント・エンド)121や画像処理部122において各種処理が施される。生成された画像データはフラッシュメモリ142やメモリカード140に記録される。フラッシュメモリ142やメモリカード140に記録された画像データは、使用者による操作部150の操作を受け付けて液晶モニタ123上に表示される。
 光学系110は、フォーカスレンズ111やズームレンズ112、絞り113、シャッタ114等により構成される。図示していないが、光学系110は、光学式手ぶれ補正レンズOISを含んでいてもよい。なお、光学系110を構成する各種レンズは何枚から構成されるものでも、何群から構成されるものでもよい。
 CCDイメージセンサ120は、光学系110を通して形成された被写体像を撮像して画像データを生成する。CCDイメージセンサ120は、所定のフレームレート(例えば、30フレーム/秒)で新しいフレームの画像データを生成する。CCDイメージセンサ120の画像データ生成タイミングおよび電子シャッタ動作は、コントローラ130によって制御される。この画像データをスルー画像として逐一液晶モニタ123に表示することにより、使用者はリアルタイムに被写体の状況を液晶モニタ123で確認できる。
 AFE121では、CCDイメージセンサ120から読み出された画像データに対して相関二重サンプリングによる雑音抑圧、アナログゲインコントローラによるISO感度値に基づくゲインの乗算、ADコンバータによるAD変換が施される。その後、AFE121は画像データを画像処理部122に出力する。
 画像処理部122は、AFE121から出力された画像データに対して各種の処理を施す。各種処理としては、BM(ブロックメモリ)積算、スミア補正、ホワイトバランス補正、ガンマ補正、YC変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されるものではない。画像処理部122は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。またコントローラ130などとともに1つの半導体チップで構成してもよい。
 液晶モニタ123は、デジタルカメラ100の背面に備わる。液晶モニタ123は、画像処理部122にて処理された画像データに基づく画像を表示する。液晶モニタ123が表示する画像には、スルー画像や記録画像がある。
 コントローラ130は、デジタルカメラ100全体の動作を統括制御する。コントローラ130は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。また、画像処理部122などと共に1つの半導体チップで構成してもよい。
 フラッシュメモリ142は、画像データ等を記録するための内部メモリとして機能する。また、フラッシュメモリ142は、オートフォーカス制御(AF制御)や、通信制御に関するプログラムの他、デジタルカメラ100全体の動作を統括制御するためのプログラムを格納している。
 バッファメモリ124は、画像処理部122やコントローラ130のワークメモリとして機能する記憶手段である。バッファメモリ124はDRAM(Dynamic Random Access Memory)などで実現できる。
 カードスロット141は、メモリカード140を着脱可能な接続手段である。カードスロット141は、メモリカード140を電気的及び機械的に接続可能である。また、カードスロット141は、メモリカード140を制御する機能を備えてもよい。
 メモリカード140は、内部にフラッシュメモリ等の記録部を備えた外部メモリである。メモリカード140は、画像処理部122で処理される画像データなどのデータを記録可能である。
 通信部171は、無線または有線の通信インターフェースであり、コントローラ130はこの通信部171を介して、インターネット網に接続することができる。例えば、USBやBluetooth(登録商標)、無線LAN、有線LAN等により実現可能である。
 操作部150は、デジタルカメラ100の外装に備わっている操作釦や操作レバーの総称であり、使用者による操作を受け付ける。操作部150は使用者による操作を受け付けると、コントローラ130に種々の動作指示信号を通知する。
   〔1-1-3.スマートフォンの構成〕
 スマートフォン250の構成について図3を用いて説明する。図3は、スマートフォン250の電気的構成図である。
 スマートフォン250は、コントローラ251、ワークメモリ252、フラッシュメモリ253、通信部254、液晶モニタ256、タッチパネル257等から構成されている。図示していないが、撮像部や画像処理部を備えていてもよい。
 コントローラ251は、スマートフォン250上の処理を実行する処理部である。コントローラ251は、ワークメモリ252、フラッシュメモリ253、通信部254、液晶モニタ256、タッチパネル257に電気的に接続されている。コントローラ251は、タッチパネル257を用いての使用者の操作情報を受け付ける。コントローラ251は、フラッシュメモリ253に格納されているデータを読み出すことができる。また、スマートフォン250の各部に供給される電力等のシステムを全体的に制御している。また、図示していないが、コントローラ251は、電話機能や、インターネットを介してダウンロードした各種アプリケーションを実行する。
 ワークメモリ252は、コントローラ251が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。
 フラッシュメモリ253は、各種データを格納する大容量のディスクドライブである。上述したように、フラッシュメモリ253に格納された各種データは、適宜コントローラ251により読み出し可能である。なお、本実施の形態では、フラッシュメモリ253を備えたが、フラッシュメモリでなくハードディスクドライブ等を備えても良い。
 液晶モニタ256は、コントローラ251から指示された画面を表示する表示デバイスである。
 タッチパネル257は、使用者の操作情報を受け付ける入力デバイスである。なお、本実施の形態では、使用者の操作情報を受け付ける入力デバイスとしてタッチパネル257を備えたが、タッチパネルでなくハードキーを備えても良い。
 通信部254は、コントローラ251から受け取った画像データを、インターネット網を介して、他の機器に送信することができる。通信部254は、例えば、有線LANや、無線LANにより実現することが可能である。
   〔1-1-4.サーバの構成〕
 サーバ300の構成について、図4を用いて説明する。図4は、サーバ300の電気的構成図である。
 サーバ300は、通信部310、コントローラ320、ワークメモリ330、HDD(ハードディスクドライブ)340、画像処理部350等から構成されている。
 通信部310は、インターネット網を介して、他の機器からの情報(画像情報、要求情報、応答情報など)を送受信することができる。通信部310は、例えば、有線LANや、無線LANにより実現することが可能である。
 コントローラ320は、サーバ300の処理を実行する処理部である。コントローラ320は、通信部310、ワークメモリ330、HDD340、画像処理部350に電気的に接続されている。コントローラ320は、通信部310を介して取得した情報(画像情報や、要求情報など)を処理する。同様に、コントローラ320は、処理に基づいて、情報(画像情報や、応答情報など)を、通信部310を介して送信する。コントローラ320は、情報を処理するのにあたって、適宜ワークメモリ330、HDD340、画像処理部350を使用する。また、コントローラ210は、ワークメモリ330、HDD340に格納されているデータを読み出すことができる。また、コントローラ210は、サーバ300の各部に供給される電力等のシステムを全体的に制御している。
 ワークメモリ330は、コントローラ320が各種処理動作を実行するために必要な情報を一時的に格納したメモリである。
 HDD340は、各種データを格納する大容量のディスクドライブである。上述したように、HDD340に格納された各種データは、適宜コントローラ320により読み出し可能である。なお、本実施の形態では、HDD340を備えたが、他の記録媒体を備えても良い。
 画像処理部350は、コントローラ320からの指示に基づいて、入力された画像情報に対して各種画像処理を行なう。各種画像処理には、複合処理、リサイズ処理、合成処理、符号処理が含まれる。画像処理部350による画像処理の詳細動作は後述する。
  〔1-2.動作〕
   〔1-2-1.デジタルカメラとスマートフォンとサーバの接続〕
 デジタルカメラ100とスマートフォン250とサーバ300との接続動作に関して図5を用いて説明する。図5は、デジタルカメラ100とスマートフォン250とサーバ300の接続動作に関するシーケンス図である。
 サーバ300は、図1を用いて説明したように、複数のデジタルカメラ100(A、B、C、D、・・・)と、複数のスマートフォン250(A、B、C、D、・・・)と接続可能である。しかし、以下では、説明の簡単のために、デジタルカメラ100Aおよびデジタルカメラ100Bと,スマートフォン250とがインターネット400を介してサーバ300と接続されている場合を例に説明する。
 まず、デジタルカメラ100Aの動作について説明する。デジタルカメラ100Aの電源がONされると、デジタルカメラ100Aのコントローラ130は、デジタルカメラ100Aを構成する各部に電力を供給し、撮影および通信が可能な状態に制御する。
 デジタルカメラ100Aが撮影および通信が可能な状態になると、ユーザは、デジタルカメラ100Aの操作部150を操作して、液晶モニタ123にメニュー画面を表示させることができる。そして、ユーザは、操作部150を操作することにより、メニュー画面上で通信開始指示を行なうための項目を選択することができる。ユーザにより、通信開始指示を行なうための項目が選択されると、コントローラ130は、デジタルカメラ100Aが接続可能なアクセスポイントの探索を行う。そして、コントローラ130は、探索により発見できたアクセスポイントに接続し、IPアドレスを取得する。デジタルカメラ100Aは、IPアドレスの取得を完了すると、アクセスポイントを介して、サーバ300に接続要求を送信する(S500)。
 サーバ300のコントローラ320は、通信部310を介して、デジタルカメラ100Aからの接続要求を受信すると、デジタルカメラ100Aを接続しても良いか否かを判断する。サーバ300に対して、所定数以上のデジタルカメラが接続されていて、処理能力が低下しているとき等、デジタルカメラ100Aの接続による不都合がなければ、サーバ300のコントローラ320は、通信部310を介して、デジタルカメラ100Aのコントローラ130に接続許可を通知する(S501)。デジタルカメラ100Aのコントローラ130は、接続許可を受けると、現在撮影中のスルー画像や、より高画質の記録用動画像を、通信部171を介して、サーバ300(コントローラ320)に送信する(S502)。
 次に、デジタルカメラ100Bの動作について説明する。上述したデジタルカメラ100Aの場合と同様に、デジタルカメラ100Bは、接続要求の送信(S503:S500に対応)、接続許可の受信(S504:S501に対応)、スルー画像又はより高画質の記録用動画像の供給(S505:S502に対応)を行なう。
 次に、スマートフォン250側の動作について説明する。スマートフォン250のコントローラ251は、電源がONされると、スマートフォン250を構成する各部に電力を供給し、通信が可能な状態に制御する。
 スマートフォン250が通信可能な状態になると、ユーザは、スマートフォン250のタッチパネル257を操作して、液晶モニタ256にメニュー画面を表示させることができる。そして、ユーザは、メニュー画面上で、タッチパネル257を操作することにより、通信開始指示を行なうための項目を選択することができる。ユーザにより、通信開始指示を行なうための項目が選択されると、コントローラ251は、アクセスポイントの探索を行う。コントローラ251は、探索により発見できたアクセスポイントに接続し、IPアドレスを取得する。スマートフォン250は、IPアドレスの取得を完了すると、アクセスポイントを介して、サーバ300に接続要求を送信する(S506)。
 サーバ300のコントローラ320は、通信部310を介して、スマートフォン250からの接続要求を受信すると、スマートフォン250を接続しても良いか否かを判断する。サーバ300に対して、不都合なことがなければ、サーバ300のコントローラ320は、通信部310を介して、スマートフォン250のコントローラ251に接続許可を通知する(S507)。サーバ300に対して不都合なこととは、例えば、サーバ300に対して、所定数以上のスマートフォン250が接続されていて、処理能力が低下していることである。
 その後、サーバ300のコントローラ320は、スマートフォン250に対して、各デジタルカメラから送信された映像データに基づき現在アクティブなカメラ画像の一覧画面を生成し、その画像情報を送信する(S508)。
 この一覧画面には、アクティブなカメラ画像(スルー画像や、動画像)を表示する表示枠が予め配置されている。一覧画面の具体例については後述する。サーバ300のコントローラ320は、その表示枠に各デジタルカメラから送信されたアクティブなカメラ画像(スルー画像又はより高画質な動画像)を表示するようストリーミング映像を生成し、スマートフォン250に対してストリーミング送信する。すなわち、サーバ300のコントローラ320は、各デジタルカメラ100A、100Bから送信され、HDD340に一時的に記録しておいたスルー画像(又はより高画質な動画像)を、所定のデータ量ずつ読み出し、読み出したスルー画像からストリーミング映像を生成し、スマートフォン250に送信(ストリーミング送信)する。これにより、スマートフォン250の液晶モニタ256には、デジタルカメラ100Aおよび100Bから送信されてくるアクティブなカメラ画像(ストリーミング映像)が表示枠に表示された一覧画面が表示される。
 図6(a)~(d)は、サーバ300からスマートフォン250に配信される画像の一例を示した図である。すなわち、スマートフォン250の液晶モニタ256に表示されるアクティブなカメラ画像の一覧画面の例を示した図である。
 図6(a)は、複数のカメラから取得したリアルタイムなストリーミング映像を、サーバ300において、例えば縦3×横4のマトリクス状に配置した一覧画面の例を示した図である。すなわち、図6(a)は、12台のデジタルカメラ100から送信されたリアルタイムなストリーミング映像を表示した一覧画面を示している。このような表示により、スマートフォン250のユーザは、サーバ300から取得したリアルタイムなストリーミング映像を一覧で確認することができる。
 図6(b)は、複数のカメラから取得したリアルタイムなストリーミング映像を、そのストリーミング映像を説明する文字情報とともに表示した一覧画面の例を示している。図6(b)に示す例では、ストリーミング映像を説明する文字情報として、リアルタイム映像の撮影場所を示す文字情報を、ストリーミング映像と合わせて表示している。図6(b)に示す例は、サーバ300が、デジタルカメラ100から、ストリーミング映像とともに、そのストリーミング映像を説明する情報を合わせて受信することにより実現可能である。図6(b)のような画面により、ユーザは、サーバ300から取得したリアルタイムなストリーミング映像についての情報を、簡単に確認することができる。なお、この例では、ストリーミング映像を説明する情報として、撮影場所を示す文字情報としたが、これに限らない。すなわち、文字情報ではなく、絵文字情報などでもよい。また、撮影場所ではなく、撮影条件や、撮影時間(海外での撮影の場合は現地時間)などであってもよい。
 図6(c)は、複数のカメラから取得したリアルタイムなストリーミング映像について、そのストリーミング映像が撮影されている場所を地図上に示した画面を示している。図6(c)に示す例は、サーバ300が、カメラ100からストリーミング映像とともに、撮影場所に関する情報を合わせて受信することにより、実現可能である。これにより、ユーザは、サーバ300から取得したリアルタイムなストリーミング映像の撮影場所を容易に確認することができる。
 図6(d)は、複数のカメラからサーバ300経由で取得したリアルタイムなストリーミング映像について、そのストリーミング映像の撮影者に関する情報(氏名、顔写真など)とともに表示した一覧画面の例を示している。図6(d)に示す例は、サーバ300が、カメラ100から、ストリーミング映像とともに、その映像の撮影者に関する情報を合わせて受信することにより実現可能である。なお、一人の撮影者が複数台のカメラを使ってリアルタイムで撮影した複数のストリーミング映像を送信している場合、その撮影者が撮影したストリーミング映像であることを示す表示枠において、複数のストリーミング映像が並べて表示される。これにより、ユーザは、サーバ300から取得したリアルタイムなストリーミング映像の撮影者を容易に確認することができる。
 図6(a)から(d)に示した一覧画面の形式のうち、いずれの形式の画面をスマートフォン250に送信するかは、ユーザ操作に応じて決定してもよい。例えば、スマートフォン250のユーザが、タッチパネル257等の操作部を操作して、所望の一覧画面を選択できるようにしてもよい。この場合は、一覧画面の選択情報がスマートフォン250からサーバ300に送信され、サーバ300は選択情報に基づいて一覧画面を生成する。これにより、ユーザは、サーバ300から取得したリアルタイムなストリーミング映像を好みの形式で閲覧することができる。
 サーバ300が、スマートフォン250に送信するストリーミング映像は、映像提供元であるデジタルカメラ100Aおよび100Bが、スマートフォン250を指定したことにより送信されるようにしてもよい。この場合、デジタルカメラ100Aおよび100Bはサーバ300に指定情報を送信する。サーバ300は、それぞれのデジタルカメラ100Aおよび100Bから受信したストリーミング映像を、受信した指定情報が指定するスマートフォン250に対してのみ送信する。
 または、映像提供元であるデジタルカメラ100Aおよび100Bが、サーバ300に送信するストリーミング映像の公開範囲を設定してもよい。この場合、デジタルカメラ100Aおよび100Bはサーバ300に公開範囲の情報を送信する。サーバ300は、受信した情報が示す公開範囲に合致したスマートフォン250のみにストリーミング映像を送信するようにしてもよい。なお、サーバ300は、スマートフォン250の液晶モニタ256に表示される一覧画面に含まれる映像として、リアルタイムなストリーミング映像を送信するとしたが、これに限定されない。サーバ300は、リアルタイムなストリーミング映像の代わりに、リアルタイムなストリーミング映像中から切り出した特定時刻の静止画像を用いても良い。
 ユーザは、アクティブなカメラ画像の一覧画面を閲覧しながら、詳細の閲覧を希望するストリーミング映像を、スマートフォン250のタッチパネル257等の操作部を操作して選択する。このとき、ユーザは、詳細な閲覧を希望するストリーミング映像を複数個選択することができる。ユーザによるストリーミング映像の選択を受け付けると、スマートフォン250のコントローラ251は、通信部254を介して、サーバ300のコントローラ320にユーザによる選択を示す情報(指定)を通知する(S509)。
 サーバ300のコントローラ320は、ステップS509における選択を示す情報の通知を受けて、必要があれば、デジタルカメラ100Aおよび100Bから送られてくるストリーミング映像に対して、画像処理部350による画像処理を施す。そして、サーバ300のコントローラ320は、スマートフォン250のユーザにより選択されたストリーミング映像(スルー画像又は動画像)の配信を受ける(S510)。これにより、ユーザは、選択したストリーミング映像のみの閲覧を楽しむことができる。
   〔1-2-2.サーバの画像処理部による画像処理〕
 図7を用いて、サーバ300の画像処理部350による、ストリーミング映像に対する画像処理について説明する。以下では、スマートフォン250へ配信されるストリーミング映像に対する、画像処理部350による画像処理を説明する。
(画像処理例1)
 図7(a)は、サーバ300における画像処理動作のシーケンスを示す図である。図7(a)は、特に、ユーザが、デジタルカメラ100Aおよびデジタルカメラ100Bからのストリーミング映像の配信を選択した場合の例を説明する。
 サーバ300のコントローラ320は、デジタルカメラ100Aおよび100Bからストリーミング映像を受信すると、デジタルカメラ100Aから受信したストリーミング映像(以下、「ストリーミング映像A」と称する)と、デジタルカメラ100Bから受信したストリーミング映像(以下、「ストリーミング映像B」と称する)とのバッファリング(HDD340に一時的に記録)を行なう(S550)。デジタルカメラ100Aおよびデジタルカメラ100Bは、ストリーミング映像を、通信部171を介して送信するとき、所定の圧縮符号化方式に基づいて圧縮符号化したスルー画像(又はより高画質な動画像)をサーバ300に送信している。すなわち、バッファリングされているストリーミング映像Aおよびストリーミング映像Bは、所定の圧縮符号化方式に基づいて圧縮符号化された情報である。そのため、画像処理部350は、ストリーミング映像Aおよびストリーミング映像Bに対して所定の圧縮符号化方式に対応する復号処理を施して、画像として展開された形式の情報に変換する(S551)。
 続いて、画像処理部350は、復号されたストリーミング映像Aおよびストリーミング映像Bに対して、スマートフォン250の液晶モニタ256の同一画面内にて閲覧可能なようにリサイズ処理を施す(S552)。例えば、ストリーミング映像Aのサイズ(画素数構成)がQVGAで、ストリーミング映像Bのサイズ(画素数構成)もQVGAであるとき、ストリーミング映像Aとストリーミング映像Bが示す画像を同一画面内にQVGAで出力できるサイズにリサイズ処理を施す。ここでは、一例として、ストリーミング映像Aおよびストリーミング映像Bそれぞれに対して、サイズを50%縮小させるリサイズ処理を施す。
 続いて、画像処理部350は、リサイズ処理が施されたストリーミング映像Aおよびストリーミング映像Bについて、QVGAサイズ(画素数構成)にて、それぞれのストリーミング映像が示す画像が同一画面内に含まれるよう、両ストリーミング映像に対して合成処理を施す(S553)。以下、合成処理(S553)により、ストリーミング映像Aとストリーミング映像Bが同一画面に配置された映像を「合成ストリーミング映像」と称する。合成ストリーミング映像は例えば図6(a)、(b)、(d)に示すような画面を含む映像である。
 続いて、画像処理部350は、QVGAサイズの合成ストリーミング映像に対して、所定の圧縮符号化方式に従って圧縮符号化処理を施す(S554)。圧縮符号化処理が施された合成ストリーミング映像は、順次バッファリング(ワークメモリ330に一時的に記録)される(S555)。そして、バッファリングされた合成ストリーミング映像が順次読み出され、通信部310を介して、スマートフォン250にストリーミング配信される。
 上記の例では、画像処理部350がリサイズ処理を施すサイズ(画素数構成)をQVGAとしたが、これに限定されない。ストリーミング映像を受信して表示するスマートフォン250にとって好適なサイズであれば、他のサイズ(画素数構成)であってもよい。
(画像処理例2)
 図7(b)は、1つのデジタルカメラ100からのストリーミング映像のみを、スマートフォン250に配信する場合のシーケンスを示す。図7(b)では、デジタルカメラ100から受信したときのストリーミング映像の圧縮符号化方式と、スマートフォン250により復号可能な圧縮符号化方式とが異なる場合の処理例を示している。この場合、リサイズ処理および合成処理は不要となる。画像処理部350は、順次バッファリングされるストリーミング映像に対して、復号処理を施していき(S551)、続いて、スマートフォン250により復号可能な符号化方式により符号処理(S554)を施す。
(画像処理例3)
 図7(c)は、1つのデジタルカメラ100からのストリーミング映像のみをスマートフォン250に配信する場合のシーケンスを説明する。図7(c)では、デジタルカメラ100から受信したときのストリーミング映像の圧縮符号化方式と、スマートフォン250により復号可能な圧縮符号化方式とが同じである場合の処理例を示している。この場合、リサイズ処理、復号処理および符号処理は必要がないため、画像処理部350は、デジタルカメラ100から受信したストリーミング映像を順次バッファリング処理(S550)しながら、通信部310を介して順次スマートフォン250へ配信していく。
 以上のように、本実施の形態にかかるサーバ300の画像処理部350は、デジタルカメラから受信するストリーミング映像の本数、サイズ(画素数構成)、圧縮符号化方式等の、ストリーミング映像の条件に応じて動的に画像処理の内容を決定し、その処理を実行する。これにより、サーバ300は、スマートフォン250に対して、ストリーミング映像の配信状態やスマートフォン250の状況に応じた適切なストリーミング映像を配信することができる。
   〔1-2-3.デジタルカメラから提供されるストリーミング映像の切断動作〕
 サーバ300に対する映像送信を切断する場合について図8を用いて説明する。以下では、デジタルカメラ100Aおよび100Bがサーバ300へリアルタイムなストリーミング映像を送信していた場合に、デジタルカメラ100Aがサーバ300に対する映像送信を切断する場合を説明する。図8は、デジタルカメラ100とスマートフォン250とサーバ300の切断動作に関するシーケンス図である。
 デジタルカメラ100Aのコントローラ130は、ストリーミング映像の送信中に操作部150でユーザの操作を受け付けると、デジタルカメラ100Aからサーバ300へのストリーミング映像Aの送信の切断を決定する。このときの、ユーザの操作は、送信停止操作であってもよいし、デジタルカメラ100Aの電源停止操作であってもよい。
 デジタルカメラ100Aのコントローラ130は、サーバ300に対するストリーミング映像Aの送信の切断を決定すると、通信部171を介して、サーバ300に対して切断要求を通知する(S600)。これに対して、サーバ300のコントローラ320は、通信部310を介して、デジタルカメラ100Aに対して切断許可を通知する(S601)。このとき、サーバ300の画像処理部350は、デジタルカメラ100Aおよびデジタルカメラ100Bの2台からストリーミング映像を受信しているときは、図7(a)に示すようにステップS551からステップS554の処理を順次行なっている。しかしながら、デジタルカメラ100Aからの切断要求に応答して、切断を許可すると、サーバ300に対して送信されてくるのは、デジタルカメラ100Bからのストリーミング映像Bのみとなる。そのため、画像処理部350は、ストリーミング映像Aの受信が切断された後は、図7(b)又は(c)に示す処理を順次行なう。
 そして、サーバ300のコントローラ130は、通信部310を介して、スマートフォン250に対して、デジタルカメラ100Bからのスルー画像のみ配信を行なう(S603)。
 図8において、画面D700は、ストリーム映像Aおよびストリーム映像Bを合成した合成ストリーミング映像がスマートフォン250に配信され、液晶モニタ256で表示されたときの表示画面の例を示している。一方、図8に示す画面D710は、画面D700の状態から、ストリーミング映像Aの配信が切断され、ストリーミング映像Bのみが配信されているときの液晶モニタ256の表示画面の例を示している。
 以上のように、本実施の形態1にかかるサーバ300によれば、ストリーミング映像の提供元であるデジタルカメラ100からのストリーミング映像の配信状態(又は切断状態)の変化に応じて、スマートフォン250の液晶モニタ256の表示状態が変更される。これにより、ユーザは、ストリーミング映像の提供状況を容易に把握することができる。
   〔1-2-4.サーバを介したスマートフォンによるデジタルカメラの遠隔操作〕
 図9を用いて、スマートフォン250による、サーバ300を介したデジタルカメラ100の遠隔操作について説明する。以下では、特に、スマートフォン250が、ストリーミング映像に対して行われたユーザ操作に基づき、デジタルカメラ100Aを遠隔操作する場合を説明する。図9は、スマートフォン250による、サーバ300を介したデジタルカメラ100の遠隔操作のシーケンスを示した図である。
 スマートフォン250は、サーバ300を介して、デジタルカメラ100A、100Bからストリーミング映像Aおよびストリーミング映像Bを受信している(図9の画面D700参照)。以下、この状態で、スマートフォン250のタッチパネル257上での操作により、デジタルカメラ100Aのズーム操作を行う場合を説明する。
 ユーザは、デジタルカメラ100Aから送信されるストリーミング映像の表示される領域を拡大するために、スマートフォン250のタッチパネル257にてピンチアウト操作を実行できる。ここで、ピンチアウト操作は、画像の拡大すなわち望遠側へのズーム操作に対応した操作である。このようなピンチアウト操作があると(S700)、スマートフォン250のコントローラ251は、ピンチアウト操作が行われたこと及びピンチアウト操作が行われた画像領域(タッチパネル257上の位置)の情報をスマートフォン250の通信部254を介して、サーバ300へピンチアウトコマンド通知として送信する(S701)。
 サーバ300のコントローラ320は、スマートフォン250から送信されたピンチアウトコマンド通知を、通信部310を介して受信すると、ピンチアウト操作が行われた画像領域の分析を行う(S702)。
 分析の結果、デジタルカメラ100Aのストリーミング映像の領域にてピンチアウト操作(ズーム操作)が実施されたことを検出すると、サーバ300のコントローラ320は、望遠側へのズーム要求通知を生成する。そして、サーバ300のコントローラ320は、通信部310を介して、デジタルカメラ100Aに生成したズーム要求通知を送信する(S703)。
 デジタルカメラ100Aのコントローラ130は、デジタルカメラ100Aの通信部171を介して、サーバ300が送信した望遠側へのズーム要求通知を受信する。コントローラ130は、受信したズーム要求通知に基づいて、光学系110を制御して望遠側へのズーム動作を実施する(S704)。
 そして、コントローラ130は、通信部171を介して、サーバ300にズームされたスルー画像を送信する(S705)。このとき、コントローラ130は、実際のズーム動作に対してリアルタイムにスルー画像をサーバ300に送信するのが好ましい。
 サーバ300のコントローラ320は、デジタルカメラ100Aから受信したズームされたスルー画像を、スマートフォン250に送信する(S706)。このとき、サーバ300のコントローラ320は、デジタルカメラ100からスルー画像を受信した後、遅滞なくスマートフォン250にスルー画像を転送することが好ましい。
 これにより、スマートフォン250は、受信したストリーミング映像に対してユーザにより実施された操作に基づき、遠隔地にあるデジタルカメラ100Aを操作することができる。また、スマートフォン250のユーザは、遠隔操作の結果が反映されたスルー画像をリアルタイムに取得することができる。
  〔1-3.まとめ〕
 本実施の形態1にかかる通信システムは、少なくとも1つのデジタルカメラ100(送信装置の一例)と、少なくとも1つのスマートフォン250(受信装置の一例)と、デジタルカメラ100からスマートフォン250への送信を中継するサーバ300(中継装置の一例)とから構成される通信システムである。サーバ300は、通信部310を介して、少なくとも1つのデジタルカメラ100から少なくとも1つのストリーミング映像を受信する。サーバ300は、通信部310を介して、少なくとも1つのスマートフォン250の中の一つのスマートフォンから、ストリーミング映像の指定(画像の選択、画像の指定、操作情報等)を受信する。サーバ300のコントローラ320は、複数のデジタルカメラ100から複数のストリーミング映像を受信している場合、受信した指定に応じて動的に、受信した複数のストリーミング映像の中の少なくとも一つのストリーミング映像を、より少ないデータ量(より少ない占有帯域)のストリーミング映像に変換する。そして、サーバ300は、通信部310を介して、変換されたストリーミング映像を一つのスマートフォン250に送信する。これにより、複数のストリーミング映像を同時に配信するような状況においても、通信負荷を少なくした通信システムを提供することができる。
 また、コントローラ320は、デジタルカメラ100(送信機)からのストリーミング映像の送信状況(送信すべきストリーミング映像の数、画像サイズ、圧縮符号化方式等)に応じて、ストリーミング映像の変換処理の内容を動的に異ならせても良い。これにより、デジタルカメラ100(送信機)からのストリーミング映像の送信状況に応じて適切に映像を送信できる。
 コントローラ320は、複数のストリーミング映像を1つの映像ストリーミングに含めるように変換処理を行ってもよい。
 また、スマートフォン250は、サーバ300を介して、ストリーミング映像に対する処理に関してデジタルカメラ100を遠隔操作してもよい。これにより、デジタルカメラから送信されるストリーミング映像に対して、スマートフォン250からの遠隔操作が可能となる。具体的には、サーバ300は、一つのスマートフォン250から、そのスマートフォン250上での使用者の操作に関する情報を受信し、その情報の内容を解析し、解析した結果(例えば、操作された領域)に基づいて、デジタルカメラ100から受信したストリーミング映像の状態を制御してもよい。または、サーバ300は、一つのスマートフォン250から、そのスマートフォン250上での使用者の操作に関する情報を受信し、受信した操作に関する情報に基づくストリーミング映像の処理に関する指示をデジタルカメラ100へ送信してもよい。
 〔他の実施形態〕
 以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態1で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施の形態を例示する。
 上記実施の形態1では、ストリーミング映像Aとストリーミング映像Bとにリサイズ処理を行ない、同一画面に双方のストリーミング映像を配置した単一のストリーミング映像を合成した。複数のストリーミング映像を単一のストリーミング映像に変換する方法は、これに限定されない。例えば、サーバ300の画像処理部350は、提供されるストリーミング映像の数に応じて、スマートフォン250に配信するストリーミング映像に対する符号化処理における圧縮率を変化させてもよい。より具体的には、画像処理部350は、提供されるストリーミング映像の数が多いときは、符号化処理における圧縮率が大きくなるようにし、提供されるストリーミング映像の数が少ないときは、圧縮率が小さくなるようにすればよい。すなわち、変換後のデータの通信に必要な帯域がより少なくなるように、複数のストリーミング映像を変換する方法であれば、他の方法であってもよい。
 なお、上記実施の形態において、スマートフォン250による遠隔操作として、ズーム操作を例に説明を行ったが、遠隔操作はこれに限らない。スマートフォン250による遠隔操作は、シャッタ操作やパンチルト操作による映像の切替操作であってもよい。
 例えば、スマートフォン250で複数のストリーミング映像が表示されているときに、ユーザによるタッチパネル257上のタッチ操作があった場合、タッチされた映像のみを選択して表示するようにしてもよい。具体的には、スマートフォン250で複数のストリーミング映像が表示されているときに、ユーザによるタッチ操作があった場合、スマートフォン250はその操作情報をサーバ300に送信してもよい。すなわち、スマートフォン250は、タッチ操作されたタッチパネル257上のタッチ位置を示す情報をコマンド通知としてサーバ300に送信してもよい。サーバ300は、受信したコマンド通知に含まれる位置情報に基づき、ユーザが操作した領域を解析する。そして、サーバ300は、ユーザが操作した領域に関連する映像が「選択」されたと解釈し、その選択された映像のみが表示されるようにスマートフォン250に送信するストリーミング映像を生成してもよい。
 上記実施の形態では、サーバ300はピンチアウトコマンド通知(S701)をスマートフォン250から受信すると、ユーザの操作領域を解析し(S702)、ズーム要求通知をデジタルカメラに送信した(S703)。これに代えて、サーバ300のコントローラ320は、ユーザの操作領域を解析し、デジタルカメラ100にズーム要求通知を送らずに、その操作領域にある映像を電子的に拡大(電子ズーム)してもよい。サーバ300は拡大した映像をスマートフォン250に送信する。このように、サーバ300内で、デジタルカメラ100の遠隔操作に対応した処理を行ってもよい。
 また、上記実施の形態において、デジタルカメラ100Aの操作に関してスマートフォン250が遠隔操作する場合の説明を行った。同様に、デジタルカメラ100Bにおいても、スマートフォン250からの遠隔操作が可能である。
 さらに、上記実施の形態では、1台のスマートフォン250から遠隔操作を行う場合を説明した。しかし、複数台のスマートフォンから遠隔操作が行われてもよい。その場合、例えば、サーバ300は、スマートフォン250からの通知コマンドの管理を実施する。サーバ300は、1台のスマートフォンから通知コマンドを受信した場合、他のスマートフォンからの通知コマンドを受け付けないよう排他的に処理を行うようしてもよい。または、サーバ300による排他的処理は行なわずに、デジタルカメラ100Aが複数コマンドを受信した順に順次処理するようにしてもよい。これにより、複数台のスマートフォンが接続された場合も、1台のスマートフォンが接続された場合と同様に、デジタルカメラに対するスマートフォンからの遠隔操作が可能となる。
 また、図7(a)、(b)の処理では、一旦復号処理(S551)を行った後再度符号化処理(S554)を行ったが、復号処理を行わずに(すなわち元の形式のまま)ストリーミング映像を変換(transcode)してもよい。
 以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
 したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
 また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
 本開示は、機器間で映像データを通信する通信システム及び機器間の映像データの通信を仲介する中継装置に適用できる。

Claims (8)

  1.  少なくとも1つの送信装置と、少なくとも1つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムであって、
     前記中継装置は、
      前記少なくとも1つの送信装置から、少なくとも1つのストリーミング映像を受信する第1受信部と、
      前記少なくとも1つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第2受信部と、
      複数の送信装置から複数のストリーミング映像を受信している場合、前記受信した指定に応じて、前記受信した複数のストリーミング映像の中の少なくとも1つのストリーミング映像を、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
      前記変換されたストリーミング映像を前記一つの前記受信装置に送信する送信部と、を備える
    通信システム。
  2.  前記変換部は、前記ストリーミング映像の送信状況に応じて、ストリーミング映像の変換処理の内容を動的に異ならせる、
     請求項1に記載の通信システム。
  3.  前記変換部は、前記複数のストリーミング映像を1つの映像ストリーミングに含めるように変換処理を行う、請求項1または2に記載の通信システム。
  4.  前記一つの受信装置は、前記中継装置を介して、ストリーミング映像に対する処理に関して前記送信装置を遠隔操作する、
     請求項1から3のいずれかに記載の通信システム。
  5.  前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、その情報の内容を解析し、解析した結果に基づいて、前記送信装置から受信したストリーミング映像の状態を制御する、請求項4に記載の通信システム。
  6.  前記中継装置は、前記一つの受信装置から、前記一つの受信装置上での使用者の操作に関する情報を受信し、前記受信した操作に関する情報に基づくストリーミング映像の処理に関する指示を前記送信装置へ送信する、請求項4に記載の通信システム。
  7.  少なくとも1つの送信装置と、少なくとも1つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置とを含む通信システムにおける通信方法であって、
     前記少なくとも1つの送信装置から、少なくとも1つのストリーミング映像を受信するステップと、
     前記少なくとも1つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信するステップと、
     前記受信した指定に応じて、前記受信したストリーミング映像のうちの少なくとも1つのストリーミング映像をより少ないデータ量のストリーミング映像に動的に変換するステップと、
     前記変換されたストリーミング映像を前記一つの受信装置に送信するステップと、
    を有する通信方法。
  8.  少なくとも1つの送信装置と、少なくとも1つの受信装置と、前記送信装置から前記受信装置へのデータの送信を中継する中継装置であって、
     前記少なくとも1つの送信装置から、少なくとも1つのストリーミング映像を受信する第1受信部と、
     前記少なくとも1つの受信装置の中の一つの受信装置から、ストリーミング映像の指定を受信する第2受信部と、
     前記受信した指定に応じて、前記受信したストリーミング映像の中の少なくとも1つのストリーミング映像を、より少ないデータ量のストリーミング映像に動的に変換する変換部と、
     前記変換されたストリーミング映像を前記一の受信装置に送信する送信部と、
    を備えた中継装置。
PCT/JP2013/001337 2012-03-05 2013-03-04 通信システムおよび中継装置 WO2013132828A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/190,668 US20140244858A1 (en) 2012-03-05 2014-02-26 Communication system and relaying device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012047629 2012-03-05
JP2012-047629 2012-03-05

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/190,668 Continuation US20140244858A1 (en) 2012-03-05 2014-02-26 Communication system and relaying device

Publications (1)

Publication Number Publication Date
WO2013132828A1 true WO2013132828A1 (ja) 2013-09-12

Family

ID=49116323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001337 WO2013132828A1 (ja) 2012-03-05 2013-03-04 通信システムおよび中継装置

Country Status (3)

Country Link
US (1) US20140244858A1 (ja)
JP (1) JPWO2013132828A1 (ja)
WO (1) WO2013132828A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416223A (zh) * 2014-06-03 2017-02-15 三星电子株式会社 成像设备和通过成像设备进行的视频生成方法
JP2018125702A (ja) * 2017-02-01 2018-08-09 富士ゼロックス株式会社 映像制御システム及びプログラム
JP2018191051A (ja) * 2017-04-28 2018-11-29 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2019501584A (ja) * 2015-12-04 2019-01-17 スリング メディア,インク. 遠隔制御されるメディアスタジオ
WO2020149221A1 (ja) * 2019-01-18 2020-07-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9154708B1 (en) 2014-11-06 2015-10-06 Duelight Llc Image sensor apparatus and method for simultaneously capturing flash and ambient illuminated images
US8976264B2 (en) 2012-09-04 2015-03-10 Duelight Llc Color balance in digital photography
US9160936B1 (en) 2014-11-07 2015-10-13 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
US9167169B1 (en) 2014-11-05 2015-10-20 Duelight Llc Image sensor apparatus and method for simultaneously capturing multiple images
US9918017B2 (en) 2012-09-04 2018-03-13 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9179062B1 (en) 2014-11-06 2015-11-03 Duelight Llc Systems and methods for performing operations on pixel data
US9531961B2 (en) 2015-05-01 2016-12-27 Duelight Llc Systems and methods for generating a digital image using separate color and intensity data
US9179085B1 (en) 2014-11-06 2015-11-03 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US9137455B1 (en) * 2014-11-05 2015-09-15 Duelight Llc Image sensor apparatus and method for obtaining multiple exposures with zero interframe time
US9167174B1 (en) 2014-11-05 2015-10-20 Duelight Llc Systems and methods for high-dynamic range images
US10558848B2 (en) 2017-10-05 2020-02-11 Duelight Llc System, method, and computer program for capturing an image with correct skin tone exposure
US9807322B2 (en) 2013-03-15 2017-10-31 Duelight Llc Systems and methods for a digital image sensor
US9819849B1 (en) 2016-07-01 2017-11-14 Duelight Llc Systems and methods for capturing digital images
JP6433151B2 (ja) * 2014-05-20 2018-12-05 キヤノン株式会社 映像供給装置、映像取得装置およびそれらの制御方法ならびに映像供給システム
US10924688B2 (en) 2014-11-06 2021-02-16 Duelight Llc Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene
US11463630B2 (en) 2014-11-07 2022-10-04 Duelight Llc Systems and methods for generating a high-dynamic range (HDR) pixel stream
JP5866549B1 (ja) * 2014-11-20 2016-02-17 パナソニックIpマネジメント株式会社 監視システム及び監視システムにおける監視方法
US20170078351A1 (en) * 2015-09-15 2017-03-16 Lyve Minds, Inc. Capture and sharing of video
WO2018044314A1 (en) 2016-09-01 2018-03-08 Duelight Llc Systems and methods for adjusting focus based on focus target information
CN108259937B (zh) * 2016-12-29 2021-02-02 武汉斗鱼网络科技有限公司 一种直播网络信息的显示方法及系统

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247566A (ja) * 2000-11-30 2002-08-30 Matsushita Electric Ind Co Ltd 画像受信装置、画像送信装置および画像伝送システム
JP2005341396A (ja) * 2004-05-28 2005-12-08 Canon Inc 映像通信装置、映像通信方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006067124A (ja) * 2004-08-25 2006-03-09 Nec Corp 画像符号化データの切り替え方法および装置、システムならびにプログラム
EP2127230A4 (en) * 2007-02-09 2014-12-31 Onmobile Global Ltd METHOD AND APPARATUS FOR ADAPTING MULTIMEDIA CONTENT IN TELECOMMUNICATIONS NETWORKS
US20090249405A1 (en) * 2008-03-31 2009-10-01 Broadcom Corporation Video transmission system with edge device for adjusting video streams based on device parameters and methods for use therewith
US8259816B2 (en) * 2009-03-12 2012-09-04 MIST Innovations, Inc. System and method for streaming video to a mobile device
US9019372B2 (en) * 2011-02-18 2015-04-28 Videolink Llc Remote controlled studio camera system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002247566A (ja) * 2000-11-30 2002-08-30 Matsushita Electric Ind Co Ltd 画像受信装置、画像送信装置および画像伝送システム
JP2005341396A (ja) * 2004-05-28 2005-12-08 Canon Inc 映像通信装置、映像通信方法、コンピュータプログラム及びコンピュータ読み取り可能な記録媒体

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106416223A (zh) * 2014-06-03 2017-02-15 三星电子株式会社 成像设备和通过成像设备进行的视频生成方法
US10375312B2 (en) 2014-06-03 2019-08-06 Samsung Electronics Co., Ltd. Imaging device and video generation method by imaging device
CN106416223B (zh) * 2014-06-03 2020-01-31 三星电子株式会社 成像设备和通过成像设备进行的视频生成方法
JP2019501584A (ja) * 2015-12-04 2019-01-17 スリング メディア,インク. 遠隔制御されるメディアスタジオ
JP2018125702A (ja) * 2017-02-01 2018-08-09 富士ゼロックス株式会社 映像制御システム及びプログラム
JP2018191051A (ja) * 2017-04-28 2018-11-29 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP6991733B2 (ja) 2017-04-28 2022-01-12 キヤノン株式会社 制御装置、制御方法、及びプログラム
WO2020149221A1 (ja) * 2019-01-18 2020-07-23 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
US20140244858A1 (en) 2014-08-28
JPWO2013132828A1 (ja) 2015-07-30

Similar Documents

Publication Publication Date Title
WO2013132828A1 (ja) 通信システムおよび中継装置
US20190289242A1 (en) Electronic apparatus and method for conditionally providing image processing by an external apparatus
US9516234B2 (en) Apparatus and method for transmitting a frame image of a camera
JP2016123137A (ja) 画像通信装置および撮像装置
KR20110052933A (ko) 촬영장치 및 촬영영상 제공방법
JP2015023416A (ja) 通信装置、撮像装置およびそれらの制御方法、並びにプログラム
US10567634B2 (en) Image capturing apparatus, communication apparatus, and control methods thereof
JP5962200B2 (ja) 撮像装置、撮像処理方法
JP6360300B2 (ja) 通信装置、撮像装置およびそれらの制御方法、並びにプログラム
JP2008109364A (ja) カメラサーバシステム、データの処理方法、およびカメラサーバ
JP6800930B2 (ja) 通信装置、その制御方法、およびそのプログラム
KR20100104013A (ko) 영상 처리 장치 및 방법
US20220247917A1 (en) Image capture apparatus, operation apparatus and control methods
US20210144393A1 (en) Image capturing device, distribution system, distribution method, and recording medium
US20150373073A1 (en) Image pickup apparatus, control method and recording medium
JP2005323379A (ja) データ転送に応じるシステムおよび方法
US20210409613A1 (en) Information processing device, information processing method, program, and information processing system
US20150022676A1 (en) Information processing apparatus and control method thereof
JP2019068187A (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
CN112788198B (zh) 摄影装置、传送系统及方法、记录介质和计算机装置
JP6739030B2 (ja) 撮像装置、電子機器及び撮像システム
KR101883949B1 (ko) 실시간 방송 시스템, 이를 위한 클라이언트 단말 및 그 동작 방법
JP2019110423A (ja) 撮影装置、制御方法及びプログラム
JPWO2020161969A1 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP2006013983A (ja) ビデオカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13757843

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014503478

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13757843

Country of ref document: EP

Kind code of ref document: A1