WO2013187033A1 - 制御装置、画像送信方法、及び制御プログラム - Google Patents

制御装置、画像送信方法、及び制御プログラム Download PDF

Info

Publication number
WO2013187033A1
WO2013187033A1 PCT/JP2013/003600 JP2013003600W WO2013187033A1 WO 2013187033 A1 WO2013187033 A1 WO 2013187033A1 JP 2013003600 W JP2013003600 W JP 2013003600W WO 2013187033 A1 WO2013187033 A1 WO 2013187033A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
quality
video
unit
control device
Prior art date
Application number
PCT/JP2013/003600
Other languages
English (en)
French (fr)
Inventor
亜紀子 水藤
一彰 中島
由明 西川
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014520915A priority Critical patent/JPWO2013187033A1/ja
Publication of WO2013187033A1 publication Critical patent/WO2013187033A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Definitions

  • the present invention relates to a control device, a control method, and a control program.
  • the present invention particularly relates to a control device, a control method, and a control program for transmitting an image to a device connected to a network.
  • the photographing user will have to re-photograph many times, and the photographing operation becomes complicated. If the user on the shooting side and the other party on the phone share the camera image in real time, and if the other party on the call can shoot remotely at the timing they want to shoot, then the other party wants to check This makes it easy to shoot a place on an object.
  • Patent Document 1 An example of a remote photographing system that enables photographing by operation in a remote place is described in Patent Document 1.
  • This remote photographing system includes a photographing device including a camera and a remote photographing control device including an application that can control the photographing device from a remote place, which are connected to each other via a network.
  • the photographer may be in a place where the remote photographing control device can be operated instead of the photographing device.
  • the imaging device sequentially transmits the captured low-quality images as preview images to the remote imaging control device.
  • the remote imaging control device displays the received image.
  • the photographer determines the timing of shooting while previewing the image displayed by the remote shooting control device.
  • the photographer operates the remote photographing control device at a timing when photographing is desired, and transmits a shutter command from the remote photographing control device to the photographing device.
  • the imaging device that has received the shutter command executes photography without degrading the image quality. Then, the photographing apparatus sends a high-quality image photographed without reducing the image quality to the remote photographing control apparatus. As a result, the photographer can acquire a high-quality image taken by the photographing apparatus when the shutter command is received by the remote photographing control apparatus.
  • remote shooting is to cause a shooting device to perform shooting by performing a shooting operation with a remote shooting control device connected to the shooting device via a network.
  • the remote photographing system described in Patent Document 1 includes a first camera that is a photographing device and a second camera that is a remote photographing control device, which are connected to each other via a network.
  • the photographing device transmits a low-quality preview image continuously photographed to the remote photographing control device.
  • the remote imaging control device displays the received low-quality image.
  • the photographer determines the timing of shooting while previewing the image displayed on the remote shooting control device.
  • the remote shooting control device transmits a continuous shooting start instruction to the shooting device.
  • the imaging apparatus that has received the continuous shooting start instruction starts to continuously store high-quality images.
  • the remote shooting control device transmits the low-quality image displayed at that time as shooting selection image data to the shooting device.
  • shooting selection image data corresponds to a shutter command.
  • the photographing apparatus selects an image having the highest correlation with the received photographing selection image data from among high-quality images stored in the photographing apparatus.
  • the imaging device transmits the selected image to the remote imaging control device.
  • the far-field imaging system disclosed in Patent Document 1 was photographed with the photographer's intention by expanding the difference between the transmission time and the reception time of the shutter command, which is caused by the transmission of the shutter command via a network with a communication delay. Reduce image divergence.
  • Patent Document 2 describes a video transmission system including a video transmission terminal that generates and transmits video data and a video reception terminal that receives and displays video data, which are connected via a network.
  • the video transmission terminal of Patent Literature 2 estimates the effective bandwidth of the network with the video reception terminal.
  • the video transmitting terminal determines the encoding parameters of the video to be transmitted to the video receiving terminal from the effective bandwidth, the display mode information such as the display size and motion priority of the video receiving terminal, and the type of the video input device.
  • the encoding parameters are, for example, a capture size and a frame rate.
  • the video transmitting terminal encodes the input video from the input device with the determined encoding parameter to generate video data, and transmits the generated video data to the video receiving terminal.
  • Patent Document 3 describes a video transmission system that includes a video transmission terminal and a video reception terminal connected via a network such as a wireless LAN (Local Area Network) where the fluctuation of the bandwidth is large.
  • the video transmission terminal of Patent Document 3 measures the radio field strength and the number of times of retransmission of the radio frame, and estimates the network radio band from the measurement result.
  • the video transmission terminal determines a compression rate of the video data from the estimated wireless band, and determines a compression algorithm based on the determined compression rate.
  • the video transmission terminal encodes the video with the determined algorithm to generate video encoded data.
  • the video transmission terminal transmits the generated video encoded data to the video reception terminal.
  • Patent Document 4 describes a moving image processing system including an editing server and an editing request terminal connected to each other via a network.
  • the editing server generates high-accuracy moving image information and low-accuracy moving image information from moving image shooting information shot by the moving image shooting camera.
  • the editing server adds specific information that uniquely specifies the temporal position to each frame of the high-precision moving image information and the low-precision moving image information.
  • the editing server transmits the low-precision moving image information to the editing request terminal.
  • the editing request terminal displays the received low-accuracy video information.
  • the edit request terminal transmits an edit request command such as clipping and contrast / brightness adjustment having specific information for specifying a screen included in the low-accuracy moving image information to the edit server based on a user operation.
  • the editing server performs image processing instructed by the editing request command on the frame included in the high-precision moving image information related to the screen specified by the specific information.
  • the remote shooting device is connected to the shooting device via a network.
  • a user who is a photographer performs a photographing operation with the remote photographing device.
  • the high-quality image needs to be transmitted from the imaging device to the remote imaging control device.
  • the network between the photographing device and the remote photographing control device is congested, it takes time to transmit a high-quality image having a large data size. Therefore, in this case, a large time lag occurs between the time when the photographer performs a photographing operation with the remote photographing control device and the time when the remote photographing control device displays a high-quality image.
  • This time lag becomes a problem when the photographer has the camera-side user move the photographing device while remotely communicating with the camera-side user holding the photographing device, for example, and takes a picture with the photographing device by remote control.
  • the photographer In order for the photographer to request the camera-side user to change the position of the photographing apparatus, it is necessary to confirm the photographed high-quality image. Therefore, the larger the time lag described above, the later the request by the photographer to change the position of the photographing apparatus to the camera side user.
  • a request for changing the shooting position to the camera-side user is delayed, the camera-side user is kept waiting while holding the shooting device, and the smoothness of communication is impaired.
  • the photographer In order not to impair the smoothness of communication, the photographer needs to make a request to change the shooting position without waiting for the camera user. In order for the photographer to give instructions to the camera-side user without delay, it is necessary that the photographer can confirm the image photographed by the photographer with the remote photographing control device as soon as the photographer performs the photographing operation remotely. For this purpose, it is necessary to display an image photographed by the remote photographing control device immediately after performing the photographing operation.
  • the imaging device of Patent Document 1 transmits a high-quality image captured with a predetermined number of pixels to the remote imaging control device. If the available bandwidth of the network is small, it takes time to receive a high-quality image with a large data size in the remote imaging control device. The remote imaging control device cannot acquire a high-quality image and display the acquired image in real time after the imaging operation. Note that the available bandwidth is the amount of information that can be transmitted per unit time. In addition, in order to store images with the photographing apparatus, the user must perform an operation of pressing the operation button halfway in advance. For this reason, a high-quality image at the moment when the user wants to shoot may not be acquired.
  • the video transmission terminal estimates the effective bandwidth at the time of measuring the packet loss rate and the delay time. Then, the video transmission terminal encodes the video using the encoding parameter selected according to the estimated effective band and the video encoder, and generates video data.
  • the video transmission terminal measures the link state of the wireless LAN and estimates the wireless transmission band on the wireless LAN. Further, the video transmission terminal determines the compression rate and compression algorithm of the video data from the estimated wireless band. The video transmission terminal then encodes the video using the determined compression algorithm, and generates video data to be transmitted.
  • the video data is encoded according to the estimated bandwidth.
  • a video transmission terminal receives a video data transmission request and transmits video data in response to the transmission request, in addition to the transmission request and the time required to transmit the video data, Time for generating video data is also required. Therefore, in this case, the time from the transmission request to the reception of the video in the video receiving terminal is increased by at least the time required for the bandwidth measurement and the generation of the video data.
  • An object of the present invention is to detect a change in time from a transmission request after a photographing operation of a photographed high-quality image from a remote photographing control device connected by a network to the completion of transmission of the high-quality image. It is to provide a control device that suppresses even if fluctuates.
  • the control device of the present invention includes: a video acquisition unit that acquires the transmission time of the low-quality image and the video from the imaging device that converts the captured video into a low-quality image and transmits the low-quality image to a terminal; and the transmission A state in which a reception time at which the video transmission request is received from the terminal is predicted based on the time, and a predicted band that is a communication band that can be used with the terminal at the predicted reception time is predicted Predicting means, image quality setting means for determining an image quality parameter for converting the video into a high-quality image based on the predicted bandwidth, and converting and storing the video into the high-quality image by the image quality parameter An image generation unit that receives the transmission request from the terminal and transmits the high-quality image stored in the image generation unit to the terminal in response to the received distribution request; Including the door.
  • the image transmission method of the present invention acquires a transmission time of the low-quality image and the video from a photographing device that converts the captured video into a low-quality image and transmits the low-quality image to a terminal, and sets the transmission time. And predicting a reception time at which the video transmission request is received from the terminal, and further predicting a prediction band that is a communication band usable with the receiving terminal at the predicted time, And determining an image quality parameter for converting the video into a high-quality image, converting the video into the high-quality image according to the image quality parameter, storing the image in the image generation means, and transmitting the transmission request from the terminal. And the high-quality image stored by the image generation means is transmitted to the terminal in response to the received distribution request.
  • the control program of the present invention includes a computer that converts a captured video into a low-quality image and transmits the low-quality image to a terminal, and a video acquisition unit that acquires the transmission time of the low-quality image and the video. , Based on the transmission time, predicting a reception time at which the video transmission request is received from the terminal, and further, a predicted bandwidth that is a communication band that can be used with the terminal at the predicted reception time A state predicting unit for predicting, an image quality setting unit for determining an image quality parameter for converting the video into a high-quality image based on the prediction band, and converting the video into the high-quality image by the image quality parameter.
  • the image generation means for storing the image and the transmission request from the terminal, and the high-quality image stored by the image generation means in response to the received distribution request To operate as the image transmission means for transmitting to.
  • the time variation from the transmission request after the photographing operation of the photographed high-quality image from the remote photographing control device connected by the network to the completion of the transmission of the high-quality image is represented by the bandwidth of the network. Even if it fluctuates, there is an effect that it can be suppressed.
  • FIG. 1 is a block diagram illustrating a configuration of a remote imaging system 100 according to the first embodiment.
  • FIG. 2 is a block diagram illustrating an example of a connection relationship among the control device 1, the photographing device 2, the camera 3, and the remote photographing control device 4.
  • FIG. 3 is a flowchart showing the operation of the photographing apparatus 2 of the first embodiment.
  • FIG. 4 is a flowchart showing the operation of the control device 1 of the first embodiment.
  • FIG. 5 is a graph showing the measurement result of the communication band stored in the band storage unit 17 and the estimation result by the band estimation unit 18.
  • FIG. 6 is a flowchart showing the operation of the remote imaging control device 4 of the first embodiment.
  • FIG. 7 is a diagram illustrating a configuration of a remote imaging system 100A according to the second embodiment.
  • FIG. 8 is a flowchart showing the operation of the control device 1A of the second embodiment.
  • FIG. 9 is a flowchart showing the operation of the photographing apparatus 2 according to the second embodiment.
  • FIG. 10 is a block diagram illustrating the configuration of the control device 1B according to the third embodiment.
  • FIG. 11 is a block diagram showing a configuration of a remote shooting system of a configuration example based on the first embodiment.
  • FIG. 12 is a diagram illustrating an example of a configuration of a computer 1000 used to implement each device according to each embodiment.
  • FIG. 1 is a block diagram showing a configuration of a remote photographing system 100 according to the first embodiment of the present invention.
  • the remote shooting system 100 includes a control device 1, a shooting device 2, a camera 3, and a remote shooting control device 4.
  • the control device 1 and the imaging device 2 may be a single device having the functions of both devices.
  • the remote imaging control device 4 is also called a terminal.
  • FIG. 2 is a block diagram illustrating an example of a connection relationship among the control device 1, the photographing device 2, the camera 3, and the remote photographing control device 4.
  • control device 1 and the photographing device 2 are connected. Furthermore, the imaging device 2 and the camera 3 are connected. In addition, the control device 1 and the photographing device 2 are connected to the remote photographing control device 4 via a communication device 7 connected to a network 5 that is a communication network. The control device 1 and the photographing device 2 communicate with the remote photographing control device 4 via the communication device 7 and the network 5. Unlike the example of FIG. 2, the control device 1 and the imaging device 2 may be directly connected to the network 5 and communicate with the remote imaging control device 4 via the network 5.
  • the information terminal 200 may include the control device 1, the imaging device 2, and the camera 3. The information terminal 200 may further include a communication device 7.
  • the control device 1 includes a video acquisition unit 10, a state prediction unit 11, an image quality setting unit 12, an image generation unit 13, an image storage unit 14, an image transmission unit 15, a band measurement unit 16, and a band storage unit. 17 and a band estimation unit 18.
  • the photographing apparatus 2 includes a video input unit 20 and a preview image transmission unit 21.
  • the camera 3 is, for example, a camera module or a digital camera provided with an image sensor.
  • the camera 3 outputs a video signal captured by the image sensor in time series for each frame.
  • a video signal of one frame is a video signal.
  • the video signal may be a signal itself output from the image sensor.
  • the signal output from the image sensor is, for example, sensor data that is digital data including the output value of each light receiving element of the image sensor.
  • the video signal may be image data obtained by converting a signal output from the image sensor into a bitmap format such as RGB (Red, Green, Blue) or gray scale.
  • the video signal is preferably data including as much information as possible obtained by the image sensor. Data including as much information as possible obtained by the image sensor is, for example, sensor data, or image data in which the number of pixels and the number of bits of each pixel are, for example, the maximum values in the specifications of the image sensor.
  • the remote imaging control device 4 includes a display control unit 40, a display unit 41, an operation input unit 42, and an instruction transmission unit 43.
  • the video input unit 20 sequentially receives a plurality of time-series video signals from the camera 3.
  • the video input unit 20 assigns an identifier to each video signal received from the camera 3.
  • the video input unit 20 transmits the video signal and the identifier to the preview image transmission unit 21 and the video acquisition unit 10 of the control device 1 in the order in which the video signals are received.
  • the preview image transmission unit 21 converts each video signal into a low-quality image with a low resolution and a small amount of data.
  • the low quality image is also called a preview image.
  • the preview image transmission unit 21 associates the low-quality image and the identifier given to the video signal obtained by converting the low-quality image. Then, the preview image transmission unit 21 transmits the low-quality image and the identifier associated with the low-quality image to the remote imaging control device 4 in the order in which the video signal from which the low-quality image was generated is received. .
  • the preview image transmission unit 21 further transmits the transmission time of the low-quality image to the video acquisition unit 10 of the control device 1.
  • the display control unit 40 of the remote imaging control device 4 receives the low-quality image and the identifier associated with the low-quality image from the preview image transmission unit 21.
  • the display control unit 40 causes the display unit 41 to display the received low-quality image.
  • the remote imaging control device 4 may be a portable terminal such as a smartphone or a mobile phone or an information terminal having a communication function.
  • the display unit 41 is an output device such as a display.
  • the user of the remote shooting control device 4 determines the timing of shooting while viewing the low-quality image displayed on the display unit 41. At the determined timing, the user performs a shooting operation that is an operation for instructing the operation input unit 42 to perform shooting.
  • the operation input unit 42 detects that a shooting operation has been performed.
  • the operation input unit 42 is an input device such as a touch panel, a keyboard, or a shutter button, for example.
  • the photographing operation is, for example, input to the touch panel or pressing of a key or a shutter button.
  • the operation input unit 42 detects that a shooting operation has been performed, the operation input unit 42 notifies the instruction transmission unit 43 that the shooting operation has been performed.
  • the instruction transmission unit 43 acquires, from the display control unit 40, an identifier associated with the low-quality image displayed on the display unit 41 at the time of notification.
  • the instruction transmission unit 43 transmits a transmission instruction including the acquired identifier to the control device 1.
  • the transmission instruction is an instruction to the control apparatus 1 that instructs to transmit a high-quality image described later associated with the identifier included in the transmission instruction.
  • control device 1 that has received the transmission instruction transmits a high-quality image associated with the identifier included in the transmission instruction to the remote imaging control device 4.
  • the display control unit 40 receives a high-quality image from the control device 1.
  • the display control unit 40 displays the received high quality image on the display unit 41.
  • control device 1 Next, the control device 1 will be described.
  • the video acquisition unit 10 acquires a video signal, an identifier assigned to the video signal, and a transmission time of a low-quality image obtained by converting the video signal from the imaging device 2.
  • the video acquisition unit 10 may acquire the video signal and the identifier given to the video signal from the video input unit 20 of the photographing apparatus 2. Also, the video acquisition unit 10 acquires from the preview image transmission unit 21 of the photographing apparatus 2 the transmission time of the low-quality image obtained by converting the video signal and the identifier associated with the low-quality image. do it.
  • a video acquisition unit 10 may acquire a combination of a video signal, an identifier, and a transmission time from the video input unit 20.
  • the bandwidth measuring unit 16 measures an available communication bandwidth in communication via the network 5 between the control device 1 and the remote imaging control device 4.
  • the available communication band may be an unused band out of the network 5 band.
  • the band measurement unit 16 stores the measured communication band value in the band storage unit 17 in association with the measured time.
  • the band measurement unit 16 may erase the measurement result after a certain time has elapsed from the measurement from the band storage unit 17.
  • the band storage unit 17 stores a plurality of combinations of the measured communication band value and the time when the communication band was measured.
  • the bandwidth estimation unit 18 receives time information, and predicts a predicted bandwidth, which is a communication bandwidth at a time represented by the received time information, based on a plurality of combinations of communication bandwidth and measurement time stored in the bandwidth storage unit 17. To do.
  • the time information is, for example, information indicating time or information indicating elapsed time from the current time.
  • the band estimation unit 18 may store the predicted band predicted in association with information indicating time in the band storage unit 17. Further, when storing the predicted band, the band estimation unit 18 may erase the predicted band already stored in the band storage unit 17 and store a new predicted band.
  • the state prediction unit 11 sets a response time that is a time from the transmission time at which the low-quality image is transmitted to the time at which the transmission request including the identifier associated with the low-quality image is transmitted from the remote imaging control device 4. Predict. Then, the state prediction unit 11 acquires the predicted band after the response time from the transmission time from the band estimation unit 18. The state prediction unit 11 may transmit the time after the response time from the transmission time to the band estimation unit 18 and receive the predicted band at that time from the band estimation unit 18.
  • the control device 1 may not include the band measuring unit 16, the band storage unit 17, and the band estimating unit 18. In that case, it is possible to predict the communication band between the control device 1 and the remote imaging control device 4 with the functions of the bandwidth measuring unit 16, the bandwidth storage unit 17, and the bandwidth estimation unit 18 with which the control device 1 can communicate. It suffices if there is a simple band estimation device. And the state estimation part 11 should just acquire a prediction zone
  • the state prediction unit 11 transmits the predicted bandwidth to the image quality setting unit 12.
  • the image quality setting unit 12 determines an image quality parameter for generating a high-quality image by converting the video signal from the received predicted band.
  • the image quality parameter will be described later.
  • the image generation unit 13 converts the video signal acquired by the video acquisition unit 10 into a high-quality image according to the image quality parameter determined by the image quality setting unit 12, and generates high-quality image data.
  • the image generation unit 13 stores the generated high-quality image data in the image storage unit 14 in association with the identifier of the video signal from which the high-quality image is generated.
  • the image storage unit 14 stores one or more pairs of high-quality images and identifiers generated by the image generation unit 13.
  • the image transmission unit 15 receives a transmission request including an identifier from the remote imaging control device 4.
  • the image transmission unit 15 reads out the high-quality image associated with the identifier included in the received transmission request from the image storage unit 14 and transmits it to the remote imaging control device 4.
  • FIG. 3 is a flowchart showing the operation of the photographing apparatus 2 of the present embodiment.
  • the imaging device 2 may start the operation of FIG. 3 when receiving a start instruction from the remote imaging control device 4, for example.
  • the video input unit 20 receives a video signal from the camera 3 (step S201).
  • the video input unit 20 associates an identifier with the video signal received from the camera 3.
  • the video input unit 20 transmits the video signal and the identifier to the preview image transmission unit 21.
  • the video input unit 20 may generate an identifier to be added to the video signal.
  • a preview image transmission unit 21 described later may generate an identifier and transmit it to the video signal input unit 20.
  • the identifier may be information that can identify individual video signals.
  • the identifier may be, for example, the time when the video signal is received.
  • the preview image transmission unit 21 converts the video signal to generate a low quality image (step S202).
  • the preview image transmission unit 21 is a low-quality image that is a low-resolution image that is compressed at a high compression rate so that the video captured by the camera 3 can be confirmed by the remote imaging control device 4 at a timing as close to real time as possible. Can be converted to.
  • the compression rate and resolution of the low-quality image may be set so that the data amount per low-quality image is smaller than the data amount per high-quality image described later.
  • the preview image transmission unit 21 transmits the low-quality image and the identifier to the remote imaging control device 4 (step S203).
  • the video input unit 20 sequentially receives video signals representing videos taken by the camera 3.
  • the preview image transmission unit 21 sequentially converts the video signal received by the video input unit 20 into a low-quality image and transmits the converted low-quality image to the remote imaging control device 4.
  • the preview image transmission unit 21 may convert the received video signal that is continuous in time series into, for example, a continuous still image file.
  • the preview image transmission unit 21 may sequentially transmit the continuous still image file to the remote imaging control device 4.
  • the low quality image is the still image.
  • the preview image transmission unit 21 may sequentially transmit the low-quality images obtained by converting the video signals received in time series to the remote photographing control device 4 in association with the identifiers while maintaining the order.
  • the preview image transmission unit 21 may give a file name representing an identifier associated with the low quality image to the low quality image file. Also, the preview image transmission unit 21 may convert the received video signal that is continuous in time series to generate a moving image stream. Then, the preview image transmission unit 21 may transmit the generated moving image stream to the remote imaging control device 4. In that case, the low-quality image is a frame of the moving image.
  • the format of the moving image generated by the preview image transmission unit 21 may be any existing format. Then, the preview image transmission unit 21 may transmit the moving image and each identifier to the remote imaging control device 4 by associating each frame of the moving image with the identifier of the video signal in which the frame is generated.
  • the video input unit 20 further transmits the video signal and the identifier to the video acquisition unit 10 of the control device 1 (step S204).
  • the preview image transmission unit 21 further transmits the transmission time of the low-quality image to the video acquisition unit 10 of the control device 1 (step S205).
  • the preview image transmission unit 21 may transmit the transmission time of the low quality image to the video acquisition unit 10 in association with the identifier associated with the transmitted low quality image. Alternatively, the preview image transmission unit 21 may first transmit the transmission time of the low-quality image to the video input unit 20. Then, the video input unit 20 may transmit the video signal, the identifier, and the transmission time of the low-quality image generated from the video signal to the video acquisition unit 10.
  • the photographing device 2 When the photographing device 2 receives an instruction to end photographing from the remote photographing control device 4 (step S206, Yes), the photographing device 2 ends the process.
  • the photographing device 2 may receive an instruction to end photographing from the remote photographing control device 4 via the control device 1.
  • the photographing device 2 When the photographing device 2 has not received an instruction to end photographing from the remote photographing control device 4 (No at Step S206), the photographing device 2 returns to Step S201 and receives the next video signal.
  • control device 1 of the present embodiment will be described in detail with reference to the drawings.
  • the control device 1 may also start the operation in response to an operation start instruction from the remote imaging control device 4, for example.
  • the bandwidth measuring unit 16 measures the available communication bandwidth of the network 5 between the control device 1 and the remote imaging control device 4.
  • the band measuring unit 16 associates the measured communication band value with the time when the communication band value is measured. Then, the band measuring unit 16 stores the value of the communication band associated with the time in the band storage unit 17.
  • the band measuring unit 16 continuously performs the above operation, for example, every predetermined time until the control device 1 finishes the operation.
  • the method for measuring the communication band by the band measuring unit 16 may be any existing method.
  • the bandwidth measuring unit 16 may transmit the test packet to the remote imaging control device 4 and acquire the reception status of the test packet from the remote imaging control device 4. Then, the bandwidth measuring unit 16 may calculate the communication bandwidth from the delay and packet loss rate obtained from the acquired reception status.
  • the measurement time associated with the value of the communication band may be information indicating time or information indicating a time difference from a predetermined time.
  • FIG. 4 is a flowchart showing the operation of the control device 1 of the present embodiment.
  • the video acquisition unit 10 acquires a video signal and an identifier of the video signal from the imaging device 2 (step S102).
  • the video acquisition unit 10 further acquires the transmission time of the low-quality image generated by converting the acquired video signal from the imaging device 2 (step S103).
  • the state prediction unit 11 predicts the response time from the transmission time when the low-quality image is transmitted (step S104). This response time is a time until a time when a transmission request including an identifier related to the low-quality image is sent from the remote imaging control device 4.
  • the instruction transmission unit 43 displays the low level displayed on the display unit 41 when the shooting operation is performed.
  • a transmission instruction including an identifier associated with the image quality image is transmitted to the control device 1.
  • the transmission instruction may be the identifier itself.
  • the response time is transmitted by the instruction transmission unit 43 when the operation is performed on the operation input unit 42 while the display unit 41 displays the low quality image after the preview image transmission unit 21 transmits the low quality image. The time until the image transmission part 15 mentioned later receives a transmission instruction
  • the state prediction unit 11 calculates, for example, the sum of the RTT (round trip time) of the network 5 between the control device 1 and the remote imaging control device 4 and the transmission interval of the low-quality image as the response time. do it.
  • the state prediction unit 11 may hold the interval value in advance.
  • the state prediction unit 11 transmits the transmission time of the low quality image acquired from the imaging device 2 in step S103, The time interval may be calculated from the transmission time of another low-quality image transmitted immediately before the low-quality image.
  • the state prediction unit 11 measures, for example, a time from when an echo request notification of ICMP (Internet Control Message Protocol) is transmitted to the remote imaging control device 4 until an echo response notification is received from the remote imaging control device 4. May be. Then, the state prediction unit 11 may set the measured time as the RTT between the control device 1 and the remote imaging control device 4.
  • the RTT measurement method by the state prediction unit 11 may be another existing method. For example, the state prediction unit 11 may measure RTT periodically and calculate the response time based on the RTT measured at the time closest to the transmission time.
  • the state prediction unit 11 transmits the time after the calculated response time to the band estimation unit 18 from the transmission time acquired in step S103.
  • the band estimation unit 18 predicts the available communication band at the received time from the combination of the measured communication band value stored in the band storage unit 17 and the time at which the communication band was measured. A band is estimated (step S105). The band estimation unit 18 transmits the estimated prediction band to the state prediction unit 11.
  • FIG. 5 is a graph showing the measurement result of the communication band stored in the band storage unit 17 and the estimation result by the band estimation unit 18.
  • the vertical axis in FIG. 5 represents the available communication bandwidth.
  • the horizontal axis in FIG. 5 represents time.
  • the time when the value on the horizontal axis in FIG. 5 is 0 represents the current time.
  • the curve in the region on the left side of the current time in FIG. 5 represents the value of the communication band measured in the past and stored in the band storage unit 17.
  • the curve in the region on the right side of the current time in FIG. 5 represents the predicted bandwidth estimated by the bandwidth estimation unit 18.
  • the band estimation unit 18 may not estimate a predicted band other than the received time.
  • the predicted bandwidth estimated by the bandwidth estimation unit 18 may be an estimated value of the available communication bandwidth per unit time at the time received from the state prediction unit 11, for example.
  • the predicted bandwidth estimated by the bandwidth estimation unit 18 may be, for example, an average value of available bandwidths within a predetermined time from the time received from the state prediction unit 11.
  • the state prediction unit 11 acquires the value of the predicted bandwidth after the response time from the transmission time from the bandwidth estimation unit 18 and transmits it to the image quality setting unit 12.
  • the image quality setting unit 12 determines an image quality parameter for generating a high-quality image by converting the video signal from the value of the predicted band (step S106).
  • the image quality parameter is, for example, the number of pixels of the image, the number of bits of the pixels, and the compression rate when the image is irreversibly compressed.
  • a method for irreversibly compressing an image for example, JPEG (Joint (Photographic Experts Group).
  • the image quality setting unit 12 may determine the image quality parameter of the high-quality image so that the larger the predicted bandwidth, the larger the number of pixels and the number of bits and the lower the compression rate.
  • the image quality parameter may include, for example, an image format and a parameter for encoding the image into the format.
  • the image quality setting unit 12 is, for example, within the predetermined time described above.
  • the image quality parameter may be determined so that the amount of data to be transmitted is completed.
  • the image quality parameter determination method may be any existing method.
  • the image quality setting unit 12 may hold a table in which the predicted bandwidth and the image quality parameter are associated, and may select the image quality parameter related to the received predicted bandwidth by referring to the table.
  • the image generation unit 13 generates a high quality image by converting the video signal according to the determined image quality parameter (step S107).
  • the video signal is preferably sensor data or image data including as much information as possible obtained by the camera 3.
  • the image generation unit 13 converts such a video signal according to the determined image quality parameter to generate a high-quality image having a data amount that can be transmitted within a predetermined time when the communication band is a predicted band, for example. To do.
  • the conversion performed on the video signal by the image generation unit 13 is a process of generating an image with a reduced number of pixels by, for example, processes such as sampling, interpolation, and averaging pixel values of a plurality of pixels.
  • this conversion is a process of reducing the number of quantization bits of the pixel value of each pixel by, for example, truncating lower bits and generating an image composed of pixels with a small number of bits.
  • this conversion is a process of compressing image data by a JPEG method or a method of compressing other data and generating an image file having an image format corresponding to the compression method.
  • the image generation unit 13 stores the generated high-quality image in the image storage unit 14 in association with the identifier of the video signal from which the high-quality image is generated (step S108).
  • the image generation unit 13 may delete, for example, high-quality images other than the predetermined number of high-quality images generated most recently from the image storage unit 14 so that the image storage unit 14 does not exceed the capacity.
  • the image generation unit 13 may delete, from the image storage unit 14, high-quality images other than the high-quality images generated within the most recent predetermined period, for example.
  • the control device 1 repeats the above operation until an end instruction is received from the remote imaging control device 4, for example.
  • control device 1 when a transmission request is received from the remote imaging control device 4 during operation will be described.
  • the instruction transmission unit 43 displays the display A transmission request including an identifier associated with the medium low-quality image is transmitted to the control device 1.
  • the image transmission unit 15 When the image transmission unit 15 receives a transmission request from the remote imaging control device 4, the image transmission unit 15 reads from the image storage unit 14 a high-quality image associated with the identifier included in the transmission request. Then, the image transmission unit 15 transmits the read high-quality image to the remote imaging control device 4.
  • the image transmission unit 15 receives a transmission request from the remote imaging control device 4 after the response time from the transmission time of the low-quality image. . Further, if the predicted bandwidth estimated by the bandwidth estimation unit 18 matches the actually usable communication bandwidth, the image quality parameter that is the amount of data that is transmitted within a predetermined time when the communication bandwidth is the predicted bandwidth. Transmission of the generated high quality image should be completed within a predetermined time.
  • the display control unit 40 of the remote imaging control device 4 receives the high-quality image and displays the received high-quality image on the display unit 41.
  • the control device 1 ends the operation.
  • the image transmission unit 15 that has received the end instruction may delete all the high-quality images stored in the image storage unit 14.
  • FIG. 6 is a flowchart showing the operation of the remote imaging control device 4 of the present embodiment.
  • the display control unit 40 receives a low-quality image and an identifier from the imaging device 2 (step S401).
  • the display control unit 40 causes the display unit 41 to display the received low-quality image (step S402).
  • the operation input unit 42 detects whether or not the user of the remote shooting control device 4 has performed a shooting operation on the operation input unit 42. If the operation input unit 42 does not detect that the user of the remote shooting control device 4 has performed a shooting operation (No in step S403), the process returns to step S401.
  • the instruction transmission unit 43 sets the identifier of the low-quality image being displayed on the display unit 41.
  • the transmission request including this is transmitted to the control device 1 (step S404).
  • the instruction transmission unit 43 may acquire the identifier of the low-quality image being displayed on the display unit 41 from the display control unit 40.
  • the control device 1 that has received the transmission request transmits a high-quality image associated with the identifier included in the transmission request to the remote imaging control device 4.
  • the display control unit 40 receives a high-quality image from the control device 1 (step S405).
  • the display control unit 40 displays the received high-quality image on the display unit 41 (step S406).
  • the instruction transmission unit 43 issues an end instruction, which is an instruction to end imaging, to the control device 1. Send.
  • the instruction transmission unit 43 may transmit an end instruction to the photographing device 2 in addition to the control device 1.
  • the control device 1 that has received the end instruction may transmit the end instruction to the imaging device 2.
  • the instruction transmission unit 43 may transmit an end instruction to the image capturing apparatus 2, and the image capturing apparatus 2 that has received the end instruction may transfer the end instruction to the control apparatus 1.
  • step S407 If the operation input unit 42 does not detect the end operation by the user of the remote imaging control device 4 (step S407, No), the process returns to step S401.
  • the bandwidth of the network 5 varies with the time variation from the transmission request for the captured high-quality image from the remote imaging control device 4 connected via the network 5 to the completion of the transmission of the high-quality image. Even if it does, there exists an effect that it can suppress.
  • the delay in displaying a high-quality image in the remote photographing control device 4 after the photographing operation by the photographer is reduced. That is, the waiting time of the photographer until the high-quality image is displayed after execution of the photographing operation is reduced. Therefore, for example, when the photographer asks the camera-side user holding the photographing device 2 to move the photographing device 2 and performs photographing with the photographing device 2 by remote operation, the position of the photographing device 2 relative to the camera-side user by the photographer is determined. Less delay in requesting changes. Therefore, the camera-side user waits while holding the camera 3 and waits for the photographer's request. As described above, for example, when the photographer has the camera-side user move the photographing device 2 while performing remote communication with the camera-side user holding the photographing device 2, and performs photographing with the photographing device 2 by remote operation, Smooth communication is possible.
  • the image quality setting unit 12 determines an image quality parameter for generating a high-quality image by converting a video signal according to a predicted bandwidth when a response time elapses after the transmission time of a low-quality image. It is.
  • the image quality setting unit 12 determines the image quality parameter so that if the predicted bandwidth of the network 5 is large, the data amount of the high-quality image increases, and if the predicted bandwidth of the network 5 is small, the data amount of the high-quality image decreases. . Then, the image generation unit 13 generates a high quality image by converting the video signal according to the determined image quality parameter.
  • the control device 1 When the user of the remote shooting control device 4 performs a shooting operation, the control device 1 receives a transmission request for a high-quality image related to the transmitted low-quality image when the response time has elapsed since the transmission of the low-quality image. It should be. If the available bandwidth of the network 5 at the time of receiving a transmission request is about the same as the predicted bandwidth, even if the predicted bandwidth is small, the amount of high-quality image data is small according to the predicted bandwidth. Therefore, the control device 1 does not require a long time to transmit a high-quality image.
  • each component may include another component.
  • the image generation unit 13 may include the image storage unit 14.
  • the state prediction unit 11 may include a band estimation unit 18.
  • FIG. 7 is a diagram showing the configuration of the remote photographing system 100A of the present embodiment.
  • the remote photographing system 100A is different from the remote photographing system 100 in FIG. 1 in that the remote photographing system 100A includes a control device 1A instead of the control device 1.
  • the control device 1A and the photographing device 2 are connected.
  • the connection relationship among the control device 1A, the photographing device 2, the camera 3, and the remote photographing control device 4 is represented by a diagram in which the control device 1 in FIG. 2 is replaced with the control device 1A. Below, it demonstrates centering on the difference between the remote imaging system 100A and the remote imaging system 100.
  • the control device 1A is different from the control device 1 of FIG. 1 in that it includes a preview setting unit 19.
  • the preview setting unit 19 converts the video signal from the available communication band between the remote measurement control device 4 via the network 5 measured by the band measurement unit 16 and converts the video signal into a low image quality. A preview image quality parameter for generating an image is determined. The preview setting unit 19 transmits the determined preview image quality parameter to the preview image transmission unit 21 of the photographing apparatus 2.
  • the control device 1 in FIG. 2 is replaced with the control device 1A
  • the control device 1A and the imaging device 2 are included in the same information terminal.
  • the control device 1A and the photographing device 2 are connected to the network 5 via the communication device 7 included in the information terminal. If the communication speed between the control device 1A and the photographing device 2 and the communication device 7 is sufficiently high, the available communication band between each of the control device 1A and the photographing device 2 and the remote photographing control device 4 is a network. 5 communication band. Even when the control device 1A and the photographing device 2 are directly connected to the network 5, as long as the control device 1A and the photographing device 2 are close to each other, each of the control device 1A and the photographing device 2 and the remote photographing control device 4 are connected.
  • the usable communication band between the control device 1A and the remote photographing control device 4 measured by the band measuring unit 16 can be regarded as the usable communication band between the photographing device 2 and the remote photographing control device 4. . If the control device 1A and the photographing device 2 are the same device, the usable communication band measured by the band measuring unit 16 is a communication band usable by the preview image transmitting unit 21.
  • control device 1A Other components of the control device 1A are the same as the components of the same number of the control device 1, and thus the description thereof is omitted.
  • the preview image transmission unit 21 of the photographing apparatus 2 of the present embodiment receives the preview image quality parameter from the preview setting unit 19.
  • the preview image transmission unit 21 generates a low quality image by converting the video signal according to the received preview image quality parameter.
  • Other operations of the preview image transmission unit 21 of the present embodiment are the same as those of the preview image transmission unit 21 of the first embodiment.
  • the other components of the imaging device 2 of the present embodiment are the same as the components with the same number as the imaging device 2 of the first embodiment, description thereof is omitted.
  • control device 1A of the present embodiment will be described in detail with reference to the drawings.
  • FIG. 8 is a flowchart showing the operation of the control device 1A of the present embodiment.
  • control device 1A performs step S112 and step S113 before step S102.
  • step S112 the preview setting unit 19 determines a preview image quality parameter for generating a low-quality image by converting the video signal by the preview image transmission unit 21 from the measurement result of the available communication band.
  • the preview image quality parameter is, for example, the number of pixels and the compression rate, like the image quality parameter described above. If the measured available communication band is large, the preview setting unit 19 increases the number of pixels and decreases the compression rate. Also, if the measured available communication band is small, the preview setting unit 19 decreases the number of pixels and increases the compression rate. For example, when the available communication band is a predetermined ratio with respect to the measurement result of the communication band, the preview setting unit 19 transmits a low-quality image of a predetermined number of low-quality images per second. What is necessary is just to set a preview image quality parameter so that it may become possible data amount. By setting in this way, the control device 1A can ensure real-time transmission of the low-quality image.
  • the preview setting unit 19 transmits the determined preview image quality parameter to the preview image transmission unit 21 of the photographing apparatus 2 (step S113).
  • step S102 of the control device 1A Since the operation after step S102 of the control device 1A is the same as the operation of the step with the same number as the control device 1 of the first embodiment, the description thereof is omitted.
  • FIG. 9 is a flowchart showing the operation of the photographing apparatus 2 of the present embodiment.
  • the preview image transmission unit 21 of the present embodiment receives the preview image quality parameter from the preview setting unit 19 of the control device 1A (step S200).
  • step S202 the preview image transmission unit 21 generates a low quality image by converting the video signal according to the preview image quality parameter.
  • the preview image transmission unit 21 transmits the generated low-quality image to the remote imaging control device 4.
  • the display control unit 40 of the remote imaging control device 4 displays the received low quality image on the display unit 41.
  • the user of the remote photographing control device 4 can achieve a little better image quality. There is an effect that the video to be photographed can be previewed.
  • the reason is that the preview setting unit 19 uses a preview image quality parameter for generating a low image quality image to be transmitted to the remote image capturing control device 4 for previewing according to the available communication bandwidth. It is because it decides.
  • FIG. 10 is a block diagram showing the configuration of the control device 1B of the present embodiment.
  • the control device 1 ⁇ / b> B of the present embodiment acquires the transmission time and video of the low quality image from the imaging device 2 that captures the video, converts it to a low quality image, and transmits the low quality image to the terminal 4. Predicting a reception time for receiving a video transmission request from the terminal 4 from the video acquisition unit 10 and the transmission time, and further, a predicted bandwidth that is a communication band that can be used with the terminal 4 at the predicted reception time.
  • an image transmission unit 15 that receives a transmission request from the terminal 4 and transmits the high-quality image stored in the image generation unit 13 to the terminal 4.
  • the control device 1B is connected to the photographing device 2 and the remote photographing control device 4.
  • the imaging device 2 and the remote control device 4 are the same as the imaging device 2 and the remote control device 4 of the first embodiment.
  • the image generation unit 13 of the present embodiment has the functions of the image generation unit 13 and the image storage unit 14 of the first embodiment.
  • control device 1B Other components of the control device 1B are the same as the components of the same number in the control device 1 of the first embodiment, and thus description thereof is omitted.
  • This embodiment has the same effect as the first embodiment.
  • the control device 1, the control device 1A, the control device 1B, the photographing device 2, the remote photographing control device 4, and the information terminal 200 described above are respectively a computer, a program for controlling the computer, and a dedicated hardware. Or a combination of a computer and a program for controlling the computer and dedicated hardware.
  • FIG. 12 shows an example of the configuration of a computer 1000 used to realize each of the control device 1, the control device 1 ⁇ / b> A, the control device 1 ⁇ / b> B, the photographing device 2, the remote photographing control device 4, and the information terminal 200.
  • FIG. 12 shows an example of the configuration of a computer 1000 used to realize each of the control device 1, the control device 1 ⁇ / b> A, the control device 1 ⁇ / b> B, the photographing device 2, the remote photographing control device 4, and the information terminal 200.
  • the computer 1000 includes a processor 1001, a memory 1002, a storage device 1003, and a communication interface 1004.
  • the computer 1000 can access the recording medium 1005.
  • the computer 1000 may include a recording medium 1005.
  • the processor 1001 can write data to the memory 1002 and the storage device 1003 and read data from the memory 1002 and the storage device 1003.
  • the memory 1002 is a memory such as a RAM (Random Access Memory).
  • the storage device 1003 is a storage device such as a memory such as a RAM, a hard disk device, or an SSD (Solid State Drive).
  • the recording medium 1005 is realized by a hard disk device, a ROM (Read Only Memory), a portable recording medium, or the like.
  • the processor 1001 can communicate with other devices connected to the network 5 via a communication interface.
  • the recording medium 1005 stores a program that causes the computer 1000 to operate as at least one of the control device 1, the control device 1 ⁇ / b> A, the control device 1 ⁇ / b> B, the photographing device 2, the remote photographing control device 4, and the information terminal 200.
  • the processor 1001 reads the program from the recording medium 1005 and loads it into the memory 1002. Then, the processor 1001 executes the loaded program.
  • the computer 1000 operates as the control device 1, the control device 1 ⁇ / b> A, the control device 1 ⁇ / b> B, the imaging device 2, the remote imaging control device 4, or the information terminal 200.
  • the unit 20, the preview image transmission unit 21, the display control unit 40, the display unit 41, the operation input unit 42, and the instruction transmission unit 43 are read into the memory 1002 from, for example, a recording medium 1005 storing a program. It can be realized by a dedicated program for realizing the function of each unit and a processor 1001 for executing the program.
  • the image storage unit 14 and the bandwidth storage unit 17 can be realized by a memory 1002 included in the computer 1000 or a storage device 1003 such as a hard disk device.
  • the video acquisition unit 10, the state prediction unit 11, the image quality setting unit 12, the image generation unit 13, the image storage unit 14, the image transmission unit 15, the band measurement unit 16, and the band storage unit 17, Band setting unit 18, preview setting unit 19, video input unit 20, preview image transmission unit 21, display control unit 40, display unit 41, operation input unit 42, part of instruction transmission unit 43 or All can be realized by a dedicated circuit for realizing the function of each unit.
  • FIG. 11 is a block diagram showing the configuration of the remote photographing system of this configuration example.
  • the remote photographing system of the present embodiment includes a mobile phone 200 and a PC 210 (Personal Computer) connected to each other via a network 5.
  • the mobile phone 200 is the information terminal 200 of FIG.
  • the user A who uses the mobile phone 200 and the user B who uses the PC 210 perform remote communication using a call function. Then, the user A and the user B share an image captured by the camera 3 included in the mobile phone 200 on the PC 210 during the remote communication.
  • the mobile phone 200 used by the user A includes the camera 3 in FIG.
  • the mobile phone 200 is configured using, for example, a computer having the same configuration as the computer 1000 of FIG.
  • the cellular phone 200 operates as a device having both functions of the control device 1 and the imaging device 2, for example, when the processor 1001 of the cellular phone 200 executes an imaging program stored in the recording medium 1005.
  • the photographing application includes a mobile phone 200, a video acquisition unit 10, a state prediction unit 11, an image quality setting unit 12, an image generation unit 13, an image storage unit 14, an image transmission unit 15, and a band measurement.
  • the unit 16, the band storage unit 17, the band estimation unit 18, the video input unit 20, and the preview image transmission unit 21 are operated.
  • the mobile phone 200 also includes the function of the communication device 7 of FIG.
  • the PC 210 used by the user B includes a display that operates as the display unit 41 and a keyboard that operates as the operation input unit 42.
  • the PC 210 is configured using a computer having the same configuration as the computer 1000 of FIG.
  • the PC 210 operates as the remote imaging control device 4 in FIG. 1 when the processor 1001 of the PC 210 executes the remote imaging program. That is, the remote shooting program causes the PC 210 to operate as the display control unit 40, the display unit 41, the operation input unit 42, and the instruction transmission unit 43.
  • the above-described units included in the mobile phone 200 and the PC 210 are the same as the components having the same names and the same numbers in the first embodiment of FIG.
  • the mobile phone 200 When the user A activates the shooting application on the mobile phone 200, the mobile phone 200 starts to operate as a device having the functions of both the control device 1 and the shooting device 2. Then, the bandwidth measuring unit 16 starts measuring the available communication bandwidth of the network 5. Among the bands of the network 5 to which the mobile phone 200 is connected, an unused unused band is a usable communication band.
  • the band measurement unit 16 stores the measurement result of the available communication band in the band storage unit 17 in association with the measurement time.
  • the band storage unit 17 is a storage device such as a nonvolatile memory provided in the mobile phone 200.
  • the band storage unit 17 may be a memory card attached to the mobile phone 200.
  • the band measuring unit 16 may store the measurement result of a predetermined time (for example, the time from 10 minutes before to the present) in the band storing unit 17 so as not to exceed the capacity of the band storing unit 17.
  • the video input unit 20 acquires a video signal that is digital data from the camera 3.
  • the video input unit 20 copies the acquired video signal to, for example, the memory 1002 in the mobile phone 200.
  • the video input unit 20 notifies the preview image transmission unit 21 of the copy destination address of the memory 1002.
  • the preview image transmission unit 21 reads a video signal from the memory and converts it into a preview image (low quality image) having a predetermined number of pixels.
  • the low-quality image in the first embodiment is referred to as a preview image.
  • the preview image transmission unit 21 assigns, for example, a file name “p201220325150000000.jpg” to the converted preview image.
  • the preview image transmission unit 21 transmits the preview image file to the PC 210.
  • This file name is composed of a combination of a symbol “p” meaning a preview image and “20120325150000000” meaning date and time of transmission (March 25, 2012, 15:00:00, 000 milliseconds).
  • this file name is an identifier.
  • the number of pixels of the preview image is, for example, 320 pixels ⁇ 240 pixels, which is the minimum value of the number of pixels of the image captured by the camera 3 of the mobile phone 200.
  • the transmission interval of the preview image is 1 second, for example.
  • the preview image (low-quality image) is a still image.
  • the preview image may be a moving image.
  • the preview image transmission unit 21 may generate a moving image by encoding continuous video signals by an arbitrary encoding method.
  • the preview image transmission unit 21 sets the preview image transmission time (transmission time) in a format such as “15: 00: 00: 00 (hour: minute: second: millisecond)”, for example. For example, it is recorded in the memory 1002 in the mobile phone 200.
  • the state prediction unit 11 calculates a response time required for the transmission request from the PC 210 to reach the mobile phone 200 after the preview image transmission unit 21 sends the preview image to the PC 210.
  • the state prediction unit 11 calculates a time required for transmitting the preview image.
  • the state prediction unit 11 executes a ping command on the PC 210 and measures an elapsed time (RTT) until an ACK (Acknowledgement) packet returns.
  • RTT is 500 ms (mili second)
  • the time required for one-way communication is 250 ms.
  • the state prediction unit 11 may set the time from when the PC 210 transmits a transmission request to when the mobile phone 200 receives the transmission request to 250 ms.
  • the response time in this case is 2250 ms, which is a result of adding the response time preview image transmission time 1000 ms, the preview image transmission interval 1000 ms, and the operation information transmission time 250 ms.
  • the state prediction unit 11 sets the time obtained by adding the response time to the transmission time of the preview image as the scheduled transmission time of the high-quality image.
  • the state prediction unit 11 reads “15: 00: 00: 000 (hour: minute: second: millisecond)” which is the transmission time of the preview image on the memory.
  • the state prediction unit 11 sets the scheduled transmission time of the high-quality image to “15: 00: 02: 250”, which is the result of adding 2250 ms to the read transmission time.
  • the state prediction unit 11 transmits the scheduled transmission time of the high-quality image to the band estimation unit 18.
  • the bandwidth estimation unit 18 predicts the available communication bandwidth at the scheduled transmission time of the high-quality image based on the measurement result of the available communication bandwidth of the network 5.
  • FIG. 5 shows a case where a communication band that can be used from 10 seconds before the current time and a periodical fluctuation of the communication band that can be used in this time period are predicted to continue until 5 seconds after the current time. It is a figure showing the prediction result of an available band. If the predicted time is “15: 00: 250: 250”, “15: 00: 02: 250”, which is the scheduled transmission time of the high-quality image, is 2 seconds after the predicted time.
  • the bandwidth estimation unit 18 determines the predicted value (predicted bandwidth) of the available communication bandwidth, which is the scheduled transmission time of the high-quality image, to 800 Kbps.
  • the state prediction unit 11 acquires a prediction band from the band estimation unit 18 and transmits the acquired prediction band to the image quality setting unit 12.
  • the image quality setting unit 12 determines, for example, a size, which is an image quality parameter of a high-quality image, according to the predicted bandwidth.
  • the image quality setting unit 12 of this configuration example determines only the size of the high quality image.
  • the data amount of the high-quality image ( File size) must be within 200 KB. If the data amount per pixel of the image is 4 bytes and the image is uncompressed, the image size may be 500,000 pixels or less so that the image data amount is within 200 KB. In the case of an image having a size of about 800 ⁇ 600 pixels, the number of pixels is 500,000 pixels or less.
  • the image quality setting unit 12 may determine the size of the high-quality image as the size at which the aspect ratio is the predetermined value with the amount of data to be transmitted within the predetermined time when the available communication band is the predicted value. .
  • the image quality setting unit 12 may hold a table in which, for example, the predicted bandwidth and the image size are associated with each other, and may determine the size related to the received predicted bandwidth as the size of the high quality image.
  • the image quality setting unit 12 determines the number of pixels of the high-quality image, for example, 800 ⁇ 600 pixels.
  • the image generating unit 13 generates a high-quality image file of the determined size by converting the digital data of the video signal.
  • the format of the high-quality image file may be any format as long as the PC 210 can display it.
  • the image generation unit 13 stores the generated high-quality image file in the image storage unit 14.
  • the image generation unit 13 sets the file name of the high-quality image to a file name that combines the symbol “h” meaning the high-quality image and a character string indicating the transmission date and time of the preview image. If the transmission date / time of the preview image is (March 25, 2012, 15:00:00, 000 milliseconds), the character string representing the transmission date is, for example, “20120325150000000”.
  • the image generation unit 13 sets “h2012203525150000000.jpg” including “h2012020525150000000”, which is a combination of “h” and “20120325150000000”, as the file name of the high-quality image.
  • “20120325150000000” included in the file name corresponds to the identifier.
  • the image generation unit 13 prevents the total data amount of each high-quality image stored in the image storage unit 14 from exceeding the capacity of the image storage unit 14 that is a nonvolatile memory or a memory card included in the mobile phone 200. Only a high-quality image for the most recent predetermined time (for example, 1 minute) may be stored. The image generation unit 13 may delete the high-quality image stored in the past from the most recent predetermined time from the image storage unit 14.
  • the display control unit 40 of the PC 210 receives the preview image and displays the received preview image on the display unit 41 which is a display.
  • the operation input unit 42 detects that the shooting operation has been performed.
  • the operation input unit 42 notifies the instruction transmission unit 43 that the photographing operation has been performed.
  • the instruction transmission unit 43 acquires the identifier of the preview image displayed on the display unit 41 from the display control unit 40 when the shooting operation is notified.
  • the identifier is included in the file name of the preview image.
  • the instruction transmission unit 43 may acquire the file name of the preview image from the display control unit 40.
  • the instruction transmission unit 43 transmits a transmission request including the identifier to the mobile phone 200.
  • the transmission request may include the file name of the preview image.
  • the image transmission unit 15 receives a transmission request.
  • the image transmission unit 15 reads out from the image storage unit 14 a high-quality image associated with the identifier included in the received transmission request.
  • the information of the identifier included in the transmission request is “p201220325150,000.jpg” of the file name of the preview image, “201202025150,000000000” is the identifier.
  • the image transmission unit 15 may search for a high-quality image including the character string “20120325150000000” in the file name. If the file name of the high-quality image including the identifier “20120325150000000” is “h201220325150000000.jpg”, the image transmission unit 15 reads the file having the file name “h201220325150,000.jpg” from the image storage unit 14. The image transmission unit 15 transmits the read file to the PC 210.
  • the display control unit 40 of the PC 210 receives a high-quality image file from the image transmission unit 15. Then, the display control unit 40 displays the received high-quality image file on the display unit 41.
  • the present invention can be applied to a remote operation service using a network.
  • a worker in the field can respond to an accident or repair by taking a picture of the situation on the camera, and a remote administrator can confirm the situation on the scene from photos and videos and give instructions to the worker. It can also be applied to communication tools for sharing photos between consumers.

Abstract

[課題] ネットワークで接続された遠隔撮影制御装置からの、撮影された高画質画像の撮影操作後の送信要求から、その高画質画像の送信完了までの時間の変動を、ネットワークの帯域が変動したとしても、抑制することができる制御装置を提供する。 [解決手段] 本発明の制御装置は、撮影した映像を低画質画像に変換し前記低画質画像を端末に送信する撮影装置から、前記低画質画像の送信時刻と前記映像を取得する映像取得手段と、前記送信時刻をもとに、前記映像の送信要求を前記端末から受信する受信時刻を予測し、さらに、予測した前記受信時刻における前記端末との間で利用可能な通信帯域である予測帯域を予測する状態予測手段と、前記予測帯域をもとに、前記映像を高画質画像に変換するための画質パラメータを決定する画質設定手段と、前記画質パラメータで前記映像を前記高画質画像に変換して記憶する画像生成手段と、前記端末から前記送信要求を受信し、受信した前記配信要求に応じて前記画像生成手段が記憶している前記高画質画像を前記端末に送信する画像送信手段と、を含む。

Description

制御装置、画像送信方法、及び制御プログラム
 本発明は、制御装置、制御方法、及び制御プログラムに関する。本発明は、特に、ネットワークに接続された装置に画像を送信する制御装置、制御方法、及び制御プログラムに関する。
 スマートフォンやタブレット端末等の情報端末を使って、遠隔地にいる相手とコミュニケーションをとることは、一般的になっている。遠隔地にいる相手とのコミュニケーションのためのツールには、電話やメールのほか、コミュニケーションを便利にするツールとして遠隔会議や地図共有などのツールがある。また、遠隔コミュニケーションにおいて、通話中に説明したい対象物が目の前にあれば、例えば情報端末に備わるカメラで対象物を撮影し、撮影した写真を通話している相手に送ることで、対象物の写真を共有することができる。このことにより、通話の相手は、音声での説明だけでは分からない詳細な情報を視覚的に確認することができる。しかし、通話の相手が確認したい場所を、撮影側のユーザが撮影できるとは限らない。通話の相手が確認したい場所を、撮影側のユーザがうまく捉えられないと、撮影側のユーザが何度も撮影し直すことになり、撮影操作が煩雑になる。撮影側のユーザと通話の相手との間で、カメラの映像をリアルタイムに共有し、通話の相手が撮影したいタイミングで遠隔で撮影操作を実行することが可能であれば、通話の相手が確認したい、対象物上の場所の撮影が容易になる。
 遠隔地における操作による撮影を可能にする遠隔撮影システムの一例が、特許文献1に記載されている。
 この遠隔撮影システムは、ネットワークを介して互いに接続された、カメラを含む撮影装置と、遠隔地から撮影装置を制御できるアプリケーションなどを備えた遠隔撮影制御装置からなる。遠隔撮影システムでは、撮影者は、撮影装置ではなく、遠隔撮影制御装置を操作できる場所にいればよい。撮影装置は、撮影した低画質な画像をプレビュー画像として順次遠隔撮影制御装置に送信する。遠隔撮影制御装置は受信した画像を表示する。撮影者は、遠隔撮影制御装置が表示する画像をプレビューしながら撮影するタイミングを決定する。撮影者は、撮影したいタイミングで遠隔撮影制御装置を操作することで、遠隔撮影制御装置からシャッターコマンドを撮影装置に送信する。シャッターコマンドを受信した撮影装置は、画質を落とさずに写真撮影を実行する。そして、撮影装置は、画質を落とさずに撮影した高画質な画像を、遠隔撮影制御装置に送る。このことにより、撮影者は、撮影装置がシャッターコマンド受信時に撮影した高画質な画像を、遠隔撮影制御装置で取得できる。以上のように、ネットワークを介して撮影装置に接続された遠隔撮影制御装置で撮影の操作を行うことにより、撮影装置に撮影を行わせることが、遠隔撮影である。
 このような遠隔撮影システムでは、撮影装置と遠隔撮影制御装置の間の通信には、互いを接続するネットワークを経由することによる通信遅延が存在する。
 特許文献1に記載されている遠隔撮影システムは、ネットワークを介して互いに接続されている、撮影装置である第1のカメラと、遠隔撮影制御装置である第2のカメラを含む。特許文献1に記載の遠撮影システムでは、まず撮影装置が、連続的に撮影した低画質なプレビュー画像を遠隔撮影制御装置に送信する。遠隔撮影制御装置は、受信した低画質な画像を表示する。撮影者は、遠隔撮影制御装置に表示された画像をプレビューしながら撮影するタイミングを決定する。その際、撮影者が、遠隔撮影制御装置の操作ボタンを半押しすると、遠隔撮影制御装置は連続撮影開始指示を撮影装置に送信する。連続撮影開始指示を受信した撮影装置は、高画質な画像を連続的に保存し始める。撮影者が、遠隔撮影制御装置の操作ボタンを全押しすると、遠隔撮影制御装置は、その時に表示されていた低画質な画像を、撮影選択画像データとして、撮影装置に送信する。特許文献1では、撮影選択画像データがシャッターコマンドに相当する。撮影装置は、受信した撮影選択画像データと最も相関の高い画像を、撮影装置に保存した高画質画像の中から選択する。撮影装置は、選択した画像を、遠隔撮影制御装置に送信する。このことにより、特許文献1の遠撮影システムは、通信遅延のあるネットワークを経由したシャッターコマンドの送信によって生じる、シャッターコマンドの送信時刻と受信時刻の差の拡大による、撮影者の意図と撮影された画像の乖離を軽減する。
 特許文献2には、ネットワークにより接続されている、映像データを生成して送信する映像送信端末と、映像データを受信して表示する映像受信端末を含む、映像伝送システムが記載されている。特許文献2の映像送信端末は、映像受信端末との間のネットワークの有効帯域を推定する。そして、映像送信端末は、有効帯域と、映像受信端末の表示サイズや動き優先度などの表示態様情報と、映像の入力デバイスの種類などから、映像受信端末に送信する映像の符号化パラメータを決定する。符号化パラメータは、例えばキャプチャサイズとフレームレートである。映像送信端末は、入力デバイスからの入力映像を、決定した符号化パラメータによって符号化して映像データを生成し、生成した映像データを映像受信端末に送信する。
 特許文献3には、例えば無線LAN(Local Area Network)のような帯域の変動が激しいネットワークで接続された映像送信端末と映像受信端末を含む、映像伝送システムが記載されている。特許文献3の映像送信端末は、無線電界強度と無線フレームの再送回数の測定を行い、測定結果からネットワーク無線帯域の推定を行う。映像送信端末は、推定した無線帯域から映像データの圧縮率を決定し、決定した圧縮率に基づき圧縮アルゴリズムを決定する。映像送信端末は、決定したアルゴリズムで映像の符号化を行って映像符号化データを生成する。映像送信端末は、生成した映像符号化データを映像受信端末に送信する。
 特許文献4には、互いにネットワークで接続された編集サーバと編集要求端末を含む、動画像処理システムが記載されている。編集サーバは、動画撮影カメラで撮影した動画撮影情報から、高精度動画情報と低精度動画情報を生成する。その生成の際、編集サーバは、高精度動画情報と低精度動画情報の各フレームに、時間的位置を一意に特定する特定情報を付加する。編集サーバは、低精度動画情報を編集要求端末に送信する。編集要求端末は受信した低精度動画情報を表示する。編集要求端末は、ユーザの操作に基づき、低精度動画情報に含まれる画面を特定する特定情報を有する、切り出しやコントラスト・明度調整などの編集要求コマンドを、編集サーバに送信する。編集サーバは、特定情報で特定される画面に関連する、高精度動画情報に含まれるフレームに対して、編集要求コマンドで指示された画像処理を行う。
特開2010-056768号公報 特開2006-129887号公報 特開2010-258850号公報 特開2006-304164号公報
 前述の遠隔撮影システムでは、遠隔撮影装置はネットワークで撮影装置に接続されている。撮影者であるユーザは、遠隔撮影装置で撮影操作を行う。撮影装置が撮影した高画質画像を、撮影者が遠隔撮影制御装置で確認する場合、その高画質画像を撮影装置から遠隔撮影制御装置に送信する必要がある。撮影装置と遠隔撮影制御装置の間のネットワークが混んでいると、データサイズが大きい高画質画像の送信に時間がかかる。そのため、この場合、撮影者が遠隔撮影制御装置で撮影操作を行ってから遠隔撮影制御装置が高画質画像を表示するまでに、大きなタイムラグが発生する。このタイムラグは、撮影者が、例えば撮影装置を保持するカメラ側ユーザと遠隔コミュニケーションを取りながら、カメラ側ユーザに撮影装置を動かしてもらい、遠隔操作により撮影装置で撮影する場合に問題となる。撮影者がカメラ側ユーザに撮影装置の位置の変更を依頼するためには、撮影した高画質画像を確認する必要がある。従って、前述のタイムラグが大きければ大きいほど、撮影者によるカメラ側ユーザに対する撮影装置の位置の変更の依頼は遅れる。カメラ側ユーザに対する撮影位置の変更などの依頼が遅れると、カメラ側ユーザは撮影装置を構えたまま待たされ、コミュニケーションの円滑性が損なわれる。
 コミュニケーションの円滑性を損なわないためには、撮影者はカメラ側ユーザを待たせずに、撮影位置変更の依頼等を行う必要がある。撮影者がカメラ側ユーザに対する指示を遅れずに行うためには、撮影者が遠隔で撮影操作を実行してすぐに、撮影者が撮影した画像を遠隔撮影制御装置で確認できる必要がある。そのためには、撮影操作実行後すぐに、遠隔撮影制御装置が撮影した画像を表示する必要がある。
 特許文献1乃至4に記載の技術は、ネットワークを介した遠隔撮影を行う遠隔撮影制御装置における、撮影者による撮影操作から、撮影装置が撮影した高画質な画像が遠隔撮影制御装置に表示されるまでの時間を短縮させることはできない。
 例えば、特許文献1の撮影装置は、所定の画素数で撮影した高画質画像を遠隔撮影制御装置に送信する。ネットワークの利用可能帯域が少ないと、遠隔撮影制御装置でデータサイズが大きい高画質画像を受信するまでに時間がかかる。遠隔撮影制御装置は、撮影操作後にリアルタイムに、高画質な画像を取得し取得した画像を表示することができない。なお、利用可能帯域とは単位時間あたりの伝送可能な情報量である。また、撮影装置で画像を蓄積するために、ユーザは操作ボタンを半押しする操作を事前にしなければならない。そのため、ユーザが撮影したいと思った瞬間の高画質な画像を取得できないことがある。
 特許文献2の映像伝送システムでは、映像送信端末が、パケットロス率や遅延時間を測定した時点の有効帯域を推定する。そして、映像送信端末は、推定した有効帯域に合わせて選択した符号化パラメータや映像エンコーダにより映像の符号化を行い、映像データを生成する。
 特許文献3の映像伝送システムでは、映像送信端末が、無線LANのリンク状態を計測して、無線LAN上での無線伝送帯域を推定する。さらに、映像送信端末は、推定した無線帯域から映像データの圧縮率及び圧縮アルゴリズムを決定する。そして、映像送信端末は、決定した圧縮アルゴリズムによって映像の符号化を行い、送信する映像データを生成する。
 このように、特許文献2及び特許文献3に記載の映像伝送システムでは、映像送信端末が、ネットワークの帯域の推定を行った後、推定した帯域に合わせて映像データの符号化を行う。これらの映像伝送システムでは、映像送信端末が、映像データの送信要求を受信し、その送信要求に対して映像データを送信する場合、送信要求及び映像データの送信に要する時間に加え、帯域測定及び映像データの生成の時間も必要である。従って、この場合、映像受信端末における、送信要求から映像の受信までの時間は、少なくとも、帯域測定及び映像データの生成に要する時間分長くなる。
 本発明の目的は、ネットワークによって接続された遠隔撮影制御装置からの、撮影された高画質画像の撮影操作後の送信要求から、その高画質画像の送信完了までの時間の変動を、ネットワークの帯域が変動したとしても、抑制する制御装置を提供することにある。
 本発明の制御装置は、撮影した映像を低画質画像に変換し前記低画質画像を端末に送信する撮影装置から、前記低画質画像の送信時刻と前記映像を取得する映像取得手段と、前記送信時刻をもとに、前記映像の送信要求を前記端末から受信する受信時刻を予測し、さらに、予測した前記受信時刻における前記端末との間で利用可能な通信帯域である予測帯域を予測する状態予測手段と、前記予測帯域をもとに、前記映像を高画質画像に変換するための画質パラメータを決定する画質設定手段と、前記画質パラメータによって前記映像を前記高画質画像に変換して記憶する画像生成手段と、前記端末から前記送信要求を受信し、受信した前記配信要求に応じて前記画像生成手段が記憶している前記高画質画像を前記端末に送信する画像送信手段とを含む。
 本発明の画像送信方法は、撮影した映像を低画質画像に変換し前記低画質画像を端末に送信する撮影装置から、前記低画質画像の送信時刻と前記映像を取得し、前記送信時刻をもとに、前記映像の送信要求を前記端末から受信する受信時刻を予測し、さらに、予測した前記時刻における前記受信端末との間で利用可能な通信帯域である予測帯域を予測し、前記予測帯域をもとに、前記映像を高画質画像に変換するための画質パラメータを決定し、前記画質パラメータによって前記映像を前記高画質画像に変換して画像生成手段に記憶し、前記端末から前記送信要求を受信し、受信した前記配信要求に応じて前記画像生成手段が記憶している前記高画質画像を前記端末に送信する。
 本発明の制御プログラムは、コンピュータを、撮影した映像を低画質画像に変換し前記低画質画像を端末に送信する撮影装置から、前記低画質画像の送信時刻と前記映像を取得する映像取得手段と、前記送信時刻をもとに、前記映像の送信要求を前記端末から受信する受信時刻を予測し、さらに、予測した前記受信時刻における前記端末との間で利用可能な通信帯域である予測帯域を予測する状態予測手段と、前記予測帯域をもとに、前記映像を高画質画像に変換するための画質パラメータを決定する画質設定手段と、前記画質パラメータによって前記映像を前記高画質画像に変換して記憶する画像生成手段と、前記端末から前記送信要求を受信し、受信した前記配信要求に応じて前記画像生成手段が記憶している前記高画質画像を前記端末に送信する画像送信手段として動作させる。
 本発明には、ネットワークによって接続された遠隔撮影制御装置からの、撮影された高画質画像の撮影操作後の送信要求から、その高画質画像の送信完了までの時間の変動を、そのネットワークの帯域が変動したとしても、抑制することができるという効果がある。
図1は、第1の実施形態の遠隔撮影システム100の構成を表すブロック図である。 図2は、制御装置1と、撮影装置2と、カメラ3と、遠隔撮影制御装置4の接続関係の例を表すブロック図である。 図3は、第1の実施形態の撮影装置2の動作を表すフローチャートである。 図4は、第1の実施形態の制御装置1の動作を表すフローチャートである。 図5は、帯域記憶部17が記憶する通信帯域の測定結果と、帯域推定部18による推定の結果を表すグラフである。 図6は、第1の実施形態の遠隔撮影制御装置4の動作を表すフローチャートである。 図7は、第2の実施形態の遠隔撮影システム100Aの構成を表す図である。 図8は、第2の実施形態の制御装置1Aの動作を表すフローチャートである。 図9は、第2の実施形態の撮影装置2の動作を表すフローチャートである。 図10は、第3の実施形態の制御装置1Bの構成を表すブロック図である。 図11は、第1の実施形態に基づく構成例の遠隔撮影システムの構成を表すブロック図である。 図12は、各実施形態の各装置を実現するために使用されるコンピュータ1000の構成の一例を表す図である。
 次に、本発明を実施するための形態について図面を参照して詳細に説明する。
 図1は、本発明の第1の実施の形態の遠隔撮影システム100の構成を表すブロック図である。
 図1を参照すると、遠隔撮影システム100は、制御装置1と、撮影装置2と、カメラ3と、遠隔撮影制御装置4を含む。制御装置1と撮影装置2は、図1の例とは異なり、双方の装置の機能を備えた一つの装置であってもよい。遠隔撮影制御装置4は、端末とも呼ばれる。
 図2は、制御装置1と、撮影装置2と、カメラ3と、遠隔撮影制御装置4の接続関係の例を表すブロック図である。
 図2の例では、制御装置1と、撮影装置2は接続されている。さらに、撮影装置2とカメラ3は接続されている。また、制御装置1と撮影装置2は、通信ネットワークであるネットワーク5に接続された通信装置7を介して、遠隔撮影制御装置4に接続されている。制御装置1と撮影装置2は、通信装置7とネットワーク5を介して、遠隔撮影制御装置4と通信を行う。制御装置1と撮影装置2は、図2の例とは異なり、それぞれ、ネットワーク5に直接接続され、ネットワーク5を介して遠隔撮影制御装置4と通信を行ってもよい。また、情報端末200が、制御装置1と、撮影装置2と、カメラ3を含んでいてもよい。情報端末200は、さらに、通信装置7を含んでいてもよい。
 制御装置1は、映像取得部10と、状態予測部11と、画質設定部12と、画像生成部13と、画像記憶部14と、画像送信部15と、帯域測定部16と、帯域記憶部17と、帯域推定部18を含む。
 撮影装置2は、映像入力部20と、プレビュー画像送信部21を含む。
 カメラ3は、例えば、画像センサを備えた、カメラモジュールやデジタルカメラである。カメラ3は、画像センサにより撮影した映像の信号を、フレーム毎に時系列で出力する。以下では、1フレームの映像の信号が映像信号である。映像信号は、画像センサが出力する信号そのものであればよい。画像センサが出力する信号は、例えば、画像センサの各受光素子の出力値を含むデジタルデータである、センサデータである。映像信号は、画像センサが出力する信号を、例えばRGB(Red、Green、Blue)やグレースケールの、ビットマップの形に変換した画像データであってもよい。映像信号は、画像センサによって得られる情報を可能な限り含むデータであることが望ましい。画像センサによって得られる情報を可能な限り含むデータは、例えば、センサデータや、画素数や各画素のビット数が、例えば画像センサのスペック上の最大値である画像データである。
 遠隔撮影制御装置4は、表示制御部40と、表示部41と、操作入力部42と、指示送信部43を含む。
 まず、撮影装置2について説明する。
 映像入力部20は、カメラ3から、時系列の複数の映像信号を順次受信する。映像入力部20は、カメラ3から受信した映像信号にそれぞれ識別子を付与する。そして、映像入力部20は、映像信号を受信した順番で、映像信号と識別子をプレビュー画像送信部21及び制御装置1の映像取得部10に送信する。
 プレビュー画像送信部21は、それぞれの映像信号を、解像度が低くデータ量が少ない低画質画像に変換する。低画質画像は、プレビュー画像とも呼ばれる。プレビュー画像送信部21は、低画質画像と、その低画質画像が変換された映像信号に付与された識別子を関連付ける。そして、プレビュー画像送信部21は、その低画質画像と、その低画質画像に関連付けられた識別子を、その低画質画像が生成された映像信号を受信した順番で、遠隔撮影制御装置4に送信する。
 プレビュー画像送信部21は、さらに、低画質画像の送信時刻を、制御装置1の映像取得部10に送信する。
 次に、遠隔撮影制御装置4について説明する。
 遠隔撮影制御装置4の表示制御部40は、低画質画像と、その低画質画像に関連付けられた識別子を、プレビュー画像送信部21から受信する。表示制御部40は、受信した低画質画像を表示部41に表示させる。遠隔撮影制御装置4は、通信機能を備えた、例えば、スマートフォンや携帯電話などの携帯端末や情報端末であればよい。
 表示部41は、ディスプレイなどの出力装置である。
 遠隔撮影制御装置4のユーザは、表示部41に表示される低画質画像を見ながら、撮影するタイミングを決定する。ユーザは、決定したタイミングで、操作入力部42に対して、撮影を指示する操作である、撮影操作を行う。
 操作入力部42は、撮影操作が行われたことを検出する。操作入力部42は、例えば、タッチパネル、キーボード、あるいはシャッターボタンなどの入力装置である。撮影操作は、例えば、タッチパネルへの入力や、キーやシャッターボタンの押下である。操作入力部42は、撮影操作が行われたことを検出した場合、指示送信部43に撮影操作が行われたことを通知する。
 指示送信部43は、撮影操作が行われたことが通知された場合、通知時に表示部41に表示されている低画質画像に関連付けられた識別子を、表示制御部40から取得する。指示送信部43は、取得した識別子を含む送信指示を、制御装置1に送信する。送信指示は、その送信指示が含む識別子に関連付けられた後述の高画質画像を送信するよう指示する、制御装置1に対する指示である。
 後述するように、送信指示を受信した制御装置1は、その送信指示が含む識別子に関連付けられた高画質画像を、遠隔撮影制御装置4に送信する。
 表示制御部40は、制御装置1から、高画質画像を受信する。表示制御部40は、受信した高画質画像を、表示部41に表示する。
 次に、制御装置1について説明する。
 映像取得部10は、撮影装置2から、映像信号と、その映像信号に付与された識別子と、その映像信号を変換した低画質画像の送信時刻を取得する。映像取得部10は、映像信号と、その映像信号に付与された識別子を、撮影装置2の映像入力部20から取得すればよい。また、映像取得部10は、映像信号を変換した低画質画像の送信時刻と、その映像信号に付与され、その低画質画像に関連付けられた識別子を、撮影装置2のプレビュー画像送信部21から取得すればよい。撮影装置2の映像入力部20が、映像信号と、その映像信号に付与された識別子と、その映像信号を変換した低画質画像の送信時刻を送信するように構成されているなら、映像取得部10は、映像信号と、識別子と、送信時刻の組み合わせを、映像入力部20から取得すればよい。
 帯域測定部16は、制御装置1と遠隔撮影制御装置4との間の、ネットワーク5を介した通信における、利用可能な通信帯域の測定を行う。利用可能な通信帯域は、ネットワーク5の帯域のうち、使われていない空き帯域であればよい。帯域測定部16は、測定した通信帯域の値を、測定した時刻と関連付けて帯域記憶部17に格納する。帯域測定部16は、測定後一定時間経過した測定結果を、帯域記憶部17から消去してもよい。
 帯域記憶部17は、測定された通信帯域の値とその通信帯域が測定された時刻との組み合わせを、複数記憶する。
 帯域推定部18は、時間情報を受信し、帯域記憶部17が記憶する、通信帯域と測定時刻の複数の組み合わせにより、受信した時間情報で表される時刻の通信帯域である、予測帯域を予測する。時間情報は、例えば、時刻を表す情報や、現在の時刻からの経過時間を表す情報である。帯域推定部18は、予測した予測帯域を、時刻を表す情報に関連付けて、帯域記憶部17に格納してもよい。また、帯域推定部18は、予測帯域の格納の際、既に帯域記憶部17に格納されている予測帯域を消去し、新しい予測帯域を格納してもよい。
 状態予測部11は、低画質画像が送信された送信時刻から、遠隔撮影制御装置4からその低画質画像に関連付けられた識別子を含む送信要求が送られてくる時刻までの時間である応答時間を予測する。そして、状態予測部11は、送信時刻から応答時間後における予測帯域を、帯域推定部18から取得する。状態予測部11は、送信時刻から応答時間後の時刻を帯域推定部18に送信し、その時刻における予測帯域を帯域推定部18から受信すればよい。
 なお、制御装置1は、帯域測定部16、帯域記憶部17、および帯域推定部18を含んでいなくてもよい。その場合、制御装置1が通信可能な、帯域測定部16、帯域記憶部17、および帯域推定部18の機能を備え、制御装置1と遠隔撮影制御装置4との間の通信帯域の予測が可能な帯域推定装置が存在していればよい。そして、状態予測部11は、その帯域推定装置から予測帯域を取得すればよい。
 状態予測部11は、予測帯域を、画質設定部12に送信する。
 画質設定部12は、受信した予測帯域から、映像信号を変換して高画質画像を生成するための画質パラメータを決定する。画質パラメータについては後述する。
 画像生成部13は、画質設定部12が決定した画質パラメータにより、映像取得部10が取得した映像信号を、高画質画像に変換して、高画質画像のデータを生成する。画像生成部13は、生成した高画質画像のデータを、その高画質画像が生成された映像信号の識別子に関連付けて、画像記憶部14に格納する。
 画像記憶部14は、画像生成部13が生成した高画質画像と識別子の組を、1個以上記憶する。
 画像送信部15は、遠隔撮影制御装置4から、識別子を含む送信要求を受信する。画像送信部15は、受信した送信要求に含まれる識別子に関連付けられている高画質画像を、画像記憶部14から読み出し、遠隔撮影制御装置4に送信する。
 次に、本実施形態の動作について、図面を参照して詳細に説明する。
 まず、本実施形態の撮影装置2の動作について、図面を参照して詳細に説明する。
 図3は、本実施形態の撮影装置2の動作を表すフローチャートである。
 撮影装置2は、例えば、遠隔撮影制御装置4から、開始指示を受信した場合に、図3の動作を開始すればよい。
 図3を参照すると、まず、映像入力部20が、カメラ3からの映像信号を受信する(ステップS201)。映像入力部20は、カメラ3から受信した映像信号に識別子を関連付ける。そして、映像入力部20は、映像信号と識別子をプレビュー画像送信部21に送信する。
 例えば映像入力部20が、映像信号に付与する識別子を生成すればよい。あるいは、後述のプレビュー画像送信部21が識別子を生成して、映像信号入力部20に送信してもよい。識別子は、個々の映像信号を識別できる情報であればよい。識別子は、例えば映像信号を受信した時刻であってもよい。
 次に、プレビュー画像送信部21が、映像信号を変換して低画質画像を生成する(ステップS202)。
 プレビュー画像送信部21は、カメラ3で撮影される映像が、遠隔撮影制御装置4においてできるだけリアルタイムに近いタイミングで確認可能なように、高い圧縮率で圧縮された低い解像度の画像である低画質画像に変換すればよい。低画質画像の圧縮率や解像度は、低画質画像1枚当たりのデータ量が、後述する高画質画像1枚当たりのデータ量より小さくなるよう設定されていればよい。
 次に、プレビュー画像送信部21は、低画質画像と識別子を、遠隔撮影制御装置4に送信する(ステップS203)。
 前述のように、映像入力部20は、カメラ3が撮影した映像を表す映像信号を、順次受信する。そして、プレビュー画像送信部21は、順次、映像入力部20が受信した映像信号を低画質画像に変換し、変換された低画質画像を遠隔撮影制御装置4に送信する。その際、プレビュー画像送信部21は、受信した、時系列で連続する映像信号を、例えば連続する静止画のファイルに変換してもよい。そして、プレビュー画像送信部21は、その連続する静止画のファイルを、順次、遠隔撮影制御装置4に送信してもよい。この場合、低画質画像は、その静止画である。プレビュー画像送信部21は、時系列で受信した各映像信号を変換した各低画質画像を、順序を保ったまま、識別子に関連付けて、順次遠隔撮影制御装置4に送信すればよい。プレビュー画像送信部21は、低画質画像のファイルに、その低画質画像に関連付けられた識別子を表すファイル名を付与してもよい。また、プレビュー画像送信部21は、受信した、時系列で連続する映像信号を変換して、動画像のストリームを生成してもよい。そして、プレビュー画像送信部21は、生成された動画像のストリームを遠隔撮影制御装置4に送信してもよい。その場合、低画質画像は、その動画像のフレームである。プレビュー画像送信部21が生成する動画像の形式は既存の任意の形式でよい。そして、プレビュー画像送信部21は、動画像の各フレームに、そのフレームが生成された映像信号の識別子を関連付けて、動画像及び各識別子を遠隔撮影制御装置4に送信すればよい。
 また、映像入力部20は、映像信号と識別子を、さらに、制御装置1の映像取得部10に送信する(ステップS204)。
 プレビュー画像送信部21は、さらに、低画質画像の送信時刻を、制御装置1の映像取得部10に送信する(ステップS205)。
 プレビュー画像送信部21は、低画質画像の送信時刻を、送信した低画質画像に関連付けられた識別子に関連付けて、映像取得部10に送信すればよい。あるいは、プレビュー画像送信部21は、低画質画像の送信時刻を、まず映像入力部20に送信してもよい。そして、映像入力部20が、映像信号と、識別子と、その映像信号から生成された低画質画像の送信時刻を、映像取得部10に送信してもよい。
 撮影装置2は、遠隔撮影制御装置4から、撮影の終了の指示を受信した場合(ステップS206、Yes)、処理を終了する。
 撮影装置2は、撮影の終了の指示を、制御装置1を介して、遠隔撮影制御装置4から受信してもよい。
 撮影装置2は、遠隔撮影制御装置4から、撮影の終了の指示を受信していない場合(ステップS206、No)、ステップS201に戻り、次の映像信号を受信する。
 次に、本実施形態の制御装置1の動作について、図面を参照して詳細に説明する。
 制御装置1も、例えば、遠隔撮影制御装置4からの動作開始指示により、動作を開始すればよい。
 制御装置1が動作を開始すると、帯域測定部16は、制御装置1と遠隔撮影制御装置4との間のネットワーク5の、利用可能な通信帯域の測定を行う。帯域測定部16は、測定した通信帯域の値を、その通信帯域の値が測定された時刻と関連付ける。そして、帯域測定部16は、時刻に関連付けられた通信帯域の値を帯域記憶部17に格納する。帯域測定部16は、制御装置1が動作を終了するまで、以上の動作を、例えば所定の時間毎に、継続的に行う。
 帯域測定部16による通信帯域の測定方法は既存の任意の方法でよい。例えば、帯域測定部16は、試験用のパケットを遠隔撮影制御装置4に送信し、遠隔撮影制御装置4から試験用のパケットの受信状況を取得すればよい。そして、帯域測定部16は、取得した受信状況から得られる遅延やパケットロス率から、通信帯域を算出すればよい。通信帯域の値に関連付けられる測定時刻は、時刻を表す情報や、所定の時刻との時間差を表す情報であればよい。
 図4は、本実施形態の制御装置1の動作を表すフローチャートである。
 まず、映像取得部10が、撮影装置2から、映像信号とその映像信号の識別子を取得する(ステップS102)。
 映像取得部10は、撮影装置2から、さらに、取得した映像信号を変換して生成した低画質画像の送信時刻を取得する(ステップS103)。
 状態予測部11は、低画質画像が送信された送信時刻から、応答時間を予測する(ステップS104)。この応答時間は、遠隔撮影制御装置4からその低画質画像に関連する識別子を含む送信要求が送られてくる時刻までの時間である。
 前述のように、遠隔撮影制御装置4のユーザが、操作入力部42に対して撮影操作を行った場合、指示送信部43は、撮影操作が行われた時に表示部41に表示されていた低画質画像に関連付けられた識別子を含む送信指示を、制御装置1に送信する。送信指示は、識別子そのものであってもよい。応答時間は、プレビュー画像送信部21が低画質画像を送信してから、表示部41がその低画質画像を表示中に操作入力部42に対する操作が行われた場合に指示送信部43が送信する送信指示を、後述する画像送信部15が受信するまでの時間を指す。
 状態予測部11は、例えば、制御装置1と遠隔撮影制御装置4との間のネットワーク5のRTT(ラウンドトリップタイム、Round Trip Time)と、低画質画像の送信間隔の和を、応答時間として算出すればよい。撮影装置2が一定の間隔で低画質画像を送信する場合、状態予測部11はその間隔の値を予め保持しておけばよい。撮影装置2が、低画質画像を送出し終わったら次の低画質画像を生成するよう動作する場合、状態予測部11は、ステップS103で撮影装置2から取得した低画質画像の送信時刻と、その低画質画像の直前に送信した他の低画質画像の送信時刻から、時間間隔を算出すればよい。また、状態予測部11は、例えば、ICMP(Internet Control Message Protocol)のエコー要求通知を遠隔撮影制御装置4に送信してから、遠隔撮影制御装置4からエコー応答通知を受信するまでの時間を測定してもよい。そして、状態予測部11は、測定した時間を制御装置1と遠隔撮影制御装置4との間のRTTにすればよい。状態予測部11によるRTTの測定方法は、既存の他の方法であってもよい。状態予測部11は、例えば、定期的にRTTを測定し、前述の送信時刻に最も近い時刻に測定されたRTTにより、応答時間を算出すればよい。
 状態予測部11は、ステップS103で取得した送信時刻から、算出した応答時間後の時刻を、帯域推定部18に送信する。
 帯域推定部18は、帯域記憶部17に格納されている、測定された通信帯域の値とその通信帯域が測定された時刻の各組み合わせから、受信した時刻における利用可能な通信の帯域である予測帯域を推定する(ステップS105)。帯域推定部18は、推定した予測帯域を、状態予測部11に送信する。
 図5は、帯域記憶部17が記憶する通信帯域の測定結果と、帯域推定部18による推定の結果を表すグラフである。
 図5の縦軸は、利用可能な通信帯域を表す。図5の横軸は時刻を表す。図5の横軸の値が0の時刻が、現在の時刻を表す。図5の、現在時刻より左側の領域にある曲線は、帯域記憶部17が記憶する、過去に測定した通信帯域の値を表す。図5の、現在時刻より右側の領域にある曲線は、帯域推定部18が推定した予測帯域を表す。図5のグラフには、現在時刻から5秒後までの予測帯域が記載されている。しかし、帯域推定部18は、受信した時刻以外の予測帯域を推定しなくてもよい。
 帯域推定部18が推定する予測帯域は、例えば、状態予測部11から受信した時刻における、単位時間当たりの利用可能な通信帯域の推定値であればよい。あるいは、帯域推定部18が推定する予測帯域は、例えば、状態予測部11から受信した時刻から所定時間内の、利用可能な帯域の平均値であってもよい。
 状態予測部11は、送信時刻から応答時間後の予測帯域の値を、帯域推定部18から取得して、画質設定部12に送信する。
 次に、画質設定部12は、予測帯域の値から、映像信号を変換して高画質画像を生成するための画質パラメータを決定する(ステップS106)。
 画質パラメータは、例えば、画像の画素数や、画素のビット数や、画像を非可逆圧縮する場合の圧縮率である。画像を非可逆圧縮する方式として、例えばJPEG(Joint
 Photographic Experts Group)方式がある。画質設定部12は、予測帯域が大きいほど、画素数やビット数が多くなり、圧縮率が低くなるよう、高画質画像の画質パラメータを決定すればよい。画質パラメータは、例えば、画像のフォーマットや、画像をそのフォーマットに符号化する際のパラメータを含んでいてもよい。画質設定部12は、例えば、高画質画像のデータ量が、制御装置1と遠隔撮影制御装置4との間の通信の帯域が予測帯域である場合に、例えば前述の所定時間内に高画質画像の送信が完了するデータ量になるよう、画質パラメータを決定すればよい。画質パラメータの決定方法は、既存の任意の方法でよい。画質設定部12は、例えば、予測帯域と画質パラメータが関連付けられたテーブルを保持し、受信した予測帯域に関連する画質パラメータを、そのテーブルを参照することにより選択してもよい。
 次に、画像生成部13は、決定した画質パラメータによって映像信号を変換することにより、高画質画像を生成する(ステップS107)。
 映像信号は、前述のように、カメラ3により得られる情報をできる限り含む、センサデータや画像データであることが望ましい。画像生成部13は、そのような映像信号を、決定された画質パラメータによって変換することにより、例えば通信帯域が予測帯域の場合に所定時間内に送信が完了するデータ量の、高画質画像を生成する。画像生成部13が映像信号に対して行う変換は、例えば、サンプリング、補間、複数画素の画素値の平均等の処理により、画素数を減らした画像を生成する処理である。あるいは、この変換は、各画素の画素値の量子化ビット数を、例えば下位ビットの切り捨て等により減少させ、少ないビット数の画素で構成される画像を生成する処理である。あるいは、この変換は、JPEG方式やその他のデータを圧縮する方式により画像データを圧縮し、圧縮の方式に応じた画像フォーマットの画像ファイルを生成する処理である。
 画像生成部13は、生成した高画質画像を、その高画質画像が生成された映像信号の識別子に関連付けて、画像記憶部14に格納する(ステップS108)。
 画像生成部13は、例えば直近に生成した所定枚数分の高画質画像以外の高画質画像を、画像記憶部14が容量オーバーにならないよう画像記憶部14から消去すればよい。あるいは、画像生成部13は、例えば直近の所定期間内に生成した高画質画像以外の高画質画像を、画像記憶部14から消去してもよい。
 制御装置1は、以上の動作を、例えば遠隔撮影制御装置4から終了指示を受信するまで繰り返す。
 次に、動作中に、遠隔撮影制御装置4から送信要求を受信した場合の、制御装置1の動作について説明する。
 遠隔撮影制御装置4の表示部41が低画質画像を表示している間に、遠隔撮影制御装置4のユーザが操作入力部42に対して撮影操作を行った場合、指示送信部43は、表示中の低画質画像に関連付けられた識別子を含む送信要求を、制御装置1に送信する。
 画像送信部15は、遠隔撮影制御装置4から、送信要求を受信した場合、その送信要求が含む識別子に関連付けられた高画質画像を、画像記憶部14から読み出す。そして、画像送信部15は、読み出された高画質画像を遠隔撮影制御装置4に送信する。
 状態予測部11が算出した応答時間が実際の応答時間と合致していれば、画像送信部15は、低画質画像の送信時刻からその応答時間後に、送信要求を遠隔撮影制御装置4から受信する。さらに、帯域推定部18が推定した予測帯域が実際に利用可能な通信帯域と合致していれば、通信帯域が予測帯域である場合に所定時間内に送信が完了するデータ量になる画質パラメータによって生成された高画質画像の送信は、所定時間内に完了するはずである。
 遠隔撮影制御装置4の表示制御部40は、高画質画像を受信し、受信した高画質画像を、表示部41に表示する。
 画像送信部15が、撮影の終了指示を受信した場合、制御装置1は動作を終了する。終了指示を受信した画像送信部15は、画像記憶部14に格納されている高画質画像を全て消去すればよい。
 次に、本実施形態の遠隔撮影制御装置4の動作について、図面を参照して詳細に説明する。
 図6は、本実施形態の遠隔撮影制御装置4の動作を表すフローチャートである。
 図6を参照すると、まず、表示制御部40が、低画質画像と識別子を撮影装置2から受信する(ステップS401)。
 表示制御部40は、受信した低画質画像を、表示部41に表示させる(ステップS402)。
 操作入力部42は、操作入力部42に対する遠隔撮影制御装置4のユーザの撮影操作の有無を検出する。操作入力部42が、遠隔撮影制御装置4のユーザの撮影操作があったことを検出しなかった場合(ステップS403、No)、処理はステップS401に戻る。
 操作入力部42が、遠隔撮影制御装置4のユーザの撮影操作があったことを検出した場合(ステップS403、Yes)、指示送信部43は、表示部41に表示中の低画質画像の識別子を含む送信要求を、制御装置1に送信する(ステップS404)。
 指示送信部43は、表示制御部40から、表示部41に表示中の低画質画像の識別子を取得すればよい。
 送信要求を受信した制御装置1は、送信要求に含まれる識別子に関連付けられた高画質画像を、遠隔撮影制御装置4に送信する。
 表示制御部40は、制御装置1から、高画質画像を受信する(ステップS405)。
 表示制御部40は、受信した高画質画像を、表示部41に表示させる(ステップS406)。
 操作入力部42が、遠隔撮影制御装置4のユーザによる終了操作を検出した場合(ステップS407、Yes)、指示送信部43は、制御装置1に対して、撮影を終了する指示である終了指示を送信する。
 制御装置1と撮影装置2が別の装置として構成されている場合、指示送信部43は、制御装置1に加えて、撮影装置2に対して終了指示を送信してもよい。あるいは、終了指示を受信した制御装置1が、撮影装置2に終了指示を送信してもよい。あるいは、指示送信部43は撮影装置2に終了指示を送信し、終了指示を受信した撮影装置2が制御装置1に終了指示を転送してもよい。
 操作入力部42が、遠隔撮影制御装置4のユーザによる終了操作を検出しなかった場合(ステップS407、No)、処理はステップS401に戻る。
 本実施形態には、ネットワーク5で接続された遠隔撮影制御装置4からの撮影された高画質画像の送信要求から、その高画質画像の送信完了までの時間の変動を、ネットワーク5の帯域が変動したとしても、抑制することができると言う効果がある。
 その結果、ネットワーク5の帯域に変動がある場合でも、撮影者による撮影操作の実行後の、遠隔撮影制御装置4における高画質画像の表示の遅延が減少する。すなわち、撮影操作実行後高画質画像が表示されるまでの撮影者の待ち時間が減少する。従って、撮影者が、例えば撮影装置2を保持するカメラ側ユーザに撮影装置2を動かしてもらい、遠隔操作により撮影装置2で撮影する場合の、撮影者によるカメラ側ユーザに対する撮影装置2の位置の変更の依頼の遅延が少なくなる。よって、カメラ側ユーザが、カメラ3を構えたまま待機し、撮影者の依頼を待つ時間が少なくなる。以上のように、撮影者が、例えば撮影装置2を保持するカメラ側ユーザと遠隔コミュニケーションを取りながら、カメラ側ユーザに撮影装置2を動かしてもらい、遠隔操作により撮影装置2で撮影する場合に、円滑なコミュニケーションが可能になる。
 上述の効果が生じる理由は、画質設定部12が、低画質画像の送信時刻後応答時間経過時の予測帯域に応じて、映像信号を変換して高画質画像を生成する画質パラメータを決定するからである。
 一般に、高画質画像のデータ量が、ネットワークの帯域によらず同じであれば、帯域が小さいほど、高画質画像の送信に長い時間を要する。画質設定部12は、ネットワーク5の予測帯域が大きければ、高画質画像のデータ量が大きくなり、ネットワーク5の予測帯域が小さければ、高画質画像のデータ量が小さくなるよう、画質パラメータを決定する。そして、画像生成部13が、決定された画質パラメータによって映像信号を変換することにより、高画質画像を生成する。遠隔撮影制御装置4のユーザが撮影操作を行った場合、制御装置1は、送信した低画質画像に関連する高画質画像の送信要求を、その低画質画像の送信時から応答時間経過時に受信するはずである。送信要求受信時のネットワーク5の利用可能帯域が予測帯域と同程度であれば、予測帯域が小さくても、その予測帯域に応じて高画質画像のデータ量も小さい。従って、制御装置1は、高画質画像の送信に長い時間を要しない。
 なお、本実施形態及び以下で説明する他の実施形態において、それぞれの構成要素は、他の構成要素を包含していてもよい。例えば、画像生成部13は、画像記憶部14を包含していてもよい。また、状態予測部11は、帯域推定部18を包含していてもよい。
 次に、本発明の第2の実施形態について図面を参照して詳細に説明する。
 図7は本実施形態の遠隔撮影システム100Aの構成を表す図である。
 遠隔撮影システム100Aは、図1の遠隔撮影システム100と比較すると、制御装置1の代わりに制御装置1Aを含む点が異なる。制御装置1Aと撮影装置2は、接続されている。また、制御装置1Aと、撮影装置2と、カメラ3と、遠隔撮影制御装置4の接続関係は、図2の制御装置1を制御装置1Aに置き換えた図で表される。以下では、遠隔撮影システム100Aと遠隔撮影システム100の相違点を中心に説明を行う。
 制御装置1Aは、図1の制御装置1と比較すると、プレビュー設定部19を含む点が異なる。
 プレビュー設定部19は、帯域測定部16が測定した、ネットワーク5を介した遠隔撮影制御装置4との間の、利用可能な通信帯域から、プレビュー画像送信部21が映像信号を変換して低画質画像を生成するためのプレビュー画質パラメータを決定する。プレビュー設定部19は、決定したプレビュー画質パラメータを、撮影装置2のプレビュー画像送信部21に送信する。
 なお、図2の制御装置1が制御装置1Aで置き換えられた例では、制御装置1Aと撮影装置2が同一の情報端末に含まれる。そして、制御装置1Aと撮影装置2は、その情報端末が備える通信装置7を介してネットワーク5に接続されている。制御装置1A及び撮影装置2と、通信装置7の間の通信速度が十分高速であれば、制御装置1A及び撮影装置2のそれぞれと遠隔撮影制御装置4の間の利用可能な通信帯域は、ネットワーク5の通信帯域に依存する。制御装置1Aと撮影装置2がそれぞれ直接ネットワーク5に接続されている場合でも、制御装置1Aと撮影装置2が近接していれば、制御装置1A及び撮影装置2のそれぞれと遠隔撮影制御装置4の間の利用可能な通信帯域は、ネットワーク5の通信帯域に依存する。従って、帯域測定部16が測定した制御装置1Aと遠隔撮影制御装置4の間の利用可能な通信帯域を、撮影装置2と遠隔撮影制御装置4の間の利用可能な通信帯域と見なすことができる。制御装置1Aと撮影装置2が同一の装置であるなら、帯域測定部16が測定した利用可能な通信帯域は、プレビュー画像送信部21が利用可能な通信帯域である。
 制御装置1Aの他の構成要素は、制御装置1の同じ番号の構成要素と同じであるので、説明を省略する。
 本実施形態の撮影装置2のプレビュー画像送信部21は、プレビュー設定部19からプレビュー画質パラメータを受信する。そして、プレビュー画像送信部21は、受信したプレビュー画質パラメータによって映像信号を変換することにより、低画質画像を生成する。本実施形態のプレビュー画像送信部21の他の動作は、第1の実施形態のプレビュー画像送信部21と同じである。
 本実施形態の撮影装置2の他の構成要素は、第1の実施形態の撮影装置2の同じ番号の構成要素と同じであるので、説明を省略する。
 次に、本実施形態の制御装置1Aの動作について、図面を参照して詳細に説明する。
 図8は、本実施形態の制御装置1Aの動作を表すフローチャートである。
 図8を図3と比較すると、制御装置1Aは、ステップS102の前に、ステップS112とステップS113を行う点が異なる。
 ステップS112では、プレビュー設定部19は、利用可能な通信帯域の測定結果から、プレビュー画像送信部21が映像信号を変換することにより低画質画像を生成するためのプレビュー画質パラメータを決定する。
 プレビュー画質パラメータは、前述の画質パラメータと同様に、例えば、画素数や圧縮率である。プレビュー設定部19は、測定された利用可能な通信帯域が大きければ、画素数を増加させ、圧縮率を低下させる。また、プレビュー設定部19は、測定された利用可能な通信帯域が小さければ、画素数を減少させ、圧縮率を上昇させる。プレビュー設定部19は、例えば、利用可能な通信帯域が、通信帯域の測定結果に対して所定の割合である場合に、低画質画像のデータ量が1秒間に所定枚数の低画質画像の送信が可能なデータ量になるよう、プレビュー画質パラメータを設定すればよい。このように設定することで、制御装置1Aは、低画質画像の送信のリアルタイム性を確保することができる。
 次に、プレビュー設定部19は、決定したプレビュー画質パラメータを、撮影装置2のプレビュー画像送信部21に送信する(ステップS113)。
 制御装置1AのステップS102以降の動作は、第1の実施形態の制御装置1の同じ番号のステップの動作と同じであるので、説明を省略する。
 次に、本実施形態の撮影装置2の動作について、図面を参照して詳細に説明する。
 図9は、本実施形態の撮影装置2の動作を表すフローチャートである。
 図9と図3を比較すると、本実施形態の撮影装置2は、ステップS201の前にステップS200の動作を行う点が異なる。
 本実施形態のプレビュー画像送信部21は、制御装置1Aのプレビュー設定部19から、プレビュー画質パラメータを受信する(ステップS200)。
 また、ステップS202では、プレビュー画像送信部21は、プレビュー画質パラメータによって映像信号を変換することにより、低画質画像を生成する。プレビュー画像送信部21は、生成した低画質画像を、遠隔撮影制御装置4に送信する。
 遠隔撮影制御装置4の表示制御部40は、受信した低画質画像を、表示部41に表示する。
 本実施形態の撮影装置2の他のステップの動作は、図3の第1の実施形態の撮影装置2の同じ番号のステップの動作と同じであるので、説明を省略する。
 以上で説明した本実施形態には、第1の実施形態の効果に加えて、ネットワーク5の利用可能な通信帯域に余裕があれば、遠隔撮影制御装置4のユーザが、少しでも良い画質で、撮影対象の映像をプレビューすることができると言う効果がある。
 その理由は、プレビュー設定部19が、遠隔撮影制御装置4にプレビューのために送信する低画質画像を、撮影装置2が生成するためのプレビュー画質パラメータを、利用可能な通信帯域の広さに応じて決定するからである。
 次に、本発明の第3の実施形態について、図面を参照して詳細に説明する。
 図10は、本実施形態の制御装置1Bの構成を表すブロック図である。
 図10を参照すると、本実施形態の制御装置1Bは、映像を撮影して低画質画像に変換し低画質画像を端末4に送信する撮影装置2から、低画質画像の送信時刻と映像を取得する映像取得部10と、送信時刻から、映像の送信要求を端末4から受信する受信時刻を予測し、さらに、予測した受信時刻における端末4との間で利用可能な通信帯域である予測帯域を予測する状態予測部11と、予測帯域から、映像を高画質画像に変換するための画質パラメータを決定する画質設定部12と、その画質パラメータで映像を高画質画像に変換して記憶する画像生成部13と、端末4から送信要求を受けて、画像生成部13が記憶している高画質画像を端末4に送信する画像送信部15と、を含む。
 制御装置1Bは、撮影装置2と、遠隔撮影制御装置4に接続されている。撮影装置2及び遠隔制御装置4は、第1の実施形態の撮影装置2及び遠隔制御装置4と同じである。
 本実施形態の画像生成部13は、第1の実施形態の、画像生成部13と画像記憶部14の機能を備えている。
 制御装置1Bの他の構成要素は、第1の実施形態の制御装置1の、同じ番号の構成要素と同じであるので、説明を省略する。
 本実施形態には、第1の実施形態と同じ効果がある。
 以上で説明した、制御装置1と、制御装置1Aと、制御装置1Bと、撮影装置2と、遠隔撮影制御装置4と、情報端末200は、それぞれ、コンピュータ及びコンピュータを制御するプログラム、専用のハードウェア、又は、コンピュータ及びコンピュータを制御するプログラムと専用のハードウェアの組合せにより実現することができる。
 図12は、制御装置1と、制御装置1Aと、制御装置1Bと、撮影装置2と、遠隔撮影制御装置4と、情報端末200のそれぞれを実現するために使用されるコンピュータ1000の構成の一例を表す図である。
 図12を参照すると、コンピュータ1000は、プロセッサ1001と、メモリ1002と、記憶装置1003と、通信インタフェース1004とを含む。また、コンピュータ1000は、記録媒体1005にアクセス可能である。コンピュータ1000は、記録媒体1005を含んでいてもよい。プロセッサ1001は、メモリ1002と記憶装置1003に対するデータの書き込みと、メモリ1002と記憶装置1003からのデータの読み出しを行うことができる。メモリ1002は、例えばRAM(Random Access Memroy)等のメモリである。記憶装置1003は、例えばRAM等のメモリやハードディスク装置やSSD(Solid State Drive)等の記憶装置である。記録媒体1005は、ハードディスク装置、ROM(Read Only Memory)、あるいは可搬記録媒体等により実現される。プロセッサ1001は、通信インタフェースを介して、ネットワーク5に接続されている他の装置と通信できる。
 記録媒体1005には、コンピュータ1000を、制御装置1と、制御装置1Aと、制御装置1Bと、撮影装置2と、遠隔撮影制御装置4と、情報端末200の少なくとも一つとして動作させるプログラムが格納されている。プロセッサ1001は、記録媒体1005からプログラムを読み出し、メモリ1002にロードする。そして、プロセッサ1001は、ロードされたプログラムを実行する。このことにより、コンピュータ1000は、制御装置1、制御装置1A、制御装置1B、撮影装置2、遠隔撮影制御装置4、あるいは情報端末200として動作する。
 映像取得部10と、状態予測部11と、画質設定部12と、画像生成部13と、画像送信部15と、帯域測定部16と、帯域設定部18と、プレビュー設定部19と、映像入力部20と、プレビュー画像送信部21と、表示制御部40と、表示部41と、操作入力部42と、指示送信部43は、例えば、プログラムを記憶する記録媒体1005からメモリ1002に読み込まれた、各部の機能を実現するための専用のプログラムと、そのプログラムを実行するプロセッサ1001により実現することができる。また、画像記憶部14と、帯域記憶部17は、コンピュータ1000が含むメモリ1002やハードディスク装置等の記憶装置1003により実現することができる。あるいは、映像取得部10と、状態予測部11と、画質設定部12と、画像生成部13と、画像記憶部14と、画像送信部15と、帯域測定部16と、帯域記憶部17と、帯域設定部18と、プレビュー設定部19と、映像入力部20と、プレビュー画像送信部21と、表示制御部40と、表示部41と、操作入力部42と、指示送信部43の一部又は全部を、各部の機能を実現する専用の回路によって実現することもできる。
 (具体的な構成例)
 次に、第1の実施形態に基づく具体的な構成例について、図面を参照して詳細に説明する。
 図11は、本構成例の遠隔撮影システムの構成を表すブロック図である。
 図11を参照すると、本実施形態の遠隔撮影システムは、ネットワーク5を介して互いに接続された、携帯電話200とPC210(Personal Computer)を含む。携帯電話200は、図2の情報端末200である。
 本構成例では、携帯電話200を使用するユーザAと、PC210を使用するユーザBが、通話機能を使った遠隔コミュニケーションを行う。そして、ユーザAとユーザBは、その遠隔コミュニケーション中に、携帯電話200が含むカメラ3で撮影した画像をPC210で共有する。
 ユーザAが使用する携帯電話200は、図1のカメラ3を含む。携帯電話200は、例えば、図12のコンピュータ1000と同じ構成のコンピュータを使用して構成されている。そして、携帯電話200は、例えば携帯電話200のプロセッサ1001が記録媒体1005に格納されている撮影用プログラムを実行することにより、制御装置1及び撮影装置2の双方の機能を備えた装置として動作する。すなわち、撮影用アプリケーションは、携帯電話200を、映像取得部10と、状態予測部11と、画質設定部12と、画像生成部13と、画像記憶部14と、画像送信部15と、帯域測定部16と、帯域記憶部17と、帯域推定部18と、映像入力部20と、プレビュー画像送信部21として動作させる。なお、携帯電話200は、図2の通信装置7の機能も含む。
 ユーザBが使用するPC210は、表示部41として動作するディスプレイと、操作入力部42として動作するキーボードを備える。PC210は、図12のコンピュータ1000と同じ構成のコンピュータを使用して構成されている。そして、PC210は、PC210のプロセッサ1001が遠隔撮影プログラムを実行することにより、図1の遠隔撮影制御装置4として動作する。すなわち、遠隔撮影プログラムは、PC210を、表示制御部40と、表示部41と、操作入力部42と、指示送信部43として動作させる。
 以上の、携帯電話200及びPC210に含まれる各部は、図1の第1の実施形態の同一名称で同一番号の構成要素と同じであるので、説明を省略する。
 ユーザAが携帯電話200で撮影用アプリケーションを起動すると、携帯電話200は、制御装置1及び撮影装置2の双方の機能を備えた装置として動作を開始する。そして、帯域測定部16が、ネットワーク5の利用可能な通信帯域の測定を開始する。携帯電話200が接続されているネットワーク5の帯域のうち、使われていない空き帯域が利用可能な通信帯域である。帯域測定部16は、利用可能な通信帯域の測定結果を、測定時刻に関連付けて、帯域記憶部17に格納する。帯域記憶部17は、携帯電話200が備える、例えば不揮発メモリなどの記憶装置である。帯域記憶部17は、携帯電話200に装着されたメモリカードであってもよい。帯域測定部16は、帯域記憶部17の容量を超えないように、所定時間(例えば10分間前から現在までの時間)の測定結果を帯域記憶部17に保存すればよい。
 次に、映像入力部20が、カメラ3からデジタルデータである映像信号を取得する。映像入力部20は、取得した映像信号を、例えば、携帯電話200内のメモリ1002にコピーする。そして、映像入力部20は、メモリ1002のコピー先のアドレスを、プレビュー画像送信部21に通知する。プレビュー画像送信部21は、メモリから映像信号を読み出して、所定の画素数のプレビュー画像(低画質画像)に変換する。本構成例では、第1の実施形態における低画質画像をプレビュー画像と表記する。プレビュー画像送信部21は、変換したプレビュー画像に、例えば「p20120325150000000.jpg」というファイル名を付与する。そして、プレビュー画像送信部21は、そのプレビュー画像のファイルをPC210に送信する。このファイル名は、プレビュー画像を意味する記号「p」と、送信時の日時(2012年03月25日15時00分00秒000ミリ秒)を意味する「20120325150000000」の組み合わせで構成される。本構成例では、このファイル名が識別子である。このプレビュー画像の画素数は、例えば、携帯電話200のカメラ3で撮影される画像の画素数の最小値である320画素×240画素である。また、プレビュー画像の送信間隔は、例えば1秒である。
 以上のように、本構成例では、プレビュー画像(低画質画像)は静止画である。しかし、前述のように、プレビュー画像は動画像であってもよい。その場合、プレビュー画像送信部21は、任意の符号化方式で、連続する映像信号を符号化して動画像を生成すればよい。
 プレビュー画像送信部21は、プレビュー画像を送出し終わった時刻(送信時刻)を、例えば「15:00:00:000(時:分:秒:ミリ秒)」のような形式で、そのプレビュー画像の識別子に関連付けて、例えば携帯電話200内のメモリ1002に記録する。
 次に、状態予測部11は、プレビュー画像送信部21がPC210にプレビュー画像を送出してから、PC210からの送信要求が携帯電話200に届くまでにかかる応答時間を算出する。状態予測部11は、まず、プレビュー画像の送信に要する時間を算出する。状態予測部11は、帯域測定部16が測定した、プレビュー画像の送信時刻までの所定時間内のネットワーク5のスループットの平均値と、プレビュー画像のサイズから、プレビュー画像の送信に要する時間を算出できる。例えばスループットの平均値が800Kbps(kilo bit per second)であり、プレビュー画像のサイズが約100KB(kilo byte)であれば、プレビュー画像を送信するのにかかる時間は100KB*8/800Kbps=1秒である。また、状態予測部11は、PC210に対してpingコマンドを実行してACK(Acknowledgement)パケットが戻ってくるまでの経過時間(RTT)を測定する。RTTが500ms(mili second)だった場合、片道の通信にかかる時間は250msである。状態予測部11は、PC210が送信要求を送信してから携帯電話200がその送信要求を受信するまでの時間を、250msにすればよい。この場合の応答時間は、応答時間プレビュー画像の送信時間1000msと、プレビュー画像の送信間隔1000msと、操作情報の送信時間250msを加算した結果である2250msである。
 そして、状態予測部11は、プレビュー画像の送信時刻に応答時間を足した時刻を、高画質画像の送信予定時刻とする。上述の例では、状態予測部11は、メモリ上のプレビュー画像の送信時刻である「15:00:00:000(時:分:秒:ミリ秒)」を読み出す。状態予測部11は、高画質画像の送信予定時刻を、読み出した送信時刻に2250msを足した結果である、「15:00:02:250」にする。状態予測部11は、高画質画像の送信予定時刻を、帯域推定部18に送信する。
 帯域推定部18は、ネットワーク5の利用可能な通信帯域の測定結果をもとに、高画質画像の送信予定時刻における利用可能な通信帯域を予測する。図5は、現在の時刻より10秒前から利用可能な通信帯域と、この時間帯における利用可能な通信帯域の周期的な変動が継続すると予測した場合の、現在の時刻から5秒後までの利用可能帯域の予測結果を表す図である。予測時点の時刻が「15:00:00:250」であれば、高画質画像の送信予定時刻である「15:00:02:250」は予測時点の時刻の2秒後である。この場合、帯域推定部18は、高画質画像の送信予定時刻である利用可能な通信帯域の予測値(予測帯域)を800Kbpsに決定する。状態予測部11は、帯域推定部18から予測帯域を取得し、取得した予測帯域を画質設定部12に送信する。
 画質設定部12は、予測帯域応じて高画質画像の画質パラメータである、例えばサイズを決定する。本構成例の画質設定部12は、高画質画像のサイズのみを決定する。ネットワーク5の利用可能な通信帯域の値が、予測帯域である800Kbpsである場合に、ネットワーク5を介した高画質画像の送信が2秒以内に完了するためには、高画質画像のデータ量(ファイルサイズ)を200KB以内である必要がある。画像の1画素当たりのデータ量が4バイトであり、画像が非圧縮である場合に、画像のデータ量が200KB以内であるためには、その画像のサイズは50万画素以下であればよい。サイズが800×600画素程度の画像であれば、画素数は50万画素以下である。画質設定部12は、利用可能な通信帯域が予測値である場合に、所定時間内に送信を完了するデータ量で、縦横比が所定値となるサイズを、高画質画像のサイズに決めればよい。画質設定部12は、例えば予測帯域と画像のサイズを関連付けたテーブルを保持し、受信した予測帯域に関連するサイズを高画質画像のサイズに決定してもよい。画質設定部12は、高画質画像の画素数を、例えば800×600画素に決定する。
 画像生成部13は、映像信号のデジタルデータを変換することにより、決定したサイズの高画質度画像のファイルを生成する。高画質度画像のファイルのフォーマットは、PC210が表示可能なフォーマットであれば任意のフォーマットでよい。画像生成部13は、生成した高画質度画像のファイルを画像記憶部14に保存する。画像生成部13は、高画質画像のファイル名を、高画質度画像を意味する記号「h」と、プレビュー画像の送信日時を表す文字列を組み合わせたファイル名にする。プレビュー画像の送信日時が(2012年03月25日15時00分00秒000ミリ秒)であれば、送信日時を表す文字列は、例えば「20120325150000000」である。画像生成部13は、「h」と「20120325150000000」を組み合わせた「h20120325150000000」を含む「h20120325150000000.jpg」を高画質画像のファイル名にする。本構成例では、ファイル名に含まれる「20120325150000000」が、識別子に相当する。画像生成部13は、画像記憶部14に格納される各高画質画像のデータ量の合計が、携帯電話200が備える不揮発性メモリやメモリカードである、画像記憶部14の容量を超えないように、直近の所定時間(例えば1分間)の高画質画像だけ保存すればよい。画像生成部13は、直近の所定時間より過去に格納した高画質画像を、画像記憶部14から消去すればよい。
 PC210の表示制御部40は、プレビュー画像を受信し、受信したプレビュー画像をディスプレイである表示部41に表示する。
 PC210のユーザが、キーボードである操作入力部42を操作して、高画質画像を撮影する撮影操作を行った場合、操作入力部42は撮影操作が行われたことを検出する。操作入力部42は撮影操作が行われたことを指示送信部43に通知する。指示送信部43は、撮影操作の通知があった時に表示部41に表示されているプレビュー画像の識別子を、表示制御部40から取得する。本構成例では、識別子はプレビュー画像のファイル名に含まれている。指示送信部43は、プレビュー画像のファイル名を表示制御部40から取得してもよい。指示送信部43は、識別子を含む送信要求を、携帯電話200に送信する。送信要求はプレビュー画像のファイル名を含んでいてもよい。
 画像送信部15は、送信要求を受信する。画像送信部15は、受信した送信要求に含まれる識別子に関連付けられている高画質画像を、画像記憶部14から読み出す。送信要求が含む識別子の情報が、プレビュー画像のファイル名の「p20120325150000000.jpg」である場合、「20120325150000000」が識別子である。画像送信部15は、「20120325150000000」と言う文字列をファイル名に含む高画質画像を検索すればよい。識別子である「20120325150000000」を含む高画質画像のファイル名が「h20120325150000000.jpg」であるなら、画像送信部15は、画像記憶部14から「h20120325150000000.jpg」というファイル名のファイルを読み出す。画像送信部15は、読み出したファイルをPC210に送信する。
 PC210の表示制御部40は、画像送信部15から高画質画像のファイルを受信する。そして、表示制御部40は、受信した高画質画像のファイルを表示部41に表示する。
 以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2012年6月12日出願の日本出願特願2012-133072を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明は、ネットワークを利用した遠隔操作サービスに適用できる。たとえば、事故対応や修理対応で現場にいる作業員が現場の様子をカメラで撮影し、遠隔にいる管理者が写真や映像から現場の様子を確認し作業員に指示を出すという使い方ができる。またコンシューマ同士での写真を共有するコミュニケーションツールにも適用できる。
 1、1A、1B  制御装置
 2  撮影装置
 3  カメラ
 4  遠隔撮影制御装置
 5  ネットワーク
 7  通信装置
 10  映像取得部
 11  状態予測部
 12  画質設定部
 13  画像生成部
 14  画像記憶部
 15  画像送信部
 16  帯域測定部
 17  帯域記憶部
 18  帯域推定部
 19  プレビュー設定部
 20  映像入力部
 21  プレビュー画像送信部
 40  表示制御部
 41  表示部
 42  操作入力部
 43  指示送信部
 100 遠隔撮影システム
 200  情報端末(携帯電話)
 210  PC
 1000  コンピュータ
 1001  プロセッサ
 1002  メモリ
 1003  記憶装置
 1004  通信インタフェース
 1005  記録媒体

Claims (10)

  1.  撮影した映像を低画質画像に変換し前記低画質画像を端末に送信する撮影装置から、前記低画質画像の送信時刻と前記映像を取得する映像取得手段と、
     前記送信時刻をもとに、前記映像の送信要求を前記端末から受信する受信時刻を予測し、さらに、予測した前記受信時刻における前記端末との間で利用可能な通信帯域である予測帯域を予測する状態予測手段と、
     前記予測帯域をもとに、前記映像を高画質画像に変換するための画質パラメータを決定する画質設定手段と、
     前記画質パラメータによって前記映像を前記高画質画像に変換して記憶する画像生成手段と、
     前記端末から前記送信要求を受信し、受信した前記配信要求に応じて前記画像生成手段が記憶している前記高画質画像を前記端末に送信する画像送信手段と
     を含む制御装置。
  2.  前記画質設定手段は、前記高画質画像のデータ量が、前記予測帯域で所定時間内に送信できるデータ量になるよう、前記画質パラメータを決定する
     請求項1に記載の制御装置。
  3.  前記端末との間で利用可能な通信帯域を時系列で測定し、測定した前記通信帯域の各々を測定時刻に関連付けて通信帯域記憶手段に格納する帯域測定手段と、
     前記通信帯域記憶手段と、をさらに備え、
     前記状態予測手段は、前記予測帯域を、前記通信帯域記憶手段から取得した前記通信帯域の時系列をもとに予測する
     請求項1又は2に記載の制御装置。
  4.  カメラから前記映像を受信する映像入力手段と、
     前記映像を前記低画質画像に変換し、前記低画質画像を前記端末に送信するプレビュー画像送信手段と
     を含む前記撮影装置と、
     前記撮影装置から前記低画質画像を受信する表示制御手段と、
     受信した前記低画質画像を表示する表示手段と、
     撮影指示の入力を検出する操作入力手段と、
     前記撮影指示が入力された場合、前記送信要求を前記制御装置に送信する指示送信手段と
     を含み、
     前記表示制御手段は、前記制御装置から前記高画質画像を受信し、
     前記表示部は、前記高画質画像を表示する
     前記端末と、
     請求項1乃至3のいずれかに記載の制御装置を含む遠隔撮影システム。
  5.  撮影した映像を低画質画像に変換し前記低画質画像を端末に送信する撮影装置から、前記低画質画像の送信時刻と前記映像を取得し、
     前記送信時刻をもとに、前記映像の送信要求を前記端末から受信する受信時刻を予測し、さらに、予測した前記時刻における前記受信端末との間で利用可能な通信帯域である予測帯域を予測し、
     前記予測帯域をもとに、前記映像を高画質画像に変換するための画質パラメータを決定し、
     前記画質パラメータによって前記映像を前記高画質画像に変換して画像生成手段に記憶し、
     前記端末から前記送信要求を受信し、受信した前記配信要求に応じて前記画像生成手段が記憶している前記高画質画像を前記端末に送信する
     画像送信方法。
  6.  前記高画質画像のデータ量が、前記予測帯域で所定時間内に送信できるデータ量になるよう、前記画質パラメータを決定する
     請求項5に記載の画像送信方法。
  7.  前記端末との間で利用可能な通信帯域を時系列で測定し、測定した前記通信帯域の各々を測定時刻に関連付けて通信帯域記憶手段に格納し、
     前記予測帯域を、前記通信帯域記憶手段から取得した前記通信帯域の時系列をもとに予測する
     請求項5又は6に記載の画像送信方法。
  8.  コンピュータを、
     撮影した映像を低画質画像に変換し前記低画質画像を端末に送信する撮影装置から、前記低画質画像の送信時刻と前記映像を取得する映像取得手段と、
     前記送信時刻をもとに、前記映像の送信要求を前記端末から受信する受信時刻を予測し、さらに、予測した前記受信時刻における前記端末との間で利用可能な通信帯域である予測帯域を予測する状態予測手段と、
     前記予測帯域をもとに、前記映像を高画質画像に変換するための画質パラメータを決定する画質設定手段と、
     前記画質パラメータによって前記映像を前記高画質画像に変換して記憶する画像生成手段と、
     前記端末から前記送信要求を受信し、受信した前記配信要求に応じて前記画像生成手段が記憶している前記高画質画像を前記端末に送信する画像送信手段と
     して動作させる制御プログラム。
  9.  コンピュータを、
     前記高画質画像のデータ量が、前記予測帯域で所定時間内に送信できるデータ量になるよう、前記画質パラメータを決定する前記画質設定手段と
     して動作させる請求項8に記載の制御プログラム。
  10.  コンピュータを、
     前記端末との間で利用可能な通信帯域を時系列で測定し、測定した前記通信帯域の各々を測定時刻に関連付けて通信帯域記憶手段に格納する帯域測定手段と、
     前記通信帯域記憶手段と、
     前記予測帯域を、前記通信帯域記憶手段から取得した前記通信帯域の時系列をもとに予測する前記状態予測手段と、
     して動作させる請求項8又は9に記載の制御プログラム。
PCT/JP2013/003600 2012-06-12 2013-06-07 制御装置、画像送信方法、及び制御プログラム WO2013187033A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014520915A JPWO2013187033A1 (ja) 2012-06-12 2013-06-07 制御装置、画像送信方法、及び制御プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012133072 2012-06-12
JP2012-133072 2012-06-12

Publications (1)

Publication Number Publication Date
WO2013187033A1 true WO2013187033A1 (ja) 2013-12-19

Family

ID=49757879

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/003600 WO2013187033A1 (ja) 2012-06-12 2013-06-07 制御装置、画像送信方法、及び制御プログラム

Country Status (2)

Country Link
JP (1) JPWO2013187033A1 (ja)
WO (1) WO2013187033A1 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6152998B1 (ja) * 2016-09-29 2017-06-28 パナソニックIpマネジメント株式会社 テレビ会議装置
JP2017175323A (ja) * 2016-03-23 2017-09-28 日本電気株式会社 情報処理システム、情報処理端末、その制御方法および制御プログラム
JP2017529708A (ja) * 2015-06-29 2017-10-05 シャオミ・インコーポレイテッド ビデオコンテンツを取得する方法及び機器
JP2017531978A (ja) * 2015-08-31 2017-10-26 シャオミ・インコーポレイテッド 撮影制御方法、装置、プログラム、及び記録媒体
JP2018207337A (ja) * 2017-06-06 2018-12-27 パナソニックIpマネジメント株式会社 テレビ会議装置
CN110248086A (zh) * 2018-03-07 2019-09-17 Juki株式会社 图像处理装置、安装装置、图像处理方法
JP2020177484A (ja) * 2019-04-19 2020-10-29 株式会社ショーケース 本人確認システム、オペレータ端末及び本人確認システムプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064789A (ja) * 2000-08-22 2002-02-28 Hitachi Ltd 画像圧縮記録送信装置及び画像圧縮送信装置
JP2008263370A (ja) * 2007-04-11 2008-10-30 Sony Corp カメラ装置及び情報配信装置
JP2009284149A (ja) * 2008-05-21 2009-12-03 Panasonic Corp 画像符号化処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002064789A (ja) * 2000-08-22 2002-02-28 Hitachi Ltd 画像圧縮記録送信装置及び画像圧縮送信装置
JP2008263370A (ja) * 2007-04-11 2008-10-30 Sony Corp カメラ装置及び情報配信装置
JP2009284149A (ja) * 2008-05-21 2009-12-03 Panasonic Corp 画像符号化処理装置

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017529708A (ja) * 2015-06-29 2017-10-05 シャオミ・インコーポレイテッド ビデオコンテンツを取得する方法及び機器
JP2017531978A (ja) * 2015-08-31 2017-10-26 シャオミ・インコーポレイテッド 撮影制御方法、装置、プログラム、及び記録媒体
JP2017175323A (ja) * 2016-03-23 2017-09-28 日本電気株式会社 情報処理システム、情報処理端末、その制御方法および制御プログラム
JP6152998B1 (ja) * 2016-09-29 2017-06-28 パナソニックIpマネジメント株式会社 テレビ会議装置
JP2018056822A (ja) * 2016-09-29 2018-04-05 パナソニックIpマネジメント株式会社 テレビ会議装置
JP2018207337A (ja) * 2017-06-06 2018-12-27 パナソニックIpマネジメント株式会社 テレビ会議装置
CN110248086A (zh) * 2018-03-07 2019-09-17 Juki株式会社 图像处理装置、安装装置、图像处理方法
JP2020177484A (ja) * 2019-04-19 2020-10-29 株式会社ショーケース 本人確認システム、オペレータ端末及び本人確認システムプログラム
JP7329204B2 (ja) 2019-04-19 2023-08-18 株式会社ショーケース 本人確認システム、オペレータ端末及び本人確認システムプログラム

Also Published As

Publication number Publication date
JPWO2013187033A1 (ja) 2016-02-04

Similar Documents

Publication Publication Date Title
WO2013187033A1 (ja) 制御装置、画像送信方法、及び制御プログラム
JP6240642B2 (ja) イメージ撮影装置のイメージを提供する方法及びその装置
JP4612866B2 (ja) 撮像方法および撮像システム
US7623778B2 (en) Photographic system, photographic device and photographic method
WO2013132828A1 (ja) 通信システムおよび中継装置
US9131139B2 (en) Image sensing apparatus, control method and recording medium
CN110225259B (zh) 电子设备、显示方法及图像处理方法
JP2005026866A (ja) ネットワークカメラ
US20180352156A1 (en) High-Quality Audio/Visual Conferencing
JP2008219479A (ja) 画像伝送システム、撮像装置、及び画像伝送方法
JP5838852B2 (ja) 撮像システム、撮像装置、撮像方法及びプログラム
US9578189B2 (en) Communication apparatus, method for controlling communication apparatus, and program
US20140032551A1 (en) Communication apparatus, method of controlling the communication apparatus, and recording medium
EP2963929A1 (en) A method for configuration of video stream output from a digital video camera
JP2019057879A (ja) 映像データストリーミング監視装置、方法及びプログラム、並びに端末装置及び映像データストリーミング監視システム
WO2020161969A1 (ja) 画像処理装置、撮影装置、画像処理方法及び画像処理プログラム
JP4561253B2 (ja) 画像送信装置、画像加工装置、及び、画像送受信システム
JP2009105687A (ja) 撮像システム
JP2015061108A (ja) 通信システム、通信装置および方法
JP2013207706A (ja) 映像信号伝送システム、映像信号伝送制御装置、映像信号伝送方法、およびプログラム
JP2014183426A (ja) データ処理装置、その制御方法、プログラム
JP6604256B2 (ja) 情報処理端末、情報処理方法、及びプログラム
US20230034162A1 (en) Transmission apparatus and transmission method
JP2007081549A (ja) 撮像システム
JP6747173B2 (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13804390

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014520915

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13804390

Country of ref document: EP

Kind code of ref document: A1