WO2017098681A1 - 撮像装置、電子機器及び撮像システム - Google Patents

撮像装置、電子機器及び撮像システム Download PDF

Info

Publication number
WO2017098681A1
WO2017098681A1 PCT/JP2016/004594 JP2016004594W WO2017098681A1 WO 2017098681 A1 WO2017098681 A1 WO 2017098681A1 JP 2016004594 W JP2016004594 W JP 2016004594W WO 2017098681 A1 WO2017098681 A1 WO 2017098681A1
Authority
WO
WIPO (PCT)
Prior art keywords
image data
image
imaging
video camera
smartphone
Prior art date
Application number
PCT/JP2016/004594
Other languages
English (en)
French (fr)
Inventor
真吾 橋本
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Priority to JP2017506434A priority Critical patent/JP6739030B2/ja
Publication of WO2017098681A1 publication Critical patent/WO2017098681A1/ja
Priority to US15/637,356 priority patent/US10158824B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2621—Cameras specially adapted for the electronic generation of special effects during image pickup, e.g. digital cameras, camcorders, video cameras having integrated special effects capability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/22—Adaptations for optical transmission

Definitions

  • the present disclosure relates to an imaging apparatus that can receive image data from a plurality of external devices and record an image obtained by combining an image indicated by the received image data and an image captured by the own device.
  • Patent Document 1 discloses an electronic camera that synthesizes electronic images of a plurality of channels.
  • the electronic camera disclosed in Patent Literature 1 synthesizes the sub electronic image acquired by the acquisition unit with the main electronic image generated by the imaging unit.
  • the sub electronic image is synthesized by adjusting the size to be smaller than the size of the main electronic image.
  • a sub scene in which a significant change has occurred in the sub electronic image is detected.
  • the size or composition of the sub-electronic image representing the detected sub-scene is changed and the sub-electronic image is emphasized. Thereby, necessary and sufficient information is transmitted to the viewer, and the visibility of the composite image is improved.
  • Patent Document 2 discloses an imaging device (camera) capable of multi-angle shooting.
  • the imaging device (camera) of Patent Document 2 wirelessly receives moving image data from another shooting device, combines the moving image data received from the other shooting device and the moving image data shot by the own device, and display means.
  • An imaging apparatus for displaying on the screen is disclosed.
  • the present disclosure provides an imaging device that can receive image data from a plurality of external devices and record an image obtained by combining an image indicated by the received image data and an image captured by the own device.
  • an imaging device capable of combining and recording a plurality of images.
  • the imaging apparatus includes an imaging unit that images a subject and generates image data, a communication unit that receives image data from a plurality of electronic devices, and image data received from an electronic device that is registered in advance as a target device for a predetermined function. And a control unit that synthesizes the image shown and the image shown by the image data generated by the imaging unit.
  • the control unit registers the electronic devices within the first predetermined number as the target devices.
  • the control unit limits the number of electronic devices that receive the image data via the communication unit to a second predetermined number that is smaller than the first predetermined number.
  • an electronic device that transmits image data to the imaging device.
  • the electronic device includes a second imaging unit that images a subject and generates image data, a second communication unit that transmits image data generated by the second imaging unit to the imaging device, and image data for the imaging device And a second control unit that controls transmission of.
  • the second control unit transmits the image data generated by the second imaging unit to the imaging device when receiving permission to distribute the image data from the imaging device.
  • the present disclosure since the number of external devices that receive image data is limited in the imaging apparatus, it is possible to reduce deterioration in image quality during playback of a composite image due to insufficient bandwidth of the communication line.
  • the figure which shows the structure of the imaging system containing a video camera and a smart phone Electrical configuration diagram of video camera Smart phone electrical configuration diagram The figure which showed the example of the image displayed by a multi wipe function
  • Flowchart showing processing related to image distribution operation in video camera The flowchart which shows the process regarding the image delivery operation in the smart phone Sequence diagram showing communication between video camera and smartphone when image distribution is permitted Diagram explaining the addition of a wipe image when a smartphone is connected Sequence diagram showing communication between video camera and smartphone when image distribution is not allowed
  • FIG. 1 is a diagram illustrating a configuration of an imaging system including a video camera and a smartphone according to the first embodiment.
  • the video camera 100 can establish communication with a plurality of smartphones 200a to 200c, and can simultaneously receive image data (moving image data) from the plurality of smartphones 200a to 200c.
  • FIG. 2 is an electrical configuration diagram of the video camera 100.
  • the video camera 100 captures a subject image formed via the optical system 110 with the image sensor 115.
  • the image sensor 115 generates imaging data (RAW data) based on the captured subject image.
  • the image processing unit 120 performs various processes on the imaging data generated by imaging to generate image data.
  • the controller 135 records the image data generated by the image processing unit 120 on the recording medium 145. Further, the controller 135 can display (reproduce) the image data recorded on the recording medium 145 on the liquid crystal monitor 130 in response to the operation of the operation unit 150 by the user.
  • the optical system 110 includes a focus lens, a zoom lens, an optical image stabilization lens (OIS), an aperture, a shutter, and the like.
  • the various lenses included in the optical system 110 may be composed of any number of lenses or any number of groups.
  • the image sensor 115 is a device that captures a subject image formed via the optical system 110 and generates imaging data.
  • the image sensor 115 generates image data (moving image data) at a predetermined frame rate (for example, 30 frames / second).
  • the image data generation timing and electronic shutter operation in the image sensor 115 are controlled by the controller 135.
  • the image sensor 115 is constituted by, for example, a CCD image sensor, a CMOS image sensor, or an NMOS image sensor.
  • the image processing unit 120 is a circuit that generates image data by performing various types of processing on the imaging data output from the image sensor 115.
  • the image processing unit 120 performs various processes on the image data read from the recording medium 145 to generate an image to be displayed on the liquid crystal monitor 130. Examples of the various processes include, but are not limited to, white balance correction, gamma correction, YC conversion process, electronic zoom process, compression process, and expansion process.
  • the image processing unit 120 may be configured with a hard-wired electronic circuit or a microcomputer using a program.
  • the liquid crystal monitor 130 is provided, for example, in a housing attached to the side surface of the video camera 100 so as to be opened and closed.
  • the liquid crystal monitor 130 displays an image based on the image data processed by the image processing unit 120.
  • other monitors such as an organic EL monitor may be used instead of the liquid crystal monitor.
  • the controller 135 controls the overall operation of the video camera 100.
  • the controller 135 includes a CPU or MPU, and implements the functions of the video camera 100 described later by executing a predetermined program.
  • the controller 135 may be integrated on one semiconductor chip together with the image processing unit 120 and the like.
  • the controller 135 has a ROM (not shown) therein.
  • the ROM stores SSID (ServiceerSet Identifier) and WEP key (Wired Equivalent Privacy Key) necessary for establishing WiFi communication with other communication devices.
  • the controller 135 can read the SSID and WEP keys from the ROM as necessary.
  • the ROM stores a program for overall control of the entire operation of the video camera 100 in addition to a program related to autofocus control (AF control) and communication control.
  • AF control autofocus control
  • the buffer memory 125 is a recording medium that functions as a work memory for the image processing unit 120 and the controller 135.
  • the buffer memory 125 is realized by a DRAM (Dynamic Random Access to Memory) or the like.
  • the recording control unit 140 is a device for recording image data on the recording medium 145 and reproducing the image data from the recording medium 145.
  • the recording medium 145 is an SSD (Solid State Drive) having a flash memory therein.
  • the recording medium 145 may be configured by a hard disk (HDD) or a removable memory card instead of the SSD.
  • the recording medium 145 can store data such as image data generated by the image processing unit 120.
  • the operation unit 150 is a user interface that receives an operation by a user, and includes an operation button, an operation lever, a touch panel, and the like. When the operation unit 150 receives an operation by the user, the operation unit 150 notifies the controller 135 of various operation instruction signals.
  • the WiFi module 155 is a communication module (electronic circuit) that performs communication conforming to the communication standard IEEE 802.11.
  • the video camera 100 can communicate with other external devices (for example, smartphones 200a to 200c) equipped with the WiFi module via the WiFi module 155.
  • the video camera 100 may directly communicate with other communication devices via the WiFi module 155 or may communicate via an access point.
  • a communication module that performs communication conforming to the communication standard 802.15.1, that is, Bluetooth (registered trademark) may be used.
  • FIG. 3 is an electrical configuration diagram of the smartphone 200.
  • the smartphone 200 generates image data (moving image data) from the subject image received via the optical system 201 by the image sensor 103.
  • the smartphone 200 can communicate with the video camera 100 via the WiFi module 235.
  • the smartphone 200 can transmit the generated image data to the video camera 100 via the WiFi module 235.
  • the image processing unit 205 performs various processes on the image data generated by the image sensor 203 to generate an image (live view image) to be displayed on the liquid crystal monitor 215. Examples of various processes include, but are not limited to, an expansion process.
  • the image processing unit 205 may be configured with a hard-wired electronic circuit or a microcomputer using a program.
  • the touch panel 210 is an input device that detects contact of a user's finger or the like and outputs operation information to the controller 225.
  • the touch panel 210 is disposed on the surface of the liquid crystal monitor 215.
  • the touch panel 210 may be a resistive film type, a capacitance type, or another type.
  • the liquid crystal monitor 215 is a display device that displays a screen instructed by the controller 225.
  • another type of display device for example, an organic EL monitor may be used.
  • the buffer memory 220 is a memory that temporarily stores information necessary for the controller 225 to execute various processing operations.
  • the controller 225 controls the operation of each unit constituting the smartphone 200.
  • the controller 225 is electrically connected to the image processing unit 205, the touch panel 210, the liquid crystal monitor 215, the buffer memory 220, the operation unit 230, the WiFi module 235, and the flash memory 245.
  • the controller 225 includes a CPU or MPU, and realizes the function of the smartphone 200 described later by executing a predetermined program (hereinafter referred to as “image distribution application”).
  • image distribution application is stored in the flash memory 245.
  • the WiFi module 235 is a communication module (circuit) that performs communication conforming to the communication standard IEEE 802.11.
  • the smartphone 200 can communicate with other communication devices equipped with the WiFi module via the WiFi module 235.
  • the smartphone 200 may directly communicate with another communication device via the WiFi module 235 or may communicate via an access point.
  • a communication module that performs communication conforming to the communication standard 802.15.1, that is, Bluetooth (registered trademark) may be used. That is, a communication module capable of communication with a relatively high communication bit rate and a communication area of several meters or more may be used as the communication module.
  • the smartphone 200 can communicate with the video camera 100 via the WiFi module 235, and can transmit image data to the video camera 100 or receive it from the video camera 100.
  • a flash memory 245 stores image data taken by the smartphone 200, image data transferred from the video camera 100, and the like.
  • the smartphone 200 has a telephone function and an Internet communication function.
  • the smartphone 200 may include a second imaging unit (sub camera) in addition to the second imaging unit (main camera) including the optical system 201 and the image sensor 203.
  • a second imaging unit sub camera
  • main camera main camera
  • an image captured by the second imaging unit may be superimposed on an image captured by the first imaging unit.
  • the video camera 100 can use a plurality of external electronic devices as sub cameras.
  • the video camera 100 receives images (moving images) taken by a plurality of electronic devices from each electronic device, and superimposes (combines) them on a partial area of the images (moving images) taken by the video camera 100 for display and recording. be able to.
  • This function is called “multi-wipe function”.
  • a smartphone is used as a sub camera.
  • the video camera 100 can perform WiFi communication via the WiFi module 155 to the smartphones 200a to 200c.
  • the video camera 100 receives image data (moving image data) indicating images taken by the smartphones 200a to 200c from the smartphones 200a to 200c.
  • the video camera 100 generates an image obtained by superimposing (combining) the images (moving images) received from the smartphones 200a to 200c on a part of the images (moving images) captured by the video camera 100 itself, and displays the images on the liquid crystal monitor 130. At the same time, it is recorded on the recording medium 145 according to the user operation.
  • FIG. 4 is a diagram illustrating an example of an image displayed on the liquid crystal monitor 130 of the video camera 100 in the multi-wipe function.
  • images received from the smartphones 200 a and 200 b are superimposed as wipe images 301 and 302 on an image 300 (hereinafter referred to as “main image”) 300 captured by the video camera 100.
  • the video camera 100 generates image data indicating an image 300a.
  • the smartphone 200a generates an image 301a
  • the smartphone 200b generates an image 302a.
  • the video camera 100 receives image data indicating the images 301a and 302a from the smartphones 200a and 200b.
  • the video camera 100 superimposes images 301a and 302b indicated by the image data received from the smartphones 200a and 200b on the image 300a captured by the video camera 100 as wipe images.
  • a composite image in which the wipe images 301 and 302 are superimposed on the main image 300 as shown in FIG. 4 is generated.
  • the moving image is recorded with the wipe images 301 and 302 superimposed on the main image 300.
  • FIG. 6 is a diagram for explaining the registration operation.
  • a screen 131 is an example of a setting screen displayed on the liquid crystal monitor 130 of the video camera 100.
  • a setting screen 131 is displayed by performing a predetermined operation on the operation unit 150 of the video camera 100.
  • On the setting screen 131 a plurality of icons for setting various functions are displayed.
  • a registration screen 132 is displayed. On the registration screen 132, the user can register an external device used as a sub camera in the multi-wipe function.
  • FIG. 7 is a diagram illustrating a data configuration of the sub camera registration information.
  • the sub camera registration information manages the device names of external devices registered as sub cameras.
  • the sub camera registration information is stored in the recording medium 145 in the video camera 100.
  • three smartphones 200a, 200b, and 200c devices 200a, 200b, and 200c (device names: smart_phone_a, smart_phone_b, smart_phone_c) are registered.
  • an upper limit (hereinafter referred to as “first predetermined number”) of the number of devices that can be registered as sub cameras for the multi-wipe function is set.
  • the first predetermined number is set to “3” as an example. That is, in the video camera 100, up to three external devices can be registered as sub cameras.
  • an upper limit value (hereinafter referred to as “second predetermined number”) of the number of external devices (sub-cameras) permitted to distribute image data to the video camera 100 is also set.
  • the second predetermined number is set to a value smaller than the first predetermined number, and is set to “2” as an example in the present embodiment. In this way, only up to two images can be distributed simultaneously from the smartphone to the video camera 100. This is because when the video camera 100 receives image data from three smartphones at the same time, the communication band is insufficient, and when the received video data is played back by the video camera 100, frame dropping or delay occurs. This is to cause deterioration of.
  • the number of external devices (sub-cameras) that distribute image data is limited to a number smaller than the number of devices that can be registered as sub-cameras, thereby securing a communication band for image data distribution.
  • the image quality is prevented from being deteriorated when the received image data is reproduced.
  • FIG. 8 is a flowchart showing an operation related to the multi-wipe function in the video camera 100.
  • the controller 135 of the video camera 100 detects the smartphone 200 that can be connected in WiFi communication (S11), the controller 135 performs connection processing (that is, establishment of WiFi communication) according to the WiFi standard on the detected smartphone (S12). For this reason, the video camera 100 holds connection information (SSID, WEP key, etc.) necessary for connection by WiFi communication to the smartphone 200 to be connected.
  • connection processing that is, establishment of WiFi communication
  • the video camera 100 holds connection information (SSID, WEP key, etc.) necessary for connection by WiFi communication to the smartphone 200 to be connected.
  • ImageApp a dedicated application for transmitting image data from the smartphone 200 to the video camera 100 is activated to perform the ImageApp connection process (S13).
  • ImageApp a dedicated application for transmitting image data from the smartphone 200 to the video camera 100 is activated to perform the ImageApp connection process (S13).
  • the controller 135 determines whether or not the connected smartphone 200 is registered in the sub camera registration information (see FIG. 7) (S14).
  • the ImageApp connection process is terminated without being completed (an error response is returned to the smartphone 200).
  • the controller 135 determines the number of smartphones 200 (sub cameras) that are already permitted to distribute images to the video camera 100 at the present time. Is less than the second predetermined number (“2” in this example) (S15).
  • the second predetermined number is an upper limit value of the number of external devices permitted to distribute image data. Note that the controller 135 performs management by counting the number of smartphones 200 that have permitted image distribution.
  • the controller 135 Disallow image distribution is set (S17).
  • the controller 135 transmits information indicating that image distribution is not permitted in the camera information (S17).
  • the camera information includes various information indicating the state of the video camera 100 in addition to information indicating that image distribution is not permitted.
  • the camera information includes information indicating whether or not the video camera 100 is recording, and information indicating whether or not the wipe function is turned on.
  • the controller 135 sets permission for image distribution to the smartphones 200. (S16). At this time, the controller 135 counts up a counter that indicates the number of smartphones that are permitted to distribute images by one.
  • the controller 135 receives a request for camera information from the smartphone 200
  • the controller 135 includes information indicating permission of image distribution in the camera information and transmits the camera information (S16).
  • the smartphone 200 receives information indicating permission of image distribution from the video camera 100
  • the smartphone 200 starts distributing image data indicating an image captured by the smartphone 200 to the video camera 100.
  • the video camera 100 permits connection of up to three smartphones 200, but permits distribution of image data only from up to two smartphones 200. By such control, it is possible to suppress a shortage of communication band and reduce image quality deterioration of image data recorded (or displayed) when the multi-wipe function is executed.
  • FIG. 9 is a flowchart showing an operation related to the multi-wipe function in the smartphone 200. The process illustrated in FIG. 9 is realized by the controller 225 of the smartphone 200 executing the image distribution application.
  • the controller 225 of the smartphone 200 performs WiFi communication connection processing with the video camera 100 (see step S12 in FIG. 8) (S21).
  • the controller 225 activates ImageApp and performs ImageApp connection processing (see step S13 in FIG. 8) (S22).
  • the controller 225 requests and receives camera information from the video camera 100 (S23).
  • the video camera 100 receives a request for camera information from the smartphone 200
  • the video camera 100 incorporates information indicating permission / non-permission of image distribution into the camera information and transmits the information to the smartphone 200 (see steps S16 and S17 in FIG. 8).
  • the controller 225 confirms information indicating permission / non-permission of image distribution included in the received camera information (S24).
  • the controller 225 transmits the image data of the image captured by the smartphone 200 to the video camera 100 via the WiFi module 235.
  • the controller 225 transmits an image to the video camera 100. Data transmission is not performed (S26), and the process returns to step S23 to request camera information from the video camera 100 again.
  • the video camera 100 receives a request for camera information from the smartphone 200
  • the video camera 100 transmits the camera information to the smartphone 200.
  • the controller 135 of the video camera 100 newly sets information indicating permission / non-permission of image distribution based on the latest state regarding permission of image distribution, and transmits the information to the smartphone 200 after being incorporated in the camera information.
  • the controller 135 of the video camera 100 blocks connection to the smartphone 200 when image data cannot be received from the smartphone 200 that has permitted image distribution for a predetermined time. At the same time, the controller 135 decrements the counter indicating the number of smartphones that are permitted to distribute images by one.
  • the controller 225 of the smartphone 200 determines whether or not to distribute the image data based on information indicating permission / non-permission of image distribution (S24 to S26).
  • the controller 225 of the smartphone 200 periodically requests camera information from the video camera 100 until receiving information indicating permission of image distribution from the video camera 100. Thereby, the controller 225 of the smartphone 200 determines whether or not the image distribution is permitted for the self-device, and starts the distribution of the image data when the image distribution is permitted. To do.
  • this control for example, two smartphones 200a to 200c are connected to the video camera 100, and two smartphones that are permitted to distribute images in a state where image distribution is not permitted to the smartphone 200c that is connected last. When at least one of the image distributions 200a and 200b is stopped, it is possible to immediately start image distribution from the smartphone 200c connected last.
  • FIG. 10 is a sequence diagram of data communication between the video camera 100 and the smartphone 200 when image distribution is permitted.
  • FIG. 11 is a diagram illustrating the addition of a wipe image that accompanies connection of the smartphone 200.
  • FIG. 12 is a sequence diagram of data communication between the video camera 100 and the smartphone 200 when image distribution is not permitted.
  • the smartphone 200 transmits image data indicating a live video to the video camera 100 after the connection between the video camera 100 and the smartphone 200 is completed.
  • FIG. 11A shows an image displayed on the liquid crystal monitor 130 of the video camera 100 when the smartphone 200 is not connected to the video camera 100.
  • FIG. 11A only the main image 300 taken by the video camera 100 is displayed.
  • the smartphone 200 a is first connected as a sub camera to the video camera 100
  • live video image data is transmitted from the smartphone 200 a to the video camera 100.
  • the wipe image 301 by the smartphone 200a is displayed on the main image 300.
  • the smartphone 200 b is further connected to the video camera 100
  • live video image data is transmitted from the smartphone 200 b to the video camera 100.
  • FIG. 11C the wipe image 302 by the smartphone 200b is displayed on the main image 300.
  • FIG. 12 is a diagram showing a communication sequence between the smartphone 200c and the video camera 100 in which image distribution is not permitted.
  • the smartphone 200 c does not distribute image data indicating a live video to the video camera 100 and requests camera information periodically (for example, every second).
  • the smartphone 200c periodically determines whether or not image distribution is permitted for the self-device, and when the image distribution is permitted, the smartphone 200c immediately distributes the image data. So that you can start.
  • the video camera 100 (an example of an imaging apparatus) according to the present embodiment includes the image sensor 115 (an example of an imaging unit) that images a subject and generates image data, and a plurality of smartphones 200 (an example of an electronic device). ) That receives image data (for example, moving image data) from the WiFi module 155 (an example of a communication unit) and an image indicated by image data received from a smartphone registered in advance as a target device for the multi-wipe function (an example of a predetermined function) And a controller 135 that synthesizes the image indicated by the image data generated by the image sensor 115.
  • image data for example, moving image data
  • WiFi module 155 an example of a communication unit
  • an image indicated by image data received from a smartphone registered in advance as a target device for the multi-wipe function an example of a predetermined function
  • a controller 135 that synthesizes the image indicated by the image data generated by the image sensor 115.
  • the controller 135 registers the smartphones within the first predetermined number (for example, 3) as target devices for the multi-wipe function (see FIG. 7).
  • the controller 135 limits the number of smartphones that receive image data via the WiFi module 155 to a second predetermined number (for example, 2) or less that is smaller than the first predetermined number.
  • the smartphone 100 is a device that transmits image data to the video camera 100, and includes an image sensor 203 (an example of a second imaging unit) that captures an image of a subject and generates image data, and a video camera 100.
  • a WiFi module 235 that transmits image data generated by the image sensor 203 and a controller 225 (an example of a second control unit) that controls transmission of image data to the video camera 100 are provided.
  • the controller 225 receives distribution permission of image data from the video camera 100, the controller 225 transmits the image data generated by the image sensor 203 to the video camera 100.
  • the number of smartphones that transmit image data via the WiFi module 155 is limited. Thereby, it is possible to prevent the bandwidth of the communication line from being insufficient, and in the video camera 100, it is possible to reduce the deterioration of the image quality when the received image is reproduced due to the insufficient bandwidth.
  • a smartphone is used as a device used as a sub camera in the multi-wipe function, but other electronic devices may be used. That is, various electronic devices (for example, a video camera, a digital camera, a mobile phone, a tablet terminal, and a personal computer with a camera) can be used as a sub camera as long as the device can communicate with the video camera 100 and transmit image data. Can be used as
  • the first predetermined number which is the upper limit value of the number of devices that can be registered as sub cameras, is set to “3”, and external devices (sub cameras) that permit the video camera 100 to distribute image data
  • the second predetermined number that is the upper limit value of the number is set to “2”, but these numerical values are examples.
  • the first and second predetermined number of values can be set as appropriate according to the application and restrictions of the system.
  • image data is exchanged between the video camera 100 and the smartphone 200 via communication conforming to the WiFi standard, but communication conforming to another communication interface standard (for example, Bluetooth (registered trademark)) is performed. May be used.
  • communication conforming to another communication interface standard for example, Bluetooth (registered trademark)
  • the controller 135 of the video camera 100 and the controller 225 of the smartphone 200 are configured to include a CPU or MPU that executes a program.
  • these controllers 135 and 225 are hard-wired electronic circuits. It may be configured by a microcomputer or the like. That is, the controllers 135 and 225 can be configured by a CPU, MPU, DSU, FPGA, ASIC, microcomputer, or the like.
  • the image data is distributed from the smartphone to the video camera, but other types of content data (still image, audio, etc.) may be distributed instead of the image data.
  • the number of electronic devices that distribute other types of content data may be limited by a method similar to the above method.
  • the present disclosure is useful for an imaging apparatus (for example, a video camera) that can receive image data from a plurality of external devices and record an image obtained by combining an image indicated by the received image data with an image captured by the own device. It is.
  • an imaging apparatus for example, a video camera

Abstract

撮像装置は、被写体を撮像して画像データを生成する撮像部と、複数の電子機器から画像データを受信する通信部と、所定機能に対する対象機器として予め登録された電子機器から受信した画像データが示す画像と、前記撮像部により生成された画像データが示す画像とを合成する制御部と、を備える。制御部は、第１の所定数内の電子機器を前記対象機器として登録する。制御部は、通信部を介して画像データを受信する電子機器の数を、第１の所定数よりも小さい第２の所定数以下に制限する（Ｓ１４）。

Description

撮像装置、電子機器及び撮像システム
　本開示は、複数の外部機器から画像データを受信し、受信した画像データが示す画像と自機で撮像した画像とを合成した画像を記録可能な撮像装置に関する。
　特許文献１は複数チャンネルの電子画像を合成する電子カメラを開示している。特許文献１に開示された電子カメラは、撮像手段で生成されたメイン電子画像に、取得手段で取得されたサブ電子画像を合成する。その際、サブ電子画像は、メイン電子画像のサイズを下回るサイズにサイズが調整されて合成される。また、サブ電子画像において有意な変化が生じたサブシーンを検知する。そのようなサブシーンが検知された場合、検知したサブシーンを表すサブ電子画像のサイズや合成態様を変更し、そのサブ電子画像を強調する。これにより、必要且つ十分な情報を観者に伝達し、合成画像の視認性を向上している。
　また、特許文献２はマルチアングル撮影が可能な撮像装置（カメラ）を開示する。特許文献２の撮像装置（カメラ）は、他の撮影装置からの動画データを無線で受信し、他の撮影装置から受信した動画データと、自機で撮影した動画データとを合成して表示手段に表示する撮影装置を開示する。
特開２０１４－１０７７７５号公報 特開２００７－１７３９６３号公報
　本開示は、複数の外部機器から画像データを受信し、受信した画像データが示す画像と自機で撮像した画像とを合成した画像を記録可能な撮像装置を提供する。
　本開示の第１の態様において、複数の画像を合成して記録することが可能な撮像装置が提供される。撮像装置は、被写体を撮像して画像データを生成する撮像部と、複数の電子機器から画像データを受信する通信部と、所定機能に対する対象機器として予め登録された電子機器から受信した画像データが示す画像と、前記撮像部により生成された画像データが示す画像とを合成する制御部と、を備える。制御部は、第１の所定数内の電子機器を前記対象機器として登録する。制御部は、通信部を介して画像データを受信する電子機器の数を、第１の所定数よりも小さい第２の所定数に制限する。
　本開示の第２の態様において、上記の撮像装置に画像データを送信する電子機器が提供される。電子機器は、被写体を撮像して画像データを生成する第２の撮像部と、撮像装置に第２の撮像部により生成された画像データを送信する第２の通信部と、撮像装置に対する画像データの送信を制御する第２の制御部と、を備える。第２の制御部は、撮像装置から画像データの配信許可を受けたときに、撮像装置に対して、第２の撮像部により生成された画像データを送信する。
　本開示によれば、撮像装置において、画像データを受信する外部機器の数を制限することから、通信回線の帯域不足による合成画像再生時の画質の劣化を低減することができる。
ビデオカメラとスマートフォンとを含む撮像システムの構成を示す図 ビデオカメラの電気的構成図 スマートフォンの電気的構成図 マルチワイプ機能により表示される画像の例を示した図 ビデオカメラとスマートフォンのそれぞれで撮像される画像を説明した図 サブカメラの登録動作を説明するための図 サブカメラの登録情報を説明した図 ビデオカメラにおける画像配信動作に関する処理を示すフローチャート スマートフォンにおける画像配信動作に関する処理を示すフローチャート 画像配信許可時のビデオカメラとスマートフォン間の通信を示すシーケンス図 スマートフォンの接続に伴うワイプ画像の追加を説明した図 画像配信不許可時のビデオカメラとスマートフォン間の通信を示すシーケンス図
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　図１は、実施の形態１にかかるビデオカメラとスマートフォンを含む撮像システムの構成を示す図である。ビデオカメラ１００は、複数のスマートフォン２００ａ～２００ｃと通信を確立することができ、複数のスマートフォン２００ａ～２００ｃから画像データ（動画データ）を同時に受信することができる。
　〔１．構成〕
　以下、実施の形態１にかかるビデオカメラ１００およびスマートフォン２００ａ～２００ｃの構成について説明する。なお、以下の説明において、スマートフォン２００ａ～２００ｃを区別なく説明する場合、スマートフォンに対して符号「２００」を用いる。
　　〔１－１．ビデオカメラの構成〕
　図２は、ビデオカメラ１００の電気的構成図である。ビデオカメラ１００は、光学系１１０を介して形成された被写体像を画像センサ１１５で撮像する。画像センサ１１５は撮像した被写体像に基づく撮像データ（ＲＡＷデータ）を生成する。画像処理部１２０は、撮像により生成された撮像データに対して各種処理を施して画像データを生成する。コントローラ１３５は、画像処理部１２０にて生成された画像データを記録媒体１４５に記録する。また、コントローラ１３５は、記録媒体１４５に記録された画像データを、使用者による操作部１５０の操作を受け付けて液晶モニタ１３０上に表示させること（再生）ができる。
　光学系１１０は、フォーカスレンズ、ズームレンズ、光学式手ぶれ補正レンズ（ＯＩＳ）、絞り、シャッタ、等を含む。光学系１１０に含まれる各種レンズは、何枚から構成されるものであっても、何群から構成されるものであってもよい。
　画像センサ１１５は、光学系１１０を介して形成された被写体像を撮像して撮像データを生成するデバイスである。画像センサ１１５は、所定のフレームレート（例えば、３０フレーム／秒）で画像データ（動画データ）を生成する。画像センサ１１５における、撮像データの生成タイミングおよび電子シャッタ動作は、コントローラ１３５によって制御される。なお、画像センサ１１５は例えば、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサまたはＮＭＯＳイメージセンサで構成される。
　画像処理部１２０は、画像センサ１１５から出力された撮像データに対して各種の処理を施して画像データを生成する回路である。また、画像処理部１２０は、記録媒体１４５から読み出した画像データに各種の処理を施して、液晶モニタ１３０に表示するための画像を生成する。各種処理としては、ホワイトバランス補正、ガンマ補正、ＹＣ変換処理、電子ズーム処理、圧縮処理、伸張処理等が挙げられるが、これらに限定されない。画像処理部１２０は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。
　液晶モニタ１３０は、例えば、ビデオカメラ１００本体の側面において開閉可能に取り付けられた筐体に備わる。液晶モニタ１３０は、画像処理部１２０にて処理された画像データに基づく画像を表示する。なお、表示装置として、液晶モニタに代えて、有機ＥＬモニタなど、他のモニタを用いてもよい。
　コントローラ１３５は、ビデオカメラ１００全体の動作を統括制御する。コントローラ１３５は、ＣＰＵまたはＭＰＵを含み、所定のプログラムを実行することで、後述するビデオカメラ１００の機能を実現する。また、コントローラ１３５は、画像処理部１２０などと共に１つの半導体チップに集積されてもよい。また、コントローラ１３５は内部にＲＯＭ（図示せず）を有している。ＲＯＭには、他の通信機器とのＷｉＦｉ通信を確立するために必要なＳＳＩＤ（Ｓｅｒｖｉｃ Ｓｅｔ Ｉｄｅｎｔｉｆｉｅｒ）、ＷＥＰキー（Ｗｉｒｅｄ Ｅｑｕｉｖａｌｅｎｔ Ｐｒｉｖａｃｙ Ｋｅｙ）が記憶されている。コントローラ１３５は、必要に応じて、ＲＯＭからＳＳＩＤ、ＷＥＰキーを読み出すことができる。また、ＲＯＭには、オートフォーカス制御（ＡＦ制御）や、通信制御に関するプログラムの他、ビデオカメラ１００全体の動作を統括制御するためのプログラムが記憶されている。
　バッファメモリ１２５は、画像処理部１２０やコントローラ１３５のワークメモリとして機能する記録媒体である。バッファメモリ１２５は、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより実現される。
　記録制御部１４０は、記録媒体１４５に対して画像データの記録や記録媒体１４５から画像データを再生するための装置である。記録媒体１４５は、内部にフラッシュメモリを備えたＳＳＤ（Solid State Drive）である。記録媒体１４５はＳＳＤに代えて、ハードディスク（ＨＤＤ）または着脱可能なメモリカードで構成してもよい。記録媒体１４５は、画像処理部１２０で生成される画像データなどのデータを格納できる。
　操作部１５０は、使用者による操作を受け付けるユーザインタフェースであり、操作釦、操作レバー，タッチパネル等を含む。操作部１５０は使用者による操作を受け付けると、コントローラ１３５に種々の動作指示信号を通知する。
　ＷｉＦｉモジュール１５５は、通信規格ＩＥＥＥ８０２．１１に準拠した通信を行う通信モジュール（電子回路）である。ビデオカメラ１００は、ＷｉＦｉモジュール１５５を介して、ＷｉＦｉモジュールを搭載した他の外部機器（例えば、スマートフォン２００ａ～２００ｃ）と通信することができる。ビデオカメラ１００は、ＷｉＦｉモジュール１５５を介して、他の通信機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、ＷｉＦｉモジュールに換えて、通信規格８０２．１５．１すなわち、Ｂｌｕｅｔｏｏｔｈ（登録商標）に準拠した通信を行う通信モジュールを使用しても構わない。
　　〔１－２．スマートフォンの構成〕
　図３は、スマートフォン２００の電気的構成図である。スマートフォン２００は、画像センサ１０３により、光学系２０１を介して受信した被写体像から画像データ（動画データ）を生成する。スマートフォン２００はＷｉＦｉモジュール２３５を介してビデオカメラ１００と通信可能である。スマートフォン２００は、生成した画像データを、ＷｉＦｉモジュール２３５を介してビデオカメラ１００に送信することができる。
　画像処理部２０５は、画像センサ２０３で生成された画像データに各種の処理を施して、液晶モニタ２１５に表示するための画像（ライブビュー画像）を生成する。各種処理としては、伸張処理等が挙げられるが、これらに限定されない。画像処理部２０５は、ハードワイヤードな電子回路で構成してもよいし、プログラムを用いたマイクロコンピュータなどで構成してもよい。
　タッチパネル２１０は、使用者の指等の接触を検出して操作情報をコントローラ２２５に出力する入力デバイスである。タッチパネル２１０は、液晶モニタ２１５の表面に配置されている。タッチパネル２１０は、抵抗膜方式でも、静電容量方式でも、他の方式であっても構わない。
　液晶モニタ２１５は、コントローラ２２５から指示された画面を表示する表示デバイスである。液晶モニタに代えて、他の種類の表示デバイス（例えば、有機ＥＬモニタ）を用いてもよい。
　バッファメモリ２２０は、コントローラ２２５が各種処理動作を実行するために必要な情報を一時的に格納するメモリである。
　コントローラ２２５は、スマートフォン２００を構成する各部の動作を制御する。コントローラ２２５は、画像処理部２０５、タッチパネル２１０、液晶モニタ２１５、バッファメモリ２２０、操作部２３０、ＷｉＦｉモジュール２３５及びフラッシュメモリ２４５に電気的に接続されている。コントローラ２２５はＣＰＵまたはＭＰＵを含み、所定のプログラム（以下「画像配信アプリケーション」という）を実行することで、後述するスマートフォン２００の機能を実現する。画像配信アプリケーションはフラッシュメモリ２４５に格納される。
　ＷｉＦｉモジュール２３５は、通信規格ＩＥＥＥ８０２．１１に準拠した通信を行う通信モジュール（回路）である。スマートフォン２００は、ＷｉＦｉモジュール２３５を介して、ＷｉＦｉモジュールを搭載した他の通信機器と通信することができる。スマートフォン２００は、ＷｉＦｉモジュール２３５を介して、他の通信機器と直接通信を行ってもよいし、アクセスポイント経由で通信を行ってもよい。なお、ＷｉＦｉモジュールに換えて、通信規格８０２．１５．１すなわち、Ｂｌｕｅｔｏｏｔｈ（登録商標）に準拠した通信を行う通信モジュールを使用しても構わない。すなわち、通信モジュールとして、比較的通信ビットレートが高く、通信エリアが数メートル以上である通信が可能な通信モジュールを使用すればよい。
　スマートフォン２００は、ＷｉＦｉモジュール２３５を介してビデオカメラ１００と通信可能であり、画像データをビデオカメラ１００に送信したり、ビデオカメラ１００から受信したりすることができる。
　フラッシュメモリ（以下単に「メモリ」という。）２４５は、スマートフォン２００で撮影した画像データ及びビデオカメラ１００から転送された画像データ等を格納する。
　スマートフォン２００は、電話機能やインターネット通信機能を備える。また、スマートフォン２００は、光学系２０１及び画像センサ２０３を含む第２の撮像部（メインカメラ）に加えて、第２の撮像部（サブカメラ）を備えても良い。この場合、マルチワイプ機能（詳細は後述）として、第１の撮像部で撮影した画像に対して第２の撮像部で撮影した画像を重畳してもよい。
　〔２．動作〕
　　〔２．１　マルチワイプ機能〕
　以下、マルチワイプ機能について説明する。ビデオカメラ１００は、複数の外部の電子機器をサブカメラとして使用することができる。ビデオカメラ１００は、複数の電子機器で撮影した画像（動画）を各電子機器から受信し、ビデオカメラ１００で撮影した画像（動画）の一部の領域に重畳（合成）して表示、記録することができる。この機能を「マルチワイプ機能」という。本実施形態では、スマートフォンをサブカメラとして使用している。
　ビデオカメラ１００は、スマートフォン２００ａ～２００ｃに対してＷｉＦｉモジュール１５５を介してＷｉＦｉ通信を行うことができる。マルチワイプ機能実行時において、ビデオカメラ１００は、スマートフォン２００ａ～２００ｃからスマートフォン２００ａ～２００ｃで撮影した画像を示す画像データ（動画データ）を受信する。そして、ビデオカメラ１００は、ビデオカメラ１００自体で撮影した画像（動画）の一部にスマートフォン２００ａ～２００ｃから受信した画像（動画）を重畳（合成）した画像を生成し、液晶モニタ１３０に表示するとともに、ユーザ操作にしたがい記録媒体１４５に記録する。
　図４は、マルチワイプ機能においてビデオカメラ１００の液晶モニタ１３０に表示される画像の一例を説明した図である。図４に示すように、ビデオカメラ１００で撮影した画像（以下「メイン画像」という）３００に、スマートフォン２００ａ、２００ｂから受信した画像がワイプ画像３０１、３０２として重畳されている。この場合、図５に示すように、ビデオカメラ１００は、画像３００ａを示す画像データを生成する。スマートフォン２００ａは画像３０１ａを生成し、スマートフォン２００ｂは画像３０２ａを生成する。ビデオカメラ１００は、スマートフォン２００ａ及び２００ｂから、画像３０１ａ、３０２ａを示す画像データを受信する。そして、ビデオカメラ１００は、ビデオカメラ１００で撮影した画像３００ａに対してスマートフォン２００ａ、２００ｂから受信した画像データが示す画像３０１ａ、３０２ｂをワイプ画像として重畳する。これにより、図４に示すようなメイン画像３００にワイプ画像３０１、３０２が重畳された合成画像が生成される。図４に示す状態で、ビデオカメラ１００においてユーザにより動画記録の開始を指示する所定の操作がなされると、メイン画像３００にワイプ画像３０１、３０２が重畳された状態で動画が記録される。
　本実施形態のビデオカメラ１００は、マルチワイプ機能のためのサブカメラとして使用する外部機器を予め登録している。図６はその登録動作を説明するための図である。図６において、画面１３１はビデオカメラ１００の液晶モニタ１３０に表示される設定画面の一例である。ビデオカメラ１００の操作部１５０において所定の操作を行うことで設定画面１３１が表示される。設定画面１３１において、種々の機能を設定するための複数のアイコンが表示されている。設定画面１３１上で、ユーザによりマルチワイプ機能設定用のアイコン１３１ａが選択されると、登録画面１３２が表示される。ユーザは登録画面１３２において、マルチワイプ機能におけるサブカメラとして使用される外部機器を登録することができる。登録画面１３２上では、登録する外部機器の機器名を入力する。登録画面１３２上での登録が完了すると、サブカメラ登録情報が生成（または更新）される。図７は、サブカメラ登録情報のデータ構成を示す図である。サブカメラ登録情報は、サブカメラとして登録される外部機器の機器名を管理している。サブカメラ登録情報はビデオカメラ１００内の記録媒体１４５に格納される。図６、図７の例では、３台のスマートフォン２００ａ、２００ｂ、２００ｃ（機器名：smart_phone_a, smart_phone_b, smart_phone_c）が登録されている。
　本実施形態のビデオカメラ１００において、マルチワイプ機能のためのサブカメラとして登録可能な機器の数の上限値（以下「第１の所定数」という）が設定されている。本実施形態では、第１の所定数は一例として「３」に設定される。すなわち、ビデオカメラ１００において、サブカメラとして３台までの外部機器を登録することができる。
　また、マルチワイプ機能において、ビデオカメラ１００に対して画像データの配信を許可する外部機器（サブカメラ）の数の上限値（以下「第２の所定数」という）も設定されている。第２の所定数は、第１の所定数よりも小さい値に設定され、本実施形態では、一例として「２」に設定される。このようにビデオカメラ１００に対して、スマートフォンからは同時に２台までしか画像を配信することができないようになっている。これは、ビデオカメラ１００が、３台のスマートフォンから同時に画像データを受信した場合、通信帯域が不足し、ビデオカメラ１００において、受信した画像データを再生した場合にコマ落ちや遅延が発生し、画質の劣化を招くためである。本実施形態では、画像データを配信する外部機器（サブカメラ）の数を、サブカメラとして登録可能な機器の数よりも小さい数に制限することにより、画像データ配信のための通信帯域を確保し、受信した画像データの再生時の画質の劣化を防止している。
　　〔２－２．ビデオカメラとスマートフォン間の通信動作〕
　図８～図１１を用いて、マルチワイプ機能に関連するビデオカメラ１００とスマートフォン２００の通信動作について説明する。
　図８は、ビデオカメラ１００におけるマルチワイプ機能に関する動作を示すフローチャートである。
　ビデオカメラ１００のコントローラ１３５は、ＷｉＦｉ通信において接続可能なスマートフォン２００を検出すると（Ｓ１１）、検出したスマートフォンに対してＷｉＦｉ規格にしたがい接続処理（すなわち、ＷｉＦｉ通信の確立）を行う（Ｓ１２）。このため、ビデオカメラ１００は、接続すべきスマートフォン２００に対して、ＷｉＦｉ通信での接続に必要な接続情報（ＳＳＩＤ、ＷＥＰキー等）を保持している。
　接続処理が完了すると、スマートフォン２００からビデオカメラ１００に画像データを送信するための専用アプリケーション（以下「ＩｍａｇｅＡｐｐ」という）を起動し、ＩｍａｇｅＡｐｐ接続処理を行う（Ｓ１３）。ＩｍａｇｅＡｐｐ接続処理内でコントローラ１３５は、接続したスマートフォン２００がサブカメラ登録情報（図７参照）に登録されているか否かを判断する（Ｓ１４）。
　接続したスマートフォン２００がサブカメラ登録情報に登録されていない場合（Ｓ１４でＮＯ）、ＩｍａｇｅＡｐｐ接続処理が完了せず終了する（スマートフォン２００に対してエラー応答を返す）。
　一方、接続したスマートフォン２００がサブカメラ登録情報に登録されている場合（Ｓ１４でＹＥＳ）、コントローラ１３５は、現時点で既にビデオカメラ１００への画像配信が許可されているスマートフォン２００（サブカメラ）の数が、第２の所定数（本例では「２」）未満か否かを判断する（Ｓ１５）。ここで、第２の所定数は、画像データの配信を許可する外部機器の数の上限値である。なお、コントローラ１３５は、画像配信を許可したスマートフォン２００の数をカウントすることで管理している。
　既に画像配信が許可されたスマートフォン２００（サブカメラ）の数が第２の所定数（本例では「２」）以上である場合（Ｓ１５でＮＯ）、コントローラ１３５は、そのスマートフォン２００に対して、画像配信の不許可を設定する（Ｓ１７）。そして、スマートフォン２００からカメラ情報の要求を受信したときに、コントローラ１３５は、画像配信の不許可を示す情報をカメラ情報に含めて送信する（Ｓ１７）。カメラ情報は、画像配信の不許可を示す情報以外にも、ビデオカメラ１００の状態を示す種々の情報を含む。例えば、カメラ情報は、ビデオカメラ１００が録画中であるか否かを示す情報や、ワイプ機能がオンになっているか否かを示す情報を含む。
　一方、画像配信が許可されたスマートフォン２００（サブカメラ）の数が第２の所定数に未満の場合（Ｓ１５でＹＥＳ）、コントローラ１３５は、そのスマートフォン２００に対して、画像配信の許可を設定する（Ｓ１６）。このとき、コントローラ１３５は、画像配信が許可されているスマートフォンの数を示すカウンタを１だけカウントアップする。コントローラ１３５は、スマートフォン２００からカメラ情報の要求を受信したときに、画像配信の許可を示す情報をカメラ情報に含めて送信する（Ｓ１６）。スマートフォン２００は、ビデオカメラ１００から画像配信の許可を示す情報を受信した場合、スマートフォン２００で撮影した画像を示す画像データのビデオカメラ１００への配信を開始する。
　以上のように、ビデオカメラ１００は３台までスマートフォン２００の接続を許可するが、２台までのスマートフォン２００からしか画像データの配信を許可しない。このような制御により、通信帯域の不足を抑制し、マルチワイプ機能実行時に記録（又は表示）される画像データの画質劣化を低減することができる。
　図９は、スマートフォン２００におけるマルチワイプ機能に関する動作を示すフローチャートである。図９に示す処理は、スマートフォン２００のコントローラ２２５が画像配信アプリケーションを実行することで実現される。
　スマートフォン２００のコントローラ２２５は、ビデオカメラ１００との間でＷｉＦｉ通信の接続処理を行う（図８のステップＳ１２参照）（Ｓ２１）。コントローラ２２５はＩｍａｇｅＡｐｐを起動し、ＩｍａｇｅＡｐｐ接続処理を行う（図８のステップＳ１３参照）（Ｓ２２）。コントローラ２２５は、カメラ情報を、ビデオカメラ１００に対して要求し、受信する（Ｓ２３）。ビデオカメラ１００は、スマートフォン２００からカメラ情報の要求を受けると、画像配信の許可／不許可を示す情報を、カメラ情報に組み込んでスマートフォン２００に送信する（図８のステップＳ１６、１７参照）。コントローラ２２５は、受信したカメラ情報に含まれる画像配信の許可／不許可を示す情報を確認する（Ｓ２４）。
　カメラ情報において画像配信の許可を示す情報を受信した場合（Ｓ２４でＹＥＳ）、コントローラ２２５は、スマートフォン２００で撮像した画像の画像データをＷｉＦｉモジュール２３５を介してビデオカメラ１００に送信する。
　一方、カメラ情報において画像配信の許可を示す情報を受信しなかった場合、すなわち、画像配信の不許可を示す情報を受信した場合（Ｓ２４でＮＯ）、コントローラ２２５は、ビデオカメラ１００に対して画像データの送信は行わず（Ｓ２６）、ステップＳ２３に戻り、ビデオカメラ１００に対してカメラ情報を再度要求する。ビデオカメラ１００は、スマートフォン２００からカメラ情報の要求を受けると、スマートフォン２００に対してカメラ情報を送信する。その際、ビデオカメラ１００のコントローラ１３５は、画像配信許可に関する最新の状態に基づき、画像配信の許可／不許可を示す情報を新たに設定し、カメラ情報に組み込んでスマートフォン２００に送信する。例えば、ビデオカメラ１００のコントローラ１３５は、画像配信を許可したスマートフォン２００から画像データを所定時間受信できなかった場合、そのスマートフォン２００に対する接続を遮断する。それとともに、コントローラ１３５は画像配信が許可されているスマートフォンの数を示すカウンタを１だけ減じる。
　その後、スマートフォン２００のコントローラ２２５は、カメラ情報を受信すると（Ｓ２３）、画像配信の許可／不許可を示す情報に基づき画像データを配信するか否かを判断する（Ｓ２４～Ｓ２６）。
　すなわち、スマートフォン２００のコントローラ２２５は、ビデオカメラ１００から画像配信の許可を示す情報を受信するまで、ビデオカメラ１００に対して定期的にカメラ情報を要求する。これにより、スマートフォン２００のコントローラ２２５は、自機に対して画像配信が許可された状態になったか否かを判断し、画像配信が許可された状態になった場合に、画像データの配信を開始する。この制御により、例えば、３台のスマートフォン２００ａ～２００ｃがビデオカメラ１００に接続され、最後に接続されたスマートフォン２００ｃに対して画像配信が不許可の状態において、画像配信が許可された２台のスマートフォン２００ａ、２００ｂのうちの少なくとも１つの画像配信が停止した場合に、即座に、最後に接続されたスマートフォン２００ｃからの画像配信を開始することが可能となる。
　図１０は、画像配信が許可された場合のビデオカメラ１００とスマートフォン２００の間のデータ通信のシーケンス図である。図１１は、スマートフォン２００の接続に伴うワイプ画像の追加を説明した図である。図１２は、画像配信が許可されなかった場合のビデオカメラ１００とスマートフォン２００の間のデータ通信のシーケンス図である。
　図１０に示すように、スマートフォン２００に対する画像配信が許可されている場合、スマートフォン２００は、ビデオカメラ１００とスマートフォン２００の接続終了後にビデオカメラ１００に対してライブ映像を示す画像データを送信する。
　図１１（Ａ）は、ビデオカメラ１００にスマートフォン２００が接続されていないときのビデオカメラ１００の液晶モニタ１３０に表示される画像を示す。図１１（Ａ）では、ビデオカメラ１００により撮影されたメイン画像３００のみが表示さている。その後、ビデオカメラ１００に対してサブカメラとしてスマートフォン２００ａが最初に接続されると、ビデオカメラ１００に対してスマートフォン２００ａからライブ映像の画像データが送信される。これにより、図１１（Ｂ）に示すように、メイン画像３００に対してスマートフォン２００ａによるワイプ画像３０１が表示される。その後、ビデオカメラ１００に対してさらにスマートフォン２００ｂが接続されると、ビデオカメラ１００に対してスマートフォン２００ｂからライブ映像の画像データが送信される。これにより、図１１（Ｃ）に示すように、メイン画像３００に対してスマートフォン２００ｂによるワイプ画像３０２が表示される。
　その後に、ビデオカメラ１００に対してさらにスマートフォン２００ｃが接続された場合、既に画像配信が許可された機器の数がその上限値に達しているため、スマートフォン２００ｃに対して、画像配信は許可されない。よって、メイン画像において新たなワイプ画像が追加されることがなく、図１１（Ｃ）に示すような画面が引き続き表示される。
　図１２は、画像配信が許可されなかったスマートフォン２００ｃとビデオカメラ１００との間の通信シーケンスを示した図である。図１２に示すように、スマートフォン２００ｃは、ビデオカメラ１００に対して、ライブ映像を示す画像データを配信せず、定期的に（例えば１秒毎に）カメラ情報を要求する。これにより、スマートフォン２００ｃは、自装置に対して画像配信が許可された状態になったか否かを定期的に判断し、画像配信が許可された状態になった場合に、即座に画像データの配信を開始できるようにしている。
　〔３．効果、等〕
　以上のように、本実施形態のビデオカメラ１００（撮像装置の一例）は、被写体を撮像して画像データを生成する画像センサ１１５（撮像部の一例）と、複数のスマートフォン２００（電子機器の一例）から画像データ（例えば、動画データ）を受信するＷｉＦｉモジュール１５５（通信部の一例）と、マルチワイプ機能（所定機能の一例）に対する対象機器として予め登録されたスマートフォンから受信した画像データが示す画像と、画像センサ１１５により生成された画像データが示す画像とを合成するコントローラ１３５とを備える。コントローラ１３５は、第１の所定数（例えば、３）内のスマートフォンをマルチワイプ機能に対する対象機器として登録する（図７参照）。コントローラ１３５は、ＷｉＦｉモジュール１５５を介して画像データを受信するスマートフォンの数を、第１の所定数よりも小さい第２の所定数（例えば、２）以下に制限する。
　本実施形態のスマートフォン１００は、ビデオカメラ１００に画像データを送信する機器であって、被写体を撮像して画像データを生成する画像センサ２０３（第２の撮像部の一例）と、ビデオカメラ１００に画像センサ２０３により生成された画像データを送信するＷｉＦｉモジュール２３５と、ビデオカメラ１００に対する画像データの送信を制御するコントローラ２２５（第２の制御部の一例）と、を備える。コントローラ２２５は、ビデオカメラ１００から画像データの配信許可を受けたときに、ビデオカメラ１００に対して、画像センサ２０３により生成された画像データを送信する。
　以上の構成により、ビデオカメラ１００において、ＷｉＦｉモジュール１５５を介して画像データを送信するスマートフォンの数が制限される。これにより、通信回線の帯域不足を防止でき、ビデオカメラ１００において、帯域不足に起因して生じる受信画像再生時の画質の劣化を低減することができる。
　〔他の実施の形態〕
　本開示は、上記実施の形態に限定されず、種々の実施形態が考えられる。以下、他の実施の形態についてまとめて記載する。
　上記実施の形態において、マルチワイプ機能においてサブカメラとして使用する機器としてスマートフォンを用いたが、他の電子機器でもよい。すなわち、ビデオカメラ１００と通信が可能であり、画像データを送信可能な機器であれば、様々な電子機器（例えば、ビデオカメラ、デジタルカメラ、携帯電話、タブレット端末、カメラ付きパーソナルコンピュータ）をサブカメラとして使用できる。
　上記実施の形態において、サブカメラとして登録可能な機器の数の上限値である第１の所定数を「３」とし、ビデオカメラ１００に対して画像データの配信を許可する外部機器（サブカメラ）の数の上限値である第２の所定数を「２」としたが、これらの数値は一例である。上記第１及び第２の所定数の値はシステムの用途や制約に応じて適宜設定することができる。
　上記実施の形態において、ビデオカメラ１００とスマートフォン２００の間でＷｉＦｉ規格に準拠した通信を介して画像データをやりとりしたが、他の通信インタフェース規格（例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標））に準拠した通信を利用してもよい。
　上記実施の形態において、ビデオカメラ１００のコントローラ１３５及びスマートフォン２００のコントローラ２２５は、プログラムを実行するＣＰＵまたはＭＰＵを含む構成を有するとしたが、これらのコントローラ１３５、２２５は、ハードワイヤードな電子回路で構成してもよいし、マイクロコンピュータなどで構成してもよい。すなわち、コントローラ１３５、２２５は、ＣＰＵ、ＭＰＵ、ＤＳＵ、ＦＰＧＡ、ＡＳＩＣまたはマイコン等で構成できる。
　上記実施の形態においては、スマートフォンからビデオカメラへ画像データが配信されたが、画像データに代えて他の種類のコンテンツデータ（静止画、音声、等）が配信されてもよい。その場合に、他の種類のコンテンツデータを配信する電子機器の台数を上記の方法と同様の方法で制限してもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
　したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示は、複数の外部機器から画像データを受信し、受信した画像データが示す画像と自機で撮像した画像とを合成した画像を記録可能な撮像装置（例えば、ビデオカメラ）に対して有用である。

Claims (6)

  1. 　複数の画像を合成して記録することが可能な撮像装置であって、
    　被写体を撮像して画像データを生成する撮像部と、
    　複数の電子機器から画像データを受信する通信部と、
    　所定機能に対する対象機器として予め登録された電子機器から受信した画像データが示す画像と、前記撮像部により生成された画像データが示す画像とを合成する制御部と、
    を備え、
    　前記制御部は、
    　　第１の所定数内の電子機器を前記対象機器として登録するとともに、
    　　画像データを受信する電子機器の数を、前記第１の所定数よりも小さい第２の所定数以下に制限する、
    撮像装置。
  2. 　前記制御部は、
    　　前記電子機器に対する画像データの配信の許可／不許可を設定し、
    　　前記撮像装置と前記電子機器との間で通信を確立したときに、既に画像データの配信を許可した電子機器の数が前記第２の所定数より少ない場合に、画像データの配信許可を示す情報を前記電子機器に送信する、
    請求項１に記載の撮像装置。
  3. 　前記複数の電子機器から受信した画像データが示す画像を、前記撮像部により生成された画像データが示す画像の一部の領域に合成した画像を表示する表示部をさらに備えた、
    請求項１に記載の撮像装置。
  4. 　請求項２に記載の撮像装置に画像データを送信する機器であって、
    　被写体を撮像して画像データを生成する第２の撮像部と、
    　前記撮像装置に前記第２の撮像部により生成された画像データを送信する第２の通信部と、
    　前記撮像装置に対する画像データの送信を制御する第２の制御部と、
    を備え、
    　前記第２の制御部は、前記撮像装置から前記画像データの配信許可を受けたときに、前記撮像装置に対して、前記第２の撮像部により生成された画像データを送信する
    　電子機器。
  5. 　前記電子機器はスマートフォンである、請求項４に記載の電子機器。
  6. 　請求項２に記載の撮像装置と、
    　請求項４に記載の電子機器と、
    を含む撮像システム。
PCT/JP2016/004594 2015-12-11 2016-10-14 撮像装置、電子機器及び撮像システム WO2017098681A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017506434A JP6739030B2 (ja) 2015-12-11 2016-10-14 撮像装置、電子機器及び撮像システム
US15/637,356 US10158824B2 (en) 2015-12-11 2017-06-29 Imaging apparatus, electronic device and imaging system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-242076 2015-12-11
JP2015242076 2015-12-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/637,356 Continuation US10158824B2 (en) 2015-12-11 2017-06-29 Imaging apparatus, electronic device and imaging system

Publications (1)

Publication Number Publication Date
WO2017098681A1 true WO2017098681A1 (ja) 2017-06-15

Family

ID=59012891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/004594 WO2017098681A1 (ja) 2015-12-11 2016-10-14 撮像装置、電子機器及び撮像システム

Country Status (3)

Country Link
US (1) US10158824B2 (ja)
JP (2) JP6739030B2 (ja)
WO (1) WO2017098681A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014107775A (ja) * 2012-11-29 2014-06-09 Xacti Corp 電子カメラ
JP2014131224A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置及びその制御方法
JP2015146561A (ja) * 2014-02-04 2015-08-13 キヤノン株式会社 ネットワーク電子機器、その制御方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004140799A (ja) * 2002-09-27 2004-05-13 Fuji Photo Film Co Ltd 撮像装置制御方法および装置並びにプログラム
JP4804141B2 (ja) 2005-12-19 2011-11-02 オリンパスイメージング株式会社 撮影装置
JP2011035543A (ja) * 2009-07-30 2011-02-17 Canon Inc 撮像装置、端末装置及び撮像システム、並びに撮像装置の情報処理方法
JP5683872B2 (ja) * 2010-08-24 2015-03-11 オリンパスイメージング株式会社 情報機器の通信方法、情報機器、及び情報機器の通信プログラム
US8736704B2 (en) * 2011-03-25 2014-05-27 Apple Inc. Digital camera for capturing an image sequence
JP2013110738A (ja) * 2011-10-27 2013-06-06 Panasonic Corp 画像通信装置および撮像装置
EP2940590A4 (en) * 2012-12-27 2016-02-24 Panasonic Ip Man Co Ltd COMMUNICATION DEVICE
WO2017154411A1 (ja) * 2016-03-07 2017-09-14 パナソニックＩｐマネジメント株式会社 撮像装置、電子機器及び撮像システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014107775A (ja) * 2012-11-29 2014-06-09 Xacti Corp 電子カメラ
JP2014131224A (ja) * 2012-12-28 2014-07-10 Canon Inc 撮像装置及びその制御方法
JP2015146561A (ja) * 2014-02-04 2015-08-13 キヤノン株式会社 ネットワーク電子機器、その制御方法及びプログラム

Also Published As

Publication number Publication date
US20170302878A1 (en) 2017-10-19
JP2020171042A (ja) 2020-10-15
JPWO2017098681A1 (ja) 2018-10-04
JP6739030B2 (ja) 2020-08-12
JP7122564B2 (ja) 2022-08-22
US10158824B2 (en) 2018-12-18

Similar Documents

Publication Publication Date Title
US10523839B2 (en) Context and content based automated image and media sharing
JP6754953B2 (ja) 撮像装置、電子機器及び撮像システム
US8937667B2 (en) Image communication apparatus and imaging apparatus
WO2013132828A1 (ja) 通信システムおよび中継装置
WO2013118487A1 (ja) 通信装置
JP5743579B2 (ja) 撮像装置、その制御方法、プログラム
RU2507610C2 (ru) Устройство записи информации и способ управления им
JP2019016891A (ja) 撮像装置及び画像転送方法
JP2019083378A (ja) 撮像装置
JP7122564B2 (ja) 撮像装置、電子機器及び撮像システム
JP7064373B2 (ja) 通信装置およびその制御方法、並びにプログラム
US10250760B2 (en) Imaging device, imaging system, and imaging method
JP2020053953A (ja) 通信装置、その制御方法、およびそのプログラム
EP3438837A1 (en) Service provision system, service delivery system, service provision method, and program
EP3438838A1 (en) Service providing system, serving receiving system, service providing method and program
KR102390403B1 (ko) 데이터 관리 장치 및 방법
EP3438860A1 (en) Service provision system, service exchange system, service provision method, and program
JP6894757B2 (ja) 動画処理装置およびその制御方法
JP6478615B2 (ja) 通信装置、その制御方法およびプログラム
US11394849B2 (en) Image capture apparatus and control method thereof
JP5535183B2 (ja) 通信装置、その制御方法及びプログラム
WO2022014225A1 (ja) 通信装置、通信方法、プログラム
JP2021034879A (ja) 撮像システム、撮像装置、およびプログラム
JP2015073157A (ja) 画像変倍処理装置
JP2020198520A (ja) 映像出力装置、制御方法、映像処理システム、およびプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2017506434

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16872583

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16872583

Country of ref document: EP

Kind code of ref document: A1