WO2016038977A1 - ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム - Google Patents

ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム Download PDF

Info

Publication number
WO2016038977A1
WO2016038977A1 PCT/JP2015/068130 JP2015068130W WO2016038977A1 WO 2016038977 A1 WO2016038977 A1 WO 2016038977A1 JP 2015068130 W JP2015068130 W JP 2015068130W WO 2016038977 A1 WO2016038977 A1 WO 2016038977A1
Authority
WO
WIPO (PCT)
Prior art keywords
live view
image
transfer condition
display
view images
Prior art date
Application number
PCT/JP2015/068130
Other languages
English (en)
French (fr)
Inventor
林　大輔
渡辺　幹夫
三沢　岳志
田丸　雅也
宗之 大島
史憲 入江
Original Assignee
富士フイルム株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士フイルム株式会社 filed Critical 富士フイルム株式会社
Priority to JP2016547742A priority Critical patent/JP6291072B2/ja
Priority to CN201580048922.2A priority patent/CN107079084B/zh
Publication of WO2016038977A1 publication Critical patent/WO2016038977A1/ja
Priority to US15/449,281 priority patent/US10205868B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Definitions

  • the present invention relates to a live view control device, a live view control method, a live view system, and a program, and in particular, a live view control device, a live view control method, and a live view control device that receive a plurality of live view images from a plurality of imaging devices by wireless communication.
  • the present invention relates to a view system and a program.
  • Patent Document 2 discloses a technique for reducing the load on the entire processing system including an internal bus by reducing the frame rate for displaying a live view image during continuous shooting in an imaging apparatus.
  • Patent Document 3 discloses a technique for setting the subject motion detection range to be narrower as the frame rate value of the live view image display is larger for the purpose of reducing the subject motion detection processing time.
  • Patent Document 4 discloses a technique for switching the connection of terminal devices according to the priority order of a plurality of terminals.
  • a plurality of live view images transmitted from a plurality of imaging devices by wireless communication are received by a user terminal such as a smartphone or a tablet terminal, and the plurality of live view images are displayed on a display screen (hereinafter referred to as “multi live view”). Is required.
  • the load of transferring a plurality of live view images from the plurality of imaging devices to the user terminal and the processing of the plurality of live view images at the user terminal When the load increases, the actual frame rate of live view image display on the user terminal may decrease. That is, there is a problem that the display image quality of the multi live view is deteriorated due to an increase in the number of imaging devices connected by wireless communication.
  • Patent Documents 1 to 4 do not focus on the problem of deterioration in display image quality in such a multi-live view, and even if the techniques described in Patent Documents 1 to 4 are applied to the multi-live view, Can't solve the problem.
  • Patent Documents 1 and 2 merely disclose a technique for controlling the frame rate for displaying a live view image, and the viewpoint of reducing the transfer load of wireless communication between a plurality of imaging devices and user terminals in the first place. Missing. Further, according to the technique described in Patent Document 1, there is a case where the frame rate of display is lowered even for an important live view image. According to the technique described in Patent Document 2, the display frame rate is always maintained and not lowered during live view of non-continuous shooting.
  • Patent Document 3 refers to the relationship between subject movement and display frame rate, but there is no disclosure or suggestion regarding reducing the transfer load of wireless communication between a plurality of imaging devices and user terminals in the first place. .
  • Patent Document 4 discloses setting priorities for a plurality of terminals, but does not disclose or suggest setting priorities for a plurality of live view images.
  • An object of the present invention is to provide a live view control device, a live view control method, a live view system, and a program capable of reducing the load while maintaining a high quality live view image display quality.
  • a wireless communication unit that receives a plurality of live view images from a plurality of imaging devices by wireless communication and a display that can display images of each of the plurality of live view images received from the plurality of imaging devices.
  • the priority order setting unit for setting the priority order of the plurality of live view images among the plurality of live view images, and the priority order of the plurality of live view images
  • a transfer condition setting unit for setting a transfer condition including at least one of a transfer frame rate and a transfer image size of a plurality of live view images, and wireless transfer of the transfer conditions set by the transfer condition setting unit to a plurality of imaging devices
  • the present invention relates to a live view control device including a communication control unit that transmits via a unit.
  • the transfer condition including at least one of the transfer frame rate and the transfer image size of the plurality of live view images is set based on the priority order set between the plurality of live view images. Even if the number of imaging devices connected by wireless communication increases, the load is reduced while maintaining the display image quality of the live view image that is most important among the multiple live view images. It becomes possible to do.
  • the priority order setting unit sets the priority order of the plurality of live view images based on at least one of the display mode and display state of the plurality of live view images.
  • the priority order of the plurality of live view images based on at least one of the display mode of the plurality of live view images and the display status of the plurality of live view images. Therefore, it is possible to reliably maintain the display image quality of the live view image having high importance among the plurality of live view images.
  • the priority order of the plurality of live view images is automatically set, and the display image quality of the live view image having high importance is reliably maintained.
  • the display status changes, the priority order of a plurality of live view images is automatically set, and the display image quality of the highly important live view images is reliably maintained.
  • the priority order setting unit sets the priority order of the live view image according to at least one of the display size and display position of the live view image.
  • the priority order of the plurality of live view images can be automatically set according to at least one of the display size and display position of the live view image set by the user.
  • the priority order setting unit determines whether or not a predetermined specific subject image exists in the live view image, or the subject image in the live view image is determined in advance.
  • the priority of the live view image is set according to which of the plurality of subject images.
  • the priority order of the plurality of live view images is automatically set according to the subject images in the plurality of live view images captured and transferred by the plurality of imaging devices.
  • the priority order setting unit includes at least one of whether or not there is a moving image in the live view image, the size of the moving image in the live view image, and the moving speed of the moving image.
  • the priority order of the live view image is set according to.
  • the priority order of the plurality of live view images is automatically set according to the moving body images in the plurality of live view images that are captured and transferred by the plurality of imaging devices.
  • a first transfer condition change determining unit that determines whether or not to change the transfer condition based on a comparison result between the threshold and the threshold, and the transfer condition setting unit includes a determination result of the first transfer condition change determining unit. Based on this, the transfer condition is changed.
  • a second transfer condition change determination unit that determines whether or not the transfer condition setting unit changes the transfer condition when the second transfer condition change determination unit determines that the transfer condition is to be changed.
  • transfer is performed according to the total value of at least one of the plurality of live view images and the actual image size across the plurality of imaging devices. Conditions change.
  • a third transfer condition change determination unit that determines whether to change the transfer condition based on both the actual frame rate and the actual image size of the plurality of live view images, The transfer condition setting unit changes the transfer condition when the third transfer condition change determination unit determines to change the transfer condition.
  • the transfer conditions change in consideration of both the actual frame rate and the image size, so the image size is small even if the frame rate is large, or the frame rate is small even if the image size is large.
  • the display image quality of a plurality of live view images can be maintained.
  • a display mode instruction input unit that receives an instruction input of at least one of the display size and display position of the live view image is provided.
  • a priority order input unit that receives a priority order input instruction of a plurality of live view images is provided.
  • One embodiment of the present invention relates to a live view system including an imaging device and a live view control device.
  • One embodiment of the present invention includes a step of receiving a plurality of live view images from a plurality of imaging devices by wireless communication and a display screen capable of displaying each of the plurality of live view images received from the plurality of imaging devices.
  • a plurality of live views are displayed based on a step of displaying in each of the plurality of areas, a priority setting step of setting a priority order of the plurality of live view images among the plurality of live view images, and a priority order of the plurality of live view images.
  • a transfer condition setting step for setting a transfer condition including at least one of a frame rate for image transfer and an image size for transfer, and a step for transmitting the set transfer condition to a plurality of imaging devices by wireless communication.
  • the present invention relates to a view control method.
  • the priority order setting step sets the priority order of the plurality of live view images based on at least one of the display mode and display state of the plurality of live view images.
  • the priority order setting step sets the priority order of the live view image according to at least one of the display size and display position of the live view image.
  • the priority order setting step in the priority order setting step, whether or not a predetermined specific subject image exists in the live view image, or the subject image in the live view image is predetermined in order.
  • the priority of the live view image is set according to which of the plurality of subject images.
  • the priority setting step includes at least one of whether or not there is a moving image in the live view image, the size of the moving image in the live view image, and the moving speed of the moving image.
  • the priority order of the live view image is set according to.
  • whether or not to change the transfer condition by comparing a threshold value with a total value across a plurality of imaging devices of at least one of a transfer frame rate and a transfer image size of a plurality of live view images.
  • a second determination step for determining whether or not the transfer condition is changed in the second determination step.
  • One aspect of the present invention includes a third determination step of determining whether to change the transfer condition based on both an actual frame rate and an actual image size of a plurality of live view images.
  • the transfer condition is changed based on the determination result of the determination step.
  • One embodiment of the present invention includes a step of receiving a plurality of live view images from a plurality of imaging devices by wireless communication and a display screen capable of displaying each of the plurality of live view images received from the plurality of imaging devices.
  • a plurality of live views are displayed based on a step of displaying in each of the plurality of areas, a priority setting step of setting a priority order of the plurality of live view images among the plurality of live view images, and a priority order of the plurality of live view images.
  • a transfer condition setting step for setting a transfer condition including at least one of an image transfer frame rate and a transfer image size, and a step of transmitting the set transfer condition to a plurality of imaging devices by wireless communication; It relates to the program to be executed.
  • a computer-readable non-transitory recording medium that records this program is also included in one embodiment of the present invention.
  • the present invention when a plurality of live view images captured by a plurality of imaging devices are received and displayed by wireless communication, even if the number of imaging devices increases, the display quality of the live view images that are highly important It is possible to reduce the load while maintaining the above.
  • the block diagram which shows an example of the live view system containing a some imaging device and a smart phone The block diagram which shows the hardware structural example of the smart phone which is an example of a live view control apparatus
  • the block diagram which shows the structural example of the principal part of the live view control apparatus of this invention Explanatory drawing which shows an example of multi live view control information
  • Explanatory drawing used for explanation of trimming of live view image Explanatory drawing of the example of a live view image display in 1st Example of the live view control method.
  • Explanatory drawing showing variations of display size change of live view image Explanatory drawing which shows the variation of the display position change of the live view image Illustration of changing the trimming range of Live View image
  • the flowchart which shows the flow of 2nd Example of the live view control method.
  • FIG. 1 is a configuration diagram illustrating an example of a live view system including a plurality of imaging devices 10A, 10B, and 10C and a smartphone 100.
  • imaging device 10 At least one of the plurality of imaging devices 10A, 10B, and 10C may be referred to as “imaging device 10”.
  • each of the plurality of imaging devices 10A, 10B, and 10C and the smartphone 100 directly perform wireless communication.
  • FIG. 2 is a block diagram showing a hardware configuration of the smartphone 100 shown in FIG.
  • the main components of the smartphone 100 include a wireless communication unit 110, a display input unit 120, a call unit 130, an operation unit 140, a camera unit 141, a storage unit 150, and an external input / output.
  • Unit 160 GPS (Global Positioning System) receiving unit 170, motion sensor unit 180, power supply unit 190, and main control unit 101.
  • a wireless communication function for performing mobile wireless communication via a base station device and a mobile communication network is provided as a main function of the smartphone 100.
  • the wireless communication unit 110 performs wireless communication with a base station apparatus accommodated in the mobile communication network in accordance with an instruction from the main control unit 101. Using this wireless communication, transmission and reception of various file data such as audio data and image data, e-mail data, and reception of Web data and streaming data are performed.
  • the wireless communication unit 110 of the smartphone 100 transmits instruction inputs for various operations to the imaging device 10 and receives live view images, recording images, and the like from the imaging device 10.
  • the display input unit 120 displays images (still images and moving images), character information, and the like by visually controlling the control by the main control unit 101 and detects user operations on the displayed information.
  • This is a so-called touch panel, and includes a display panel 121 and an operation panel 122.
  • the display panel 121 is preferably a 3D display panel.
  • the display panel 121 uses an LCD (Liquid Crystal Display), an OELD (Organic Electro-Luminescence Display), or the like as a display device.
  • LCD Liquid Crystal Display
  • OELD Organic Electro-Luminescence Display
  • the operation panel 122 is a device that is placed so that an image displayed on the display panel 121 can be visually recognized, and detects one or more coordinates operated by a user's finger or stylus.
  • a detection signal generated due to the operation is output to the main control unit 101.
  • the main control unit 101 detects an operation position (coordinates) on the display panel 121 based on the received detection signal.
  • the display panel 121 and the operation panel 122 of the smartphone 100 integrally constitute the display input unit 120, but the operation panel 122 is arranged so as to completely cover the display panel 121. ing.
  • the operation panel 122 may have a function of detecting a user operation even in an area outside the display panel 121.
  • the operation panel 122 includes a detection area (hereinafter referred to as a display area) for an overlapping portion that overlaps the display panel 121 and a detection area (hereinafter, a non-display area) for an outer edge portion that does not overlap the other display panel 121. May be included).
  • the size of the display area and the size of the display panel 121 may be completely matched, but it is not always necessary to match the two.
  • the operation panel 122 may include two sensitive regions of the outer edge portion and the other inner portion. Further, the width of the outer edge portion is appropriately designed according to the size of the housing 102 and the like.
  • examples of the position detection method employed in the operation panel 122 include a matrix switch method, a resistance film method, a surface acoustic wave method, an infrared method, an electromagnetic induction method, and a capacitance method. You can also
  • the call unit 130 includes a speaker 131 and a microphone 132, converts user's voice input through the microphone 132 into voice data that can be processed by the main control unit 101, and outputs the voice data to the main control unit 101. 110 or the audio data received by the external input / output unit 160 is decoded and output from the speaker 131. Further, as shown in FIG. 1, for example, the speaker 131 and the microphone 132 can be mounted on the same surface as the surface on which the display input unit 120 is provided.
  • the operation unit 140 is a hardware key using a key switch or the like, and receives an instruction from the user.
  • the operation unit 140 is mounted on the lower and lower side of the display unit of the housing 102 of the smartphone 100 and is turned on when pressed with a finger or the like, and is turned off by a restoring force such as a spring when the finger is released. It is a button type switch.
  • the storage unit 150 stores the control program and control data of the main control unit 101, address data that associates the name and telephone number of the communication partner, transmitted / received e-mail data, Web data downloaded by Web browsing, and downloaded content Data is stored, and streaming data and the like are temporarily stored.
  • the storage unit 150 includes an internal storage unit 151 with a built-in smartphone and an external storage unit 152 having a removable external memory slot.
  • Each of the internal storage unit 151 and the external storage unit 152 constituting the storage unit 150 includes a flash memory type (flash memory type), a hard disk type (hard disk type), a multimedia card micro type (multimedia card micro type), and a card type. It is realized using a storage medium such as a memory (eg, Micro SD (registered trademark) memory), RAM (Random Access Memory), ROM (Read Only Memory), or the like.
  • the external input / output unit 160 serves as an interface with all external devices connected to the smartphone 100, and communicates with other external devices (for example, universal serial bus (USB), IEEE1394, etc.) or a network.
  • external devices for example, universal serial bus (USB), IEEE1394, etc.
  • a network for example, Internet, wireless LAN, Bluetooth (registered trademark), RFID (Radio Frequency Identification), Infrared Data Association (IrDA) (registered trademark), UWB (Ultra Wide Band) (registered trademark), ZigBee ( ZigBee) (registered trademark, etc.) for direct or indirect connection.
  • Examples of external devices connected to the smartphone 100 include a memory card connected via a wired / wireless headset, wired / wireless external charger, wired / wireless data port, card socket, and SIM (Subscriber).
  • Identity Module Card / UIM User Identity Module Card
  • external audio / video equipment connected via audio / video I / O (Input / Output) terminal
  • external audio / video equipment connected wirelessly, yes / no
  • the external input / output unit may transmit data received from such an external device to each component inside the smartphone 100, or may allow the data inside the smartphone 100 to be transmitted to the external device. it can.
  • the GPS receiving unit 170 receives GPS signals transmitted from the GPS satellites ST1 to STn in accordance with instructions from the main control unit 101, executes positioning calculation processing based on the received plurality of GPS signals, and calculates the latitude of the smartphone 100, A position consisting of longitude and altitude is detected.
  • the GPS receiving unit 170 can acquire position information from the wireless communication unit 110 or the external input / output unit 160 (for example, a wireless LAN), the GPS receiving unit 170 can also detect the position using the position information.
  • the motion sensor unit 180 includes, for example, a three-axis acceleration sensor, and detects the physical movement of the smartphone 100 in accordance with an instruction from the main control unit 101. By detecting the physical movement of the smartphone 100, the moving direction and acceleration of the smartphone 100 are detected. This detection result is output to the main control unit 101.
  • the power supply unit 190 supplies power stored in a battery (not shown) to each unit of the smartphone 100 in accordance with an instruction from the main control unit 101.
  • the main control unit 101 includes a microprocessor, operates according to a control program and control data stored in the storage unit 150, and controls each unit of the smartphone 100 in an integrated manner. Further, the main control unit 101 includes a mobile communication control function for controlling each unit of the communication system and an application processing function in order to perform voice communication and data communication through the wireless communication unit 110.
  • the application processing function is realized by the main control unit 101 operating in accordance with application software stored in the storage unit 150.
  • Application processing functions include, for example, an infrared communication function that controls the external input / output unit 160 to perform data communication with an opposite device, an e-mail function that transmits and receives e-mails, and a web browsing function that browses web pages. .
  • the main control unit 101 also has an image processing function such as displaying video on the display input unit 120 based on image data (still image or moving image data) such as received data or downloaded streaming data.
  • the image processing function refers to a function in which the main control unit 101 decodes the image data, performs image processing on the decoding result, and displays an image on the display input unit 120.
  • the main control unit 101 executes display control for the display panel 121 and operation detection control for detecting a user operation through the operation unit 140 and the operation panel 122.
  • the main control unit 101 By executing the display control, the main control unit 101 displays an icon for starting application software, a software key such as a scroll bar, or a window for creating an e-mail.
  • a software key such as a scroll bar, or a window for creating an e-mail.
  • the scroll bar refers to a software key for accepting an instruction to move the display portion of a large image that does not fit in the display area of the display panel 121.
  • the main control unit 101 detects a user operation through the operation unit 140, or accepts an operation on the icon or an input of a character string in the input field of the window through the operation panel 122. Or a display image scroll request through a scroll bar.
  • the main control unit 101 causes the operation position with respect to the operation panel 122 to overlap with the display panel 121 (display area) or other outer edge part (non-display area) that does not overlap with the display panel 121.
  • a touch panel control function for controlling the sensitive area of the operation panel 122 and the display position of the software key.
  • the main control unit 101 can also detect a gesture operation on the operation panel 122 and execute a preset function according to the detected gesture operation.
  • Gesture operation is not a conventional simple touch operation, but an operation that draws a trajectory with a finger or the like, designates a plurality of positions at the same time, or combines these to draw a trajectory for at least one of a plurality of positions. means.
  • the camera unit 141 is a digital camera that performs electronic photography using an imaging device such as a CMOS (Complementary Metal Oxide Semiconductor) or a CCD (Charge Coupled Device). Also, the camera unit 141 converts image data obtained by shooting into compressed image data such as JPEG (Joint Photographic coding Experts Group) under the control of the main control unit 101, and records the data in the storage unit 150. The data can be output through the external input / output unit 160 and the wireless communication unit 110. In the smartphone 100 shown in FIG. 1, the camera unit 141 is mounted on the same surface as the display input unit 120, but the mounting position of the camera unit 141 is not limited to this, and may be mounted on the back surface of the display input unit 120. Alternatively, a plurality of camera units 141 may be mounted. When a plurality of camera units 141 are installed, the camera unit 141 used for shooting can be switched to perform shooting alone, or a plurality of camera units 141 can be used for shooting simultaneously.
  • an imaging device such
  • the camera unit 141 can be used for various functions of the smartphone 100.
  • an image acquired by the camera unit 141 can be displayed on the display panel 121, and the image of the camera unit 141 can be used as one of operation inputs of the operation panel 122.
  • the GPS receiving unit 170 detects the position
  • the position can also be detected with reference to an image from the camera unit 141.
  • the optical axis direction of the camera unit 141 of the smartphone 100 is determined without using the triaxial acceleration sensor or in combination with the triaxial acceleration sensor. It is also possible to determine the current usage environment.
  • the image from the camera unit 141 can also be used in the application software.
  • application software for operating the imaging device 10 via a network or the like is downloaded and stored in the storage unit 150, and the main control unit 101 is operated according to the downloaded application software by the application processing function of the smartphone 100. Accordingly, the general-purpose smartphone 100 is caused to function as a user interface unit (UI unit) for operating the imaging device 10.
  • UI unit user interface unit
  • FIG. 3 is a block diagram showing a configuration example of a main part of the live view control apparatus of the present invention.
  • a smartphone 100 is an example of a live view control device of the present invention.
  • the wireless communication unit 110 of the smartphone 100 transmits (outputs) an instruction such as a transfer condition to the image input unit 202 that receives (inputs) a plurality of live view images from the plurality of imaging devices 10 and the plurality of imaging devices 10.
  • the instruction output unit 204 is used.
  • the display input unit 120 of the smartphone 100 is used as an instruction input unit 212 that receives user instruction input.
  • the instruction input unit 212 constitutes an example of a display mode instruction input unit according to the present invention, and an instruction input of a display mode of a plurality of live view images (for example, an instruction input of at least one of the display size and display position of the live view image) Is accepted).
  • the main control unit 101 of the smartphone 100 includes a display mode setting unit 232 that sets the display mode of a plurality of live view images, and a priority order setting unit 234 that sets the priority order of the plurality of live view images among the plurality of live view images.
  • a transfer condition setting unit 236 that sets a transfer condition including at least one of a transfer frame rate and a transfer image size of the plurality of live view images based on the priority order of the plurality of live view images, and the imaging apparatus 10.
  • a transfer condition change determination unit 240 that determines whether or not to change transfer conditions set for a plurality of imaging devices 10, and an image processing unit 242 that performs image processing on live view images received from a plurality of imaging devices 10.
  • Execution control which controls execution of processing in each part of smart phone 100 according to a program memorized by control part 248 and storage part 150 It includes a 250, a.
  • the priority order setting unit 234 of the smartphone 100 sets the priority order of the plurality of live view images based on at least one of the display mode and display state of the plurality of live view images.
  • the display mode represents a mode in which the display control unit 244 displays the live view image on the display panel 121.
  • the display status represents the display status of the live view image that is actually displayed on the display panel 121 under the control of the display control unit 244.
  • the following example is given as a display mode of the live view image.
  • blur rate. whether to highlight live view images. For example, whether or not it is an area for backlight display.
  • the following example is given as the display status of the live view image.
  • the importance of the subject image in the live view image (for example, the order between predetermined subject images).
  • Background in live view image. Continuous display time of live view image.
  • the display mode of the live view image may be set by the display mode setting unit 232 when receiving a setting input from the user or automatically.
  • the display state of the live view image may be detected from the live view image by the display state detection unit 246, or may be detected from information added to the live view image by the imaging device 10. This includes the case where the user determines the display status from the displayed live view image and inputs information corresponding to the display status to the smartphone 100.
  • the display mode and display status of the live view image are not particularly limited to the above-described example.
  • the transfer condition change determination unit 240 functions as the first transfer condition change determination unit in the present invention, and the live view image having a specific priority or higher among a plurality of live view images. Based on the comparison result between the actual frame rate (measured value) and the threshold value, it is determined whether or not to change the transfer condition. Only the actual frame rate of the live view image having the highest priority may be compared with the threshold value.
  • the transfer condition change determination unit 240 also functions as the third transfer condition change determination unit in the present invention, and both the actual frame rate (measured value) and the actual image size (measured value). Based on the above, the above determination is made.
  • the present invention includes a case where the above determination is made based only on the actual image size.
  • the “actual frame rate” and the “actual image size” may differ from the frame rate and image size set in the imaging device 10 when the transfer load or the processing load is high.
  • the load detection unit 238 detects the actual frame rate and the actual image size by monitoring the frame rate and the image size of the live view image received from the imaging device 10 and displayed on the display panel 121, and detects the threshold value. The comparison result is obtained.
  • “actual frame rate” and “actual image size” are respectively the difference between the frame rate (set value) set for the imaging apparatus 10 and the set image size (set value) ( Detected as a relative value).
  • the actual frame rate and the actual image size are integrated, and the integrated value is summed (summed) over the live view images having a specific priority or higher, and the total value is compared with the threshold value. Only the integrated value of the live view image with the highest priority may be compared with the threshold value.
  • the transfer condition change determination unit 240 functions as the second transfer condition change determination unit in the present invention, and captures actual frame rates (measured values) of a plurality of live view images. Summing (summing) all of the devices 10A, 10B, and 10C, and determining whether or not to change the transfer condition based on the comparison result between the total value and the threshold value.
  • the transfer condition change determination unit 240 also functions as the third transfer condition change determination unit in the present invention, and both the actual frame rate (measured value) and the actual image size (measured value). Based on the above, the above determination is made.
  • the present invention includes a case where the above determination is made based only on the actual image size.
  • FIG. 4 shows an example of multi live view control information managed by the main control unit 101 of the smartphone 100.
  • the information in the column “imaging device” in FIG. 4 is identification information indicating which of the plurality of imaging devices 10A, 10B, and 10C illustrated in FIG.
  • the information in the column of “Live View Image” in FIG. 4 indicates which of the plurality of live view images LV1, LV2, and LV3 received by wireless communication from the plurality of imaging devices 10A, 10B, and 10C illustrated in FIG. It is the identification information shown.
  • the information in the column “Display Mode” in FIG. 4 shows an example of the display mode of each live view image.
  • the “display mode” in this example indicates a display size and a display position input by the user through the instruction input unit 212.
  • the information in the column “Display Status” in FIG. 4 shows an example of the display status of the live view image.
  • the “display status” in this example is detected from the live view image by the display status detection unit 246.
  • the information in the “priority order” column in FIG. 4 indicates the priority order among a plurality of live view images.
  • the “priority order” in this example is set by the priority order setting unit 234. As shown in FIG. 4, when the priority is “1”, “2”, “2” (that is, when a combination of different priorities and a combination of the same priority are mixed among a plurality of live view images), There are cases where the priorities are “1”, “2”, and “3” (that is, the priorities are different for all combinations of a plurality of live view images).
  • the information in the column “transfer condition” in FIG. 4 is a transfer condition (set value) that is transmitted to each of the plurality of imaging devices 10A, 10B, and 10C and set in each imaging device.
  • the transfer conditions in this example are set by the transfer condition setting unit 236.
  • “Measured value” in FIG. 4 indicates a state (load state) of actual transfer and processing of the live view image.
  • the “measured value” in this example is measured by the load detection unit 238 of the smartphone 100.
  • the magnitude of the “measured value” in this example corresponds to the magnitude of the load (transfer load and processing load). In the present specification, the “measured value” is smaller as the load is larger, but may be measured so as to be larger as the load is larger. In the latter case, it should be noted that the magnitude relationship between the measured value and the threshold value is opposite to that described in this specification.
  • multi live view control information illustrated in FIG. 4 is an example, and the information for controlling the execution of the multi live view is not particularly limited to the information illustrated in FIG.
  • the flow of the first embodiment of the live view control method in the smartphone 100 will be described using the flowchart of FIG. In FIG. 5, the processing in the smartphone 100 is executed by the execution control unit 250 of the smartphone 100 according to a program stored in the storage unit 150 of the smartphone 100.
  • the imaging device 10 is assumed to be in a state where the power switch has already been turned on and initialization has been completed.
  • the display mode setting unit 232 of the smartphone 100 sets a live view image display layout (which is an example of a display mode) (step S102).
  • a display panel 121 (which is an example of a display screen) of the display input unit 120 includes a multi-view including a live view image display area 121A, a layout pattern selection area 121B, and an imaging device number selection area 121C.
  • the live view screen is displayed.
  • the live view image display area 121A includes a plurality of areas (first image display area 301, second image display area 302, each of which displays a plurality of live view images LV1 to LV3 received from the plurality of imaging devices 10A to 10C.
  • a third image display area 303 Note that the live view images LV1 to LV3 are not displayed in this step.
  • the layout pattern selection area 121B is an area that displays layout patterns (shapes) that can be selected in accordance with the number of imaging devices selected and input in the imaging device number selection region 121C, and that accepts a layout pattern selection input from the user. is there.
  • Reference numerals 124 to 127 are icon buttons.
  • a multi live view screen displayed on the display input unit 120 the user selects and inputs the number of imaging devices in the imaging device number selection area 121C, and the number of imaging devices in the layout pattern selection area 121B.
  • a plurality of layout patterns shown in FIG. 7 (a pattern 311A when the number of imaging devices is one, a pattern when the number of imaging devices is two, and the like are selected and input for each predetermined layout pattern.
  • a pattern having a desired layout can be selected from the patterns 313A, 313B, 313C, 313D, and 313E when 312A, 312B, 312C, and 312D and the number of imaging devices are three.
  • the layout information indicating the layout selected by the user is stored in the storage unit 150.
  • the layout information indicates at least the display size and the display position of each live view image.
  • the priority order setting unit 234 of the smartphone 100 sets the priority order of the plurality of live view images respectively corresponding to the plurality of imaging devices 10A to 10C. And set between a plurality of live view images (step S104: one mode of priority order setting step). For example, as shown in FIG. 4, priority 1 is set for a live view image LV1 that is input later from the imaging device 10A, and a live view image LV2 that is input later from the imaging device 10B and a later input from the imaging device 10C. Priority 2 is set for the live view image LV3.
  • the priority order is not set based on which of the plurality of imaging devices 10A, 10B, and 10C is input, but the layout (display mode of the plurality of live view images LV1, LV2, and LV3). Is an example).
  • the priority order is set to be different among at least some of the combinations of the plurality of live view images.
  • the transfer condition setting unit 236 of the smartphone 100 sets initial transfer conditions for a plurality of live view images transmitted from the plurality of imaging devices 10A to 10C to the smartphone 100 (step S106).
  • the same frame rate and image size are set for the plurality of live view images LV1, LV2, and LV3.
  • a transfer condition that allows a high transfer amount is set regardless of the priority order.
  • step S108 It is determined whether or not a shooting preparation instruction for shooting performed by the plurality of imaging devices 10A to 10C is input to the instruction input unit 212 of the smartphone 100 (step S108). For example, when the release button icon 125 in FIG. 6 is pressed for the first time, it is determined that a shooting preparation instruction has been input.
  • the instruction output unit 204 wireless communication unit 110 of the smartphone 100 causes the plurality of imaging devices 10A to 10C to be transmitted.
  • the imaging preparation instruction and the initial transfer condition are transmitted (output) by wireless communication (step S110).
  • the plurality of imaging devices 10A to 10C that have received (input) the shooting preparation instruction and the initial transfer conditions start transmitting (outputting) the live view image to the smartphone 100 through wireless communication.
  • the image input unit 202 (wireless communication unit 110) of the smartphone 100 receives (inputs) a plurality of live view images by wireless communication from the plurality of imaging devices 10A to 10C.
  • the execution control unit 250 of the smartphone 100 determines whether a live view image has been received from at least one of the plurality of imaging devices 10A to 10C (step S112).
  • the image processing unit 242 of the smartphone 100 trims the received live view image LV0 and extracts a live view image LV for display (step S114).
  • the display control unit 244 of the smartphone 100 displays each of the plurality of live view images LV1, LV2, and LV3 (corresponding to the LV in FIG. It is displayed on each of 301, 302 and 303 (step S116).
  • the execution control unit 250 of the smartphone 100 determines whether or not the layout of the live view image display has been changed (step S118).
  • the layout of the live view image display can be changed while the live view images LV1, LV2, and LV3 are displayed.
  • the display mode setting unit 232 of this example receives a layout change on the multi live view screen.
  • step S118 When the layout of the live view image display is changed (YES in step S118), the priority order is reset based on the changed layout (step S120: one aspect of the priority order setting step).
  • the transfer condition change determination unit 240 of the smartphone 100 uses at least one of an actual frame rate (measurement value) and an actual image size (measurement value) of live view image transfer detected by the load detection unit 238 of the smartphone 100 as a threshold value. To determine whether or not to change the transfer condition (step S122: one mode of the first determination step, the second determination step, and the third determination step).
  • the transfer condition setting unit 236 of the smartphone 100 changes the transfer condition based on the priority order of the plurality of live view images. Setting is performed (step S124: one mode of transfer condition setting step). That is, the transfer condition is changed based on the determination result in step S122. For example, the transfer condition setting unit 236 of the smartphone 100 decreases the frame rate (set value) of the transfer of the live view image whose priority is 2nd or lower.
  • the transfer condition of the low-priority live view image is changed to a low transfer amount.
  • the actual frame rate threshold is set to 20 fps (frame per second) and the actual frame rate (measured value) detected by the load detection unit 238 is 15 fps
  • the threshold (20 fps) is used. Since the actual frame rate (15 fps) is small, the transfer frame rate (setting value) is changed to be small.
  • the transfer image size may be changed together with the transfer frame rate. The present invention includes a case where only the image size of transfer is changed.
  • the instruction output unit 204 (wireless communication unit 110) of the smartphone 100 transmits (outputs) the changed transfer condition to the necessary imaging device among the plurality of imaging devices 10A to 10C by wireless communication (step). S126).
  • step S128 It is determined whether or not instructions for photographing performed by the plurality of imaging devices 10A to 10C are input to the instruction input unit 212 of the smartphone 100 (step S128). For example, when the release button icon 125 in FIG. 6 is pressed in a state where a live view image is displayed, it is determined that a shooting instruction has been input.
  • the instruction output unit 204 wireless communication unit 110 of the smartphone 100 performs a plurality of imaging devices 10A to 10C with respect to the plurality of imaging devices 10A to 10C.
  • a shooting instruction is transmitted (output) by wireless communication (step S130).
  • the image input unit 202 (wireless communication unit 110) of the smartphone 100 receives (inputs) a plurality of captured images by wireless communication from the plurality of imaging devices 10A to 10C (step S132).
  • the execution control unit 250 of the smartphone 100 records a plurality of captured images in the storage unit 150 of the smartphone 100 and displays at least one of the plurality of captured images on the display panel 121 of the display input unit 120 of the smartphone 100 ( Step S134).
  • an instruction input for changing the display size of the live view image LV may be performed by touching and sliding the frame of the display area of the live view image LV with a finger or the like.
  • an instruction input for changing the display position of the live view image LV may be performed by touching and sliding an area within the frame of the live view image LV with a finger or the like.
  • the trimming range shown in FIG. 10 is automatically set by selecting the layout pattern.
  • an instruction input for changing the trimming range of the live view image may be received from the user.
  • a range to be trimmed from the live view image LV ⁇ b> 0 (original live view image) received from the imaging device 10 is obtained by touching and sliding the frame 300 of the display area of the live view image LV with a finger or the like. It can be changed.
  • FIG. 15 is a flowchart showing the flow of the second embodiment of the live view control method.
  • the process in the smartphone 100 is executed by the execution control unit 250 of the smartphone 100 according to the program stored in the storage unit 150 of the smartphone 100.
  • the imaging apparatus 10 is in a state where the power switch has already been turned on and initialization has been completed.
  • Steps S202, S206, S208, S210 and S212 are the same as steps S102, S106, S108, S110 and S112 of the first embodiment of the live view control method shown in FIG. .
  • a plurality of live view images is used.
  • the priority order of a plurality of live view images is set in accordance with the display status of.
  • step S213 the priority order setting unit 234 of the smartphone 100 determines whether or not a predetermined specific subject image exists in the live view image (hereinafter referred to as “subject image”). And whether the subject image in the live view image is one of a plurality of subject images with a predetermined order (indicating the importance ranking between the plurality of subject images) (hereinafter referred to as “subject image”).
  • the priority of the live view image is set according to at least one determination condition. For example, in the display screen shown in FIG. 16, it is determined by face detection that a predetermined subject image exists in the first image display area 301 or a highly important subject image exists.
  • Steps S214 to S234 are the same as steps S114 to S116 and S122 to S134 of the first embodiment of the live view control method shown in FIG.
  • FIG. 17 is a flowchart showing the flow of the third embodiment of the live view control method.
  • the processing in the smartphone 100 is executed by the execution control unit 250 of the smartphone 100 according to a program stored in the storage unit 150 of the smartphone 100.
  • the imaging apparatus 10 is in a state where the power switch has already been turned on and initialization has been completed.
  • Steps S302, S306, S308, S310, and S312 are the same as steps S102, S106, S108, S110, and S112 of the first embodiment of the live view control method shown in FIG. .
  • a plurality of live view images is used.
  • the priority order of a plurality of live view images is set in accordance with the display status of.
  • step S313 the priority order setting unit 234 of the smartphone 100 determines whether or not a moving object image exists in the live view image (hereinafter referred to as “presence or absence of moving object image”).
  • the priority of the live view image is set according to at least one determination condition among the size of the moving image in the live view image and the moving speed of the moving image in the live view image. For example, on the display screen shown in FIG. 18, it is determined that a moving object image exists in the first image display area 301 by moving object detection.
  • Steps S314 to S334 are the same as steps S114 to S116 and S122 to S134 of the first embodiment of the live view control method shown in FIG.
  • priority order setting unit 234 of the smartphone 100 sets the priority order of a plurality of live view images among a plurality of live view images based on at least one of the display mode and display status of the plurality of live view images.
  • the present invention is not limited to such a case.
  • the display input unit 120 may receive an instruction input of the priority order of a plurality of live view images from the user. For example, in the screen shown in FIG. 11, a specific touch operation (for example, a double tap) is performed on a specific display area (for example, a display area of reference numeral 303) among the display areas 301 to 303 of a plurality of live view images. In such a case, the priority of the live view image in the display area where the specific touch operation is performed (for example, the display area indicated by reference numeral 303) is made higher than the other display areas (for example, display areas indicated by reference numerals 301 and 302). .
  • a specific touch operation for example, a double tap
  • the priority of the live view image in the display area where the specific touch operation is performed for example, the display area indicated by reference numeral 303 is made higher than the other display areas (for example, display areas indicated by reference numerals 301 and 302).
  • a priority order instruction input may be received.
  • a priority order instruction input may be received by the operation unit 140.
  • the display input unit 120 and the operation unit 140 are an example of a priority order instruction input unit in the present invention.
  • the imaging devices 10A, 10B, and 10D and the smartphone 100 that is an example of the live view control device perform wireless communication indirectly via the access point AP.
  • the transfer load of the live view image includes a load in the transfer between the imaging devices 10A, 10B, and 10D and the access point AP, and a load in the transfer between the access point AP and the smartphone 100.
  • a processing load on the live view image at the access point AP is added as a transfer load of the live view image.
  • the present invention can also be applied to such a live view system.
  • the imaging device 10D is a pan / tilt camera in which an imaging unit including an imaging lens and an imaging element can be rotated in a pan direction and a tilt direction.
  • the present invention can also be applied to the case where the models are different between the imaging devices.
  • 10 (10A, 10B, 10C, 10D): imaging device, 100: smartphone (live view control device), 101: main control unit, 110: wireless communication unit, 120: display input unit, 121: display panel, 122: operation Panel 202: Image input unit 204: Instruction output unit 212: Instruction input unit (display mode instruction input unit, priority order instruction input unit) 232: Display mode setting unit 234: Priority level setting unit 236: Transfer Condition setting unit, 238: Load detection unit, 240: Transfer condition change determination unit, 242: Image processing unit, 244: Display control unit, 246: Display status detection unit, 248: Communication control unit, 250: Execution control unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

ライブビュー制御装置は、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを表示画面の複数領域のそれぞれに表示させる表示制御部（２４４）と、複数のライブビュー画像の優先順位を設定する優先順位設定部（２３４）と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部（２３６）と、設定された転送条件に従ったライブビュー画像の転送指示を複数の撮像装置に無線通信部を介して送信する通信制御部（２４６）を備える。

Description

ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム
　本発明は、ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラムに係り、特に複数の撮像装置から無線通信で複数のライブビュー画像を受信するライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラムに関する。
　被写体を撮像して撮像画像を記録する撮影機能を有した撮像装置において、特定の条件でライブビュー画像の表示のフレームレートを低下させる技術が知られている。特許文献１は、撮像装置において、ユーザが被写体を撮影しようとしていることを検出した場合、ライブビュー画像の表示のフレームレートを高くすることによってシャッターチャンスを逃さないようにし、ユーザが被写体を撮影しようとしていないことを検出した場合、ライブビュー画像表示のフレームレートを低くすることによって消費電力を抑制する技術を開示した。特許文献２は、撮像装置において、連写時は、ライブビュー画像の表示のフレームレートを低下させることによって、内部バスを含む処理系全体の負荷を軽減する技術を開示した。
　また、特許文献３は、被写体の動きの検出処理時間を短縮することを目的として、ライブビュー画像表示のフレームレートの値が大きいほど被写体の動き検出範囲を狭く設定する技術を開示した。
　また、複数の端末装置から無線通信で複数の画像を受信して多画面画像を作成及び表示する技術が知られている。特許文献４は、複数の端末の優先順位に従って端末機器の接続を切換える技術を開示した。
特開２０１３－１５０１５９号公報 特開２００３－２４４５２９号公報 特開２０１１－０８２９０１号公報 特開２０１４－０３８３３６号公報
　複数の撮像装置から無線通信で送信された複数のライブビュー画像をスマートフォン、タブレット端末等のユーザ端末で受信し、複数のライブビュー画像を表示画面に表示すること（以下「マルチライブビュー」という）が求められている。
　しかしながら、ライブビュー画像を送信する撮像装置の数の増加に伴って、複数の撮像装置からユーザ端末までの複数のライブビュー画像の転送の負荷、及びユーザ端末での複数のライブビュー画像の処理の負荷が増加することにより、ユーザ端末でのライブビュー画像表示の実際のフレームレートが低下する場合がある。つまり、無線通信で接続される撮像装置の数の増加に起因して、マルチライブビューの表示画像品質が低下するという問題が発生する。
　上述の特許文献１～４は、このようなマルチライブビューにおける表示画像品質の低下の問題に着目しておらず、特許文献１～４記載の技術をマルチライブビューに適用してみても、上述の問題を解決できない。
　特許文献１、２は、ライブビュー画像の表示のフレームレートを制御する技術を開示しているにすぎず、そもそも複数の撮像装置とユーザ端末との間の無線通信の転送負荷を軽減する観点が欠けている。また、特許文献１記載の技術によれば、重要なライブビュー画像であっても表示のフレームレートが低下する場合がある。特許文献２記載の技術によれば、非連写撮影のライブビュー時には常に表示のフレームレートを維持して低下させないことになる。
　特許文献３は、被写体の動きと表示のフレームレートとの関係に言及しているが、そもそも複数の撮像装置とユーザ端末との間の無線通信の転送負荷を軽減することに関する開示及び示唆はない。
　特許文献４は、複数の端末に対して優先順位を設定することを開示しているが、複数のライブビュー画像に対して優先順位を設定することを開示及び示唆しているわけではない。
　マルチライブビューでは、複数の撮像装置間の相違点（例えば、機種の相違、撮影性能の相違）とは無関係に、複数のライブビュー画像間で重要性に高低差がある場合がある。従って、特許文献４記載の技術を用いて複数の撮像装置間の相違点に応じて複数の撮像装置間で優先順位を設定する構成を採用してみても、重要性の高いライブビュー画像のフレームレートが低下する場合があるので、重要性の高いライブビュー画像の表示品質を確実に維持することは困難であるといえる。
　本発明は上述の事情に鑑みてなされたものであり、複数の撮像装置で撮像される複数のライブビュー画像を無線通信で受信して表示する場合に、撮像装置の数が増加しても重要性の高いライブビュー画像の表示品質を維持しつつ負荷軽減を行うことができるライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラムを提供することを目的とする。
　本発明の一態様は、複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させる表示制御部と、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定部と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部と、転送条件設定部により設定された転送条件を複数の撮像装置に無線通信部を介して送信する通信制御部と、を備えるライブビュー制御装置に関する。
　本態様によれば、複数のライブビュー画像間で設定された優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件が設定され、複数の撮像装置に送信されるので、無線通信で接続される撮像装置の数が増加しても、複数のライブビュー画像のうちで重要性の高いライブビュー画像の表示画像品質を維持しつつ負荷軽減を行うことが可能になる。
　本発明の一態様では、優先順位設定部は、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を設定する。
　本態様によれば、複数のライブビュー画像の表示態様及び複数のライブビュー画像の表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を自動的に設定することが可能となるので、複数のライブビュー画像のうちで重要性の高いライブビュー画像の表示画像品質を確実に維持することが可能になる。表示態様の変更があった場合には複数のライブビュー画像の優先順位が自動的に設定されて、重要性の高いライブビュー画像の表示画像品質が確実に維持されることになる。表示状況が変化した場合には複数のライブビュー画像の優先順位が自動的に設定されて、重要性の高いライブビュー画像の表示画像品質が確実に維持されることになる。
　本発明の一態様では、優先順位設定部は、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
　本態様によれば、ユーザによって設定されるライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、複数のライブビュー画像の優先順位が自動的に設定され得る。
　本発明の一態様では、優先順位設定部は、ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又はライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、ライブビュー画像の優先順位を設定する。
　本態様によれば、複数の撮像装置で撮像されて転送される複数のライブビュー画像中の被写体像に応じて、複数のライブビュー画像の優先順位が自動的に設定される。
　本発明の一態様では、優先順位設定部は、ライブビュー画像の中に動体像が存在するか否か、ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
　本態様によれば、複数の撮像装置で撮像されて転送される複数のライブビュー画像中の動体像に応じて、複数のライブビュー画像の優先順位が自動的に設定される。
　本発明の一態様では、複数のライブビュー画像のうちで複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する第１の転送条件変更判定部を備え、転送条件設定部は、第１の転送条件変更判定部の判定結果に基づいて転送条件を変化させる。
　本態様によれば、撮像装置の数が増加しても、優先順位の高いライブビュー画像の表示画像品質を的確に維持しつつ、転送条件を変化させることが可能になる。
　本発明の一態様では、複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方の複数の撮像装置にわたる合計値と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する第２の転送条件変更判定部を備え、転送条件設定部は、第２の転送条件変更判定部により転送条件を変化させると判定された場合に転送条件を変化させる。
　本態様によれば、撮像装置の数が増加しても、複数のライブビュー画像の実際のフレームレートの合計値及び実際の画像サイズのうち少なくとも一方の複数の撮像装置にわたる合計値に応じて転送条件が変化する。
　本発明の一態様では、複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、転送条件を変化させるか否かを判定する第３の転送条件変更判定部を備え、転送条件設定部は、第３の転送条件変更判定部により転送条件を変化させると判定された場合に転送条件を変化させる。
　本態様によれば、実際のフレームレート及び画像サイズの両方を考慮して転送条件が変化するので、フレームレートが大きくても画像サイズが小さい場合、あるいは画像サイズが大きくてもフレームレートが小さい場合でも、複数のライブビュー画像の表示画像品質を維持することが可能になる。
　本発明の一態様では、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつの指示入力を受け付ける表示態様指示入力部を備える。
　本発明の一態様では、複数のライブビュー画像の優先順位の指示入力を受け付ける優先順位指示入力部を備える。
　本態様によれば、ユーザが直接的に複数のライブビュー画像の優先順位を指示入力する場合でも、複数のライブビュー画像の表示画像品質を維持することが可能になる。
　本発明の一態様は、撮像装置と、ライブビュー制御装置と、を備えるライブビューシステムに関する。
　本発明の一態様は、複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定ステップと、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、設定された転送条件を複数の撮像装置に無線通信で送信するステップと、を含むライブビュー制御方法に関する。
　本発明の一態様では、優先順位設定ステップは、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を設定する。
　本発明の一態様では、優先順位設定ステップは、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
　本発明の一態様では、優先順位設定ステップは、ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又はライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、ライブビュー画像の優先順位を設定する。
　本発明の一態様では、優先順位設定ステップは、ライブビュー画像の中に動体像が存在するか否か、ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
　本発明の一態様では、複数のライブビュー画像のうちで複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値とを比較することにより、転送条件を変化させるか否かを判定する第１の判定ステップを備え、第１の判定ステップの判定結果に基づいて転送条件を変化させる。
　本発明の一態様では、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくとも一方の複数の撮像装置にわたる合計値と閾値とを比較することにより、転送条件を変化させるか否かを判定する第２の判定ステップを備え、第２の判定ステップで転送条件を変化させると判定された場合に転送条件を変化させる。
　本発明の一態様では、複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、転送条件を変化させるか否かを判定する第３の判定ステップを備え、第３の判定ステップの判定結果に基づいて前記転送条件を変化させる。
　本発明の一態様は、複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定ステップと、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、設定された転送条件を複数の撮像装置に無線通信で送信するステップと、をコンピュータに実行させるプログラムに関する。このプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本発明の一態様に含まれる。
　本発明によれば、複数の撮像装置で撮像される複数のライブビュー画像を無線通信で受信して表示する場合に、撮像装置の数が増加しても重要性の高いライブビュー画像の表示品質を維持しつつ負荷軽減を行うことができる。
複数の撮像装置及びスマートフォンを含むライブビューシステムの一例を示す構成図 ライブビュー制御装置の一例であるスマートフォンのハードウェア構成例を示すブロック図 本発明のライブビュー制御装置の要部の構成例を示すブロック図 マルチライブビュー制御情報の一例を示す説明図 ライブビュー制御方法の第１実施例の流れを示すフローチャート 表示画面の説明に用いる説明図 レイアウト（表示態様の一例）の設定の説明に用いる第１の説明図 レイアウト（表示態様の一例）の設定の説明に用いる第２の説明図 レイアウト（表示態様の一例）の設定の説明に用いる第３の説明図 ライブビュー画像のトリミングの説明に用いる説明図 ライブビュー制御方法の第１実施例におけるライブビュー画像表示例の説明図 ライブビュー画像の表示サイズ変更のバリエーションを示す説明図 ライブビュー画像の表示位置変更のバリエーションを示す説明図 ライブビュー画像のトリミング範囲変更の説明図 ライブビュー制御方法の第２実施例の流れを示すフローチャート ライブビュー制御方法の第２実施例におけるライブビュー画像表示例の説明図 ライブビュー制御方法の第３実施例の流れを示すフローチャート ライブビュー制御方法の第３実施例におけるライブビュー画像表示例の説明図 撮像装置及びスマートフォンを含むライブビューシステムの他の例を示す構成図
　以下、図面を参照して本発明の実施形態について説明する。
　［ライブビューシステムの構成］
　図１は、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃ及びスマートフォン１００を含むライブビューシステムの一例を示す構成図である。以下では、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのうち少なくともひとつを「撮像装置１０」という場合もある。
　本例では、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのそれぞれとスマートフォン１００とが直接的に無線通信を行う。
　［スマートフォンのハードウェア構成例］
　図２は、図１に示したスマートフォン１００のハードウェア構成を示すブロック図である。
　図２に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System)受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
　無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、スマートフォン１００の無線通信部１１０は、撮像装置１０に各種の操作用の指示入力を送信したり、撮像装置１０からライブビュー画像、記録用の画像等を受信する。
　表示入力部１２０は、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。
　表示パネル１２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
　操作パネル１２２は、表示パネル１２１に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
　図１に示すように、スマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
　尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
　通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。
　操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、スマートフォン１００の筐体１０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
　記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimediacardmicro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
　外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
　スマートフォン１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達することや、スマートフォン１００の内部のデータが外部機器に伝送されるようにすることができる。
　ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、GPS衛星ＳＴ１～ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン１００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
　モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力されるものである。
　電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
　主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
　アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
　また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。
　更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。
　表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきらない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
　また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
　更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
　また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
　カメラ部１４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図１に示すスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。
　また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
　本例では、ネットワーク等を介して撮像装置１０を操作するためのアプリケーションソフトウェアをダウンロードして記憶部１５０に記憶させ、スマートフォン１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部１０１を動作させることにより、汎用のスマートフォン１００を、撮像装置１０を操作するためのユーザインターフェース部（ＵＩ部）として機能させるようにしている。
　図３は、本発明のライブビュー制御装置の要部の構成例を示すブロック図である。図３において、スマートフォン１００は、本発明のライブビュー制御装置の一例である。
　スマートフォン１００の無線通信部１１０は、複数の撮像装置１０から複数のライブビュー画像を受信（入力）する画像入力部２０２、及び複数の撮像装置１０に対して転送条件等の指示を送信（出力）する指示出力部２０４として、用いられる。
　スマートフォン１００の表示入力部１２０は、ユーザの指示入力を受け付ける指示入力部２１２として、用いられる。指示入力部２１２は、本発明における表示態様指示入力部の一例を構成し、複数のライブビュー画像の表示態様の指示入力（例えばライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつの指示入力である）を、受け付ける。
　スマートフォン１００の主制御部１０１は、複数のライブビュー画像の表示態様を設定する表示態様設定部２３２と、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定部２３４と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部２３６と、撮像装置１０からスマートフォン１００までのライブビュー画像の転送の負荷（以下単に「転送負荷」という）、及びスマートフォン１００でのライブビュー画像の処理の負荷（以下単に「処理負荷」という）のうち少なくとも一方の負荷を検出する負荷検出部２３８と、負荷検出部２３８で検出された負荷に基づいて、複数の撮像装置１０に設定する転送条件を変化させるか否かを判定する転送条件変更判定部２４０と、複数の撮像装置１０から受信されたライブビュー画像に対して画像処理を行う画像処理部２４２と、複数の撮像装置１０から受信された複数のライブビュー画像のそれぞれを表示パネル１２１（画像表示可能である表示画面の一例である）の複数領域のそれぞれに表示させる表示制御部２４４と、ライブビュー画像の表示状況を検出する表示状況検出部２４６と、転送条件設定部２３６により設定された転送条件及びライブビュー画像の転送指示を複数の撮像装置１０に無線通信部１１０を介して送信する通信制御部２４８と、記憶部１５０に記憶されたプログラムに従ってスマートフォン１００の各部での処理の実行を制御する実行制御部２５０と、を備える。
　次に、スマートフォン１００の優先順位設定部２３４による優先順位の設定態様について説明する。スマートフォン１００の優先順位設定部２３４は、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を設定する。表示態様は、本明細書において、表示制御部２４４が表示パネル１２１にライブビュー画像を表示させる態様を表わす。表示状況は、本明細書において、表示制御部２４４の制御により表示パネル１２１に実際に表示されたライブビュー画像の表示の状況を表わす。
　ライブビュー画像の表示態様として、以下の例が挙げられる。
・ライブビュー画像の表示サイズ。
・ライブビュー画像の表示位置。
・ライブビュー画像を拡大表示するか否か。あるいは拡大率。
・ライブビュー画像をぼかして表示するか否か。あるいはぼかし率。
・ライブビュー画像を強調表示するか否か。例えばバックライト表示の領域であるか否か。
・ライブビュー画像表示の演出効果の有無。あるいは演出効果の種類。
　ライブビュー画像の表示状況として、以下の例が挙げられる。
・ライブビュー画像中の特定の被写体像の有無。
・ライブビュー画像中の被写体像の重要性（例えば予め定められた被写体像間の順位）。
・ライブビュー画像中の動体像の有無、大きさ及び移動速度のうち少なくともひとつ。
・ライブビュー画像中の背景。
・ライブビュー画像の連続表示時間。
　ライブビュー画像の表示態様は、表示態様設定部２３２により、ユーザから設定入力を受け付ける場合と、自動的に設定する場合がある。
　ライブビュー画像の表示状況は、表示状況検出部２４６により、ライブビュー画像から検出する場合と、撮像装置１０がライブビュー画像に付加した情報から検出する場合がある。ユーザが表示されたライブビュー画像から表示状況を判断して、スマートフォン１００に表示状況に対応する情報を入力する場合を含む。
　尚、ライブビュー画像の表示態様及び表示状況は、上述の例には特に限定されない。
　次に、スマートフォン１００の転送条件変更判定部２４０による転送条件変更の判定態様について説明する。
　第１の判定態様では、転送条件変更判定部２４０は、本発明における第１の転送条件変更判定部として機能し、複数のライブビュー画像のうちで、特定の優先順位以上であるライブビュー画像の実際のフレームレート（測定値である）と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する。最高の優先順位であるライブビュー画像の実際のフレームレートのみを閾値と比較してもよい。好ましくは、転送条件変更判定部２４０は、本発明における第３の転送条件変更判定部としても機能し、実際のフレームレート（測定値である）及び実際の画像サイズ（測定値である）の両方に基づいて、上記の判定を行う。また、本発明は、実際の画像サイズのみに基づいて上記の判定を行う場合を含む。
　ここで、「実際のフレームレート」及び「実際の画像サイズ」は、転送負荷又は処理負荷が高いとき、撮像装置１０に設定したフレームレート及び画像サイズとは異なる場合がある。負荷検出部２３８は、撮像装置１０から受信して表示パネル１２１に表示させるまでのライブビュー画像のフレームレート及び画像サイズを監視することで、実際のフレームレート及び実際の画像サイズを検出し、閾値との比較結果を求める。例えば、「実際のフレームレート」及び「実際の画像サイズ」は、それぞれ、撮像装置１０に対して設定したフレームレート（設定値である）及び設定した画像サイズ（設定値である）との差分（相対値である）として検出される。好ましくは、実際のフレームレートと実際の画像サイズとを積算し、積算値を特定の優先順位以上であるライブビュー画像にわたって合計（総和）し、合計値と閾値とを比較する。最高の優先順位のライブビュー画像の積算値のみを閾値と比較してもよい。
　第２の判定態様では、転送条件変更判定部２４０は、本発明における第２の転送条件変更判定部として機能し、複数のライブビュー画像の実際のフレームレート（測定値である）を複数の撮像装置１０Ａ、１０Ｂ、１０Ｃの全てにわたって合計（総和）し、合計値と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する。好ましくは、転送条件変更判定部２４０は、本発明における第３の転送条件変更判定部としても機能し、実際のフレームレート（測定値である）及び実際の画像サイズ（測定値である）の両方に基づいて、上記の判定を行う。また、本発明は、実際の画像サイズのみに基づいて上記の判定を行う場合を含む。
　図４は、スマートフォン１００の主制御部１０１で管理されるマルチライブビュー制御情報の一例を示す。図４の「撮像装置」の列の情報は、図１に示した複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのいずれであるかを示す識別情報である。図４の「ライブビュー画像」の列の情報は、図１に示した複数の撮像装置１０Ａ、１０Ｂ、１０Ｃから無線通信で受信する複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３のいずれであるかを示す識別情報である。図４の「表示態様」の列の情報は、各ライブビュー画像の表示態様の一例を示す。本例の「表示態様」は、指示入力部２１２によりユーザが指示入力した表示サイズ及び表示位置を示す。図４の「表示状況」の列の情報は、ライブビュー画像の表示状況の一例を示す。本例の「表示状況」は、表示状況検出部２４６によりライブビュー画像から検出される。図４の「優先順位」の列の情報は、複数のライブビュー画像間の優先順位を示す。本例の「優先順位」は、優先順位設定部２３４により設定される。図４に示すように優先順位が「１」、「２」、「２」という場合（つまり複数のライブビュー画像間で優先順位の異なる組み合わせと優先順位の同じ組み合わせとが混在する場合）と、優先順位が「１」、「２」、「３」という場合（つまり複数のライブビュー画像間の全ての組み合わせで優先順位が異なる場合）とがある。図４の「転送条件」の列の情報は、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのそれぞれに対して送信されて各撮像装置で設定される転送条件（設定値）である。本例の転送条件は、転送条件設定部２３６で設定される。図４の「測定値」は、ライブビュー画像の実際の転送及び処理の状態（負荷状態である）を示す。本例の「測定値」は、スマートフォン１００の負荷検出部２３８で測定される。本例の「測定値」の大小は、負荷（転送負荷及び処理負荷）の大小に対応している。本明細書において「測定値」は負荷が大きいほど小さな値となるが、負荷が大きいほど大きな値となるように測定してもよい。後者の場合、測定値と閾値との大小関係が本明細書の記載とは逆になることに注意を要する。
　尚、図４に記載したマルチライブビュー制御情報は一例であり、マルチライブビューの実行を制御するための情報は、図４に記載の情報に特に限定されない。
　図５のフローチャートを用いて、スマートフォン１００におけるライブビュー制御方法の第１実施例の流れを説明する。図５において、スマートフォン１００での処理は、スマートフォン１００の実行制御部２５０によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。撮像装置１０は、既に電源スイッチがオンされており、初期化を終了した状態であるものとする。
　スマートフォン１００の表示態様設定部２３２により、ライブビュー画像表示のレイアウト（表示態様の一例である）の設定を行う（ステップＳ１０２）。
　例えば、図６に示すように、表示入力部１２０の表示パネル１２１（表示画面の一例である）に、ライブビュー画像表示領域１２１Ａ、レイアウトパターン選択領域１２１Ｂ、及び撮像装置数選択領域１２１Ｃを含むマルチライブビュー画面が表示される。ライブビュー画像表示領域１２１Ａは、複数の撮像装置１０Ａ～１０Ｃから受信する複数のライブビュー画像ＬＶ１～ＬＶ３のそれぞれを表示する複数領域（第１の画像表示領域３０１、第２の画像表示領域３０２、第３の画像表示領域３０３）からなる。尚、ライブビュー画像ＬＶ１～ＬＶ３は本ステップでは未表示である。レイアウトパターン選択領域１２１Ｂは、撮像装置数選択領域１２１Ｃに選択入力された撮像装置数に対応して選択可能なレイアウトのパターン（形状）を表示し、ユーザからレイアウトのパターンの選択入力を受け付ける領域である。符号１２４～１２７はアイコンボタンである。
　このようなマルチライブビュー画面が表示入力部１２０に表示された状態で、ユーザは、撮像装置数選択領域１２１Ｃ内で撮像装置の数を選択入力し、かつレイアウトパターン選択領域１２１Ｂ内で撮像装置数ごとに予め決められたレイアウトのパターンを選択入力することで、図７に示す複数のレイアウトのパターン（撮像装置数が１台である場合のパターン３１１Ａ、撮像装置数が２台である場合のパターン３１２Ａ、３１２Ｂ、３１２Ｃ、３１２Ｄ、撮像装置数が３台の場合のパターン３１３Ａ、３１３Ｂ、３１３Ｃ、３１３Ｄ、３１３Ｅのうちから、所望のレイアウトのパターンを選択することができる。
　例えば撮像装置の数として「３」が選択され、かつ符号３１３Ｂのレイアウトのパターン（形状）が選択された場合（以下「レイアウト３－２」という）、図８に示すように、更に相対的なコマ位置の違いによりさらに６つの異なるレイアウトが考えられる。例えば、デフォルトを図８の（１）のレイアウトとした場合、図９に示すように、ユーザは、スライド操作により、ライブビュー画像の表示位置及び表示サイズを入れ替えることができる。尚、ライブビュー画像ＬＶ１～ＬＶ３は本ステップでは未表示である。レイアウトのパターンによっては、表示サイズのみを又は表示位置のみを入れ替えることも可能である。
　ユーザにより選択されたレイアウトを示すレイアウト情報は、記憶部１５０に記憶される。ここで、レイアウト情報は、各ライブビュー画像の少なくとも表示サイズ及び表示位置を示す。
　スマートフォン１００の優先順位設定部２３４により、複数の撮像装置１０Ａ～１０Ｃにそれぞれに対応する複数のライブビュー画像の優先順位を、ステップＳ１０２で選択されたレイアウト（表示態様の一例である）に基づいて、複数のライブビュー画像間で設定する（ステップＳ１０４：優先順位設定ステップの一態様である）。例えば、図４に示したように、後に撮像装置１０Ａから入力するライブビュー画像ＬＶ１に対して優先順位１を設定し、後に撮像装置１０Ｂから入力するライブビュー画像ＬＶ２及び後に撮像装置１０Ｃから入力するライブビュー画像ＬＶ３に対して優先順位２を設定する。ここで、優先順位は、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのうちいずれから入力されるかに基づいて設定されるのではなく、複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３のレイアウト（表示態様の一例である）に基づいて設定される。図４において、優先順位は、複数のライブビュー画像の組み合わせのうち少なくとも一部の組み合わせ間で異なるように設定されている。
　スマートフォン１００の転送条件設定部２３６により、複数の撮像装置１０Ａ～１０Ｃからスマートフォン１００に対して送信する複数のライブビュー画像の初期の転送条件を設定する（ステップＳ１０６）。本ステップでは、複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３で同一のフレームレート及び画像サイズが設定される。つまり、通常は負荷が小さいとして、優先順位とは無関係に、高転送量を許容する転送条件を設定しておく。
　スマートフォン１００の指示入力部２１２に、複数の撮像装置１０Ａ～１０Ｃで行う撮影の撮影準備指示が入力されたか否かを判定する（ステップＳ１０８）。例えば図６のレリーズ・ボタンアイコン１２５の一度目の押下が行われた場合、撮影準備指示が入力されたと判定する。
　撮影準備指示がスマートフォン１００の指示入力部２１２に入力された場合（ステップＳ１０８でＹＥＳの場合）、スマートフォン１００の指示出力部２０４（無線通信部１１０）により、複数の撮像装置１０Ａ～１０Ｃに対して、撮影準備指示及び初期の転送条件を無線通信で送信（出力）する（ステップＳ１１０）。
　撮影準備指示及び初期の転送条件を受信（入力）した複数の撮像装置１０Ａ～１０Ｃは、スマートフォン１００に対して、無線通信でライブビュー画像の送信（出力）を開始する。スマートフォン１００の画像入力部２０２（無線通信部１１０）は、複数の撮像装置１０Ａ～１０Ｃから、無線通信で複数のライブビュー画像を受信（入力）する。
　スマートフォン１００の実行制御部２５０は、複数の撮像装置１０Ａ～１０Ｃの少なくともひとつからライブビュー画像を受信したか否かを判定する（ステップＳ１１２）。
　スマートフォン１００の画像処理部２４２は、図１０に示すように、受信されたライブビュー画像ＬＶ０をトリミングして、表示用のライブビュー画像ＬＶを抽出する（ステップＳ１１４）。
　スマートフォン１００の表示制御部２４４は、図１１に示すように、複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３（図１０のＬＶに相当する）のそれぞれを、表示入力部１２０の表示パネル１２１の複数領域３０１、３０２、３０３のそれぞれに表示させる（ステップＳ１１６）。
　スマートフォン１００の実行制御部２５０は、ライブビュー画像表示のレイアウトの変更が行われたか否かを判定する（ステップＳ１１８）。図６に示したマルチライブビュー画面は、ライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３が表示された状態で、ライブビュー画像表示のレイアウトの変更が可能である。本例の表示態様設定部２３２は、マルチライブビュー画面でレイアウトの変更を受け付ける。
　ライブビュー画像表示のレイアウトの変更が行われた場合（ステップＳ１１８でＹＥＳ）、変更されたレイアウトに基づいて優先順位を再設定する（ステップＳ１２０：優先順位設定ステップの一態様である）。
　スマートフォン１００の転送条件変更判定部２４０は、スマートフォン１００の負荷検出部２３８により検出されたライブビュー画像転送の実際のフレームレート（測定値）及び実際の画像サイズ（測定値）のうち少なくとも一方を閾値と比較することにより、転送条件を変化させるか否かを判定する（ステップＳ１２２：第１の判定ステップ、第２の判定ステップ及び第３の判定ステップの一態様である）。
　ライブビュー画像転送の実際のフレームレートが閾値よりも小さい場合（ステップＳ１２２でＹＥＳの場合）、スマートフォン１００の転送条件設定部２３６により、複数のライブビュー画像の優先順位に基づいて転送条件を変更する設定を行う（ステップＳ１２４：転送条件設定ステップの一態様である）。即ち、ステップＳ１２２の判定結果に基づいて転送条件を変化させる。例えば、スマートフォン１００の転送条件設定部２３６は、優先順位が２位以下のライブビュー画像の転送のフレームレート（設定値である）を小さくする。
　つまり、撮像装置１０からスマートフォン１００へのライブビュー画像の転送負荷、及びスマートフォン１００でのライブビュー画像の処理負荷のうち少なくとも一方の負荷が、ライブビュー画像視認の違和感をユーザに与えるほど大きいと判定された場合には、優先順位の低いライブビュー画像の転送条件を低転送量に変更する。例えば、実際のフレームレートの閾値が２０ｆｐｓ(frame per second)と設定されていて、負荷検出部２３８で検出された実際のフレームレート（測定値）が１５ｆｐｓである場合には、閾値（２０ｆｐｓ）よりも実際のフレームレート（１５ｆｐｓ）が小さいので、転送のフレームレート（設定値）を小さくする変更を行う。転送の画像サイズを転送のフレームレートと共に変更してもよい。本発明は、転送の画像サイズのみを変更する場合を含む。
　スマートフォン１００の指示出力部２０４（無線通信部１１０）により、変更された転送条件を、複数の撮像装置１０Ａ～１０Ｃのうちで必要な撮像装置に対して、無線通信で送信（出力）する（ステップＳ１２６）。
　スマートフォン１００の指示入力部２１２に、複数の撮像装置１０Ａ～１０Ｃで行う撮影の指示が入力されたか否かを判定する（ステップＳ１２８）。例えば、ライブビュー画像が表示された状態で、図６のレリーズ・ボタンアイコン１２５の押下が行われた場合、撮影指示が入力されたと判定する。
　撮影指示がスマートフォン１００の指示入力部２１２に入力された場合（ステップＳ１２８でＹＥＳの場合）、スマートフォン１００の指示出力部２０４（無線通信部１１０）により、複数の撮像装置１０Ａ～１０Ｃに対して、無線通信で撮影指示を送信（出力）する（ステップＳ１３０）。
　複数の撮像装置１０Ａ～１０Ｃでは、被写体の撮影が行われる。スマートフォン１００の画像入力部２０２（無線通信部１１０）は、複数の撮像装置１０Ａ～１０Ｃから、無線通信で複数の撮影画像を受信（入力）する（ステップＳ１３２）。
　スマートフォン１００の実行制御部２５０は、スマートフォン１００の記憶部１５０に複数の撮影画像を記録し、かつスマートフォン１００の表示入力部１２０の表示パネル１２１に複数の撮影画像のうち少なくともいずれかを表示する（ステップＳ１３４）。
　＜表示サイズ及び表示位置の他の指示入力例＞
　図６～図９を用いて、ライブビュー画像の表示サイズ及び表示位置の指示入力の一態様を説明したが、他の態様によって行ってもよい。
　図１２に示すように、ライブビュー画像ＬＶの表示領域の枠を指等によりタッチしてスライドすることにより、ライブビュー画像ＬＶの表示サイズを変更する指示入力を行ってもよい。
　図１３に示すように、ライブビュー画像ＬＶの枠内の領域を指等によりタッチしてスライドすることにより、ライブビュー画像ＬＶの表示位置を変更する指示入力を行ってもよい。
　尚、図６～図８に示したようにレイアウトのパターンを選択する方式の場合には、レイアウトのパターンを選択することにより図１０に示したトリミングの範囲が自動的に設定されるが、図１４に示すようにユーザからライブビュー画像のトリミングの範囲を変更する指示入力を受け付けるようにしてもよい。図１４に示す例では、ライブビュー画像ＬＶの表示領域の枠３００を指等によりタッチしてスライドすることにより、撮像装置１０から受信するライブビュー画像ＬＶ０（原ライブビュー画像）からトリミングする範囲を変更させることができる。
　＜ライブビュー制御方法の他の実施例＞
　図１５は、ライブビュー制御方法の第２実施例の流れを示すフローチャートである。図１５において、スマートフォン１００での処理は、スマートフォン１００の実行制御部２５０によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。尚、撮像装置１０は、既に電源スイッチがオンされており、初期化を終了した状態であるものとする。
　ステップＳ２０２、Ｓ２０６、Ｓ２０８、Ｓ２１０及びＳ２１２は、それぞれ、図５に示したライブビュー制御方法の第１実施例のステップＳ１０２、Ｓ１０６、Ｓ１０８、Ｓ１１０及びＳ１１２と同様であり、ここでは説明を省略する。
　ただし、第２実施例では、第１実施例（複数のライブビュー画像の表示態様に応じて複数のライブビュー画像の優先順位を設定する場合の一例である）とは異なり、複数のライブビュー画像の表示状況に応じて複数のライブビュー画像の優先順位を設定する。
　ステップＳ２１３（優先順位設定ステップの一態様である）において、スマートフォン１００の優先順位設定部２３４は、ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か（以下「被写体像の有無」という）、及びライブビュー画像の中の被写体像が予め順位（複数の被写体像間の重要性の順位を示す）が定められた複数の被写体像のいずれであるか（以下「被写体像の重要性」という）のうち、少なくともひとつの判定条件に応じて、ライブビュー画像の優先順位を設定する。例えば、図１６に示す表示画面において、顔検出により、第１の画像表示領域３０１に、予め定められた被写体像が存在する、あるいは重要性の高い被写体像が存在する、と判定される。
　ステップＳ２１４～Ｓ２３４は、図５に示したライブビュー制御方法の第１実施例のステップＳ１１４～Ｓ１１６及びＳ１２２～Ｓ１３４と同様であり、ここでは説明を省略する。
　図１７は、ライブビュー制御方法の第３実施例の流れを示すフローチャートである。図１７において、スマートフォン１００での処理は、スマートフォン１００の実行制御部２５０によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。尚、撮像装置１０は、既に電源スイッチがオンされており、初期化を終了した状態であるものとする。
　ステップＳ３０２、Ｓ３０６、Ｓ３０８、Ｓ３１０及びＳ３１２は、それぞれ、図５に示したライブビュー制御方法の第１実施例のステップＳ１０２、Ｓ１０６、Ｓ１０８、Ｓ１１０及びＳ１１２と同様であり、ここでは説明を省略する。
　ただし、第３実施例では、第１実施例（複数のライブビュー画像の表示態様に応じて複数のライブビュー画像の優先順位を設定する場合の一例である）とは異なり、複数のライブビュー画像の表示状況に応じて複数のライブビュー画像の優先順位を設定する。
　ステップＳ３１３（優先順位設定ステップの一態様である）において、スマートフォン１００の優先順位設定部２３４は、ライブビュー画像の中に動体像が存在するか否か（以下「動体像の有無」という）、ライブビュー画像の中の動体像の大きさ、及びライブビュー画像の中の動体像の移動速度のうち、少なくともひとつの判定条件に応じて、ライブビュー画像の優先順位を設定する。例えば、図１８に示す表示画面において、動体検出により、第１の画像表示領域３０１に、動体像が存在すると判定される。
　ステップＳ３１４～Ｓ３３４は、図５に示したライブビュー制御方法の第１実施例のステップＳ１１４～Ｓ１１６及びＳ１２２～Ｓ１３４と同様であり、ここでは説明を省略する。
　［優先順位の指示入力のバリエーション］
　スマートフォン１００の優先順位設定部２３４が、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する場合を例に説明したが、本発明はこのような場合に限定されない。
　表示入力部１２０（指示入力部２１２）により、ユーザから複数のライブビュー画像の優先順位の指示入力を受け付けてもよい。例えば、図１１に示した画面において、複数のライブビュー画像の表示領域３０１～３０３のうち、特定の表示領域（例えば符号３０３の表示領域）に対して特定のタッチ操作（例えばダブルタップ）が行われた場合に、他の表示領域（例えば符号３０１及び３０２の表示領域）よりも、特定のタッチ操作が行われた表示領域（例えば符号３０３の表示領域）のライブビュー画像の優先順位を高くする。複数のライブビュー画像のそれぞれの識別情報（例えば識別番号）の入力を受け付けることで、優先順位の指示入力を受け付けてもよい。操作部１４０によって優先順位の指示入力を受け付けてもよい。本バリエーションにおいて、表示入力部１２０及び操作部１４０は、本発明における優先順位指示入力部の一例である。
　［システム構成のバリエーション］
　図１に示したように、撮像装置１０とライブビュー制御装置の一例であるスマートフォン１００とが直接的に無線通信を行う第１の無線通信態様において本発明を適用した場合を詳細に説明したが、図１９に示す第２の無線通信態様において、本発明を適用してもよい。
　図１９において、撮像装置１０Ａ、１０Ｂ、１０Ｄとライブビュー制御装置の一例であるスマートフォン１００とがアクセスポイントＡＰを介して間接的に無線通信を行う。このようなライブビューシステムでは、ライブビュー画像の転送負荷として、撮像装置１０Ａ、１０Ｂ、１０ＤとアクセスポイントＡＰ間の転送における負荷、及びアクセスポイントＡＰとスマートフォン１００との転送における負荷が含まれる。また、ライブビュー画像の転送負荷として、アクセスポイントＡＰでのライブビュー画像の対する処理負荷が加わる。このようなライブビューシステムにも本発明は適用可能である。
　尚、図１９の場合、撮像装置１０Ａ、１０Ｂと撮像装置１０Ｄとでは、機種が異なっている。撮像装置１０Ｄは、撮像レンズ及び撮像素子を含む撮像部が、パン方向及びチルト方向に回動可能なパン・チルトカメラである。このように撮像装置間で機種が異なる場合にも、本発明は適用可能である。
　本発明は、本明細書及び添付図面に記載された例には特に限定されず、本発明の要旨を逸脱しない限りにおいて本明細書及び添付図面に記載された例とは異なる態様で実施してもよい。
　１０（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ）：撮像装置、１００：スマートフォン（ライブビュー制御装置）、１０１：主制御部、１１０：無線通信部、１２０：表示入力部、１２１：表示パネル、１２２：操作パネル、２０２：画像入力部、２０４：指示出力部、２１２：指示入力部（表示態様指示入力部、優先順位指示入力部）、２３２：表示態様設定部、２３４：優先順位設定部、２３６：転送条件設定部、２３８：負荷検出部、２４０：転送条件変更判定部、２４２：画像処理部、２４４：表示制御部、２４６：表示状況検出部、２４８：通信制御部、２５０：実行制御部

Claims (21)

  1. 　複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、
    　前記複数の撮像装置から受信した前記複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させる表示制御部と、
    　前記複数のライブビュー画像の優先順位を前記複数のライブビュー画像間で設定する優先順位設定部と、
    　前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部と、
    　前記転送条件設定部により設定された転送条件を前記複数の撮像装置に前記無線通信部を介して送信する通信制御部と、
    　を備えるライブビュー制御装置。
  2. 　前記優先順位設定部は、前記ライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、前記複数のライブビュー画像の優先順位を設定する、
    　請求項１に記載のライブビュー制御装置。
  3. 　前記優先順位設定部は、前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    　請求項１に記載のライブビュー制御装置。
  4. 　前記優先順位設定部は、前記ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又は前記ライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、前記ライブビュー画像の優先順位を設定する、
    　請求項１に記載のライブビュー制御装置。
  5. 　前記優先順位設定部は、前記ライブビュー画像の中に動体像が存在するか否か、前記ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    　請求項１に記載のライブビュー制御装置。
  6. 　前記複数のライブビュー画像のうちで前記複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第１の転送条件変更判定部を備え、
    　前記転送条件設定部は、前記第１の転送条件変更判定部の判定結果に基づいて前記転送条件を変化させる、
    　請求項１から５のうちいずれか一項に記載のライブビュー制御装置。
  7. 　前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方の前記複数の撮像装置にわたる合計値と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第２の転送条件変更判定部を備え、
    　前記転送条件設定部は、前記第２の転送条件変更判定部により前記転送条件を変化させると判定された場合に前記転送条件を変化させる、
    　請求項１から５のうちいずれか一項に記載のライブビュー制御装置。
  8. 　前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、前記転送条件を変化させるか否かを判定する第３の転送条件変更判定部を備え、
    　前記転送条件設定部は、前記第３の転送条件変更判定部により前記転送条件を変化させると判定された場合に前記転送条件を変化させる、
    　請求項１から５のうちいずれか一項に記載のライブビュー制御装置。
  9. 　前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつの指示入力を受け付ける表示態様指示入力部を備える、
    　請求項３に記載又は請求項３に従属の請求項６から８のうちいずれか一項に記載のライブビュー制御装置。
  10. 　前記複数のライブビュー画像の優先順位の指示入力を受け付ける優先順位指示入力部を備える、
    　請求項１、６、７及び８のうちいずれか一項に記載のライブビュー制御装置。
  11. 　前記撮像装置と、請求項１から１０のうちいずれか一項に記載のライブビュー制御装置と、を備えるライブビューシステム。
  12. 　複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、
    　前記複数の撮像装置から受信した前記複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、
    　前記複数のライブビュー画像の優先順位を前記複数のライブビュー画像間で設定する優先順位設定ステップと、
    　前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、
    　前記設定された転送条件を前記複数の撮像装置に無線通信で送信するステップと、
    　を含むライブビュー制御方法。
  13. 　前記優先順位設定ステップは、前記ライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、前記複数のライブビュー画像の優先順位を設定する、
    　請求項１２に記載のライブビュー制御方法。
  14. 　前記優先順位設定ステップは、前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    　請求項１２に記載のライブビュー制御方法。
  15. 　前記優先順位設定ステップは、前記ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又は前記ライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、前記ライブビュー画像の優先順位を設定する、
    　請求項１２に記載のライブビュー制御方法。
  16. 　前記優先順位設定ステップは、前記ライブビュー画像の中に動体像が存在するか否か、前記ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    　請求項１２に記載のライブビュー制御方法。
  17. 　前記複数のライブビュー画像のうちで前記複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第１の判定ステップを備え、
    　前記第１の判定ステップの判定結果に基づいて前記転送条件を変化させる、
    　請求項１２から１６のうちいずれか一項に記載のライブビュー制御方法。
  18. 　前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方の前記複数の撮像装置にわたる合計値と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第２の判定ステップを備え、
    　前記第２の判定ステップの判定結果に基づいて前記転送条件を変化させる、
    　請求項１２から１６のうちいずれか一項に記載のライブビュー制御方法。
  19. 　前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、前記転送条件を変化させるか否かを判定する第３の判定ステップを備え、
    　前記第３の判定ステップの判定結果に基づいて前記転送条件を変化させる、
    　請求項１２から１６のうちいずれか一項に記載のライブビュー制御方法。
  20. 　複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、
    　前記複数の撮像装置から受信した前記複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、
    　前記複数のライブビュー画像の優先順位を前記複数のライブビュー画像間で設定する優先順位設定ステップと、
    　前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、
    　前記設定された転送条件を前記複数の撮像装置に無線通信で送信するステップと、
    　をコンピュータに実行させるプログラム。
  21. 　請求項２０に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
PCT/JP2015/068130 2014-09-11 2015-06-24 ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム WO2016038977A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016547742A JP6291072B2 (ja) 2014-09-11 2015-06-24 ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム
CN201580048922.2A CN107079084B (zh) 2014-09-11 2015-06-24 即时预览控制装置、即时预览控制方法、即时预览系统
US15/449,281 US10205868B2 (en) 2014-09-11 2017-03-03 Live view control device, live view control method, live view system, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014184950 2014-09-11
JP2014-184950 2014-09-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/449,281 Continuation US10205868B2 (en) 2014-09-11 2017-03-03 Live view control device, live view control method, live view system, and program

Publications (1)

Publication Number Publication Date
WO2016038977A1 true WO2016038977A1 (ja) 2016-03-17

Family

ID=55458739

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/068130 WO2016038977A1 (ja) 2014-09-11 2015-06-24 ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム

Country Status (4)

Country Link
US (1) US10205868B2 (ja)
JP (1) JP6291072B2 (ja)
CN (1) CN107079084B (ja)
WO (1) WO2016038977A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018038011A (ja) * 2016-09-02 2018-03-08 カシオ計算機株式会社 電子機器、データ通信方法、プログラム、及び撮影システム
WO2021199524A1 (ja) * 2020-03-31 2021-10-07 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108462817B (zh) * 2017-02-22 2021-01-05 佳能株式会社 通信装置及其控制方法和存储介质
CN107257439B (zh) * 2017-07-26 2019-05-17 维沃移动通信有限公司 一种拍摄方法及移动终端
CN116320782B (zh) * 2019-12-18 2024-03-26 荣耀终端有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
CN112383701A (zh) * 2020-10-14 2021-02-19 深圳海翼智新科技有限公司 用于图像采集设备的控制方法、系统和硬件控制器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351438A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 映像監視システム
JP2007166420A (ja) * 2005-12-15 2007-06-28 Fujifilm Corp カメラシステム及びデジタルカメラ
JP2007214831A (ja) * 2006-02-09 2007-08-23 Hitachi Kokusai Electric Inc 映像処理システム
JP2011139200A (ja) * 2009-12-28 2011-07-14 Sony Corp 受信装置、受信方法およびプログラム
JP2013093824A (ja) * 2011-10-05 2013-05-16 Sanyo Electric Co Ltd 電子機器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244529A (ja) 2002-02-20 2003-08-29 Minolta Co Ltd デジタルカメラ
US20060095539A1 (en) * 2004-10-29 2006-05-04 Martin Renkis Wireless video surveillance system and method for mesh networking
JP5039528B2 (ja) * 2007-12-13 2012-10-03 キヤノン株式会社 画像データ管理装置及びその制御方法及びプログラム
JP2011082901A (ja) 2009-10-09 2011-04-21 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102006477A (zh) * 2010-11-25 2011-04-06 中兴通讯股份有限公司 图像传输方法及系统
KR101283079B1 (ko) * 2011-08-17 2013-07-05 엘지이노텍 주식회사 적외선 엘이디 조명을 갖는 네트워크 카메라
JP5846928B2 (ja) 2012-01-19 2016-01-20 オリンパス株式会社 撮像装置
JP2014038336A (ja) 2013-08-30 2014-02-27 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
KR102149271B1 (ko) * 2014-01-13 2020-08-28 한화테크윈 주식회사 카메라의 동작 방법, 카메라, 및 감시 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351438A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 映像監視システム
JP2007166420A (ja) * 2005-12-15 2007-06-28 Fujifilm Corp カメラシステム及びデジタルカメラ
JP2007214831A (ja) * 2006-02-09 2007-08-23 Hitachi Kokusai Electric Inc 映像処理システム
JP2011139200A (ja) * 2009-12-28 2011-07-14 Sony Corp 受信装置、受信方法およびプログラム
JP2013093824A (ja) * 2011-10-05 2013-05-16 Sanyo Electric Co Ltd 電子機器

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018038011A (ja) * 2016-09-02 2018-03-08 カシオ計算機株式会社 電子機器、データ通信方法、プログラム、及び撮影システム
WO2021199524A1 (ja) * 2020-03-31 2021-10-07 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
JPWO2021199524A1 (ja) * 2020-03-31 2021-10-07
JP7277670B2 (ja) 2020-03-31 2023-05-19 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム

Also Published As

Publication number Publication date
US20170180626A1 (en) 2017-06-22
CN107079084A (zh) 2017-08-18
JP6291072B2 (ja) 2018-03-14
CN107079084B (zh) 2020-02-28
JPWO2016038977A1 (ja) 2017-07-20
US10205868B2 (en) 2019-02-12

Similar Documents

Publication Publication Date Title
JP6291072B2 (ja) ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム
US10560624B2 (en) Imaging control device, imaging control method, camera, camera system, and program
US9389758B2 (en) Portable electronic device and display control method
JP6205071B2 (ja) 撮像制御装置、撮像制御方法、カメラシステム及びプログラム
JP6435063B2 (ja) 撮像制御装置、撮像制御方法、撮像システム及びプログラム
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
US9270982B2 (en) Stereoscopic image display control device, imaging apparatus including the same, and stereoscopic image display control method
US10863095B2 (en) Imaging apparatus, imaging method, and imaging program
US10771680B2 (en) Mobile terminal and corresponding control method for changing the length of a control icon based on a size, position and/or a moving speed of a first object in a preview image
US10079973B2 (en) Imaging device operation device, operation method, and program
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
KR102270412B1 (ko) 줌 렌즈를 갖는 전자장치
JP5832673B2 (ja) 撮像装置およびその動作制御方法
KR20180014616A (ko) 이동 단말기 및 그 제어방법
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
JP2015192362A (ja) 画像再生装置，画像再生方法およびその制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15840008

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016547742

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15840008

Country of ref document: EP

Kind code of ref document: A1