JPWO2016038977A1 - ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム - Google Patents

ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム Download PDF

Info

Publication number
JPWO2016038977A1
JPWO2016038977A1 JP2016547742A JP2016547742A JPWO2016038977A1 JP WO2016038977 A1 JPWO2016038977 A1 JP WO2016038977A1 JP 2016547742 A JP2016547742 A JP 2016547742A JP 2016547742 A JP2016547742 A JP 2016547742A JP WO2016038977 A1 JPWO2016038977 A1 JP WO2016038977A1
Authority
JP
Japan
Prior art keywords
live view
image
transfer condition
display
view images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016547742A
Other languages
English (en)
Other versions
JP6291072B2 (ja
Inventor
林　大輔
大輔 林
渡辺　幹夫
幹夫 渡辺
三沢　岳志
岳志 三沢
田丸　雅也
雅也 田丸
宗之 大島
宗之 大島
史憲 入江
史憲 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2016038977A1 publication Critical patent/JPWO2016038977A1/ja
Application granted granted Critical
Publication of JP6291072B2 publication Critical patent/JP6291072B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4854—End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/637—Control signals issued by the client directed to the server or network components
    • H04N21/6373—Control signals issued by the client directed to the server or network components for rate control, e.g. request to the server to modify its transmission rate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Studio Devices (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Abstract

ライブビュー制御装置は、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを表示画面の複数領域のそれぞれに表示させる表示制御部（２４４）と、複数のライブビュー画像の優先順位を設定する優先順位設定部（２３４）と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部（２３６）と、設定された転送条件に従ったライブビュー画像の転送指示を複数の撮像装置に無線通信部を介して送信する通信制御部（２４６）を備える。

Description

本発明は、ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラムに係り、特に複数の撮像装置から無線通信で複数のライブビュー画像を受信するライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラムに関する。
被写体を撮像して撮像画像を記録する撮影機能を有した撮像装置において、特定の条件でライブビュー画像の表示のフレームレートを低下させる技術が知られている。特許文献１は、撮像装置において、ユーザが被写体を撮影しようとしていることを検出した場合、ライブビュー画像の表示のフレームレートを高くすることによってシャッターチャンスを逃さないようにし、ユーザが被写体を撮影しようとしていないことを検出した場合、ライブビュー画像表示のフレームレートを低くすることによって消費電力を抑制する技術を開示した。特許文献２は、撮像装置において、連写時は、ライブビュー画像の表示のフレームレートを低下させることによって、内部バスを含む処理系全体の負荷を軽減する技術を開示した。
また、特許文献３は、被写体の動きの検出処理時間を短縮することを目的として、ライブビュー画像表示のフレームレートの値が大きいほど被写体の動き検出範囲を狭く設定する技術を開示した。
また、複数の端末装置から無線通信で複数の画像を受信して多画面画像を作成及び表示する技術が知られている。特許文献４は、複数の端末の優先順位に従って端末機器の接続を切換える技術を開示した。
特開２０１３−１５０１５９号公報 特開２００３−２４４５２９号公報 特開２０１１−０８２９０１号公報 特開２０１４−０３８３３６号公報
複数の撮像装置から無線通信で送信された複数のライブビュー画像をスマートフォン、タブレット端末等のユーザ端末で受信し、複数のライブビュー画像を表示画面に表示すること（以下「マルチライブビュー」という）が求められている。
しかしながら、ライブビュー画像を送信する撮像装置の数の増加に伴って、複数の撮像装置からユーザ端末までの複数のライブビュー画像の転送の負荷、及びユーザ端末での複数のライブビュー画像の処理の負荷が増加することにより、ユーザ端末でのライブビュー画像表示の実際のフレームレートが低下する場合がある。つまり、無線通信で接続される撮像装置の数の増加に起因して、マルチライブビューの表示画像品質が低下するという問題が発生する。
上述の特許文献１〜４は、このようなマルチライブビューにおける表示画像品質の低下の問題に着目しておらず、特許文献１〜４記載の技術をマルチライブビューに適用してみても、上述の問題を解決できない。
特許文献１、２は、ライブビュー画像の表示のフレームレートを制御する技術を開示しているにすぎず、そもそも複数の撮像装置とユーザ端末との間の無線通信の転送負荷を軽減する観点が欠けている。また、特許文献１記載の技術によれば、重要なライブビュー画像であっても表示のフレームレートが低下する場合がある。特許文献２記載の技術によれば、非連写撮影のライブビュー時には常に表示のフレームレートを維持して低下させないことになる。
特許文献３は、被写体の動きと表示のフレームレートとの関係に言及しているが、そもそも複数の撮像装置とユーザ端末との間の無線通信の転送負荷を軽減することに関する開示及び示唆はない。
特許文献４は、複数の端末に対して優先順位を設定することを開示しているが、複数のライブビュー画像に対して優先順位を設定することを開示及び示唆しているわけではない。
マルチライブビューでは、複数の撮像装置間の相違点（例えば、機種の相違、撮影性能の相違）とは無関係に、複数のライブビュー画像間で重要性に高低差がある場合がある。従って、特許文献４記載の技術を用いて複数の撮像装置間の相違点に応じて複数の撮像装置間で優先順位を設定する構成を採用してみても、重要性の高いライブビュー画像のフレームレートが低下する場合があるので、重要性の高いライブビュー画像の表示品質を確実に維持することは困難であるといえる。
本発明は上述の事情に鑑みてなされたものであり、複数の撮像装置で撮像される複数のライブビュー画像を無線通信で受信して表示する場合に、撮像装置の数が増加しても重要性の高いライブビュー画像の表示品質を維持しつつ負荷軽減を行うことができるライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラムを提供することを目的とする。
本発明の一態様は、複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させる表示制御部と、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定部と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部と、転送条件設定部により設定された転送条件を複数の撮像装置に無線通信部を介して送信する通信制御部と、を備えるライブビュー制御装置に関する。
本態様によれば、複数のライブビュー画像間で設定された優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件が設定され、複数の撮像装置に送信されるので、無線通信で接続される撮像装置の数が増加しても、複数のライブビュー画像のうちで重要性の高いライブビュー画像の表示画像品質を維持しつつ負荷軽減を行うことが可能になる。
本発明の一態様では、優先順位設定部は、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を設定する。
本態様によれば、複数のライブビュー画像の表示態様及び複数のライブビュー画像の表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を自動的に設定することが可能となるので、複数のライブビュー画像のうちで重要性の高いライブビュー画像の表示画像品質を確実に維持することが可能になる。表示態様の変更があった場合には複数のライブビュー画像の優先順位が自動的に設定されて、重要性の高いライブビュー画像の表示画像品質が確実に維持されることになる。表示状況が変化した場合には複数のライブビュー画像の優先順位が自動的に設定されて、重要性の高いライブビュー画像の表示画像品質が確実に維持されることになる。
本発明の一態様では、優先順位設定部は、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
本態様によれば、ユーザによって設定されるライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、複数のライブビュー画像の優先順位が自動的に設定され得る。
本発明の一態様では、優先順位設定部は、ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又はライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、ライブビュー画像の優先順位を設定する。
本態様によれば、複数の撮像装置で撮像されて転送される複数のライブビュー画像中の被写体像に応じて、複数のライブビュー画像の優先順位が自動的に設定される。
本発明の一態様では、優先順位設定部は、ライブビュー画像の中に動体像が存在するか否か、ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
本態様によれば、複数の撮像装置で撮像されて転送される複数のライブビュー画像中の動体像に応じて、複数のライブビュー画像の優先順位が自動的に設定される。
本発明の一態様では、複数のライブビュー画像のうちで複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する第１の転送条件変更判定部を備え、転送条件設定部は、第１の転送条件変更判定部の判定結果に基づいて転送条件を変化させる。
本態様によれば、撮像装置の数が増加しても、優先順位の高いライブビュー画像の表示画像品質を的確に維持しつつ、転送条件を変化させることが可能になる。
本発明の一態様では、複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方の複数の撮像装置にわたる合計値と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する第２の転送条件変更判定部を備え、転送条件設定部は、第２の転送条件変更判定部により転送条件を変化させると判定された場合に転送条件を変化させる。
本態様によれば、撮像装置の数が増加しても、複数のライブビュー画像の実際のフレームレートの合計値及び実際の画像サイズのうち少なくとも一方の複数の撮像装置にわたる合計値に応じて転送条件が変化する。
本発明の一態様では、複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、転送条件を変化させるか否かを判定する第３の転送条件変更判定部を備え、転送条件設定部は、第３の転送条件変更判定部により転送条件を変化させると判定された場合に転送条件を変化させる。
本態様によれば、実際のフレームレート及び画像サイズの両方を考慮して転送条件が変化するので、フレームレートが大きくても画像サイズが小さい場合、あるいは画像サイズが大きくてもフレームレートが小さい場合でも、複数のライブビュー画像の表示画像品質を維持することが可能になる。
本発明の一態様では、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつの指示入力を受け付ける表示態様指示入力部を備える。
本発明の一態様では、複数のライブビュー画像の優先順位の指示入力を受け付ける優先順位指示入力部を備える。
本態様によれば、ユーザが直接的に複数のライブビュー画像の優先順位を指示入力する場合でも、複数のライブビュー画像の表示画像品質を維持することが可能になる。
本発明の一態様は、撮像装置と、ライブビュー制御装置と、を備えるライブビューシステムに関する。
本発明の一態様は、複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定ステップと、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、設定された転送条件を複数の撮像装置に無線通信で送信するステップと、を含むライブビュー制御方法に関する。
本発明の一態様では、優先順位設定ステップは、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を設定する。
本発明の一態様では、優先順位設定ステップは、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
本発明の一態様では、優先順位設定ステップは、ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又はライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、ライブビュー画像の優先順位を設定する。
本発明の一態様では、優先順位設定ステップは、ライブビュー画像の中に動体像が存在するか否か、ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、ライブビュー画像の優先順位を設定する。
本発明の一態様では、複数のライブビュー画像のうちで複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値とを比較することにより、転送条件を変化させるか否かを判定する第１の判定ステップを備え、第１の判定ステップの判定結果に基づいて転送条件を変化させる。
本発明の一態様では、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくとも一方の複数の撮像装置にわたる合計値と閾値とを比較することにより、転送条件を変化させるか否かを判定する第２の判定ステップを備え、第２の判定ステップで転送条件を変化させると判定された場合に転送条件を変化させる。
本発明の一態様では、複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、転送条件を変化させるか否かを判定する第３の判定ステップを備え、第３の判定ステップの判定結果に基づいて前記転送条件を変化させる。
本発明の一態様は、複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、複数の撮像装置から受信した複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定ステップと、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、設定された転送条件を複数の撮像装置に無線通信で送信するステップと、をコンピュータに実行させるプログラムに関する。このプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本発明の一態様に含まれる。
本発明によれば、複数の撮像装置で撮像される複数のライブビュー画像を無線通信で受信して表示する場合に、撮像装置の数が増加しても重要性の高いライブビュー画像の表示品質を維持しつつ負荷軽減を行うことができる。
複数の撮像装置及びスマートフォンを含むライブビューシステムの一例を示す構成図 ライブビュー制御装置の一例であるスマートフォンのハードウェア構成例を示すブロック図 本発明のライブビュー制御装置の要部の構成例を示すブロック図 マルチライブビュー制御情報の一例を示す説明図 ライブビュー制御方法の第１実施例の流れを示すフローチャート 表示画面の説明に用いる説明図 レイアウト（表示態様の一例）の設定の説明に用いる第１の説明図 レイアウト（表示態様の一例）の設定の説明に用いる第２の説明図 レイアウト（表示態様の一例）の設定の説明に用いる第３の説明図 ライブビュー画像のトリミングの説明に用いる説明図 ライブビュー制御方法の第１実施例におけるライブビュー画像表示例の説明図 ライブビュー画像の表示サイズ変更のバリエーションを示す説明図 ライブビュー画像の表示位置変更のバリエーションを示す説明図 ライブビュー画像のトリミング範囲変更の説明図 ライブビュー制御方法の第２実施例の流れを示すフローチャート ライブビュー制御方法の第２実施例におけるライブビュー画像表示例の説明図 ライブビュー制御方法の第３実施例の流れを示すフローチャート ライブビュー制御方法の第３実施例におけるライブビュー画像表示例の説明図 撮像装置及びスマートフォンを含むライブビューシステムの他の例を示す構成図
以下、図面を参照して本発明の実施形態について説明する。
［ライブビューシステムの構成］
図１は、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃ及びスマートフォン１００を含むライブビューシステムの一例を示す構成図である。以下では、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのうち少なくともひとつを「撮像装置１０」という場合もある。
本例では、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのそれぞれとスマートフォン１００とが直接的に無線通信を行う。
［スマートフォンのハードウェア構成例］
図２は、図１に示したスマートフォン１００のハードウェア構成を示すブロック図である。
図２に示すように、スマートフォン１００の主たる構成要素として、無線通信部１１０と、表示入力部１２０と、通話部１３０と、操作部１４０と、カメラ部１４１と、記憶部１５０と、外部入出力部１６０と、ＧＰＳ(Global Positioning System)受信部１７０と、モーションセンサ部１８０と、電源部１９０と、主制御部１０１とを備える。また、スマートフォン１００の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部１１０は、主制御部１０１の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。本例では、スマートフォン１００の無線通信部１１０は、撮像装置１０に各種の操作用の指示入力を送信したり、撮像装置１０からライブビュー画像、記録用の画像等を受信する。
表示入力部１２０は、主制御部１０１の制御により、画像（静止画及び動画）や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル１２１と、操作パネル１２２とを備える。３Ｄ画像を鑑賞する場合には、表示パネル１２１は、３Ｄ表示パネルであることが好ましい。
表示パネル１２１は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル１２２は、表示パネル１２１に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部１０１に出力する。次いで、主制御部１０１は、受信した検出信号に基づいて、表示パネル１２１上の操作位置（座標）を検出する。
図１に示すように、スマートフォン１００の表示パネル１２１と操作パネル１２２とは一体となって表示入力部１２０を構成しているが、操作パネル１２２が表示パネル１２１を完全に覆うような配置となっている。この配置を採用した場合、操作パネル１２２は、表示パネル１２１外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル１２２は、表示パネル１２１に重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル１２１に重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
尚、表示領域の大きさと表示パネル１２１の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル１２２が、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体１０２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル１２２で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部１３０は、スピーカ１３１やマイクロホン１３２を備え、マイクロホン１３２を通じて入力されたユーザの音声を主制御部１０１にて処理可能な音声データに変換して主制御部１０１に出力したり、無線通信部１１０あるいは外部入出力部１６０により受信された音声データを復号してスピーカ１３１から出力するものである。また、図１に示すように、例えば、スピーカ１３１及びマイクロホン１３２を表示入力部１２０が設けられた面と同じ面に搭載することができる。
操作部１４０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部１４０は、スマートフォン１００の筐体１０２の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部１５０は、主制御部１０１の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部１５０は、スマートフォン内蔵の内部記憶部１５１と着脱自在な外部メモリスロットを有する外部記憶部１５２により構成される。尚、記憶部１５０を構成するそれぞれの内部記憶部１５１と外部記憶部１５２は、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimediacardmicro type）、カードタイプのメモリ（例えば、Micro SD（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
外部入出力部１６０は、スマートフォン１００に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、IEEE1394など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン１００に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ(Subscriber Identity Module Card)／ＵＩＭ(User Identity Module Card)カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるPDA、有／無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン１００の内部の各構成要素に伝達することや、スマートフォン１００の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部１７０は、主制御部１０１の指示に従って、GPS衛星ＳＴ１〜ＳＴｎから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン１００の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部１７０は、無線通信部１１０や外部入出力部１６０（例えば、無線ＬＡＮ）から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
モーションセンサ部１８０は、例えば、３軸の加速度センサなどを備え、主制御部１０１の指示に従って、スマートフォン１００の物理的な動きを検出する。スマートフォン１００の物理的な動きを検出することにより、スマートフォン１００の動く方向や加速度が検出される。この検出結果は、主制御部１０１に出力されるものである。
電源部１９０は、主制御部１０１の指示に従って、スマートフォン１００の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部１０１は、マイクロプロセッサを備え、記憶部１５０が記憶する制御プログラムや制御データに従って動作し、スマートフォン１００の各部を統括して制御するものである。また、主制御部１０１は、無線通信部１１０を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部１５０が記憶するアプリケーションソフトウェアに従って主制御部１０１が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部１６０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部１０１は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画や動画のデータ）に基づいて、映像を表示入力部１２０に表示する等の画像処理機能を備える。画像処理機能とは、主制御部１０１が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部１２０に表示する機能のことをいう。
更に、主制御部１０１は、表示パネル１２１に対する表示制御と、操作部１４０、操作パネル１２２を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部１０１は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル１２１の表示領域に収まりきらない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部１０１は、操作部１４０を通じたユーザ操作を検出したり、操作パネル１２２を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部１０１は、操作パネル１２２に対する操作位置が、表示パネル１２１に重なる重畳部分（表示領域）か、それ以外の表示パネル１２１に重ならない外縁部分（非表示領域）かを判定し、操作パネル１２２の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部１０１は、操作パネル１２２に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部１４１は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部１４１は、主制御部１０１の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部１５０に記録したり、外部入出力部１６０や無線通信部１１０を通じて出力することができる。図１に示すスマートフォン１００において、カメラ部１４１は表示入力部１２０と同じ面に搭載されているが、カメラ部１４１の搭載位置はこれに限らず、表示入力部１２０の背面に搭載されてもよいし、あるいは、複数のカメラ部１４１が搭載されてもよい。尚、複数のカメラ部１４１が搭載されている場合には、撮影に供するカメラ部１４１を切り替えて単独にて撮影したり、あるいは、複数のカメラ部１４１を同時に使用して撮影することもできる。
また、カメラ部１４１はスマートフォン１００の各種機能に利用することができる。例えば、表示パネル１２１にカメラ部１４１で取得した画像を表示することや、操作パネル１２２の操作入力のひとつとして、カメラ部１４１の画像を利用することができる。また、ＧＰＳ受信部１７０が位置を検出する際に、カメラ部１４１からの画像を参照して位置を検出することもできる。更には、カメラ部１４１からの画像を参照して、３軸の加速度センサを用いずに、あるいは、３軸の加速度センサと併用して、スマートフォン１００のカメラ部１４１の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部１４１からの画像をアプリケーションソフトウェア内で利用することもできる。
本例では、ネットワーク等を介して撮像装置１０を操作するためのアプリケーションソフトウェアをダウンロードして記憶部１５０に記憶させ、スマートフォン１００のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部１０１を動作させることにより、汎用のスマートフォン１００を、撮像装置１０を操作するためのユーザインターフェース部（ＵＩ部）として機能させるようにしている。
図３は、本発明のライブビュー制御装置の要部の構成例を示すブロック図である。図３において、スマートフォン１００は、本発明のライブビュー制御装置の一例である。
スマートフォン１００の無線通信部１１０は、複数の撮像装置１０から複数のライブビュー画像を受信（入力）する画像入力部２０２、及び複数の撮像装置１０に対して転送条件等の指示を送信（出力）する指示出力部２０４として、用いられる。
スマートフォン１００の表示入力部１２０は、ユーザの指示入力を受け付ける指示入力部２１２として、用いられる。指示入力部２１２は、本発明における表示態様指示入力部の一例を構成し、複数のライブビュー画像の表示態様の指示入力（例えばライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつの指示入力である）を、受け付ける。
スマートフォン１００の主制御部１０１は、複数のライブビュー画像の表示態様を設定する表示態様設定部２３２と、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定部２３４と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部２３６と、撮像装置１０からスマートフォン１００までのライブビュー画像の転送の負荷（以下単に「転送負荷」という）、及びスマートフォン１００でのライブビュー画像の処理の負荷（以下単に「処理負荷」という）のうち少なくとも一方の負荷を検出する負荷検出部２３８と、負荷検出部２３８で検出された負荷に基づいて、複数の撮像装置１０に設定する転送条件を変化させるか否かを判定する転送条件変更判定部２４０と、複数の撮像装置１０から受信されたライブビュー画像に対して画像処理を行う画像処理部２４２と、複数の撮像装置１０から受信された複数のライブビュー画像のそれぞれを表示パネル１２１（画像表示可能である表示画面の一例である）の複数領域のそれぞれに表示させる表示制御部２４４と、ライブビュー画像の表示状況を検出する表示状況検出部２４６と、転送条件設定部２３６により設定された転送条件及びライブビュー画像の転送指示を複数の撮像装置１０に無線通信部１１０を介して送信する通信制御部２４８と、記憶部１５０に記憶されたプログラムに従ってスマートフォン１００の各部での処理の実行を制御する実行制御部２５０と、を備える。
次に、スマートフォン１００の優先順位設定部２３４による優先順位の設定態様について説明する。スマートフォン１００の優先順位設定部２３４は、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を設定する。表示態様は、本明細書において、表示制御部２４４が表示パネル１２１にライブビュー画像を表示させる態様を表わす。表示状況は、本明細書において、表示制御部２４４の制御により表示パネル１２１に実際に表示されたライブビュー画像の表示の状況を表わす。
ライブビュー画像の表示態様として、以下の例が挙げられる。
・ライブビュー画像の表示サイズ。
・ライブビュー画像の表示位置。
・ライブビュー画像を拡大表示するか否か。あるいは拡大率。
・ライブビュー画像をぼかして表示するか否か。あるいはぼかし率。
・ライブビュー画像を強調表示するか否か。例えばバックライト表示の領域であるか否か。
・ライブビュー画像表示の演出効果の有無。あるいは演出効果の種類。
ライブビュー画像の表示状況として、以下の例が挙げられる。
・ライブビュー画像中の特定の被写体像の有無。
・ライブビュー画像中の被写体像の重要性（例えば予め定められた被写体像間の順位）。
・ライブビュー画像中の動体像の有無、大きさ及び移動速度のうち少なくともひとつ。
・ライブビュー画像中の背景。
・ライブビュー画像の連続表示時間。
ライブビュー画像の表示態様は、表示態様設定部２３２により、ユーザから設定入力を受け付ける場合と、自動的に設定する場合がある。
ライブビュー画像の表示状況は、表示状況検出部２４６により、ライブビュー画像から検出する場合と、撮像装置１０がライブビュー画像に付加した情報から検出する場合がある。ユーザが表示されたライブビュー画像から表示状況を判断して、スマートフォン１００に表示状況に対応する情報を入力する場合を含む。
尚、ライブビュー画像の表示態様及び表示状況は、上述の例には特に限定されない。
次に、スマートフォン１００の転送条件変更判定部２４０による転送条件変更の判定態様について説明する。
第１の判定態様では、転送条件変更判定部２４０は、本発明における第１の転送条件変更判定部として機能し、複数のライブビュー画像のうちで、特定の優先順位以上であるライブビュー画像の実際のフレームレート（測定値である）と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する。最高の優先順位であるライブビュー画像の実際のフレームレートのみを閾値と比較してもよい。好ましくは、転送条件変更判定部２４０は、本発明における第３の転送条件変更判定部としても機能し、実際のフレームレート（測定値である）及び実際の画像サイズ（測定値である）の両方に基づいて、上記の判定を行う。また、本発明は、実際の画像サイズのみに基づいて上記の判定を行う場合を含む。
ここで、「実際のフレームレート」及び「実際の画像サイズ」は、転送負荷又は処理負荷が高いとき、撮像装置１０に設定したフレームレート及び画像サイズとは異なる場合がある。負荷検出部２３８は、撮像装置１０から受信して表示パネル１２１に表示させるまでのライブビュー画像のフレームレート及び画像サイズを監視することで、実際のフレームレート及び実際の画像サイズを検出し、閾値との比較結果を求める。例えば、「実際のフレームレート」及び「実際の画像サイズ」は、それぞれ、撮像装置１０に対して設定したフレームレート（設定値である）及び設定した画像サイズ（設定値である）との差分（相対値である）として検出される。好ましくは、実際のフレームレートと実際の画像サイズとを積算し、積算値を特定の優先順位以上であるライブビュー画像にわたって合計（総和）し、合計値と閾値とを比較する。最高の優先順位のライブビュー画像の積算値のみを閾値と比較してもよい。
第２の判定態様では、転送条件変更判定部２４０は、本発明における第２の転送条件変更判定部として機能し、複数のライブビュー画像の実際のフレームレート（測定値である）を複数の撮像装置１０Ａ、１０Ｂ、１０Ｃの全てにわたって合計（総和）し、合計値と閾値との比較結果に基づいて、転送条件を変化させるか否かを判定する。好ましくは、転送条件変更判定部２４０は、本発明における第３の転送条件変更判定部としても機能し、実際のフレームレート（測定値である）及び実際の画像サイズ（測定値である）の両方に基づいて、上記の判定を行う。また、本発明は、実際の画像サイズのみに基づいて上記の判定を行う場合を含む。
図４は、スマートフォン１００の主制御部１０１で管理されるマルチライブビュー制御情報の一例を示す。図４の「撮像装置」の列の情報は、図１に示した複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのいずれであるかを示す識別情報である。図４の「ライブビュー画像」の列の情報は、図１に示した複数の撮像装置１０Ａ、１０Ｂ、１０Ｃから無線通信で受信する複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３のいずれであるかを示す識別情報である。図４の「表示態様」の列の情報は、各ライブビュー画像の表示態様の一例を示す。本例の「表示態様」は、指示入力部２１２によりユーザが指示入力した表示サイズ及び表示位置を示す。図４の「表示状況」の列の情報は、ライブビュー画像の表示状況の一例を示す。本例の「表示状況」は、表示状況検出部２４６によりライブビュー画像から検出される。図４の「優先順位」の列の情報は、複数のライブビュー画像間の優先順位を示す。本例の「優先順位」は、優先順位設定部２３４により設定される。図４に示すように優先順位が「１」、「２」、「２」という場合（つまり複数のライブビュー画像間で優先順位の異なる組み合わせと優先順位の同じ組み合わせとが混在する場合）と、優先順位が「１」、「２」、「３」という場合（つまり複数のライブビュー画像間の全ての組み合わせで優先順位が異なる場合）とがある。図４の「転送条件」の列の情報は、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのそれぞれに対して送信されて各撮像装置で設定される転送条件（設定値）である。本例の転送条件は、転送条件設定部２３６で設定される。図４の「測定値」は、ライブビュー画像の実際の転送及び処理の状態（負荷状態である）を示す。本例の「測定値」は、スマートフォン１００の負荷検出部２３８で測定される。本例の「測定値」の大小は、負荷（転送負荷及び処理負荷）の大小に対応している。本明細書において「測定値」は負荷が大きいほど小さな値となるが、負荷が大きいほど大きな値となるように測定してもよい。後者の場合、測定値と閾値との大小関係が本明細書の記載とは逆になることに注意を要する。
尚、図４に記載したマルチライブビュー制御情報は一例であり、マルチライブビューの実行を制御するための情報は、図４に記載の情報に特に限定されない。
図５のフローチャートを用いて、スマートフォン１００におけるライブビュー制御方法の第１実施例の流れを説明する。図５において、スマートフォン１００での処理は、スマートフォン１００の実行制御部２５０によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。撮像装置１０は、既に電源スイッチがオンされており、初期化を終了した状態であるものとする。
スマートフォン１００の表示態様設定部２３２により、ライブビュー画像表示のレイアウト（表示態様の一例である）の設定を行う（ステップＳ１０２）。
例えば、図６に示すように、表示入力部１２０の表示パネル１２１（表示画面の一例である）に、ライブビュー画像表示領域１２１Ａ、レイアウトパターン選択領域１２１Ｂ、及び撮像装置数選択領域１２１Ｃを含むマルチライブビュー画面が表示される。ライブビュー画像表示領域１２１Ａは、複数の撮像装置１０Ａ〜１０Ｃから受信する複数のライブビュー画像ＬＶ１〜ＬＶ３のそれぞれを表示する複数領域（第１の画像表示領域３０１、第２の画像表示領域３０２、第３の画像表示領域３０３）からなる。尚、ライブビュー画像ＬＶ１〜ＬＶ３は本ステップでは未表示である。レイアウトパターン選択領域１２１Ｂは、撮像装置数選択領域１２１Ｃに選択入力された撮像装置数に対応して選択可能なレイアウトのパターン（形状）を表示し、ユーザからレイアウトのパターンの選択入力を受け付ける領域である。符号１２４〜１２７はアイコンボタンである。
このようなマルチライブビュー画面が表示入力部１２０に表示された状態で、ユーザは、撮像装置数選択領域１２１Ｃ内で撮像装置の数を選択入力し、かつレイアウトパターン選択領域１２１Ｂ内で撮像装置数ごとに予め決められたレイアウトのパターンを選択入力することで、図７に示す複数のレイアウトのパターン（撮像装置数が１台である場合のパターン３１１Ａ、撮像装置数が２台である場合のパターン３１２Ａ、３１２Ｂ、３１２Ｃ、３１２Ｄ、撮像装置数が３台の場合のパターン３１３Ａ、３１３Ｂ、３１３Ｃ、３１３Ｄ、３１３Ｅのうちから、所望のレイアウトのパターンを選択することができる。
例えば撮像装置の数として「３」が選択され、かつ符号３１３Ｂのレイアウトのパターン（形状）が選択された場合（以下「レイアウト３−２」という）、図８に示すように、更に相対的なコマ位置の違いによりさらに６つの異なるレイアウトが考えられる。例えば、デフォルトを図８の（１）のレイアウトとした場合、図９に示すように、ユーザは、スライド操作により、ライブビュー画像の表示位置及び表示サイズを入れ替えることができる。尚、ライブビュー画像ＬＶ１〜ＬＶ３は本ステップでは未表示である。レイアウトのパターンによっては、表示サイズのみを又は表示位置のみを入れ替えることも可能である。
ユーザにより選択されたレイアウトを示すレイアウト情報は、記憶部１５０に記憶される。ここで、レイアウト情報は、各ライブビュー画像の少なくとも表示サイズ及び表示位置を示す。
スマートフォン１００の優先順位設定部２３４により、複数の撮像装置１０Ａ〜１０Ｃにそれぞれに対応する複数のライブビュー画像の優先順位を、ステップＳ１０２で選択されたレイアウト（表示態様の一例である）に基づいて、複数のライブビュー画像間で設定する（ステップＳ１０４：優先順位設定ステップの一態様である）。例えば、図４に示したように、後に撮像装置１０Ａから入力するライブビュー画像ＬＶ１に対して優先順位１を設定し、後に撮像装置１０Ｂから入力するライブビュー画像ＬＶ２及び後に撮像装置１０Ｃから入力するライブビュー画像ＬＶ３に対して優先順位２を設定する。ここで、優先順位は、複数の撮像装置１０Ａ、１０Ｂ、１０Ｃのうちいずれから入力されるかに基づいて設定されるのではなく、複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３のレイアウト（表示態様の一例である）に基づいて設定される。図４において、優先順位は、複数のライブビュー画像の組み合わせのうち少なくとも一部の組み合わせ間で異なるように設定されている。
スマートフォン１００の転送条件設定部２３６により、複数の撮像装置１０Ａ〜１０Ｃからスマートフォン１００に対して送信する複数のライブビュー画像の初期の転送条件を設定する（ステップＳ１０６）。本ステップでは、複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３で同一のフレームレート及び画像サイズが設定される。つまり、通常は負荷が小さいとして、優先順位とは無関係に、高転送量を許容する転送条件を設定しておく。
スマートフォン１００の指示入力部２１２に、複数の撮像装置１０Ａ〜１０Ｃで行う撮影の撮影準備指示が入力されたか否かを判定する（ステップＳ１０８）。例えば図６のレリーズ・ボタンアイコン１２５の一度目の押下が行われた場合、撮影準備指示が入力されたと判定する。
撮影準備指示がスマートフォン１００の指示入力部２１２に入力された場合（ステップＳ１０８でＹＥＳの場合）、スマートフォン１００の指示出力部２０４（無線通信部１１０）により、複数の撮像装置１０Ａ〜１０Ｃに対して、撮影準備指示及び初期の転送条件を無線通信で送信（出力）する（ステップＳ１１０）。
撮影準備指示及び初期の転送条件を受信（入力）した複数の撮像装置１０Ａ〜１０Ｃは、スマートフォン１００に対して、無線通信でライブビュー画像の送信（出力）を開始する。スマートフォン１００の画像入力部２０２（無線通信部１１０）は、複数の撮像装置１０Ａ〜１０Ｃから、無線通信で複数のライブビュー画像を受信（入力）する。
スマートフォン１００の実行制御部２５０は、複数の撮像装置１０Ａ〜１０Ｃの少なくともひとつからライブビュー画像を受信したか否かを判定する（ステップＳ１１２）。
スマートフォン１００の画像処理部２４２は、図１０に示すように、受信されたライブビュー画像ＬＶ０をトリミングして、表示用のライブビュー画像ＬＶを抽出する（ステップＳ１１４）。
スマートフォン１００の表示制御部２４４は、図１１に示すように、複数のライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３（図１０のＬＶに相当する）のそれぞれを、表示入力部１２０の表示パネル１２１の複数領域３０１、３０２、３０３のそれぞれに表示させる（ステップＳ１１６）。
スマートフォン１００の実行制御部２５０は、ライブビュー画像表示のレイアウトの変更が行われたか否かを判定する（ステップＳ１１８）。図６に示したマルチライブビュー画面は、ライブビュー画像ＬＶ１、ＬＶ２、ＬＶ３が表示された状態で、ライブビュー画像表示のレイアウトの変更が可能である。本例の表示態様設定部２３２は、マルチライブビュー画面でレイアウトの変更を受け付ける。
ライブビュー画像表示のレイアウトの変更が行われた場合（ステップＳ１１８でＹＥＳ）、変更されたレイアウトに基づいて優先順位を再設定する（ステップＳ１２０：優先順位設定ステップの一態様である）。
スマートフォン１００の転送条件変更判定部２４０は、スマートフォン１００の負荷検出部２３８により検出されたライブビュー画像転送の実際のフレームレート（測定値）及び実際の画像サイズ（測定値）のうち少なくとも一方を閾値と比較することにより、転送条件を変化させるか否かを判定する（ステップＳ１２２：第１の判定ステップ、第２の判定ステップ及び第３の判定ステップの一態様である）。
ライブビュー画像転送の実際のフレームレートが閾値よりも小さい場合（ステップＳ１２２でＹＥＳの場合）、スマートフォン１００の転送条件設定部２３６により、複数のライブビュー画像の優先順位に基づいて転送条件を変更する設定を行う（ステップＳ１２４：転送条件設定ステップの一態様である）。即ち、ステップＳ１２２の判定結果に基づいて転送条件を変化させる。例えば、スマートフォン１００の転送条件設定部２３６は、優先順位が２位以下のライブビュー画像の転送のフレームレート（設定値である）を小さくする。
つまり、撮像装置１０からスマートフォン１００へのライブビュー画像の転送負荷、及びスマートフォン１００でのライブビュー画像の処理負荷のうち少なくとも一方の負荷が、ライブビュー画像視認の違和感をユーザに与えるほど大きいと判定された場合には、優先順位の低いライブビュー画像の転送条件を低転送量に変更する。例えば、実際のフレームレートの閾値が２０ｆｐｓ(frame per second)と設定されていて、負荷検出部２３８で検出された実際のフレームレート（測定値）が１５ｆｐｓである場合には、閾値（２０ｆｐｓ）よりも実際のフレームレート（１５ｆｐｓ）が小さいので、転送のフレームレート（設定値）を小さくする変更を行う。転送の画像サイズを転送のフレームレートと共に変更してもよい。本発明は、転送の画像サイズのみを変更する場合を含む。
スマートフォン１００の指示出力部２０４（無線通信部１１０）により、変更された転送条件を、複数の撮像装置１０Ａ〜１０Ｃのうちで必要な撮像装置に対して、無線通信で送信（出力）する（ステップＳ１２６）。
スマートフォン１００の指示入力部２１２に、複数の撮像装置１０Ａ〜１０Ｃで行う撮影の指示が入力されたか否かを判定する（ステップＳ１２８）。例えば、ライブビュー画像が表示された状態で、図６のレリーズ・ボタンアイコン１２５の押下が行われた場合、撮影指示が入力されたと判定する。
撮影指示がスマートフォン１００の指示入力部２１２に入力された場合（ステップＳ１２８でＹＥＳの場合）、スマートフォン１００の指示出力部２０４（無線通信部１１０）により、複数の撮像装置１０Ａ〜１０Ｃに対して、無線通信で撮影指示を送信（出力）する（ステップＳ１３０）。
複数の撮像装置１０Ａ〜１０Ｃでは、被写体の撮影が行われる。スマートフォン１００の画像入力部２０２（無線通信部１１０）は、複数の撮像装置１０Ａ〜１０Ｃから、無線通信で複数の撮影画像を受信（入力）する（ステップＳ１３２）。
スマートフォン１００の実行制御部２５０は、スマートフォン１００の記憶部１５０に複数の撮影画像を記録し、かつスマートフォン１００の表示入力部１２０の表示パネル１２１に複数の撮影画像のうち少なくともいずれかを表示する（ステップＳ１３４）。
＜表示サイズ及び表示位置の他の指示入力例＞
図６〜図９を用いて、ライブビュー画像の表示サイズ及び表示位置の指示入力の一態様を説明したが、他の態様によって行ってもよい。
図１２に示すように、ライブビュー画像ＬＶの表示領域の枠を指等によりタッチしてスライドすることにより、ライブビュー画像ＬＶの表示サイズを変更する指示入力を行ってもよい。
図１３に示すように、ライブビュー画像ＬＶの枠内の領域を指等によりタッチしてスライドすることにより、ライブビュー画像ＬＶの表示位置を変更する指示入力を行ってもよい。
尚、図６〜図８に示したようにレイアウトのパターンを選択する方式の場合には、レイアウトのパターンを選択することにより図１０に示したトリミングの範囲が自動的に設定されるが、図１４に示すようにユーザからライブビュー画像のトリミングの範囲を変更する指示入力を受け付けるようにしてもよい。図１４に示す例では、ライブビュー画像ＬＶの表示領域の枠３００を指等によりタッチしてスライドすることにより、撮像装置１０から受信するライブビュー画像ＬＶ０（原ライブビュー画像）からトリミングする範囲を変更させることができる。
＜ライブビュー制御方法の他の実施例＞
図１５は、ライブビュー制御方法の第２実施例の流れを示すフローチャートである。図１５において、スマートフォン１００での処理は、スマートフォン１００の実行制御部２５０によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。尚、撮像装置１０は、既に電源スイッチがオンされており、初期化を終了した状態であるものとする。
ステップＳ２０２、Ｓ２０６、Ｓ２０８、Ｓ２１０及びＳ２１２は、それぞれ、図５に示したライブビュー制御方法の第１実施例のステップＳ１０２、Ｓ１０６、Ｓ１０８、Ｓ１１０及びＳ１１２と同様であり、ここでは説明を省略する。
ただし、第２実施例では、第１実施例（複数のライブビュー画像の表示態様に応じて複数のライブビュー画像の優先順位を設定する場合の一例である）とは異なり、複数のライブビュー画像の表示状況に応じて複数のライブビュー画像の優先順位を設定する。
ステップＳ２１３（優先順位設定ステップの一態様である）において、スマートフォン１００の優先順位設定部２３４は、ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か（以下「被写体像の有無」という）、及びライブビュー画像の中の被写体像が予め順位（複数の被写体像間の重要性の順位を示す）が定められた複数の被写体像のいずれであるか（以下「被写体像の重要性」という）のうち、少なくともひとつの判定条件に応じて、ライブビュー画像の優先順位を設定する。例えば、図１６に示す表示画面において、顔検出により、第１の画像表示領域３０１に、予め定められた被写体像が存在する、あるいは重要性の高い被写体像が存在する、と判定される。
ステップＳ２１４〜Ｓ２３４は、図５に示したライブビュー制御方法の第１実施例のステップＳ１１４〜Ｓ１１６及びＳ１２２〜Ｓ１３４と同様であり、ここでは説明を省略する。
図１７は、ライブビュー制御方法の第３実施例の流れを示すフローチャートである。図１７において、スマートフォン１００での処理は、スマートフォン１００の実行制御部２５０によって、スマートフォン１００の記憶部１５０に記憶されたプログラムに従って実行される。尚、撮像装置１０は、既に電源スイッチがオンされており、初期化を終了した状態であるものとする。
ステップＳ３０２、Ｓ３０６、Ｓ３０８、Ｓ３１０及びＳ３１２は、それぞれ、図５に示したライブビュー制御方法の第１実施例のステップＳ１０２、Ｓ１０６、Ｓ１０８、Ｓ１１０及びＳ１１２と同様であり、ここでは説明を省略する。
ただし、第３実施例では、第１実施例（複数のライブビュー画像の表示態様に応じて複数のライブビュー画像の優先順位を設定する場合の一例である）とは異なり、複数のライブビュー画像の表示状況に応じて複数のライブビュー画像の優先順位を設定する。
ステップＳ３１３（優先順位設定ステップの一態様である）において、スマートフォン１００の優先順位設定部２３４は、ライブビュー画像の中に動体像が存在するか否か（以下「動体像の有無」という）、ライブビュー画像の中の動体像の大きさ、及びライブビュー画像の中の動体像の移動速度のうち、少なくともひとつの判定条件に応じて、ライブビュー画像の優先順位を設定する。例えば、図１８に示す表示画面において、動体検出により、第１の画像表示領域３０１に、動体像が存在すると判定される。
ステップＳ３１４〜Ｓ３３４は、図５に示したライブビュー制御方法の第１実施例のステップＳ１１４〜Ｓ１１６及びＳ１２２〜Ｓ１３４と同様であり、ここでは説明を省略する。
［優先順位の指示入力のバリエーション］
スマートフォン１００の優先順位設定部２３４が、複数のライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する場合を例に説明したが、本発明はこのような場合に限定されない。
表示入力部１２０（指示入力部２１２）により、ユーザから複数のライブビュー画像の優先順位の指示入力を受け付けてもよい。例えば、図１１に示した画面において、複数のライブビュー画像の表示領域３０１〜３０３のうち、特定の表示領域（例えば符号３０３の表示領域）に対して特定のタッチ操作（例えばダブルタップ）が行われた場合に、他の表示領域（例えば符号３０１及び３０２の表示領域）よりも、特定のタッチ操作が行われた表示領域（例えば符号３０３の表示領域）のライブビュー画像の優先順位を高くする。複数のライブビュー画像のそれぞれの識別情報（例えば識別番号）の入力を受け付けることで、優先順位の指示入力を受け付けてもよい。操作部１４０によって優先順位の指示入力を受け付けてもよい。本バリエーションにおいて、表示入力部１２０及び操作部１４０は、本発明における優先順位指示入力部の一例である。
［システム構成のバリエーション］
図１に示したように、撮像装置１０とライブビュー制御装置の一例であるスマートフォン１００とが直接的に無線通信を行う第１の無線通信態様において本発明を適用した場合を詳細に説明したが、図１９に示す第２の無線通信態様において、本発明を適用してもよい。
図１９において、撮像装置１０Ａ、１０Ｂ、１０Ｄとライブビュー制御装置の一例であるスマートフォン１００とがアクセスポイントＡＰを介して間接的に無線通信を行う。このようなライブビューシステムでは、ライブビュー画像の転送負荷として、撮像装置１０Ａ、１０Ｂ、１０ＤとアクセスポイントＡＰ間の転送における負荷、及びアクセスポイントＡＰとスマートフォン１００との転送における負荷が含まれる。また、ライブビュー画像の転送負荷として、アクセスポイントＡＰでのライブビュー画像の対する処理負荷が加わる。このようなライブビューシステムにも本発明は適用可能である。
尚、図１９の場合、撮像装置１０Ａ、１０Ｂと撮像装置１０Ｄとでは、機種が異なっている。撮像装置１０Ｄは、撮像レンズ及び撮像素子を含む撮像部が、パン方向及びチルト方向に回動可能なパン・チルトカメラである。このように撮像装置間で機種が異なる場合にも、本発明は適用可能である。
本発明は、本明細書及び添付図面に記載された例には特に限定されず、本発明の要旨を逸脱しない限りにおいて本明細書及び添付図面に記載された例とは異なる態様で実施してもよい。
１０（１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ）：撮像装置、１００：スマートフォン（ライブビュー制御装置）、１０１：主制御部、１１０：無線通信部、１２０：表示入力部、１２１：表示パネル、１２２：操作パネル、２０２：画像入力部、２０４：指示出力部、２１２：指示入力部（表示態様指示入力部、優先順位指示入力部）、２３２：表示態様設定部、２３４：優先順位設定部、２３６：転送条件設定部、２３８：負荷検出部、２４０：転送条件変更判定部、２４２：画像処理部、２４４：表示制御部、２４６：表示状況検出部、２４８：通信制御部、２５０：実行制御部

Claims (21)

  1. 複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、
    前記複数の撮像装置から受信した前記複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させる表示制御部と、
    前記複数のライブビュー画像の優先順位を前記複数のライブビュー画像間で設定する優先順位設定部と、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部と、
    前記転送条件設定部により設定された転送条件を前記複数の撮像装置に前記無線通信部を介して送信する通信制御部と、
    を備えるライブビュー制御装置。
  2. 前記優先順位設定部は、前記ライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、前記複数のライブビュー画像の優先順位を設定する、
    請求項１に記載のライブビュー制御装置。
  3. 前記優先順位設定部は、前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    請求項１に記載のライブビュー制御装置。
  4. 前記優先順位設定部は、前記ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又は前記ライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、前記ライブビュー画像の優先順位を設定する、
    請求項１に記載のライブビュー制御装置。
  5. 前記優先順位設定部は、前記ライブビュー画像の中に動体像が存在するか否か、前記ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    請求項１に記載のライブビュー制御装置。
  6. 前記複数のライブビュー画像のうちで前記複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第１の転送条件変更判定部を備え、
    前記転送条件設定部は、前記第１の転送条件変更判定部の判定結果に基づいて前記転送条件を変化させる、
    請求項１から５のうちいずれか一項に記載のライブビュー制御装置。
  7. 前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方の前記複数の撮像装置にわたる合計値と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第２の転送条件変更判定部を備え、
    前記転送条件設定部は、前記第２の転送条件変更判定部により前記転送条件を変化させると判定された場合に前記転送条件を変化させる、
    請求項１から５のうちいずれか一項に記載のライブビュー制御装置。
  8. 前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、前記転送条件を変化させるか否かを判定する第３の転送条件変更判定部を備え、
    前記転送条件設定部は、前記第３の転送条件変更判定部により前記転送条件を変化させると判定された場合に前記転送条件を変化させる、
    請求項１から５のうちいずれか一項に記載のライブビュー制御装置。
  9. 前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつの指示入力を受け付ける表示態様指示入力部を備える、
    請求項３に記載又は請求項３に従属の請求項６から８のうちいずれか一項に記載のライブビュー制御装置。
  10. 前記複数のライブビュー画像の優先順位の指示入力を受け付ける優先順位指示入力部を備える、
    請求項１、６、７及び８のうちいずれか一項に記載のライブビュー制御装置。
  11. 前記撮像装置と、請求項１から１０のうちいずれか一項に記載のライブビュー制御装置と、を備えるライブビューシステム。
  12. 複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、
    前記複数の撮像装置から受信した前記複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、
    前記複数のライブビュー画像の優先順位を前記複数のライブビュー画像間で設定する優先順位設定ステップと、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、
    前記設定された転送条件を前記複数の撮像装置に無線通信で送信するステップと、
    を含むライブビュー制御方法。
  13. 前記優先順位設定ステップは、前記ライブビュー画像の表示態様及び表示状況のうち少なくともひとつに基づいて、前記複数のライブビュー画像の優先順位を設定する、
    請求項１２に記載のライブビュー制御方法。
  14. 前記優先順位設定ステップは、前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    請求項１２に記載のライブビュー制御方法。
  15. 前記優先順位設定ステップは、前記ライブビュー画像の中に予め定められた特定の被写体像が存在するか否か、又は前記ライブビュー画像の中の被写体像が予め順位が定められた複数の被写体像のいずれであるかに応じて、前記ライブビュー画像の優先順位を設定する、
    請求項１２に記載のライブビュー制御方法。
  16. 前記優先順位設定ステップは、前記ライブビュー画像の中に動体像が存在するか否か、前記ライブビュー画像の中の動体像の大きさ及び動体像の移動速度のうち、少なくともひとつに応じて、前記ライブビュー画像の優先順位を設定する、
    請求項１２に記載のライブビュー制御方法。
  17. 前記複数のライブビュー画像のうちで前記複数の撮像装置から受信する特定の優先順位以上である一又は複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第１の判定ステップを備え、
    前記第１の判定ステップの判定結果に基づいて前記転送条件を変化させる、
    請求項１２から１６のうちいずれか一項に記載のライブビュー制御方法。
  18. 前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズのうち少なくとも一方の前記複数の撮像装置にわたる合計値と閾値との比較結果に基づいて、前記転送条件を変化させるか否かを判定する第２の判定ステップを備え、
    前記第２の判定ステップの判定結果に基づいて前記転送条件を変化させる、
    請求項１２から１６のうちいずれか一項に記載のライブビュー制御方法。
  19. 前記複数のライブビュー画像の実際のフレームレート及び実際の画像サイズの両方に基づいて、前記転送条件を変化させるか否かを判定する第３の判定ステップを備え、
    前記第３の判定ステップの判定結果に基づいて前記転送条件を変化させる、
    請求項１２から１６のうちいずれか一項に記載のライブビュー制御方法。
  20. 複数の撮像装置から複数のライブビュー画像を無線通信で受信するステップと、
    前記複数の撮像装置から受信した前記複数のライブビュー画像のそれぞれを、画像表示可能である表示画面の複数領域のそれぞれに表示させるステップと、
    前記複数のライブビュー画像の優先順位を前記複数のライブビュー画像間で設定する優先順位設定ステップと、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定ステップと、
    前記設定された転送条件を前記複数の撮像装置に無線通信で送信するステップと、
    をコンピュータに実行させるプログラム。
  21. 請求項２０に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
JP2016547742A 2014-09-11 2015-06-24 ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム Active JP6291072B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014184950 2014-09-11
JP2014184950 2014-09-11
PCT/JP2015/068130 WO2016038977A1 (ja) 2014-09-11 2015-06-24 ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2016038977A1 true JPWO2016038977A1 (ja) 2017-07-20
JP6291072B2 JP6291072B2 (ja) 2018-03-14

Family

ID=55458739

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016547742A Active JP6291072B2 (ja) 2014-09-11 2015-06-24 ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム

Country Status (4)

Country Link
US (1) US10205868B2 (ja)
JP (1) JP6291072B2 (ja)
CN (1) CN107079084B (ja)
WO (1) WO2016038977A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018038011A (ja) * 2016-09-02 2018-03-08 カシオ計算機株式会社 電子機器、データ通信方法、プログラム、及び撮影システム
CN108462817B (zh) 2017-02-22 2021-01-05 佳能株式会社 通信装置及其控制方法和存储介质
CN107257439B (zh) * 2017-07-26 2019-05-17 维沃移动通信有限公司 一种拍摄方法及移动终端
CN115103106A (zh) * 2019-12-18 2022-09-23 荣耀终端有限公司 一种控制方法、电子设备、计算机可读存储介质、芯片
WO2021199524A1 (ja) 2020-03-31 2021-10-07 富士フイルム株式会社 画像処理装置、画像処理装置の作動方法、画像処理装置の作動プログラム
CN112383701A (zh) * 2020-10-14 2021-02-19 深圳海翼智新科技有限公司 用于图像采集设备的控制方法、系统和硬件控制器

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351438A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 映像監視システム
JP2007166420A (ja) * 2005-12-15 2007-06-28 Fujifilm Corp カメラシステム及びデジタルカメラ
JP2007214831A (ja) * 2006-02-09 2007-08-23 Hitachi Kokusai Electric Inc 映像処理システム
JP2011139200A (ja) * 2009-12-28 2011-07-14 Sony Corp 受信装置、受信方法およびプログラム
JP2013093824A (ja) * 2011-10-05 2013-05-16 Sanyo Electric Co Ltd 電子機器

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003244529A (ja) 2002-02-20 2003-08-29 Minolta Co Ltd デジタルカメラ
US20060095539A1 (en) * 2004-10-29 2006-05-04 Martin Renkis Wireless video surveillance system and method for mesh networking
JP5039528B2 (ja) * 2007-12-13 2012-10-03 キヤノン株式会社 画像データ管理装置及びその制御方法及びプログラム
JP2011082901A (ja) 2009-10-09 2011-04-21 Canon Inc 画像処理装置、画像処理方法及びプログラム
CN102006477A (zh) * 2010-11-25 2011-04-06 中兴通讯股份有限公司 图像传输方法及系统
KR101283079B1 (ko) * 2011-08-17 2013-07-05 엘지이노텍 주식회사 적외선 엘이디 조명을 갖는 네트워크 카메라
JP5846928B2 (ja) 2012-01-19 2016-01-20 オリンパス株式会社 撮像装置
JP2014038336A (ja) 2013-08-30 2014-02-27 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
KR102149271B1 (ko) * 2014-01-13 2020-08-28 한화테크윈 주식회사 카메라의 동작 방법, 카메라, 및 감시 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002351438A (ja) * 2001-05-25 2002-12-06 Mitsubishi Electric Corp 映像監視システム
JP2007166420A (ja) * 2005-12-15 2007-06-28 Fujifilm Corp カメラシステム及びデジタルカメラ
JP2007214831A (ja) * 2006-02-09 2007-08-23 Hitachi Kokusai Electric Inc 映像処理システム
JP2011139200A (ja) * 2009-12-28 2011-07-14 Sony Corp 受信装置、受信方法およびプログラム
JP2013093824A (ja) * 2011-10-05 2013-05-16 Sanyo Electric Co Ltd 電子機器

Also Published As

Publication number Publication date
US10205868B2 (en) 2019-02-12
WO2016038977A1 (ja) 2016-03-17
CN107079084B (zh) 2020-02-28
CN107079084A (zh) 2017-08-18
US20170180626A1 (en) 2017-06-22
JP6291072B2 (ja) 2018-03-14

Similar Documents

Publication Publication Date Title
JP6291072B2 (ja) ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム
CN106506935B (zh) 移动终端及其控制方法
EP2950192B1 (en) Mobile terminal and control method for the mobile terminal
US9389758B2 (en) Portable electronic device and display control method
JP6205072B2 (ja) 撮像制御装置、撮像制御方法、カメラ、カメラシステム及びプログラム
KR102079054B1 (ko) 터치 패드를 사용하여 이동 단말의 촬영 초점 거리를 조절하는 방법 및 이동 단말
JP6435063B2 (ja) 撮像制御装置、撮像制御方法、撮像システム及びプログラム
KR20170112491A (ko) 이동 단말기 및 그 제어방법
EP3001247A1 (en) Method and terminal for acquiring panoramic image
EP3046352B1 (en) Method by which portable device displays information through wearable device, and device therefor
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
US9270982B2 (en) Stereoscopic image display control device, imaging apparatus including the same, and stereoscopic image display control method
JP2014071377A (ja) 画像表示制御装置、画像表示装置、プログラム及び画像表示方法
US10863095B2 (en) Imaging apparatus, imaging method, and imaging program
US10079973B2 (en) Imaging device operation device, operation method, and program
US10771680B2 (en) Mobile terminal and corresponding control method for changing the length of a control icon based on a size, position and/or a moving speed of a first object in a preview image
US11016660B2 (en) Method and apparatus for responding to gesture operation and storage medium
KR102270412B1 (ko) 줌 렌즈를 갖는 전자장치
KR20180014616A (ko) 이동 단말기 및 그 제어방법
KR20170039994A (ko) 이동 단말기 및 그 제어방법
JP7085651B2 (ja) 撮像装置の制御装置、撮像装置、撮像装置の制御方法、撮像装置の制御プログラム
JP2015192362A (ja) 画像再生装置，画像再生方法およびその制御プログラム
KR20160087306A (ko) 이동 단말기
KR20150049208A (ko) 이동 단말기 및 그 동작 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180208

R150 Certificate of patent or registration of utility model

Ref document number: 6291072

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250