JP6435063B2 - 撮像制御装置、撮像制御方法、撮像システム及びプログラム - Google Patents

撮像制御装置、撮像制御方法、撮像システム及びプログラム Download PDF

Info

Publication number
JP6435063B2
JP6435063B2 JP2018002668A JP2018002668A JP6435063B2 JP 6435063 B2 JP6435063 B2 JP 6435063B2 JP 2018002668 A JP2018002668 A JP 2018002668A JP 2018002668 A JP2018002668 A JP 2018002668A JP 6435063 B2 JP6435063 B2 JP 6435063B2
Authority
JP
Japan
Prior art keywords
live view
imaging devices
imaging
view images
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018002668A
Other languages
English (en)
Other versions
JP2018098801A (ja
Inventor
林 大輔
大輔 林
渡辺 幹夫
幹夫 渡辺
三沢 岳志
岳志 三沢
田丸 雅也
雅也 田丸
宗之 大島
宗之 大島
史憲 入江
史憲 入江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JP2018098801A publication Critical patent/JP2018098801A/ja
Application granted granted Critical
Publication of JP6435063B2 publication Critical patent/JP6435063B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • H04N7/185Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04BTRANSMISSION
    • H04B17/00Monitoring; Testing
    • H04B17/30Monitoring; Testing of propagation channels
    • H04B17/309Measuring or estimating channel quality parameters
    • H04B17/318Received signal strength
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0407Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435Change or adaptation of the frame rate of the video stream
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00Aspects of data communication
    • G09G2370/16Use of wireless transmission of display information
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Quality & Reliability (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Studio Devices (AREA)
  • Telephone Function (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)

Description

本発明は、撮像制御装置、撮像制御方法、撮像システム及びプログラムに係り、特に複数の撮像装置から無線通信で複数のライブビュー画像を受信する撮像制御装置、撮像制御方法、撮像システム及びプログラムに関する。
無線通信可能な携帯電話機において、電波環境が劣悪な状態になったとき、ユーザに対して報知を行って動作中の処理を停止させる操作を行わせることが知られている(特許文献1を参照)。
無線通信可能かつ移動可能なロボットにおいて、電波環境が劣悪な状態になったとき、電波環境が良好な場所に移動することが知られている(特許文献2を参照)。
また、複数のコンピュータ装置から無線通信で複数の画像を受信して多画面画像を作成及び投影表示する装置において、複数のコンピュータ装置の優先順位に従ってコンピュータ装置との接続を切換えることが知られている(特許文献3を参照)。
特開2002−218544号公報 特開2004−260769号公報 特開2014−038336号公報
複数の撮像装置から無線通信で送信された複数のライブビュー画像をスマートフォン、タブレット端末等のユーザ端末で受信し、複数のライブビュー画像を表示画面に表示すること(以下「マルチライブビュー」という)が求められている。
このようなマルチライブビューの処理を実行中に、複数の撮像装置の全てとの無線通信が継続不可能になるという重度の電波環境悪化であれば、マルチライブビューの処理を停止させることも考えられるが、電波環境が悪化しても無線通信を継続可能な軽度の電波環境悪化であれば、マルチライブビューの処理を継続することが求められる。
しかしながら、マルチライブビューの処理中、電波環境悪化でコマ落ちが発生して、ライブビュー画像の見栄えが悪くなる場合があるという問題がある。
また、電波環境が悪化した場合でも、複数の撮像装置との間で電波環境の悪化の程度が異なるので、ユーザの観点からは、電波環境の悪化の影響が大きいライブビュー画像は表示品質の劣化ができる限り抑えられて見ることができればよいし、電波環境の悪化の影響が無い又は悪化の影響の程度が小さいライブビュー画像はできる限り表示品質が維持されて見ることができればよい、と考えられる。
特許文献1、2は、電波環境が悪化しても画像の表示品質をあまり落とすことなく処理を継続する観点の開示が欠けている。
特許文献3は、無線通信相手の複数のコンピュータ装置に対して優先順位を設定することを開示したにすぎず、マルチライブビューの処理を実行中に電波環境が悪化しても、どのようにして画像の表示品質をあまり低下させることなく処理を継続するかについて何も開示及び示唆がない。
よって、特許文献1〜3記載の技術をマルチライブビューに適用しても、電波環境が悪化したときはライブビュー画像の表示品質をあまり低下させることなくマルチライブビューの処理を継続できることにはならない。特許文献1記載の技術を適用しても、電波環境が劣悪な状態になったときにマルチライブビュー処理の停止操作を行わせるようにユーザに報知を行うことが限度といえる。特許文献2記載の技術を適用しても、電波環境が劣悪な状態になったときに電波環境が良好になるように現在位置からの移動をユーザに求めることが限度といえる。特許文献3記載の技術を適用しても、撮像装置に対して設定された優先順位に応じて撮像装置との接続を切換えることが限度といえる。
本発明は上述の事情に鑑みてなされたものであり、複数の撮像装置で撮像される複数のライブビュー画像を無線通信で受信して表示する場合に、電波環境が悪化しても、ユーザに提示するライブビュー画像の表示品質をあまり低下させることなくマルチライブビューの処理を継続することができる撮像制御装置、撮像制御方法、撮像システム及びプログラムを提供することを目的とする。
本発明の一態様は、複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、複数の撮像装置から受信した複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させる表示制御部と、複数の撮像装置のそれぞれとの間の電波強度を検知する電波強度検知部と、電波強度検知部で検知された電波強度に基づいて、複数のライブビュー画像の優先順位を設定する優先順位設定部と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定部と、転送条件設定部により設定された転送条件を、複数の撮像装置に無線通信部を介して送信する通信制御部と、を備える撮像制御装置に関する。
本発明の一態様によれば、複数の撮像装置のそれぞれとの間の電波強度に基づいて複数のライブビュー画像の優先順位が設定され、複数のライブビュー画像の優先順位に基づいて複数のライブビュー画像のそれぞれの転送条件が設定されて複数の撮像装置に送信されるので、電波環境の悪化の影響が大きいライブビュー画像は表示品質の劣化をできる限り抑えてユーザに提供することが可能になり、電波環境の悪化の影響が無い又は悪化の影響の程度が小さいライブビュー画像はできる限り表示品質を維持してユーザに提供することが可能になる。つまり、電波環境が悪化しても、ユーザに提示するライブビュー画像の表示品質をあまり低下させることなくマルチライブビューの処理を継続することができる。
本発明の一態様は、複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、複数の撮像装置から受信した複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させる表示制御部と、複数の撮像装置のそれぞれとの間の電波強度を推定する電波強度推定部と、電波強度推定部で推定された電波強度に基づいて、複数のライブビュー画像の優先順位を設定する優先順位設定部と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定部と、転送条件設定部により設定された転送条件を、複数の撮像装置に無線通信部を介して送信する通信制御部と、を備える撮像制御装置に関する。
本発明の一態様では、電波強度検知部は、アクセスポイントを介して撮像装置と通信を行う場合、撮像装置とアクセスポイントとの間の電波強度をアクセスポイントから取得する。
本発明の一態様では、電波強度推定部は、複数の撮像装置のそれぞれとの間のライブビュー画像の各フレームの再送回数、又は実際のフレームレートを用いて電波強度を推定する。
本発明の一態様では、複数の撮像装置のそれぞれとの間の電波強度を閾値と比較する電波強度比較部を備え、優先順位設定部は、電波強度が閾値よりも小さい場合、電波強度が閾値以上である場合よりも優先順位を低く設定し、転送条件設定部は、優先順位が低くなると、優先順位が低いライブビュー画像の転送量を低下させる転送条件を設定する。
本態様によれば、弱い電波強度に対応するライブビュー画像の転送量を低下させる一方で、強い電波強度に対応するライブビュー画像の転送量を維持させることができるので、弱い電波強度に対応するライブビュー画像はコマ落ちを抑えつつユーザに提示することが可能になり、強い電波強度に対応するライブビュー画像は表示品質を維持してユーザに提示することが可能になる。
本発明の一態様では、優先順位に応じて、ライブビュー画像の表示態様を変更する表示態様設定部を備える。
本態様によれば、電波強度に基づいて設定されるライブビュー画像の優先順位に応じて、ライブビュー画像の表示態様を変更することにより、電波環境の悪化の影響が大きいライブビュー画像の見栄えの低下を抑えつつ、電波環境の悪化が無い又は電波環境の悪化の影響が小さい電波強度に対応するライブビュー画像の見栄えを保つことが可能になる。
本発明の一態様では、表示態様設定部は、優先順位に応じて、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつを複数のライブビュー画像間で設定する。
本態様によれば、弱い電波強度に対応するライブビュー画像は表示サイズ及び表示位置のうち少なくともひとつを変化させることで見栄えの低下を抑えつつ、強い電波強度に対応するライブビュー画像は表示サイズ及び表示位置を変化させないことで見栄えを保つことが可能になる。
本発明の一態様では、表示制御部は、検知された電波強度を、表示画面に表示する。
本発明の一態様では、表示制御部は、推定された電波強度を、表示画面に表示する。
本発明の一態様では、表示制御部は、複数のライブビュー画像のそれぞれの転送のフレームレート及び転送の画像サイズのうち少なくともひとつを、表示画面に表示する。
本発明の一態様では、通信制御部は、ライブビュー画像の受信後に、撮影指示を無線通信部を介して複数の撮像装置に対して送信し、撮影指示に従って複数の撮像装置で撮影された複数の画像を無線通信部を介して複数の撮像装置から受信する。
本発明の一態様では、通信制御部は、複数の撮像装置で自動で撮影された画像を複数の撮像装置から受信する。
本発明の一態様は、撮像装置と、撮像制御装置と、を備える撮像システムに関する。
本発明の一態様は、複数の撮像装置から無線通信で複数のライブビュー画像を受信するステップと、複数の撮像装置から受信した複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させるステップと、複数の撮像装置のそれぞれとの間の電波強度を検知するステップと、検知された電波強度に基づいて、複数のライブビュー画像の優先順位を設定する優先順位設定ステップと、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定ステップと、設定された転送条件を、複数の撮像装置に無線通信で送信するステップと、を含む撮像制御方法に関する。
本発明の一態様は、複数の撮像装置から無線通信で複数のライブビュー画像を受信するステップと、複数の撮像装置から受信した複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させるステップと、複数の撮像装置のそれぞれとの間の電波強度を推定するステップと、推定された電波強度に基づいて、複数のライブビュー画像の優先順位を設定する優先順位設定ステップと、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定ステップと、設定された転送条件を、複数の撮像装置に無線通信で送信するステップと、を含む撮像制御方法に関する。
本発明の一態様では、電波強度を検知するステップは、アクセスポイントを介して撮像装置と通信を行う場合、撮像装置とアクセスポイントとの間の電波強度をアクセスポイントから取得する。
本発明の一態様では、電波強度を推定するステップは、複数の撮像装置のそれぞれとの間のライブビュー画像の各フレームの再送回数、又は実際のフレームレートを用いて電波強度を推定する。
本発明の一態様では、電波強度を閾値と比較するステップを備え、電波強度が閾値よりも小さい場合、電波強度が閾値以上である場合よりも優先順位を低く設定し、優先順位が低くなると、優先順位が低いライブビュー画像の転送量を低下させる転送条件を設定する。
本発明の一態様では、優先順位に応じて、ライブビュー画像の表示態様を変更する。
本発明の一態様では、優先順位に応じて、ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつを複数の撮像装置間で設定する。
本発明の一態様は、複数の撮像装置から無線通信で複数のライブビュー画像を受信するステップと、複数の撮像装置から受信した複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させるステップと、複数の撮像装置のそれぞれとの間の電波強度を検知するステップと、検知された電波強度に基づいて、複数のライブビュー画像の優先順位を設定するステップと、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定するステップと、設定された転送条件を、複数の撮像装置に無線通信で送信するステップと、をコンピュータに実行させるプログラムに関する。これらのプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体も本発明の一態様に含まれる。
本発明によれば、複数の撮像装置で撮像される複数のライブビュー画像を無線通信で受信して表示する場合に、電波環境が悪化しても、ユーザに提示するライブビュー画像の表示品質をあまり低下させることなくマルチライブビューの処理を継続することができる。
撮像システムの一例を示すシステム構成図 スマートフォンの一例のハードウェア構成を示すブロック図 本発明の要部の内部構成例を示すブロック図 マルチライブビュー制御情報の一例を示す説明図 ライブビュー制御処理の一例の流れを示すフローチャート マルチライブビュー画面の説明に用いる説明図 表示態様の一例であるレイアウトの設定の説明に用いる第1の説明図 表示態様の一例であるレイアウトの設定の説明に用いる第2の説明図 電波強度の変化に応じた優先順位の変更に伴う表示態様の変更の説明に用いる第3の説明図 ライブビュー画像の優先順位と表示態様の一例であるレイアウトとの対応関係を示す表示態様変更制御情報の説明に用いる説明図 電波強度表示及びライブビュー画像表示の説明に用いる説明図 電波強度の変化に応じた優先順位の変更に伴うレイアウトのパターン変更の説明に用いる説明図 転送条件の表示の説明に用いる説明図 撮像システムの他の例を示すシステム構成図
以下、図面を参照して本発明の実施形態について説明する。
[撮像システムの構成]
図1は、複数の撮像装置10A、10B、10C及び撮像制御装置として機能するスマートフォン100を含む撮像システムの一例を示す構成図である。以下では、複数の撮像装置10A、10B、10Cのうち少なくともひとつを、「撮像装置10」という場合もある。
本例では、複数の撮像装置10A、10B、10Cのそれぞれとスマートフォン100とが直接的に無線通信を行う。
[スマートフォンのハードウェア構成例]
図2は、図1に示したスマートフォン100のハードウェア構成を示すブロック図である。
図2に示すように、スマートフォン100の主たる構成要素として、無線通信部110と、表示入力部120と、通話部130と、操作部140と、カメラ部141と、記憶部150と、外部入出力部160と、GPS(Global Positioning System)受信部170と、モーションセンサ部180と、電源部190と、主制御部101とを備える。また、スマートフォン100の主たる機能として、基地局装置と移動通信網とを介した移動無線通信を行う無線通信機能を備える。
無線通信部110は、主制御部101の指示に従って、移動通信網に収容された基地局装置に対し無線通信を行うものである。この無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Webデータやストリーミングデータなどの受信を行う。本例では、スマートフォン100の無線通信部110は、撮像装置10に各種の操作用の指示入力を送信したり、撮像装置10からライブビュー画像、記録用の画像等を受信する。
表示入力部120は、主制御部101の制御により、画像(静止画及び動画)や文字情報などを表示して視覚的にユーザに情報を伝達すると共に、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル121と、操作パネル122とを備える。3D画像を鑑賞する場合には、表示パネル121は、3D表示パネルであることが好ましい。
表示パネル121は、LCD(Liquid Crystal Display)、OELD(Organic Electro-Luminescence Display)などを表示デバイスとして用いたものである。
操作パネル122は、表示パネル121の表示画面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。このデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部101に出力する。次いで、主制御部101は、受信した検出信号に基づいて、表示パネル121上の操作位置(座標)を検出する。
図1に示すように、スマートフォン100の表示パネル121と操作パネル122とは一体となって表示入力部120を構成しているが、操作パネル122が表示パネル121を完全に覆うような配置となっている。この配置を採用した場合、操作パネル122は、表示パネル121外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル122は、表示パネル121に重なる重畳部分についての検出領域(以下、表示領域と称する)と、それ以外の表示パネル121に重ならない外縁部分についての検出領域(以下、非表示領域と称する)とを備えていてもよい。
尚、表示領域の大きさと表示パネル121の大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要はない。また、操作パネル122が、外縁部分と、それ以外の内側部分の2つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体102の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル122で採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部130は、スピーカ131やマイクロホン132を備え、マイクロホン132を通じて入力されたユーザの音声を主制御部101にて処理可能な音声データに変換して主制御部101に出力したり、無線通信部110あるいは外部入出力部160により受信された音声データを復号してスピーカ131から出力するものである。また、図1に示すように、例えば、スピーカ131及びマイクロホン132を表示入力部120が設けられた面と同じ面に搭載することができる。
操作部140は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、操作部140は、スマートフォン100の筐体102の表示部の下部、下側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部150は、主制御部101の制御プログラムや制御データ、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、WebブラウジングによりダウンロードしたWebデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部150は、スマートフォン内蔵の内部記憶部151と着脱自在な外部メモリスロットを有する外部記憶部152により構成される。尚、記憶部150を構成するそれぞれの内部記憶部151と外部記憶部152は、フラッシュメモリタイプ(flash memory type)、ハードディスクタイプ(hard disk type)、マルチメディアカードマイクロタイプ(multimedia card micro type)、カードタイプのメモリ(例えば、Micro SD(登録商標)メモリ等)、RAM(Random Access Memory)、ROM(Read Only Memory)などの格納媒体を用いて実現される。
外部入出力部160は、スマートフォン100に連結される全ての外部機器とのインターフェースの役割を果たすものであり、他の外部機器に通信等(例えば、ユニバーサルシリアルバス(USB)、IEEE1394など)又はネットワーク(例えば、インターネット、無線LAN、ブルートゥース(Bluetooth)(登録商標)、RFID(Radio Frequency Identification)、赤外線通信(Infrared Data Association:IrDA)(登録商標)、UWB(Ultra Wideband)(登録商標)、ジグビー(ZigBee)(登録商標)など)により直接的又は間接的に接続するためのものである。
スマートフォン100に連結される外部機器としては、例えば、有/無線ヘッドセット、有/無線外部充電器、有/無線データポート、カードソケットを介して接続されるメモリカード(Memory card)やSIM(Subscriber Identity Module Card)/UIM(User Identity Module Card)カード、オーディオ・ビデオI/O(Input/Output)端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有/無線接続されるスマートフォン、有/無線接続されるパーソナルコンピュータ、有/無線接続されるPDA、有/無線接続されるイヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン100の内部の各構成要素に伝達することや、スマートフォン100の内部のデータが外部機器に伝送されるようにすることができる。
GPS受信部170は、主制御部101の指示に従って、GPS衛星ST1〜STnから送信されるGPS信号を受信し、受信した複数のGPS信号に基づく測位演算処理を実行し、当該スマートフォン100の緯度、経度、高度からなる位置を検出する。GPS受信部170は、無線通信部110や外部入出力部160(例えば、無線LAN)から位置情報を取得できるときには、その位置情報を用いて位置を検出することもできる。
モーションセンサ部180は、例えば、3軸の加速度センサなどを備え、主制御部101の指示に従って、スマートフォン100の物理的な動きを検出する。スマートフォン100の物理的な動きを検出することにより、スマートフォン100の動く方向や加速度が検出される。この検出結果は、主制御部101に出力されるものである。
電源部190は、主制御部101の指示に従って、スマートフォン100の各部に、バッテリ(図示しない)に蓄えられる電力を供給するものである。
主制御部101は、マイクロプロセッサを備え、記憶部150が記憶する制御プログラムや制御データに従って動作し、スマートフォン100の各部を統括して制御するものである。また、主制御部101は、無線通信部110を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部150が記憶するアプリケーションソフトウェアに従って主制御部101が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部160を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Webページを閲覧するWebブラウジング機能などがある。
また、主制御部101は、受信データやダウンロードしたストリーミングデータなどの画像データ(静止画や動画のデータ)に基づいて、映像を表示入力部120に表示する等の画像処理機能を備える。画像処理機能とは、主制御部101が、上記画像データを復号し、この復号結果に画像処理を施して、画像を表示入力部120に表示する機能のことをいう。
更に、主制御部101は、表示パネル121に対する表示制御と、操作部140、操作パネル122を通じたユーザ操作を検出する操作検出制御を実行する。
表示制御の実行により、主制御部101は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示し、あるいは電子メールを作成するためのウィンドウを表示する。尚、スクロールバーとは、表示パネル121の表示領域に収まりきらない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部101は、操作部140を通じたユーザ操作を検出したり、操作パネル122を通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部101は、操作パネル122に対する操作位置が、表示パネル121に重なる重畳部分(表示領域)か、それ以外の表示パネル121に重ならない外縁部分(非表示領域)かを判定し、操作パネル122の感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部101は、操作パネル122に対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも1つについて軌跡を描く操作を意味する。
カメラ部141は、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge Coupled Device)などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部141は、主制御部101の制御により、撮影によって得た画像データを、例えばJPEG(Joint Photographic coding Experts Group)などの圧縮した画像データに変換し、記憶部150に記録したり、外部入出力部160や無線通信部110を通じて出力することができる。図1に示すスマートフォン100において、カメラ部141は表示入力部120と同じ面に搭載されているが、カメラ部141の搭載位置はこれに限らず、表示入力部120の背面に搭載されてもよいし、あるいは、複数のカメラ部141が搭載されてもよい。尚、複数のカメラ部141が搭載されている場合には、撮影に供するカメラ部141を切り替えて単独にて撮影したり、あるいは、複数のカメラ部141を同時に使用して撮影することもできる。
また、カメラ部141はスマートフォン100の各種機能に利用することができる。例えば、表示パネル121にカメラ部141で取得した画像を表示することや、操作パネル122の操作入力のひとつとして、カメラ部141の画像を利用することができる。また、GPS受信部170が位置を検出する際に、カメラ部141からの画像を参照して位置を検出することもできる。更には、カメラ部141からの画像を参照して、3軸の加速度センサを用いずに、あるいは、3軸の加速度センサと併用して、スマートフォン100のカメラ部141の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部141からの画像をアプリケーションソフトウェア内で利用することもできる。
本例では、ネットワーク等を介して撮像装置10を操作するためのアプリケーションソフトウェアをダウンロードして記憶部150に記憶させ、スマートフォン100のアプリケーション処理機能により、ダウンロードしたアプリケーションソフトウェアに従って主制御部101を動作させることにより、汎用のスマートフォン100を、撮像装置10を操作するためのユーザインターフェース部(UI部)として機能させるようにしている。
図3は、本発明のライブビュー制御装置の要部の構成例を示すブロック図である。図3において、スマートフォン100は、本発明のライブビュー制御装置の一例である。
スマートフォン100の無線通信部110は、複数の撮像装置10から複数のライブビュー画像を受信(入力)する画像入力部202、複数の撮像装置10のそれぞれとの間の電波強度を検知する電波強度検知部203、及び複数の撮像装置10に対して転送条件等の指示を送信(出力)する指示出力部204として、用いられる。
スマートフォン100の表示入力部120は、ユーザの指示入力を受け付ける指示入力部212として、用いられる。
スマートフォン100の主制御部101は、複数のライブビュー画像の表示態様を設定する表示態様設定部232と、複数の撮像装置10のそれぞれとの間の電波強度を閾値と比較する電波強度比較部233と、複数のライブビュー画像の優先順位を複数のライブビュー画像間で設定する優先順位設定部234と、複数のライブビュー画像の優先順位に基づいて、複数のライブビュー画像の転送のフレームレート及び転送の画像サイズのうち少なくともひとつを含む転送条件を設定する転送条件設定部236と、複数の撮像装置10から受信されたライブビュー画像に対して画像処理を行う画像処理部242と、複数の撮像装置10から受信された複数のライブビュー画像のそれぞれを表示パネル121(画像表示可能である表示画面の一例である)の複数領域のそれぞれに表示させる表示制御部244と、転送条件設定部236により設定された転送条件を複数の撮像装置10に無線通信部110を介して送信する通信制御部248と、記憶部150に記憶されたプログラムに従ってスマートフォン100の各部での処理の実行を制御する実行制御部250と、を備える。
次に、スマートフォン100の優先順位設定部234による優先順位の設定態様について説明する。
スマートフォン100の優先順位設定部234は、第1に、ユーザにより設定された複数のライブビュー画像の表示態様等に基づいて、複数のライブビュー画像の優先順位を設定する。表示態様は、本明細書において、表示制御部244が表示パネル121にライブビュー画像を表示させる態様を表わす。表示制御部244の制御により表示パネル121に実際に表示されたライブビュー画像の表示の状況(「表示状況」という)によっても優先順位を設定してよい。
ライブビュー画像の表示態様として、以下の例が挙げられる。
・ライブビュー画像の表示サイズ。
・ライブビュー画像の表示位置。
・ライブビュー画像を拡大表示するか否か。あるいは拡大率。
・ライブビュー画像をぼかして表示するか否か。あるいはぼかし率。
ライブビュー画像の表示状況として、以下の例が挙げられる。
・ライブビュー画像中の特定の被写体像の有無。
・ライブビュー画像中の被写体像の重要性(例えば予め定められた被写体像間の順位)。
・ライブビュー画像中の動体像の有無、大きさ及び移動速度のうち少なくともひとつ。
・ライブビュー画像中の背景。
・ライブビュー画像の連続表示時間。
ライブビュー画像の表示態様は、表示態様設定部232により、ユーザから設定入力を受け付ける場合と、自動的に設定する場合がある。
ライブビュー画像の表示状況は、主制御部101により、ライブビュー画像から検出する場合と、撮像装置10がライブビュー画像に付加した情報から検出する場合がある。ユーザが表示されたライブビュー画像から表示状況を判断して、スマートフォン100に表示状況に対応する情報を入力する場合を含む。
尚、ライブビュー画像の表示態様及び表示状況は、上述の例には特に限定されない。
スマートフォン100の優先順位設定部234は、第2に、電波強度検知部203で検知された複数の撮像装置10A、10B、10Cそれぞれとの間の電波強度に基づいて、複数のライブビュー画像の優先順位を設定する。つまり、複数の撮像装置10A、10B、10Cそれぞれとの間の電波強度の変化に応じて、優先順位の変更(再設定)を行う。
図4は、スマートフォン100の主制御部101で管理されるマルチライブビュー制御情報の一例を示す。図4の「撮像装置」の列の情報は、図1に示した複数の撮像装置10A、10B、10Cのいずれであるかを示す識別情報である。図4の「ライブビュー画像」の列の情報は、図1に示した複数の撮像装置10A、10B、10Cから無線通信で受信する複数のライブビュー画像LV1、LV2、LV3のいずれであるかを示す識別情報である。図4の「電波強度」の列の情報は、電波強度検知部203で検知される電波強度を示す。図4の「優先順位」の列の情報は、複数のライブビュー画像間の優先順位を示す。本例の「優先順位」は、優先順位設定部234により設定される。図4に示すように優先順位が「1」、「2」、「2」という場合(つまり優先順位が異なる組み合わせと優先順位が同一の組み合わせとがある場合)と、優先順位が「1」、「2」、「3」という場合(つまり全ての組み合わせで優先順位が異なる場合)とがある。図4の「表示態様」の列の情報は、各ライブビュー画像の表示態様を示す。本例の「表示態様」は、表示態様設定部232により設定された表示サイズ及び表示位置を示す。図4の「転送条件」の列の情報は、複数の撮像装置10A、10B、10Cのそれぞれに対して送信されて各撮像装置で設定される転送条件(設定値)である。本例の転送条件は、転送条件設定部236で設定される。
尚、図4に記載したマルチライブビュー制御情報は一例であり、マルチライブビューの実行を制御するための情報は図4に記載の情報に特に限定されない。
図5のフローチャートを用いて、スマートフォン100における撮像制御方法の一例の流れを説明する。図5に示すスマートフォン100での処理は、スマートフォン100の実行制御部250によって、スマートフォン100の記憶部150に記憶されたプログラムに従って実行される。尚、撮像装置10は、既に電源スイッチがオンされており、初期化を終了した状態であるものとする。
スマートフォン100の表示態様設定部232により、ライブビュー画像表示のレイアウト(表示態様の一例である)の設定を行う(ステップS102)。
例えば、図6に示すように、表示入力部120の表示パネル121(表示画面の一例である)に、ライブビュー画像表示領域121A、レイアウトパターン選択領域121B、及び撮像装置数選択領域121Cを含むマルチライブビュー画面が表示される。ライブビュー画像表示領域121Aは、複数の撮像装置10A〜10Cから受信する複数のライブビュー画像LV1〜LV3のそれぞれを表示する複数領域(第1の画像表示領域301、第2の画像表示領域302、第3の画像表示領域303)からなる。尚、ライブビュー画像LV1〜LV3は本ステップでは未表示である。レイアウトパターン選択領域121Bは、撮像装置数選択領域121Cに選択入力された撮像装置数に対応して選択可能なレイアウトのパターン(形状)を表示し、ユーザからレイアウトのパターンの選択入力を受け付ける領域である。符号124〜127はアイコンボタンである。
このようなマルチライブビュー画面が表示入力部120に表示された状態で、ユーザは、撮像装置数選択領域121C内で撮像装置の数を選択入力し、かつレイアウトパターン選択領域121B内で撮像装置数ごとに予め決められたレイアウトのパターンを選択入力することで、図7に示す複数のレイアウトのパターン(撮像装置数が1台である場合のパターン1、撮像装置数が2台である場合のパターン2−A、2−B、2−C、2−D、撮像装置数が3台である場合のパターン3―A、3―B、3―C、3―D、3―Eのうちから、所望のレイアウトのパターンを選択することができる。
例えば撮像装置の数として「3」が選択され、かつパターン3−Dが選択された場合、図8に示すように、更に相対的なコマ位置の違いにより6つの異なるレイアウトが考えられる。例えば、デフォルトを図8の(1)のレイアウトとした場合、ユーザは、スライド操作により、ライブビュー画像の表示位置及び表示サイズを入れ替えることができる。尚、ライブビュー画像LV1〜LV3は本ステップでは未表示である。
ユーザにより選択されたレイアウトを示すレイアウト情報は、記憶部150に記憶される。ここで、レイアウト情報は、各ライブビュー画像の少なくとも表示サイズ及び表示位置を示す情報を含む。
次に、スマートフォン100の優先順位設定部234により、複数の撮像装置10A〜10Cにそれぞれに対応する複数のライブビュー画像の優先順位を、ステップS102で選択されたレイアウト(表示態様の一例である)に基づいて、複数のライブビュー画像間で設定する(ステップS104)。例えば、図4の「優先順位」の「初期」の列に示したように、撮像装置10Aから入力するライブビュー画像LV1に対して優先順位1を設定し、撮像装置10Bから入力するライブビュー画像LV2及び撮像装置10Cから入力するライブビュー画像LV3に対して優先順位2を設定する。ここで、優先順位は、複数の撮像装置10A、10B、10Cのうちいずれから入力されるかに基づいて設定されるのではなく、複数のライブビュー画像LV1、LV2、LV3のレイアウト(表示態様の一例である)に基づいて設定される。
スマートフォン100の転送条件設定部236により、複数の撮像装置10A〜10Cからスマートフォン100に対して送信する複数のライブビュー画像の初期の転送条件を設定する(ステップS106)。本ステップでは、図4の「転送条件」の「初期」の列に示したように、複数のライブビュー画像LV1、LV2、LV3で同一の転送条件が設定される。つまり、複数の撮像装置10A〜10Cのいずれの間とも電波強度は良いと仮定して、高転送量を許容する転送条件を設定しておく。
スマートフォン100の指示入力部212に、複数の撮像装置10A〜10Cで行う撮影の撮影準備指示が入力されたか否かを判定する(ステップS108)。例えば図6のレリーズ・ボタンアイコン125の一度目の押下が行われた場合、撮影準備指示が入力されたと判定する。
撮影準備指示がスマートフォン100の指示入力部212に入力された場合(ステップS108でYESの場合)、スマートフォン100の指示出力部204(無線通信部110)により、複数の撮像装置10A〜10Cに対して、撮影準備指示及び初期の転送条件を無線通信で送信(出力)する(ステップS110)。
撮影準備指示及び初期の転送条件を受信(入力)した複数の撮像装置10A〜10Cは、スマートフォン100に対して、無線通信でライブビュー画像の送信(出力)を開始する。スマートフォン100の画像入力部202(無線通信部110)は、複数の撮像装置10A〜10Cから、無線通信で複数のライブビュー画像を受信(入力)する。
スマートフォン100の電波強度検知部203は、複数の撮像装置10A〜10Cのそれぞれとの間の電波強度を検知し、表示制御部244は、複数の撮像装置10A〜10Cのそれぞれとの間の電波強度をマルチライブビュー画面に表示する(ステップS112)。
スマートフォン100の電波強度比較部233は、検知された複数の撮像装置10A,10B、10Cそれぞれとの間の電波強度を閾値と比較する(ステップS114)。
複数の撮像装置10A,10B、10Cのうちで少なくとも一つの撮像装置との間の電波強度が閾値よりも小さい場合(ステップS114でYESの場合)、スマートフォン100の実行制御部250は、ステップS116〜S122を実行する。
まず、スマートフォン100の優先順位設定部234は、電波強度の変化に応じて、ライブビュー画像の優先順位を変更する(ステップS116:優先順位設定ステップの一態様である)。
例えば、図4に示すように、撮像装置10A及び10Bとの間の電波強度が閾値よりも小さく(「弱」である)、撮像装置10Cとの間の電波強度が閾値以上である(「強」である)場合には、撮像装置10A及び10Bにそれぞれ対応するライブビュー画像LV1及びLV2の優先順位を「2」に設定し、撮像装置10Cに対応するライブビュー画像LV3の優先順位を「1」に設定する。つまり、初期の優先順位(「1」、「2」、「2」)を複数の撮像装置10A〜10Cとの間の電波強度に応じた優先順位(「2」、「2」、「1」)に変更する。尚、本例では、数字が小さいほど優先順位が高い。
次に、スマートフォン100の表示態様設定部232は、優先順位の変化に応じて、複数のライブビュー画像の表示態様を変更する(ステップS118)。
例えば、図9に示すように、優先順位が「2」と低くなったライブビュー画像LV1の表示サイズを小さくし、かつ優先順位が「1」と高くなったライブビュー画像LV3の表示サイズを大きくするレイアウトに変更する。また、本例では、優先順位の高低と表示位置の左右とが対応するように、レイアウトを変更している。つまり、優先順位が「1」であるライブビュー画像LV3をライブビュー画像表示領域121A内の左側の表示位置に再配置し、優先順位が「2」であるライブビュー画像LV1,LV2をライブビュー画像表示領域121A内の右側の表示位置に再配置している。
次に、スマートフォン100の転送条件設定部236は、優先順位の変化に基づいて、複数のライブビュー画像の転送条件を変更する(ステップS120:転送条件設定ステップの一態様である)。
例えば、図4に示すように、複数の撮像装置10A〜10Cからのライブビュー画像LV1〜LV3の全ての初期の転送条件が同一(例えば転送フレームレートが60fps(frame per second))であった場合、優先順位が「2」であるライブビュー画像LV1及びLV2の転送量を低下させ(例えば転送フレームレートを20fpsに変更し)、優先順位が「1」であるライブビュー画像LV3の転送量を維持する。尚、転送フレームレートのみを変更する場合を例に説明したが、転送フレームレートと共に転送画像サイズを変更してもよいし、転送画像サイズのみを変更してもよい。
図10は、レイアウトとライブビュー画像の優先順位との対応関係を示す対応関係情報の一例を示す。このような対応関係情報が記憶部150に予め記憶されており、表示態様設定部232は、記憶部150に記憶された対応関係情報を参照して、表示態様を変更する。尚、図10では、図7のパターン3−Dに属する図8のレイアウト(1)〜(6)のレイアウトについて対応関係を記載し、図7の他のパターンについては対応関係の記載を省略したが、実際には他のパターンの対応関係も対応関係情報に含まれる。
次に、スマートフォン100の通信制御部248は、指示出力部204(無線通信部110)を介して、複数の撮像装置10A〜10Cに対して、転送条件を無線通信で送信(出力)する(ステップS122)。
スマートフォン100の実行制御部250は、複数の撮像装置10A〜10Cの少なくともひとつからライブビュー画像を受信したか否かを判定する(ステップS124)。
スマートフォン100の画像処理部242は、受信されたライブビュー画像をトリミングする(ステップS126)。
スマートフォン100の表示制御部244は、図11に示すように、優先順位が高いライブビュー画像LV3を表示領域301に表示させ、優先順位が低いライブビュー画像LV1及びLV2を表示領域302及び303に表示させる(ステップS128)。尚、図11において、符号321、符号322、符号323は、それぞれ、撮像装置10Aとの間の電波強度、撮像装置10Bとの間の電波強度、撮像装置10Cとの間の電波強度を示すアイコン(電波強度アイコン)であって、本例では前述のステップS112で既に表示され、本ステップでは変更された優先順位に応じて表示位置が変更されてライブビュー画像に重ねて表示される。
スマートフォン100の指示入力部212に、複数の撮像装置10A〜10Cで行う撮影の指示が入力されたか否かを判定する(ステップS130)。例えば、ライブビュー画像が表示された状態で、図6のレリーズ・ボタンアイコン125の押下が行われた場合、撮影指示が入力されたと判定する。
撮影指示がスマートフォン100の指示入力部212に入力された場合(ステップS130でYESの場合)、スマートフォン100の指示出力部204(無線通信部110)により、複数の撮像装置10A〜10Cに対して、無線通信で撮影指示を送信(出力)する(ステップS132)。
複数の撮像装置10A〜10Cでは、被写体の撮影が行われる。スマートフォン100の画像入力部202(無線通信部110)は、複数の撮像装置10A〜10Cから、無線通信で複数の撮影画像(静止画又は動画或いは両方)を受信(入力)する(ステップS134)。
スマートフォン100の実行制御部250は、スマートフォン100の記憶部150に複数の撮影画像を記録し、かつスマートフォン100の表示入力部120の表示パネル121に複数の撮影画像のうち少なくともいずれかを表示する(ステップS136)。
尚、本例では、ライブビュー画像の受信後に、複数の撮像装置10A〜10Cに対して撮影指示を送信し、撮影指示に従って複数の撮像装置10A〜10Cで撮影された複数の撮影画像を複数の撮像装置10A〜10Cから受信する場合を例に説明したが、撮影画像は複数の撮像装置10A〜10Cにおいて自動で撮影されてもよい。
[表示態様変更の他の例]
図9を用いてライブビュー画像の優先順位の変更があってもレイアウトのパターン(形状である)は変更しない場合を例に説明したが、本発明はこのような場合に限定されない。図12に示すように、ライブビュー画像の優先順位の変更があった場合にレイアウトのパターンを変更してもよい。
図12は、撮像装置の数が2台であってライブビュー画像の優先順位が変更された場合に、ライブビュー画像の表示位置は変更しないで、ライブビュー画像の表示サイズのみを変更した場合を示す。
[転送条件表示の例]
図11を用いて電波強度のみをライブビュー画像に重ねて表示した場合を例に説明したが、本発明はこのような場合に限定されない。図13に示すように、複数の撮像装置10A、10B,10Cのそれぞれのライブビュー画像の転送条件331、332、333を表示制御部244によりライブビュー画像表示領域121Aに表示させてもよい。図13は、転送条件として転送のフレームレートを表示した場合を示す。転送条件として転送の画像サイズを表示してもよい。優先順位の変更に応じて転送のフレームレート及び転送の画像サイズの両方を変更する場合には、転送のフレームレート及び転送の画像サイズの両方を表示することが好ましい。
[システム構成のバリエーション]
図1に示したように、撮像装置10とライブビュー制御装置の一例であるスマートフォン100とが直接的に無線通信を行う第1の無線通信態様において本発明を適用した場合を詳細に説明したが、図14に示す第2の無線通信態様において、本発明を適用してもよい。
図14において、撮像装置10A、10B、10Dとライブビュー制御装置の一例であるスマートフォン100とがアクセスポイントAPを介して間接的に無線通信を行う。
このような撮像システムでは、一般に、スマートフォン100はアクセスポイントAPとの間の電波強度を検知できても、複数の撮像装置10A、10B、10DのそれぞれとアクセスポイントAPとの電波強度を検知できない。そこで、アクセスポイントAPを介して通信を行う場合、本発明の電波強度検知部203は、ライブビュー画像の実際の転送状況を監視して複数の撮像装置10A、10B、10Dのそれぞれとの間の電波強度を推定するか、或いは複数の撮像装置10A、10B、10DのそれぞれとアクセスポイントAPとの電波強度をアクセスポイントAPから取得する。電波強度の推定は、例えば各フレームの再送回数、実際のフレームレート等を用いて行うことが考えられる。
尚、図14の場合、撮像装置10A、10Bと撮像装置10Dとでは、機種が異なっている。撮像装置10Dは、撮像レンズ及び撮像素子を含む撮像部が、パン方向及びチルト方向に回動可能なパン・チルトカメラである。このように撮像装置間で機種が異なる場合にも、本発明は適用可能である。
本発明は、本明細書及び添付図面に記載された例には特に限定されず、本発明の要旨を逸脱しない限りにおいて本明細書及び添付図面に記載された例とは異なる態様で実施してもよい。
10(10A、10B、10C、10D):撮像装置、100:スマートフォン(ライブビュー制御装置)、101:主制御部、110:無線通信部、120:表示入力部、121:表示パネル、122:操作パネル、202:画像入力部、203:電波強度検知部、204:指示出力部、212:指示入力部、232:表示態様設定部、233:電波強度比較部、234:優先順位設定部、236:転送条件設定部、242:画像処理部、244:表示制御部、248:通信制御部、250:実行制御部

Claims (23)

  1. 複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、
    前記複数の撮像装置から受信した前記複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させる表示制御部と、
    前記複数の撮像装置のそれぞれとの間の電波強度を検知する電波強度検知部と、
    前記電波強度検知部で検知された電波強度に基づいて、前記複数のライブビュー画像の優先順位を設定する優先順位設定部と、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定部と、
    前記転送条件設定部により設定された転送条件を、前記複数の撮像装置に前記無線通信部を介して送信する通信制御部と、
    を備える撮像制御装置。
  2. 複数の撮像装置から無線通信で複数のライブビュー画像を受信する無線通信部と、
    前記複数の撮像装置から受信した前記複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させる表示制御部と、
    前記複数の撮像装置のそれぞれとの間の電波強度を推定する電波強度推定部と、
    前記電波強度推定部で推定された電波強度に基づいて、前記複数のライブビュー画像の優先順位を設定する優先順位設定部と、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定部と、
    前記転送条件設定部により設定された転送条件を、前記複数の撮像装置に前記無線通信部を介して送信する通信制御部と、
    を備える撮像制御装置。
  3. 前記電波強度検知部は、アクセスポイントを介して前記撮像装置と通信を行う場合、前記撮像装置と前記アクセスポイントとの間の電波強度を前記アクセスポイントから取得する請求項1に記載の撮像制御装置。
  4. 前記電波強度推定部は、前記複数の撮像装置のそれぞれとの間のライブビュー画像の各フレームの再送回数、又は実際のフレームレートを用いて前記電波強度を推定する請求項2に記載の撮像制御装置。
  5. 前記複数の撮像装置のそれぞれとの間の電波強度を閾値と比較する電波強度比較部を備え、
    前記優先順位設定部は、前記電波強度が前記閾値よりも小さい場合、前記電波強度が前記閾値以上である場合よりも前記優先順位を低く設定し、
    前記転送条件設定部は、前記優先順位が低くなると、前記優先順位が低いライブビュー画像の転送量を低下させる転送条件を設定する、
    請求項1から4のいずれか1項に記載の撮像制御装置。
  6. 前記優先順位に応じて、前記ライブビュー画像の表示態様を変更する表示態様設定部を備える、
    請求項1から5のいずれか1項に記載の撮像制御装置。
  7. 前記表示態様設定部は、前記優先順位に応じて、前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつを前記ライブビュー画像間で設定する、
    請求項6に記載の撮像制御装置。
  8. 前記表示制御部は、前記検知された電波強度を、前記表示画面に表示する、
    請求項1又は3に記載の撮像制御装置。
  9. 前記表示制御部は、前記推定された電波強度を、前記表示画面に表示する、
    請求項2又は4に記載の撮像制御装置。
  10. 前記表示制御部は、前記複数のライブビュー画像のそれぞれの転送のフレームレート及び転送の画像サイズのうち少なくともひとつを、前記表示画面に表示する、
    請求項1から9のうちいずれか一項に記載の撮像制御装置。
  11. 前記通信制御部は、前記ライブビュー画像の受信後に、撮影指示を前記無線通信部を介して前記複数の撮像装置に対して送信し、前記撮影指示に従って前記複数の撮像装置で撮影された複数の画像を前記無線通信部を介して前記複数の撮像装置から受信する、
    請求項1から10のうちいずれか一項に記載の撮像制御装置。
  12. 前記通信制御部は、前記複数の撮像装置で自動で撮影された画像を前記複数の撮像装置から受信する、
    請求項1から10のうちいずれか一項に記載の撮像制御装置。
  13. 前記撮像装置と、請求項1から12のうちいずれか一項に記載の撮像制御装置と、を備える撮像システム。
  14. 複数の撮像装置から無線通信で複数のライブビュー画像を受信するステップと、
    前記複数の撮像装置から受信した前記複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させるステップと、
    前記複数の撮像装置のそれぞれとの間の電波強度を検知するステップと、
    前記検知された電波強度に基づいて、前記複数のライブビュー画像の優先順位を設定する優先順位設定ステップと、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定ステップと、
    前記設定された転送条件を、前記複数の撮像装置に無線通信で送信するステップと、
    を含む撮像制御方法。
  15. 複数の撮像装置から無線通信で複数のライブビュー画像を受信するステップと、
    前記複数の撮像装置から受信した前記複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させるステップと、
    前記複数の撮像装置のそれぞれとの間の電波強度を推定するステップと、
    前記推定された電波強度に基づいて、前記複数のライブビュー画像の優先順位を設定する優先順位設定ステップと、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定する転送条件設定ステップと、
    前記設定された転送条件を、前記複数の撮像装置に無線通信で送信するステップと、
    を含む撮像制御方法。
  16. 前記電波強度を検知するステップは、アクセスポイントを介して前記撮像装置と通信を行う場合、前記撮像装置と前記アクセスポイントとの間の電波強度を前記アクセスポイントから取得する請求項14に記載の撮像制御方法。
  17. 前記電波強度を推定するステップは、前記複数の撮像装置のそれぞれとの間のライブビュー画像の各フレームの再送回数、又は実際のフレームレートを用いて前記電波強度を推定する請求項15に記載の撮像制御方法。
  18. 前記複数の撮像装置のそれぞれとの間の電波強度を閾値と比較するステップを備え、
    前記電波強度が前記閾値よりも小さい場合、前記電波強度が前記閾値以上である場合よりも前記優先順位を低く設定し、
    前記優先順位が低くなると、前記優先順位が低いライブビュー画像の転送量を低下させる転送条件を設定する、
    請求項14から17のいずれか1項に記載の撮像制御方法。
  19. 前記優先順位に応じて、前記ライブビュー画像の表示態様を変更する、
    請求項14から18のいずれか1項に記載の撮像制御方法。
  20. 前記優先順位に応じて、前記ライブビュー画像の表示サイズ及び表示位置のうち少なくともひとつを前記複数のライブビュー画像間で設定する、
    請求項14から19のいずれか1項に記載の撮像制御方法。
  21. 複数の撮像装置から無線通信で複数のライブビュー画像を受信するステップと、
    前記複数の撮像装置から受信した前記複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させるステップと、
    前記複数の撮像装置のそれぞれとの間の電波強度を検知するステップと、
    前記検知された電波強度に基づいて、前記複数のライブビュー画像の優先順位を設定するステップと、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定するステップと、
    前記設定された転送条件を、前記複数の撮像装置に無線通信で送信するステップと、
    をコンピュータに実行させるプログラム。
  22. 複数の撮像装置から無線通信で複数のライブビュー画像を受信するステップと、
    前記複数の撮像装置から受信した前記複数のライブビュー画像を、画像表示可能である表示画面の複数領域に表示させるステップと、
    前記複数の撮像装置のそれぞれとの間の電波強度を推定するステップと、
    前記推定された電波強度に基づいて、前記複数のライブビュー画像の優先順位を設定するステップと、
    前記複数のライブビュー画像の優先順位に基づいて、前記複数のライブビュー画像のそれぞれの転送量に関連する転送条件を設定するステップと、
    前記設定された転送条件を、前記複数の撮像装置に無線通信で送信するステップと、
    をコンピュータに実行させるプログラム。
  23. 請求項21又は22に記載のプログラムを記録したコンピュータ読み取り可能な非一時的記録媒体。
JP2018002668A 2014-09-11 2018-01-11 撮像制御装置、撮像制御方法、撮像システム及びプログラム Active JP6435063B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014184951 2014-09-11
JP2014184951 2014-09-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2016547743A Division JP6276414B2 (ja) 2014-09-11 2015-06-24 撮像制御装置、撮像制御方法、撮像システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2018098801A JP2018098801A (ja) 2018-06-21
JP6435063B2 true JP6435063B2 (ja) 2018-12-05

Family

ID=55458740

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2016547743A Active JP6276414B2 (ja) 2014-09-11 2015-06-24 撮像制御装置、撮像制御方法、撮像システム及びプログラム
JP2018002668A Active JP6435063B2 (ja) 2014-09-11 2018-01-11 撮像制御装置、撮像制御方法、撮像システム及びプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2016547743A Active JP6276414B2 (ja) 2014-09-11 2015-06-24 撮像制御装置、撮像制御方法、撮像システム及びプログラム

Country Status (4)

Country Link
US (1) US10063781B2 (ja)
JP (2) JP6276414B2 (ja)
CN (1) CN106716986B (ja)
WO (1) WO2016038978A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2015224397A1 (en) * 2015-09-08 2017-03-23 Canon Kabushiki Kaisha Methods for adjusting control parameters on an image capture device
JP6651133B2 (ja) * 2016-09-01 2020-02-19 カシオ計算機株式会社 電子機器、画像データ記憶方法、プログラム、及び撮影システム
JP6743604B2 (ja) 2016-09-12 2020-08-19 ソニー株式会社 マルチカメラシステム、カメラ、カメラの処理方法、確認装置および確認装置の処理方法
US11258988B1 (en) * 2020-07-21 2022-02-22 Vivian J. Douglas Dudley Body-viewing camera system
CN112153293A (zh) * 2020-09-28 2020-12-29 广东小天才科技有限公司 一种图像数据的显示方法及电子设备、存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3654189B2 (ja) 2001-01-17 2005-06-02 株式会社デンソー 携帯端末およびプログラム
JP4252333B2 (ja) 2003-02-28 2009-04-08 富士通株式会社 移動ロボット
US20070273762A1 (en) * 2004-03-11 2007-11-29 Johannes Steensma Transmitter and Receiver for a Surveillance System
JP4842678B2 (ja) * 2005-03-31 2011-12-21 マスプロ電工株式会社 通信システム、情報処理装置及びプログラム
US9160464B2 (en) * 2005-09-19 2015-10-13 Nokia Technologies Oy Operating multi-service receiver in non-interfering manner
JP2007214831A (ja) * 2006-02-09 2007-08-23 Hitachi Kokusai Electric Inc 映像処理システム
JP2009010625A (ja) * 2007-06-27 2009-01-15 Canon Inc 映像表示装置、映像表示方法、プログラム及び映像表示システム
JP2009118367A (ja) * 2007-11-09 2009-05-28 Sony Corp 記録装置および記録方法、プログラム、並びに記録システム
JP5039528B2 (ja) * 2007-12-13 2012-10-03 キヤノン株式会社 画像データ管理装置及びその制御方法及びプログラム
JP5387395B2 (ja) * 2009-12-28 2014-01-15 ソニー株式会社 受信装置、受信方法およびプログラム
CN102006477A (zh) * 2010-11-25 2011-04-06 中兴通讯股份有限公司 图像传输方法及系统
JP2013093842A (ja) * 2011-10-05 2013-05-16 Sanyo Electric Co Ltd 電子機器および電子カメラ
JP2014038336A (ja) 2013-08-30 2014-02-27 Casio Comput Co Ltd 表示装置、表示方法及びプログラム
US10741041B2 (en) * 2014-01-06 2020-08-11 Binatone Electronics International Limited Dual mode baby monitoring

Also Published As

Publication number Publication date
JP6276414B2 (ja) 2018-02-07
JP2018098801A (ja) 2018-06-21
US20170180650A1 (en) 2017-06-22
US10063781B2 (en) 2018-08-28
CN106716986A (zh) 2017-05-24
JPWO2016038978A1 (ja) 2017-07-13
WO2016038978A1 (ja) 2016-03-17
CN106716986B (zh) 2019-05-10

Similar Documents

Publication Publication Date Title
JP6435063B2 (ja) 撮像制御装置、撮像制御方法、撮像システム及びプログラム
US10560624B2 (en) Imaging control device, imaging control method, camera, camera system, and program
JP6205067B2 (ja) パン・チルト操作装置、カメラシステム、パン・チルト操作用プログラム及びパン・チルト操作方法
US10277804B2 (en) Method and terminal for acquiring panoramic image
US20160014340A1 (en) Mobile terminal and controlling method thereof
EP3035181A1 (en) Mobile terminal and controlling method thereof
JP6291072B2 (ja) ライブビュー制御装置、ライブビュー制御方法、ライブビューシステム及びプログラム
JP6360204B2 (ja) カメラ装置、撮像システム、制御方法及びプログラム
US9270982B2 (en) Stereoscopic image display control device, imaging apparatus including the same, and stereoscopic image display control method
KR20170112493A (ko) 이동 단말기 및 그 제어방법
JP2010011431A (ja) 無線通信装置
US10863095B2 (en) Imaging apparatus, imaging method, and imaging program
US10079973B2 (en) Imaging device operation device, operation method, and program
KR20170037123A (ko) 이동단말기 및 그 제어방법
JP6374535B2 (ja) 操作装置、追尾システム、操作方法、及びプログラム
JP5832673B2 (ja) 撮像装置およびその動作制御方法
JP2010028829A (ja) 無線通信装置
CN110677581A (zh) 一种镜头切换方法、装置、存储介质及电子设备
KR20150120234A (ko) 이동 단말기 및 그 제어방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181015

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181023

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181109

R150 Certificate of patent or registration of utility model

Ref document number: 6435063

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250