JP5988749B2 - 通信装置、その制御方法及びプログラム - Google Patents

Description

本発明は、撮像装置と通信する通信装置、その制御方法及びプログラムに関する。

デジタルカメラを外部機器から遠隔コントロールする構成としては、デジタルカメラとパーソナルコンピュータ（以下、ＰＣと称する）とをＵＳＢやＬＡＮで接続して、ＰＣからデジタルカメラをコントロールしたり、デジタルカメラでの撮影画像をＰＣに転送したりすることが一般的である（特許文献１）。このような遠隔コントローラは、主にスタジオ撮影等の屋内で使用されることが多い。
その一方で近年、いわゆるスマートフォンやタブレット端末（以下、スマートフォン等と記す）の普及が加速し、ＰＣに引けを取らない高機能なモデルも増えてきており、近い将来スマートフォン等がＰＣに置き換わる可能性も考えられる。

特開２００５−１３６８３３号公報

デジタルカメラとスマートフォン等とを無線で接続し、デジタルカメラ側の画像をリアルタイムで無線転送し、転送先となるスマートフォン等側でデジタル画像をデコードし描画するシステムが考えられる。
しかしながら、このようなシステムをスマートフォン等で実現するには、スマートフォン等の電力を大量に費やすことになってしまう。また、デジタルカメラ側でも同様に消費電力が伴うために、例えば野外では、ユーザが絶えずデジタルカメラ及びスマートフォン等の双方の電池を心配しながらシステムを利用しなければならない。

本発明は上記のような点に鑑みてなされたものであり、撮像装置からライブビュー画像を転送し、転送先となる外部機器で表示するに際して、撮影に必要なパフォーマンスを保ちつつ、かつ省電力を図ることを目的とする。

本発明の通信装置は、撮像装置と通信する通信装置であって、前記撮像装置から、前記撮像装置で撮像中の画像を繰り返し受信する受信手段と、前記受信手段により受信した画像に基づき、表示手段にライブビュー画像を表示するよう制御する表示制御手段と、所定の条件を満たした場合に、省電力状態に移行する移行手段とを有し、前記移行手段により前記省電力状態に移行した場合、前記受信手段は、前記撮像装置から前記画像を繰り返し受信する間隔を長くし、前記表示制御手段は、前記ライブビュー画像と、前記撮像装置に撮像要求を送信する指示部材を示す画像とを同じ画面上に表示するよう制御することを特徴とする。

本発明によれば、撮像装置からライブビュー画像を転送し、転送先となる外部機器である通信装置で表示するに際して、撮影に必要なパフォーマンスを保ちつつ、かつ省電力を図ることができる。

第１の実施例に係る遠隔制御システムの構成例を示す図である。 第１の実施形態に係るデジタルカメラのハードウェア構成を示す図である。 第１の実施形態に係るデジタルカメラの背面側の外観図である。 第１の実施形態に係る携帯端末のハードウェア構成を示す図である。 第１の実施形態において携帯端末を利用したリモートライブビュー撮影アプリケーションの操作及び表示画面の例を示す図である。 第１の実施形態に係る遠隔制御システムでの表示処理を示すフローチャートである。 第１の実施形態において携帯端末を利用した撮影画像の確認の操作及び表示画面の例を示す図である。 第２の実施形態に係る遠隔制御システムでの表示処理を示すフローチャートである。

以下、添付図面を参照して、本発明の好適な実施形態について説明する。
（第１の実施形態）
＜遠隔制御システムの構成＞
本実施形態では、撮像装置と携帯端末とを無線で接続し、携帯端末から撮像装置の撮影を制御する遠隔制御システムについて説明する。
図１は、本実施形態に係る遠隔制御システムの構成例を示す図である。１０１は撮像装置の例であるデジタル一眼レフカメラ（以下、デジタルカメラと称する）である。
１０３はスマートフォン等の携帯端末であり、デジタルカメラ１０１に対して外部機器として遠隔コントロールを行う。
１０２はアクセスポイントであり、デジタルカメラ１０１と携帯端末１０３とは、アクセスポイント１０２を経由して接続を行うインフラストラクチャーモードにより画像データを含む各種信号の送受信が可能になっている。なお、デジタルカメラ１０１と携帯端末１０３との接続方式は、アクセスポイントを利用せずに機器同士でネットワークを構築するアドホックモード等であってもよい。

遠隔撮影とは、デジタルカメラ１０１で撮影される被写体１０４の被写体像を携帯端末１０３側で確認するとともに、携帯端末１０３側でレリーズ指示を行う撮影方法を含む。また、デジタルカメラ１０１で撮影される被写体１０４の被写体像を携帯端末１０３側で確認し、レリーズ指示はデジタルカメラ１０１のシャッタボタンで行う撮影方法を含む。撮影された画像は、携帯端末１０３で確認することができる。後者の撮影方法は、デジタルカメラ１０１のファインダや背面液晶表示部のライブビュー画像を確認し難いような撮影、例えば超低位置からの撮影等に有効である。

＜デジタルカメラの構成＞
図２は、デジタルカメラ１０１のハードウェア構成を示す図である。１、３は撮影レンズであり、ここでは説明の便宜上２枚のレンズで図示するが、実際は更に多数枚のレンズから構成される。２は絞りであり、撮影レンズ１、３を通過した光量を調整する。４は主ミラーであり、ファインダ系による被写体像の観察状態に応じて撮影光路に対して傾斜状態或いは退避状態に設定される。５はサブミラーであり、主ミラー４を通過した光束をカメラ筐体の下方に位置する焦点検出用のレンズ系１１及びラインセンサ１２に向けて反射する。

６はシャッタである。７は撮像素子であり、ＣＣＤ型撮像素子或いはＣＭＯＳ型撮像素子として構成される。８は液晶表示部であり、ファインダ内に内蔵され、撮影レンズ１、３の予定結像面に配置されたピント版及び測距枠のマーク等を表示する。９はペンタプリズムであり、ファインダ光路変更用のプリズムである。２９はＡ／Ｄ変換回路であり、ファインダ光路系の上部に配置された測光回路の出力をＡ／Ｄ変換する。１０は接眼レンズであり、これを介して撮影者は被写体を観察することができる。１１は焦点検出用のレンズ系である。１２はラインセンサであり、焦点検出を行う。

１３は焦点調節回路であり、撮影レンズ１、３内に配置され、焦点調節を行う。１４は絞り駆動回路であり、撮影レンズ１、３内に配置され、絞り２を駆動する。１５はミラー駆動回路であり、主ミラー４を駆動する。１６はラインセンサ駆動回路であり、ラインセンサ１２を駆動する。１７はシャッタ駆動回路であり、シャッタ６を駆動する。１８は撮像素子駆動回路であり、撮像素子７を駆動する。１９はＡ／Ｄ変換回路であり、撮像素子７から出力されるアナログ画像信号をデジタル画像信号に変換する。２０は信号処理回路であり、デジタル画像信号に対して信号処理を施す。

２１はＲＡＭであり、デジタル画像信号等を一時的に保存する。２２はＲＯＭであり、デジタルカメラ１０１を制御するための制御プログラム等を格納する。２３はコンパクトフラッシュ（登録商標）（ＣＦ）であり、デジタル画像信号を最終的に記録する記録媒体である。２４はＣＰＵであり、デジタルカメラ１０１の各部の制御を司る中央演算処理装置である。２５は背面液晶表示部（ＬＣＤ）であり、撮像したデジタル画像信号に対応する撮影画像の表示や撮影パラメータ変更等のメニュー表示、又はライブビュー画像の表示等を行う。

２６はスイッチ入力部であり、図３に示すシャッタボタン３７で操作されるレリーズスイッチ（レリーズＳＷ）、各種機能ボタン、図３に示す選択サブダイヤル３８、電源スイッチ等の各種ボタンの操作に連動する入力を行う。スイッチ入力部２６は、撮影者により該当ボタンが操作されると、対応する信号をＣＰＵ２４に送出する。レリーズＳＷは、少なくとも２つ以上の接点を有するスイッチから構成され、例えば押下される量に応じて状態が２段階に切り替わる構造となっている。レリーズＳＷを途中まで押下した場合には第１の接点（ＳＷ１）が選択され、最後まで押下した場合には第２の接点（ＳＷ２）が選択される。ＳＷ１が選択された場合にはＡＦ（自動焦点）やＡＥ（自動露出）等の撮影準備動作を行い、ＳＷ２が選択された場合には撮影動作及びデジタル画像信号の作成動作及び記録動作を行う。

２７は通信部であり、ＬＡＮ（Local Area Network）やＵＳＢ（Universal Serial Bus）等のインタフェースを有し、携帯端末１０３のような外部機器と接続する。これにより、デジタルカメラ１０１で撮影した画像の送信や外部機器からデジタルカメラ１０１の遠隔制御を可能としている。
２８はデジタルカメラ１０１の駆動源となる電源であり、一般的にはリチウムイオン電池等の充電型の電源が用いられる。

図３は、デジタルカメラ１０１の背面側の外観図である。デジタルカメラ１０１の筐体の上面部には、シャッタボタン３７が配設されている。また、筐体の背面部には、選択サブダイヤル３８、ライブビュー開始／終了ボタン４２、撮影画像の確認用及び機能メニュー表示用の背面液晶表示部２５が配設されている。
各種スイッチやダイヤル等の操作情報はスイッチ入力部２６からＣＰＵ２４に送られ、状態や操作されたボタンの状況に応じてＣＰＵ２４がデジタルカメラ１０１を統括コントロールする。

＜携帯端末のハードウェア構成＞
図４は、携帯端末１０３のハードウェア構成を示す図である。携帯端末１０３としては、上述したスマーフォフォンやタブレット端末以外にも、携帯電話機、ＰＤＡ（Personal Digital Assistant）、携帯型ＡＶプレイヤー、電子ブック、電子辞書等がある。
携帯端末１０３は、ＣＰＵ４００、フラッシュメモリ４０１、ＲＡＭ４０２を備える。また、内蔵カメラ４０３、マイク４０４、スピーカ４０５、イヤホン４０６、タッチパネル４１０、液晶表示部４１１、スイッチ４１２、通信部４１３、外部インタフェース４１４、電源４１５を備える。さらに、ＧＰＳ（Global Positioning System）センサ４０７や電子コンパス４０８等を備えるものもある。その他に、通話用のアンテナや通話用の通信モジュール等を備えていてもよい。

ＣＰＵ４００は、携帯端末１０３で実行される処理を統括的に制御する。ＲＡＭ４０２は、ＣＰＵ４００の作業領域として用いられ、ＣＰＵ４００が処理するコンテンツ等の各種データや、各種アプリケーションのプログラムを一時的に格納する。フラッシュメモリ４０１は、内蔵カメラ４０３により撮像されたデジタル写真画像や動画像等の各種コンテンツ、ＣＰＵ４００が実行する各種制御プログラムや各種アプリケーションプログラムを記憶する。

液晶表示部４１１は、例えばＴＦＴ（Thin Film Transistor）等のＬＣＤやＯＥＬＤ（Organic Electro-Luminescence Display）であり、アプリケーションＵＩ（User Interface）を表示する。また、液晶表示部４１１はタッチパネル４１０と一体的に設けられている。タッチパネル４１０は、アプリケーションの実行により写真やＧＵＩ（Graphical User Interface）が表示された状態において、ユーザのタッチ操作を検出し、ＣＰＵ４００に伝える。タッチパネル４１０の動作方式としては、例えば抵抗被膜方式や静電容量方式が用いられるが、その他の方式が用いられてもよい。タッチパネル４１０は、例えば写真表示アプリケーションの実行中に、ユーザが写真を選択して全画面表示したり、ピンチインやピンチアウトにより画像を拡大、縮小したりすることも可能にしている。

スイッチ４１２は、例えば電源スイッチ、起動ボタン等、タッチパネル４１０では入力できないユーザの操作等を受け付け、入力信号をＣＰＵ４００に伝える。
イヤホン４０６及びスピーカ４０５は、フラッシュメモリ４０１等に記録された、又は通信部４１３、外部インタフェース４１４等から入力された音声信号を出力する。
通信部４１３は、インターネットやＬＡＮ等のネットワークを介して、他の機器との間で通信処理を行う。通信部４１３は、無線ＬＡＮモジュールを備えていてもよいし、ＷＷＡＮ（Wireless Wide Area Network）モジュールを備えていてもよい。
外部インタフェース４１４は、例えばＵＳＢやＨＤＭＩ（High-Definition Multimedia Interface）等の各種規格に準じて、アプリケーションやコンテンツデータのやり取りを行う。
電源４１５は、携帯端末１０３用の電源であり、一般的にはリチウムイオン電池等の充電型の電源が用いられる。

次に、本実施形態に係る遠隔制御システムによる撮影動作について説明する。
＜ライブビュー撮影＞
デジタルカメラ１０１では、フイルムカメラと同様にピント版に結像した画像をファインダで確認する従来通りのピント確認の他に、撮像素子７に結像した画像をリアルタイムに背面液晶表示部２５で確認しながら構図確認やピント合わせを行う撮影方法がある。この撮影方法をライブビュー撮影と呼ぶこととする。
デジタルカメラ１０１でライブビュー撮影を行う場合、ライブビュー開始／終了ボタン４２を押下することによりライブビュー撮影モードに切り替わり、デジタルカメラ１０１は撮像素子７で結像した画像をリアルタイムに背面液晶表示部２５に表示する。これにより、撮影者は画像全体の構図や色合等を見た状況に基づいてデジタルカメラ１０１を移動させる等することで、アングル調整を行うことができる。このとき、撮像素子７に映像を投影させるため主ミラー４は退避状態に設定され、シャッタ６は開かれる。すなわち、ファインダ光路は遮断され、ファインダでの被写体確認はできなくなる。
デジタルカメラ１０１の背面液晶表示部２５に表示される画像は拡大することが可能で、かつ拡大する位置を移動することが可能である。ライブビュー撮影でのピント合わせは、ピントを合わせたい部分を背面液晶表示部２５に拡大表示するとともに、表示画像を確認しながらオートフォーカスやマニュアルフォーカスにより行う。

＜リモートライブビュー撮影＞
ライブビュー撮影は、上述したようにデジタルカメラ１０１単体で行うだけでなく、デジタルカメラ１０１に接続された外部機器と連携することで外部機器から遠隔操作するようにして行うことも可能である。例えば外部機器として携帯端末１０３で被写体を確認しながらの遠隔撮影操作を行うこともできる。この場合、デジタルカメラ１０１では、撮像素子７に結像した画像から外部装置出力用のデジタル画像を生成し、逐次携帯端末１０３からの要求に応じてデジタル画像を送信する。携帯端末１０３では、逐次受信したデジタル画像をリアルタイムに液晶表示部４１１に表示する。この撮影方法をリモートライブビュー撮影と呼ぶこととする。
リモートライブビュー撮影の場合も、被写体の確認だけでなく、ピントを合わせる位置を指定したり、撮影パラメータを変更したり、カメラの操作と同様に行うことができる。

＜リモート撮影アプリケーション＞
図５は、携帯端末１０３を利用したリモートライブビュー撮影アプリケーションの操作及び表示画面の例を示す図である。図５において、起動されたアプリケーションは液晶表示部４１１に対してＧＵＩ表示をする。これにより、撮影する被写体の確認や撮影制御を行うことができる。
携帯端末１０３においてリモート撮影機能が実行されると、デジタルカメラ１０１では、リモートライブビュー撮影アプリケーションからの指示によりライブビューが開始される。５０１はリモートライブビュー画面であり、携帯端末１０３においてリモートライブビュー撮影でのファインダに相当する。デジタルカメラ１０１の撮像素子７に結像した画像をデジタル画像として取得、表示を繰り返すことで、ライブビュー画像をリアルタイムで表示させることができる。これにより、撮影者は遠隔操作においてもカメラの操作と同様に被写体の確認を行うことができ、構図や色合いの確認やシャッタチャンスを捉えることが可能となる。撮影には様々な被写体が考えられるので、できる限り現実の被写体の動きからタイムラグを発生することなく表示されることが望まれる。また、リモートライブビュー画面５０１では、画像上のタップ操作でピント合わせの位置をデジタルカメラ１０１に指定したり、ピンチイン操作により画像拡大をしたりすることもできる。

５０２は遠隔用シャッタボタンであり、このボタンをタップ操作することによりデジタルカメラ１０１に対して撮影要求が出され、デジタルカメラ１０１において撮影が実施される。デジタルカメラ１０１で撮影された画像は携帯端末１０３に転送され、プレビューエリア５０４にサムネイルで表示される。撮影画像を確認したい場合は、プレビューエリア５０４をタップすることで液晶表示部４１１に大きく表示され、画像の詳細確認が行える。撮影画像の確認についての説明は、図７を参照して後述する。

５０３は撮影パラメータ変更のための操作ボタンであり、シャッタスピードや絞り値やＩＳＯ感度といった各種撮影パラメータを変更する機能を提供する。
５０５は遠隔ライブビュー開始／終了ボタンであり、カメラ背面のライブビュー開始／終了ボタン４２と同様にデジタルカメラ１０１のライブビュー機能を遠隔操作にてコントロールすることができる。撮影中の被写体が現れるまで待つ等といった長時間の待ち時間が発生するときは、このボタン操作でライブビューを停止状態にしておくことで、デジタルカメラ１０１及び携帯端末１０３の双方で消費電力を大幅に抑えることができる。撮影者が目視で被写体を直接確認できる撮影現場においては効果的な省電力手段である。

＜消費電力の課題＞
特に屋外の撮影については、撮影の準備をしておき、シャッタチャンスを待つという撮影場面は少なくない。上述したようにリモートライブビュー画面５０１はファインダの代わりなので、シャッタチャンスを逃さないためにもデジタルカメラ１０１の撮像素子７に結像している画像を常にリアルタイムで表示させている必要がある。そのため、デジタルカメラ１０１と携帯端末１０３との間の通信路上には常にデジタル画像が高速で転送され、携帯端末１０３のＣＰＵ４００は、デジタル画像を受信したら、そのデジタル画像をデコードして液晶表示部４１１を更新する処理新を高速で繰り返していなければならない。このことは、リモートライブビュー撮影中において、携帯端末１０３で常に無線ＬＡＮデータ転送及びＣＰＵ稼働が高い負荷で動作し続けることとなり、携帯端末１０３の消費電力を費やしてしまう。つまり、被写体のシャッタチャンスを待っている間に携帯端末１０３の電力を浪費してしまい、いざシャッタチャンスというときに電池切れで撮影ができなかったという致命的な失敗を誘発してしまう可能性がある。

＜表示処理＞
図６は、第１の実施形態に係る遠隔制御システムでの表示処理を示すフローチャートである。携帯端末１０３におけるリモートライブビュー描画に関して、リモート撮影に必要なパフォーマンスを保ちつつ、かつ省電力を図るためのフローチャートである。
ステップＳ６０１で、携帯端末１０３は、デジタルカメラ１０１において所定の操作（以下、カメラ操作と称する）、又は携帯端末１０３の所定の操作（以下、携帯操作と称する）があったか否かを判定する。
ここで、本実施形態における携帯端末１０３は、カメラ操作に関しては、撮影パラメータが変更されたり、レリーズＳＷが押されたりした場合に、例えば測光値がイベントとして携帯端末１０３に通知されることを検出してその有無を判定する。すなわち携帯電話１０３は、全てのカメラ操作を検出できるわけではなく、撮影の準備に関する操作が発生した場合にカメラ操作があったと判定することができる。カメラ操作として通知される内容としては、Ｔｖ、Ａｖ、ＩＳＯ、露出補正等の撮影パラメータの変更、記録画質の変更、撮影モードやホワイトバランス等撮影に関する設定情報変更、レリーズＳＷの操作等がある。一方、カメラ操作として通知されない内容としては、カメラ内画像のレーティング付加等のカメラ内画像に対する操作や、カメラの時刻設定等のカメラ自体の設定変更に関する操作等がある。
また、携帯操作に関しては、タッチパネル４１０やスイッチ４１２の検出があったか否かによりその有無を判定する。携帯操作があったとして判定する内容としては、図５にて説明したプレビューエリア５０４以外のすべての操作となる。一方、携帯操作があったと判定しない内容としては、プレビューエリア５０４の操作や、図５では説明を省略したアプリケーションの設定等の環境設定関連の操作等である。

ステップＳ６０１においていずれの操作もなかったと判定された場合、処理はステップＳ６０２に進む。それに対して、ステップＳ６０１においていずれかの操作があったと判定された場合、処理はステップＳ６１０に進み、携帯端末１０３は、省電力モードを解除して、かつ無操作検出するタイマをリセットする。その後、ステップＳ６０２に進む。

ステップＳ６０２で、携帯端末１０３は、無操作の状態が規定の時間（例えば５秒間）続いているか否かを検出する。ステップＳ６１０においてタイマのリセットが発生しない状態が規定の時間継続したか否かを判定する等の方法で、携帯端末１０３は、カメラ操作及び携帯操作が行われないことを検出することができる。

ステップＳ６０２において無操作の状態が規定の時間に達しなかった場合、処理はステップＳ６０３に進む。それに対して、ステップＳ６０２において無操作の状態が規定の時間に達した場合、処理はステップＳ６１１に進み、携帯端末１０３は、省電力モードに移行する。その後、ステップＳ６０３に進む。

ステップＳ６０３で、省電力モードであるか否かを判定する。ステップＳ６０３において省電力モードでないと判定された場合、ステップＳ６０４に進む。それに対して、ステップＳ６０３において省電力モードであると判定された場合、ステップＳ６１２に進み、プログラムを一時ウエイト状態にさせる。その後、ステップＳ６０４に進む。例えばＣ言語であればsleep()関数をコールすることで、制御スレッドは一時的に中断しＯＳに返す。これにより、携帯端末１０３のＣＰＵの処理負荷を軽減するとともに、デジタルカメラ１０１へのライブビュー画像取得のリクエストに対して休みが発生し、通信負荷も軽減することとなる。ウエイト時間は例えば５００ミリ秒といった固定の時間でも構わないが、無操作時間の検出時間に応じて無操作継続時間が長いほどウエイト時間を長く設定するように可変にする方が、より省電力の効果は高まる。
また、無操作時間を検出する規定の時間については、デジタルカメラ１０１の電池残量、及び／又は携帯端末１０３の電池残量に応じて可変にすることで、状況に応じた省電力制御とすることもできる。同様に、デジタルカメラ１０１の電池残量、及び／又は携帯端末１０３の電池残量に応じてウエイト時間を可変にすることも可能である。

ステップＳ６０４で、デジタルカメラ１０１に対してライブビュー画像取得の要求を出し、デジタル画像を取得する。
ステップＳ６０５で、ステップＳ６０４において取得したデジタル画像をデコードし、リモートライブビュー画面５０１に描画を実施する。
ステップＳ６０６で、リモート撮影終了やライブビュー終了の指示の有無を確認し、終了でなければ再びステップＳ６０１から繰り返す。

以上のような処理により、カメラ操作、又は携帯操作があった場合には、一定時間できる限りのリアルタイムでリモートライブビュー画像の更新が行われるが、カメラ操作、及び携帯操作が規定の時間検出されなかった場合には、自動的にウエイトを挟むことで、画像更新処理を離散的に行うことができる。更新されるタイミングでは、デジタルカメラ１０１の撮像素子７に結像した画像を即時表示するのでタイムラグは変わらないが、被写体の変化を観察するにはコマ落ちが発生することとなるので、動画としてのレスポンスは悪くなる。ただし、撮影者がシャッタチャンスを待って被写体を監視しているという状況下において、この動作で省電力化が図られるメリットは大きい。シャッタチャンスが近づいた場合は、携帯端末１０３のタッチパネル４１０に操作アクションを起こすことで、再び最高パフォーマンスでの描画に直ちに切り替わるので、いざ撮影の際にタイムラグが影響して失敗するといった不具合を発生することは心配いらない。

＜撮影画像の確認＞
以上のようにして撮影された画像は、プレビューエリア５０４にサムネイルで表示されるが、撮影画像を確認する操作について図７を用いて詳細に説明する。
図７は、撮影画像確認の画面の例を示す図である。図５と同じものについては同じ符号で示し、説明を省略する。
図５においてプレビューエリア５０４をタップすることで、図７の撮影画像確認の画面に遷移する。

サムネイルエリア７０３に、撮影画像が時系列にサムネイルで並べられる。図示例では、最後に撮影された画像７０４ｃにフォーカスが当たった状態となっている。携帯端末１０３の液晶表示部４１１は表示エリアが狭いために、図５のリモートライブビュー画面５０１に重ねて、サムネイルエリア７０３で選択された画像の詳細表示画面７０１を設け、選択された画像ファイルをそのままもしくはリサイズしてデジタルカメラ１０１から取得し表示する。サムネイルエリア７０３のサムネイルはフリックによりスクロールができ、タップして画像が選択されたならば、詳細表示画面７０１の画像も選択された画像に切り替わる。詳細表示画面７０１はピンチイン等の操作で画像を拡大表示することもでき、撮影画像を詳細に拡大することができる。
詳細表示画面を閉じるためのボタン７０２を操作すると、撮影画像確認の画面を抜けて、リモートライブビュー画面５０１に戻す。
このように、撮影画像確認の画面に遷移している間はリモートライブビュー画面５０１が裏に隠れてしまうためにライブビュー画像を更新する必要がなくなる。このような撮影画像確認の画面に遷移している間は、デジタルカメラ１０１に対してライブビュー画像取得の要求を減らす、もしくは止めるようにすることで、消費電力を抑えることが可能である。例えば撮影画像確認の画面に遷移している間はステップＳ６１１の電力モードと同等の状態にする等である。この処理において、仮にライブビュー画像取得の要求を止めてしまった場合には、再びリモートライブビュー画面５０１に戻ったときに、過去の画像がライブビュー画像として一時表示されてしまうことがあり、ユーザインターフェイスとして違和感を抱くことがある。したがって、要求を減らす処理の方が望ましい。
なお、撮影画像確認の画面に遷移している間であっても、遠隔用シャッタボタン５０２は有効である。すなわち、遠隔用シャッタボタン５０２が押された場合は撮影を実施して、撮影された画像は直ちにサムネイルエリア７０３に更新され、詳細表示画面７０１に画像が表示される。このようにして撮影画像を確認しながらの撮影にも対応できる。

＜アプリケーションの切り替え着信イベントに関する処理＞
携帯端末１０３上のアプリケーションは、スイッチ４１２の操作により切り替えられることがある。また、携帯端末１０３が無操作である場合、ＯＳが携帯端末１０３をスリープ状態にすることがある。
上述したようなリモートライブビュー撮影中にアプリケーションが切り替えられる、又はスリープ状態にされる場合に対する処理を以下に説明する。
アプリケーションが切り替えられたり、スリープ状態にされたりした場合に、アプリケーションプログラムにはＯＳからバックグランド処理への移行イベントが通知されるようになっている。リモートライブビュー撮影中にバックグランド処理への移行予告イベントが通知された場合には、カメラとの通信を維持するためにバックグランド処理への準備を行う。
この場合、省電力化を優先するのであればデジタルカメラ１０１に対してライブビュー終了を通知するようにしてもよい。又は、スリープからの復帰後もレスポンス良くリモートライブビュー撮影中に復帰することを優先するのであれば、バックグランド処理中はデジタルカメラ１０１に対してライブビュー画像取得の要求を減らす、もしくは止めるようにしてもよい。
バックグランド処理への移行後は、デジタルカメラ１０１に対して通信を維持するために必要最小限の通信制御のみを行う。
バッググラウンド処理は、１０分程度で強制的にレジューム状態にされ、完全にアプリケーションは停止してしまう。アプリケーションはレジューム状態になる前にデジタルカメラ１０１に対してライブビュー終了を通知する。
バックグランドから復帰する場合には、ＯＳから復帰イベントが通知される。ＯＳから復帰イベントを受けてリモートライブビューを再開し、ライブビュー画像取得の要求も元の状態に戻す。このようにして、アプリケーション切り替えや、スリープ状態からの復帰についても、省電力化を図るとともに、快適にリモートライブビュー撮影機能を提供することが可能となる。
なお、リモートライブビュー撮影中に着信が発生した場合にも同様に対応することが可能である。

（第２の実施形態）
次に、図８を参照して、第２の実施形態を説明する。なお、遠隔制御システムの構成は第１の実施形態と同様であり、第１の実施形態と同じ構成要素には同一の符号を付し、その説明は省略する。
図８は、第２の実施形態に係る遠隔制御システムでの表示処理を示すフローチャートである。携帯端末１０３におけるリモートライブビュー描画に関して、リモート撮影に必要なパフォーマンスを保ちつつ、かつ省電力を図るためのフローチャートである。
ステップＳ８０１で、第１の実施形態におけるステップＳ６０１と同様、携帯電話１０３は、カメラ操作又は携帯操作があったか否かを判定する。

ステップＳ８０１においていずれの操作もなかったと判定された場合、処理はステップＳ８０２に進む。それに対して、ステップＳ８０１においていずれかの操作があったと判定された場合、処理はステップＳ８１０に進み、携帯電話１０３は、デジタルカメラ１０１に対してライブビュー画像を標準画質に設定するよう変更指示して、かつ無操作検出するタイマをリセットする。その後、ステップＳ８０２に進む。

ステップＳ８０２で、携帯電話１０３は、第１の実施形態におけるステップＳ６０２と同様、無操作の状態が規定の時間（例えば５秒間）続いているか否かを検出する。ステップＳ８１０において、携帯電話１０３はタイマのリセットが発生しない状態が規定の時間継続したか否かを判定する等の方法で、カメラ操作及び携帯操作が行われないことを検出することができる。

ステップＳ８０２において無操作の状態が規定の時間に達しなかった場合、処理はステップＳ８０４に進む。それに対して、ステップＳ８０２において無操作の状態が規定の時間に達した場合、ステップＳ８１１に進み、携帯電話１０３は、デジタルカメラ１０１に対してライブビュー画像を低品質画質に設定するよう変更指示する。低品質画像とは、携帯端末１０３に送信されるデジタル画像の解像度を落としたり、携帯端末１０３に送信されるデジタル画像の圧縮率を高くしたりすることによってデジタル画像の画像サイズを小さくすることである。説明の便宜上、ステップＳ８１０やステップＳ８１１においてデジタルカメラ１０１に対してリモートライブビュー画質設定コマンドを毎回送信しているようにみえるが、実際にデジタルカメラ１０１に対して画質の変更が発生したときのみにデジタルカメラ１０１に対して発行される。デジタルカメラ１０１は、リモートライブビュー画質設定コマンドを受けると、外部装置出力用のデジタル画像について生成する画像の品質を変更する。その後、ステップＳ８０４に進む。

ステップＳ８０４で、携帯電話１０３は、第１の実施形態におけるステップＳ６０４と同様、デジタルカメラ１０１に対してライブビュー画像取得の要求を出し、デジタル画像を取得する。
ステップＳ８０５で、携帯電話１０３は、第１の実施形態におけるステップＳ６０５と同様、ステップＳ８０４において取得したデジタル画像をデコードし、リモートライブビュー画面５０１に描画を実施する。
ステップＳ８０６で、携帯電話１０３は、第１の実施形態におけるステップＳ６０６と同様、リモート撮影終了やライブビュー終了の指示の有無を確認し、終了でなければ再びステップＳ８０１から繰り返す。

以上のような処理により、カメラ操作、又は携帯操作があった場合には、一定時間できる限りのリアルタイムでリモートライブビュー画像は標準の高画質で更新が行われ、ピントの確認等を行うことができる。一方、カメラ操作、及び携帯操作が規定の時間検出されなかった場合には、自動的に画像の品質を低下させ、無線通信路上のデータ量を減らすことができる。画像解像度が小さくなることで、携帯端末１０３側のデコードに要する負荷も軽減される。
第２の実施形態では、第１の実施形態と比べて、無操作の検出中の被写体の変化を観察することにおいてコマ落ちが発生することはなく、動画としてのレスポンスは変わらないので、被写体のシャッタチャンスを監視するには第１の実施形態よりも優れている。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (19)

1. 撮像装置と通信する通信装置であって、
   前記撮像装置から、前記撮像装置で撮像中の画像を繰り返し受信する受信手段と、
   前記受信手段により受信した画像に基づき、表示手段にライブビュー画像を表示するよう制御する表示制御手段と、
   所定の条件を満たした場合に、省電力状態に移行する移行手段とを有し、
   前記移行手段により前記省電力状態に移行した場合、前記受信手段は、前記撮像装置から前記画像を繰り返し受信する間隔を長くし、
   前記表示制御手段は、前記ライブビュー画像と、前記撮像装置に撮像要求を送信する指示部材を示す画像とを同じ画面上に表示するよう制御することを特徴とする通信装置。
2. 前記所定の条件を満たした場合とは、前記通信装置または前記撮像装置に対して所定期間操作がない場合を含むことを特徴とする請求項１に記載の通信装置。
3. 前記通信装置は前記撮像装置から画像を受信するためのアプリケーションを実行可能であり、
   前記所定の条件を満たした場合とは、前記アプリケーションがバックグランドに移行した場合を含むことを特徴とする請求項１または２に記載の通信装置。
4. 前記アプリケーションがバックグランドに移行してから所定期間が経過した場合、前記ライブビュー画像の表示を終了することを前記撮像装置に通知する通知手段をさらに有することを特徴とする請求項３に記載の通信装置。
5. 前記通信装置は前記撮像装置から画像を受信するためのアプリケーションを実行可能であり、
   前記アプリケーションがバックグランドに移行した場合、前記撮像装置との通信を維持したまま、前記受信手段による画像の受信を停止することを特徴とする請求項１または２に記載の通信装置。
6. 前記移行手段により前記省電力状態に移行した場合に、前記受信手段が前記撮像装置から前記画像を繰り返し受信する間隔は、固定の間隔であることを特徴とする請求項１乃至５のいずれか１項に記載の通信装置。
7. 前記移行手段により前記省電力状態に移行した場合に、前記受信手段が前記撮像装置から前記画像を繰り返し受信する間隔は、前記通信装置に対する操作状態に応じて可変であることを特徴とする請求項１乃至５のいずれか１項に記載の通信装置。
8. 前記移行手段により前記省電力状態に移行した場合に、前記受信手段が前記撮像装置から前記画像を繰り返し受信する間隔は、前記通信装置の電池残量に応じて可変であることを特徴とする請求項１乃至５のいずれか１項に記載の通信装置。
9. 撮像装置と通信する通信装置であって、
   前記撮像装置から、前記撮像装置で撮像中の画像を繰り返し受信する受信手段と、
   前記受信手段により受信した画像に基づき、表示手段にライブビュー画像を表示するよう制御する表示制御手段と、
   所定の条件を満たした場合に、省電力状態に移行する移行手段と、
   前記移行手段により前記省電力状態に移行した場合、前記撮像装置から受信する画像のデータ量を小さくするための指示を前記撮像装置に送信する送信手段とを有し、
   前記表示制御手段は、前記ライブビュー画像と、前記撮像装置に撮像要求を送信する指示部材を示す画像とを同じ画面上に表示するよう制御することを特徴とする通信装置。
10. 前記所定の条件を満たした場合とは、前記通信装置または前記撮像装置に対して所定期間操作がない場合を含むことを特徴とする請求項９に記載の通信装置。
11. 前記画像のデータ量は、解像度を低下させることにより小さくなることを特徴とする請求項９または１０に記載の通信装置。
12. 前記画像のデータ量は、圧縮率を増加させることにより小さくなることを特徴とする請求項９または１０に記載の通信装置。
13. 前記受信手段は、前記撮像要求に基づき前記撮像装置が得た撮像画像を受信し、
    前記表示制御手段は、前記ライブビュー画像に少なくとも一部重畳して前記撮像画像を表示するよう制御することを特徴とする請求項１乃至１２のいずれか１項に記載の通信装置。
14. 前記撮像要求に基づく前記撮像画像の表示中であっても、前記指示部材を示す画像を用いた撮像要求が可能であることを特徴とする請求項１３に記載の通信装置。
15. 前記撮像要求に基づく前記撮像画像の表示中は、前記受信手段による画像の受信を停止することを特徴とする請求項１３または１４に記載の通信装置。
16. 前記撮像要求に基づく前記撮像画像の表示中は、前記受信手段は前記撮像装置からの前記画像を繰り返し受信する間隔を長くすることを特徴とする請求項１３または１４に記載の通信装置。
17. 撮像装置と通信する通信装置の制御方法であって、
    前記撮像装置から、前記撮像装置で撮像中の画像を繰り返し受信する受信ステップと、
    前記受信ステップにより受信した画像に基づき、表示手段にライブビュー画像を表示するよう制御する表示制御ステップと、
    所定の条件を満たした場合に、省電力状態に移行する移行ステップとを有し、
    前記移行ステップにより前記省電力状態に移行した場合、前記受信ステップでは、前記撮像装置から前記画像を繰り返し受信する間隔を長くし、
    前記表示制御ステップでは、前記ライブビュー画像と、前記撮像装置に撮像要求を送信する指示部材を示す画像とを同じ画面上に表示するよう制御することを特徴とする通信装置の制御方法。
18. 撮像装置と通信する通信装置の制御方法であって、
    前記撮像装置から、前記撮像装置で撮像中の画像を繰り返し受信する受信ステップと、
    前記受信ステップにより受信した画像に基づき、表示手段にライブビュー画像を表示するよう制御する表示制御ステップと、
    所定の条件を満たした場合に、省電力状態に移行する移行ステップと、
    前記移行ステップにより前記省電力状態に移行した場合、前記撮像装置から受信する画像のデータ量を小さくするための指示を前記撮像装置に送信する送信ステップとを有し、
    前記表示制御ステップでは、前記ライブビュー画像と、前記撮像装置に撮像要求を送信する指示部材を示す画像とを同じ画面上に表示するよう制御することを特徴とする通信装置の制御方法。
19. 請求項１乃至１６のいずれか１項に記載の通信装置の各手段としてコンピュータを機能させるためのプログラム。

Images