JP6467395B2 - 画像送信装置、画像受信装置、それらの制御方法および画像通信システム - Google Patents

Description

本発明は概して画像送信装置、画像受信装置、それらの制御方法および画像通信システムに関する。

従来、画像送信装置（例えば撮像装置）が有する画像データ（静止画データおよび動画データ）を画像受信装置（例えばスマートフォンやＰＣ）に転送する場合、ＰＴＰ(Picture Transfer Protocol)を用いた通信が用いられている（特許文献１）。

画像受信装置で稼動する画像転送アプリケーションは、画像送信装置が有する画像データのサムネイル画像を取得して一覧表示し、選択されたサムネイル画像に対応する画像データを画像送信装置から取得し、保存および／または表示するのが一般的である。

特開２００７−１４８８０２号公報

画像送信装置から画像受信装置に動画データを転送する場合、転送が完了するまで待たずにストリーミング再生する機能を提供すれば、ユーザの使い勝手が向上するであろう。しかし、画像受信装置で稼動する画像転送アプリケーションにストリーミング再生を実現する機能を実装する場合、画像転送アプリケーションの開発負荷が大きい。特に、画像受信装置で稼動する基本ソフトウェア（ＯＳ）など、画像転送アプリケーションの動作環境が基本的なストリーミング再生の仕組みを用意していない場合、開発負荷はより大きくなる。

本発明はこのような従来技術の課題に鑑み、動画データを受信する画像受信装置で動作する画像転送アプリケーションの開発負荷を軽減することを目的とする。

上述の目的は、通信手段と、通信手段を通じた外部機器との通信を制御する制御手段とを有し、制御手段は、外部機器から、第１のプロトコルに従った、特定の画像データのストリーミングに関する情報の要求に応答して、特定の画像データのストリーミングを第２のプロトコルに従って要求するための情報を、ストリーミングに関する情報として外部機器に送信し、外部機器から受信した、第２のプロトコルに従った、前記ストリーミングに関する情報に基づく特定の画像データのストリーミング要求に応答して、画像データを外部機器にストリーミングする、ことを特徴とする画像送信装置によって達成される。

本発明によれば、動画データを受信する画像受信装置で動作する、画像転送アプリケーションの開発負荷を軽減することができる

本発明の実施形態に係る画像通信システムの模式図 実施形態に係るデジタルカメラ１００の機能構成例および外観例を示す図 実施形態に係るスマートフォン２００の機能構成例を示すブロック図 ＰＴＰ通信のみを用いた場合のストリーミング再生のシーケンス図 実施形態におけるストリーミング再生のシーケンス図 実施形態におけるデジタルカメラ１００の動作を示すフローチャート 実施形態におけるスマートフォン２００の動作を示すフローチャート 実施形態におけるスマートフォン２００の画面の遷移例および表示例を示す模式図

以下、本発明の例示的な実施形態について添付図面に基づいて詳細に説明する。なお、以下の実施形態においては、本発明に係る画像送信装置の一例としてのデジタルカメラと、デジタルカメラと通信可能な画像受信装置の一例としてのスマートフォンとを用いた構成の通信システムに関して説明する。なお、画像送信装置および画像受信装置はデジタルカメラやスマートフォンに限らず、互いに通信可能な任意の電子機器であってよい。このような電子機器にはパーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、ＰＤＡ、ゲーム機、スマートウォッチ、プリンタ、リモートコントローラなどが含まれるが、これらに限定されない。

［第１の実施形態］
＜システム構成図＞
図１は、本発明の実施形態に係る画像通信システムの構成を模式的に示した図である。画像通信システムはデジタルカメラ１００と、スマートフォン２００とを有する。デジタルカメラ１００とスマートフォン２００は、無線接続３０１によって通信可能である。ここでは、無線接続３０１はＩＥＥＥ８０２．１１系列のいわゆる無線ＬＡＮ規格に準拠しているものとする。なお、無線接続３０１はアドホックモードであってもインフラストラクチャモードであってもよく、後者の場合、デジタルカメラ１００とスマートフォン２００はアクセスポイントを通じて通信する。また、無線接続３０１は他の規格に準拠したものであってよく、またデジタルカメラ１００とスマートフォン２００とが有線接続されてもよい。

＜デジタルカメラの構成＞
図２（ａ）は、デジタルカメラ１００の機能構成例を示すブロック図である。
制御部１０１は例えば１つ以上のプログラマブルプロセッサ（以下、便宜上ＭＰＵと呼ぶ）を有する。制御部１０１は、不揮発性メモリ１０３に記憶されたプログラムをＭＰＵで実行し、各部を制御することにより、外部装置との通信を始めとしたデジタルカメラ１００の各種機能を実現する。なお、デジタルカメラ１００の制御は制御部１０１が集中的に行う必要は無く、他の機能ブロックが有するプロセッサと協働して分散的に制御を実行してもよい。

撮像部１０２は、例えば、ズームレンズ、フォーカスレンズ、絞りを有するレンズユニット、レンズユニットの動作を制御するコントローラ（例えばＭＰＵ）、撮像素子などを有する。撮像素子は、レンズユニットが形成する光学像を電気信号（画素信号）群に変換する光電変換デバイスであり、一般にはＣＭＯＳ(Complementary Metal Oxide Semiconductor)もしくはＣＣＤ(Charge Coupled Device)イメージセンサである。撮像部１０２はまた、Ａ／Ｄ変換やノイズ低減処理などを実行するための信号処理回路を有し、デジタル形式の画素信号群（画像データ）を出力する。画像データは一般的なデジタルカメラと同様に処理され、例えばメモリカードである記録媒体１１０に画像データファイルの形式で記録されたり、表示部１０６に表示されたり、外部装置に出力されたりする。なお、デジタルカメラ１００は、ＤＣＦ(Design Rule for Camera File System)規格に従って画像データを記録媒体１１０に記録する。

不揮発性メモリ１０３は例えば電気的に消去・記録可能であり、制御部１０１で実行するプログラム、ＧＵＩデータ、各種の設定値、外部装置の登録情報（識別情報および通信用の暗号鍵など）などを格納する。

作業用メモリ１０４は、撮像部１０２で撮像された画像データを一時的に保持するバッファメモリや、表示部１０６の表示用メモリ(VRAM)、制御部１０１がプログラムを実行する際の作業領域などに用いられる。

操作部１０５は、デジタルカメラ１００に対してユーザが指示を入力するための入力デバイス群である。操作部１０５には例えば、デジタルカメラ１００の電源ＯＮ／ＯＦＦを指示するための電源ボタン、撮影準備開始および撮影開始を指示するためのレリーズスイッチ、画像データの再生（表示）を指示するための再生ボタンを含む。通信部１１１を介した外部装置との通信を開始するための接続ボタンを含んでもよい。

なお、レリーズスイッチは、半押し状態でＯＮするＳＷ１と、全押し状態でＯＮするＳＷ２との２つのスイッチを有する。ＳＷ１のＯＮは撮影準備開始指示、ＳＷ２のＯＮは撮影開始指示である。撮影準備開始指示が検出されると、制御部１０１はＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の撮影準備を開始させる。また、撮影開始指示が検出されると制御部１０１は撮影準備で実施された処理結果を用いて記録用の撮影処理を開始させる。

表示部１０６は、ライブビュー画像や記録済み画像の表示や、対話的な操作のための画面の表示などを行う。なお、表示部１０６はデジタルカメラ１００の外部表示装置であってもよい。表示部１０６がタッチディスプレイの場合、表示部１０６が備えるタッチパネルは操作部１０５に含まれる。

ＲＴＣ(Real Time Clock)１０７は、内蔵時計であり、日時を管理する。日時の設定はユーザが行ってもよいし、通信部１１１を通じてＮＴＰサーバなどの外部装置から取得したり、ＧＰＳ信号などの電波を受信したりして自動で行われてもよい。

記録媒体１１０は例えば半導体メモリであり、デジタルカメラ１００から取り外し可能であってもなくてもよい。記録媒体１１０には、撮像部１０２から出力された画像データに基づく画像ファイルが記録される。

通信部１１１は、デジタルカメラ１００と外部装置との通信インタフェースであり、本実施形態ではＩＥＥＥ８０２．１１ｘの規格に従った、いわゆる無線ＬＡＮインタフェースであるものとする。従って通信部１１１は例えばアンテナ、変復調回路、通信コントローラを有する。なお、通信部１１１は１つ以上の任意の無線通信規格に準拠していればよく、近接無線通信、近距離無線通信、赤外線通信など、他の無線通信方式の規格に準拠したものであってよい。デジタルカメラ１００は、例えば、撮像部１０２で得られた画像データや、記録媒体１１０に記録された画像データを、通信部１１１を介して外部装置に送信することができる。なお、通信部１１１は外部装置と通信部１１１による外部装置との通信は、制御部１０１の制御に従って実行される。なお、通信部１１１は他の規格に準拠した無線通信インタフェースであってもよいし、代わりに、あるいはさらに有線通信インタフェースを有してもよい。

デジタルカメラ１００は、アドホックモードもしくはインフラストラクチャモードで外部装置と通信可能である。インフラストラクチャモードで通信する場合、デジタルカメラ１００はスレーブ装置として周辺のアクセスポイント（ＡＰ）に接続することで、そのＡＰが形成するネットワークに参加することができる。また、デジタルカメラ１００は、機能が限定された簡易的なＡＰ（簡易ＡＰ）としても動作可能であり、デジタルカメラ１００の周辺の装置は、デジタルカメラ１００をＡＰと認識し、デジタルカメラ１００が形成しているネットワークに参加できる。なお、簡易ＡＰは、スレーブ装置から受信したデータをインターネットプロバイダなどに転送するゲートウェイ機能を有さない。従って、簡易ＡＰとして動作するデジタルカメラ１００は、自身が形成したネットワークに参加している他の装置から受信したデータを、他のネットワークに転送することはできない。制御部１０１は不揮発性メモリ１０３に保持されたプログラムを実行することにより、デジタルカメラ１００をアドホックモードもしくはインフラストラクチャモードで動作させる。なお、アドホックモードで動作するか、インフラストラクチャモードでスレーブ装置あるいは簡易ＡＰとして動作するかは、予め設定されているものとする。

図２（ｂ）および（ｃ）はデジタルカメラ１００の外観例を模式的に示す斜視図である。レリーズスイッチ１０５ａや再生ボタン１０５ｂ、方向キー１０５ｃ、タッチパネル１０５ｄは、操作部１０５に含まれる操作部材の例である。

＜スマートフォンの構成＞
図３は、デジタルカメラ１００と通信する外部装置の一例としてのスマートフォン２００の機能構成例を示すブロック図である。
制御部２０１は例えば１つ以上のプログラマブルプロセッサ（以下、便宜上ＭＰＵと呼ぶ）を有する。制御部２０１は、不揮発性メモリ２０３に記憶されたプログラムをＭＰＵで実行し、各部を制御することにより、デジタルカメラ１００をはじめとした外部装置との通信を始めとしたスマートフォン２００の各種機能を実現する。なお、スマートフォン２００の制御は制御部２０１が集中的に行う必要は無く、他の機能ブロックが有するプロセッサと協働して分散的に制御を実行してもよい。

撮像部２０２は、例えば、フォーカスレンズおよび絞りを有するレンズユニット、レンズユニットの動作を制御するコントローラ（例えばＭＰＵ）、撮像素子などを有する。撮像部２０２はまた、Ａ／Ｄ変換やノイズ低減処理などを実行するための信号処理回路を有し、デジタル形式の画素信号群（画像データ）を出力する。画像データは制御部２０１によって一般的なデジタルカメラと同様に処理され、例えばメモリカードである記録媒体２１０に画像データファイルの形式で記録されたり、表示部２０６に表示されたり、外部装置に出力されたりする。

不揮発性メモリ２０３は、制御部２０１で実行するプログラム（ＯＳ（オペレーティングシステム）や、ＯＳ上で稼働するアプリケーションプログラム（以下、アプリケーション）など）を格納する。不揮発性メモリ２０３はまた、ＧＵＩデータ、各種の設定値、通信相手として登録済みの外部装置に関する情報（識別情報および通信用の暗号鍵など）なども格納する。本実施形態において、スマートフォン２００とデジタルカメラ１００との通信は、不揮発性メモリ２０３にインストールされた画像転送アプリケーションを通じて実現される。なお、画像転送アプリケーションはＯＳの機能を利用するためのプログラムを有しているものとする。なお、ＯＳが本実施形態に関する処理を実現するためのプログラムを有していてもよい。

作業用メモリ２０４は、表示部２０６の表示用メモリ(VRAM)、制御部２０１がＯＳやアプリケーションを実行する際の作業領域などに用いられる。

操作部２０５は、スマートフォン２００に対してユーザが指示を入力するための入力デバイス群である。操作部２０５は例えば、スマートフォン２００の電源オン／オフを指示するための電源ボタンや表示部２０６が備えるタッチパネルなどを含む。この他、音量調整ボタンやシャッターボタンなどが含まれてもよい。なお、操作部２０５には例えば虹彩センサや指紋センサなど、認証用の入力デバイスが含まれてもよい。

表示部２０６はタッチディスプレイであり、ＯＳが提供するＧＵＩ画面や、各種のアプリケーションが提供する各種の情報を表示する。
ＲＴＣ(Real Time Clock)２０７は、内蔵時計であり、日時を管理する。日時の設定はユーザが行ってもよいし、通信部２１１を通じてＮＴＰサーバなどの外部装置から取得したり、ＧＰＳ信号などの電波を受信したりして自動で行われてもよい。

記録媒体２１０は例えば半導体メモリであり、スマートフォン２００から取り外し可能であってもなくてもよい。記録媒体２１０には、アプリケーションが用いるデータや、撮像部２０２で撮影した静止画および動画データ、外部装置から受信したデータなどを記録することができる。

通信部２１１は、スマートフォン２００と外部装置との通信インタフェースであり、本実施形態ではＩＥＥＥ８０２．１１ｘの規格に従った、いわゆる無線ＬＡＮインタフェースであるものとする。従って通信部２１１は例えばアンテナ、変復調回路、通信コントローラを有する。なお、通信部２１１は１つ以上の任意の無線通信規格に準拠していればよく、近接無線通信、近距離無線通信、赤外線通信など、他の無線通信方式の規格に準拠したものであってよい。スマートフォン２００は、例えば、撮像部２０２で得られた画像データや、記録媒体２１０に記録された画像データを、通信部２１１を介して外部装置に送信することができる。なお、通信部２１１は外部装置と通信部２１１による外部装置との通信は、制御部２０１の制御に従って実行される。なお、通信部２１１は他の規格に準拠した無線通信インタフェースであってもよいし、代わりに、あるいはさらに有線通信インタフェースを有してもよい。なお、本実施形態におけるスマートフォン２００は、少なくともインフラストラクチャモードにおけるスレーブ装置として動作可能であり、周辺のＡＰが形成するネットワークに参加できる。

スマートフォン２００は、アドホックモードもしくはインフラストラクチャモードで外部装置と通信可能である。インフラストラクチャモードで通信する場合、スマートフォン２００はスレーブ装置として周辺のアクセスポイント（ＡＰ）に接続することで、そのＡＰが形成するネットワークに参加することができる。制御部２０１は不揮発性メモリ２０３に保持されたプログラムを実行することにより、スマートフォン２００をアドホックモードもしくはインフラストラクチャモードで動作させる。なお、アドホックモードで動作するか、インフラストラクチャモードで動作するかは、予め設定されているものとする。

公衆網接続部２１３は公衆無線通信網との接続を行う通信インタフェースである。公衆網接続部２１３は３Ｇ、４Ｇなどをはじめとする１つ以上の規格に準拠したものであってよい。スマートフォン２００は、公衆網接続部２１３を介して公衆網上の機器との通話機能を提供する。通話中、制御部２０１はマイク２１４から入力された音声を公衆網接続部２１３に出力し、公衆網接続部２１３から受信した音声信号をスピーカ２１５から出力する。なお、通信部２１１と公衆網接続部２１３は一つのアンテナを共用してもよい。

＜動作の概要＞
実施形態の動作を説明する前に、デジタルカメラ１００に記憶されている動画データを、第１のプロトコルとしてのＰＴＰを用いてストリーミング再生するためのスマートフォン２００の動作について、図４のシーケンス図を用いて説明する。なお、本明細書において「ストリーミング再生」とは、動画データを最後までダウンロードし終わる前に再生を開始することを意味し、リアルタイムストリーミング再生だけでなく、プログレッシブダウンロード（疑似ストリーミング再生）を含む。

ここでは、デジタルカメラ１００（通信部１１１）とスマートフォン２００（通信部２１１）との間で無線ＬＡＮ接続が確立され、デジタルカメラ１００に記憶されているｍｐ４形式の動画データのストリーミング再生をＰＴＰ通信だけで実現するものとする。なお、以下の説明において、制御部２０１の動作は、スマートフォン２００の制御部２０１が、不揮発性メモリ２０３に保存されたアプリケーションを実行することによって実現される。また、無線ＬＡＮ接続上でＰＴＰ通信のセッションが確立しているものとする。

Ｓ４０１で、スマートフォン２００の制御部２０１が通信部２１１を介して、デジタルカメラ１００から、ストリーミング可能なファイル形式（例えば、ファイル拡張子）のリストを取得し、作業用メモリ２０４に格納する。制御部２０１はさらに、デジタルカメラ１００に保存された画像ファイルの（一部または全部の）一覧を取得し、表示部２０６に選択可能に表示する。なお、ＰＴＰの仕様として、画像ファイルのそれぞれにはオブジェクトハンドルという画像ファイルを一意に特定する識別子が割り振られている。スマートフォン２００の制御部２０１からファイルの送信などをデジタルカメラ１００に要求する場合は、対応するコマンドとともに対象となるファイルのオブジェクトハンドルを通知する。

シーケンスポイント４５１で制御部２０１は、ストリーミング再生する動画データのファイル種別に応じて、データの取得順序を決定する。なお、再生する動画データは表示部２０６に表示中の画像ファイルの一覧から、ユーザが操作部２０５を通じて指定したものであってよい。

Ｓ４０２で制御部２０１は、スマートフォン２００でストリーミング再生を実施するにあたり、シーケンスポイント４５１で決定した取得順序に応じたヘッダデータを通信部２１１を介してデジタルカメラ１００から取得する。
Ｓ４０３で制御部２０１は、通信部２１１を介して、フッタデータを取得する。

Ｓ４０４は、ストリーミング再生する動画データを繰り返し受信するため、制御部２０１が、通信部２１１を介してデジタルカメラ１００に繰り返し要求を送信することを模式的に示している。
シーケンスポイント４５２で制御部２０１は、再生する動画データのサイズなどに応じた容量のバッファを、作業用メモリ２０４の一部領域に確保する。

Ｓ４０５で制御部２０１は、表示部２０６に、動画データの取得状況を例えばプログレスバーなどのＵＩを用いて表示しつつ、受信したデータをバッファに順次格納する。なお、制御部２０１は取得状況に関する情報も作業用メモリ２０４に保存する。
Ｓ４０６で制御部２０１は、バッファに格納したデータ量から再生可能な時間を表示部２０６に表示する。これは、バッファの変化に応じて繰り返し実施される。

シーケンスポイント４５３から制御部２０１は、バッファに格納されているデータ量を監視し、ストリーミング再生を開始可能か否かを判定を繰り返し行う。制御部２０１は、バッファ全体の容量と、動画データの１フレームあたりのサイズ（画素数）などに応じた条件（例えば所定のバッファ占有率）を満たした場合にストリーミング再生の開始が可能と判断し、例えば再生開始を指示するためのＵＩを有効にする。

Ｓ４０７で、再生開始指示が例えば操作部２０５を通じて制御部２０１へ入力されたとする。制御部２０１は、この時点でストリーミング再生が可能と判断されていれば、Ｓ４０８でバッファから動画データを読み出す。一方、ストリーミング再生が可能と判断されていない場合、制御部２０１は例えば再生開始指示を無視する。

シーケンスポイント４５４で制御部２０１は、バッファから読み出された動画データのデコードおよび表示部２０６への表示を開始する。以後、制御部２０１はＳ４０８の読み出しと、シーケンスポイント４５４でのデコード、表示を繰り返す。

なお、ストリーミング再生中、表示部２０６に表示しているＵＩを通じて再生停止、早送り、巻き戻しなどの指示が入力された場合、制御部２０１は必要な処理を実行する。また、制御部２０１は、ストリーミング再生中、再生の進行もしくは巻き戻しに応じてプログレスバー表示を更新する。

以上が、ＰＴＰを用いたストリーミング再生のシーケンスである。このように、ＰＴＰを用いてストリーミング再生を実現することは可能ではある。しかし、ＰＴＰは一般的なＯＳやアプリケーション（例えばウェブブラウザ）ではサポートされていない。そのため、ストリーミングデータをサポートしないＯＳなどでストリーミング再生を実現するための動作、具体的には上述した各シーケンスポイントでの制御部２０１の動作は、スマートフォン２００で稼働するＰＴＰ通信アプリケーション上に実装する必要がある。従って、例えばＨＴＴＰ(Hypertext Transfer Protocol)ストリーミングのような、一般的なＯＳやウェブブラウザでサポートされている機能を利用してストリーミング再生できる場合と比較して、ＰＴＰ通信アプリケーションの開発負荷が大きい。なお、ここで、第２のプロトコルとしてのＨＴＴＰ（ＨＴＴＰＳを含む）は、ＯＳなどが動画データのストリーミングをサポートする汎用のストリーミングプロトコルの一例である。

そのため、本実施形態では、ＰＴＰ通信アプリケーションから、スマートフォン２００で稼働するＯＳがサポートする機能（ＨＴＴＰでのストリーミング機能）を利用してストリーミング再生を行うことで、ＰＴＰ通信アプリケーションの開発負荷を軽減する。具体的な動作について、図５〜図８を用いて説明する。

図５に示すシーケンス図は、本実施形態に係る方法を用いて、デジタルカメラ１００に保存されている動画データをスマートフォン２００でストリーミング再生する場合のデジタルカメラ１００およびスマートフォン２００の動作の概略を示している。デジタルカメラ１００はストリーミングサーバ（ＨＴＴＰサーバを含む）の機能を有する。

Ｓ５０１で制御部２０１は、通信部２１１を介して、デジタルカメラ１００から、ストリーミング可能なファイル形式のリストをＰＴＰ通信によって取得し、作業用メモリ２０４に格納する。制御部２０１はさらに、デジタルカメラ１００に保存された画像ファイルの（一部または全部の）一覧を取得し、表示部２０６に選択可能に表示する。この動作はＳ４０１と同様である。

Ｓ５０２で制御部２０１（ＰＴＰ通信アプリケーション）が、表示部２０６に表示中の画像ファイルの一覧から、ある動画ファイルについて、操作部２０５を通じてストリーミングでの再生開始指示を受信したとする。

Ｓ５０３，Ｓ５０４で制御部２０１（ＰＴＰ通信アプリケーション）は、再生開始が指示された動画ファイルのストリーミングに関するストリーミング情報の取得要求を、通信部２１１を介したＰＴＰ通信でデジタルカメラ１００に送信する。なお、この取得要求には、再生開始が指示された動画ファイルのオブジェクトハンドルが対応付けられている。ストリーミング情報の例としては、例えば特定のＵＲＬ(Uniform Resource Locator)や、ストリーミングすべき動画のセグメントを列挙したプレイリストなど、デジタルカメラ１００にストリーミングを行わせるための情報があげられる。この、動画ファイルを特定する情報の取得要求およびその応答動作は、ＰＴＰの拡張として導入する。制御部２０１は、デジタルカメラ１００から取得したＵＲＬを作業用メモリ２０４に格納する。

Ｓ５０５で制御部２０１（ＰＴＰ通信アプリケーション）は、スマートフォン２００のＯＳが有するストリーミング再生機能を用いるために、取得した情報をＯＳに引き渡す。

Ｓ５０６で制御部２０１は、ＯＳに実装されているＨＴＴＰクライアントの機能を用いて、ＯＳに引き渡されたＵＲＬに基づきデジタルカメラ１００のストリーミングサーバ（ここではＨＴＴＰサーバ）にストリーミング要求を送信する。これに応答してデジタルカメラ１００からストリーミングデータが送信されてくる。

Ｓ５０７で制御部２０１（ＯＳ）は、受信したストリームデータを作業用メモリ２０４の一部領域であるバッファに格納し始める。バッファの確保やストリームデータの格納はＯＳに実装された機能により実現される。

Ｓ５０８で制御部２０１（ＯＳ）は、再生可能なタイミングになったと判定された時点からストリームデータのデコードおよび表示を開始する。タイミング判定およびデコード、動画を表示するためのＧＵＩについてもＯＳに実装された機能により実現される。なお、動画を表示するＧＵＩは、通信アプリケーションの画面内にＯＳの機能を用いて表示されるようにしてもよいし、別途再生用のアプリケーションが起動されるようにしてもよい。以後、動画データが最後まで再生されるか、中断指示が入力されるまで、制御部２０１（ＯＳ）はＳ５０７およびＳ５０８の動作を繰り返し実行する。

このように、スマートフォン２００（再生側機器）とデジタルカメラ１００（出力側機器）との間でＰＴＰ通信により再生対象の動画ファイルを特定する情報（ＵＲＬやプレイリスト）を取得できるようにＰＴＰを拡張する。また、デジタルカメラ１００（出力側機器）では動画データをＵＲＬやプレイリストなど、再生側機器が再生を要求する際に用いる情報（ストリーミング情報）と対応付けて管理するとともにサーバ機能を実装する。これにより、ＯＳがＰＴＰによるストリーミング再生をサポートしていない場合でも、ＯＳの機能を利用したストリーミング再生が可能になり、ＰＴＰ通信アプリケーションに実装すべき機能を削減することができる。なお、ストリーミング情報は規則的に生成可能であるため、個々の画像ファイルに対して予め用意しておく必要は無い。

次に、図５で説明したスマートフォン２００およびデジタルカメラ１００の動作について、図５に加えて図６〜図９を用いてさらに具体的に説明する。図６はスマートフォン２００（制御部２０１）の動作に関するフローチャート、図７はデジタルカメラ１００（制御部１０１）の動作に関するフローチャートである。また、図８〜図９はスマートフォン２００で稼働するＰＴＰ通信アプリケーションの画面表示に関する図である。

まず、デジタルカメラ１００と、スマートフォン２００との間で無線接続（ここでは無線ＬＡＮ接続）を確立する（Ｓ６０２，Ｓ７０１）。両者はどのような手順で無線接続を確立するかは特に限定されない。例えば、デジタルカメラ１００が外部機器との通信を行うモードに設定されると通信部１１１が簡易ＡＰとして動作を開始する。そして、スマートフォン２００でＰＴＰ通信アプリケーションとしての画像転送アプリケーションを起動すると、スマートフォン２００からデジタルカメラ１００が形成するネットワークに参加することで、無線接続が確立されてよい。あるいは、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）といった近距離無線通信を用いて無線ＬＡＮ接続のための情報を受け渡す、いわゆる無線ＬＡＮへのハンドオーバにより、自動的に無線ＬＡＮ接続が確立されてもよい。画像転送アプリケーションが起動されると、制御部２０１は例えば図８（ａ）に示すようなトップ画面８１０を表示部２０６に表示させる。

Ｓ６０３で、制御部２０１（画像転送アプリケーション（以下、単にアプリケーションという））が通信部２１１を介して、デジタルカメラ１００の通信部１１１に対して、ＰＴＰ通信の開始要求(OpenSession)を送信する。これに対し、制御部１０１は、通信部１１１を介して通信部２１１に開始応答を送信し（Ｓ７０２）、ＰＴＰセッションが確立する。実際にはＰＴＰ通信の開始要求以前にデジタルカメラ１００の情報要求(GetDeviceInfo)を制御部２０１からデジタルカメラ１００に送信し、制御部１０１は機器情報(DeviceInfo Dataset)を応答する。なお、以下では、ＰＴＰセッションにおいて必要であるが、実施形態の動作に直接関連しない通信に関しては説明を省略する。

Ｓ６０４で制御部２０１（アプリケーション）は、通信部２１１を介して、デジタルカメラ１００の通信部１１１に対して、ＰＴＰ通信でストリーミング再生に対応するファイル種別のリストを要求する。これに対し制御部１０１は、不揮発性メモリ２０３に格納している、ストリーミング再生に対応したファイル種別のリストを読み出し、通信部１１１を介して通信部２１１へ送信する（Ｓ７０３）。ファイル種別のリストは、例えばファイル拡張子のリストであってよいが、より詳細な情報を含んでいてもよい。制御部２０１は受信したリストを作業用メモリ２０４に格納する。

なお、デジタルカメラ１００の制御部１０１は、ＰＴＰセッションが確立すると、ストリーミング再生用のサーバ機能（例えばＨＴＴＰサーバ）を有効とし、ストリーミング用のポートをlistenする状態にする（Ｓ７０４）。これにより、いつでもストリーミング再生の要求を受けつけることができるようになる。ここでは便宜上、ストリーミング再生に対応したファイル種別のリストをスマートフォン２００に送信した直後に実行するように記載しているが、スマートフォン２００からストリーミング要求を受信するまでの任意のタイミングで実行することができる。

Ｓ６０５で制御部２０１（アプリケーション）は通信部２１１を介して、デジタルカメラ１００の通信部１１１に対して、デジタルカメラ１００の記録媒体１１０に格納されているデータファイルの情報の要求を送信する。具体的には、制御部２０１は、ハンドルリストの要求(GetObjectHandles)を送信する。ＰＴＰでは記録媒体中の画像ファイルをＤＣＦファイルシステムに従って管理しており、前述したように個々のディレクトリおよび画像ファイルに固有のオブジェクトハンドルを割り当てている。制御部１０１は、ハンドルリストの要求を受信すると、オブジェクトハンドルのリスト(ObjectHandleArray)を通信部１１１を介してスマートフォン２００に送信する（Ｓ７０６）。

制御部２０１はハンドルリストを取得することで、デジタルカメラ１００の記録媒体１１０の特定の画像ファイルに対する操作を要求することが可能になる。また、Ｓ６０４で取得した、ストリーミングに対応するファイル種別の情報とハンドルリストとから、動画ファイルのうちストリーミング再生を受け付けるものと受け付けないものを判別することができる。制御部２０１は取得したハンドルリストを作業用メモリ２０４に格納する。

Ｓ６０６〜Ｓ６１０は、制御部２０１（アプリケーション）が、記録媒体１１０に存在する画像ファイルの各々についてのサムネイルをデジタルカメラ１００から取得し、表示部２０６に選択可能に表示する処理である。例えば図８（ａ）のトップ画面において「カメラ内の画像一覧」アイコン８１１が操作（例えばタップ）されたことに応答して実行される。アイコン８１１が操作されると、制御部２０１はアプリケーションの画面を一覧表示画面８２０（図８（ｂ））に切り替える。

Ｓ６０６で制御部２０１（アプリケーション）はハンドルリストを参照し、１つの画像ファイルについて、対応するオブジェクトハンドルを指定して、ファイル情報とサムネイルとをデジタルカメラ１００から取得する。実際には、制御部２０１はファイルの情報の要求(GetObjectInfo)と、サムネイルの要求(GetThumb)とを別個にデジタルカメラ１００に送信する。これに対し、制御部１０１は個々の要求に対し、要求された情報(ObjectInfoおよびThumbnailObject)でそれぞれ応答する（Ｓ７０７）。サムネイルは記録媒体１１０に格納されている画像ファイルに記録されているものを読み出すか、画像ファイルから制御部１０１が生成する。

Ｓ６０７で制御部２０１（アプリケーション）は、取得したサムネイル７２１をアプリケーションの一覧表示画面８２０に表示する。
Ｓ６０８で制御部２０１（アプリケーション）は、Ｓ６０７で表示したサムネイルが、ストリーミング再生に対応するファイル形式の動画データに対応するか否かを判定し、対応すると判定されればＳ６０９へ、判定されなければＳ６１０へ処理を進める。具体的には、制御部２０１は、サムネイルに対応する画像ファイルが、Ｓ６０４で取得したストリーミングに対応するファイル形式に該当すれば、Ｓ６０９へ処理を進め、該当しなければＳ６１０に処理を進める。

Ｓ６０９で制御部２０１（アプリケーション）は、表示したサムネイルに対応付けて、プレビュー再生の指示を与えるためのＧＵＩパーツ（例えば再生アイコン）８２２を表示する（図８（ｂ））。なお、再生指示用のＧＵＩパーツとは別に、プレビュー再生可能な動画ファイルであることを示す表示（マーク、アイコンなど）８２１をサムネイルに対応付けて表示してもよい。ここで、「サムネイルに対応付けて表示」とは、サムネイルと少なくとも一部が重畳する様に表示することだけでなく、サムネイルの近隣に表示することも含む。また、対応関係を示す表示（例えばサムネイルと接続された線など）が別途含まれてもよい。

なお、一覧表示画面８２０で選択アイコン８２３が操作されずにサムネイル（再生アイコン部分を除く）が操作されると、制御部２０１は操作されたサムネイルだけを拡大表示する単一表示画面（図８（ｃ）または（ｄ））に切り替える。なお、制御部２０１は、操作されたサムネイルがプレビュー再生可能な動画ファイルに対応している場合には再生指示用のＧＵＩパーツである再生アイコン８３１が含まれた単一表示画面（図８（ｃ））に切り替える。また、制御部２０１は、操作されたサムネイルがプレビュー再生不能な動画ファイルもしくは静止画ファイルに対応している場合には再生アイコン８３１を含まない単一表示画面（図８（ｄ））に切り替える。一覧表示画面８２０に含まれる選択アイコン８２３が操作されると、サムネイルの操作は選択操作と見なされ、複数のサムネイルの選択が可能になる。例えば一定時間操作されないと、制御部２０１は、その時点で選択されているサムネイルに対応する画像ファイルのダウンロード画面（図８（ｅ））に切り替える。

単一表示画面にはダウンロードアイコン８３３、８４２と、表示されるサムネイルが動画ファイルに対応する場合には動画のサイズや形式を示すアイコン８３２、８４１が含まれる。ダウンロードアイコン８３３または８４２が操作されると制御部２０１は、対応する画像ファイルの取得要求(GetObject)を、通信部２１１を介してデジタルカメラ１００に送信し、表示をダウンロード画面８５０（図８（ｅ））に切り替える。制御部１０１は要求された画像ファイルを通信部１１１を介してスマートフォン２００に送信する。制御部２０１は受信した画像ファイルを記録媒体２１０に記録しつつ、ダウンロード画面８５０にダウンロードの進捗を表示する。

Ｓ６１０で制御部２０１（アプリケーション）は、作業用メモリ２０４に格納しているハンドルリストに含まれる画像ファイルのうち、サムネイルを表示すべきものが残っているか否か判定し、残っていると判定されれば処理をＳ６０６に戻す。制御部２０１は、サムネイルを表示すべき画像ファイルが残っていると判定されなければ処理をＳ６１１に進める。

スマートフォン２００の制御部２０１は、指示の入力を待機し（Ｓ６１１，Ｓ６１５）、プレビュー再生指示が入力された場合には処理をＳ６１２へ進め、他の指示が入力された場合には指示に応じた処理を実行し（Ｓ６１６）、処理をＳ６１１に戻す。プレビュー再生指示の入力は、一覧表示画面８２０（図８（ｂ））もしくは単一表示画面８３０（図８（ｃ））に含まれる再生アイコン８２２、８３１に対する操作であってよい。なお、プレビュー再生指示は必ずしもユーザ操作を必要とせず、アプリケーションやスマートフォン２００内部のイベントなどに応じて生成されてもよい。

Ｓ６１２で制御部２０１（アプリケーション）は、プレビュー再生指示されたサムネイルに対応する画像ファイルのオブジェクトハンドルを指定したストリーミング情報要求を、通信部２１１を介してデジタルカメラ１００に送信する。この要求は例えばＰＴＰのユーザ拡張命令(Vendor-Extended Operation Code)として規定することができる。

デジタルカメラ１００の制御部１０１は、要求の受信を待機し（Ｓ７０８，Ｓ７１２）、ストリーミング情報の要求を受信した場合には処理をＳ７０９へ進め、他の要求を受信した場合には要求に応じた処理を実行し（Ｓ７１３）、処理をＳ７０８に戻す。

Ｓ７０９で制御部１０１は、要求に指定されたオブジェクトハンドルに対応する画像ファイルに対応するストリーミング情報を生成もしくは記録媒体１１０から読み出す。そして、制御部１０１は、ストリーミング情報を通信部１１１を介してスマートフォン２００に送信する。ここで、ストリーミング情報は、デジタルカメラ１００で稼働しているストリーミングサーバに対して、画像ファイルのストリーミングを要求するために用いる情報であり、ストリーミングに用いるプロトコルに応じて異なる形式を取りうる。例えばＨＬＳ(HTTP Live Streaming)を用いる場合にはm3u8形式のインデックスファイル（プレイリスト）のＵＲＬであり、ＨＴＭＬ５を用いる場合には動画ファイルのＵＲＬである。なお、ストリーミング情報はＵＲＬに限らず、スマートフォン２００のＯＳがサポートするストリーミング再生機能に対応した形式であればよい。

なお、スマートフォン２００側（アプリケーション）で、ストリーミング情報の生成規則およびサーバのＩＰアドレスなどが分かっている場合には、Ｓ６１２でストリーミング情報要求を送信する代わりに制御部２０１がストリーミング情報を生成してもよい。制御部２０１（アプリケーション）は、デジタルカメラ１００から受信した（あるいは自身が生成した）ストリーミング情報を作業用メモリ２０４に格納する。

Ｓ６１３で制御部２０１（アプリケーション）は、プレビュー再生指示された動画ファイルのストリーミング再生をＯＳの機能を用いて実行するため、Ｓ６１２で取得したストリーミング情報をＯＳに引き渡す。

制御部２０１（ＯＳのストリーミングクライアント）は、ＰＴＰ通信アプリケーションからストリーミング再生するＵＲＬを通知されると、通信部２１１を介してデジタルカメラ１００のサーバに対して、ストリーミング要求を送信する。ストリーミングクライアントは、指定されたファイルのダウンロード、バッファリング、再生可能なタイミングの決定、デコードなどを実行する。

制御部１０１（ストリーミングサーバ）は、ストリーミング用のポートをlistenしており（Ｓ７１０）、ストリーミング要求を受信するとＳ７１１に、受信していなければＳ７１２に処理を進める。なお、上述の通りＵＲＬはスマートフォン２００が生成する場合もあるので、ここで受信する要求のＵＲＬがＳ７０９で送信したＵＲＬとは限らない。

Ｓ７１１で制御部１０１（ストリーミングサーバ）は、通信部１１１を介して、ストリーミング用のポートに対して、記録媒体１１０に格納されている画像データのセグメントを、スマートフォン２００の制御部２０１からの要求に従う順番で送信する。

Ｓ６１４で制御部２０１（ＯＳのストリーミングクライアント）は、通信部２１１を介して受信した画像データセグメントに基づいて、ストリーミング再生を行う。図８（ｆ）は、ＨＴＴＰクライアントアプリケーションのストリーミング再生画面の例を示す。再生／停止、早送り、巻き戻しなどを指示するためのＧＵＩパーツ８６１を有する。なお、前述したように、ストリーミングを再生するＧＵＩは、ＰＴＰ通信アプリケーションが指定したアプリケーションＧＵＩ内の所定領域に表示されるようにしてもよいし、再生用のアプリケーションが別途起動されるようにしてもよい。

制御部２０１（ＯＳのストリーミングクライアント）は、ストリーミング再生を行いながら、Ｓ６１５以降の処理を実行し、ユーザからの指示があれば指示に応じた動作を実行する。

なお、ＰＴＰ通信の開始要求への応答（Ｓ７０２）の前に、ストリーミング情報を送信する（Ｓ７０９）ような実装も可能であるが、セキュリティの観点からそのような実装は行わないように不揮発性メモリ１０３に規定しておくことができる。また、ストリーミング再生中にＰＴＰのセッションが切断されたり、無線接続が切断された場合には、ストリーミング再生も中止させる。

図９に、上述した図８（ａ）〜（ｆ）の画面の遷移例を示す。なお、ここで示す画面遷移は単なる一例であり、図示した遷移関係に限定されない。
なお、Ｓ６１６、Ｓ７１３の処理の具体的な例としては、図８（ｂ）の画面で静止画ファイルを示すアイコンが選択された場合があげられる。この場合、制御部２０１（アプリケーション）は、ＰＴＰのオブジェクト取得要求（GetObject）をデジタルカメラ１００に送信し、静止画ファイルを取得する。これはファイル送信の形で動画ファイルを取得する場合も同様である。つまり、本実施形態では、ストリーミング再生の場合はＨＴＴＰを用いるが、ファイル転送にはＰＴＰを用いる。

このように、本実施形態によれば、スマートフォン２００のユーザは、デジタルカメラ１００が有する画像ファイルの一覧表示からプレビュー再生可能な動画ファイルを把握することができる。また、プレビュー再生可能な動画ファイルについては、内容を確認してからダウンロードするかどうかを判断することができる。また、デジタルカメラ１００にストリーミングサーバ機能を持たせるとともに、ファイル転送に用いる第１のプロトコルを用いて、ＯＳがサポートする第２のプロトコルでのストリーミング再生機能を用いるための情報を取得できるようにした。そのため、ストリーミング再生を実現するためにスマートフォン２００で稼働させる画像転送アプリケーションに実装すべき機能を大幅に削減することが可能になる。

なお、上述の例では、スマートフォン２００がデジタルカメラ１００から、ストリーミング可能なファイル形式を取得する工程（Ｓ６０４，Ｓ７０３）を有していた。しかし、この工程は必須ではない。例えば画像転送アプリケーションがデジタルカメラの機種名とストリーミング可能なファイル形式との対応表を有してもよい。この場合、ＰＴＰ接続時に取得するデジタルカメラ１００の情報(DeviceInfo Dataset)に含まれる機種名によって、ストリーミング可能なファイル形式を知ることができる。また、個々の画像ファイルの情報として、ストリーミングに対応しているかどうかを含めてもよい。

ＵＲＬなどのストリーミング情報についても同様である。上述したように画像転送アプリケーション側で生成するように実装することもできるし、個々の画像ファイルの情報として、ストリーミング情報を含めてもよい。

また、ストリーミングに用いるプロトコルによる通信は、ＰＴＰ通信と独立しているため、任意のタイミングで通信可能できる。ストリーミング再生が必要になった時点で通信可能にしてもよいし、ＰＴＰのセッションが開始される前から通信可能にしてもよい。一般的に http/https を使ったストリーミングでは、不特定多数のＩＰアドレスからのアクセスを許可することが可能であるため、デジタルカメラとスマートフォンとを１対多、多対１、多対多で接続する場合にも対応可能である。本実施形態の事例のようにピアツーピア通信を行う場合には、セキュリティを確保するために、通信相手のＩＰアドレスを限定することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記録媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…デジタルカメラ、１０１、２０１…制御部、１０３、２０３…不揮発性メモリ、１０４、２０４…作業用メモリ、１０５、２０５…操作部、１０６、２０６…表示部、１１１、２１１…通信部、２００…スマートフォン。

Claims (14)

1. 通信手段と、
   前記通信手段を通じた外部機器との通信を制御する制御手段とを有し、
   前記制御手段は、
   外部機器から、第１のプロトコルに従った、特定の画像データのストリーミングに関する情報の要求に応答して、前記特定の画像データのストリーミングを第２のプロトコルに従って要求するための情報を、前記ストリーミングに関する情報として前記外部機器に送信し、
   前記外部機器から受信した、第２のプロトコルに従った、前記ストリーミングに関する情報に基づく前記特定の画像データのストリーミング要求に応答して、前記画像データを前記外部機器にストリーミングする、
   ことを特徴とする画像送信装置。
2. 前記ストリーミングに関する情報は、前記外部機器から指定された画像データに対応するＵＲＬ(Uniform Resource Locator)であることを特徴とする請求項１に記載の画像送信装置。
3. 撮像装置であることを特徴とする請求項１または２に記載の画像送信装置。
4. 前記第１のプロトコルはＰＴＰ(Picture Transfer Protocol)であり、前記第２のプロトコルはＨＴＴＰ(Hypertext Transfer Protocol)であることを特徴とする請求項１乃至３のいずれか１項に記載の画像送信装置。
5. 通信手段と、
   前記通信手段を通じた外部機器との通信を制御する制御手段とを有する画像受信装置であって、
   前記制御手段は、
   前記外部機器から、特定の画像データのストリーミングに関する情報を、第１のプロトコルに従って要求し、
   前記外部機器から、前記ストリーミングに関する情報として、前記特定の画像データのストリーミングを第２のプロトコルに従って要求するための情報を、前記第１のプロトコルに従って受信し、
   前記ストリーミングに関する情報に基づき、前記画像データについてのストリーミング要求を、前記画像受信装置で稼動するオペレーティングシステムが提供する機能を用い、前記第２のプロトコルに従って前記外部機器に送信し、
   前記第２のプロトコルに従って前記外部機器から受信した画像データを、前記オペレーティングシステムが提供する機能を用いて再生する、
   ことを特徴とする画像受信装置。
6. 前記制御手段は、
   前記外部機器が有する画像データに関する情報を選択可能に表示し、
   選択された情報に対応する画像データが予め定められた形式の画像データであれば該画像データについての前記ストリーミングに関する情報を外部機器に要求し、
   選択された情報に対応する画像データが前記予め定められた形式の画像データでなければ該画像データについての前記ストリーミングに関する情報を外部機器に要求しない、
   ことを特徴とする請求項５に記載の画像受信装置。
7. 前記制御手段は、
   前記外部機器がストリーミング可能なデータ形式の情報を前記第１のプロトコルに従って前記外部機器から取得し、
   前記選択された情報に対応する画像データの形式が前記外部機器がストリーミング可能なデータ形式であれば、該画像データについての前記ストリーミングに関する情報を外部機器に要求する、
   ことを特徴とする請求項６に記載の画像受信装置。
8. 前記制御手段は、
   選択された情報に対応する画像データが静止画データであれば、前記画像データを前記第１のプロトコルに従って前記外部機器から取得する、
   ことを特徴とする請求項６または請求項７に記載の画像受信装置。
9. 前記第１のプロトコルはＰＴＰ(Picture Transfer Protocol)であり、前記第２のプロトコルはＨＴＴＰ(Hypertext Transfer Protocol)であることを特徴とする請求項６乃至８のいずれか１項に記載の画像受信装置。
10. 請求項１から請求項４のいずれか１項に記載の画像送信装置と、
    請求項５から請求項９のいずれか１項に記載の画像受信装置が通信可能に接続されてなることを特徴とする画像通信システム。
11. 画像送信装置の制御方法であって、
    制御手段が、外部機器から、第１のプロトコルに従った、特定の画像データのストリーミングに関する情報の要求に応答して、前記特定の画像データのストリーミングを第２のプロトコルに従って要求するための情報を、前記ストリーミングに関する情報として前記外部機器に送信する工程と、
    前記制御手段が、前記外部機器から受信した、第２のプロトコルに従った、前記ストリーミングに関する情報に基づく前記特定の画像データのストリーミング要求に応答して、前記画像データを前記外部機器にストリーミングする工程と、
    を有することを特徴とする画像送信装置の制御方法。
12. 画像受信装置の制御方法であって、
    制御手段が外部機器から、特定の画像データのストリーミングに関する情報を、第１のプロトコルに従って要求する工程と、
    前記制御手段が前記外部機器から、前記ストリーミングに関する情報として、前記特定の画像データのストリーミングを第２のプロトコルに従って要求するための情報を、前記第１のプロトコルに従って受信し、
    前記制御手段が、前記ストリーミングに関する情報に基づき、前記画像データについてのストリーミング要求を、前記画像受信装置で稼動するオペレーティングシステムが提供する機能を用い、前記第２のプロトコルに従って前記外部機器に送信する工程と、
    前記制御手段が、前記第２のプロトコルに従って前記外部機器から受信した画像データを、前記オペレーティングシステムが提供する機能を用いて再生する工程と、
    ことを特徴とする画像受信装置の制御方法。
13. コンピュータを、請求項１から請求項４のいずれか１項に記載の画像送信装置が有する各手段として機能させるためのプログラム。
14. コンピュータを、請求項５から請求項９のいずれか１項に記載の画像受信装置が有する各手段として機能させるためのプログラム。