JP6254862B2 - 撮像装置およびその制御方法、システム、並びにプログラム - Google Patents

Description

本発明はネットワークを介した二つの機器間におけるデータ伝送に関するものである。

従来より、ストリーミングの技術として、従来ファイル転送などに用いられていたＨＴＴＰ（Hypertext Transfer Protocol）／ＴＣＰ（Transmission Control Protocol）プロトコルを利用して、ストリーミングデータの転送を行う方法がある。この方法でストリーミングを行うと、ネットワーク状況により輻輳遅延が発生する。これに対して、データを送信した時刻と、通信相手からデータ受け取り通知を受信した時刻の差分から遅延時間を算出する技術がある（特許文献１）。

特開２００６−１０１００９号公報

しかしながら、上記特許文献１では、自装置から通信相手にデータを送信する際にかかる時間と、通信相手がデータの受け取り通知を自装置に送信する際にかかる時間の通信往復時間が合算され、自装置がデータを圧縮し送信してから通信相手が再生するまでの正確な時間を算出できない。

本発明は、上記課題に鑑みてなされ、その目的は、ストリーミングを行う際に発生する通信の遅延時間を正確に算出する技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、通信装置と通信可能な撮像装置であって、所定の時間ごとに表示されるように顔の画像が含まれる動画を生成し前記通信装置に送信する送信手段と、前記通信装置に表示された前記動画を撮像する撮像手段と、前記撮像手段により撮像された動画から顔を検出する検出手段と、前記動画の生成を開始した時刻と、前記顔が検出されるまでの時刻との差分から前記通信装置と通信するときの遅延時間を算出する算出手段と、を有する。

本発明によれば、ストリーミングを行う際に発生する通信の遅延時間を正確に算出することが可能となる。

本発明に係る実施形態の撮像装置の構成を例示するブロック図。 本発明に係る実施形態の通信装置の構成を例示するブロック図。 本実施形態のシステムによるライブストリーミング動作を説明する図。 本実施形態の撮像装置の動作を示すフローチャート。 本実施形態のシステム構成を説明する図。

以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。

以下、本発明を、サーバとしての撮像装置１０００と、クライアントとしての通信装置２０００とを通信可能に接続したシステムを例に説明する。この例では、撮像装置１０００で撮影された映像をリアルタイムに順次送信することで、通信装置２０００でライブストリーミングにより映像が視聴可能となる。なお、ライブストリーミングの詳細については後述する。本実施形態では、撮像装置１０００をデジタルビデオカメラ、通信装置２０００をスマートフォンなどの通信端末に適用した例を説明するが、本発明は、これに限られない。例えば、本発明は、撮像装置として、カメラ付き携帯電話や携帯型のメディアプレーヤ、いわゆるタブレット端末など、通信装置として、パーソナルコンピュータなどの情報処理装置や携帯電話、タブレットデバイス端末、テレビなどにも適用できる。

＜撮像装置の構成＞図１を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。

図１に示す撮像装置（以下、カメラ）１０００において、内部バス１０１０に対してＣＰＵ(Central Processing Unit)１００１、ＲＯＭ(Read Only Memory)１００２、ＲＡＭ(Random Access Memory)１００３、入力処理部１００４、出力処理部１００６、通信制御部１００８、記録媒体制御部１０１１、カメラ信号処理部１０１５、符号・復号処理部１０１６が接続される。内部バス１０１０に接続される各部は、内部バス１０１０を介して互いにデータのやりとりを行える。

ＲＯＭ１００２は、ＣＰＵ１００１が動作するための各種プログラムや設定データが格納される。また、フラッシュメモリなども含まれる。ＲＡＭ１００３は、ＣＰＵ１００１が動作時に必要とするプログラムや変数、作業用の一時データなどが適宜記憶される。

ＣＰＵ１００１は、ＲＯＭ１００２または記録媒体１０１２に格納されているプログラムに従い、ＲＡＭ１００３をワークメモリとして用いて、このカメラ１０００の各部を制御する。

光学系１０１３は、フォーカス、絞り機構などを含む撮影レンズであり、被写体の光学像を形成する。撮像素子１０１４は、ＣＣＤやＣＭＯＳ素子等で構成され、ここではA/D変換器を含み、光学像をアナログ電気信号に変換した後、デジタル信号に変換する。

カメラ信号処理部１０１５は、ＣＰＵ１００１の制御に基づき、撮像素子１０１４で変換されたデジタル信号に対し、所定の画素補間・縮小といったリサイズ処理や色変換、各種補正処理等を行う。

符号・復号処理部１０１６は、ＣＰＵ１００１の制御に基づき、カメラ信号処理部１０１５で処理されたデジタル信号を所定のビットレート、フォーマット形式で圧縮符号化、または映像圧縮符号化データの復号を行う。

なお、音声については特に図示していないが、音声付き映像を配信する場合には、マイクロホン、音声のアナログ信号をデジタル化するＡ／Ｄ変換器、デジタルデータを符号化する構成を持つことになる。当然、映像記録時には映像と共に音声も同時に収録され、符号・復号処理部１０１６で映像と音声を多重化することで、音声付映像データを生成することになる。

入力処理部１００４は、操作部１００５でのユーザ操作を受け付け、操作に応じた制御信号を生成し、ＣＰＵ１００１に供給する。例えば、操作部１００５は、ユーザ操作を受け付ける入力デバイスとして、キーボードといった文字情報入力デバイスや、マウスやタッチパネルといったポインティングデバイスなどを有する。また、赤外線リモコンなどの遠隔操作可能なものも含む。なお、タッチパネルは、例えば平面的に構成された入力部に対して接触された位置に応じた座標情報が出力されるようにした入力デバイスである。これにより、カメラ１０００に対し、ユーザ操作に応じた動作を行わせることができる。

出力処理部１００６は、ＣＰＵ１００１がプログラムに従い生成したＧＵＩ(Graphical User Interface)などの表示データに基づき、表示部１００７に対して表示させるための表示信号を出力する。

なお、操作部１００５としてタッチパネルを用いる場合、操作部１００５と表示部１００７とを一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１００７の表示を妨げないように構成し、表示部１００７の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１００７上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１００７上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。

記録媒体制御部１０１１は、ＨＤＤや不揮発性の半導体メモリなどの記録媒体１０１２が接続され、ＣＰＵ１００１の制御に基づき、接続された記録媒体１０１２からのデータの読み出しや、当該記録媒体１０１２に対するデータの書き込みを行う。なお、記録媒体制御部１０１１が接続可能な記録媒体１０１２は、不図示のソケットなどを介して、例えばメモリカードなどの着脱可能な不揮発性の半導体メモリを接続するものとしても良い。

記録媒体１０１２は、撮影した映像データのほか、ＣＰＵ１００１の制御に必要な情報も記録することが可能である。

通信制御部１００８は、ＣＰＵ１００１の制御に基づき、コネクタ(有線)/アンテナ(無線)１００９を介して、通信装置２０００その他の外部装置との通信を行う。通信方法としては、無線のＩＥＥＥ８０２．１１やＢｌｕｅｔｏｏｔｈ（登録商標）、有線のＩＥＥＥ８０２．３などを用いることが可能である。

上述したカメラ１０００では中央１点ＡＦや顔ＡＦなどのオートフォーカス技術を用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出機能によって検出された撮影画面内の顔に対してＡＦを行うことである。

ここで、顔検出機能について説明する。

ＣＰＵ１００１は顔検出対象の画像データを符号・復号処理部１０１６に送る。符号・復号処理部１０１６は、ＣＰＵ１００１の制御に従い、当該画像データに水平方向バンドパスフィルタを作用させる。また、符号・復号処理部１０１６は、ＣＰＵ１００１の制御に従い、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。その後、ＣＰＵ１００１は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、ＣＰＵ１００１は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、ＣＰＵ１００１は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。ＣＰＵ１００１は、顔の検出結果に応じて上記顔情報を出力し、処理を終了する。このとき、顔の数などの特徴量を記録媒体１０１２に記録する。

以上のようにライブビュー表示あるいは再生表示される画像データを解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施形態では被写体の特徴情報として顔情報を例に挙げたが、これ以外に赤目判定や目の検出、目つむり検出、笑顔検出などの様々な情報がある。

なお、顔ＡＦと同時に顔ＡＥ、顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のホワイトバランスを最適化することである。

なお、ハードウェアの構成は図１に示すものに限定されず、例えば１つのハードウェアが表示制御、通信制御、記録制御、画像処理制御などを行い、カメラ１０００の各手段として機能してもよい。また、複数のハードウェアが協働して１つの手段として機能してもよい。

＜通信装置の構成＞次に、図２を参照して、本発明に係る実施形態の通信装置の構成及び機能の概略について説明する。

図２に示す通信装置（以下、端末）２０００において、多くの部分はカメラ１０００と同様となるため、カメラ１０００と説明が重複するＣＰＵ２００１〜記録媒体２０１２までの説明は省略する。符号・復号処理部２０１３は、ＣＰＵ２００１の制御に基づき、映像圧縮符号化データの復号、および必要に応じて復号したデータの再符号化を行う。

＜システム構成＞次に、図５を参照して、本実施形態のシステム構成について説明する。

カメラ１０００は端末２０００との通信を開始すると、予めカメラ１０００の記録媒体１０１２に記録されている遅延時間算出用動画３００５を圧縮符号化し、端末２０００に送信する。端末２０００はカメラ１０００から受信した遅延時間算出用動画３００５を再生する。カメラ１０００は端末２０００の表示部２００７に表示された映像を撮像し、顔検出を行う。

遅延時間算出用動画３００５は、カメラ１０００と端末２０００が通信を行う際に発生する輻輳遅延の時間を算出するための動画である。また、遅延時間算出用動画３００５には、フレームごとに四隅にカメラ１０００により検出が容易なパターン３００５ａが含まれている。また、遅延時間算出用動画３００５には、一定時間ごとに顔が表示されるようにカメラ１０００により検出が容易な顔３００５ｂが含まれており、好ましくは顔の位置または個数がフレームごとに異なっている。このように、顔が連続して同じ位置に出現しないようにすることで、前回検出された顔との誤検出を防ぐことができる。

カメラ１０００は、遅延時間算出用動画３００５の圧縮符号化を開始した時刻と、端末２０００が受信し、表示部２００７に表示された映像をカメラ１０００で撮像し、パターンが検出されるまでの時刻との差分から遅延時間を算出する。また、遅延時間算出用動画３００５の各フレームの四隅に別の顔もしくは別のパターンを配置することで、カメラ１０００はフレームの四隅の位置を把握することができ、フレームの四隅に対するパターンの相対的な位置を把握することができる。

＜ライブストリーミング動作の説明＞次に、図１ないし図３を参照して、本実施形態のシステムによるライブストリーミング動作について説明する。

図３において、ユーザがカメラ１０００において、操作部１００５からライブストリーミングモードを実行すると、カメラ１０００は、ＣＰＵ１００１の制御により、通信制御部１００８を通信可能状態とする。

さらにユーザは端末２０００において、操作部２００５を操作して通信接続処理およびライブストリーミングに必要なアプリケーションの起動を行う。これに応じて、端末２０００のＣＰＵ２００１は、ＲＯＭ２００２または記録媒体２０１２に格納された当該プログラムに従い、通信制御部２００８を制御し、カメラ１０００との通信を開始し、接続処理を行う。

ここで、カメラ１０００と端末２０００は、通信プロトコルとしてＨＴＴＰ（Hypertext Transfer Protocol）／ＴＣＰ（Transmission Control Protocol）を使用するものとする。また、通信接続においてＵＰｎＰ（Universal Plug and Play）に対応しているものとする。ＵＰｎＰ対応の端末２０００は、機器をネットワークに接続すると、ＤＨＣＰ(Dynamic Host Configuration Protocol)または、ＡｕｔｏＩＰによるＩＰ(Internet Protocol)アドレスの設定を行う。ＩＰアドレスを取得した機器は、ネットワーク上の他の機器を相互に認識するために、「デバイスディスカバリとコントロール」によって、デバイス検索と応答デバイスの種別、サービス機能などの情報取得を行う（ステップ３００１）。カメラ１０００は、端末２０００のデバイス検索要求に対して、機器情報と機器固有情報のプレイリスト取得先情報などを応答する（ステップ３００２）。

カメラ１０００と端末２０００の接続処理が完了すると、カメラ１０００はライブストリーミングを開始する。ライブストリーミングを開始すると、カメラ１０００のＣＰＵ１００１は、記録媒体１０１２に記録されている遅延時間算出用動画３００５を符号・復号処理部１０１６で圧縮符号化し、所定の周期Ｔごとにフレームを更新する。

なお、本実施形態ではＴ＝１／３０秒として、以下説明する。

ＣＰＵ１００１は、上記フレームの保存先と関連させたパス情報を生成する。パス情報は、端末２０００がフレームを取得する際の取得先情報として使用する。端末２０００は、所定の周期Ｔを事前に記憶しているか、カメラ１０００の機器情報に含めることで機器情報取得時に得ることができているものとする。

端末２０００は、ライブストリーミング開始後、約Ｔ（秒）後にステップ３００２で取得したフレーム取得先へ、フレーム取得要求（ＨＴＴＰ ＧＥＴメソッド）を行う（ステップ３００３）。

カメラ１０００は、応答フレームとして、要求されれたフレームを送信する（ステップＳ３００４）。

端末２０００は、受信したフレームを符号・復号処理部２０１３に渡し、復号した後、出力処理部２００６を介して、表示部２００７で再生表示を行う。また、ライブストリーミングアプリケーションにより、ユーザから端末記録が実行されている場合、復号したデータ、またはフレームからヘッダなどを除いたデータ部を、記録媒体２０１２に記録する。そして、さらに順次受信するフレームを復号し、受信済みのフレームと結合し記録していく。

ストリーミング中、カメラ１０００は、約Ｔ（秒）毎にフレーム更新を行う。

端末２０００は、約Ｔ（秒）毎にフレーム取得要求（ステップ３００３）を行う。

なお、端末２０００の要求処理（ステップ３００３）には端末、またはアプリケーションの固有のＩＤを付加する。そして、本実施形態のカメラ１０００は、最初に要求のあったＩＤの要求のみに対してストリーミングを行う。つまり、本実施形態のカメラ１０００と端末２０００は１対１接続でのみストリーミングを行うものとする。

なお、遅延時間算出後、カメラ１０００が撮像したストリーミング映像を端末２０００に送信する場合は、カメラ１０００のＣＰＵ１００１は、撮像素子１０１４からの信号出力を開始し、その出力をカメラ信号処理部１０１５により適切なフレームデータに処理し、符号・復号処理部１０１６へデータを送出する。

符号・復号処理部１０１６では、受け取ったフレームデータを所定のビットレート、フォーマット形式で圧縮符号化し、ＲＡＭ１００３または記録媒体１０１２に保存する。

保存したデータは遅延時間算出用動画３００５と同様に処理され、端末２０００からのフレーム取得要求（ステップ３００３）に応じて、応答フレーム（ステップ３００４）として端末２０００に送信する。

＜カメラの動作説明＞次に、図４を参照して、カメラ１０００が端末２０００と接続確立後、カメラ１０００が実行する処理について説明する。なお、以下の処理はカメラ１０００のＣＰＵ１００１が各種プログラムや入力信号に基づきカメラ１０００の各部を制御することで実現する。

ステップＳ４００１では、ＣＰＵ１００１は、ライブストリーミング開始に伴う、フレームデータ生成の開始処理を行う。ＣＰＵ１００１は、記録媒体１０１２から遅延時間算出用動画３００５のデータを読み出し、符号・復号処理部１０１６へデータを渡す。符号・復号処理部１０１６では、受け取った映像データを所定のビットレート、フォーマット形式で圧縮符号化し、さらに所定の時間長Ｔ（本実施形態では１／３０秒とする）で分割する処理を開始する。

ステップＳ４００２では、ＣＰＵ１００１は、符号・復号処理部１０１６によりフレームデータの圧縮符号化を開始する時刻を記録媒体１０１２に記録する。

ステップＳ４００３では、ＣＰＵ１００１は、フレーム情報の生成を行う。ここでは、生成されたフレームデータの時間長と、当該フレームデータを特定できる保存先アドレス、またはファイル名などに関連付けたパス情報を生成する。ここで、本実施形態の説明では、フレームの時間長Ｔは１／３０秒固定となる。

ステップＳ４００４では、ＣＰＵ１００１は、端末２０００からのフレーム取得要求（ステップ３００３）を待ち、フレーム取得要求があった場合にはステップＳ４００５へ進む。

ステップＳ４００５では、フレーム取得要求（ステップ３００３）に対する応答として、ステップＳ４００１で圧縮符号化したフレームデータの送信を行う（ステップ３００４）。

ステップＳ４００６では、ＣＰＵ１００１は、光学系１０１３により端末２０００の表示部２００７に表示されている映像を撮像する。このとき、端末２０００の表示部２００７には、カメラ１０００から受信したフレームが表示されている。

ステップＳ４００７では、ＣＰＵ１００１は、フレームの四隅に配置されているパターンが検出されたか否かを判定し、検出された場合はステップＳ４００８へ進み、検出されなかった場合はステップＳ４０１０へ進む。

ステップＳ４００８では、ＣＰＵ１００１は、ステップＳ４００６で撮像された映像中から顔が検出されたか否かを判定し、検出された場合はステップＳ４００９へ進み、検出されなかった場合はステップＳ４０１０へ進む。なお、遅延時間算出用動画３００５は、フレームごとに顔の位置または個数が異なっており、これにより顔の誤検出を防ぐことができる。

ステップＳ４００９では、ＣＰＵ１００１は、ステップＳ４００１で遅延時間算出用動画３００５の圧縮符号化を開始してからステップＳ４００８で顔が検出されるまでにかかった時間を算出する。ステップＳ４００２で記録されたフレームの圧縮符号化開始時刻をＴ１とし、遅延時間算出用動画３００５で顔が含まれているフレームをｎ枚目とし、ステップＳ４００８で顔が検出された時刻をＴ２とすると、カメラ１０００でフレームデータの圧縮符号化を開始してから、端末２０００がフレームデータを受信し、表示部２００７に表示された映像から顔が検出されるまでの時間は下記式１から算出することができる。

遅延時間（秒）＝Ｔ２−（Ｔ１＋Ｔ×ｎ）・・・（１）
なお、ステップＳ４００８で検出される顔の数を判定に使用する場合は、顔の個数ごとに上記式１により遅延時間を算出でき、それらの平均を算出することでより正確な遅延時間を算出することができる。

ステップＳ４０１０では、処理を終了するか否かの判定を行い、終了する場合以外はステップＳ４００４へ戻る。

本実施形態では、遅延時間算出用動画３００５が圧縮前のデータであることを前提として説明した。この場合、実際に撮像されたデータを使用するのとほぼ同じ時間を費やして処理を行うことができる。なお、遅延時間算出用動画３００５が圧縮後のデータであった場合は、ステップＳ４００１での圧縮処理とステップＳ４００２のフレーム圧縮符号化開始時刻の記録を省くことができる。また、ステップＳ４００５においてフレーム送信開始時刻を記録することで、端末２０００に表示された映像から顔が検出されるまでの通信にのみかかる時間を算出することができる。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (7)

1. 通信装置と通信可能な撮像装置であって、
   所定の時間ごとに表示されるように顔の画像が含まれる動画を生成し前記通信装置に送信する送信手段と、
   前記通信装置に表示された前記動画を撮像する撮像手段と、
   前記撮像手段により撮像された動画から顔を検出する検出手段と、
   前記動画の生成を開始した時刻と、前記顔が検出されるまでの時刻との差分から前記通信装置と通信するときの遅延時間を算出する算出手段と、を有することを特徴とする撮像装置。
2. 前記動画が記録されている第１の記録手段と、
   前記動画の生成を開始した時刻を記録している第２の記録手段と、を更に有することを特徴とする請求項１に記載の撮像装置。
3. 前記所定の時間ごとに表示される顔は、位置または個数が異なっていることを特徴とする請求項１または２に記載の撮像装置。
4. 前記撮像手段により撮像された動画を表示する表示手段を更に有することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 撮像装置と通信装置が通信可能なシステムであって、
   前記通信装置は、
   所定の時間ごとに表示されるように顔の画像が含まれる動画を前記撮像装置に対して要求する要求手段と、
   前記撮像装置から受信した前記動画を表示する表示手段と、を有し、
   前記撮像装置は、
   前記通信装置からの要求に応答して前記動画を生成し前記通信装置に送信する送信手段と、
   前記通信装置に表示された前記動画を撮像する撮像手段と、
   前記撮像手段により撮像された動画から顔を検出する検出手段と、
   前記動画の生成を開始した時刻と、前記顔が検出されるまでの時刻との差分から前記通信装置と通信するときの遅延時間を算出する算出手段と、を有することを特徴とするシステム。
6. 通信装置と通信可能な撮像装置の制御方法であって、
   所定の時間ごとに表示されるように顔の画像が含まれる動画を前記通信装置に送信する送信ステップと、
   前記通信装置に表示された前記動画を撮像する撮像ステップと、
   前記撮像された動画から顔を検出する検出ステップと、
   前記動画の生成を開始した時刻と、前記顔が検出されるまでの時刻との差分から前記通信装置と通信するときの遅延時間を算出する算出ステップと、を有することを特徴とする撮像装置の制御方法。
7. コンピュータを、請求項１ないし４のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。

Images