JP6327929B2 - 表示装置、撮像装置及びその制御方法 - Google Patents

Description

本発明は、表示装置、撮像装置及びその制御方法に関するものである。

従来、撮像装置と表示装置とが接続された撮像システムが知られている。特許文献１には、タッチパネルが搭載された表示装置が撮像装置に接続され、表示装置に表示された画面内のオブジェクトにユーザがタッチすることで、タッチされたオブジェクトが最適に撮影されるように撮像装置を制御できる撮像システムが開示されている。ユーザは、例えば、表示装置に表示された顔にタッチすることで、タッチされた顔にフォーカスを合わせたり、顔が良好に写るように露出を調整したりすることができる。

特開２０１２−２１７１０１号公報

しかしながら、従来の撮像システムにおいては、撮像装置で被写体を撮像して画像データが生成されてから表示装置に当該被写体が表示されるまでに生じる遅延時間の影響で、ユーザがタッチした被写体の位置が、撮像装置が捉えている最新の画像における被写体の位置と一致しない場合があるという問題が生じていた。図８は、従来の撮像システムにおける撮像装置が捉えている画像と表示装置で表示された画像との関係を示す図である。図８（ａ）は、撮像装置が捉えている画像を示す図である。図８（ｂ）は、撮像装置が図８（ａ）の画像を捉えているタイミングで、表示装置に表示される画像を示す図である。

図８には、左向きに移動するオブジェクトｃ、ｄが示されている。オブジェクトｃ、ｄが移動している場合、ユーザが、図８（ｂ）に示す表示画面でオブジェクトｃを視認してｘ＝１００の位置をタッチしたとしても、図８（ａ）に示すように、撮像装置が捉えている画像におけるｘ＝１００の位置には、オブジェクトｃではなくオブジェクトｄが存在している。したがって、ユーザが、オブジェクトｃにフォーカスを合わせようとして、表示装置に表示されたオブジェクトｃにタッチしたにもかかわらず、撮像装置がオブジェクトｄにフォーカスを合わせてしまうという問題が生じていた。

特に、近年は、画像の解像度の向上に伴ってデータ量が増大するとともに、ＲＡＷデータによる画像データの送受信、圧縮による画像データの送受信、及びワイヤレスによる画像データの送受信の機会が増えており、撮像装置が画像データを生成してから表示装置で画像が表示されるまでの遅延時間が長くなっている。そこで、このような遅延時間が存在しても、ユーザが指定した被写体を良好に撮影できるようにすることの重要性が増している。

本発明は、上述した点に鑑みてなされたものであり、ユーザが表示装置において指定した被写体の位置を、撮像装置が、より高精度に認識できるようにすることを目的とする。

上記の課題を解決するために、本発明の表示装置は、撮像装置から画像データを受信する第１受信手段と、前記画像データに基づく表示画像を表示する表示手段と、前記表示画像内の一部の領域を指定するユーザの操作を受け付ける操作受付手段と、前記第１受信手段が前記画像データを受信してから前記表示画像が前記表示手段に表示されるまでの時間である表示処理遅延時間を示す情報を含む特定情報を取得する取得手段と、前記特定情報と前記ユーザが指定した前記領域の位置を示す位置情報とを前記撮像装置に送信する送信手段と、を有することを特徴とする。

本発明によれば、ユーザが表示装置において指定した被写体の位置を、撮像装置が、より高精度に認識できるようになる。

第１の実施形態に係る撮像システム１の構成を示す図である。 撮像装置１００の構成を示す図である。 表示装置２００の構成を示す図である。 撮像装置１００の撮像部１０１が被写体を撮像して生成した画像データと、表示装置２００の表示部２０３に表示されている表示画像との関係を示す図である。 撮像装置１００及び表示装置２００の動作を示すフローチャートである。 第２の実施形態に係る撮像システム１の構成を示す図である。 第２の実施形態に係る撮像装置１００及び表示装置２００の動作を示すフローチャートである。 従来の撮像システムにおける撮像装置で撮像中の画像と表示装置で表示された画像との関係を示す図である。

＜第１の実施形態＞
［撮像システム１の概要］
図１は、第１の実施形態に係る撮像システム１の構成を示す図である。撮像システム１は、互いに通信可能に接続された撮像装置１００及び表示装置２００を含んで構成されている。撮像装置１００は、動画を撮影することができるビデオカメラ又はカムコーダであり、撮影した動画を内部又は外部の記憶媒体（不図示）に記録することができる。表示装置２００は、液晶ディスプレイ、表面伝導型電子放出素子ディスプレイ（ＳＥＤ：Surface-conduction Electron-emitter Display）等のディスプレイを備える。ディスプレイの表面にはタッチパネルが重ねて配置されており、ユーザは、指をディスプレイに触れることで、表示装置２００のディスプレイ上の任意の位置を指定することができる。

撮像装置１００と表示装置２００とは、画像情報伝送路３００及び操作情報伝送路３０１を介して接続されている。画像情報伝送路３００及び操作情報伝送路３０１は、画像データとともに制御データを送受信可能な通信回線により構成される。画像情報伝送路３００及び操作情報伝送路３０１は、例えば、ＳＤＩ（Serial Digital Interface）、ＨＤＭＩ（High-Definition Multimedia Interface、登録商標）、ＤｉｓｐｌａｙＰｏｒｔ、ＵＳＢ等の通信インターフェイスである。画像情報伝送路３００及び操作情報伝送路３０１は、無線通信回線であってもよい。また、画像情報伝送路３００及び操作情報伝送路３０１は、それぞれ異なる種別の通信回線であってもよい。

撮像装置１００は、所定のフレームレートで被写体を撮像して画像データを生成し、生成した画像データと、画像データが生成された時刻を示すタイムコードとを、画像情報伝送路３００を介して表示装置２００に送信する。撮像装置１００は、例えば図１に示すように、時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５において、タイムコードＴＣ１、ＴＣ２、ＴＣ３、ＴＣ４、ＴＣ５が付帯された画像データａ１、ａ２、ａ３、ａ４、ａ５を生成し、それぞれの画像データ及びタイムコードを、表示装置２００に順次送信する。

表示装置２００は、受信した画像データに基づく表示画像を表示する。図１に示す表示画像ｂ１、ｂ２は、それぞれ画像データａ１、ａ２に基づく画像である。撮像装置１００が画像データを生成してから表示装置２００に表示画像が表示されるまでに遅延時間があるので、例えば、撮像装置１００が画像データａ４を生成する時刻Ｔ４のタイミングで、表示装置２００には、画像データａ１に対応する表示画像ｂ１が表示される。

ユーザは、表示装置２００に表示画像が表示された状態で表示装置２００にタッチすることにより、撮像装置１００が捉えている被写体の位置や範囲を指定することができる。ユーザは、例えば、表示装置２００に表示された被写体にタッチすることにより、被写体のフォーカス位置を指定したり、被写体の被写界深度の範囲を指定したりすることができる。

ユーザが、表示装置２００に表示された被写体にタッチすると、表示装置２００は、ユーザがタッチした位置又は領域を示す座標データと、ユーザがタッチしたタイミングで表示されていた表示画像に対応する画像データのタイムコードとを、操作情報伝送路３０１を介して撮像装置１００に送信する。座標データは、表示画像の左上の位置を原点として、（ｘ、ｙ）＝（表示装置２００の画面の横方向の位置、表示装置２００の画面の縦方向の位置）により表される。

例えば、ユーザが、時刻Ｔ４において、表示画像ｂ１内のオブジェクトｃにタッチしたとする。この場合、表示装置２００は、表示画像ｂ１におけるタッチされた位置を示す座標データと、表示画像ｂ１のタイムコードＴＣ１とを撮像装置１００に送信する。撮像装置１００は、表示装置２００から受信したタイムコードＴＣ１が画像データａ１に対応することから、ユーザが、画像データａ１に基づく表示画像ｂ１の一部の領域にタッチしたことを認識する。また、撮像装置１００は、表示装置２００から受信した座標データに基づいて、ユーザが、画像データａ１におけるオブジェクトｃの位置をタッチしたことを認識する。そこで、撮像装置１００は、時刻Ｔ４以降において、例えば、オブジェクトｃにフォーカスを合わせるようにフォーカス制御機構を制御する。
以下、撮像装置１００及び表示装置２００の構成と動作について、詳細に説明する。

［撮像装置１００の構成］
図２は、撮像装置１００の構成を示す図である。撮像装置１００は、撮像部１０１と、画像処理部１０２と、記憶部１０３と、画像情報送信部１０４と、操作情報受信部１０５と、制御部１０６とを有する。
撮像部１０１は、レンズ及びＣＣＤイメージセンサを含んで構成されており、被写体を撮像して画像データを生成する。

画像処理部１０２は、予め設定された条件に基づいて、撮像部１０１が生成した画像データを画像処理するとともに、それぞれの画像データを識別するための識別情報を画像データに付帯させる。画像処理部１０２は、例えば、複数の画像データに圧縮処理を施すとともに、識別情報としてのタイムコードを生成する。ここで、タイムコードは、画像データが生成された時刻を示す情報であり、［時：分：秒：フレーム］を数値で表したデータである。なお、本実施形態においては、画像処理部１０２が、識別情報としてタイムコードを用いる例について説明するが、画像処理部１０２は、フレーム番号や乱数等の任意の文字列を識別情報として用いることができる。

画像処理部１０２は、タイムコードを付帯させた画像データを記憶部１０３に記憶させる。記憶部１０３は、ＲＡＭ及びＲＯＭを含んで構成されており、複数の画像データと、複数の画像データのそれぞれに付帯されたタイムコードとを関連付けて記憶する。画像処理部１０２は、記憶部１０３の記憶容量を抑制するために、所定の時間が経過した後に、記憶部１０３に記憶させた画像データを消去してもよい。

例えば、画像処理部１０２は、撮像装置１００が画像データを生成してから表示装置２００が画像を表示するまでに要する時間に基づいて定められる数の画像データを、記憶部１０３に記憶させる。具体的には、画像処理部１０２は、撮像装置１００が画像データを生成してから、当該画像データに基づく表示画像が表示されるまでに１０フレーム分の時間を要する場合、画像処理部１０２は、１０フレーム以上前の画像データを上書きして、最新の１０フレーム分の画像データが記憶部１０３に記憶された状態にする。このようにすることで、表示装置２００においてユーザがオブジェクトを指定した時に表示されていた画像に対応する画像データを記憶部１０３に残しつつ、記憶部１０３の容量を抑制することができる。

画像情報送信部１０４は、画像処理部１０２が生成した画像データと、識別情報としてのタイムコードとを含む画像情報を表示装置２００に送信する。操作情報受信部１０５は、表示装置２００から操作情報を受信する。具体的には、操作情報受信部１０５は、ユーザが指定した表示画像の一部の領域の位置を示す位置情報としての座標データと、画像データが撮像装置１００で生成されてから表示画像が表示装置２００に表示されるまでの時間の特定に使用可能な特定情報としてのタイムコードとを含む操作情報を受信する。操作情報には、「フォーカス位置の調整」、「被写界深度の範囲の調整」等のように、撮像装置１００を制御するための指示情報も含まれている。

制御部１０６は、撮像装置１００の各部を制御するＣＰＵである。制御部１０６は、例えば、操作情報受信部１０５を介して表示装置２００から受信した座標データ及びタイムコードに基づいて、撮像部１０１が生成した最新の画像データにおいて、ユーザが指定したオブジェクトと、当該オブジェクトの位置とを特定する。制御部１０６は、認識したオブジェクトの位置に基づく制御を撮像部１０１に行う。例えば、撮像装置１００が受信した操作情報に、「フォーカス位置の調整」をするための指示情報が含まれている場合、制御部１０６は、特定したオブジェクトの位置にフォーカスを合わせるように撮像部１０１を制御する。

具体的には、制御部１０６は、記憶部１０３に格納されたプログラムを実行することにより、以下の処理を行う。
制御部１０６は、記憶部１０３に記憶された複数の画像データから、表示装置２００から受信したタイムコード（特定情報）に対応するタイムコード（識別情報）を有する画像データを選択する。すなわち、制御部１０６は、操作情報に含まれるタイムコードが示す時刻と一致する時刻に生成された一の画像データを選択する。図１に示す例の場合、制御部１０６は、表示画像ｂ１に関連付けられたタイムコードＴＣ１を受信すると、同じタイムコードＴＣ１に関連付けられた画像データａ１を選択する。

また、制御部１０６は、選択した画像データａ１における、表示装置２００から受信した座標データに対応する位置のオブジェクトｃを特定する。具体的には、制御部１０６は、画像データａ１における、受信した座標データに対応する位置の周囲に存在する輪郭線を検出することにより、オブジェクトｃを特定する。

さらに、制御部１０６は、撮像部１０１が生成した最新の画像データにおけるオブジェクトｃの位置を検出する。具体的には、図１に示す例において、撮像装置１００が表示装置２００から座標データ及びタイムコードを受信したタイミングが時刻Ｔ４と時刻Ｔ５との間である場合、制御部１０６は、座標データ及びタイムコードを受信したタイミングの直前に生成された画像データａ４におけるオブジェクトｃの位置を検出する。より具体的には、制御部１０６は、例えば、画像データａ１において特定したオブジェクトｃの輝度及び色度との相関度が相対的に高い領域を画像データａ４において探索することにより、画像データａ４におけるオブジェクトｃの位置を検出する。なお、制御部１０６は、単一の画像データだけでなく、記憶部１０３に記憶されている他のデータ（例えば画像データａ２及び画像データａ３）も用いて、オブジェクトｃが動く速度及び方向を検出する動き検出を行うことにより、オブジェクトｃの検出精度を向上させてもよい。

制御部１０６は、画像データａ４においてオブジェクトｃの位置を検出すると、検出したオブジェクトｃの位置にフォーカスを合わせるように撮像部１０１を制御する。制御部１０６は、時刻Ｔ４以降に生成される画像データにおいてオブジェクトｃの位置を追跡し、オブジェクトｃの位置にフォーカスを合わせるように撮像部１０１を制御する。

［表示装置２００の構成］
図３は、表示装置２００の構成を示す図である。表示装置２００は、画像情報受信部２０１と、画像処理部２０２と、表示部２０３と、タッチパネル２０４と、制御部２０５と、操作情報送信部２０６と、記憶部２０７とを有する。

画像情報受信部２０１は、撮像装置１００から、画像データ及びタイムコードを含む画像情報を受信する。画像情報受信部２０１は、受信した画像データ及びタイムコードを画像処理部２０２に送る。

画像処理部２０２は、画像情報受信部２０１から入力された画像データを、表示部２０３での表示に適した画像データに変換する画像処理を行い、画像処理した画像データを表示部２０３に送る。具体的には、画像処理部２０２は、インタレース信号をプログレッシブ信号に変換するＩＰ変換処理、入力された画像の画角サイズを表示部２０３の画角サイズに合うように変換するスケーリング処理、圧縮された状態で送信された画像データの解凍処理、ＲＡＷ画像の現像処理、及びユーザが指定した画像設定を表示部２０３に適用するための処理等を行う。また、画像処理部２０２は、表示部２０３に送った画像データのタイムコードを保持しており、制御部２０５の要求に応じて、表示部２０３に送った画像データのタイムコードを制御部２０５に送る。

表示部２０３は、画像処理部２０２において画像処理された後の画像データを表示画像として表示するディスプレイである。
タッチパネル２０４は、表示画像内の一部の領域を指定するユーザの操作を受け付ける入力インターフェイスとして機能する。タッチパネル２０４は、表示部２０３が画像を表示する領域と同じ形状を有しており、ユーザがタッチした位置を検出して、検出した位置を示す座標データを制御部２０５に通知する。

制御部２０５は、記憶部２０７に格納されたプログラムを実行することにより表示装置２００の各部を制御するＣＰＵである。制御部２０５は、例えば、ユーザがタッチした位置を示す座標データをタッチパネル２０４から取得する。また、制御部２０５は、タッチパネル２０４から座標データを取得すると、当該座標データを取得したタイミングで表示部２０３に表示されている表示画像に対応する画像データのタイムコードを画像処理部２０２から取得する。制御部２０５は、タッチパネル２０４から取得した座標データと、画像処理部２０２から取得したタイムコードとを含む操作情報を生成して操作情報送信部２０６に送る。
操作情報送信部２０６は、制御部２０５から受け取った操作情報を撮像装置１００に送信する。

記憶部２０７は、ＲＡＭ及びＲＯＭを含んで構成される。記憶部２０７は、例えば、制御部２０５が操作情報を作成する際のワークメモリとして使用される。また、記憶部２０７は、表示装置２００を動作させるために必要な各種の設定情報を記憶する。

［画像データと表示画像との関係］
図４は、撮像装置１００の撮像部１０１が被写体を撮像して生成した画像データと、表示装置２００の表示部２０３に表示されている表示画像との関係を示す図である。図４（ａ）は、撮像部１０１が、時刻Ｔ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５において順次生成した画像データａ１、ａ２、ａ３、ａ４、ａ５の模式図である。それぞれの画像データにはオブジェクトｃ及びｄが含まれている。画像データａ１においては、オブジェクトｃが（ｘ、ｙ）＝（１００、１００）の位置にあり、タイムコードが［００：００：００：０１］である。オブジェクトｃ及びｄは、時間の経過とともに、（ｘ、ｙ）＝（０、１００）に向かって移動しており、時刻Ｔ４に生成された画像データａ４におけるオブジェクトｃの位置は（ｘ、ｙ）＝（７０、１００）である。

図４（ｂ）は、時刻Ｔ４、Ｔ５において表示部２０３に順次表示される表示画像ｂ１、ｂ２の模式図である。表示画像ｂ１、ｂ２は、それぞれ画像データａ１、ａ２に基づく画像であり、表示画像ｂ１において、オブジェクトｃは（ｘ、ｙ）＝（１００、１００）の位置にあり、タイムコードが［００：００：００：０１］である。

ユーザが、時刻Ｔ４において、表示画像ｂ１内のオブジェクトｃにタッチすると、表示装置２００は、表示画像ｂ１のタイムコード［００：００：００：０１］と、表示画像ｂ１においてタッチされた位置、すなわちオブジェクトｃの位置を示す座標データ（ｘ、ｙ）＝（１００、１００）とを撮像装置１００に送信する。撮像装置１００は、表示装置２００から受信したタイムコード［００：００：００：０１］に基づいて、記憶部１０３に記憶されている複数の画像データから画像データａ１を選択する。また、撮像装置１００は、表示装置２００から受信した座標データ（ｘ、ｙ）＝（１００、１００）に基づいて、画像データａ１内の（１００、１００）の位置に存在するオブジェクトｃを特定する。

撮像装置１００は、時刻Ｔ４に生成された画像データａ４においてオブジェクトｃを探索し、オブジェクトｃが（ｘ、ｙ）＝（７０、１００）にあることを検出する。撮像装置１００は、検出した（ｘ、ｙ）＝（７０、１００）の位置にフォーカスを合わせるように撮像部１０１を制御することで、ユーザがフォーカスを合わせようとしたオブジェクトｃにフォーカスを合わせることができる。このように、本実施形態に係る撮像システム１においては、時刻Ｔ４において撮像装置１００が生成した画像データａ４の（ｘ、ｙ）＝（１００、１００）の位置にはオブジェクトｄがあるにもかかわらず、オブジェクトｄにフォーカスを合わせることなく、ユーザがタッチしたオブジェクトｃにフォーカスを合わせることができる。

［動作フローチャート］
図５は、撮像装置１００及び表示装置２００の動作手順を示すフローチャートである。以下、図５を参照して、撮像装置１００を制御する動作及び表示装置２００を制御する動作について説明する。

まず、撮像装置１００が、制御部１０６による制御に基づいて、画像データを生成してから表示装置２００に送信するまでの動作について説明する。
撮像部１０１は、被写体を撮像して画像データを生成する（ステップＳ１）。次に、画像処理部１０２は、撮像部１０１から受信した画像データの画像処理を行うとともに、タイムコードを付帯させた画像情報を作成する（ステップＳ２）。続いて、画像情報送信部１０４は、タイムコードが付帯された画像情報を表示装置２００に送信する（ステップＳ３）。また、画像処理部１０２は、タイムコードを付帯させた画像データを記憶部１０３に記憶させる（ステップＳ４）。

続いて、表示装置２００が、制御部２０５による制御に基づいて、画像情報を受信してから操作情報を撮像装置１００に送信するまでの動作について説明する。
表示装置２００においては、まず、画像情報受信部２０１が、撮像装置１００から送信された画像情報を受信する（ステップＳ５）。次に、表示部２０３が、画像処理部２０２が画像処理して生成した表示画像を表示する（ステップＳ６）。続いて、ユーザが表示画像の一部の領域をタッチすると、タッチパネル２０４が、表示画像の一部の領域を指定するユーザの操作を検出する（ステップＳ７）。

タッチパネル２０４がユーザの操作を検出すると、制御部２０５は、ユーザが指定した領域の位置を示す座標データをタッチパネル２０４から取得する（ステップＳ８）。また、制御部２０５は、タッチパネル２０４がユーザの操作を検出したタイミングで表示部２０３に表示されていた表示画像に対応する画像データのタイムコードを、画像処理部２０２から取得する（ステップＳ９）。続いて、制御部２０５は、座標データ及びタイムコードを含む操作情報を生成し、操作情報送信部２０６が、当該操作情報を撮像装置１００に送信する（ステップＳ１０）。

続いて、操作情報を受信した撮像装置１００が、フォーカス位置を制御するまでの動作を説明する。
操作情報受信部１０５が表示装置２００から操作情報を受信すると（ステップＳ１１）、制御部１０６は、記憶部１０３に記憶されている複数の画像データから、受信した操作情報に含まれているタイムコードに対応する画像データを選択する（ステップＳ１２）。続いて、制御部１０６は、選択した画像データにおける、受信した操作情報に含まれている座標データに対応する位置のオブジェクトを特定する（ステップＳ１３）。その後、制御部１０６は、特定したオブジェクトを最新の画像データにおいて探索し、最新の画像データにおける当該オブジェクトの位置を検出する（ステップＳ１４）。制御部１０６は、オブジェクトの位置を検出すると、例えば、検出した位置にフォーカスを合わせるように撮像部１０１を制御する（ステップＳ１５）。

［第１の実施形態の変形例１］
上記の説明において、表示装置２００は、ユーザが画面にタッチしたタイミングで表示されていた表示画像のタイムコードを撮像装置１００に送信するものとして説明した。しかしながら、ユーザが表示画像にタッチしようとしてから画面にタッチするまでには、遅延時間が発生する。そこで、表示装置２００は、ユーザが表示画像の一部の領域を指定するために要する時間に基づいて、タイムコードを補正してもよい。

具体的には、記憶部２０７は、ユーザが表示画像の一部の領域を指定するために要する時間として、ユーザが表示画像を視認して所望の領域にタッチしようとしてから所望の領域を指定するまでの平均的な時間を示す操作遅延時間情報を記憶する。そして、制御部２０５は、タイムコードをそのまま送信する代わりに、操作遅延時間情報に対応する時間に基づいてタイムコードを補正した補正タイムコードを撮像装置１００に送信してもよい。

例えば、図４に示す例において、ユーザが所望の領域にタッチしようとしてから実際にタッチするまでの遅延時間が、時刻Ｔ４と時刻Ｔ５との間の時間に等しいとする。この場合、ユーザが、時刻Ｔ４において表示画像ｂ１を視認してタッチしようとすると、ユーザは、時刻Ｔ５においてタッチパネル２０４にタッチしてオブジェクトｃを指定することになる。制御部２０５は、記憶部２０７が記憶している操作遅延時間情報を参照し、ユーザがタッチパネル２０４にタッチしたタイミングにおいて表示されていた表示画像ｂ２のタイムコード［００：００：００：０２］を、表示画像ｂ１のタイムコード［００：００：００：０１］に補正する。制御部２０５は、補正後のタイムコード［００：００：００：０１］を含む操作情報を、操作情報送信部２０６を介して表示装置２００に送信する。

なお、操作遅延時間は、ユーザの年齢によっても異なることが考えられる。そこで、記憶部２０７に、年齢に関連付けられた操作遅延時間情報とともに、予めユーザにより設定されたユーザの年齢を記憶させてもよい。制御部２０５は、ユーザがタッチパネル２０４にタッチしたタイミングで、ユーザの年齢に対応する操作遅延時間情報を参照してタイムコードを補正することにより、ユーザの年代の操作能力に合わせた補正をすることができる。

なお、制御部２０５は、補正タイムコードを撮像装置１００に送信する代わりに、タイムコードとともに操作遅延時間情報を撮像装置１００に送信してもよい。この場合、撮像装置１００において、操作遅延時間情報に基づいて、表示装置２００から受信したタイムコードを補正することで、同等の効果を得ることができる。

［第１の実施形態の変形例２］
上記の説明においては、ユーザが指定した領域の位置が一意に定められるものとして説明したが、ユーザが、表示画面の一部の領域を指定するために、当該領域を囲む図形を描く操作を行うことも考えられる。このような場合、表示装置２００は、単一の座標データではなく、領域の境界を示す複数の座標データを撮像装置１００に送信してもよい。

また、ユーザが、複数の表示画像が表示される時間にわたって、領域を指定する操作を行うことも考えられる。このような場合、表示装置２００は、ユーザがタッチした複数の表示画像のうち、少なくともいずれかの表示画像のタイムコードと、複数の表示画像においてユーザがタッチパネル２０４にタッチした位置の中間的な位置の座標データとを撮像装置１００に送信する。このようにすることで、撮像システム１は、ユーザによる領域の指定操作が、複数フレームにわたって行われた場合であっても、ユーザが意図したオブジェクトにフォーカスを合わせるような制御をすることができる。

［第１の実施形態における効果］
以上説明したように、第１の実施形態に係る表示装置２００は、ユーザが表示画像内のオブジェクトを指定する操作を行うと、そのタイミングで表示部２０３に表示されている表示画像に対応する画像データのタイムコードと、ユーザが指定した領域の位置を示す座標データとを含む操作情報を表示装置２００に送信する。このようにすることで、撮像装置１００は、表示装置２００から受信したタイムコード及び座標データに基づいて、最新の画像データにおけるオブジェクトの位置を検出することができる。したがって、画像データが撮像装置１００で生成されてから表示画像が表示部２０３に表示されるまでに時間を要しても、撮像装置１００は、ユーザが指定したオブジェクトの位置を正しく認識して、ユーザが指定したオブジェクトの撮影結果が良好になるように撮像部１０１を制御することが可能になる。

また、表示装置２００が、ユーザが所望のオブジェクトを指定するために要する時間に基づいてタイムコードを補正することで、ユーザの操作が遅い場合であっても、撮像装置１００は、ユーザが指定することを意図したオブジェクトの撮影結果が良好になるように、撮像部１０１を制御することが可能になる。

＜第２の実施形態＞
第１の実施形態においては、撮像装置１００が、画像データ及びタイムコードを表示装置２００に送信し、表示装置２００が、座標データ及びタイムコードを撮像装置１００に送信した。第２の実施形態においては、撮像装置１００が、タイムコードを表示装置２００に送信しない点で第１の実施形態と異なる。また、表示装置２００が、タイムコードに代えて、撮像装置１００が画像データを生成してから表示部２０３が画像を表示するまでに要する時間を示す表示遅延時間情報を、特定情報として撮像装置１００に送信する点で第１の実施形態と異なる。第２の実施形態に係る撮像装置１００及び表示装置２００の構成は、図２及び図３に示した第１の実施形態における構成と同等である。

図６は、第２の実施形態に係る撮像システム１の構成を示す図である。表示装置２００は、予め測定された表示遅延時間情報を記憶部２０７に記憶している。表示遅延時間は、撮像装置１００が画像データを生成してから表示装置２００が画像データを受信するまでの伝送遅延時間と、表示装置２００が画像データを受信してから表示画像を表示するまでの表示処理遅延時間とから構成される。

例えば、撮像装置１００から表示装置２００への画像データの伝送に１００ミリ秒を要し、表示装置２００における画像データの解凍処理に５００ミリ秒を要する場合、記憶部２０７は、表示遅延時間情報として５００ミリ秒＋１００ミリ秒＝６００ミリ秒を示す情報を記憶している。図６に示す例の場合、撮像装置１００において画像データａ１が生成された時刻Ｔ１から、表示装置２００に表示画像ｂ１が表示される時刻Ｔ４までの表示遅延時間Ｔ４−Ｔ１を示す表示遅延時間情報が、記憶部２０７に記憶されている。なお、表示遅延時間に、表示装置２００が座標データを送信してから撮像装置１００が座標データを受信するまでの伝送遅延時間を含めてもよい。また、伝送遅延時間が表示処理遅延時間よりも短い場合、表示遅延時間に伝送遅延時間を含めなくてもよい。

表示遅延時間は、画像データのサイズ、符号化形式等の画像フォーマットによって異なる。例えば、データサイズが大きければ大きいほど、表示遅延時間が長くなる。そこで、記憶部２０７は、画像フォーマットに関連付けて表示遅延時間情報を記憶している。

制御部２０５は、タッチパネル２０４がユーザの操作を受け付けたことに応じて、タッチパネル２０４から座標データを取得する。また、制御部２０５は、ユーザがタッチパネル２０４にタッチしたタイミングで表示されている表示画像に対応する画像データの画像フォーマットを判定し、判定した画像フォーマットに対応する表示遅延時間情報を、特定情報として記憶部２０７から取得する。続いて、制御部２０５は、取得した座標データ及び遅延時間情報を、操作情報送信部２０６を介して撮像装置１００に送信する。

撮像装置１００は、最新の画像データが生成された時刻から表示遅延時間に対応する時間を遡った時刻に生成された画像データａ１を選択する。そして、撮像装置１００は、画像データａ１において、表示装置２００から受信した座標データの位置に対応する位置にあるオブジェクトｃを特定することができる。

なお、記憶部２０７は、表示装置２００において行われる処理の種類に関連付けて、それぞれの処理に要する所要時間を記憶してもよい。例えば、表示装置２００において、画像データの解凍処理、ＩＰ変換処理及びスケーリング処理が行われる場合、記憶部２０７は、それぞれの処理の所要時間を記憶する。この場合、制御部２０５は、表示装置２００内で行われた複数の処理の所要時間を加算した値を表示遅延時間情報として用いる。

図７は、第２の実施形態に係る撮像装置１００及び表示装置２００の動作を示すフローチャートである。図７において、図５に示した第１の実施形態に係る動作フローチャートと同じステップに対しては、同じ符号を付している。以下、主に、第１の実施形態と相違する点について説明する。

本実施形態に係る撮像装置１００は、ステップＳ１において生成した画像データにタイムコードを付帯させることなく、画像処理して生成された画像情報を表示装置２００に送信する（ステップＳ３）。
表示装置２００においては、制御部２０５がステップＳ８において座標データを取得した後に、予め記憶部２０７に記憶された表示遅延時間情報を取得する（ステップＳ２１）。そして、制御部２０５は、座標データ及び表示遅延時間情報を含む操作情報を、操作情報送信部２０６を介して撮像装置１００に送信する（ステップＳ１０）。

撮像装置１００は、ステップＳ１１において操作情報を受信すると、記憶部１０３に記憶された複数の画像データから、現在の時刻から表示遅延時間情報が示す時間だけ遡った時刻に生成された画像データを選択する（ステップＳ２２）。画像データが選択されてからの動作は、第１の実施形態と同様である。

［第２の実施形態の変形例］
上記の説明においては、記憶部２０７が表示遅延時間を記憶しているものとして説明したが、伝送遅延時間が表示処理遅延時間に比べて十分に小さい場合、記憶部２０７に表示遅延時間を記憶させることなく、制御部２０５が表示遅延時間を測定してもよい。具体的には、制御部２０５は、画像情報受信部２０１が画像データを受信してから画像処理部２０２が表示部２０３に表示画像を出力するまでに要した時間を表示遅延時間として測定し、測定した表示遅延時間を、操作情報送信部２０６を介して撮像装置１００に送信してもよい。

［第２の実施形態における効果］
以上説明したように、第２の実施形態に係る表示装置２００は、ユーザが表示画像内のオブジェクトを指定する操作を行うと、表示遅延時間情報と座標データとを含む操作情報を表示装置２００に送信する。このようにすることで、撮像装置１００は、表示装置２００から受信した表示遅延時間情報及び座標データに基づいて、最新の画像データにおけるオブジェクトの位置を検出することができる。したがって、画像データが撮像装置１００で生成されてから表示画像が表示部２０３に表示されるまでに時間を要しても、撮像装置１００は、ユーザが指定したオブジェクトの位置を正しく認識して撮像部１０１を制御することが可能になる。

また、表示装置２００は、ユーザが操作している間に表示された表示画像に対応する画像データの画像フォーマットに対応する表示遅延時間情報を撮像装置１００に送信する。このようにすることで、撮像装置１００は、画像フォーマットによって表示遅延時間が異なる場合であっても、ユーザが指定したオブジェクトの位置を正しく認識して撮像部１０１を制御することができる。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上記の実施形態においては、撮像装置１００において画像データを選択する動作、オブジェクトを特定する動作、及びオブジェクトの位置を検出する動作を制御部１０６が行うものとして説明したが、これらの動作のうちの少なくとも一部を画像処理部１０２が実行してもよい。

また、上記の実施形態においては、撮像装置１００と表示装置２００とが異なる装置であるものとして説明したが、撮像装置１００が、表示装置２００の構成を有する表示ユニットを有していてもよい。

２００ 表示装置
２０１ 画像情報受信部
２０３ 表示部
２０４ タッチパネル
２０５ 制御部
２０６ 操作情報送信部
２０７ 記憶部

Claims (12)

1. 撮像装置から画像データを受信する第１受信手段と、
   前記画像データに基づく表示画像を表示する表示手段と、
   前記表示画像内の一部の領域を指定するユーザの操作を受け付ける操作受付手段と、
   前記第１受信手段が前記画像データを受信してから前記表示画像が前記表示手段に表示されるまでの時間である表示処理遅延時間を示す特定情報を取得する取得手段と、
   前記特定情報と前記ユーザが指定した前記領域の位置を示す位置情報とを前記撮像装置に送信する送信手段と、
   を有することを特徴とする表示装置。
2. 前記画像データの画像フォーマットを判定する判定手段と、
   前記画像フォーマットに関連付けて前記特定情報を記憶する第１記憶手段と、
   をさらに備え、
   前記取得手段は、前記判定手段が判定した前記画像データの前記画像フォーマットに対応する前記特定情報を取得することを特徴とする、
   請求項１に記載の表示装置。
3. 前記画像フォーマットは、前記画像データのサイズ、又は前記画像データの符号化形式を含むことを特徴とする、
   請求項２に記載の表示装置。
4. 前記表示処理遅延時間は、前記画像データの解凍処理に要する時間を含むことを特徴とする、
   請求項１から３のいずれか一項に記載の表示装置。
5. 請求項１から４のいずれか一項に記載の表示装置と通信可能に接続された撮像装置であって、
   被写体を撮像して画像データを生成する撮像手段と、
   複数の前記画像データと、前記複数の画像データのそれぞれに関連付けられた識別情報とを関連付けて記憶する第２記憶手段と、
   前記画像データ及び前記識別情報を前記表示装置に送信する送信手段と、
   前記表示装置から前記位置情報及び前記特定情報を受信する第２受信手段と、
   前記第２記憶手段に記憶された前記複数の画像データから、前記特定情報に対応する前記識別情報を有する一の画像データを選択する選択手段と、
   前記選択手段が選択した前記一の画像データにおける前記位置情報に対応する位置のオブジェクトを特定する特定手段と、
   前記撮像手段が生成した最新の前記画像データにおける前記オブジェクトの位置を検出する検出手段と、
   を有することを特徴とする撮像装置。
6. 前記選択手段は、前記特定情報に基づいて、前記表示処理遅延時間を遡った時刻に生成された前記一の画像データを選択することを特徴とする、
   請求項５に記載の撮像装置。
7. 撮像装置から受信した画像データに対応する表示画像を表示する表示装置の制御方法であって、
   撮像装置から前記画像データを受信する画像データ受信ステップと、
   前記画像データに基づく表示画像を表示手段に表示させる表示制御ステップと、
   前記表示画像内の一部の領域を指定するユーザの操作を受け付ける操作受付ステップと、
   前記画像データを受信してから前記表示画像が前記表示手段に表示されるまでの時間である表示処理遅延時間を示す特定情報を取得する特定情報取得ステップと、前記特定情報と前記ユーザが指定した前記領域の位置を示す位置情報とを前記撮像装置に送信する送信ステップと、
   を有することを特徴とする表示装置の制御方法。
8. 前記画像データの画像フォーマットを判定する判定ステップをさらに有し、
   前記特定情報取得ステップにおいて、前記画像フォーマットに対応する特定情報を取得することを特徴とする、
   請求項７に記載の表示装置の制御方法。
9. 前記判定ステップにおいて、前記画像データのサイズ、又は前記画像データの符号化形式を含む前記画像フォーマットを判定することを特徴とする、
   請求項８に記載の表示装置の制御方法。
10. 前記特定情報取得ステップにおいて、前記画像データの解凍処理に要する時間を含む前記表示処理遅延時間を示す前記特定情報を取得することを特徴とする、
    請求項７から９のいずれか一項に記載の表示装置の制御方法。
11. 請求項１から４のいずれか１項に記載の表示装置と通信可能に接続された撮像装置の制御方法であって、
    被写体を撮像して画像データを生成する撮像ステップと、
    複数の前記画像データと、前記複数の画像データのそれぞれに関連付けられた識別情報とを記憶手段に記憶する記憶制御ステップと、
    前記画像データ及び前記識別情報を前記表示装置に送信する送信ステップと、
    前記表示装置から前記位置情報及び前記特定情報を受信する受信ステップと、
    前記記憶手段に記憶された複数の前記画像データから、前記特定情報に対応する前記識別情報を有する一の画像データを選択する選択ステップと、
    前記選択ステップにおいて選択した前記一の画像データにおける前記位置情報に対応する位置のオブジェクトを特定する特定ステップと、
    前記撮像ステップにおいて生成した最新の前記画像データにおける前記オブジェクトの位置を検出する検出ステップと、
    を有することを特徴とする撮像装置の制御方法。
12. 前記選択ステップにおいて、前記特定情報に基づいて、前記表示処理遅延時間に対応する時間を遡った時刻に生成された前記一の画像データを選択することを特徴とする、
    請求項１１に記載の撮像装置の制御方法。
    

Images