JP6141137B2 - 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム - Google Patents

遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム Download PDF

Info

Publication number
JP6141137B2
JP6141137B2 JP2013159713A JP2013159713A JP6141137B2 JP 6141137 B2 JP6141137 B2 JP 6141137B2 JP 2013159713 A JP2013159713 A JP 2013159713A JP 2013159713 A JP2013159713 A JP 2013159713A JP 6141137 B2 JP6141137 B2 JP 6141137B2
Authority
JP
Japan
Prior art keywords
data
control
imaging device
video
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013159713A
Other languages
English (en)
Other versions
JP2015032910A (ja
Inventor
圭介 松野
圭介 松野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2013159713A priority Critical patent/JP6141137B2/ja
Priority to US14/445,361 priority patent/US9369623B2/en
Publication of JP2015032910A publication Critical patent/JP2015032910A/ja
Application granted granted Critical
Publication of JP6141137B2 publication Critical patent/JP6141137B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet

Description

本発明は、撮像装置を遠隔操作する技術に関する。
例えば、特許文献1には、テレビカメラを遠隔で操作するカメラ制御装置において、映像の送出から表示までの時間差に応じて、操作者が映像を見ながらカメラを手動操作したときの操作位置を補正する技術が記載されている。また、特許文献2には、カメラを遠隔で操作するシステムにおいて、通信の遅延の影響を受けずに操作者が所望するズーミングやフォーカス状態が得られるように、ズーミングやフォーカスの操作を停止した時点に表示されていた映像に対応する光学系の設定情報をカメラに送り、カメラ側で光学系の設定を戻す技術が記載されている。
特開平06−022193号公報 特開2010−062834号公報
上記特許文献1,2記載の技術は、カメラの動きを手動操作する場合には適しているが、表示されている映像の特定の領域から画像情報を読み取り、その画像情報に基づいてカメラを制御する場合、以下のような課題がある。すなわち、
例えば、操作装置側の表示画面上で指定された領域の明るさを調整する場合、カメラ側に指定領域の位置情報を送信しても通信の遅延によって既に指定領域外へ被写体が移動してしまい、操作者の意図通りに被写体の明るさを調整できないことがある。このような問題は、明るさ調整以外の場合でも同様に、表示画面上の特定の領域の画像情報に基づいてカメラを操作するときに発生すると想定される。
本発明は、上記課題に鑑みてなされ、その目的は、操作装置側の表示画面上で指定された特定の領域から得られる情報に基づいて撮像装置を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御結果が得られる技術を実現することである。
上記課題を解決し、目的を達成するために、本発明の遠隔操作装置は、撮像装置を遠隔から操作する遠隔操作装置であって、前記撮像装置と通信する通信手段と、前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、前記映像データを表示する表示手段と、前記表示手段により表示された映像の所定の範囲を指定する指定手段と、前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信手段と、を有する。
本発明によれば、操作装置側の表示画面上で指定された特定の領域から得られる情報に基づいて撮像装置を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御結果を得ることが可能となる。
上記課題を解決し、目的を達成するために、本発明の遠隔操作装置は、撮像装置を遠隔操作する遠隔操作装置であって、前記撮像装置と通信する通信手段と、前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、前記映像データを表示する表示手段と、前記表示手段により表示された映像の所定の範囲を指定する指定手段と、前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信手段と、を有する。
そして、前記パラメータは、映像データの各フレーム撮影時の露出制御値であり、前記所定の情報は、輝度データまたは輝度のヒストグラムの情報である。
また、前記パラメータは、映像データの各フレーム撮影時のホワイトバランス制御値であり、前記所定の情報は、色データである。
また、前記パラメータは、映像データの各フレーム撮影時の被写体の距離情報である。
以下に、添付図面を参照して本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
以下、本発明を、ビデオカメラなどの撮像装置と、スマートフォンなどの遠隔操作装置とを通信可能に接続して構成されたシステムにより実現した実施形態について説明する。なお、本発明は、これに限られず、例えば、遠隔操作装置として、例えば携帯電話や携帯型のメディアプレーヤ、いわゆるタブレットデバイス、パーソナルコンピュータ(PC)などの情報処理装置により実現することもできる。
[概要説明]
従来のシステムでは、通信の遅延の影響により操作者の意図したタイミングで撮像装置を操作できないことがある。例えば、タッチパネルで特定の被写体領域を指定し、タッチした被写体にフォーカスを固定したり、露出制御や色補正を行う場合において、タッチしたときに既に指定した被写体が移動していたとすると、指定した領域には別の被写体が存在していると考えられる。この場合、撮像装置側では操作者が意図した被写体とは違う別の被写体を対象にフォーカス制御や露出制御、色補正などが実施されてしまうため、操作者の意図通りの制御結果が得られない。
これに対して、本実施形態のシステムは、上記のような通信の遅延の影響を受けずに操作者の意図通りの制御結果が得られるように、撮像装置側から逐次送信される映像を遠隔操作装置側の表示画面に表示し、当該表示画面上で操作者が指定した特定の被写体領域から得られる所定の情報に基づいて撮像装置を遠隔操作するものである。
具体的には、図8に示すように、まず、撮像装置100側から通信用データとして、映像データ(ストリーミングデータ)と当該映像の撮影時のパラメータ(露出制御値、ホワイトバランス制御値、距離情報、フレーム番号など)を送信する。
遠隔操作装置200では、撮像装置100から受信した通信用データに含まれる映像を表示し、表示画面210上でタッチされた被写体領域211から輝度データや色データ、距離情報などの情報を算出し、撮影パラメータと共に撮像装置100へ送信する。
撮像装置100では、遠隔操作装置200から受信した上記情報と撮影パラメータを用いて、タッチされた被写体領域の明るさや色を所望のレベルに調整するためのパラメータを補正して制御用データを算出する。
そして、撮像装置100は、上記算出した制御用データに従い、露出制御(撮像素子の電荷蓄積時間、信号処理におけるゲイン補正、絞りや減光フィルタなど)や色補正、フォーカス制御などを行う。
このようにして、遠隔操作装置側の表示画面上で指定された特定の領域から得た所定の情報に基づいて撮像装置を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御結果を得ることが可能となる。
<撮像装置の構成>図1を参照して、本発明に係る実施形態の撮像装置の構成及び機能の概略について説明する。
図1において、レンズ群101は、フォーカスレンズやズームレンズ、絞りや減光フィルタなどを含む。レンズ群101に入射した被写体の光像は、CMOSイメージセンサ等の撮像素子102の受光面上に結像され、電気信号に変換されて撮像信号処理部103に出力される。
撮像信号処理部103は、撮像素子102から得たアナログ信号をデジタル信号に変換し、ゲイン補正などの輝度補正やホワイトバランス(WB)などの色補正、その他の信号処理などを施した後、映像信号処理部104に出力する。
映像信号処理部104は、撮像信号処理部103で信号処理された映像信号に対して符号化処理を施し、記録再生処理部105に出力する。
記録再生処理部105は、符号化処理された映像信号に対して、記録に適した形式に変換した映像データを生成し、メモリカードなどの記録媒体106に記録する。記録媒体106は、装置に着脱可能に構成しても良いし、装置に内蔵されていても良い。
また、映像信号処理部104では、記録再生処理部105で符号化処理された映像データに、当該映像データ撮影時の撮影パラメータを付加して通信処理部107へ出力する。
通信処理部107は、遠隔操作装置200などの外部装置と接続するための通信インターフェースである。撮像装置100は、通信処理部107を介して外部装置とデータのやりとりを行うことができる。なお、本実施形態では、通信処理部107は外部装置と無線LANなどのアンテナ108を介して通信するためのインターフェースを含む。
通信処理部107は、映像信号処理部104で生成された映像データと撮影パラメータとを通信に適した形式に変換して通信用データを生成し、アンテナ108を介して送信する。
一方、遠隔操作装置200から送信された通信用データをアンテナ108で受信し、受信したデータを通信処理部107で撮像装置100で使用可能な形式へ変換し、制御演算部109へ送出する。
露出制御部110は、制御演算部109から受けた露出制御用データに従って、撮像素子102の電荷蓄積時間、絞りや減光フィルタなどを調整して露出制御を行う。
フォーカス制御部111は、制御演算部109から受けたフォーカス制御用データに従って、フォーカスレンズを所定の位置に駆動して被写体に合焦させる。
制御演算部109は、CPU、不揮発性メモリ(ROM)、作業用メモリ(RAM)などを有し、不揮発性メモリには、制御演算部109で実行される本実施形態の制御プログラムが格納される。遠隔操作装置200と通信するためのプログラムも不揮発性メモリに格納されている。作業用メモリは、撮像素子102、撮像信号処理部103、映像信号処理部104、記録再生処理部105、通信処理部107で処理されたデータを一時的に保持するバッファメモリや制御演算部109の作業エリアとして使用される。制御演算部109は、通信処理部107で受信した情報や、各ブロックからの各種情報を受けて、装置全体の動作を制御する。
<遠隔操作装置の構成>次に、図2を参照して、本実施形態の遠隔操作装置の構成及び機能の概略について説明する。
図2において、通信処理部202は、アンテナ201を介して遠隔地に存在する撮像装置100から通信用データを受信し、通信用データに含まれる映像データや撮影パラメータその他の情報を取得して、制御演算部204へ送出する。
また、通信処理部202は、撮像装置100から受信した映像データを表示部203へ出力する。表示部203は、LCDなどからなり、通信処理部202から逐次出力される映像データや撮影パラメータなどの補助情報やカメラの状態情報などを表示する。
操作部205は、ユーザ操作を受け付けるタッチパネル等を含み、ユーザ操作を受け付けると、その操作信号を制御演算部204へ送出する。ユーザ操作には、例えば、露出制御やWB制御において映像中の特定の被写体領域を指定して明るさや色を調整する操作やフォーカス制御において映像中の特定の被写体領域を指定してピントが合うように焦点距離を調整する操作が含まれる。
制御演算部204は、CPU、不揮発性メモリ(ROM)、作業用メモリ(RAM)などを有し、不揮発性メモリには、制御演算部204で実行されるプログラムが格納される。作業用メモリは、通信処理部202で処理されたデータを一時的に保持するバッファメモリや制御演算部204の作業エリアとして使用される。撮像装置100と通信するためのプログラムも不揮発性メモリに格納され、遠隔操作アプリケーションとしてインストールされているものとする。なお、本実施形態の遠隔操作装置200の処理は、遠隔操作アプリケーションにより提供されるプログラムを読み込むことにより実現される。なお、遠隔操作アプリケーションは遠隔操作装置200にインストールされたOSの基本的な機能を利用するためのプログラムを有しているものとする。
制御演算部204は、通信処理部202で映像データや撮影パラメータを受信し、操作部205により表示画面上で指定された特定の被写体領域の映像データから輝度データや色データ、被写体距離情報などの情報を取得し、撮像装置100へ送信する。
<遠隔操作による撮影制御処理>次に、図3を参照して、本実施形態のシステムを構成する撮像装置100(図3(a))と遠隔操作装置200(図3(b))により露出制御を行う実施形態1について説明する。なお、図3(a)の処理は、撮像装置100の制御演算部109が操作信号や制御プログラムを実行することにより実現される。また、図3(b)の処理は、遠隔操作装置200の制御演算部204が操作信号やプログラムに従い、遠隔操作アプリケーションのプログラムを実行することにより実現される。
図3の処理は、撮像装置100および遠隔操作装置200の各プログラムが起動され、両者が通信可能に接続されたことに応じて開始される。
図3(a)において、ステップS301では、撮像装置100の制御演算部109は、撮像素子102での電荷蓄積時間、撮像信号処理部103でのゲイン処理、露出制御部110での絞りや減光フィルタの制御などに用いた露出制御用パラメータを取得する。
ステップS302では、制御演算部109は、映像信号処理部104で符号化処理が施された映像データを取得する。
ステップS303では、制御演算部109は、ステップS301、S302で取得した露出制御用パラメータと映像データを通信処理部107により通信に適した形態に変換して通信用データを生成する。
ステップS304では、制御演算部109は、ステップS303で生成した通信用データを遠隔操作装置200へ送信する。
上記のように撮像装置100から送信された通信用データは、図3(b)のステップS311において遠隔操作装置200の通信処理部202で受信される。
ステップS312では、制御演算部204は、ステップS311で受信した通信用データから映像データと露出制御用パラメータを取得し、ステップS313にて映像データを表示部203に表示する。
ステップS314では、制御演算部204は、操作部205から表示画面の特定領域を指定するための操作信号が入力されたか判定する。そして、操作信号の入力がない場合は、遠隔操作装置200は処理を終了し、撮像装置100もステップS305にて通信用データが受信されないため処理を終了する。
一方、ステップS314で操作信号が入力された場合の処理について説明する。
ステップS315では、遠隔操作装置200の制御演算部204は、ユーザ操作により一点の座標が指定された場合はその座標を中心に所定範囲の輝度データを取得し、領域が指定された場合はその領域の輝度データを取得する。この輝度データは、指定された領域を複数に分割した各輝度の平均値でも良いし、輝度の最大値や最小値、輝度の分布を示すヒストグラム情報であっても良い。
ステップS316では、制御演算部204は、ステップS315で取得した輝度データと露出制御用パラメータとを通信処理部202により通信に適した形式に変換して通信用データを生成し、ステップ317で撮像装置100へ送信する。
上記のように遠隔操作装置200から送信された通信用データは、図3(a)のステップS305において撮像装置100の通信処理部107で受信される。
ステップS306では、撮像装置100の制御演算部109は、ステップS305で受信した通信用データから輝度データと露出制御用パラメータとを取得する。
ステップS307では、制御演算部109は、ステップS306で取得した輝度データと露出制御用パラメータを用いて、操作部205により指定された特定の被写体領域の明るさが所定の明るさ(例えば、適正露出)になるように露出制御用データを算出する。
ステップS308では、制御演算部109は、ステップS307で算出された露出制御用データを露出制御部110へ送出し、露出制御を行う。
ステップS307で算出される露出制御用データは、輝度データが平均輝度値であり、被写体の明るさを適正にする場合には、適正輝度値との差分から補正が必要な露出段差を算出し、ステップS306の露出制御用パラメータを補正することで算出可能である。
[実施形態2]次に、図4を参照して、実施形態2の遠隔操作による撮影制御処理について説明する。
上記実施形態1では撮像装置100の露出制御を行う例を説明したが、一部の処理内容を変更することでホワイトバランス(WB)制御にも応用できる。そこで、以下では、上記実施形態1に対する相違部分に着目して、本発明のシステムによりWB制御を行う実施形態2について説明する。つまり、本実施形態では、撮影パラメータとして露出制御用パラメータの代わりにホワイトバランス制御用パラメータを扱うことになる。
なお、本実施形態の撮像装置100や遠隔操作装置200の構成や通信形態は、実施形態1と同一であるため説明を省略する。
図4において、ステップS401で取得するWB制御用パラメータは、RGBの画像信号や色差信号のそれぞれに対するゲイン値となる。
また、ステップS415で、操作部205により指定された特定の被写体領域から取得されるデータは、輝度データではなく色データとなる。ここで色データとは、平均の色差値や平均のRGB値を含む。また、所定の色域に入る画素の色差値やRGB値のみの平均値でも良い。
ステップS407では、制御演算部109は、ステップS406で取得した色データとWB制御用パラメータを用いて、操作部205により指定された特定の被写体領域の色が所定の色になるようにホワイトバランス制御用データを算出する。例えば、WB制御用パラメータがRGB信号に対するゲイン値、色データが色差信号の場合に、被写体の色を白色に調整するには、色データの色差信号であるR−Y、B−Yの値が0になるようにRGBの各値に対するゲイン値を算出し、ステップS406で取得したWB制御用パラメータを補正する。
そして、ステップS408では、制御演算部109は、ステップS407で算出されたWB制御用データに従い、撮像信号処理部103により撮像信号に対してWB処理を行う。
[実施形態3]次に、図5を参照して、実施形態3の遠隔操作による撮影処理について説明する。
上記実施形態1では撮像装置100の露出制御を行う例を説明したが、一部の処理内容を変更することでフォーカス制御にも応用できる。そこで、以下では、上記実施形態1に対する相違部分に着目して、本発明のシステムによりフォーカス制御を行う実施形態3について説明する。つまり、本実施形態では、撮影パラメータとして露出制御用パラメータの代わりに被写体までの距離情報を扱うことになる。
なお、本実施形態の撮像装置100や遠隔操作装置200の構成や通信形態は、実施形態1と同一であるため説明を省略する。
図5において、ステップS501では、撮像信号処理部103は、撮像信号の各画素単位もしくは画面を複数の領域に分割した各領域単位で被写体までの距離情報を取得し、距離情報マップを生成する。
ステップS515では、遠隔操作装置200の制御演算部204は、ステップS501で生成された距離情報マップから、ユーザ操作により指定された特定の被写体の距離情報を取得する。
ステップS516では、制御演算部204は、ステップS515で取得した距離情報を通信処理部202により通信に適した形式に変換して通信用データを生成する。
ステップS507では、制御演算部109は、ステップS506で取得した距離情報を用いて、操作部205により指定された特定の被写体に合焦させるようなフォーカス制御用データを算出する。
ステップS508では、制御演算部109は、ステップS507で算出されたフォーカス制御用データをフォーカス制御部111へ送出し、フォーカス制御を行う。
[実施形態4]次に、図6を参照して、実施形態4の遠隔操作による撮影制御処理について説明する。
上記実施形態1〜3では、撮像装置100から遠隔操作装置200へ、撮影時に用いた露出制御用パラメータ、WB制御用パラメータもしくは被写体距離情報を送信したが、これらの代わりに映像データのフレーム番号を送信することでも同様の処理が可能となる。そこで、以下では、上記実施形態1〜3に対する相違部分に着目して、本発明のシステムにおいてフレーム番号を用いる実施形態について説明する。
なお、本実施形態の撮像装置100や遠隔操作装置200の構成や通信形態は、実施形態1〜3と同一であるため説明を省略する。
図6において、ステップS601では、撮像装置100の制御演算部109は、映像データの各フレーム撮影時の制御用情報をフレーム番号と対応させて作業用メモリに一時的に保持させる。なお、メモリに保持させるフレーム数は、往復の通信による遅延時間を考慮して十分なマージンを持たせた上で設定する。例えば秒間30フレームの撮影において往復の通信による遅延時間が最大3秒の場合、マージン含めて100フレーム分程度の制御用情報を記憶させ、それ以前のデータは削除しても構わない。なお、制御用情報とは、露出制御では露出制御用パラメータであり、WB制御ではホワイトバランス制御用パラメータであり、フォーカス制御では距離情報マップを含む。
ステップS603では、制御演算部109は、通信処理部107により映像データとフレーム番号を通信に適した形式に変換した通信用データを生成し、ステップS604で遠隔操作装置200へ送信する。
ステップS615では、遠隔操作装置200の制御演算部204は、ユーザ操作により指定された特定の被写体領域の情報とフレーム番号を取得する。ここで取得される情報は、露出制御では輝度データであり、WB制御では色データであり、フォーカス制御では座標情報となる。ここでは、これらの情報をまとめて領域情報と称する。
ステップS616では、制御演算部204は、通信処理部202により領域情報とフレーム番号を通信に適した形式に変換し、ステップS617で撮像装置100へ送信する。
ステップS606では、撮像装置100の通信処理部107が遠隔操作装置200が受信した通信用データから、領域情報とフレーム番号を取得する。
ステップS607では、制御演算部109は、ステップS606で取得したフレーム番号に対応する制御用情報をメモリから取得する。
ステップS608では、制御演算部109は、メモリから取得した領域情報と制御用情報を用いて、適切な制御を行うための制御用データを算出し、ステップS609で制御演算部109が各部の制御を行う。ここで、例えば露出制御を行う場合は、領域情報である輝度データと制御用情報である露出制御用パラメータを用いて、実施形態1で説明したように適切な露出制御用データが算出される。また、WB制御を行う場合は、色データとWB制御用パラメータを用いることで、実施形態2で説明したように適切なWB制御用データが算出される。さらに、フォーカス制御を行う場合は、特定の被写体領域の座標情報と距離情報マップから被写体距離情報を取得し、実施形態3で説明したように適切なフォーカス制御用データが算出される。
[実施形態5]次に、図7を参照して、実施形態5の遠隔操作による撮影制御処理について説明する。
上記実施形態4では、遠隔操作装置200では特定の被写体領域の情報を取得し、撮像装置100で適切な制御用データを算出していたが、制御用データを遠隔操作装置200側で算出することも可能である。そこで、以下では、上記実施形態4に対する相違部分に着目して、本発明のシステムにおいて遠隔操作装置200で制御用データを算出する実施形態5について説明する。
なお、本実施形態の撮像装置100や遠隔操作装置200の構成や通信形態は、実施形態1〜3と同一であるため説明を省略する。
図7において、ステップS701では、撮像装置100の制御演算部109は、露出制御を行う場合は露出制御用パラメータ、WB制御を行う場合はWB制御用パラメータ、フォーカス制御を行う場合は距離情報マップをそれぞれ制御用情報として取得する。
ステップS703では、制御演算部109は、通信処理部107により映像データと制御用情報を通信用データに変換し、ステップS704で遠隔操作装置200へ送信する。
ステップS715では、遠隔操作装置200の制御演算部204は、ユーザ操作により指定された特定の被写体領域の情報を取得する。ここで取得される領域情報は、露出制御では輝度データであり、WB制御では色データであり、フォーカス制御では被写体距離情報となる。
ステップS716では、制御演算部204は、ステップS712、S715で取得した領域情報と制御用情報から適切な制御用データを算出し、ステップS717で通信処理部202により通信用データに変換し、ステップS718で撮像装置100に送信する。上記露出制御、WB制御、フォーカス制御における各制御用データの算出は、上述した各実施形態で説明した通りである。
ステップS706では、撮像装置100の通信処理部107は遠隔操作装置200から受信した通信用データから制御用データを取得し、ステップS707で制御演算部109が各部の制御を行う。
なお、上述した各実施形態において、ユーザ操作の結果が表示される映像に反映されるまでに時間がかかる場合、処理中であることを操作者に通知するためのアイコンなどを表示部203に表示しても良い。
以上説明したように、本実施形態によれば、遠隔操作装置200側の表示画面上で指定された特定の被写体領域の情報に基づいて撮像装置100を遠隔操作する場合に、通信の遅延の影響を受けずに操作者の意図通りの制御が可能となる。
[他の実施形態]本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア(プログラム)をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(又はCPUやMPU等)がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (19)

  1. 撮像装置を遠隔操作する遠隔操作装置であって、
    前記撮像装置と通信する通信手段と、
    前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、
    前記映像データを表示する表示手段と、
    前記表示手段により表示された映像の所定の範囲を指定する指定手段と、
    前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、
    前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信手段と、を有し、
    前記パラメータは、映像データの各フレーム撮影時の露出制御値であり、
    前記所定の情報は、輝度データまたは輝度のヒストグラムの情報であることを特徴とする遠隔操作装置。
  2. 撮像装置を遠隔操作する遠隔操作装置であって、
    前記撮像装置と通信する通信手段と、
    前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、
    前記映像データを表示する表示手段と、
    前記表示手段により表示された映像の所定の範囲を指定する指定手段と、
    前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、
    前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信手段と、を有し、
    前記パラメータは、映像データの各フレーム撮影時のホワイトバランス制御値であり、
    前記所定の情報は、色データであることを特徴とする遠隔操作装置。
  3. 撮像装置を遠隔操作する遠隔操作装置であって、
    前記撮像装置と通信する通信手段と、
    前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、
    前記映像データを表示する表示手段と、
    前記表示手段により表示された映像の所定の範囲を指定する指定手段と、
    前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、
    前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信手段と、を有し、
    前記パラメータは、映像データの各フレーム撮影時の被写体の距離情報であることを特徴とする遠隔操作装置。
  4. 前記撮像装置において制御用データに基づいて撮像した映像が前記表示手段に表示されるまで、処理中であるこをユーザに通知する通知手段を更に有することを特徴とする請求項1ないしのいずれか1項に記載の遠隔操作装置。
  5. 遠隔操作装置により操作が可能な撮像装置であって、
    撮像手段と、
    前記遠隔操作装置と通信する通信手段と、
    前記通信手段を介して前記遠隔操作装置へ映像データと当該映像の撮影時のパラメータを送信する送信手段と、
    前記通信手段を介して前記遠隔操作装置から通信用データを受信する受信手段と、
    前記受信手段により受信した通信用データに含まれる、前記映像データの所定の範囲から得られた所定の情報と前記パラメータとを取得する取得手段と、
    前記取得手段により取得された前記所定の情報と前記パラメータとを用いて制御用データを生成し、当該制御用データに基づいて前記撮像手段を制御する制御手段と、を有することを特徴とする撮像装置。
  6. 前記パラメータは、映像データの各フレーム撮影時の露出制御値であり、
    前記所定の情報は、輝度データまたは輝度のヒストグラムの情報であり、
    前記制御用データは、前記所定の範囲の画像の明るさを所定の明るさに調整するための露出制御用データであることを特徴とする請求項に記載の撮像装置。
  7. 前記パラメータは、映像データの各フレーム撮影時のホワイトバランス制御値であり、
    前記所定の情報は、色データであり、
    前記制御用データは、前記所定の範囲の画像の色を所定の色に調整するためのホワイトバランス制御用データであることを特徴とする請求項に記載の撮像装置。
  8. 前記パラメータは、映像データの各フレーム撮影時の被写体の距離情報であり、
    前記制御用データは、前記遠隔操作装置で指定された範囲の被写体に焦点を合わせるためのフォーカス制御用データであることを特徴とする請求項に記載の撮像装置。
  9. 前記取得手段により取得された所定の情報に基づいて前記パラメータを補正して前記制御用データを算出する算出手段を更に有することを特徴とする請求項ないしのいずれか1項に記載の撮像装置。
  10. 前記送信手段は、前記パラメータに代えて、映像データのフレーム番号を送信し、
    前記制御手段は、所定のフレーム数だけフレーム番号に対応する制御用情報を記憶している記憶手段を有し、
    前記算出手段は、前記記憶手段から取得した前記フレーム番号に対応する制御用情報を用いて前記制御用データを算出することを特徴とする請求項に記載の撮像装置。
  11. 前記制御用データは、前記遠隔操作装置で指定された範囲の被写体の明るさが適正になるような露出制御値であることを特徴とする請求項に記載の撮像装置。
  12. 前記制御用データは、前記遠隔操作装置で指定された範囲の被写体の色が白色になるようなホワイトバランス制御値であることを特徴とする請求項に記載の撮像装置。
  13. 撮像装置を遠隔操作する遠隔操作装置の制御方法であって、
    前記撮像装置と通信する通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信ステップと、
    表示手段に表示された映像の所定の範囲を指定する指定ステップと、
    前記指定された範囲の映像データから所定の情報を取得する取得ステップと、
    前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信ステップと、を有し、
    前記パラメータは、映像データの各フレーム撮影時の露出制御値であり、
    前記所定の情報は、輝度データまたは輝度のヒストグラムの情報であることを特徴とする制御方法。
  14. 撮像装置を遠隔操作する遠隔操作装置の制御方法であって、
    前記撮像装置と通信する通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信ステップと、
    表示手段に表示された映像の所定の範囲を指定する指定ステップと、
    前記指定された範囲の映像データから所定の情報を取得する取得ステップと、
    前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信ステップと、を有し、
    前記パラメータは、映像データの各フレーム撮影時のホワイトバランス制御値であり、
    前記所定の情報は、色データであることを特徴とする制御方法。
  15. 撮像装置を遠隔操作する遠隔操作装置の制御方法であって、
    前記撮像装置と通信する通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信ステップと、
    表示手段に表示された映像の所定の範囲を指定する指定ステップと、
    前記指定された範囲の映像データから所定の情報を取得する取得ステップと、
    前記通信手段を介して前記所定の情報と前記パラメータとを前記撮像装置へ送信する送信ステップと、を有し、
    前記パラメータは、映像データの各フレーム撮影時の被写体の距離情報であることを特徴とする制御方法。
  16. 遠隔操作装置により操作が可能な撮像装置の制御方法であって、
    前記遠隔操作装置と通信する通信手段を介して前記遠隔操作装置へ映像データと当該映像の撮影時のパラメータを送信する送信ステップと、
    前記通信手段を介して前記遠隔操作装置から通信用データを受信する受信ステップと、
    前記受信した通信用データに含まれる、前記映像データの所定の範囲から得られた所定の情報と前記パラメータとを取得する取得ステップと、
    前記取得された前記所定の情報と前記パラメータとを用いて制御用データを生成し、当該制御用データに基づいて撮像手段を制御する制御ステップと、を有することを特徴とする制御方法。
  17. 遠隔操作装置により撮像装置を遠隔操作するシステムであって、
    前記遠隔操作装置は、
    前記撮像装置と通信する通信手段と、
    前記通信手段を介して前記撮像装置から映像データと当該映像の撮影時のパラメータを受信する受信手段と、
    前記映像データを表示する表示手段と、
    前記表示手段により表示された映像の所定の範囲を指定する指定手段と、
    前記指定手段により指定された範囲の映像データから所定の情報を取得する取得手段と、
    前記通信手段を介して前記所定の情報と前記遠隔操作装置の受信手段が受信したパラメータとを前記撮像装置へ送信する送信手段と、を有し、
    前記撮像装置は、
    撮像手段と、
    前記遠隔操作装置と通信する通信手段と、
    前記通信手段を介して前記遠隔操作装置へ映像データと当該映像の撮影時のパラメータを送信する送信手段と、
    前記通信手段を介して前記遠隔操作装置から通信用データを受信する受信手段と、
    前記受信手段により受信した通信用データに含まれる、前記映像データの所定の範囲から得られた所定の情報と前記撮像装置の送信手段が送信したパラメータとを取得する取得手段と、
    前記取得手段により取得された前記所定の情報と前記パラメータとを用いて制御用データを生成し、当該制御用データに基づいて前記撮像手段を制御する制御手段と、を有することを特徴とするシステム。
  18. コンピュータを、請求項1ないしのいずれか1項に記載された遠隔操作装置の各手段として機能させるためのプログラム。
  19. コンピュータを、請求項ないし12のいずれか1項に記載された撮像装置の各手段として機能させるためのプログラム。
JP2013159713A 2013-07-31 2013-07-31 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム Active JP6141137B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013159713A JP6141137B2 (ja) 2013-07-31 2013-07-31 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム
US14/445,361 US9369623B2 (en) 2013-07-31 2014-07-29 Remote-control apparatus and control method thereof, image capturing apparatus and control method thereof, and system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013159713A JP6141137B2 (ja) 2013-07-31 2013-07-31 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム

Publications (2)

Publication Number Publication Date
JP2015032910A JP2015032910A (ja) 2015-02-16
JP6141137B2 true JP6141137B2 (ja) 2017-06-07

Family

ID=52427328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013159713A Active JP6141137B2 (ja) 2013-07-31 2013-07-31 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム

Country Status (2)

Country Link
US (1) US9369623B2 (ja)
JP (1) JP6141137B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6162903B2 (ja) * 2014-12-15 2017-07-12 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 画像処理システム、リモコン撮影モジュール、移動端末および露出情報提示方法
JP6611614B2 (ja) * 2016-01-06 2019-11-27 キヤノン株式会社 電子機器及びその制御方法、プログラムならびに記憶媒体
JP7052652B2 (ja) * 2018-09-06 2022-04-12 トヨタ自動車株式会社 移動ロボット、遠隔端末、移動ロボットの制御プログラム、および遠隔端末の制御プログラム
JP7233886B2 (ja) * 2018-11-07 2023-03-07 キヤノン株式会社 画像処理装置
CN113728614A (zh) * 2020-02-28 2021-11-30 深圳市大疆创新科技有限公司 视频拍摄方法、装置和系统
CN114979466B (zh) * 2022-04-22 2023-12-08 西安广和通无线通信有限公司 拍摄处理方法、装置和无线通信模组

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3110557B2 (ja) 1992-07-01 2000-11-20 キヤノン株式会社 カメラ制御装置
JP2002354327A (ja) * 2001-05-30 2002-12-06 Minolta Co Ltd 画像撮影装置、その操作装置、および画像撮影システム
JP4424292B2 (ja) * 2005-09-28 2010-03-03 ソニー株式会社 撮像装置、露出制御方法およびプログラム
JP2009105687A (ja) * 2007-10-24 2009-05-14 Mitsubishi Electric Corp 撮像システム
JP2010062834A (ja) 2008-09-03 2010-03-18 Olympus Corp 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP5436019B2 (ja) * 2009-04-21 2014-03-05 キヤノン株式会社 制御装置、制御方法、プログラム及び記録媒体
JP2011035716A (ja) * 2009-08-03 2011-02-17 Funai Electric Co Ltd 携帯電話機、携帯電話機を用いた撮像システムおよび撮像方法
JP5393340B2 (ja) * 2009-08-20 2014-01-22 オリンパス株式会社 撮像端末、表示端末、表示方法、及び撮像システム
JP2013110738A (ja) * 2011-10-27 2013-06-06 Panasonic Corp 画像通信装置および撮像装置
JP6103948B2 (ja) * 2013-01-17 2017-03-29 キヤノン株式会社 撮像装置、遠隔操作端末、カメラシステム、撮像装置の制御方法およびプログラム、遠隔操作端末の制御方法およびプログラム

Also Published As

Publication number Publication date
JP2015032910A (ja) 2015-02-16
US9369623B2 (en) 2016-06-14
US20150036013A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
JP6141137B2 (ja) 遠隔操作装置およびその制御方法、撮像装置およびその制御方法、システム、並びにプログラム
JP5436019B2 (ja) 制御装置、制御方法、プログラム及び記録媒体
CN111246080B (zh) 控制设备、控制方法、摄像设备以及存储介质
KR102072731B1 (ko) 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 저장매체
CN108932701B (zh) 信息处理装置、信息处理方法和非暂时性存储介质
JP6057705B2 (ja) 撮像装置、撮像装置の制御方法、及びプログラム
JP4499908B2 (ja) 電子カメラシステム、電子カメラ、サーバコンピュータおよび撮影条件修正方法
JP5790858B2 (ja) 画像合成装置、画像合成方法、及びプログラム
JP2011101073A (ja) 撮像装置、ホワイトバランス設定方法、及び、プログラム
JP6980450B2 (ja) 制御装置、制御方法、及びプログラム
JP2014107837A (ja) 撮像装置、画像処理装置、及び制御方法
WO2018225360A1 (ja) 撮像装置、撮像装置の制御方法、及び撮像装置の制御プログラム
JP6719932B2 (ja) 情報設定装置および情報管理装置および情報生成装置およびこれらの制御方法およびプログラム
EP3739864A1 (en) Electronic apparatus, control method of electronic apparatus, program, and computer readable medium
JP2021100238A (ja) 画像処理装置、撮像装置および画像処理方法
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
US11775157B2 (en) Image processing apparatus, image processing system, and control method for processing a second image with adjusting level of a first image
US20230388637A1 (en) Image capturing apparatus, information processing apparatus, control method, and storage medium
JP2017126914A (ja) 画像処理システム
US11477367B2 (en) Information processing apparatus, image processing apparatus, and method of controlling the same
JP2023072581A (ja) 撮像装置およびその制御方法、レンズ装置、像倍率補正用データ、画像処理装置および画像処理方法、ならびにアクセサリ装置
KR20150089727A (ko) 다중 초점 방식으로 영상을 생성하는 스마트폰 카메라 장치 및 방법
JP2016019253A (ja) 撮像システム
JP2021071989A (ja) 画像処理装置および画像処理方法
JP6292870B2 (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160623

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170217

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170321

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170502

R151 Written notification of patent or utility model registration

Ref document number: 6141137

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151