JP5880210B2 - 通信装置、撮像装置、撮像システム及びプログラム - Google Patents

通信装置、撮像装置、撮像システム及びプログラム Download PDF

Info

Publication number
JP5880210B2
JP5880210B2 JP2012076810A JP2012076810A JP5880210B2 JP 5880210 B2 JP5880210 B2 JP 5880210B2 JP 2012076810 A JP2012076810 A JP 2012076810A JP 2012076810 A JP2012076810 A JP 2012076810A JP 5880210 B2 JP5880210 B2 JP 5880210B2
Authority
JP
Japan
Prior art keywords
imaging
image data
size
image
imaging device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012076810A
Other languages
English (en)
Other versions
JP2013207680A (ja
Inventor
青野 啓介
啓介 青野
幸彦 村上
幸彦 村上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2012076810A priority Critical patent/JP5880210B2/ja
Priority to US13/852,474 priority patent/US9131146B2/en
Publication of JP2013207680A publication Critical patent/JP2013207680A/ja
Application granted granted Critical
Publication of JP5880210B2 publication Critical patent/JP5880210B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6842Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Selective Calling Equipment (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本発明は通信装置、撮像装置、撮像システム及びプログラムに関する。
スマートフォンやタブレット端末等の無線通信端末を用いて操作可能なビデオカメラが知られている。このようなビデオカメラは、Wi−Fi等の無線通信路を介して、無線通信端末から送られてくる操作信号を受信し、操作信号に応じた動作(録画開始、録画停止、パン動作、チルト動作、ズーム等)を実行する。
例えば、特許文献1には、ビデオカメラが撮像した全体領域映像に含まれる一部の切り出し領域(部分領域)の映像を操作端末に配信し、当該部分領域の映像を操作端末に表示する映像配信方法が開示されている。全体領域における部分領域の位置は、操作端末から送信される移動要求に応じて移動可能である。
特開平9−261522号公報
しかしながら、部分領域の位置を移動可能とし、かつ、パンチルト動作によりビデオカメラの撮像方向も変更可能(全体領域の位置も変更可能)な撮像装置を考えた場合、所望の被写体を撮像するために、部分領域の位置及びビデオカメラの撮像方向の両方を調整する必要が生じる。また、撮像方向の変更操作の信号は通信路を介してビデオカメラに送られるため、パンチルトの操作を行ってから、当該操作が反映した映像が表示されるまでに、一定時間のタイムラグ(遅延)が生じる。したがって、ユーザの意図した被写体を撮像することが難しいという問題がある。なお、特許文献1には、ビデオカメラの撮像方向を変更することについては何ら記載されていない。
本発明はこのような問題を解決するためになされたものであり、所望の被写体を容易に撮像することができる通信装置、撮像装置、撮像システム及びプログラムを提供することを目的としている。
本発明の一態様に係る通信装置(20)は、所定の撮像方向を向いた撮像装置(1)の撮像処理により生成された画像データと、前記所定の撮像方向を示す撮像方向情報と、を受信する受信手段(通信部28)と、ユーザの操作に応じて、前記撮像装置(1)の撮像方向を指示する方向指示情報を生成する操作手段(22)と、前記画像データの所定領域を切り出す画像切り出し手段(24)と、前記所定領域の画像データに基づいて、画像を表示する表示手段(21)と、前記撮像方向情報及び前記方向指示情報に基づいて、前記画像データにおける前記所定領域の位置を調整する領域位置調整手段(25)と、前記ユーザが前記撮像装置(1)の撮像方向を指示する操作を開始することを検知する操作開始検知手段と、前記撮像装置(1)に対して、前記撮像装置(1)が送信する前記画像データの画像サイズを、第1のサイズから当該第1のサイズよりも大きい第2のサイズに変更することを指示するサイズ変更指示情報を生成するサイズ変更指示手段(26)と、前記サイズ変更指示情報を前記撮像装置(1)に送信する送信手段(28)と、をさらに備え、前記サイズ変更指示手段(26)は、前記操作開始検知手段により前記ユーザが操作を開始することが検知された場合、前記サイズ変更指示情報を生成し、前記送信手段(28)を介して、前記撮像装置(1)に前記サイズ変更指示情報を送信するものである。このような構成により、撮像装置の撮像方向の変化によって、操作端末において切り出される所定領域の位置も変化する。このため、生成される画像データにおける被写体の位置が変化しても、切り出し領域と被写体との相対的な位置は変化しない。その結果、表示部に表示される被写体の位置も変化しない。したがって、表示部は安定した画像を表示することができる。
上記通信装置(20)において、前記操作開始検知手段は、前記操作手段(22)にユーザの手が接近したことを検知する接近検知手段(27)を含み、前記サイズ変更指示手段(26)は、前記接近検知手段(27)により前記ユーザの手の接近が検知された場合、前記サイズ変更指示情報を生成し、前記送信手段(28)を介して、前記撮像装置(1)に前記サイズ変更指示情報を送信してもよい。
上記通信装置(20)において、前記画像切り出し手段(24)は、前記受信手段(28)が受信した画像データが、前記第1のサイズの画像である場合、前記所定領域の画像データの切り出しを行わず、前記表示手段(21)は、前記受信手段(28)が受信した前記画像データに基づいて、画像を表示してもよい。
本発明の一態様に係る撮像システムは、撮像装置(1)と、当該撮像装置(1)を操作する通信装置(20)と、を備え、前記撮像装置(1)と前記通信装置(20)とは、通信路を介して接続されている撮像システムであって、前記撮像装置(1)は、撮像処理により画像データを生成する撮像手段(100)と、前記撮像手段(100)により撮像処理が行われた撮像方向を検出する撮像方向検出手段(ジャイロセンサ208)と、前記画像データと、前記撮像方向検出手段(208)により検出された撮像方向を示す撮像方向情報と、を前記通信装置(20)に送信する送信手段(無線モジュール308)と、を備え、前記通信装置(20)は、前記画像データと、前記撮像方向情報と、を受信する受信手段(通信部28)と、ユーザの操作に応じて、前記撮像装置(1)の撮像方向を指示する方向指示情報を生成する操作手段(22)と、前記画像データの所定領域を切り出す画像切り出し手段(24)と、前記所定領域の画像データに基づいて、画像を表示する表示手段(21)と、前記撮像方向情報及び前記方向指示情報に基づいて、前記画像データにおける前記所定領域の位置を調整する領域位置調整手段(25)と、前記ユーザが前記撮像装置(1)の撮像方向を指示する操作を開始することを検知する操作開始検知手段と、前記撮像装置(1)に対して、前記撮像装置(1)が送信する前記画像データの画像サイズを、第1のサイズから当該第1のサイズよりも大きい第2のサイズに変更することを指示するサイズ変更指示情報を生成するサイズ変更指示手段(26)と、前記サイズ変更指示情報を前記撮像装置(1)に送信する送信手段(通28)と、をさらに備え、前記サイズ変更指示手段(26)は、前記操作開始検知手段により前記ユーザが操作を開始することが検知された場合、前記サイズ変更指示情報を生成し、前記送信手段(28)を介して、前記撮像装置(1)に前記サイズ変更指示情報を送信するものである。このような構成により、撮像装置の撮像方向の変化によって、操作端末において切り出される所定領域の位置も変化する。このため、生成される画像データにおける被写体の位置が変化しても、切り出し領域と被写体との相対的な位置は変化しない。その結果、表示部に表示される被写体の位置も変化しない。したがって、表示部は安定した画像を表示することができる。
本発明の一態様に係るプログラムは、コンピュータに、所定の撮像方向を向いた撮像装置(1)の撮像処理により生成された画像データと、前記所定の撮像方向を示す撮像方向情報と、を受信させるステップと、ユーザの操作に応じて、前記撮像装置(1)の撮像方向を指示する方向指示情報を生成させるステップと、前記画像データの所定領域を切り出させるステップと、前記所定領域の画像データに基づいて、画像を表示させるステップと、前記撮像方向情報及び前記方向指示情報に基づいて、前記画像データにおける前記所定領域の位置を調整させるステップと、前記ユーザが前記撮像装置の撮像方向を指示する操作を開始することを検知する操作開始検知ステップと、前記撮像装置に対して、前記撮像装置が送信する前記画像データの画像サイズを、第1のサイズから当該第1のサイズよりも大きい第2のサイズに変更することを指示するサイズ変更指示情報を生成するサイズ変更指示ステップと、前記サイズ変更指示情報を前記撮像装置に送信する送信ステップと、を備え、前記サイズ変更指示ステップは、前記操作開始検知ステップにより前記ユーザが操作を開始することが検知された場合、前記サイズ変更指示情報を生成し、前記送信ステップを介して、前記撮像装置に前記サイズ変更指示情報を送信するものである。


本発明により、安定した画像を表示することができる通信装置、撮像装置、撮像システム及びプログラムを提供することができる。
実施の形態にかかる撮像装置の外観図である。 実施の形態にかかる撮像装置のブロック図である。 実施の形態にかかる操作端末のブロック図である。 実施の形態にかかる撮像装置の動作を示すフローチャートである。 実施の形態にかかる操作端末の動作を示すフローチャートである。 実施の形態にかかる操作端末の動作を示すフローチャートである。 実施の形態にかかる操作端末の動作を説明するための図である。 実施の形態にかかる撮像装置及び操作端末の動作を説明するための図である。
以下、図面を参照して本発明の実施の形態について説明する。本実施の形態にかかる撮像装置1は、動画像及び静止画像を撮像することができるデジタルカメラを有している。撮像装置1の外観斜視図を図1に示す。
図1示すように、撮像装置1は、本体部11と、支持部12と、アーム部13と、回転台14と、固定台15と、を備える。
本体部11は、複数のレンズを有するレンズユニットや、撮像素子、バッテリ、Wi−Fiモジュール等を格納する筐体である。本体部11の前側には、レンズ16が取り付けられている。本体部11は、後述する操作端末と無線通信を行い、操作端末から送信される指示信号に応じて動作する。
支持部12は、本体部11を支持する。また、支持部12の左右方向の両端は、アーム部13に対して回転可能に連結されている。このため、支持部12は、左右方向を軸とするピッチ方向に回転することができる。アーム部13の一端は、支持部12に連結されている。また、アーム部13の他端は、回転台14の側面に固定されている。
回転台14は、円盤形状であり、側面(周面)の対向する位置にアーム部13が固定されている。回転台14は、固定台15に対して回転可能に連結されている。このため、回転台14は、上下方向を軸とするヨー方向に回転することができる。このような構成により、本体部11は、固定台15の上方に位置するように支持され、パン動作(ヨー方向回転)及びチルト動作(ピッチ方向回転)を行うことができる。パンチルト動作は、図示しないモータを駆動させることにより実現される。つまり、支持部12と、アーム部13と、回転台14と、固定台15と、がパンチルト動作可能な雲台として機能する。
撮像装置1の本体部11の内部構成について説明する。図2は、本実施の形態にかかる本体部11のブロック図である。本体部11は、ズームレンズ101、フォーカスレンズ102、絞り103、及び撮像素子104で構成される撮像部100を有する。ズームレンズ101は図示しないズームアクチュエータによって光軸LAに沿って移動する。同様に、フォーカスレンズ102は、図示しないフォーカスアクチュエータによって光軸LAに沿って移動する。絞り103は、図示しない絞りアクチュエータに駆動されて動作する。撮像素子104は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)等で構成される。
撮像装置1を用いた撮像は以下の手順で行われる。撮像素子104は、ズームレンズ101、フォーカスレンズ102、及び絞り103を通過した光を光電変換して、被写体のアナログ画像信号を生成する。アナログ画像信号処理部105が、このアナログ画像信号を増幅した後、画像A/D変換部106が、その増幅された信号をデジタル画像データに変換する。画像入力コントローラ107は、画像A/D変換部106から出力されたデジタル画像データを撮像データとして取り込んで、バス200を介してメインメモリ206に格納する。
デジタル信号処理部108は、バス200を介して中央制御部400からの指令に基づき、メインメモリ206に格納された撮像データを取り込み、RGB信号に対して、所定の信号処理を施して輝度信号と色差信号とからなるデータを生成する。デジタル信号処理部108はまた、オフセット処理、ホワイトバランス調整処理、ガンマ補正処理、RGB補完処理、ノイズ低減処理、輪郭補正処理、色調補正処理、光源種別判定処理等の各種デジタル補正を行う。
マイク109は撮像時の周囲の音声を収音し、アナログ音声信号を生成する。アナログ音声信号処理部110がそのアナログ音声信号を増幅した後、音声A/D変換部111が、その増幅された信号をデジタル音声データに変換する。音声入力コントローラ112は、音声A/D変換部111から出力されたデジタル音声データを撮像データと併せてメインメモリ206に格納する。
多重化部113は、メインメモリ206に格納された撮像データ及びデジタル音声データを多重化しストリームデータを生成する。
圧縮・伸長処理部201は、バス200を介して中央制御部400からの指示に従い、メインメモリ206に格納されたストリームデータに所定の圧縮処理を施し、圧縮データを生成する。また、中央制御部400からの指令に従い、カード型記録媒体302等に格納された圧縮データに所定形式の伸張処理を施し、非圧縮データを生成する。なお、本実施の形態の撮像装置1では、静止画像に対してはJPEG規格に準拠した圧縮方式が、動画像に対してはMPEG2規格やAVC/H.264規格に準拠した圧縮方式が採用される。
音声・画像処理部202は、バス200を介して中央制御部400の指示に従い、メインメモリ206から読み出したデジタルデータに所定の画像処理を施す。例えばメニュー画像やOSD画像等、各種処理のための画像データを生成し、その画像データをメインメモリ206から読み出されたオリジナルの撮像データに重畳させて液晶モニタ304に出力する。この出力によって、液晶モニタ304に表示される画像は各種画像データが合成されたものとなる。なお、液晶モニタ304の代わりに有機EL(Electro-Luminescence)モニタ等の他のモニタを用いることも可能である。
ROM203は、バス200を介して中央制御部400に接続されており、中央制御部400が実行する制御プログラム及び制御に必要な各種データ等を格納している。フラッシュROM204は、ユーザの設定情報等、撮像装置1の動作に関する各種設定情報を格納している。例えば、撮像装置1は、様々な撮像のシチュエーションに応じて、いくつかの撮像モードと、各モードにあわせた撮像条件の設定を予めフラッシュROM204に記憶している。そして、ユーザは撮像を開始する前に、各モードの中から最適なモードを選択することにより、最適な撮像条件で撮像を実施することができる。例えば、特定の人物の撮像に適した「ポートレートモード」、運動会等の撮像に適した「スポーツモード」、又は夜景等の暗い場所の撮像に適した「夜景モード」等である。VRAM205は、表示用の撮像データの一時記憶領域として使用される。
メインメモリ206は、撮像データ(動画像及び静止画)の一時記憶領域として使用される。メインメモリ206は、中央制御部400の指令に応じて、保持している撮像データをカード型記録媒体302に格納する。
メディア制御部207は、中央制御部400の指令に従い、カードI/F301を通じてカード型記録媒体302へのデータの書き込みやデータの読み出しを制御する。カード型記録媒体302はSDカードやコンパクトフラッシュ(登録商標)等の外部メモリであり、撮像装置1に対して脱着可能に設けられている。
ジャイロセンサ208(撮像方向検出手段)は、3軸の加速度及び角速度の変化を検出し、撮像装置1のパンチルト量や上下及び左右の手ぶれ量を検出する。なお、撮像方向検出手段は、ジャイロセンサに限られず、例えば、方位センサであってもよい。撮像装置1のパンチルト量に基づいて、撮像装置1の撮像方向を特定することができる。時計209は、撮像データの生成日時の情報を生成する。
液晶モニタ304、スピーカ305、操作部306及び入出力端子307は入出力I/F303に接続されている。液晶モニタ304は、例えばVRAM205やメインメモリ206に一時記録された撮像データや各種メニュー画像データ等、各種画像データから生成された画像を表示する。スピーカ305は、例えばメインメモリ206に一時記録された音声を出力する。操作部306は、上記のように、レリーズ・スイッチや電源スイッチを含む操作キー、十字キー、ジョイスティック、又は液晶モニタ304上に重畳されたタッチパネル等から構成されており、ユーザの撮像装置1への操作入力を受け付ける。入出力端子307は、パンチルト動作が可能な雲台(図1参照)やテレビモニタ、PC(Personal Computer)等に接続される。
無線モジュール309は、バス200及び無線I/F308を介して、操作端末との間で信号の送受信を行う。具体的には、無線モジュール309は、Wi−Fi等の無線LAN規格に準拠した通信処理を行う。これにより、操作端末との通信が可能になる。
中央制御部400は、CPU、各種プログラムが格納されたROM、及びワークエリアとしてのRAM等を含む半導体集積回路により構成され、撮像、各種画像の表示、及び連携撮影に関する情報の送受信等の撮像装置1全体の処理を統括的に制御する。中央制御部400は、画像切り出し部401と、サイズ変更部402と、パンチルト制御部403と、パンチルト量付加部404と、を備える。
画像切り出し部401は、撮像処理により生成された画像データから、操作端末に送信する画像データを切り出す。画像切り出し部401は、サイズ変更部402により指定された画像サイズ(画像の大きさ)の画像データを切り出す。画像切り出し部401は、切り出した画像データを無線モジュール309に出力する。無線モジュール309は、切り出された画像データを、無線通信路を介して、操作端末に送信する。
サイズ変更部402は、サイズ変更指示信号に基づいて、撮像装置1から操作端末に送信される画像データの画像サイズを変更する。具体的には、サイズ変更部402は、操作端末に送信される画像データの画像サイズを、通常画像サイズから拡大画像サイズに、または、拡大画像サイズから通常画像サイズに変更する。このとき、通常画像サイズとは、操作端末の表示部の画素数に対応する画素数の画像サイズである。また、拡大画像サイズとは、通常画像サイズよりも大きい画像サイズである。拡大画像サイズは、撮像部100の撮像処理により生成された画像データそのものの画像サイズでもよいし、撮像処理により生成された画像データの画像サイズよりも小さく、通常画像サイズよりも大きい画像サイズであってもよい。サイズ変更指示信号とは、撮像装置1から送信される画像データの画像サイズを変更することを指示するための信号である。サイズ変更指示信号は、ユーザが操作端末の操作部に接近したか否かに基づいて、操作端末から撮像装置1に対して送信される。
サイズ変更部402は、拡大画像サイズに変更する旨のサイズ変更指示信号を受信した場合、画像切り出し部401により切り出される画像データの画像サイズを、通常画像サイズ(第1のサイズ。例えば、960画素×540画素)から拡大画像サイズ(第2のサイズ。例えば、1920画素×1080画素)に変更する。そして、サイズ変更部402は、操作端末から再度通常画像サイズに変更する旨のサイズ変更指示信号を受けるまでの間は、拡大画像サイズの画像データを送信させる。
一方、サイズ変更部402は、通常画像サイズに変更する旨のサイズ変更指示信号を受信した場合、操作端末に送信する画像データの画像サイズを、拡大画像サイズから通常画像サイズに変更する。そして、サイズ変更部402は、操作端末から再度拡大画像サイズに変更する旨のサイズ変更指示信号を受けるまでの間は、通常画像サイズの画像データを送信させる。
パンチルト制御部403は、操作端末から送信されたパン動作及びチルト動作の実行を指示する信号(方向指示情報)に基づいて、パン動作及びチルト動作を実行させるための制御信号を生成する。そして、生成した制御信号を図1に示す雲台のモータ(図示省略)に対して出力する。これにより、雲台に搭載された撮像装置1がパン方向及びチルト方向に回転する。なお、パン方向とは水平方向を意味し、チルト方向とは垂直方向を意味する。
パンチルト量付加部404は、所定の撮像方向を向いた撮像装置1の撮像処理により生成された画像データに対して、当該所定の撮像方向を示す情報(撮像方向情報)を付加する。具体的には、パンチルト量付加部404は、ジャイロセンサ208により検出されたパン量(パン角度)及びチルト量(チルト角度)を示す情報を、撮像方向情報として1画像データ毎(1フレーム毎)に付加する。これにより、操作端末は、撮像装置1が生成した画像データと、当該画像が撮像された撮像方向情報と、を受信する。
次に、撮像装置1を遠隔操作するための操作端末20(通信装置)について説明する。図3は、本実施の形態に係る操作端末20の構成例を示すブロック図である。操作端末20は、表示部21と、操作部22と、制御部23と、近接センサ27と、通信部28と、を備える。
表示部21は、例えば、LCD(Liquid Crystal Display)や有機ELであり、撮像装置1から送られてくるフレーム毎の画像データに基づいて動画像を表示する。操作部22は、パン動作ボタンや、チルト動作ボタン、録画開始ボタン、録画停止ボタン、望遠ボタン、広角ボタン等である。
操作部22の各ボタンの押下が行われると、制御部23が、当該ボタンに対応する制御信号を生成する。例えば、制御部23は、パン動作ボタンが押下されると、撮像装置1に対してパン動作を指示するための制御信号(以下、パン動作信号と称す)を生成する。また、制御部23は、チルト動作ボタンが押下されると、撮像装置1に対してチルト動作を指示するための制御信号(以下、チルト動作信号と称す)を生成する。パン動作信号及びチルト動作信号は、撮像装置1の撮像方向を指示する方向指示情報であり、パンチルト角度の目標値やパンチルト量等を含む信号である。
なお、操作部22は、押下可能なボタンであってもよいし、タッチパネルであってもよい。例えば、スマートフォンに操作プログラムをダウンロードして操作端末20として使用する場合には、表示部21を操作部22として使用することもできる。この場合、制御部23は、表示部21を指で上下左右にスワイプすることによりパンチルト動作の指示信号を生成するようにしてもよい。例えば、スワイプの速度や量に応じて、パン角度やチルト角度を決定してもよい。さらに、スマートフォンに加速度センサを設けて、スマートフォンの端末自体を上下左右に傾けることにより、パンチルト動作を指示可能としてもよい。勿論、操作端末20は、スマートフォンやタブレット端末に限られず、例えば、ユーザの頭部に装着されるヘッドマウントディスプレイ装置であってもよい。ヘッドマウントディスプレイ装置の場合は、装置を装着したユーザが頭部を左右に振ることにより、撮像装置1に対してパン動作を指示できる。また、頭部を上下に振ることにより、撮像装置1にチルト動作を指示できる。
制御部23は、CPU、各種プログラムが格納されたROM、及びワークエリアとしてのRAM等を含む半導体集積回路により構成され、各種画像の表示等の操作端末20全体の処理を統括的に制御する。制御部23は、画像切り出し部24と、位置調整部25と、サイズ変更指示部26と、を備える。
画像切り出し部24は、撮像装置1から送信された画像データから所定領域の画像データを切り出す。画像切り出し部24は、切り出した所定領域の画像データを表示部21に出力する。これにより、表示部21には、所定領域の画像データに対応する画像が表示される。所定領域とは、初期状態(ユーザがパンチルト操作を行う前)においては、撮像装置1から送信された画像データの中央領域であり、その領域のサイズ(画素数)は、撮像装置1から送信された画像データよりも小さく、表示部21の画像サイズ(画素数)に応じて適宜決定される。本実施の形態においては、所定領域の画像サイズは、通常画像サイズと同じサイズである。
位置調整部25は、撮像装置1から受信した撮像方向情報に基づいて、受信した画像データにおける所定領域の位置を調整する。また、位置調整部25は、操作部22の操作に応じて、受信した画像データにおける所定領域の位置を調整する。言い換えると、位置調整部25は、撮像方向情報及び操作部22におけるパンチルト操作に基づいて、画像切り出し部24に対して、切り出す所定領域の位置を指示する。
サイズ変更指示部26は、撮像装置1に対して、撮像装置1が送信する画像データの画像サイズを、拡大画像サイズから通常画像サイズへ、または、通常画像サイズから拡大画像サイズへと変更することを指示する。サイズ変更指示部26は、後述する近接センサ27の検知結果に基づいて、撮像装置1が送信する画像データの画像サイズの変更を指示するためのサイズ変更指示信号を生成し、通信部28を介して、撮像装置1に対して送信する。
近接センサ27(接近検知手段)は、操作部22にユーザの手が接近したことを検知する。具体的には、操作部22がタッチパネルの場合、近接センサ27は、タッチパネルにユーザの手が近づいたことを検知する。言い換えると、近接センサ27は、ユーザが操作部22の操作を開始することを検知する操作開始検知手段である。例えば、近接センサ27は、赤外線を出力する発光部(図示省略)と、発光部から出力されて物体にて反射した赤外線を受光する受光部(図示省略)と、を有している。近接センサ27は、物体にて反射した赤外線の受光量に応じた値を出力する。これにより、物体と近接センサ27とが所定の距離まで接近したか否かを検出することができる。勿論、他の公知の手法を用いて、物体の接近を検知してもよい。近接センサ27は、操作部22にユーザの手が近づいたことを検知できる位置に配置されていればよく、操作部22の近傍に配置されていることが好ましい。例えば、操作部22がタッチパネルの場合、当該タッチパネルの外周近傍に配置されていればよい。
なお、ユーザがパンチルト操作を開始することが検知可能な操作開始検知手段は、近接センサ27以外の検知手段であってもよい。スマートフォンを上下左右に傾けることにより、パンチルト操作が行われる構成においては、ユーザがスマートフォンを傾けるために、スマートフォンを把持したことが検知できればよい。例えば、スマートフォンの外縁部の左右双方に指が接触したことをトリガとして、ユーザがパンチルト操作を開始すると判定してもよい。この場合、左右の外縁部に設けられた接触センサが操作開始検知手段となる。また、ヘッドマウントディスプレイ装置においては、ユーザの視線の移動(黒目の移動)を検出し、視線が正面方向から所定の距離動いたことをトリガとして、ユーザがパンチルト操作を開始すると判定してもよい。この場合、視線移動検出センサが操作開始検知手段となる。
通信部28は、Wi−Fi等の無線通信処理を行い、パンチルト動作信号や、サイズ変更指示信号、各種制御信号を撮像装置1に対して送信する。また、通信部28は、撮像装置1から送信され、フレーム毎に撮像方向情報が付加された画像データを受信する。
続いて、本実施の形態にかかる撮像装置1の動作例について、図4〜図6に示すフローチャートを用いて説明する。図4は、撮像装置1の動作を示すフローチャートである。図5及び図6は、操作端末20の動作を示すフローチャートである。
図4を参照して撮像装置1の動作例について説明する。まず、画像切り出し部401が、撮像処理により生成された画像データから、通常画像サイズの画像データを切り出す(ステップS101)。具体的には、画像切り出し部401は、生成された画像データの中央位置を中心にとした矩形領域の画像データを切り出す。そして、多重化部113は、切り出された画像データを用いて、映像ストリームを生成する。
パンチルト量付加部404は、生成された画像データの撮像時における撮像方向情報を、ジャイロセンサ208から取得する。パンチルト量付加部404は、生成された映像ストリームに撮像方向情報を付加する。そして、撮像方向情報が付加された映像ストリームは、無線モジュール308により、操作端末20に送信される(ステップS102)。これにより、操作端末20は、撮像方向情報が付された通常画像サイズの映像ストリームを受信する。
サイズ変更部402は、送信する画像データの画像サイズを広げる旨のサイズ変更指示信号を、操作端末20から受信したか否かを判定する(ステップS103)。サイズの変更指示信号を受けていない場合(ステップS103:No)、サイズ変更部402は、画像切り出し部401に対して、通常画像サイズの画像データの切り出し処理を継続させる。
サイズ変更指示信号を受けた場合(ステップS103:Yes)、サイズ変更部402は、画像切り出し部401に対して、画像データの切り出しサイズを、通常画像サイズから拡大画像サイズに変更することを指示する。画像切り出し部401は、サイズ変更部402からの指示に応じて、矩形切り出し領域を広げ、拡大画像サイズの画像データを切り出す。そして、ステップS102と同様に、拡大画像サイズの画像データを用いて、多重化部113が映像ストリームを生成する。そして、パンチルト量付加部404が、当該映像ストリームに撮像方向情報を付加する。撮像方向情報が付加された映像ストリームは、無線モジュール308により、操作端末20に送信される(ステップS104)。これにより、操作端末20は、撮像方向情報が付された拡大画像サイズの映像ストリームを受信する。
パンチルト制御部403は、操作端末20から方向指示情報を受信したか否かを判定する。つまり、パンチルト制御部403は、操作端末20からパン動作信号またはチルト動作信号を(以下、パンチルト動作信号と称す)受信したか否かを判定する(ステップS105)。パンチルト動作信号を受信していない場合(ステップS105:No)、パンチルト制御部403は、現在の撮像方向を維持したまま、撮像処理を継続する。
パンチルト動作信号を受信した場合(ステップS105:Yes)、パンチルト制御部403は、パンチルト動作信号に応じたパン量またはチルト量を求め、雲台に設けられたモータを駆動させるための駆動制御信号を出力する。これにより、撮像装置1の撮像方向が、操作端末20の指示に応じたパン角度及びチルト角度に変更される(ステップS106)。
サイズ変更部402は、操作端末20に送信する画像データの画像サイズを通常画像サイズ(元の画像サイズ)に戻す旨のサイズ変更指示信号を受けたか否かを判定する(ステップS107)。操作端末20からサイズ変更指示信号を受けていない場合(ステップS107:No)、サイズ変更部402は、画像データの切り出しサイズを拡大画像サイズから変更しない。
操作端末20からサイズ変更指示信号を受けた場合(ステップS107:Yes)、サイズ変更部402は、画像切り出し部401に対して、画像データの切り出しサイズを、拡大画像サイズから通常画像サイズに変更することを指示する。画像切り出し部401は、サイズ変更部402からの指示に応じて、矩形切り出し領域を狭くして、通常画像サイズ(元の画像サイズ)の画像データを切り出す。そして、ステップS102と同様に、通常画像サイズの画像データを用いて、多重化部113が映像ストリームを生成する。そして、パンチルト量付加部404が、当該映像ストリームに撮像方向情報を付加する。撮像方向情報が付加された映像ストリームは、無線モジュール308により、操作端末20に送信される(ステップS108)。
次に、図5及び図6を参照して、操作端末20の動作例について説明する。まず、通信部28が、無線通信路を介して、撮像装置1から送信された映像ストリームを受信する。なお、このとき受信する映像ストリームの画像データは、通常画像サイズの画像データである(図4のステップS102において撮像装置1が送信する映像ストリーム)。表示部21は、受信した映像ストリームに基づいて、映像を表示する(ステップS201)。
近接センサ27は、ユーザの手が操作部22に接近したか否かを判定する(ステップS202)。ユーザの手が操作部22に接近していない場合、つまり近接センサ27が物体の接近を検知しない場合(ステップS202:No)、操作端末20の表示部21は、受信した映像ストリームの表示を続ける。
一方、ユーザの手が操作部22に接近した場合、つまり、近接センサ27が物体の接近を検知した場合(ステップS202:Yes)、サイズ変更指示部26は、映像ストリームの画像サイズを大きくするための(拡大画像サイズに変更するための)サイズ変更指示信号を生成し、通信部28に出力する。これにより、サイズ変更指示信号が撮像装置1に送信される(ステップS203)。
その後、通信部28は、図4のステップS104において、撮像装置1から送信された拡大画像サイズの映像ストリームを受信する(ステップS204)。画像切り出し部24は、拡大画像サイズの画像データを受信すると、当該画像データの中央部分から、通常画像サイズ(所定領域)の画像データを切り出し、表示部21に出力する。表示部21は、切り出された画像サイズの映像を表示する(ステップS205)。
その後、位置調整部25は、ユーザが操作部22を用いて、パンチルト動作の指示を行ったか否かを判定する(ステップS206)。ユーザによりパンチルト動作が指示されていない場合(ステップS206:No)、位置調整部25は、画像切り出し部24の切り出し領域を画像データの中央領域のまま変化させない。
ユーザによりパンチルト動作が指示された場合(ステップS206:Yes)、制御部23は、操作に対応するパンチルト動作信号を生成する。そして、位置調整部25は、拡大画像サイズの画像データにおける切り出し領域を、中央領域からパンチルト動作信号の指示に応じた方向に移動させる(ステップS207)。例えば、ユーザにより左方向へのパン操作が行われた場合、位置調整部25は、切り出し領域を画像データの中央から左方向に移動させる。これにより、画像切り出し部24は、拡大画像サイズの画像データの中央領域よりも左方向に移動した矩形領域を切り出す。そして、表示部21は、画像切り出し部24により切り出された矩形領域(画像データの中央から左方向にスライドした矩形領域)を表示する。
また、ユーザが操作部22を用いてパンチルト操作を行うと、制御部23は、生成したパンチルト動作信号を通信部28に出力する。通信部28は、パンチルト動作信号を撮像装置1に対して送信する(ステップS208)。
その後、制御部23は、撮像装置1からパンチルト動作を反映した映像ストリームを受信したか否かを判定する(ステップS209)。つまり、操作端末20の制御部23は、撮像方向が変化した映像ストリームを受信したか否かを判定する。撮像方向が変化したか否かは、映像ストリームに付加されている撮像方向情報を参照することにより判定することができる。パンチルト動作が反映された映像ストリームを受信していない場合(ステップS209:No)、位置調整部25は、ステップS207と同様に、パンチルト操作に応じて、切り出し領域の位置を変化させる。
一方、パンチルト動作が反映された映像ストリームを受信した場合(S209:Yes)、位置調整部25は、表示部21に表示されている画像が、意図したパンチルト角度以上動かないように、画像データに付加されている撮像方向情報を用いて、画像切り出し領域を画像データの中央に移動させる(ステップS210)。
ここで、図7を用いて、位置調整部25の動作について詳細に説明する。図7は、撮像装置1のパン角度(撮像方向)及び操作端末20における切り出し画像を時系列に並べた図である。
時刻t11においては、撮像装置1のパン角度が0°である(正面を向いている)とする。ユーザが、時刻t11において、操作部22を用いて、右方向に30°のパン動作を指示したとする。すると、位置調整部25は、拡大画像サイズの画像データの領域R11における切り出し領域R12の位置を、30°のパン動作に対応する位置まで移動させる。このため、時刻t12において、表示部21には、パン角度30°に対応する切り出し領域R12(実線領域)の画像が表示される。また、操作端末20は、操作部22の操作に応じて、撮像装置1に対して、右方向に30°のパン動作を指示するパン動作信号を送信する。
撮像装置1のパンチルト制御部401は、パン動作信号に基づいて、右方向のパン動作を雲台に対して命令する。時刻t13においては、撮像装置1のパン角度が10°となったとする。これにより、撮像装置1から送信される画像データの領域R11に含まれる被写体90の位置も移動する。このとき、切り出し領域R12の位置を調整せずに、時刻t12のまま状態とすると、表示部21には、30°(切り出し領域R12の移動によるパン角度)+10°(実際に撮像装置1が動いたパン角度)=40°のパン角度に対応する画像(t13の破線領域)が表示されることになってしまう。つまり、表示部21には、ユーザの意図するパン角度以上パンされた画像が表示されてしまう。
そのため、時刻t13において、位置調整部25は、撮像装置1のパン動作(パン指示方向)と反対方向(左方向)に、切り出し領域R12を移動させる。言い換えると、位置調整部25は、領域R11の中央方向に、撮像装置1が動作したパン角度に対応する量だけ、切り出し領域R12を移動させる。図7の例では、位置調整部25は、パン角度10°に対応する量だけ、切り出し領域R12の位置を中央方向に移動させる。なお、撮像装置1の実際のパン角度は、撮像方向情報としてフレーム毎に付加されているため、操作端末20はパン角度を認識できる。
その後も、撮像装置1のパン角度に基づいて、位置調整部25は、領域R11における切り出し領域R12の位置を領域R11の中央に移動させる。撮像装置1のパン角度が30°となると、つまり、撮像装置1のパン角度が、ユーザが指示した角度になると、切り出し領域R12は、領域R11の中央領域に戻る(時刻t14)。これにより、所望のパン角度の映像がぶれることなく表示部21に表示される。
勿論、図7においては、説明の便宜のため、時刻t13において、位置調整部25が、切り出し領域R12をパン角度10°分だけ一気に中央に移動させた。実際には、位置調整部25は、画像データに付加されている撮像方向情報が変化する度に、当該撮像方向情報に基づいて、領域R11における切り出し領域R12の位置を変化させる。つまり、撮像装置1の撮像方向が変化する方向とは反対方向に切り出し領域R12が移動する。このとき、より滑らかに切り出し領域R12(表示領域)を表示させるために、画像補間処理を行ってもよい。
図6のフローチャートに戻り、制御部23は、近接センサ27の検知結果に基づいて、ユーザの手が操作部22から一定の距離以上離れたか否かを判定する(ステップS211)。ユーザの手が操作部22から一定の距離以上離れていない場合(ステップS211:No)、位置調整部25は、操作部22の操作に応じて、切り出し領域の位置を調整する。
一方、ユーザの手が操作部22から一定の距離以上離れた場合(ステップS211:Yes)、サイズ変更指示部26は、撮像装置1に対して、送信する画像データの画像サイズを元の画像サイズ(通常画像サイズ)に戻すように指示する(ステップS212)。これにより、撮像装置1は、通常画像サイズの画像データを用いて、映像ストリームを生成し、操作端末20に送信する(図4のステップS108参照)。
そして、操作端末20は、通常画像サイズの画像データを取得する(ステップS213)。このため、操作端末20は、画像切り出し部24による画像切り出し処理を終了する(ステップS214)。つまり、表示部21は、通信部28を介して受信した通常画像サイズの画像データを、サイズ変更することなく、そのまま表示する。言い換えると、通信部28が通常画像サイズの画像データを受信した場合、画像切り出し部24は、切り出し処理を行わない。そして、表示部21は、切り出し処理が行われていない受信したままの画像データに基づいて、画像を表示する。
ここで、上述した撮像装置1及び操作端末20の動作について、図8に示す具体例を用いて説明する。図8は、撮像装置1の撮像方向、撮像処理により生成された画像データ、撮像装置1の送信画像データ、操作端末20の受信画像データ、及び、操作端末20の表示画像の変化を時系列に並べた図である。図8の例においては、被写体91が、向かって右方向に移動し、その後、移動を停止したものとする。
まず、時刻t21において、被写体91が右方向への移動を開始する。このとき、撮像装置1においては、撮像処理により、領域R21の画像データが生成される。そして、画像切り出し部401は、領域R21の中央の矩形領域R22の画像データ(通常画像サイズの画像データ)を切り出して、送信画像データを生成する。なお、時刻t21においては、被写体91は、領域R21の中央に位置するものとする。そのため、切り出し画像データ(領域R22)にも、被写体91が含まれている。切り出された矩形領域R22の画像データは、操作端末20に送信される。
なお、図8に示した例においては、撮像処理により生成された領域R21の画像データから切り出した領域R22の画像サイズは、操作端末20側の表示部21の表示画像の画像サイズ(通常画像サイズ)と同じサイズであるが、これに限られるものではない。例えば、領域R21の画像データから操作端末20側の表示画像の画像サイズ(通常画像サイズ)よりも大きいサイズの画像データを切り出す。そして、切り出した画像データの画像サイズをリサイズした画像(画素数を操作端末20側の表示21部の画素数に合わせた画像)を撮像装置1において生成して、操作端末20に送信してもよい。一方、領域R21の画像データから操作端末20側の表示画像の画像サイズ(通常画像サイズ)よりも小さいサイズの画像データを切り出し、当該画像データの画像サイズを操作端末20側の表示部21の画素数に合わせてリサイズ(画素数を増加)してもよい。撮像装置1は、リサイズを行った場合、リサイズ前の画像データ(撮像処理により生成されたオリジナルの画像データ)の画素数に関する情報やリサイズの倍率に関する情報を送信画像データに付加してもよい。これにより、操作端末20側では、リサイズ前の画素数に関する情報やリサイズの倍率に関する情報に基づいて、リサイズ前の画像を表示できる。
表示部21は、受信した矩形領域R22の画像をそのまま表示する。つまり、画像切り出し部24により受信した画像データの切り出し処理が行われることなく、表示部21は、受信した画像を表示する。したがって、操作端末20の表示部21には、右方向へ移動を開始した被写体91が表示される。ここで、ユーザは、表示部21から被写体91が外れることを予測して、パン操作を行うために手を近づける。そのため、操作端末20の近接センサ27により、ユーザの手の接近が検知される。これにより、サイズ変更指示部26は、操作端末20から撮像装置1に対して、送信画像データの画像サイズを拡大する旨のサイズ変更指示信号を送る。
時刻t22において、被写体91の位置が向かって右方向に移動したとする。このため、撮像装置1においては、領域R21の中央から右方向にずれた位置に被写体91が位置している画像データが生成される。
時刻t21において、送信画像データの画像サイズの拡大指示がされたため、撮像装置1のサイズ変更部402は、画像切り出し部401が切り出す画像サイズを拡大する。これにより、画像切り出し部401は、矩形領域R22よりも大きいサイズ(拡大画像サイズ)の矩形領域R23を、領域R21から切り出す。切り出された矩形領域R23の画像データは、操作端末20に送信される。
操作端末20の画像切り出し部24は、受信した矩形領域R23の中央領域R24(所定領域)を切り出す。このとき、表示部21の画像サイズと領域R24の画像サイズとは、同じ画像サイズの画像データであるとする。そして、表示部21は、画像切り出し部24により切り出された画像を表示する。被写体91は、領域R21の中央から右方向に移動したため、表示部21に表示される被写体91の位置は、表示部21の右端に寄っている。ユーザは、被写体91が表示部21から外れないように、操作部22を用いて、右方向へのパン操作を行う。図8に示す例においては、操作端末20がタッチパネルを備えるスマートフォンであるため、ユーザは、表示部21を左方向に指でスワイプすることにより、右方向へのパン動作の指示を行う。これにより、パン動作信号が撮像装置1に送信される。
なお、切り出された画像データ(領域R24)の画像サイズと表示部21の画像サイズとは、必ずしも一致している必要はない。つまり、表示部21の画素数よりも多い画素数の画像データを切り出した場合は、画素数を減らすリサイズを行い、リサイズ処理後の画像を表示してもよい。また、表示部21の画素数よりも少ない画素数の画像データを切り出した場合は、画素数を増やすリサイズを行い、リサイズ処理後の画像を表示してもよい。
位置調整部25は、パン動作信号に応じて、受信画像データ(矩形領域R23の画像データ)における切り出し領域R24の位置を調整する(時刻t23)。具体的には、切り出し領域R24の位置を中央から右方向へ移動させる。これにより、切り出し領域の中央に被写体91が位置するようになる。その結果、表示部21に表示される画像の中央に、被写体91が位置している。
このとき、時刻t22において操作端末20から送信されたパン動作信号は、無線通信路にて生じる遅延の影響で、時刻t23においては、撮像装置1に到達していないものとする。そのため、時刻t23においても、撮像装置1の撮像方向は変化していない。本実施の形態においては、上記の通り、ユーザの手が操作部22に接近したことをトリガとして、撮像装置1から拡大画像サイズの画像データが送られてくる。したがって、パン動作信号が実際に撮像装置1に到達していなくても、位置調整部25が、受信した画像データの領域R23における切り出し領域R24の位置を移動させることにより、ユーザが移動させたい方向に表示画像を移動させることができる。言い換えると、撮像装置1のパン動作後に撮像された画像データが送られてくることを待つことなく、操作端末20の表示部21では、パン動作が行われた画像が表示される。その結果、パン操作を行ってから、表示画像が移動するまでの間にタイムラグ(通信路による遅延)がなく、表示部21に表示された画像をスムーズに移動させることができる。つまり、ユーザに違和感を与えることなく、パンチルト操作に応じた画像を表示することができる。
なお、時刻t23において、被写体91は右方向への移動を停止したものとする。そのため、時刻t23において、ユーザは、パン操作を停止したものとする。ただし、ユーザは、操作部22に手を近づけている状態は維持している。
時刻t24において、右方向へのパン動作信号を受信した撮像装置1が、パン動作を開始する。これにより、被写体91が画像データの中央へ移動する。そして、撮像装置1は、拡大画像サイズの画像データ(領域R23)を送信する。このとき、パンチルト量付加部404は、ジャイロセンサ208が検出したパン角度(撮像方向情報)を、送信する画像データに付加する。
操作端末20が画像データを受信すると、位置調整部25は、画像データに付されたパン角度に基づいて、領域R23の画像データにおける切り出し領域R24の位置を調整する。具体的には、図7において説明したように、位置調整部25は、撮像装置1のパン動作の方向とは反対方向(左方向)に、画像データに付されたパン角度に対応する量だけ領域R24を移動させる。
つまり、撮像装置1のパン角度の変化に伴って、領域R23の画像データにおける切り出し領域R24の位置が変化する。言い換えると、撮像装置1のパン角度が変化した場合であっても、操作端末20における切り出し領域と、被写体91との相対的な位置は変化しない。その結果、撮像装置1の撮像方向が異なる時刻t23と時刻t24において、操作端末20の表示部21に表示された画像における被写体91の位置は変化しない。
ここで、被写体91が停止を続けていることから、ユーザは、パン操作は必要ないと考え、操作部22から手を離す。これにより、ユーザの手が操作部22から所定の距離以上離れる。そして、近接センサ27は、ユーザの手が接近していなことを検知する。するとサイズ変更指示部26は、近接センサ27の検知結果に基づいて、撮像装置1に対して、通常画像サイズの画像データの送信を指示する。
撮像装置1は、時刻t25において、操作端末20から送信されたサイズ変更指示信号を受信する。そして、サイズ変更部402は、切り出し画像の領域を元に戻す。つまり、サイズ変更部402は、時刻t21における切り出し領域R22(通常画像サイズ)の画像データを切り出すことを、画像切り出し部401に指示する。
画像切り出し部401は、サイズ変更部402からの指示に基づいて、画像データから領域R22を切り出す。そして、撮像装置1から操作端末20に領域R22の画像データが送信される。操作端末20の制御部23は、通常画像サイズの画像データを受信すると、画像切り出し部24に切り出し処理を行わせることなく、表示部21に受信した画像データを表示させる。その結果、受信した画像サイズが異なる時刻t24と時刻t25において、操作端末20の表示部21の表示画像は変化していない。つまり、送信される画像サイズを小さくすることにより、通信帯域を抑制することができる。言い換えると、本実施の形態にかかる撮像システムによれば、表示画像の画質を一定に保った場合、撮像装置を制御(パンチルト)しない期間は、通信帯域を抑えることができる。一方、通信帯域を一定に保った場合(通信帯域が制限されている場合)、撮像装置1は拡大画像サイズの画像データを圧縮して送信する必要がある。しかしながら、本実施の形態にかかる撮像システムによれば、画像データを圧縮する期間(表示部21の画質が悪化する期間)を、撮像装置1を制御(パンチルト)する期間に限定することができる。
以上のように、本実施の形態にかかる操作端末20の構成によれば、位置調整部25が、撮像方向情報に基づいて、受信した拡大画像サイズの画像データにおける切り出し領域(所定領域)の位置を調整する。画像切り出し部24は、調整された切り出し領域の画像データを切り出す。そして、切り出された画像データに基づいて、表示部21が、画像を表示する。つまり、撮像装置1の撮像方向の変化によって、操作端末20において切り出される領域の位置も変化する。このため、生成される画像データにおける被写体の位置が変化しても、切り出し領域と被写体との相対的な位置は変化しない。その結果、表示部21に表示される被写体の位置も変化しない。したがって、表示部21は安定した画像を表示することができる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更及び組み合わせをすることが可能である。例えば、上記の説明では、撮像装置1がパン動作を行う場合について説明したが、チルト動作についても同様に適用可能である。また、上記の実施の形態においては、雲台を回転させることによって撮像方向を変化させる機械式のパンチルト動作について説明したが、本発明は電子式のパンチルト動作にも適用可能である。
さらに、操作端末20の画像切り出し部24は、拡大画像サイズの画像データを受信した直後においては、当該画像データの中央領域を切り出していたが、これに限られるものではない。操作端末20の画像切り出し部24が切り出す領域の位置は、撮像装置1の画像切り出し部401が切り出す通常画像サイズの領域に対応する位置であればよい。操作端末20の画像切り出し部24が最初に切り出す領域位置を画像データの中央領域以外に設定する場合には、画像切り出し部401により切り出される画像の座標も、送信画像データに付加することにより、切り出し領域を特定できる。
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更及び組み合わせをすることが可能である。また、上記の撮像装置1及び操作端末20の処理は、メインプロセッサのROM等に格納されたコンピュータプログラムによって実行可能である。上述の例において、各処理をコンピュータ(プロセッサ)に行わせるための命令群を含むプログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記録媒体(例えば光磁気ディスク)、CD−ROM(Read Only Memory)、CD−R、CD−R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
1 撮像装置
11 本体部
12 支持部
13 アーム部
14 回転台
15 固定台
20 操作端末
21 表示部
22 操作部
23 制御部
24 画像切り出し部
25 位置調整部
26 サイズ変更指示部
27 近接センサ
26 通信部
90、91 被写体
100 撮像部
101 ズームレンズ
102 フォーカスレンズ
103 絞り
104 撮像素子
105 アナログ画像信号処理部
106 画像A/D変換部
107 画像入力コントローラ
108 デジタル信号処理部
109 マイク
110 アナログ音声信号処理部
111 音声A/D変換部
112 音声入力コントローラ
113 多重化部
201 圧縮・伸張処理部
202 音声・画像処理部
203 ROM
204 フラッシュROM
205 VRAM
206 メインメモリ
207 メディア制御部
208 ジャイロセンサ
301 カードI/F
302 カード型記録媒体
303 入出力I/F
304 液晶モニタ
305 スピーカ
306 操作部
307 入出力端子
308 無線I/F
309 無線モジュール
400 中央制御部
401 画像切り出し部
402 サイズ変更部
403 パンチルト制御部
404 パンチルト量付加部

Claims (5)

  1. 所定の撮像方向を向いた撮像装置の撮像処理により生成された画像データと、前記所定の撮像方向を示す撮像方向情報と、を受信する受信手段と、
    ユーザの操作に応じて、前記撮像装置の撮像方向を指示する方向指示情報を生成する操作手段と、
    前記画像データの所定領域を切り出す画像切り出し手段と、
    前記所定領域の画像データに基づいて、画像を表示する表示手段と、
    前記撮像方向情報及び前記方向指示情報に基づいて、前記画像データにおける前記所定領域の位置を調整する領域位置調整手段と、
    前記ユーザが前記撮像装置の撮像方向を指示する操作を開始することを検知する操作開始検知手段と、
    前記撮像装置に対して、前記撮像装置が送信する前記画像データの画像サイズを、第1のサイズから当該第1のサイズよりも大きい第2のサイズに変更することを指示するサイズ変更指示情報を生成するサイズ変更指示手段と、
    前記サイズ変更指示情報を前記撮像装置に送信する送信手段と、を備え、
    前記サイズ変更指示手段は、前記操作開始検知手段により前記ユーザが操作を開始することが検知された場合、前記サイズ変更指示情報を生成し、前記送信手段を介して、前記撮像装置に前記サイズ変更指示情報を送信する通信装置。
  2. 前記操作開始検知手段は、前記操作手段にユーザの手が接近したことを検知する接近検知手段を含み、
    前記サイズ変更指示手段は、前記接近検知手段により前記ユーザの手の接近が検知された場合、前記サイズ変更指示情報を生成し、前記送信手段を介して、前記撮像装置に前記サイズ変更指示情報を送信する請求項に記載の通信装置。
  3. 前記画像切り出し手段は、前記受信手段が受信した画像データが、前記第1のサイズの画像である場合、前記所定領域の画像データの切り出しを行わず、
    前記表示手段は、前記受信手段が受信した前記画像データに基づいて、画像を表示する請求項に記載の通信装置。
  4. 撮像装置と、当該撮像装置を操作する通信装置と、を備え、前記撮像装置と前記通信装置とは、通信路を介して接続されている撮像システムであって、
    前記撮像装置は、
    撮像処理により画像データを生成する撮像手段と、
    前記撮像手段により撮像処理が行われた撮像方向を検出する撮像方向検出手段と、
    前記画像データと、前記撮像方向検出手段により検出された撮像方向を示す撮像方向情報と、を前記通信装置に送信する送信手段と、を備え、
    前記通信装置は、
    前記画像データと、前記撮像方向情報と、を受信する受信手段と、
    ユーザの操作に応じて、前記撮像装置の撮像方向を指示する方向指示情報を生成する操作手段と、
    前記画像データの所定領域を切り出す画像切り出し手段と、
    前記所定領域の画像データに基づいて、画像を表示する表示手段と、
    前記撮像方向情報及び前記方向指示情報に基づいて、前記画像データにおける前記所定領域の位置を調整する領域位置調整手段と、
    前記ユーザが前記撮像装置の撮像方向を指示する操作を開始することを検知する操作開始検知手段と、
    前記撮像装置に対して、前記撮像装置が送信する前記画像データの画像サイズを、第1のサイズから当該第1のサイズよりも大きい第2のサイズに変更することを指示するサイズ変更指示情報を生成するサイズ変更指示手段と、
    前記サイズ変更指示情報を前記撮像装置に送信する送信手段と、を備え、
    前記サイズ変更指示手段は、前記操作開始検知手段により前記ユーザが操作を開始することが検知された場合、前記サイズ変更指示情報を生成し、前記送信手段を介して、前記撮像装置に前記サイズ変更指示情報を送信する撮像システム。
  5. コンピュータに、
    所定の撮像方向を向いた撮像装置の撮像処理により生成された画像データと、前記所定の撮像方向を示す撮像方向情報と、を受信させるステップと、
    ユーザの操作に応じて、前記撮像装置の撮像方向を指示する方向指示情報を生成させるステップと、
    前記画像データの所定領域を切り出させるステップと、
    前記所定領域の画像データに基づいて、画像を表示させるステップと、
    前記撮像方向情報及び前記方向指示情報に基づいて、前記画像データにおける前記所定領域の位置を調整させるステップと、
    前記ユーザが前記撮像装置の撮像方向を指示する操作を開始することを検知する操作開始検知ステップと、
    前記撮像装置に対して、前記撮像装置が送信する前記画像データの画像サイズを、第1のサイズから当該第1のサイズよりも大きい第2のサイズに変更することを指示するサイズ変更指示情報を生成するサイズ変更指示ステップと、
    前記サイズ変更指示情報を前記撮像装置に送信する送信ステップと、を備え、
    前記サイズ変更指示ステップは、前記操作開始検知ステップにより前記ユーザが操作を開始することが検知された場合、前記サイズ変更指示情報を生成し、前記送信ステップを介して、前記撮像装置に前記サイズ変更指示情報を送信するプログラム。
JP2012076810A 2012-03-29 2012-03-29 通信装置、撮像装置、撮像システム及びプログラム Active JP5880210B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012076810A JP5880210B2 (ja) 2012-03-29 2012-03-29 通信装置、撮像装置、撮像システム及びプログラム
US13/852,474 US9131146B2 (en) 2012-03-29 2013-03-28 Communication device, imaging system, and computer program product being capable of adjusting display position in response to imaging direction and direction instruction information

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012076810A JP5880210B2 (ja) 2012-03-29 2012-03-29 通信装置、撮像装置、撮像システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2013207680A JP2013207680A (ja) 2013-10-07
JP5880210B2 true JP5880210B2 (ja) 2016-03-08

Family

ID=49234474

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012076810A Active JP5880210B2 (ja) 2012-03-29 2012-03-29 通信装置、撮像装置、撮像システム及びプログラム

Country Status (2)

Country Link
US (1) US9131146B2 (ja)
JP (1) JP5880210B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013033954A1 (zh) 2011-09-09 2013-03-14 深圳市大疆创新科技有限公司 陀螺式动态自平衡云台
CN103426282A (zh) * 2013-07-31 2013-12-04 深圳市大疆创新科技有限公司 遥控方法及终端
US8903568B1 (en) 2013-07-31 2014-12-02 SZ DJI Technology Co., Ltd Remote control method and terminal
CN104903790B (zh) 2013-10-08 2018-07-24 深圳市大疆灵眸科技有限公司 用于增稳和减振的装置和方法
JP6387700B2 (ja) * 2014-06-18 2018-09-12 ソニー株式会社 情報処理装置、情報処理システム、情報処理装置の制御方法およびプログラム
US10981060B1 (en) 2016-05-24 2021-04-20 Out of Sight Vision Systems LLC Collision avoidance system for room scale virtual reality system
CN106161934A (zh) * 2016-07-14 2016-11-23 小绿草股份有限公司 影像追踪装置及方法
US11164378B1 (en) * 2016-12-08 2021-11-02 Out of Sight Vision Systems LLC Virtual reality detection and projection system for use with a head mounted display
JP2018152787A (ja) * 2017-03-14 2018-09-27 オリンパス株式会社 撮像装置、外部装置、撮像システム、撮像方法、操作方法およびプログラム
CN113470038A (zh) * 2020-03-31 2021-10-01 京东方科技集团股份有限公司 视频切割方法、装置、电子设备及计算机可读存储介质
JP7468391B2 (ja) * 2021-02-09 2024-04-16 株式会社Jvcケンウッド 撮像装置および撮像処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2585215B2 (ja) * 1986-03-28 1997-02-26 株式会社東芝 監視装置
JPH09261522A (ja) 1996-03-27 1997-10-03 Nippon Telegr & Teleph Corp <Ntt> 可変領域を得うる映像配信方法、ならびにシステム
JP3715718B2 (ja) * 1996-07-17 2005-11-16 キヤノン株式会社 撮像装置
JPH10224772A (ja) * 1997-02-05 1998-08-21 Matsushita Electric Ind Co Ltd 遠隔制御装置
JPH10257374A (ja) * 1997-03-14 1998-09-25 Canon Inc カメラ制御システムおよびその制御方法および記憶媒体
JP4702911B2 (ja) * 1998-09-30 2011-06-15 キヤノン株式会社 カメラ制御方法、カメラ制御サーバ、および記録媒体
JP2000354238A (ja) * 1999-06-10 2000-12-19 Victor Co Of Japan Ltd 画像監視システム
JP2002185956A (ja) * 2000-12-11 2002-06-28 Hitachi Ltd 遠隔監視システム装置
JP3878035B2 (ja) * 2002-03-04 2007-02-07 ニスカ株式会社 画像配信方法
JP2004289658A (ja) * 2003-03-24 2004-10-14 Matsushita Electric Ind Co Ltd 撮像システムおよび撮像装置の操作方法
JP2008131475A (ja) * 2006-11-22 2008-06-05 Canon Inc 撮像装置
US9055205B2 (en) * 2010-09-03 2015-06-09 Canon Kabushiki Kaisha Imaging control system, control apparatus, control method, and storage medium
US9584774B2 (en) * 2011-10-24 2017-02-28 Motorola Solutions, Inc. Method and apparatus for remotely controlling an image capture position of a camera

Also Published As

Publication number Publication date
US9131146B2 (en) 2015-09-08
US20130258125A1 (en) 2013-10-03
JP2013207680A (ja) 2013-10-07

Similar Documents

Publication Publication Date Title
JP5880210B2 (ja) 通信装置、撮像装置、撮像システム及びプログラム
US9294741B2 (en) Imaging apparatus, imaging method, imaging system, and program product
US10324294B2 (en) Display control device, display control method, and computer program
US8976270B2 (en) Imaging device and imaging device control method capable of taking pictures rapidly with an intuitive operation
KR101578600B1 (ko) 이미지 처리 장치, 이미지 처리 방법 및 컴퓨터로 읽을 수 있는 기록 매체
JP4510713B2 (ja) デジタルカメラ
US9641751B2 (en) Imaging apparatus, imaging method thereof, and computer readable recording medium
US20150271414A1 (en) Display apparatus and display method
JP6721084B2 (ja) ズーム制御装置、ズーム制御方法およびプログラム
JP5838852B2 (ja) 撮像システム、撮像装置、撮像方法及びプログラム
JP2012120151A (ja) 撮像装置、撮像制御方法及びプログラム
KR20210101009A (ko) 복수의 카메라를 이용한 동영상 촬영 방법 및 그 장치
JP2012222387A (ja) 撮像装置
JP6445831B2 (ja) 撮像装置及びその制御方法ならびにプログラム
CN108476290B (zh) 用于提供全景图像的电子装置及其控制方法
JP5939124B2 (ja) 撮像装置及び画像処理方法
JP5807565B2 (ja) 撮像装置及びその制御方法
JP2014072642A (ja) 動画像データ処理システム、動画像データ送信装置、及び動画像データ受信装置
EP4246994A1 (en) Image capture apparatus and control method therefor
WO2022163390A1 (ja) 画像処理装置、制御方法、プログラム
JP2016122132A (ja) 像振れ補正装置並びにその制御方法、プログラム及び記憶媒体
JP2015142203A (ja) 撮像装置、録音機器、および制御プログラム
JP2015032853A (ja) 撮像装置
JP2014123909A (ja) 撮像装置、撮像装置の制御方法、及び撮像プログラム
JP2014107080A (ja) 電池収納構造、及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150526

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150625

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160118

R150 Certificate of patent or registration of utility model

Ref document number: 5880210

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150