JPWO2017056943A1 - 撮像システム、画角調整方法、及び画角調整プログラム - Google Patents

撮像システム、画角調整方法、及び画角調整プログラム Download PDF

Info

Publication number
JPWO2017056943A1
JPWO2017056943A1 JP2017543085A JP2017543085A JPWO2017056943A1 JP WO2017056943 A1 JPWO2017056943 A1 JP WO2017056943A1 JP 2017543085 A JP2017543085 A JP 2017543085A JP 2017543085 A JP2017543085 A JP 2017543085A JP WO2017056943 A1 JPWO2017056943 A1 JP WO2017056943A1
Authority
JP
Japan
Prior art keywords
imaging
unit
pan
angle
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2017543085A
Other languages
English (en)
Other versions
JP6340147B2 (ja
Inventor
宗之 大島
宗之 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Application granted granted Critical
Publication of JP6340147B2 publication Critical patent/JP6340147B2/ja
Publication of JPWO2017056943A1 publication Critical patent/JPWO2017056943A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661Transmitting camera control signals through networks, e.g. control via the Internet
    • H04N23/662Transmitting camera control signals through networks, e.g. control via the Internet by using master/slave camera arrangements for affecting the control of camera image capture, e.g. placing the camera in a desirable condition to capture a desired image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/685Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Abstract

本発明は、通信による遅延に起因する画角のずれの補正を可能とする撮像システム、画角調整方法、及び画角調整プログラムを提供することを目的とする。本発明の実施態様では、移動体(12)に搭載されるパンチルトカメラ(14)の撮像部(22)の撮像データを送信し、撮像画像を表示画面(200)に表示させる撮像システム(10)において、画角調整指示として指定座標、移動先座標を指定する座標指定部(46)、指定座標、移動先座標を用いてパンチルト動作パラメータを算出する画角調整期間演算部(50)、撮像データから撮像部の移動状態を算出する移動状態算出部(52)、及び撮像部の移動状態に基づきパンチルト動作パラメータを補正するパンチルト動作パラメータ補正部(54)を備えている。

Description

本発明は、撮像システム、画角調整方法、及び画角調整プログラムに係り、特に遠隔操作されるパンチルトカメラの画角調整技術に関する。
表示機能付き遠隔操作端末と通信により接続された撮像システムにおいて、遠隔操作端末を使った簡便な画角調整が提案されている。ここでいうパンチルトはカメラのパンニング動作、及びカメラのチルティング動作を表している。パンニング動作はパン動作と呼ばれることがある。また、チルティング動作はチルト動作と呼ばれることがある。
特許文献1には遠隔操作される移動体に搭載されたカメラの撮像方向を制御する撮像システムが記載されている。特許文献1に記載の撮像システムは、表示部に表示されたカーソルを用いて表した指示ベクトルを用いて、撮像方向を移動させている。なお、本明細書における撮像システムの用語は、特許文献1におけるカメラ制御システムに相当する。
特許文献2には移動しながら物体を撮像する移動型撮像装置が記載されている。特許文献2に記載の撮像装置は、撮像装置全体を物体に沿って移動させる際に、撮像装置の移動に従って、撮像装置の進行方向とカメラの光軸とのなす角度を増加させて、物体上の同一の点にカメラの光軸を通過させている。
特許文献3には遠隔操作される監視用カメラが記載されている。特許文献3に記載の監視用カメラは、予めプリセットされた位置に停止させて撮像を行っている。
特許文献4にはパンチルトカメラの撮像画像を画面の操作領域上に表示させ、操作領域上の任意の位置を指定することによって、パンチルトカメラを制御して、指定された被写体を操作領域の中央位置に向かわせる撮像装置が記載されている。
特許文献5にはタブレット端末上で視野の中央位置に持ってくる対象を二本の指で指示し、パンチルトを行って対象を視野の中央位置に移動させる撮像システムが記載されている。なお、本明細書における撮像システムの用語は、特許文献5におけるカメラシステムに相当する。
特開2009−16956号公報 特開2009−65605号公報 特開2000−261792号公報 特開平10−257375号公報 特開2014−99719号公報
従来、表示機能付き遠隔操作端末と通信により接続された撮像システムの操作方法は、固定カメラの操作が基本であったが、近年、移動体にパンチルトカメラが搭載される事例が見られるようになった。
移動体にパンチルトカメラが搭載された撮像システムは、移動体の移動中に移動体の移動制御とは独立して、パンチルトカメラのパンチルト動作が制御されることが想定される。
しかしながら、通信によりパンチルト動作を制御すると、パンチルト動作の指令タイミングと、実際のパンチルト動作の動作タイミングとの間で、通信に依存する遅延が発生する。通信に依存する遅延がある状態で移動体の移動中に画角調整を実施した場合、操作したタイミングと、操作が反映されるタイミングが異なるので、その間の移動体の移動によって所望の画角に調整することが困難になる。
特許文献1に記載の撮像システムは、移動体の移動中に指示ベクトルが入力されると、指示ベクトルの始点座標がずれてしまい、結果として移動後の撮像方向を正確に調整することが困難である。
特許文献2に記載の移動型撮像装置は、移動体の移動速度を取得する手段が必要である。また、特許文献2に記載の移動型撮像装置は、カメラの露光時間内のカメラと被写体との相対移動によって発生するモーションブラーの発生を課題としており、カメラの露光時間を超える長期間の移動体の移動に対応することは困難である。
特許文献3に記載の監視カメラは、パンチルト動作機能を有していないので、異なるプリセット位置間の移動中にパンチルト操作が行われることがなく、移動中にパンチルト操作を行った際の通信による遅延に起因する画角調整のずれという課題が発生しない。
特許文献4に記載のパンチルトカメラ、及び特許文献5に記載のカメラは、被写体と相対移動するものではなく、被写体との相対移動中にパンチルト操作が行われることがないので、移動中にパンチルト操作を行った際の通信による遅延に起因する画角のずれという課題が発生しない。
本発明はこのような事情に鑑みてなされたもので、通信による遅延に起因する画角のずれの補正を可能とする撮像システム、画角調整方法、及び画角調整プログラムを提供することを目的とする。
上記目的を達成するために、次の発明態様を提供する。
第1態様に係る撮像システムは、移動体と、移動体に搭載される撮像部と、撮像部の撮像により得られた撮像データを送信する撮像データ送信部と、撮像データ送信部から送信された撮像データを受信する撮像データ受信部と、撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作部と、撮像部と通信接続される撮像操作部であり、撮像部を操作する撮像制御信号を撮像部へ送信する撮像操作部と、撮像データ受信部によって受信された撮像データが表す撮像画像を表示画面に表示させる表示部と、撮像部の画角を調整する際に、表示部の表示画面に表示されている画像における、移動対象の座標である指定座標、及び移動対象の移動先の座標である移動先座標を指定する座標指定部と、指定座標、及び移動先座標を用いて、パンチルト動作部に適用されるパンチルト動作パラメータを算出する画角調整演算部と、指定座標の指定から、撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出部と、撮像部の撮像により得られた撮像データから、画角調整期間に移動体の移動によって撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出部と、撮像部の画角を調整する際に、移動状態算出部によって算出された移動パラメータ、及び画角調整期間算出部によって算出された画角調整期間から、画角調整演算部によって算出されたパンチルト動作パラメータを補正するパンチルト動作パラメータ補正部と、パンチルト動作部へパンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令部であり、パンチルト動作パラメータ補正部によって補正されたパンチルト動作パラメータに対応する信号をパンチルト動作部へ送出するパンチルト動作指令部と、を備えた撮像システムである。
第1態様によれば、撮像部の撮像により得られた撮像データから撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出し、パンチルト動作部によって撮像部の画角を調整する際のパンチルト動作部の動作パラメータが補正されるので、様々な撮像部の移動状態に対応でき、撮像部の移動中にパンチルト動作部へ動作指令が送信された場合に、通信による遅延に起因する画角調整のずれの補正がされたパンチルト動作が可能である。
第2態様は、第1態様の撮像システムにおいて、画角調整演算部は、指定座標、及び移動先座標から、パンチルト動作パラメータとして、第一移動ベクトルを算出し、移動状態算出部は、画角調整期間における撮像部の移動パラメータとして補正ベクトルを算出し、パンチルト動作パラメータ補正部は、補正ベクトルを用いて、第一移動ベクトルが表すパンチルト動作パラメータを補正する構成とすることができる。
第2態様によれば、表示部の表示画面の座標を用いて撮像部の移動状態を把握することが可能となる。
第3態様は、第2態様の撮像システムにおいて、移動状態算出部は、補正ベクトルとして、画角調整期間の移動体の移動によって撮像部が移動する際の撮像部の速度を表す速度ベクトル、及び画角調整期間の移動体の移動によって撮像部が移動する際の撮像部の加速度を表す加速度ベクトルを算出する構成とすることができる。
第3態様によれば、表示部の表示画面における座標を用いたベクトル演算によって、撮像部の移動状態を把握することが可能である。
第3態様において、速度ベクトル、及び加速度ベクトルは、表示画面における各軸の成分として算出することができる。表示画面にX軸、及びZ軸からなる直交座標系が設定される場合、速度ベクトル、及び加速度ベクトルは、それぞれのX成分、及びZ成分を算出しうる。
第4態様は、第3態様の撮像システムにおいて、移動状態算出部は、第一タイミングにおいて撮像部の撮像により取得された第一撮像データ、及び第一タイミングの前の第二タイミングにおいて撮像部の撮像により取得された第二撮像データから、第二タイミングと第一タイミングとの間の第一期間における撮像部の移動距離、及び移動方向を表す第一移動ベクトルを取得し、第一移動ベクトルの大きさを第一期間で除算した大きさを有し、第一移動ベクトルが表す方向と平行の方向を有する速度ベクトルである第一速度ベクトルを算出する構成とすることができる。
第4態様によれば、時系列順に取得された二つの撮像データから、撮像部の速度ベクトルを算出することが可能である。
第5態様は、第4態様の撮像システムにおいて、移動状態算出部は、第一移動ベクトルを取得する際に特徴点検出を用いる構成とすることができる。
第5態様によれば、特徴点検出を用いて、時系列順に取得された二つの撮像データから、撮像部の速度ベクトルを算出することが可能である。
第5態様における特徴点検出の一例として、テンプレートマッチングが挙げられる。
第6態様は、第4態様又は第5態様の撮像システムにおいて、移動状態算出部は、第二撮像データ、及び第二タイミングの前の第三タイミングにおいて撮像部の撮像により取得された第三撮像データから、第三タイミングと第二タイミングとの間の期間の第二期間における撮像部の移動距離、及び移動方向を表す第二移動ベクトルを取得し、第二移動ベクトルの大きさを第二期間で除算した大きさを有し、第二移動ベクトルが表す方向と平行方向の方向を有する速度ベクトルである第二速度ベクトルを算出し、第一速度ベクトルから第二速度ベクトルを減算して求められた差分ベクトルの大きさを第一期間で除算した大きさを有し、差分ベクトルと平行の方向を有する加速度ベクトルを算出する構成とすることができる。
第6態様によれば、時系列順に取得された三つの撮像データから、加速度ベクトルを算出することが可能となる。
第7態様は、第4態様から第6態様のいずれか一態様の撮像システムにおいて、移動状態算出部は、撮像部の撮像により取得された最新の撮像データを第一撮像データとする構成とすることができる。
第7態様によれば、最新の撮像データを用いて、撮像部の移動ベクトル、速度ベクトル、及び加速度ベクトルを算出することが可能となる。
第3態様から第7態様において、先入れ先出し処理を適用して、時系列順の撮像データを取得し、記憶する態様を適用することができる。
第8態様は、第1態様から第7態様のいずれか一態様の撮像システムにおいて、画角調整演算部は、パンチルト動作パラメータとして、予め設定されたパンチルト動作開始からパンチルト動作完了までの期間であるパンチルト動作期間、指定座標、及び移動先座標から、パンチルト動作部の動作速度を算出する構成とすることができる。
第8態様によれば、パンチルト動作期間、指定座標、及び移動先座標から、パンチルト動作部の動作速度を算出することが可能となる。
第9態様は、第8態様の撮像システムにおいて、撮像部に具備されるレンズの画角情報を取得する画角情報取得部を備え、画角調整演算部は、パンチルト動作部の最大動作速度、及び撮像部に具備されるレンズの画角を用いてパンチルト動作期間を算出する構成とすることができる。
第9態様によれば、レンズの画角、及びパンチルト動作部の最大速度からパンチルト動作期間を算出することが可能となる。
第10態様は、第9態様の撮像システムにおいて、画角情報取得部によって取得された撮像部の画角情報を用いて、二次元座標により表された指定座標、及び移動先座標に対して極座標変換処理を施して三次元座標に変換する座標変換処理部を備え、移動状態算出部は、座標変換処理部によって変換された三次元座標における指定座標と移動先座標との変位角度をパンチルト動作部の動作パラメータとして算出する構成とすることができる。
第10態様によれば、二次元座標系から三次元座標系への変換を行うことで、二次元座標系で表された表示画面上の移動ベクトル、速度ベクトル、及び加速度ベクトルを、三次元座標系で表されるパンチルト動作への変換が可能となる。
第11態様は、第1態様から第10態様のいずれか一態様の撮像システムにおいて、撮像部の撮像により取得された撮像データの通信期間である撮像データ通信期間を取得する撮像データ通信期間取得部と、パンチルト動作指令部から送出された動作指令の通信期間である動作指令通信期間を取得する動作指令通信期間取得部と、パンチルト動作部の動作指令取得からパンチルト動作部の動作完了までのパンチルト動作期間を取得するパンチルト動作期間取得部と、を備え、画角調整期間算出部は、撮像データ通信期間取得部によって取得された撮像データ通信期間、動作指令通信期間取得部によって取得された動作指令通信期間、及びパンチルト動作期間取得部によって取得されたパンチルト動作期間を合算して、画角調整期間を算出する構成とすることができる。
第11態様によれば、撮像データの通信期間、動作指令の通信期間、パンチルト動作期間を合算された画角調整期間の算出が可能となる。
第12態様は、第11態様の撮像システムにおいて、撮像部へ撮像データの送信リクエストが送信されたタイミングから、撮像部から送信された撮像データが受信されたタイミングまでの期間を測定する通信期間測定部を備え、撮像データ通信期間取得部は、通信期間測定部によって測定された期間を撮像データ通信期間として取得する構成とすることができる。
第12態様によれば、撮像データ通信期間を測定により取得することができる。
第13態様は、第12態様の撮像システムにおいて、撮像データ通信期間取得部は、通信期間測定部による複数回の測定結果の平均を撮像データ通信期間として取得する構成とすることができる。
第13態様によれば、撮像データ通信期間の測定において測定ばらつきが存在しても、測定ばらつきの影響が低減化された信頼性の高い撮像データ通信期間を取得することが可能となる。
第14態様は、第1態様から第13態様のいずれか一態様の撮像システムにおいて、移動体を遠隔操作する移動体遠隔操作部であり、撮像操作部とは独立の移動体遠隔操作部を備える構成とすることができる。
第14態様によれば、移動体の制御パラメータ、移動体の制御に用いられる検出結果、測定結果を用いずに、撮像データから撮像部の移動状態を把握することができる。
第15態様は、第1態様から第14態様のいずれか一態様の撮像システムにおいて、画角調整演算部は、移動先座標を表示画面の中央位置の座標とする構成とすることができる。
第15態様によれば、移動体の移動に伴い移動する撮像部の撮像において、指定された被写体を表示画面の中央位置に表示させることが可能となる。
第16態様に係る画角調整方法は、移動体に搭載される撮像部であり、パン動作、及びチルト動作の少なくともいずれか一方の動作が可能な撮像部の画角調整方法であって、撮像部の撮像により得られた撮像データを送信する撮像データ送信工程と、撮像データ送信工程により送信された撮像データを受信する撮像データ受信工程と、撮像部を操作する撮像制御信号を撮像部へ通信により送信する撮像操作工程と、撮像データ受信工程によって受信された撮像データが表す撮像画像を表示画面に表示させる表示工程と、撮像部の画角を調整する際に、表示画面に表示されている画像における、移動対象の座標である指定座標、及び移動対象の移動先の座標である移動先座標を指定する座標指定工程と、指定座標、及び移動先座標を用いて、パンチルト動作パラメータを算出する画角調整演算工程と、指定座標の指定から、撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出工程と、撮像部の撮像により得られた撮像データから、画角調整期間に移動体の移動によって撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出工程と、撮像部の画角を調整する際に、移動状態算出工程によって算出された移動パラメータ、及び画角調整期間算出工程によって算出された画角調整期間から、画角調整演算工程によって算出されたパンチルト動作パラメータを補正するパンチルト動作パラメータ補正工程と、パンチルト動作パラメータ補正工程によって補正されたパンチルト動作パラメータによって、撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作させるパンチルト動作指令工程と、を含む画角調整方法である。
第16態様によれば、第1態様と同様の効果を得ることができる。
第16態様において、第2態様から第15態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、撮像システムにおいて特定される処理や機能を担う手段は、これに対応する処理や機能を担う画角調整方法の構成要素として把握することができる。
第17態様に係る画角調整プログラムは、コンピュータを、移動体に搭載される撮像手段、撮像手段の撮像により得られた撮像データを送信する撮像データ送信手段、撮像データ送信手段から送信された撮像データを受信する撮像データ受信手段、撮像手段をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作手段、撮像手段と通信接続される撮像操作手段であり、撮像手段を操作する撮像制御信号を撮像手段へ送信する撮像操作手段、撮像データ受信手段によって受信された撮像データが表す撮像画像を表示画面に表示させる表示手段、撮像手段の画角を調整する際に、表示手段の表示画面に表示されている画像における、移動対象の座標である指定座標、及び移動対象の移動先の座標である移動先座標を指定する座標指定手段、指定座標、及び移動先座標を用いて、パンチルト動作手段に適用されるパンチルト動作パラメータを算出する画角調整演算手段、指定座標の指定から、撮像手段の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出手段、撮像手段の撮像により得られた撮像データから、画角調整期間に移動体の移動によって撮像手段が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出手段、撮像手段の画角を調整する際に、移動状態算出手段によって算出された移動パラメータ、及び画角調整期間算出手段によって算出された画角調整期間から、画角調整演算手段によって算出されたパンチルト動作パラメータを補正するパンチルト動作パラメータ補正手段、及びパンチルト動作手段へパンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令手段であり、パンチルト動作パラメータ補正手段によって補正されたパンチルト動作パラメータに対応する信号をパンチルト動作手段へ送出するパンチルト動作指令手段として機能させる表示制御プログラムである。なお上記プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体も本発明の態様に含まれる。
第17態様によれば、第1態様と同様の効果を得ることができる。
第17態様において、第2態様から第15態様で特定した事項と同様の事項を適宜組み合わせることができる。その場合、撮像システムにおいて特定される処理や機能を担う手段は、これに対応する処理や機能を担う画角調整プログラムの構成要素として把握することができる。
本発明によれば、撮像部の撮像により得られた撮像データから撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出し、パンチルト動作部によって撮像部の画角を調整する際のパンチルト動作部の動作パラメータが補正されるので、様々な撮像部の移動状態に対応でき、撮像部の移動中にパンチルト動作部へ動作指令が送信された場合に、通信による遅延に起因する画角調整のずれの補正がされたパンチルト動作が可能である。
図1は撮像システムの全体構成図である。 図2は撮像システムのブロック図である。 図3はパンチルトカメラのブロック図である。 図4は撮像部のブロック図である。 図5は移動体のブロック図である。 図6は移動体操作端末のブロック図である。 図7は従来技術に係る画角調整方法の説明図である。図7(A)は座標入力前の表示状態を示す模式図である。図7(B)は座標入力後の表示状態を示す模式図である。 図8は本実施形態に係る画角調整方法の説明図である。図8(A)は座標指定前の表示状態を示す模式図である。図8(B)は座標指定後の表示状態を示す模式図である。 図9は遅延期間の説明図である。 図10は通信期間測定の説明図である。 図11は移動状態算出の説明図である。 図12は画角調整方法の制御の流れを示したフローチャートである。 図13は図12に示したパンチルト動作パラメータ算出工程の手順の流れを示すフローチャートである。
以下、添付図面に従って本発明の好ましい実施の形態について説明する。
[撮像システムの説明]
<全体構成>
図1は撮像システムの全体構成図である。同図に示す撮像システム10は、移動体12、パンチルトカメラ14、撮像操作部16、及び移動体操作部18を備えている。パンチルトカメラ14は移動体12に搭載されている。
パンチルトカメラ14は移動体12の移動に伴い、移動体12と一緒に移動する。以下の説明において、パンチルトカメラ14に関する説明の中で、移動体12の移動と、パンチルトカメラ14の移動と、は相互に読み替えが可能である。
図1に示した移動体12とパンチルトカメラ14とは、異なる操作手段によって制御される。移動体12は移動体操作部18からの制御信号を受信し、制御信号に基づいて移動する。また、移動体12は移動体のステータス情報を移動体操作部18へ送信する。
移動体操作部18は移動体を遠隔操作する移動体遠隔操作部であり、撮像操作部とは独立の移動体遠隔操作部の一態様である。
パンチルトカメラ14は撮像操作部16から送信された撮像制御信号によって撮像が制御される。また、パンチルトカメラ14の撮像により取得された撮像データは撮像操作部16へ送信される。撮像操作部16の表示部20には、パンチルトカメラ14の撮像によるライブビュー画像が表示される。以下、表示部20に表示されるライブビュー画像を単に画像と記載することがある。
パンチルトカメラ14と通信接続される撮像操作部16は撮像操作手段に相当する。表示部20は表示手段に相当する。
パンチルトカメラ14は撮像部22、及びパンチルト動作部24を備えている。撮像部22はパンチルト動作部24に取り付けられる。撮像操作部16から送信されたパンチルト動作パラメータによってパンチルト動作部24を動作させると、パンチルト動作部24の動作に応じて撮像部22の画角が調整される。以下の説明において、パンチルトカメラ14に関する説明の中で、パンチルトカメラ14の移動と、撮像部22の移動と、は相互に読み替えが可能である。
撮像部22は撮像手段に相当する。パンチルト動作部24はパンチルト動作手段に相当する。
表示部20はタッチパネルが適用される。詳細は後述するが、操作者が表示部20の表示画面をタッチすることで、表示部20の表示画面における任意の座標の指定が可能である。なお、表示部20の表示画面は図8(A)等に符号200を付して図示する。
撮像システム10は、パンチルトカメラ14と撮像操作部16との間で、無線通信が可能に構成されている。また、移動体12と移動体操作部18との間でも無線通信が可能に構成されている。なお、パンチルトカメラ14と撮像操作部16との間の通信形態は無線に限定されない。有線通信を適用してもよい。移動体12と移動体操作部18との間の通信も同様である。
例えば、IEEEが定めるIEEE802.11a/b/g/n規格等に従った無線LANに基づく通信方式や、Bluetooth規格等に従った近距離無線に基づく通信方式を用いることができる。
IEEEは、The Institute of Electrical and Electronics Engineers, Inc.の省略語である。LANは、Local Area Networkの省略語である。Bluetoothは登録商標である。
図1に示した移動体12は走行部26を備えている。走行部26は図示しないモータによって動作する。移動体操作部18から移動体12へ送信される走行制御信号に基づく図示しないモータの動作制御によって、移動体12の走行開始、走行停止、走行速度、又は走行方向が制御される。
本実施形態では、操作部材として、操作ボタン28、レバー30、及びクロスキー32を備えた移動体操作部18を例示したが、他の種類の操作部材を備えてもよい。
本実施形態では、撮像操作部16としてスマートフォン型携帯端末を例示した。図1に示したスマートフォン型携帯端末の撮像操作部16は、操作ボタン34、マイクロホン36、及びスピーカー38を備えている。撮像操作部16として、タブレット型端末機器を適用してもよいし、パーソナルコンピュータなどの固定型端末機器を適用してもよい。
<撮像操作部の説明>
図2は撮像システムのブロック図である。図2中、図1と同一の構成には同一の符号を付し、説明を適宜省略する。図3以降についても、既出の構成と同一の構成には同一の符号を付し、説明を適宜省略する。
図2に示した撮像操作部16は、撮像端末通信部40を備えている。撮像端末通信部40は、パンチルトカメラ14から送信される撮像データを受信する。また、撮像端末通信部40は、パンチルトカメラ14へ撮像制御信号を送信する。撮像制御信号は、撮像開始指令、撮像停止指令、又はズーム等のパンチルトカメラ14の調整指令等のパンチルトカメラ14における撮像制御に関する指令が含まれる。
ここでいう撮像データは、撮像によって得られた画像データを意味する。撮像データは単に画像データ呼ばれることがある。本明細書では撮像により得られた画像データを撮像データと記載することにする。
撮像端末通信部40は撮像データ受信部、及び撮像データ受信手段の構成要素である。
撮像操作部16は、操作部材42を備えている。操作部材42は、表示部20の表示画面に表示される操作ボタンが含まれる。なお、表示部20の表示画面に表示される操作ボタンの図示を省略する。
撮像操作部16は、音声信号変換部44を備えている。音声信号変換部44はマイクロホン36から取得された音声信号を電気信号に変換する。また、スピーカー38から出力される音声に対応する電気信号を音声信号に変換する。
撮像操作部16は、座標指定部46を備えている。座標指定部46は表示部20の表示画面の任意の座標を指定する。例えば、表示部20の表示画面の任意の位置がタッチされると、タッチされた位置が検出され、表示部20の表示画面の座標に変換される。
座標指定部46は座標指定手段に相当する。
撮像操作部16は、画角情報取得部47を備えている。画角情報取得部47は、図1に示した撮像部22に具備されるレンズの画角情報を取得する。図2に示した画角情報取得部47は、図1に示した撮像部22の画角情報が記憶される画角情報記憶部でもよい。
撮像操作部16は、画角調整演算部48を備えている。画角調整演算部48は、座標指定部46によって指定された第一座標、及び第二座標を用いて、パンチルト動作パラメータを算出する画角調整演算が実行される。パンチルト動作パラメータは、パン動作パラメータ、及びチルト動作パラメータが含まれる。
画角調整演算部48は画角調整演算手段に相当する。
撮像操作部16は、座標変換処理部49を備えている。座標変換処理部49は二次元直交座標系のパンチルト動作パラメータを三次元座標系に変換する座標変換処理を実行する。座標変換処理の詳細は後述する。
撮像操作部16は、画角調整期間算出部50を備えている。画角調整期間算出部50は画角調整期間を算出する。画角調整期間算出部50によって算出された画角調整期間は、画角調整演算部48によって算出されたパンチルト動作パラメータの補正に用いられる。画角調整期間の詳細は後述する。
画角調整期間算出部50は画角調整期間算出手段に相当する。
図2に示した撮像操作部16は、移動状態算出部52を備えている。移動状態算出部52は画角調整期間算出部50によって算出された画角調整期間中に、移動体12の移動によってパンチルトカメラ14が移動する際のパンチルトカメラ14の移動方向、及び移動距離を表す移動パラメータを算出する。
移動状態算出部52によって算出されたパンチルトカメラ14の移動パラメータは、画角調整演算部48によって算出されたパンチルト動作パラメータの補正に用いられる。パンチルトカメラ14の移動パラメータの詳細は後述する。
移動状態算出部52は移動状態算出手段に相当する。
図2に示した撮像操作部16は、パンチルト動作パラメータ補正部54を備えている。パンチルト動作パラメータ補正部54は、画角調整期間算出部50によって算出された画角調整期間、及び移動状態算出部52によって算出されたパンチルトカメラ14の移動パラメータを用いて、パンチルト動作パラメータを補正する。パンチルト動作パラメータの補正の詳細は後述する。
パンチルト動作パラメータ補正部54はパンチルト動作パラメータ補正手段に相当する。
図2に示した撮像操作部16は、パンチルト動作指令部56を備えている。パンチルト動作指令部56は、画角調整演算部48によって算出され、かつ、パンチルト動作パラメータ補正部54によって補正されたパンチルト動作パラメータをパンチルト動作部24へ送出する。
図2に示した撮像操作部16は、通信期間測定部58を備えている。通信期間測定部58はパンチルトカメラ14と撮像操作部16との間の通信期間を測定する。通信期間測定部58の構成例として、タイマー、カウンター、及びメモリを備える態様が挙げられる。
通信期間測定は、タイマーを用いて送信開始から送信終了までの期間、又は送信開始から送信失敗による送信中止までの期間を測定し、カウンターを用いて送信失敗によるリトライ回数を測定して、送信開始から送信終了までの期間と、リトライ回数にタイムアウト期間を乗算した期間を加算した値を一回の通信期間測定の測定データとされる。通信期間測定の詳細は後述する。
図2に示した撮像操作部16は、通信期間記憶部59を備えている。通信期間記憶部59は通信期間測定部58によって測定された通信期間測定データが記憶される。
通信期間測定部58は撮像データ通信期間取得部の一態様である。通信期間測定部58は動作指令通信期間取得部の一態様である。撮像データの通信期間取得の一態様として、通信期間記憶部59からの通信期間測定データの読み出しが挙げられる。動作指令通信期間取得の一例として、通信期間記憶部59からの通信期間測定データの読み出しが挙げられる。
図2に示した撮像端末通信部40は、画角調整演算部48によって算出され、かつ、パンチルト動作パラメータ補正部54によって補正されたパンチルト動作パラメータを無線信号に変換したパンチルト駆動制御信号をパンチルト動作部24へ送信する。パンチルト動作部24はパンチルト駆動制御信号を受信して、パンチルト駆動制御信号に基づいてパンチルト動作を実行する。
パンチルト動作指令部56はパンチルト動作指令手段に相当する。
<パンチルトカメラの説明>
図3はパンチルトカメラのブロック図である。図3に示すように、パンチルトカメラ14は、撮像部22を備えている。撮像部22は撮像制御部60によって撮像が制御される。撮像制御部60はカメラ通信部62を介して取得した撮像制御信号に基づいて、撮像制御信号が表す指令を撮像部22へ送出する。
カメラ通信部62は撮像データ送信部、及び撮像データ送信手段の構成要素である。
また、撮像部22の撮像によって得られた撮像データは、撮像制御部60介してカメラ通信部62へ送出される。カメラ通信部62は撮像データを無線通信信号に変換して、図2に示した撮像操作部16へ送信する。
パンチルトカメラ14は、パン駆動部64を備えている。パン駆動部64は駆動源であるモータ、モータに連結されるパン駆動機構が含まれる。パン駆動部64はパン駆動制御部66によって駆動が制御される。パン駆動制御部66は、パン駆動部64の駆動源であるモータの動作を制御するモータドライバーが含まれる。
パンチルトカメラ14は、チルト駆動部68を備えている。チルト駆動部68は駆動源であるモータ、モータに連結されるチルト駆動機構が含まれる。チルト駆動部68はチルト駆動制御部70によって駆動が制御される。チルト駆動制御部70は、チルト駆動部68の駆動源であるモータの動作を制御するモータドライバーが含まれる。
図1に示したパンチルト動作部24は、パン駆動部64、及びチルト駆動部68を備えている。本実施形態におけるパンチルト動作は、パン動作、及びチルト動作の少なくともいずれか一方が含まれる。
また、先に説明したパンチルト動作パラメータは、パン動作の動作パラメータ、及びチルト動作の動作パラメータの少なくともいずれか一方が含まれる。
カメラ通信部62を介してパン動作パラメータが取得されると、撮像制御部60は、パン動作パラメータに基づく指令をパン駆動制御部66へ送出する。パン駆動制御部66は指令に基づきパン駆動部64を動作させる。
同様に、カメラ通信部62を介してチルト動作パラメータが取得されると、撮像制御部60は、チルト動作パラメータに基づく指令をチルト駆動制御部70へ送出する。チルト駆動制御部70は指令に基づきチルト駆動部68を動作させる。
<撮像部の説明>
図4は撮像部のブロック図である。図4に示すように、撮像部22は光学系71を備えている。光学系71は、レンズ、及び絞りを備えている。複数の種類のレンズを具備するレンズ群を備えてもよい。
撮像部22は撮像素子72を備えている。撮像素子72は光学系を介して入射された被写体の光学像を電気信号に変換する。撮像素子72は固体撮像素子が適用される。固体撮像素子の一例としてCCDイメージセンサ、CMOSイメージセンサが挙げられる。
CCDはCharge Coupled Deviceの省略語である。CMOSはComplementary Metal- Oxide Semiconductorの省略語である。
撮像部22はアナログ信号処理部74を備えている。アナログ信号処理部74は、撮像素子72によって変換されたアナログ形式の電気信号である撮像信号に対して自動利得調整等のアナログ信号処理を施す。ここでいう撮像信号は撮像データに相当する。
撮像部22はAD変換部76を備えている。AD変換部76はアナログ信号処理部74による信号処理が施されたアナログ形式の撮像信号を、デジタル形式の撮像信号に変換する。ADのAはanalogを表す。ADのDはdigitalを表す。
撮像部22はデジタル信号処理部80を備えている。デジタル信号処理部80は、AD変換部76によってデジタル形式の撮像信号に変換される。
撮像部22はメモリ82を備えている。メモリ82は、デジタル信号処理部80によって変換されたデジタル形式の撮像信号に対応する撮像データが記憶される。メモリ82に記憶された撮像データは、データバス84、撮像制御部60、及び図3に示したカメラ通信部62を介して、図1に示した撮像操作部16へ送信される。
撮像部22は光学系駆動部86を備えている。光学系駆動部86は撮像制御部60から送出される指令に基づき光学系71の動作を制御する。光学系71の動作の一例として、ズーム調整、又は絞り調整が挙げられる。
撮像部22は撮像素子駆動部88を備えている。撮像素子駆動部88は撮像制御部60から送出される指令に基づき、撮像素子72の露光期間、電荷の読み出しタイミング等の撮像素子72の動作を制御する。
なお、図4に示した撮像部22の構成は一例であり、ライブビュー画像の撮像、動画撮影、又は静止画の連続撮影が可能な撮像装置を撮像部22に適用することができる。図4に示した撮像制御部60は、図3に示した撮像制御部60のうち、少なくとも撮像部22の動作を制御する機能を有する部分が含まれていればよい。
<移動体、及び移動体操作部の説明>
図5は移動体のブロック図である。図5に示す移動体12は移動体駆動部90を備えている。移動体駆動部90は、駆動源であるモータ、及びモータに連結される駆動機構が含まれる。
移動体12は移動体駆動制御部92を備えている。移動体駆動部90は移動体駆動制御部92によって駆動が制御される。移動体駆動制御部92は移動体駆動部90の駆動源であるモータの動作を制御するモータドライバーが含まれる。
移動体12はセンサ94を備えている。センサ94は移動体12の位置を検出する位置検出センサや、移動体12の進行方向における障害物の有無を検出する障害物検出センサなどの各種センサが含まれる。
センサ94から得られた検出信号は移動体駆動制御部92へ送られる。移動体駆動制御部92は検出信号が表す情報を取得し、移動体駆動部90の動作制御へフィードバックする。
移動体12は移動体通信部96を備えている。移動体通信部96は図1に示した移動体操作部18から送信された移動体制御信号を受信する。図5に示した移動体通信部96は受信した移動体制御信号を移動体駆動制御部92へ送出する。移動体駆動制御部92は移動体制御信号に基づいて移動体12の動作指令を移動体駆動部90へ送出する。
また、移動体通信部96はセンサ94から得られた検出信号が表す情報を図1に示した移動体操作部18へ送信する。
図6は移動体操作端末のブロック図である。図6に示した移動体操作部18は移動体操作制御部100を備えている。移動体操作部18は操作部102を備えている。操作部102は操作者が操作する操作部材であり、図1に示した操作ボタン28、レバー30、及びクロスキー32等が含まれる。操作部102の操作によって入力された情報は、移動体操作制御部100へ送出される。
移動体操作部18は表示部材104を備えている。表示部材104は電源オンを表す電源ランプや、通信の状態を表す通信状態表示ランプなどが含まれる。なお、図1では表示部材104の図示を省略した。
図6に示した移動体操作部18は移動体操作通信部106を備えている。移動体操作通信部106は、移動体12の制御信号を移動体12へ送信し、かつ、移動体12のステータス情報を受信する。
なお、図2から図6を用いて説明した移動体12、パンチルトカメラ14、撮像操作部16、及び移動体操作部18は一例であり、構成要素の追加、変更、又は削除が可能である。
図2から図6に示した各部は、適宜、統合、又は分離が可能である。例えば、各種演算を実行する演算部を統合する態様、各種情報、又は各種データが記憶される記憶部を統合する態様が可能である。
また、図2から図6に一つの演算部として図示された演算部を二以上のプロセッサーを用いて実現する態様や、一つの記憶部として図示された記憶部を二以上のメモリを用いて実現する態様も可能である。
[画角調整の説明]
<概要>
次に、図1等に示したパンチルトカメラ14の画角調整について説明する。図2に示した撮像操作部16の撮像端末通信部40によって受信されたパンチルトカメラ14の撮像画像は、表示部20の表示画面に表示される。表示部20の表示画面は図8(A)等に符号200を付して図示する。
表示部20の表示画面に表示された撮像画像の任意の領域を指定し、かつ、指定した任意の領域の移動先を指定すると、パンチルトカメラ14の画角が自動的に調整され、表示部20の表示画面の上で、指定した任意の領域が指定された移動先に移動する。
本実施形態では、表示部20の表示画面の任意の位置をタッチすることで、表示部20の表示画面の任意の位置に対応する、表示部20の表示画面の座標が座標指定部46によって指定される。
移動対象の座標である指定座標と、移動対象の移動先の座標である移動先座標が指定されると、指定座標、及び移動先座標の情報に基づいて、図1に示したパンチルト動作部24を動作させ、すなわち、パンチルトカメラ14の光軸を移動させ、パンチルトカメラ14の画角が調整される。
ここでいう指定座標は先に説明した第一座標に相当する。また、移動先座標は先に説明した第二座標に相当する。すなわち、表示部20の表示画面にパンチルトカメラ14の撮像画像が表示されている状態で、表示部20の表示画面における任意の二つの領域を指定すると、先に指定した領域を後に指定した領域の位置へ移動させる、パンチルトカメラ14の画角調整が実行される。
<画角調整の課題の説明>
図7は従来技術に係る画角調整方法の説明図である。図7(A)は座標入力前の表示状態を示す模式図である。図7(B)は座標入力後の表示状態を示す模式図である。
図7(A)、及び図7(B)に示した表示画面200において、横軸をX軸とする。縦軸をZ軸とする。表示画面200の中央位置201の座標を(0,0)とする。表示画面200の右上隅の座標を(XMAX,ZMAX)とする。表示画面200の左上隅の座標を(−XMAX,ZMAX)とする。表示画面200の左下隅の座標を(−XMAX,−ZMAX)とする。表示画面200の右下隅の座標を(XMAX,−ZMAX)とする。表示画面200の任意の座標を(X,Z)とする。
図7(A)の表示画面200に表示された撮像画像において、被写体202の中央位置204を表示画面200の中央位置201に移動させる際の画角調整が行われる場合を考える。指定座標として被写体202の中央位置204の座標(X,Z)を指定する。移動先座標に表示画面200の中央位置201の座標(0,0)を指定する。
指定座標が(X,Z)に指定され、移動先座標が(0,0)に指定されると、表示画面200において、被写体202の中央位置204を始点とし、表示画面200の中央位置201を終点とする第一移動ベクトル206が決められる。第一移動ベクトルは、図2の画角調整演算部48において算出されるパンチルト動作パラメータの一態様である。
図1に示した移動体12が停止している場合は、図7(A)に示した第一移動ベクトル206から算出されたパンチルト動作パラメータを用いて、パンチルトカメラ14の画角調整を行えばよい。
一方、先に説明したように、パンチルトカメラ14は移動体12の移動により移動する。図7(A)に示した第二移動ベクトル208は、移動体12の移動に伴うパンチルトカメラ14の移動を表す移動ベクトルである。
移動体12の移動中に画角調整が実行されると、画角調整実行後に表示画面200に表示される画像は図7(B)に示すように、所望の移動先である表示画面200の中央位置201からずれた位置に表示される。
すなわち、表示画面200において、画角調整がされた後の被写体202Aの中央位置204Aは、第一移動ベクトル206と第二移動ベクトル208とのベクトル加算演算により求められた第三移動ベクトル210の終点である、座標(X,Z)の位置へ移動してしまう。
したがって、移動体12の移動中に画角調整を実行する際は、以下に説明する遅延期間を考慮する必要がある。以下の、本実施形態に係る画角調整方法について、詳細に説明する。
<画角調整方法の詳細な説明>
図8は本実施形態に係る画角調整方法の説明図である。図8(A)は座標指定前の表示状態を示す模式図である。図8(B)は座標指定後の表示状態を示す模式図である。
本実施形態に係る画角調整方法は、まず、図8(A)に示すように、移動体12の移動に伴うパンチルトカメラ14の移動ベクトルである第二移動ベクトル208をキャンセルする補正ベクトル220が算出される。次に、補正ベクトル220と、第一移動ベクトル206から、補正後の撮像部の光軸の移動ベクトルである第四移動ベクトル222が算出される。なお、図8(A)では撮像部の図示を省略する。撮像部は、図1等に符号22を付して図示されている。図8(B)についても同様である。
図8(A)に示した第二移動ベクトル208は、図2に示した移動状態算出部52によって算出されたパンチルトカメラ14の移動パラメータに相当する。図8(A)に示した補正ベクトル220は、図2に示したパンチルト動作パラメータ補正部54におけるパンチルト部の動作パラメータの補正に用いられる。
補正ベクトル220は、第二移動ベクトル208と大きさが同一であり、方向が反対方向のベクトルである。換言すると、補正ベクトル220は、第二移動ベクトル208を180度回転させたベクトルである。
図8(A)において、第二移動ベクトル208の終点の座標を(X22,Z22)とすると、補正ベクトルの終点のX座標はX22+2×(X−X22)と表される。また、補正ベクトルの終点Z座標はZ22+2×(Z−Z22)と表される。
図8(A)に示した補正後の撮像部22の光軸の移動ベクトルである第四移動ベクトル222が算出されると、第四移動ベクトル222に基づいて、図2に示したパンチルト動作指令部56において、パンチルト動作パラメータに対応する動作指令が生成される。
第四移動ベクトル222に対応するパンチルト動作パラメータを用いて、パンチルトカメラ14の画角調整がされると、図8(B)に符号202Bを付して示した被写体は、表示画面200の中央位置201に移動する。
図2に示したパンチルト動作指令部56は、図8(B)に示した第四移動ベクトル222に対応するパンチルト動作パラメータを、撮像端末通信部40を介して図1に示したパンチルト動作部24へ送信する。
図2に示した画角調整期間算出部50は、パンチルト動作パラメータとして、図1に示したパンチルト動作部24の動作速度を算出する。パンチルト動作部24の動作速度は、図9に示したパンチルト動作期間t、及び指定座標、移動先座標から決められる。
また、図2に示した画角調整期間算出部50は、画角情報取得部47によって取得された撮像部22に具備されるレンズの画角情報、及びパンチルト動作部24の最大動作速度を用いて図9に示したパンチルト動作期間tを算出する。パンチルト動作部24の最大動作速度をVφ、レンズの画角をFOVとすると、パンチルト動作期間tは、t=FOV/Vφと表される。
パンチルト動作部24の最大動作速度Vφの単位は度毎秒である。レンズの画角FOVの単位は度である。
これらの情報は、画角調整期間算出部50によって算出されるパンチルト動作パラメータに含まれる。
画角調整期間算出部50はパンチルト動作期間取得部の一態様である。パンチルト動作期間取得の一例として、パンチルト動作期間tの算出が挙げられる。
<遅延期間の説明>
次に、遅延期間について詳細に説明する。図9は遅延期間の説明図である。図9に示すように、撮像操作部16からパンチルトカメラ14へ撮像制御信号が送信されると、パンチルトカメラ14の撮像が開始される。パンチルトカメラ14の撮像が行われている期間は、図1に示した移動体12は移動しているものとする。
パンチルトカメラ14は撮像画像を表す撮像データを、予め決められたタイミングにおいて撮像操作部16へ送信する。パンチルトカメラ14から撮像操作部16への撮像データの送信期間はtである。
次に、撮像操作部16において、指定座標、及び移動先座標が指定される。また、図2に示した画角調整演算部48によりパンチルト動作パラメータを算出する画角調整演算が実行され、画角調整期間算出部50により画角調整期間が算出され、移動状態算出部52によりパンチルトカメラ14の移動パラメータが算出され、パンチルト動作パラメータ補正部54によりパンチルト動作パラメータが補正される。図9に示すように、指定座標、及び移動先座標の指定から画角調整演算の終了までの期間はtである。ここでいう画角調整演算の終了とは、パンチルト動作パラメータ補正部54により、補正後のパンチルト動作パラメータが算出されることを意味する。
パンチルト動作パラメータが算出されると、パンチルト動作パラメータが通信形式の信号に変換され、パンチルトカメラ14へ送信される。図9に示すように、パンチルト動作パラメータ送信期間はtである。
パンチルトカメラ14がパンチルト動作パラメータを受信すると、図1に示したパンチルト動作部24を動作させて、パンチルトカメラ14をパンチルト動作させる。図9に示すように、パンチルト動作指令取得からパンチルト動作が完了するまでのパンチルト動作期間はtである。
図1に示した移動体12の移動中に画角調整を行う際の遅延期間をTとすると、遅延期間TはT=t+t+t+tと表される。なお、撮像データ送信期間t、画角調整演算期間t、パンチルト動作パラメータ送信期間t、パンチルト動作期間t、及び遅延期間Tの単位は秒である。
撮像データ送信期間t、及びパンチルト動作パラメータ送信期間tは、通信環境によって、比較的大きなばらつきが発生する。したがって、撮像データ送信期間t、及びパンチルト動作パラメータ送信期間tは、パンチルトカメラ14と撮像操作部16との間で通信が実行されるごとに測定される。
また、パンチルト動作期間tは固定値である。一方、画角調整演算期間tは他の期間と比較して非常に短期間であり、ばらつきは無視できる。
このようにして算出された遅延期間Tは、図2に示したパンチルト動作パラメータ補正部54において、パンチルト動作パラメータの補正処理に適用される。
<通信期間測定の説明>
次に、図9に示した撮像データ送信期間t、及びパンチルト動作パラメータ送信期間tについて詳細に説明する。以下の説明では、撮像データ送信期間t、及びパンチルト動作パラメータ送信期間tを総称して通信期間と呼ぶこととする。撮像データ送信期間tは撮像データ通信期間に相当する。
図10は通信期間測定の説明図である。図10には、通信期間測定の手順として、図9に示した撮像データ送信期間tの測定手順を示す。撮像データ送信期間tの測定は、図2に示した通信期間測定部58により実行される。撮像データ送信期間tの測定データは、図2に示した通信期間記憶部59に記憶される。
図10に示すように、まず、データ送信リクエストが撮像操作部16からパンチルトカメラ14へ送信される。次に、パンチルトカメラ14は撮像データ送信リクエストを受信すると、撮像データを送信する。
予め決められた期間内に撮像データの送信が終了されない場合はタイムアウトとされ、撮像データの送信は中断される。撮像データの送信が中断され、撮像データの送信に失敗すると、撮像データの再送信である送信リトライが実行される。送信リトライは予め回数が設定されている。
一方、予め決められた期間内に撮像データの送信が終了すると、撮像操作部16により撮像データが受信される。
送信リトライ回数が多くなると、撮像データ送信期間tは長くなる。つまり、パンチルトカメラ14の送信状態、撮像操作部16の受信状態等によって送信リトライ回数が変動する。
したがって、各回の通信期間測定の測定データはばらつきが生じるため、複数回の測定結果である、数十回の測定データを平均するなどの統計的処理を行い、信頼性の高い優位な通信期間測定の測定データを取得することが好ましい。
図9に示したパンチルト動作パラメータ送信期間tは、撮像データ送信期間tと同様の手順によって測定が可能である。パンチルト動作パラメータ送信期間tの測定は、図2に示した通信期間測定部58により実行される。パンチルト動作パラメータ送信期間tの測定データは、図2に示した通信期間記憶部59に記憶される。
このようにして測定され、記憶された通信期間は、図2に示した移動状態算出部52におけるパンチルトカメラ14の移動パラメータに適用される。
<移動状態算出の説明>
次に、図2に示した移動状態算出部52における移動状態算出について詳細に説明する。図11は移動状態算出の説明図である。
図1等に示した移動体12の移動中の画角調整では、移動体12の移動状態を把握する必要がある。本実施形態に係る撮像システム、及び画角調整方法では、パンチルトカメラ14の撮像データから移動体12の移動状態を把握している。
移動体に、速度センサ、加速度センサを備える態様も考えられるが、図8(A)等に示した表示画面200における速度、及び加速度の算出には、パンチルトカメラ14と被写体との距離を別途取得する必要があるため、煩雑である。
本実施形態では、図8(A)に示した表示画面200の上で被写体202の移動状態を表す第二移動ベクトル208を算出する。そして、表示画面200の上で第二移動ベクトル208から図8(B)に示した補正ベクトル220を算出する。
さらに、表示画面200の上で、所望の被写体202の移動を表す第一移動ベクトル206を補正して、表示画面200の上で、所望の被写体202の移動を実現する第四移動ベクトル222を算出している。
そして、表示画面200の上の第四移動ベクトル222を、二次元直交座標系から三次元座標系へ変換することで、第四移動ベクトル222のX成分がパン動作の角度に変換され、第四移動ベクトル222のZ成分がチルト動作の角度に変換される。
以下に、表示画面200の上の二次元直交座標系における演算について詳細に説明する。
移動体12の移動を等加速度直線運動と仮定する。等加速度運動をする物体の移動距離sを表す式は、s=v+at/2である。ここで、vは初速である。aは加速度である。tは期間である。つまり、表示画面200の上において、画角調整指示がされたタイミングの被写体202の速度、加速度が求められれば、期間t後の位置が把握できる。
本実施形態に係る撮像システム10では、撮像操作部16が受信した撮像画像を、FIFOでn枚バッファしておく。nは2以上の整数である。なお、FIFOは先入れ先出し法を表すFirst In First Outの省略語である。
画角調整指示として、指定座標、及び移動先座標が指定されると、移動先座標が指定されたタイミングにおける最新の画像から、指定座標を中心としたm画素×m画素のテンプレートを切り出す。
なお、mは1以上の整数でよいが、mは二以上の整数が好ましい。ここでいう、移動先座標が指定されたタイミングにおける最新の画像とは、移動先座標が指定されたタイミングに表示画面200に表示されている画像である。
図11の右端に図示した表示画面200は、FIFOでバッファされたn枚目の画像である、最新の画像が表示されている。図11の右端に図示した表示画面200の表示画像は、第一タイミングにおいて取得された第一撮像データに相当する。
表示画面200に表示された画像からm画素×m画素のテンプレート230が切り出されている。被写体202の中央位置204の座標を(X,Z)とする。テンプレート230を用いて、テンプレートマッチングによる移動量算出を行う。また、画像取得期間間隔が別途取得され、速度ベクトル、加速度ベクトルが求められる。テンプレートマッチングは特徴点検出の一態様である。
図11の中央に図示された表示画面200は、FIFOでバッファされたn−1枚目の画像が表示されている。図11の中央に図示された表示画面200の表示画像は、第二タイミングにおいて取得された第二撮像データに相当する。
図11の中央に図示された表示画面200における被写体202の中央位置204の座標を(Xn−1,Zn−1)とする。n枚目の画像とn−1枚目の画像との画像取得期間間隔はTである。n枚目の画像とn−1枚目の画像との画像取得期間間隔Tは第一期間に相当する。
図11の左端に図示された表示画面200は、FIFOでバッファされたn−2枚目の画像が表示されている。図11の左端に図示された表示画面200の表示画像は、第三タイミングにおいて取得された第三撮像データに相当する。
図11の左端に図示された表示画面200における被写体202の中央位置204の座標を(Xn−2,Zn−2)とする。n−1枚目の画像とn−2枚目の画像との画像取得期間間隔はTn−1である。n−1枚目の画像とn−2枚目の画像との画像取得期間間隔Tn−1は第二期間に相当する。
画像取得期間間隔Tにおける、表示画面200の表示画像の移動ベクトルDのX成分をDnXすると、DnX=X−Xn−1と表される。同様に、画像取得期間間隔Tにおける、表示画面200の表示画像の移動ベクトルDのZ方向成分をDnZとすると、DnZ=Z−Zn−1と表される。
画像取得期間間隔Tにおける表示画面200の表示画像の移動ベクトルDは、図8(A)等に示した第一移動ベクトル206に相当する。
n枚目の画像における速度ベクトルVのX成分をVnXとすると、VnX=|DnX|/T={(X−Xn−11/2/Tと表される。同様に、n枚目の画像における速度ベクトルVのZ成分をVnZとすると、VZn=|DnZ|/T={(Z−Zn−11/2/Tと表される。
速度ベクトルVは第一移動ベクトルの大きさを第一期間で除算した大きさを有し、第一移動ベクトルが表す方向と平行の方向を有する第一速度ベクトルに相当する。
n枚目の画像における加速度ベクトルAのX成分をAnXとするとAnX={(VnX−Vn−1X1/2/Tn−1と表される。Vn−1Xは、n−1枚目の画像における速度ベクトルVn−1のX成分であり、Vn−1X=|Dn−1X|/Tn−1={(Xn−1−Xn−21/2/Tと表される。
n枚目の画像における加速度ベクトルのZ成分をAnZとするとAnZ={(VnZ−Vn−1Z1/2/Tn−1と表される。Vn−1Zは、n−1枚目の画像における速度ベクトルVn−1のZ成分であり、Vn−1Z=|Dn−1Z|/Tn−1={(Zn−1−Zn−21/2/Tと表される。
X成分Xn−1−Xn−2を有し、Z成分Zn−1−Zn−2を有するベクトルは第二移動ベクトルに相当する。
n−1X、及びVn−1Zは、第二移動ベクトルの大きさを第二期間で除算した大きさを有し、第二移動ベクトルが表す方向と平行の方向を有する第二速度ベクトルに相当する。{(VnX−Vn−1X1/2、及び{(VnZ−Vn−1Z1/2は第一速度ベクトルから第二速度ベクトルを減算して求められた差分ベクトルに相当する。
加速度ベクトルAは、差分ベクトルの大きさを第一期間で除算した大きさを有し、差分ベクトルと平行の方向を有する加速度ベクトルに相当する。
このようにして、n枚目の画像における速度ベクトルV、及び加速度ベクトルAが求められると、図9に示した遅延期間Tにおける、表示画面200の表示画像の移動量を表す補正ベクトルが算出される。補正ベクトルのX成分は、X+AnX×T1/2/2と表される。同様に、補正ベクトルのZ成分は、Z+AnZ×T1/2/2と表される。ここでいう補正ベクトルは図8(A)等に示した補正ベクトル220である。
本実施形態では、時系列の進行順に取得された三枚の画像を用いて、最後に取得された最新の画像の移動ベクトル、速度ベクトル、及び加速度ベクトルを算出する態様を例示した。複数枚の画像について移動ベクトル、速度ベクトル、及び加速度ベクトルを算出し、移動ベクトル、速度ベクトル、及び加速度ベクトルのそれぞれの平均を適用してもよい。
このようにして、移動体12、及び撮像部22の移動状態に相当する被写体の移動状態を、表示部20の表示画面200の上で、パンチルトカメラ14の撮像データを用いたベクトル演算により把握することができるので、移動体12に速度センサ、加速度センサ、測距センサ等の検出手段を備えることなく、移動体12の移動状態を把握することができる。
また、ベクトル演算は、二次元直交座標系において実行されるので、演算処理の負荷の軽減化、演算に用いられるメモリの記憶容量の削減に寄与する。
<二次元座標系から三次元座標系への変換の説明>
先に説明したように、画角調整演算により求められた二次元直交座標系のパンチルト動作パラメータは、三次元座標系に変換することで、実際のパンチルト動作におけるパン角度、及びチルト角度が求められる。三次元座標は、極座標、特に球座標を適用するとよい。パン角度、及びチルト角度は変位角度に相当する。
二次元直交座標系から三次元座標系への変換は、公知の手法を適用することができるので、ここでの詳細な説明は省略する。二次元直交座標系から極座標への変換処理は極座標変換処理に相当する。二次元直交座標系から球座標への変換処理は球座標変換処理に相当する。極座標変換処理は三次元座標変換処理の一態様である。座標変換処理は三次元座標変換処理の他の一態様である。
[画角調整方法のフローチャートの説明]
図12は画角調整方法の制御の流れを示したフローチャートである。撮像制御信号送信工程S100において、撮像操作部16からパンチルトカメラ14へ撮像制御信号が送信される。撮像制御信号送信工程S100は撮像操作工程に相当する。
撮像制御信号受信工程S101において、パンチルトカメラ14が撮像制御信号を受信すると、撮像工程S102において、図1に示した撮像部22を用いて撮像が実行される。図12の撮像工程S102において取得された撮像データは、撮像データ送信工程S104において、パンチルトカメラ14から撮像操作部16へ送信される。
撮像工程S102による撮像、及び撮像データ送信工程S104による撮像データの送信は、撮像停止の指示がされるまで繰り返し実行される。
撮像データ受信工程S106において、撮像操作部16が撮像データを受信すると、表示工程S108において、受信した撮像データが表す画像を図1に示した表示部20の表示画面に表示させる。
図12の画角調整指示工程S110において、画角調整指示がされると、パンチルト動作パラメータ算出工程S112において、パンチルト動作パラメータが算出される。画角調整指示工程S110における画角調整指示は、図8(A)に示した指定座標の指定、及び移動先座標の指定である。
画角調整指示工程S110は座標指定工程の一態様である。
パンチルト動作パラメータ算出工程S112において算出されたパンチルト動作パラメータは、パンチルト動作パラメータ送信工程S114において、撮像操作部16からパンチルトカメラ14へ送信される。撮像操作部16におけるパンチルト動作パラメータ算出工程S112の詳細は後述する。
パンチルト動作パラメータ受信工程S116において、撮像操作部16から送信されたパンチルト動作パラメータをパンチルトカメラ14が受信すると、パンチルト動作工程S118において、受信されたパンチルト動作パラメータに基づき、図1に示したパンチルト動作部24を動作させて、撮像部22の画角調整がされる。
パンチルト動作パラメータ送信工程S114、パンチルト動作パラメータ受信工程S116、及びパンチルト動作工程S118はパンチルト動作指令工程の構成要素である。
以降、図1に示した表示部20に画像が表示されている際に、画角調整指示工程S110において、画角調整指示がされると、パンチルト動作パラメータ算出工程S112からパンチルト動作工程S118までの各工程が実行される。
次に、図12に示したパンチルト動作パラメータ算出工程について詳細に説明する。図13は図12に示したパンチルト動作パラメータ算出工程の手順の流れを示すフローチャートである。
図12の画角調整指示工程S110において指定座標が指定されると、図13の指定座標取得工程S200において、指定された指定座標が取得される。また、図12の画角調整指示工程S110において移動先座標が指定されると、図13の移動先座標取得工程S202において、指定された移動先座標が取得される。
第一移動ベクトル算出工程S204では、図8(A)に示した第一移動ベクトル206が算出される。すなわち、指定座標と移動先座標との相対移動を表す移動ベクトルである第一移動ベクトルが算出される。
第一移動ベクトル算出工程S204は画角調整演算工程の一態様である。
画角調整期間算出工程S206では、図9に示した遅延期間T、すなわち、画角調整指示から画角調整完了までの期間が算出される。具体的には、図9に示した撮像データ送信期間t、画角調整演算期間t、パンチルト動作パラメータ送信期間t、及びパンチルト動作期間tが読み出され、これらが合算され遅延期間Tである画角調整期間が算出される。
図13の移動状態算出工程S208は、画角調整期間算出工程S206において算出された画角調整期間の、図1に示した移動体12の移動を表す移動ベクトルである、図8(A)に示した第二移動ベクトル208が算出される。
図13のパンチルト動作パラメータ補正工程S210では、移動状態算出工程S208において求められた、図8(A)に示した第二移動ベクトル208と、図13の第一移動ベクトル算出工程S204において算出された、図8(A)に示した第一移動ベクトル206、又は補正ベクトル220と、を用いて、第四移動ベクトル222が算出される。
さらに、図8(A)に示した表示画面200におけるパンチルト動作の動作パラメータが算出される。
図8(A)に示した表示画面200におけるパンチルト動作の動作パラメータは、二次元直交座標系を三次元極座標系への座標系変換処理が施される。座標系変換処理によって、表示画面200におけるX方向の移動がパン方向の変位角度に変換される。また、座標系変換処理によって、表示画面200におけるZ方向の移動がチルト方向の変位角度に変換される。
このようにして算出されたパンチルト動作の動作パラメータは、図12のパンチルト動作パラメータ送信工程S114において、撮像操作部16からパンチルトカメラ14へ送信される。
本実施形態では、二次元直交座標系から三次元極座標系への座標系変換処理が、撮像操作部16によるパンチルト動作パラメータ算出工程S112において実行される態様を例示したが、パンチルトカメラ14において二次元直交座標系から三次元極座標系への座標系変換処理を行う態様も可能である。
パンチルト動作パラメータとして、図7に図示した、パンチルト動作開始からパンチルト動作完了までのパンチルト動作期間t、図1に示したパンチルト動作部24の動作速度が求められる。
図4に示した光学系71に含まれるレンズの画角、及びパンチルト動作の最大速度から、パンチルト動作期間tが求められる。
パンチルト動作パラメータは、図1に示したパンチルト動作部24に具備されるモータの回転速度、及び回転数が求められるものであればよい。なお、ここでいう回転数はパンチルト動作期間にモータが回転する数である。
<画角調整プログラムの説明>
図1に示した撮像システム10の機能をコンピュータに実現させるためのプログラムをCD−ROMや磁気ディスクその他のコンピュータ可読媒体に記録し、情報記憶媒体を通じてプログラムを提供することが可能である。
CD−ROMはCompact Disc Read-only Memoryの省略語である。コンピュータ可読媒体とは有体物たる非一時的な情報記憶媒体を表している。
このような情報記憶媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの通信ネットワークを利用してプログラム信号をダウンロードサービスとして提供することも可能である。
また、上述の実施形態で説明した撮像システム、又は全部をアプリケーションサーバやクラウドコンピューティングによって実現し、ネットワークを通じて処理機能を提供するサービスを行うことも可能である。
[作用効果の説明]
上記の如く構成された撮像システム、画角調整方法、及び画角調整プログラムによれば、パンチルトカメラの移動中に画角調整が実行された場合に、パンチルトカメラの移動状態が把握され、画角調整に適用されるパンチルト動作パラメータが補正され、画角調整による表示画像の位置ずれは発生しない。パンチルトカメラの移動状態は、パンチルトカメラの撮像によって取得された撮像データから把握されるので、パンチルトカメラの移動状態を検出する手段を別途備える必要がない。
また、パンチルトカメラの移動状態は、表示画面の上における二次元直交座標系のベクトル演算が適用されるので、複雑な演算処理を実行する必要はなく、演算負荷の軽減化が見込まれる。
本実施形態では、走行型の移動体を例示したが、飛行型の移動体、船舶型の移動体、又はこれらの複合型の移動体を用いることも可能である。
本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。各実施形態における構成等は、本発明の趣旨を逸脱しない範囲で、各実施形態間で適宜組み合わせることができる。
10…撮像システム、12…移動体、14…パンチルトカメラ、16…撮像操作部、20…表示部、22…撮像部、24…パンチルト部、40…通信端末通信部、42…撮像操作部、46…座標指定部、48…画角調整演算部、50…画角調整期間演算部、52…移動状態算出部、54…パンチルト動作パラメータ補正部、56…パンチルト動作指令部、58…通信期間測定部、60…撮像制御部、62…カメラ通信部、64…パン駆動部、66…パン駆動制御部、68…チルト駆動部、70…チルト駆動制御部、200…表示画面、202…被写体、206…第一移動ベクトル、208…第二移動ベクトル、210…第三移動ベクトル、220…補正ベクトル、222…第四移動ベクトル、230…テンプレート

Claims (18)

  1. 移動体と、
    前記移動体に搭載される撮像部と、
    前記撮像部の撮像により得られた撮像データを送信する撮像データ送信部と、
    前記撮像データ送信部から送信された撮像データを受信する撮像データ受信部と、
    前記撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作部と、
    前記撮像部と通信接続される撮像操作部であり、前記撮像部を操作する撮像制御信号を前記撮像部へ送信する撮像操作部と、
    前記撮像データ受信部によって受信された撮像データが表す撮像画像を表示画面に表示させる表示部と、
    前記撮像部の画角を調整する際に、前記表示部の表示画面に表示されている画像における、移動対象の座標である指定座標、及び前記移動対象の移動先の座標である移動先座標を指定する座標指定部と、
    前記指定座標、及び前記移動先座標を用いて、前記パンチルト動作部に適用されるパンチルト動作パラメータを算出する画角調整演算部と、
    前記指定座標の指定から、前記撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出部と、
    前記撮像部の撮像により得られた撮像データから、前記画角調整期間に前記移動体の移動によって前記撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出部と、
    前記撮像部の画角を調整する際に、前記移動状態算出部によって算出された前記移動パラメータ、及び前記画角調整期間算出部によって算出された前記画角調整期間から、前記画角調整演算部によって算出された前記パンチルト動作パラメータを補正するパンチルト動作パラメータ補正部と、
    前記パンチルト動作部へ前記パンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令部であり、前記パンチルト動作パラメータ補正部によって補正された前記パンチルト動作パラメータに対応する信号を前記パンチルト動作部へ送出するパンチルト動作指令部と、
    を備えた撮像システム。
  2. 前記画角調整演算部は、前記指定座標、及び前記移動先座標から、前記パンチルト動作パラメータとして、第一移動ベクトルを算出し、
    前記移動状態算出部は、前記画角調整期間における前記撮像部の移動パラメータとして補正ベクトルを算出し、
    前記パンチルト動作パラメータ補正部は、前記補正ベクトルを用いて、前記第一移動ベクトルが表すパンチルト動作パラメータを補正する請求項1に記載の撮像システム。
  3. 前記移動状態算出部は、前記補正ベクトルとして、前記画角調整期間の前記移動体の移動によって前記撮像部が移動する際の前記撮像部の速度を表す速度ベクトル、及び前記画角調整期間の前記移動体の移動によって前記撮像部が移動する際の前記撮像部の加速度を表す加速度ベクトルを算出する請求項2に記載の撮像システム。
  4. 前記移動状態算出部は、第一タイミングにおいて前記撮像部の撮像により取得された第一撮像データ、及び前記第一タイミングの前の第二タイミングにおいて前記撮像部の撮像により取得された第二撮像データから、前記第二タイミングと第一タイミングとの間の第一期間における前記撮像部の移動距離、及び移動方向を表す前記第一移動ベクトルを取得し、
    前記第一移動ベクトルの大きさを前記第一期間で除算した大きさを有し、前記第一移動ベクトルが表す方向と平行の方向を有する速度ベクトルである第一速度ベクトルを算出する請求項3に記載の撮像システム。
  5. 前記移動状態算出部は、前記第一移動ベクトルを取得する際に特徴点検出を用いる請求項4に記載の撮像システム。
  6. 前記移動状態算出部は、前記第二撮像データ、及び前記第二タイミングの前の第三タイミングにおいて前記撮像部の撮像により取得された第三撮像データから、前記第三タイミングと前記第二タイミングとの間の期間の第二期間における前記撮像部の移動距離、及び移動方向を表す第二移動ベクトルを取得し、
    前記第二移動ベクトルの大きさを前記第二期間で除算した大きさを有し、前記第二移動ベクトルが表す方向と平行方向の方向を有する速度ベクトルである第二速度ベクトルを算出し、
    前記第一速度ベクトルから前記第二速度ベクトルを減算して求められた差分ベクトルの大きさを前記第一期間で除算した大きさを有し、前記差分ベクトルと平行の方向を有する加速度ベクトルを算出する請求項4又は5に記載の撮像システム。
  7. 前記移動状態算出部は、前記撮像部の撮像により取得された最新の撮像データを前記第一撮像データとする請求項4から6のいずれか一項に記載の撮像システム。
  8. 前記画角調整演算部は、前記パンチルト動作パラメータとして、予め設定されたパンチルト動作開始からパンチルト動作完了までの期間であるパンチルト動作期間、前記指定座標、及び前記移動先座標から、前記パンチルト動作部の動作速度を算出する請求項1から7のいずれか一項に記載の撮像システム。
  9. 前記撮像部に具備されるレンズの画角情報を取得する画角情報取得部を備え、
    前記画角調整演算部は、前記パンチルト動作部の最大動作速度、及び前記撮像部に具備されるレンズの画角を用いて前記パンチルト動作期間を算出する請求項8に記載の撮像システム。
  10. 前記画角情報取得部によって取得された前記撮像部の画角情報を用いて、二次元座標により表された前記指定座標、及び前記移動先座標に対して極座標変換処理を施して三次元座標に変換する座標変換処理部を備え、
    前記移動状態算出部は、前記座標変換処理部によって変換された三次元座標における前記指定座標と前記移動先座標との変位角度を前記パンチルト動作部の動作パラメータとして算出する請求項9に記載の撮像システム。
  11. 前記撮像部の撮像により取得された撮像データの通信期間である撮像データ通信期間を取得する撮像データ通信期間取得部と、
    前記パンチルト動作指令部から送出された動作指令の通信期間である動作指令通信期間を取得する動作指令通信期間取得部と、
    前記パンチルト動作部の動作指令取得から前記パンチルト動作部の動作完了までのパンチルト動作期間を取得するパンチルト動作期間取得部と、
    を備え、
    前記画角調整期間算出部は、撮像データ通信期間取得部によって取得された撮像データ通信期間、前記動作指令通信期間取得部によって取得された動作指令通信期間、及び前記パンチルト動作期間取得部によって取得されたパンチルト動作期間を合算して、前記画角調整期間を算出する請求項1から10のいずれか一項に記載の撮像システム。
  12. 前記撮像部へ撮像データの送信リクエストが送信されたタイミングから、前記撮像部から送信された撮像データが受信されたタイミングまでの期間を測定する通信期間測定部を備え、
    前記撮像データ通信期間取得部は、前記通信期間測定部によって測定された期間を前記撮像データ通信期間として取得する請求項11に記載の撮像システム。
  13. 前記撮像データ通信期間取得部は、通信期間測定部による複数回の測定結果の平均を前記撮像データ通信期間として取得する請求項12に記載の撮像システム。
  14. 前記移動体を遠隔操作する移動体遠隔操作部であり、前記撮像操作部とは独立の移動体遠隔操作部を備える請求項1から13のいずれか一項に記載の撮像システム。
  15. 前記画角調整演算部は、前記移動先座標を前記表示画面の中央位置の座標とする請求項1から14のいずれか一項に記載の撮像システム。
  16. 移動体に搭載される撮像部であり、パン動作、及びチルト動作の少なくともいずれか一方の動作が可能な撮像部の画角調整方法であって、
    前記撮像部の撮像により得られた撮像データを送信する撮像データ送信工程と、
    前記撮像データ送信工程により送信された撮像データを受信する撮像データ受信工程と、
    前記撮像部を操作する撮像制御信号を前記撮像部へ通信により送信する撮像操作工程と、
    前記撮像データ受信工程によって受信された撮像データが表す撮像画像を表示画面に表示させる表示工程と、
    前記撮像部の画角を調整する際に、前記表示画面に表示されている画像における、移動対象の座標である指定座標、及び前記移動対象の移動先の座標である移動先座標を指定する座標指定工程と、
    前記指定座標、及び前記移動先座標を用いて、パンチルト動作パラメータを算出する画角調整演算工程と、
    前記指定座標の指定から、前記撮像部の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出工程と、
    前記撮像部の撮像により得られた撮像データから、前記画角調整期間に前記移動体の移動によって前記撮像部が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出工程と、
    前記撮像部の画角を調整する際に、前記移動状態算出工程によって算出された前記移動パラメータ、及び前記画角調整期間算出工程によって算出された前記画角調整期間から、前記画角調整演算工程によって算出された前記パンチルト動作パラメータを補正するパンチルト動作パラメータ補正工程と、
    前記パンチルト動作パラメータ補正工程によって補正された前記パンチルト動作パラメータによって、前記撮像部をパン動作、及びチルト動作の少なくともいずれか一方の動作させるパンチルト動作指令工程と、
    を含む画角調整方法。
  17. コンピュータを、
    移動体に搭載される撮像手段、
    前記撮像手段の撮像により得られた撮像データを送信する撮像データ送信手段、
    前記撮像データ送信手段から送信された撮像データを受信する撮像データ受信手段、
    前記撮像手段をパン動作、及びチルト動作の少なくともいずれか一方の動作をさせるパンチルト動作手段、
    前記撮像手段と通信接続される撮像操作手段であり、前記撮像手段を操作する撮像制御信号を前記撮像手段へ送信する撮像操作手段、
    前記撮像データ受信手段によって受信された撮像データが表す撮像画像を表示画面に表示させる表示手段、
    前記撮像手段の画角を調整する際に、前記表示手段の表示画面に表示されている画像における、移動対象の座標である指定座標、及び前記移動対象の移動先の座標である移動先座標を指定する座標指定手段、
    前記指定座標、及び前記移動先座標を用いて、前記パンチルト動作手段に適用されるパンチルト動作パラメータを算出する画角調整演算手段、
    前記指定座標の指定から、前記撮像手段の画角調整がされるまでの期間である画角調整期間を算出する画角調整期間算出手段、
    前記撮像手段の撮像により得られた撮像データから、前記画角調整期間に前記移動体の移動によって前記撮像手段が移動する際の移動方向、及び移動距離を表す移動パラメータを算出する移動状態算出手段、
    前記撮像手段の画角を調整する際に、前記移動状態算出手段によって算出された前記移動パラメータ、及び前記画角調整期間算出手段によって算出された前記画角調整期間から、前記画角調整演算手段によって算出された前記パンチルト動作パラメータを補正するパンチルト動作パラメータ補正手段、及び
    前記パンチルト動作手段へ前記パンチルト動作パラメータに対応する信号を通信により送出するパンチルト動作指令手段であり、前記パンチルト動作パラメータ補正手段によって補正された前記パンチルト動作パラメータに対応する信号を前記パンチルト動作手段へ送出するパンチルト動作指令手段として機能させる画角調整プログラム。
  18. 請求項17に記載の画角調整プログラムを記録したコンピュータ読み取り可能な非一時的有形媒体。
JP2017543085A 2015-09-30 2016-09-12 撮像システム、画角調整方法、及び画角調整プログラム Active JP6340147B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015193484 2015-09-30
JP2015193484 2015-09-30
PCT/JP2016/076807 WO2017056943A1 (ja) 2015-09-30 2016-09-12 撮像システム、画角調整方法、及び画角調整プログラム

Publications (2)

Publication Number Publication Date
JP6340147B2 JP6340147B2 (ja) 2018-06-06
JPWO2017056943A1 true JPWO2017056943A1 (ja) 2018-06-14

Family

ID=58427498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543085A Active JP6340147B2 (ja) 2015-09-30 2016-09-12 撮像システム、画角調整方法、及び画角調整プログラム

Country Status (4)

Country Link
US (1) US10356301B2 (ja)
JP (1) JP6340147B2 (ja)
CN (1) CN108141533B (ja)
WO (1) WO2017056943A1 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106611467B (zh) * 2015-10-22 2020-09-15 中兴通讯股份有限公司 一种实现报警的方法、装置和系统
CN110248148B (zh) 2018-09-25 2022-04-15 浙江大华技术股份有限公司 一种确定定位参数的方法及装置
CN109379540A (zh) * 2018-12-24 2019-02-22 西安天茂数码科技有限公司 一种参数可调的倾斜相机
EP3923267A4 (en) 2019-02-08 2022-04-13 Sony Group Corporation REPRODUCTION DEVICE, REPRODUCTION METHOD AND PROGRAM
CN114616820A (zh) 2019-10-29 2022-06-10 富士胶片株式会社 摄像支援装置、摄像装置、摄像系统、摄像支援系统、摄像支援方法及程序
JP7277887B2 (ja) * 2019-11-19 2023-05-19 3アイ インコーポレイテッド 端末スタンドの制御方法
US11265469B1 (en) * 2020-04-10 2022-03-01 Amazon Technologies, Inc. System to mitigate image jitter by an actuator driven camera
JP2022188990A (ja) * 2021-06-10 2022-12-22 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US20220408019A1 (en) * 2021-06-17 2022-12-22 Fyusion, Inc. Viewpoint path modeling
JP2023037333A (ja) * 2021-09-03 2023-03-15 株式会社東芝 被検体の検査に関連する処理装置、被検体の検査システム、被検体の検査に関連する処理方法、及び、被検体の検査に関連する処理プログラム
WO2023243656A1 (ja) * 2022-06-16 2023-12-21 パナソニックIpマネジメント株式会社 撮像システム、及び、それを備えた移動体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11149315A (ja) * 1997-11-19 1999-06-02 Mitsubishi Heavy Ind Ltd ロボット制御システム
JP2000184469A (ja) * 1998-12-17 2000-06-30 Minolta Co Ltd 制御装置
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
JP2010532109A (ja) * 2007-05-09 2010-09-30 インタッチ・テクノロジーズ・インコーポレーテッド ネットワークファイアウォールを通じて動作するロボットシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10257375A (ja) 1997-03-14 1998-09-25 Sony Corp 撮像装置および撮像方法
JP2000261792A (ja) 1999-03-08 2000-09-22 Fujitsu Denso Ltd 監視用テレビカメラ装置
CN101035267A (zh) * 2006-03-10 2007-09-12 上海乐金广电电子有限公司 隐私遮掩显示控制方法
JP2009016956A (ja) * 2007-06-29 2009-01-22 Sanyo Electric Co Ltd カメラ制御システム、カメラ制御装置、及びカメラ制御プログラム
JP2009065605A (ja) 2007-09-10 2009-03-26 Hitachi Ltd 移動型撮像装置および撮像方法
JP5871779B2 (ja) 2012-11-13 2016-03-01 株式会社 日立産業制御ソリューションズ カメラシステム
CN104469292B (zh) * 2014-11-27 2017-09-19 国网上海市电力公司 一种姿态自校正云台摄像机控制装置及其方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11149315A (ja) * 1997-11-19 1999-06-02 Mitsubishi Heavy Ind Ltd ロボット制御システム
JP2000184469A (ja) * 1998-12-17 2000-06-30 Minolta Co Ltd 制御装置
US20060224280A1 (en) * 2005-04-01 2006-10-05 Flanigan Thomas C Remote vehicle control systems
JP2007225809A (ja) * 2006-02-22 2007-09-06 Nippon Hoso Kyokai <Nhk> カメラ雲台付き移動台車
JP2010532109A (ja) * 2007-05-09 2010-09-30 インタッチ・テクノロジーズ・インコーポレーテッド ネットワークファイアウォールを通じて動作するロボットシステム

Also Published As

Publication number Publication date
JP6340147B2 (ja) 2018-06-06
US10356301B2 (en) 2019-07-16
US20180295270A1 (en) 2018-10-11
CN108141533B (zh) 2020-07-21
WO2017056943A1 (ja) 2017-04-06
CN108141533A (zh) 2018-06-08

Similar Documents

Publication Publication Date Title
JP6340147B2 (ja) 撮像システム、画角調整方法、及び画角調整プログラム
US10451705B2 (en) Tracking control device, tracking control method, tracking control program, and automatic tracking imaging system
US10572143B2 (en) Imaging system and imaging control method with pan/tilt control
WO2018072353A1 (zh) 获取图像的方法和终端设备
US10171736B2 (en) Control an imaging mode of an imaging device based on posture information of the imaging device
US8887204B2 (en) Video distribution system, and video distribution method
US11516399B2 (en) Imaging apparatus and image stabilization sharing between interchangeable lens and camera body
JP2017011469A (ja) 撮影装置、撮影方法、およびプログラム
KR101600699B1 (ko) 비행 촬영 시스템 및 그 운용 방법
KR101452372B1 (ko) 카메라 제어 방법 및 그 시스템
US8619119B2 (en) Digital photographing apparatus
US11805314B2 (en) Control device, control method, and information processing system
JP2012029033A (ja) カメラ
JP2018201077A (ja) 撮像装置およびその制御方法、画像処理装置およびその制御方法、作業支援システム、プログラム
WO2020188957A1 (ja) リモートコントロール装置と撮像制御装置およびその方法
JP4225131B2 (ja) 磁界補正データ生成装置
JP6003613B2 (ja) 補助撮像装置
KR101407119B1 (ko) 초광각 카메라를 이용한 카메라 시스템
US20120105677A1 (en) Method and apparatus for processing location information-based image data
JP2010062834A (ja) 撮影システム並びに当該撮影システムを構成する撮影装置及び操作装置
JP2014072614A (ja) テレビシステム
JP2017085208A (ja) 映像伝送システムにおける映像遅延量検出方法
JP6249813B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、および、記憶媒体
JP2021182659A (ja) 撮像装置、及び撮像システム
JP2011199569A (ja) カメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180328

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180328

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180425

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180511

R150 Certificate of patent or registration of utility model

Ref document number: 6340147

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250