JP7554025B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP7554025B2
JP7554025B2 JP2020000805A JP2020000805A JP7554025B2 JP 7554025 B2 JP7554025 B2 JP 7554025B2 JP 2020000805 A JP2020000805 A JP 2020000805A JP 2020000805 A JP2020000805 A JP 2020000805A JP 7554025 B2 JP7554025 B2 JP 7554025B2
Authority
JP
Japan
Prior art keywords
speed
acceleration
subject
image
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020000805A
Other languages
English (en)
Other versions
JP2021111822A (ja
Inventor
隆史 藤永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2020000805A priority Critical patent/JP7554025B2/ja
Publication of JP2021111822A publication Critical patent/JP2021111822A/ja
Application granted granted Critical
Publication of JP7554025B2 publication Critical patent/JP7554025B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Studio Devices (AREA)

Description

本発明は、撮像装置および撮像方法に関する。
従来より、被写体の速度を映像から取得し、被写体の速度に応じてパン・チルト速度を変更することで追従性を向上させる技術が知られている(たとえば、特許文献1参照)。
特開2017-98723号公報
本発明が解決しようとする課題は、パン・チルト動作が可能な撮像装置において、撮像シーンに応じて被写体をより適切に撮像できるようにすることである。
上記課題を解決するために、本発明の1つの態様による撮像装置は、画像を撮像する撮像手段と、前記撮像手段をパン動作およびチルト動作させる駆動手段と、第1の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の1の目標速度を算出し、第2の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の前記第1の目標速度とは異なる第2の目標速度を算出し、前記第1の目標速度と前記第2の目標速度の差分を算出する算出手段と、前記撮像手段で撮像した前記画像中のシーンを前記差分に応じて判定する判定手段と、前記判定手段の判定結果に基づいて、前記駆動手段のパン動作およびチルト動作の加速度を決定する決定手段と、前記決定手段で決定した加速度に基づいて前記駆動手段を駆動制御する制御手段と、を有する
本発明の実施形態にかかるシステムの構成を示す図。 実施形態における被写体解析手法を説明する図。 加減速モードを自動で切り替える処理を示すフローチャート。 加減速モードの具体例を示す図。
以下に、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件(使用条件、使用環境等)によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
図1(A)は本実施形態による撮像システム100の構成例を示す。
本実施形態における撮像システム100は、雲台190を有してパン機構およびチルト機構を備えるリモートカメラ200と、雲台190を制御するコントローラ装置300とによって構成されている。リモートカメラ200はパン・チルト機能を有する撮像装置の一例である。リモートカメラ200は、ネットワーク400によりコントローラ装置300に接続されている。ネットワーク400は有線ネットワークまたは無線ネットワークである。本実施形態では、ネットワーク400としてLANを用いる。LANはLocal Area Networkの略である。コントローラ装置300は、例えば、通信機能を備えるパーソナルコンピュータ、タブレット端末などである。リモートカメラ200は、例えば、IPストリーミングカメラや監視カメラである。IPストリーミングカメラは例えば、スポーツをしている被写体を撮像する際に使用される(放送業界で用いられる放送用リモートカメラ)。リモートカメラ200が監視カメラである場合、撮像システム100を監視システムと称してもよい。
図1(B)は、リモートカメラ200とコントローラ装置300の機能ブロック図を示している。
リモートカメラ200は、撮像部1001、画像処理部1002、システム制御部1003、記憶部1004、パン駆動部1005、チルト駆動部1006、速度制御部1007、被写体解析部1008、加速度判定部1011、通信部1012を備えている。被写体解析部1008は、移動量演算部1009と被写体識別部1010を有する。パン駆動部1005とチルト駆動部1006が雲台190に対応する。雲台190は、撮像部1001のパン動作およびチルト動作させる駆動部である。
撮像部1001は、レンズおよび撮像素子から構成され、被写体(オブジェクト)の撮像および電気信号への変換を行う。
画像処理部1002は、撮像部1001によって変換された電気信号に画像処理や圧縮符号化処理を行い、画像データを生成し、当該画像データをシステム制御部1003へ送信する。
システム制御部1003は、コントローラ装置300から指示に基づいて、リモートカメラ200全体を制御する。つまり、システム制御部1003は、通信部1012を介してコントローラ装置300から受信した制御コマンドを解析し、コマンドに応じた処理を行う。例えば、システム制御部1003は、画像処理部1002に対して画質調整の設定を行う。また、システム制御部1003は、パン駆動部1005およびチルト駆動部1006に対してパン・チルト動作の設定といった撮影パラメータ設定の指示を行う。
さらに、システム制御部1003は、リモートカメラ200内で生成された画像データを、通信部1012を介してコントローラ装置300に送信する。また、システム制御部材1003は、被写体解析部1008の解析結果および加速度判定部1011の判定結果に基づいて、パン・チルト速度を自動調整する。
記憶部1004は、画質調整のパラメータやネットワークの設定値を記憶し、再起動した場合でも以前設定した値を参照することが可能である。本実施形態の記憶部1004は、図4に示す2つの加減速テーブル600、700や、図2(D)に示す被写体と動きの大きさ(加減速モード)の対応関係を示す被写体リスト2004を、予め記憶している。また、記憶部1004は、システム制御部1003、被写体解析部1008および加速度判定部1011が使用するプログラムを記憶している。
パン駆動部1005は、パン動作を行うメカ駆動系とその駆動源のモータにより構成され、モータが駆動されることによりパン駆動機構がパン方向に駆動する。
チルト駆動部1006は、チルト動作を行うメカ駆動系とその駆動源のモータにより構成され、モータが駆動されることによりチルト駆動機構がチルト方向に駆動する。
速度制御部1007は、パン動作の現在速度、目標速度、加速度の値または加減速テーブルの情報に基づいて次に指示する駆動速度を算出し、算出した駆動速度でパン駆動部1005を駆動させるよう指示する。また、速度制御部1007は、チルト動作の現在速度、目標速度、加速度の値または加減速テーブルの情報に基づいて次に指示する駆動速度を算出し、算出した駆動速度でチルト駆動部1006を駆動させるよう指示する。
移動量演算部1009は、画像上の被写体の位置を取得することができる。移動量演算部1009は、被写体の画像上の座標の軌跡から、被写体の画像上での速度を算出する。また、移動量演算部1009は、画角と被写体の画像上の速度から、被写体に追従するために必要な駆動速度(以下、追従速度と称する)を算出する。
被写体識別部1010は、顔検出、人体検出等を用いて被写体の人物を特定する。
移動量演算部1009および被写体識別部1010の上記した機能により、被写体解析部1008は、撮像画像中の被写体の種別や動き量を解析することができる。被写体解析部1008は、撮像画像中のシーンを判定する判定部と称することができる。
加速度判定部1011は被写体解析部1008の解析結果に基づいて望ましい加速度の値(加減速モード)を取得または決定する。そして、加減速モードに対応する加減速テーブル600、700に基づいて、加速度判定部1011は、速度制御部1007に加減速計算を行うよう指示する(対応する加減速テーブルに従って動くよう速度制御部1007に指示を行う)。
通信部1012は、LANによるネットワーク通信の処理を行う。システム制御部1003は、リモートカメラ200内で生成された画像データを、通信部1012を介してコントローラ装置300に送信する。また、システム制御部1003は、通信部1012を介してコントローラ装置300から制御コマンドを受信する。
コントローラ装置300は、入力部1101、システム制御部1102、通信部1103および表示部1104を備えている。
入力部1101は、例えば、ボタン、ジョイスティック、マウスなどからなる。入力部1101は、ユーザからの各種操作を受け付ける。
システム制御部1102は、ユーザからの操作に応じて、通信部1103を介しリモートカメラに制御コマンドを送信する。
通信部1103は、リモートカメラ200の通信部1012との通信を行う。
表示部1104は、リモートカメラ200から受信した画像を表示する。ユーザは、表示部1104に表示された画像を、入力部1101を用いてクリックすることができる。また、表示部1104は、ユーザがコントローラ装置300に入力した情報を表示する。
なお、コントローラ装置300は、図示した機能部以外の機能部を備えてもよい。例えば、コントローラ装置300は、記憶部、音声出力部などを備えてもよい。
図1(B)に示すリモートカメラ200の各機能部は、ASIC等の専用のハードウェア又はソフトウェアとして実装される。ハードウェアとして実装される場合は、各機能部それぞれ又はいくつかをまとめた専用のハードウェアモジュールとして実装してもよい。ソフトウェアとして実装される場合には、各機能部を実行するためのプログラムが例えば、記憶部1004に記憶され、システム制御部1003のプロセッサにより適宜読み出されて実行される。ASICは、Application Specific Integrated Circuit(特定用途向け集積回路)の略である。
図2は本実施形態における被写体解析手法を説明する図である。より具体的には、図2は本実施形態の被写体解析部1008および加速度判定部1011の処理を説明する図である。以下の記載では、説明を簡単にするために、リモートカメラ200はパン動作だけを行うとする。
まず、図2(A)と図2(B)を用いて、被写体500の画像上での速度から被写体500に追従するために必要なパン駆動速度を導出し、加減速モードを決定する処理について説明する。当該処理は、移動量演算部1009および加速度判定部1011によって行われる。
図2(A)は、リモートカメラ200と移動中の被写体500と撮像画角θとの関係を図示している。リモートカメラ200から出ている扇型図形の角度が撮像画角θである。リモートカメラ200と被写体500の距離はrで示されている。なお、以下の記載において、撮像画角は単に画角と称することもある。
図2(B)は、移動中の被写体500を撮像した撮像画像2002を示している。移動前の被写体には符号500Aを付け、移動後の被写体には符号500Bを付けた。図2(B)の撮像画像2002では、横幅の画素数をA[pixel]で表し、被写体500の画像上における速度をvpix[pixel/s]で表している。
まず、リモートカメラ200のパン動作が停止している状況下において、図2(B)の撮像画像2002に示すように、被写体500が速度vpix[pixel/s]で左に移動した場合を考える。
このとき、被写体500の実際の速度vtarg[m/s]は、リモートカメラ200と被写体500の距離をr[m]として下記の式(1)で求めることができる。
Figure 0007554025000001
また、この速度で駆動する被写体500を追尾するために必要なリモートカメラ200の駆動速度(追従速度)vpan[rad/s]は下記の式(2)で求めることができる。
Figure 0007554025000002
式(2)のように、被写体500を追尾するためのリモートカメラ200の駆動速度vpan[rad/s]は、現在の画角θと画像情報(vpixとA)から算出できる。
次に、図2(A)の矢印2001で示すように、リモートカメラ200がパン動作を行い反時計回り方向にX[rad/s]で駆動している状況下において、撮像画像2002のように被写体500が移動した場合を考える。この場合、被写体500の実際の速度vtarg[m/s]は下記の式(3)で導出され、被写体500を追尾するためのリモートカメラ200の駆動速度vpan[rad/s]は下記の式(4)で導出される。
Figure 0007554025000003
このように、本実施形態では、リモートカメラ200のパン動作が停止状態の場合は式(1)および式(2)を用い、パン動作が駆動状態の場合は式(3)および式(4)を用いて、被写体500の移動に応じた追従速度(リモートカメラ200の駆動速度)を算出する。
次に、リモートカメラ200が被写体500を常時追尾する場合を考える。被写体500が停止状態の場合、または等速で動いている場合、追従速度は一定となり、被写体500を常に画角中央に捉えることが可能となる。しかし、静止した被写体500が突然動き始めた場合や、移動している被写体500が加減速、停止、反転をした場合において、画像内の被写体500の位置が変わり追従速度は変化する。このような場合の追従速度の変化量vdiffは、式(2)および式(4)より、下記の式(5)で表すことができる。
Figure 0007554025000004
追従速度の変化量vdiffは、被写体500の動きの変化とリモートカメラ200と被写体の距離、画角等によって決定されるが、変化量vdiffが大きいほど追尾速度(目標とする追従速度)と現在速度に乖離があることになる。そのため、緩やかに加速してしまうと目標追従速度に至るまでの加速時間が長くなり、追尾が間に合わず被写体が画角から外れてしまう場合がある。
よって、加速度判定部1011において、追従速度の変化量vdiffが所定値より大きいと判定される場合には、加速度が大きな加減速モードに基づいてパン駆動を行うよう自動制御する(加減速モードの切替えを行う)。このような自動制御により、必要な場合にのみ追従性を優先したパン駆動を行うことができる。
なお、追従速度の変化量vdiffに基づいて加減速モードの切替えを行うのではなく、画角θや被写体500の画像上における速度vpixの多寡(大小、高低)に基づいて、加速度を選択する制御を行ってもよい。
次に、図2(C)と図2(D)を用いて、複数の被写体500が存在する場合、各被写体500に応じて加減速モードを変える処理を説明する。当該処理は、被写体識別部1010および加速度判定部1011により行われる。
図2(C)はコントローラ装置300の表示部1104を示す。表示部1104には、6つの被写体500が表示されているとする。
図2(D)は被写体リスト2004を示している。被写体リスト2004は、各被写体に付けられた被写体番号と、当該被写体番号に対応付けられた加減速モードとを示す表(テーブル)である。例えば、被写体番号3の被写体については、被写体リスト2004の加減速モードに「急峻」が設定されている。また、被写体番号5の被写体については、被写体リスト2004の加減速モードに「緩やか」が設定されている。本実施形態では、追従性を優先する被写体である場合、加減速モードに「急峻」が設定され、そうでない場合、加減速モードに「緩やか」が設定されているとする。なお、被写体番号1の被写体については、被写体リスト2004の加減速モードに「急峻」が設定されているとする。また、被写体番号2、4、6の被写体については、被写体リスト2004において加減速モードの設定がないとする。つまり、本実施形態では、被写体番号2、4、6の被写体は、被写体リスト2004に登録されていないとする。なお、本実施形態の場合、1つの加速度モードは1つの加速度に対応するので、被写体リスト2004は、複数の被写体と複数の加速度とを関連付けたテーブルであると言える。
図2(C)のような画像がコントローラ装置300の表示部1104に表示されている場合において、まず注目すべき被写体500をユーザが入力部1101を操作して選択(表示部1104の画面をクリック)する。当該クリック動作の情報は、ネットワーク400を介してコントローラ装置300からリモートカメラ200の被写体識別部1010に送信される。なお、画面2003内(つまり画角内)の情報から自動的に被写体を選択してもよい。
被写体識別部1010は、選択された被写体500に対し、顔検出や人体検出等の人物検出技術を適用して、当該被写体500の人物を特定する。より具体的には、被写体識別部1010は、選択された被写体500がどの被写体番号の被写体なのかを特定する。
次に、加速度判定部1011は、被写体リスト2004を照会し、特定された被写体が被写体リスト2004に登録されているかを判定する。特定された被写体が被写体リスト2004に登録されていれば、加速度判定部1011は、当該被写体に対応する加減速モードを取得し、対応する加減速テーブルで動くよう速度制御部1007に指示を行う。例えば、被写体番号3の被写体が特定された場合には、加減速モードとして「急峻」が取得され、当該加減速モードに対応する加減速テーブルでリモートカメラ200のパン駆動がなされることになる。
特定された被写体が被写体リスト2004に登録されていなければ(例えば、被写体番号2の被写体が特定された場合)、デフォルトの設定にするか或いは図2(A)および図2(B)で説明した判定基準に基づいて加減速モードを決定する。
これにより、被写体(人物)によって動きの大きさが固定される撮影シーンにおいて、注目すべき被写体に応じて加減速モードを自動で切り替えることが可能となる。例えば、複数の人物がスポーツをする場合、ポジションに応じて各人物の動きの大きさが予め分かっている場合がある。図2(C)の例では、被写体番号3の被写体のポジションでは、動きの大きさは「大」に固定されており(図中、「動き大」)、被写体番号5の被写体のポジションでは、動きの大きさは「小」に固定されている(図中、「動き小」)。このような場合に、各ポジションに応じて適切な追尾ができるようになる。
図3は本実施形態の撮像システム100(リモートカメラ200)のメインフローである。図3を用いて、加減速モードを自動で切り替える追尾処理の流れを説明する。SはStepの略である。
図3(A)は全体の追尾処理のフローを示す。図3(A)のフローチャートは、リモートカメラ200が撮像を開始すると、開始する。
S3001において、被写体解析部1008は、撮像部1001が撮像した現在の画像を、撮像部1001から取得する。撮像部1001は、例えば、1秒間に10フレーム(10[fps])の画像を撮像する。
S3002において、被写体解析部1008は、取得した画像を解析し、加速度判定部1011は、当該解析の結果に基づいて、加速度(加減速モード)と目標速度を決定する。S3002の処理の詳細は、図3(B)を用いて後述する。S3002の処理は、加減速モード自動変更処理と称することができる。
S3003において、速度制御部1007は、現在速度、追従速度および加減速モードに基づいて、パン・チルト駆動速度を更新する。具体的な更新手法に関しては、図4を用いて後述する。なお、本実施形態では、チルト動作はしていないので、実際には、パン駆動速度だけを更新する。
S3004において、システム制御部1003は、追尾機能が持続しているか判定する。つまり、システム制御部1003は、リモートカメラ200において追尾機能が有効であるか判定する。追尾機能が持続していればS3001に戻り、持続していなければ処理を終了する。
図3(B)により、S3002の加減速モード自動変更処理を詳細に説明する。
S3101において、被写体識別部1010は、撮像部1001から取得した画像に対して被写体の認識を行い、公知の人体検出・顔検出技術を用いて被写体の人物の特定を行う。また、移動量演算部1009は、画像上の被写体500の位置を取得する。被写体500の位置の情報は、例えば(x[pixel],y[pixel])というように画素単位で取得・管理してもよい。
S3102において、移動量演算部1009は、S3101で取得した被写体500の画像上の位置の推移から、被写体500の画像上の速度を算出する。例えば、10[fps]で画像を取得し前回の画像上の位置と今回の画像上の位置が100[pixel]離れている場合の画像上の速度は、1000[pixel/s]となる。
S3103において、移動量演算部1009は、被写体の画像上の速度、画角情報、現状のパン・チルト駆動速度から、被写体500を追尾するためのパン・チルト追従速度を式(4)により計算する。
S3104において、加速度判定部1011は、S3101で認識した被写体が被写体リスト2004に登録されている人物であるかを判定する。S3104の判定結果がNoの場合、S3105に進む。S3104の判定結果がNoの場合、S3108に進む。
S3105において、加速度判定部1011は、追従速度の変化量vdiffが所定の閾値以上か否かを判定する。例えば、閾値を20[deg/s]とする。また、被写体が停止している状態から移動し始め、移動している被写体に追従するためのパン駆動速度が30[deg/s]であるとする。この場合、追従速度は0[deg/s]から30[deg/s]に変化する。したがって、追従速度の変化量は30[deg/s]となり、当該変化量は閾値20[deg/s]以上になる。
S3105で追従速度の変化量vdiffが閾値以上と判定された場合は、S3106に進み、加速度が大きい加減速モードに設定される(S3106)。この設定は、加速度判定部1011が行う。そして、設定された加減速モードに従って、速度制御部1007がパン駆動部1005を駆動することになる。リモートカメラ200がスポーツをしている被写体を撮像している場合、加速度が大きい加減速モードは、スポーツモードと称してもよい。また、スポーツモードではないモードは通常モードと称してよい。
S3105で追従速度の変化量vdiffが閾値未満と判定された場合は、S3107に進み、加速度が小さい加減速モードに設定される(S3107)。そして、設定された加減速モードに従って、速度制御部1007がパン駆動部1005を駆動制御することになる。
S3108において、加速度判定部1011は、被写体が追従性を優先する被写体か否かを判定する。具体的には、加速度判定部1011は、被写体リスト2004を参照して、S3101で認識された被写体の加減速モードが「急峻」であるかを判定する。「急峻」である場合、追従性を優先することになり、S3108の判定結果はYesとなり、S3109に進む。S3108の判定結果がNoの場合、S3110に進む。
S3109において、加速度判定部1011は、「急峻」の加減速モードに対応する加減速テーブルでパン駆動部1005が動くよう速度制御部1007に指示を行う。
S3110において、加速度判定部1011は、「緩やか」の加減速モードに対応する加減速テーブルでパン駆動部1005が動くよう速度制御部1007に指示を行う。
このようにS3108~S3110では、被写体リスト2004の情報に基づいて、動きが大きい被写体である場合、加速度が大きい加減速モードに設定され、動きが小さい被写体である場合、加速度が小さい加減速モードに設定されるようにしている。ここで、動きが大きいとは、例えば、被写体の動きが所定量以上であることを意味し、動きが小さいとは被写体の動きが所定量未満であることを意味する。
図3のフローチャートにより、被写体の動き(追従速度の変化量の大小)、あるいは被写体が誰なのか(追従性を優先する被写体なのか)によって、2種類の加減速モードを自動で切り替えることができる。なお、本実施形態では、加減速モードを2種類としたが、3種類以上の加減速モードの中から自動選択するような処理を行ってもよい。例えば、3種類の加減速モードが「加速度の大きな加減速モード」と「加速度の小さな加減速モード」と「加速度が中程度の加減速モード」であるとする。この場合、S3105の「閾値」を「第1閾値」として、S3105の判定結果がYesの場合、S3106に進む。また、追従速度の変化量が、第1閾値より小さい第2閾値未満である場合に、S3107に進み、第1閾値と第2閾値の間の場合には「加速度が中程度の加減速モード」で駆動するようにする。
また、上記した実施形態では、被写体の自動追尾機能と連携させた場合を説明したが、自動追尾を行わずに上述の処理を行ってもよい。
なお、S3105で追従速度の変化量vdiffは、パン動作の速度が目標速度(追従速度)に到達するまでの時間当たりの速度変化量としてもよい。この場合、速度変化量が所定の閾値以上の場合に採用される(決定される)加速度は、速度変化量が閾値未満の場合に決定される加速度より大きい。
図4は本実施形態の加減速モードを説明する図である。図4を用いて、図3で記載した2種類の加減速モードに関して詳細に説明する。2種類の加減速モードに対応する2つの加減速テーブル600(図4(A))と700(図4(C))は、記憶部1004に記憶されている。速度制御部1007は、加減速テーブル600または700に従って加速・減速を行うことができる(パン駆動部1005を駆動制御する)。
図4(A)は加速度の緩やかな加減速モードでパン駆動部1005を駆動する場合に参照する加減速テーブル600を示している。つまり、図4(A)は加速度の緩やかな加減速モードに対応する加減速テーブル600を示している。加減速テーブル600において、速度レベル(段階)は1から20まで設定されている。速度レベルが1の場合、パン駆動部1005の駆動速度(以下、単に「速度」と称する)は5[deg/s]になり、速度レベルが2の場合、速度は10[deg/s]になる。速度の最大値は100[deg/s]である(速度レベル20)。
図4(B)は、図4(A)の加減速テーブル600を用いた場合に、パン駆動部1005の速度が時間経過に伴いどのように変化するかを例示したチャートである。この例では、速度は時間t1まで10[deg/s]であり、時間t1から一定加速度で増加して時間t2において30[deg/s]になる。30[deg/s]が目標速度である。速度は、時間t2から時間t3までは一定速度である。時間t3から速度は一定加速度で減少し、時間t4で10[deg/s]になる。
時間t1から時間t2の速度上昇時には、一定周期(時間間隔)で加減速テーブル600の「速度」の欄の値に従って、速度を昇順で更新するような制御を行う。具体的には、10[deg/s]で動いている状況下において、目標速度が30[deg/s]になると、10->15->20->25->30[deg/s]のように速度を更新していく。速度の更新周期は、加速度が適切になるように決められているものとする。時間t3から時間t4の減速時には、加減速テーブル600の「速度」の欄の値に従って、速度を降順で更新するような制御を行う。
図4(C)は加減速の急峻な加減速モードでパン駆動部1005を駆動する場合に参照する加減速テーブル700を示している。加減速テーブル700において、速度レベルは1から10まで設定されている。速度レベルが1の場合、速度は10[deg/s]になり、速度レベルが2の場合、速度は20[deg/s]になる。速度の最大値は、加減速テーブル600と同じように、100[deg/s]であるが、そのときの速度レベルは10である。
図4(D)は、図4(C)の加減速テーブル700を用いた場合に、パン駆動部1005の速度が時間経過に伴いどのように変化するかを例示したチャートである。この例では、速度は時間t5まで10[deg/s]であり、時間t5から一定加速度で増加して時間t6において30[deg/s]になる。30[deg/s]が目標速度である。速度は、時間t6から時間t7までは一定速度である。時間t7から速度は一定加速度で減少し、時間t8で10[deg/s]になる。時間t5から時間t6までの所要時間は、時間t1から時間t2までの所要時間の半分である。また、時間t7から時間t8までの所要時間は、時間t3から時間t4までの所要時間の半分である。
時間t5から時間t6の速度上昇時には一定周期で加減速テーブル700の「速度」の欄の値に従って、速度を昇順で更新するような制御を行う。具体的には、10[deg/s]で動いている状況下において、目標速度が30[deg/s]になると、10->20->30[deg/s]のように速度を更新していく。速度の更新周期は、加速度が適切になるように決められているものとする。時間t7から時間t8の減速時には、加減速テーブル700の「速度」の欄の値に従って、速度を降順で更新するような制御を行う。加減速テーブル700の速度更新周期は、図4(A)の加減速テーブル600の速度更新周期と同一であるとする。
図4(B)と図4(D)を比較すると分かるように、加減速テーブル600を使用した場合、速度が10[deg/s]から30[deg/s]に上昇するのに必要な時間(t1からt2までの所要時間)は、加減速テーブル700を使用した場合に、速度が10[deg/s]から30[deg/s]に上昇するのに必要な時間(t5からt6までの所要時間)の2倍である。また、加減速テーブル600を使用した場合、速度が30[deg/s]から10[deg/s]に下降するのに必要な時間(t3からt4までの所要時間)は、加減速テーブル700を使用した場合に、速度が30[deg/s]から10[deg/s]に下降するのに必要は時間(t7からt8までの所要時間)の2倍である。よって、加減速テーブル600より加減速テーブル700の方が急峻な加速、減速でパン駆動部1005を駆動することになる。より具体的には、加減速テーブル600を使用した場合に比べて、加減速テーブル700を使用した場合は、2倍の加速度で加速および減速を行っていることになる。
上記したように、本実施形態によれば、被写体500の動きに基づきパン駆動時に参照する加速度を変更させることで、追従性を優先すべきシーンにおいては追従性を上げ、それ以外の場合においては滑らかな映像を提供することができる。従って、注目している被写体の情報に基づいて、加減速モード(加速度)を動的に切り替えることができる。本実施形態によれば、注目している被写体の動きが激しく変化するシーン(例えば、被写体がスポーツをしているシーン)をリモートカメラ200で撮像している場合、ユーザが手動で切り替え操作を行うことなく好ましい加減速でパン駆動を行うことができる。また、被写体が複数ある場合に、被写体毎に動き方が変わるシーンを撮影する場合において、ユーザが手動で切り替え操作を行うことなく好ましい加減速で駆動を行うことができる。
本実施形態によれば、被写体の動きが大きなシーン(例えば、被写体がスポーツをしているシーン)になると、リモートカメラ200が自動的にスポーツモードに切り替わることになる。また、被写体の動きが小さなシーン(例えば、被写体が室内を歩行しているシーン)になると、リモートカメラ200が通常モードに切り替わることになる。
本実施形態によれば、リモートカメラ200の加減速モードが自動で切り替えられるので、ユーザがリモートカメラの加減速のモードを手動で切り替える場合に比べて、利便性が向上する。本実施形態によれば、撮像シーンに応じて被写体をより適切に撮像することができる。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、上記した実施形態では、撮像装置の一例としてリモートカメラ200を説明したが、リモートカメラ以外のカメラ装置に上記した実施形態を適用してもよい。また、コントローラ装置300は、リモートカメラ200に組み込んでもよい。この場合、ユーザは、リモートカメラ200を操作して、所望の入力を行う。
上記した実施形態では、パン駆動のみを行うという前提で説明をしたが、チルト駆動を行う場合も、本実施形態と同様な処理を適用することができる。
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100:撮像システム、200:リモートカメラ、300:コントローラ装置、400:ネットワーク、1008:被写体解析部、1009:移動量演算部、1010:被写体識別部、1011:加速度判定部

Claims (7)

  1. 画像を撮像する撮像手段と、
    前記撮像手段をパン動作およびチルト動作させる駆動手段と、
    第1の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の第1の目標速度を算出し、
    第2の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の前記第1の目標速度とは異なる第2の目標速度を算出し、
    前記第1の目標速度と前記第2の目標速度の差分を算出する算出手段と、
    前記撮像手段で撮像した前記画像中のシーンを前記差分に応じて判定する判定手段と、
    前記判定手段の判定結果に基づいて、前記駆動手段のパン動作およびチルト動作の加速度を決定する決定手段と、
    前記決定手段で決定した加速度に基づいて前記駆動手段を駆動制御する制御手段と、
    を有することを特徴とする撮像装置。
  2. 前記第1の目標速度と前記第2の目標速度の差分が所定の閾値以上の場合に前記決定手段が決定する加速度は、前記第1の目標速度と前記第2の目標速度の差分が前記閾値未満の場合に前記決定手段が決定する加速度より大きいことを特徴とする請求項1に記載の撮像装置。
  3. 前記判定手段は、前記画像中の人物を特定する特定手段を含むことを特徴とした請求項1または2に記載の撮像装置。
  4. 前記撮像装置は、前記画像における複数の人物と、前記複数の人物のそれぞれに対応する複数の加速度とを関連付けたテーブルを記憶した記憶手段をさらに有し、
    前記決定手段は、前記特定手段が特定した前記人物の情報と、前記テーブルとに基づいて、前記加速度を決定することを特徴とする請求項に記載の撮像装置。
  5. 前記撮像装置は、追尾機能を有するカメラであることを特徴とする請求項1~のいずれか1項に記載の撮像装置。
  6. 撮像部により画像を撮像するステップと、
    駆動部により前記撮像部をパン動作およびチルト動作させるステップと、
    第1の画像における被写体の速度と、前記被写体と前記撮像部との距離と、前記画像の画素数ならびに前記駆動部の現在の速度とに基づいて、前記駆動部のパン動作およびチルト動作の第1の目標速度を算出するステップと、
    第2の画像における被写体の速度と、前記被写体と前記撮像部との距離と、前記画像の画素数ならびに前記駆動部の現在の速度とに基づいて、前記駆動部のパン動作およびチルト動作の前記第1の目標速度とは異なる第2の目標速度を算出するステップと、
    前記第1の目標速度と前記第2の目標速度の差分を算出するステップと、
    前記撮像部で撮像した前記画像中のシーンを前記差分に応じて判定するステップと、
    前記判定の結果に基づいて、前記パン動作およびチルト動作の加速度を決定するステップと、
    決定した前記加速度に基づいて、前記駆動部を駆動制御するステップと、
    を有することを特徴とする撮像方法。
  7. コンピュータを、請求項1からのいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
JP2020000805A 2020-01-07 2020-01-07 撮像装置および撮像方法 Active JP7554025B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020000805A JP7554025B2 (ja) 2020-01-07 2020-01-07 撮像装置および撮像方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020000805A JP7554025B2 (ja) 2020-01-07 2020-01-07 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JP2021111822A JP2021111822A (ja) 2021-08-02
JP7554025B2 true JP7554025B2 (ja) 2024-09-19

Family

ID=77060252

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020000805A Active JP7554025B2 (ja) 2020-01-07 2020-01-07 撮像装置および撮像方法

Country Status (1)

Country Link
JP (1) JP7554025B2 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135766A (ja) 2000-10-26 2002-05-10 Fuji Photo Optical Co Ltd 自動追尾装置
US20160094790A1 (en) 2014-09-28 2016-03-31 Hai Yu Automatic object viewing methods and apparatus
JP2016220024A (ja) 2015-05-20 2016-12-22 キヤノン株式会社 パンニング表示制御装置および撮像装置
JP2017157912A (ja) 2016-02-29 2017-09-07 シナノケンシ株式会社 自動追尾方法及び自動追尾雲台

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09186927A (ja) * 1995-12-28 1997-07-15 Sony Corp 追尾装置および追尾方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002135766A (ja) 2000-10-26 2002-05-10 Fuji Photo Optical Co Ltd 自動追尾装置
US20160094790A1 (en) 2014-09-28 2016-03-31 Hai Yu Automatic object viewing methods and apparatus
JP2016220024A (ja) 2015-05-20 2016-12-22 キヤノン株式会社 パンニング表示制御装置および撮像装置
JP2017157912A (ja) 2016-02-29 2017-09-07 シナノケンシ株式会社 自動追尾方法及び自動追尾雲台

Also Published As

Publication number Publication date
JP2021111822A (ja) 2021-08-02

Similar Documents

Publication Publication Date Title
US7548269B2 (en) System for autofocusing a moving object
US20050264679A1 (en) Autofocus system
US9215363B2 (en) Implementing autofocus in an image capture device while compensating for movement
JP7500211B2 (ja) 電子機器
US20180172949A1 (en) Imaging device
US11823715B2 (en) Image processing device and image processing method
GB2607151A (en) Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media
GB2580625A (en) Camera control
JP2005338352A (ja) オートフォーカスシステム
JP2010183291A (ja) 追尾装置および追尾方法
JP2006058431A (ja) オートフォーカスシステム
JP2000270254A (ja) リモコン雲台システム
JP4403483B2 (ja) 自動追尾装置
JP7554025B2 (ja) 撮像装置および撮像方法
US20020130955A1 (en) Method and apparatus for determining camera movement control criteria
JP3615867B2 (ja) 自動撮影カメラシステム
US20230069440A1 (en) Information processing apparatus, information processing method, and storage medium
JPH10294890A (ja) 自動/手動撮影カメラシステム
JPH08331561A (ja) 画像処理装置
JP4189534B2 (ja) 自動追尾装置
JP2001169169A (ja) 自動追尾装置
KR100841290B1 (ko) 감시 카메라의 초점 제어 방법
JP7257783B2 (ja) 画像処理装置、画像処理方法
WO2023189079A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP4407530B2 (ja) 動き検出装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231024

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240613

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240806

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20240823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240904

R150 Certificate of patent or registration of utility model

Ref document number: 7554025

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150