JP7554025B2 - 撮像装置および撮像方法 - Google Patents
撮像装置および撮像方法 Download PDFInfo
- Publication number
- JP7554025B2 JP7554025B2 JP2020000805A JP2020000805A JP7554025B2 JP 7554025 B2 JP7554025 B2 JP 7554025B2 JP 2020000805 A JP2020000805 A JP 2020000805A JP 2020000805 A JP2020000805 A JP 2020000805A JP 7554025 B2 JP7554025 B2 JP 7554025B2
- Authority
- JP
- Japan
- Prior art keywords
- speed
- acceleration
- subject
- image
- imaging
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 48
- 230000001133 acceleration Effects 0.000 claims description 148
- 238000004091 panning Methods 0.000 claims description 16
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000000034 method Methods 0.000 description 25
- 230000008569 process Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 19
- 238000004458 analytical method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000001514 detection method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 230000007423 decrease Effects 0.000 description 5
- 230000007246 mechanism Effects 0.000 description 4
- 230000001174 ascending effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Landscapes
- Studio Devices (AREA)
Description
本実施形態における撮像システム100は、雲台190を有してパン機構およびチルト機構を備えるリモートカメラ200と、雲台190を制御するコントローラ装置300とによって構成されている。リモートカメラ200はパン・チルト機能を有する撮像装置の一例である。リモートカメラ200は、ネットワーク400によりコントローラ装置300に接続されている。ネットワーク400は有線ネットワークまたは無線ネットワークである。本実施形態では、ネットワーク400としてLANを用いる。LANはLocal Area Networkの略である。コントローラ装置300は、例えば、通信機能を備えるパーソナルコンピュータ、タブレット端末などである。リモートカメラ200は、例えば、IPストリーミングカメラや監視カメラである。IPストリーミングカメラは例えば、スポーツをしている被写体を撮像する際に使用される(放送業界で用いられる放送用リモートカメラ)。リモートカメラ200が監視カメラである場合、撮像システム100を監視システムと称してもよい。
リモートカメラ200は、撮像部1001、画像処理部1002、システム制御部1003、記憶部1004、パン駆動部1005、チルト駆動部1006、速度制御部1007、被写体解析部1008、加速度判定部1011、通信部1012を備えている。被写体解析部1008は、移動量演算部1009と被写体識別部1010を有する。パン駆動部1005とチルト駆動部1006が雲台190に対応する。雲台190は、撮像部1001のパン動作およびチルト動作させる駆動部である。
画像処理部1002は、撮像部1001によって変換された電気信号に画像処理や圧縮符号化処理を行い、画像データを生成し、当該画像データをシステム制御部1003へ送信する。
さらに、システム制御部1003は、リモートカメラ200内で生成された画像データを、通信部1012を介してコントローラ装置300に送信する。また、システム制御部材1003は、被写体解析部1008の解析結果および加速度判定部1011の判定結果に基づいて、パン・チルト速度を自動調整する。
チルト駆動部1006は、チルト動作を行うメカ駆動系とその駆動源のモータにより構成され、モータが駆動されることによりチルト駆動機構がチルト方向に駆動する。
速度制御部1007は、パン動作の現在速度、目標速度、加速度の値または加減速テーブルの情報に基づいて次に指示する駆動速度を算出し、算出した駆動速度でパン駆動部1005を駆動させるよう指示する。また、速度制御部1007は、チルト動作の現在速度、目標速度、加速度の値または加減速テーブルの情報に基づいて次に指示する駆動速度を算出し、算出した駆動速度でチルト駆動部1006を駆動させるよう指示する。
被写体識別部1010は、顔検出、人体検出等を用いて被写体の人物を特定する。
移動量演算部1009および被写体識別部1010の上記した機能により、被写体解析部1008は、撮像画像中の被写体の種別や動き量を解析することができる。被写体解析部1008は、撮像画像中のシーンを判定する判定部と称することができる。
入力部1101は、例えば、ボタン、ジョイスティック、マウスなどからなる。入力部1101は、ユーザからの各種操作を受け付ける。
システム制御部1102は、ユーザからの操作に応じて、通信部1103を介しリモートカメラに制御コマンドを送信する。
通信部1103は、リモートカメラ200の通信部1012との通信を行う。
表示部1104は、リモートカメラ200から受信した画像を表示する。ユーザは、表示部1104に表示された画像を、入力部1101を用いてクリックすることができる。また、表示部1104は、ユーザがコントローラ装置300に入力した情報を表示する。
なお、コントローラ装置300は、図示した機能部以外の機能部を備えてもよい。例えば、コントローラ装置300は、記憶部、音声出力部などを備えてもよい。
まず、図2(A)と図2(B)を用いて、被写体500の画像上での速度から被写体500に追従するために必要なパン駆動速度を導出し、加減速モードを決定する処理について説明する。当該処理は、移動量演算部1009および加速度判定部1011によって行われる。
図2(B)は、移動中の被写体500を撮像した撮像画像2002を示している。移動前の被写体には符号500Aを付け、移動後の被写体には符号500Bを付けた。図2(B)の撮像画像2002では、横幅の画素数をA[pixel]で表し、被写体500の画像上における速度をvpix[pixel/s]で表している。
まず、リモートカメラ200のパン動作が停止している状況下において、図2(B)の撮像画像2002に示すように、被写体500が速度vpix[pixel/s]で左に移動した場合を考える。
なお、追従速度の変化量vdiffに基づいて加減速モードの切替えを行うのではなく、画角θや被写体500の画像上における速度vpixの多寡(大小、高低)に基づいて、加速度を選択する制御を行ってもよい。
図2(C)はコントローラ装置300の表示部1104を示す。表示部1104には、6つの被写体500が表示されているとする。
被写体識別部1010は、選択された被写体500に対し、顔検出や人体検出等の人物検出技術を適用して、当該被写体500の人物を特定する。より具体的には、被写体識別部1010は、選択された被写体500がどの被写体番号の被写体なのかを特定する。
これにより、被写体(人物)によって動きの大きさが固定される撮影シーンにおいて、注目すべき被写体に応じて加減速モードを自動で切り替えることが可能となる。例えば、複数の人物がスポーツをする場合、ポジションに応じて各人物の動きの大きさが予め分かっている場合がある。図2(C)の例では、被写体番号3の被写体のポジションでは、動きの大きさは「大」に固定されており(図中、「動き大」)、被写体番号5の被写体のポジションでは、動きの大きさは「小」に固定されている(図中、「動き小」)。このような場合に、各ポジションに応じて適切な追尾ができるようになる。
図3(A)は全体の追尾処理のフローを示す。図3(A)のフローチャートは、リモートカメラ200が撮像を開始すると、開始する。
S3002において、被写体解析部1008は、取得した画像を解析し、加速度判定部1011は、当該解析の結果に基づいて、加速度(加減速モード)と目標速度を決定する。S3002の処理の詳細は、図3(B)を用いて後述する。S3002の処理は、加減速モード自動変更処理と称することができる。
S3004において、システム制御部1003は、追尾機能が持続しているか判定する。つまり、システム制御部1003は、リモートカメラ200において追尾機能が有効であるか判定する。追尾機能が持続していればS3001に戻り、持続していなければ処理を終了する。
S3101において、被写体識別部1010は、撮像部1001から取得した画像に対して被写体の認識を行い、公知の人体検出・顔検出技術を用いて被写体の人物の特定を行う。また、移動量演算部1009は、画像上の被写体500の位置を取得する。被写体500の位置の情報は、例えば(x[pixel],y[pixel])というように画素単位で取得・管理してもよい。
S3102において、移動量演算部1009は、S3101で取得した被写体500の画像上の位置の推移から、被写体500の画像上の速度を算出する。例えば、10[fps]で画像を取得し前回の画像上の位置と今回の画像上の位置が100[pixel]離れている場合の画像上の速度は、1000[pixel/s]となる。
S3104において、加速度判定部1011は、S3101で認識した被写体が被写体リスト2004に登録されている人物であるかを判定する。S3104の判定結果がNoの場合、S3105に進む。S3104の判定結果がNoの場合、S3108に進む。
S3105で追従速度の変化量vdiffが閾値未満と判定された場合は、S3107に進み、加速度が小さい加減速モードに設定される(S3107)。そして、設定された加減速モードに従って、速度制御部1007がパン駆動部1005を駆動制御することになる。
S3109において、加速度判定部1011は、「急峻」の加減速モードに対応する加減速テーブルでパン駆動部1005が動くよう速度制御部1007に指示を行う。
S3110において、加速度判定部1011は、「緩やか」の加減速モードに対応する加減速テーブルでパン駆動部1005が動くよう速度制御部1007に指示を行う。
このようにS3108~S3110では、被写体リスト2004の情報に基づいて、動きが大きい被写体である場合、加速度が大きい加減速モードに設定され、動きが小さい被写体である場合、加速度が小さい加減速モードに設定されるようにしている。ここで、動きが大きいとは、例えば、被写体の動きが所定量以上であることを意味し、動きが小さいとは被写体の動きが所定量未満であることを意味する。
なお、S3105で追従速度の変化量vdiffは、パン動作の速度が目標速度(追従速度)に到達するまでの時間当たりの速度変化量としてもよい。この場合、速度変化量が所定の閾値以上の場合に採用される(決定される)加速度は、速度変化量が閾値未満の場合に決定される加速度より大きい。
本実施形態によれば、リモートカメラ200の加減速モードが自動で切り替えられるので、ユーザがリモートカメラの加減速のモードを手動で切り替える場合に比べて、利便性が向上する。本実施形態によれば、撮像シーンに応じて被写体をより適切に撮像することができる。
上記した実施形態では、パン駆動のみを行うという前提で説明をしたが、チルト駆動を行う場合も、本実施形態と同様な処理を適用することができる。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (7)
- 画像を撮像する撮像手段と、
前記撮像手段をパン動作およびチルト動作させる駆動手段と、
第1の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の第1の目標速度を算出し、
第2の画像における被写体の速度と、前記被写体と前記撮像手段との距離と、前記画像の画素数ならびに前記駆動手段の現在の速度とに基づいて、前記駆動手段のパン動作およびチルト動作の前記第1の目標速度とは異なる第2の目標速度を算出し、
前記第1の目標速度と前記第2の目標速度の差分を算出する算出手段と、
前記撮像手段で撮像した前記画像中のシーンを前記差分に応じて判定する判定手段と、
前記判定手段の判定結果に基づいて、前記駆動手段のパン動作およびチルト動作の加速度を決定する決定手段と、
前記決定手段で決定した加速度に基づいて前記駆動手段を駆動制御する制御手段と、
を有することを特徴とする撮像装置。 - 前記第1の目標速度と前記第2の目標速度の差分が所定の閾値以上の場合に前記決定手段が決定する加速度は、前記第1の目標速度と前記第2の目標速度の差分が前記閾値未満の場合に前記決定手段が決定する加速度より大きいことを特徴とする請求項1に記載の撮像装置。
- 前記判定手段は、前記画像中の人物を特定する特定手段を含むことを特徴とした請求項1または2に記載の撮像装置。
- 前記撮像装置は、前記画像における複数の人物と、前記複数の人物のそれぞれに対応する複数の加速度とを関連付けたテーブルを記憶した記憶手段をさらに有し、
前記決定手段は、前記特定手段が特定した前記人物の情報と、前記テーブルとに基づいて、前記加速度を決定することを特徴とする請求項3に記載の撮像装置。 - 前記撮像装置は、追尾機能を有するカメラであることを特徴とする請求項1~4のいずれか1項に記載の撮像装置。
- 撮像部により画像を撮像するステップと、
駆動部により前記撮像部をパン動作およびチルト動作させるステップと、
第1の画像における被写体の速度と、前記被写体と前記撮像部との距離と、前記画像の画素数ならびに前記駆動部の現在の速度とに基づいて、前記駆動部のパン動作およびチルト動作の第1の目標速度を算出するステップと、
第2の画像における被写体の速度と、前記被写体と前記撮像部との距離と、前記画像の画素数ならびに前記駆動部の現在の速度とに基づいて、前記駆動部のパン動作およびチルト動作の前記第1の目標速度とは異なる第2の目標速度を算出するステップと、
前記第1の目標速度と前記第2の目標速度の差分を算出するステップと、
前記撮像部で撮像した前記画像中のシーンを前記差分に応じて判定するステップと、
前記判定の結果に基づいて、前記パン動作およびチルト動作の加速度を決定するステップと、
決定した前記加速度に基づいて、前記駆動部を駆動制御するステップと、
を有することを特徴とする撮像方法。 - コンピュータを、請求項1から5のいずれか1項に記載の撮像装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020000805A JP7554025B2 (ja) | 2020-01-07 | 2020-01-07 | 撮像装置および撮像方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020000805A JP7554025B2 (ja) | 2020-01-07 | 2020-01-07 | 撮像装置および撮像方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021111822A JP2021111822A (ja) | 2021-08-02 |
JP7554025B2 true JP7554025B2 (ja) | 2024-09-19 |
Family
ID=77060252
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020000805A Active JP7554025B2 (ja) | 2020-01-07 | 2020-01-07 | 撮像装置および撮像方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7554025B2 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135766A (ja) | 2000-10-26 | 2002-05-10 | Fuji Photo Optical Co Ltd | 自動追尾装置 |
US20160094790A1 (en) | 2014-09-28 | 2016-03-31 | Hai Yu | Automatic object viewing methods and apparatus |
JP2016220024A (ja) | 2015-05-20 | 2016-12-22 | キヤノン株式会社 | パンニング表示制御装置および撮像装置 |
JP2017157912A (ja) | 2016-02-29 | 2017-09-07 | シナノケンシ株式会社 | 自動追尾方法及び自動追尾雲台 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09186927A (ja) * | 1995-12-28 | 1997-07-15 | Sony Corp | 追尾装置および追尾方法 |
-
2020
- 2020-01-07 JP JP2020000805A patent/JP7554025B2/ja active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002135766A (ja) | 2000-10-26 | 2002-05-10 | Fuji Photo Optical Co Ltd | 自動追尾装置 |
US20160094790A1 (en) | 2014-09-28 | 2016-03-31 | Hai Yu | Automatic object viewing methods and apparatus |
JP2016220024A (ja) | 2015-05-20 | 2016-12-22 | キヤノン株式会社 | パンニング表示制御装置および撮像装置 |
JP2017157912A (ja) | 2016-02-29 | 2017-09-07 | シナノケンシ株式会社 | 自動追尾方法及び自動追尾雲台 |
Also Published As
Publication number | Publication date |
---|---|
JP2021111822A (ja) | 2021-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US7548269B2 (en) | System for autofocusing a moving object | |
US20050264679A1 (en) | Autofocus system | |
US9215363B2 (en) | Implementing autofocus in an image capture device while compensating for movement | |
JP7500211B2 (ja) | 電子機器 | |
US20180172949A1 (en) | Imaging device | |
US11823715B2 (en) | Image processing device and image processing method | |
GB2607151A (en) | Wearable image pickup apparatus, portable device and calibrator that communicate with image pickup apparatus, control methods therefor, and storage media | |
GB2580625A (en) | Camera control | |
JP2005338352A (ja) | オートフォーカスシステム | |
JP2010183291A (ja) | 追尾装置および追尾方法 | |
JP2006058431A (ja) | オートフォーカスシステム | |
JP2000270254A (ja) | リモコン雲台システム | |
JP4403483B2 (ja) | 自動追尾装置 | |
JP7554025B2 (ja) | 撮像装置および撮像方法 | |
US20020130955A1 (en) | Method and apparatus for determining camera movement control criteria | |
JP3615867B2 (ja) | 自動撮影カメラシステム | |
US20230069440A1 (en) | Information processing apparatus, information processing method, and storage medium | |
JPH10294890A (ja) | 自動/手動撮影カメラシステム | |
JPH08331561A (ja) | 画像処理装置 | |
JP4189534B2 (ja) | 自動追尾装置 | |
JP2001169169A (ja) | 自動追尾装置 | |
KR100841290B1 (ko) | 감시 카메라의 초점 제어 방법 | |
JP7257783B2 (ja) | 画像処理装置、画像処理方法 | |
WO2023189079A1 (ja) | 画像処理装置、および画像処理方法、並びにプログラム | |
JP4407530B2 (ja) | 動き検出装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221214 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231121 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240806 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20240823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240904 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7554025 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |