JPWO2021085249A5 - - Google Patents

Description

本開示の技術に係る第５の態様は、撮像装置が、焦点距離を可変とする変倍機構を有し、制御部が、取得部で取得した焦点距離が変化している場合に撮像素子側振れ補正部及びレンズ側振れ補正機構を併用することで位置合わせ制御を行う第１の態様から第４の態様の何れか１つの態様に係る撮像支援装置である。

本開示の技術に係る第１５の態様は、レンズ及び撮像素子を有する撮像装置であって、レンズの光軸と交差する方向にレンズを移動させるレンズ移動機構と、撮像素子における撮像画像の領域を光軸と交差する方向に移動させる画像領域移動部と、を有する撮像装置の焦点距離を取得すること、撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、取得された焦点距離が閾値以上の場合にレンズ移動機構に比べ画像領域移動部を適用する割合を高め、焦点距離が閾値未満の場合に画像領域移動部に比べレンズ移動機構を適用する割合を高めることで、検出された被写体画像位置を撮像画像内の特定位置に合わせる位置合わせ制御を行うことを含む撮像支援方法である。

本開示の技術に係る第１６の態様は、コンピュータに、レンズ及び撮像素子を有する撮像装置であって、レンズの光軸と交差する方向にレンズを移動させるレンズ移動機構と、撮像素子における撮像画像の領域を光軸と交差する方向に移動させる画像領域移動部と、を有する撮像装置の焦点距離を取得すること、撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、取得された焦点距離が閾値以上の場合にレンズ移動機構に比べ画像領域移動部を適用する割合を高め 、焦点距離が閾値未満の場合に画像領域移動部に比べレンズ移動機構を適用する割合を高めることで、検出された被写体画像位置を撮像画像内の特定位置に合わせる位置合わせ制御を行うことを含む処理を実行させるためのプログラムである。

振れは、撮像画像にノイズ成分として含まれ、撮像画像の画質に影響を与える。そこで、振れに起因して撮像画像内に含まれるノイズ成分を除去するために、監視カメラ１０は、振れ補正部２４を備えている。振れ補正部２４は、本開示の技術に係る「位置合わせ部（位置合わせコンポーネント）」の一例である。振れ補正部２４は、レンズ側振れ補正機構２９、撮像素子側振れ補正機構４５及び電子式振れ補正部３３を有する。レンズ側振れ補正機構２９、撮像素子側振れ補正機構４５及び電子式振れ補正部３３はいずれも、振れの補正に供される。レンズ側振れ補正機構２９は、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を防振レンズに付与することで防振レンズを撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。撮像素子側振れ補正機構４５は、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を撮像素子に付与することで撮像素子を撮像光学系の光軸に対して垂直な方向に移動させ、これによって振れを補正する機構である。電子式振れ補正部３３は、振れ量に基づいて撮像画像に対して画像処理を施すことで振れを補正する。つまり、振れ補正部２４は、ハードウェア構成及び／又はソフトウェア構成で機械的又は電子的に振れの補正を行う。ここで、機械的な振れの補正とは、モータ（例えば、ボイスコイルモータ）等の駆動源によって生成された動力を用いて防振レンズ及び／又は撮像素子等の振れ補正素子を機械的に動かすことにより実現される振れの補正を指し、電子的な振れの補正とは、例えば、プロセッサによって画像処理が行われることで実現される振れの補正を指す。また、本実施形態において、「振れの補正」には、振れを無くすという意味の他に、振れを低減するという意味も含まれる。レンズ側振れ補正機構２９は、光軸ＯＡと垂直な方向に防振レンズ１５Ｂ１を移動させる機構であり、本開示の技術に係る「レンズ移動機構」の一例である。撮像素子側振れ補正機構４５及び電子式振れ補正部３３は、撮像素子２５における撮像画像の領域を光軸ＯＡと垂直な方向に移動させる機構である。撮像素子側振れ補正機構４５、及び電子式振れ補正部３３は、本開示の技術に係る「画像領域移動部（画像領域移動コンポーネント）」及び「撮像素子側振れ補正部（撮像素子側振れ補正コンポーネント）」の一例である。

受付デバイス６２は、変倍機構１８に対して変倍を行わせる指示（以下、「変倍指示」とも称する）を受け付け、変倍機構制御部３７Ｓは、受付デバイス６２によって受け付けられた変倍指示に従って変倍機構１８を制御する。更に、監視カメラ１０のメモリ３５は、焦点距離記憶領域３５Ａを有する。焦点距離記憶領域３５Ａには、最新の焦点距離が上書き保存される。

ＣＰＵ６０Ａは、ストレージ６０Ｂから表示制御処理プログラム３６Ｂを読み出し、読み出した表示制御処理プログラム３６Ｂをメモリ６０Ｃ上で実行することで表示制御部３７Ｔとして動作する。

ＣＰＵ６０Ａは、本開示の技術に係る「プロセッサ」の一例であり、メモリ６０Ｃは、本開示の技術に係る「メモリ」の一例である。ＣＰＵ６０Ａは、ストレージ６０Ｂから位置合わせ制御処理プログラム３６Ａを読み出し、読み出した位置合わせ制御処理プログラム３６Ａをメモリ６０Ｃ上で実行する。具体的には、ＣＰＵ６０Ａは、取得部３７Ｐ、焦点距離変化判定部３７Ｑ、被写体画像検出部３７Ａ、画像位置判定部３７Ｂ、ずれ量算出部３７Ｄ、ずれ判定部３７Ｅ、振れ補正実行部３７Ｆ、及び位置合わせ制御部３７Ｇとして動作する。被写体画像検出部３７Ａ及び画像位置判定部３７Ｂは、本開示の技術における「検出部」の一例である。

一例として図７に示すように、取得部３７Ｐは、焦点距離記憶領域３５Ａから、焦点距離を取得する。ここで、取得部３７Ｐによって取得された焦点距離が長くなった場合には、長くなる前と比較して、監視カメラ１０によって撮像できる画角が狭くなっている。

ずれ量算出部３７Ｄは、画像位置判定部３７Ｂによって被写体画像位置が中央領域ＣＥ内にないと判定された場合に、ずれ量を算出する。ずれ量は、中央領域ＣＥに対する被写体画像位置のずれ、すなわち相対位置の差を示す量であり、ピッチ方向及びヨー方向の２つの値を持つベクトルである。ずれ量としては、例えば、対象被写体画像の中心と、中央領域ＣＥの中心とのずれ量が挙げられる。対象被写体画像の中心は、一例として、対象被写体画像のピッチ方向での中心座標及びヨー方向での中心座標の２つの値として求めることができる。

図１０Ａ及び図１０Ｂに示す位置合わせ制御処理では、先ず、ステップＳＴ１０で、取得部３７Ｐは、焦点距離を取得するタイミング（以下、「焦点距離取得タイミング」とも称する）が到来したか否かを判定する。焦点距離取得タイミングとしては、例えば、撮像素子２５において既定のフレームレートで対象被写体を撮像するタイミングが挙げられる。より具体的には、フレームレートが６０フレーム／秒の場合であって、取得部３７Ｐがフレームごとに焦点距離を取得するとした場合、１秒あたり６０回の頻度で焦点距離を取得する。取得部３７Ｐは、複数フレームごとに焦点距離を取得してもよく、例えば、２フレームにつき１回の頻度で焦点距離を取得するようにしてもよい。ステップＳＴ１０において、焦点距離取得タイミングが到来していない場合は、判定が否定されて、位置合わせ制御処理は、ステップＳＴ３０に移行する。ステップＳＴ１０において、焦点距離取得タイミングが到来した場合は、判定が肯定されて、位置合わせ制御処理はステップＳＴ１２に移行する。

図１２Ａ及び図１２Ｂに示す状態から、監視カメラ１０の焦点距離が望遠側及び広角側のうちの望遠側に変倍されると、画角が狭くなる。一例として図１３Ａ及び図１３Ｂに示すように、被写体画像位置が、撮像画像の範囲外に位置してしまうことがある。

振れ補正部は、焦点距離が“閾値ｔｈ＋ｘ”超の場合に、撮像素子側振れ補正機構４５を適用して位置合わせ制御を行う。焦点距離が“閾値ｔｈ＋ｘ”超の場合において、位置合わせ制御にレンズ側振れ補正機構２９を適用しないので、レンズ側振れ補正機構２９を用いて振れ補正制御を行うこと、すなわち、振れを補正する余地を確保することができる。

本実施形態では、本開示の技術に係る「レンズ移動機構」の一例としてレンズ側振れ補正機構２９が挙げられており、本開示の技術に係る「画像領域移動部（画像領域移動コンポーネント）」の一例として、撮像素子側振れ補正機構４５及び電子式振れ補正部３３が挙げられている。レンズ側振れ補正機構２９、撮像素子側振れ補正機構４５及び電子式振れ補正部３３はいずれも、振れ補正部の一例でもあり、被写体画像位置のずれを補正するために適用される。しかしながら、本開示の技術に係るレンズ移動機構は、被写体画像位置のずれを補正するための機構に限定されず、レンズを光軸ＯＡと交差する方向に移動させることが可能な機構であればよい。本開示の技術に係る画像領域移動部も、撮像素子２５における撮像画像の領域を、光軸ＯＡと交差する方向に移動させることができれば、被写体画像位置のずれを補正するための構成に限定されない。

Claims (16)

1. プロセッサと、
   前記プロセッサに内蔵又は接続されたメモリと、を含み、
   前記プロセッサは、
   レンズ及び撮像素子を有する撮像装置であって、前記レンズの光軸と交差する方向に前記レンズを移動させるレンズ移動機構と、前記撮像素子における撮像画像の領域を前記光軸と交差する方向に移動させる画像領域移動コンポーネントと、を有する撮像装置の焦点距離を取得し、
   前記撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の前記対象被写体を示す対象被写体画像の被写体画像位置を検出し、
   取得した前記焦点距離が閾値以上の場合に前記レンズ移動機構に比べ前記画像領域移動コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記画像領域移動コンポーネントに比べ前記レンズ移動機構を適用する割合を高めることで、検出した前記被写体画像位置を前記撮像画像内の特定位置に合わせる位置合わせ制御を行う
   撮像支援装置。
2. 前記レンズ移動機構は、前記撮像装置に与えられた振動に起因して生じる振れを前記レンズの移動により補正するレンズ側振れ補正機構であり、
   前記画像領域移動コンポーネントは、前記振れを撮像素子の移動又は前記撮像素子によって撮像されることで得られる撮像画像に対する画像処理により補正する撮像素子側振れ補正コンポーネントであり、
   前記プロセッサは、前記位置合わせ制御を、前記焦点距離が閾値以上の場合に前記レンズ側振れ補正機構に比べ前記撮像素子側振れ補正コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記撮像素子側振れ補正コンポーネントに比べ前記レンズ側振れ補正機構を適用する割合を高めることで行う請求項１に記載の撮像支援装置。
3. 前記プロセッサは、取得した前記焦点距離が前記閾値以上の場合に、前記レンズ側振れ補正機構に対して前記振れを補正させる請求項２に記載の撮像支援装置。
4. 前記プロセッサは、取得した前記焦点距離が前記閾値未満の場合に、前記撮像素子側振れ補正コンポーネントに対して前記振れを補正させる請求項２又は請求項３に記載の撮像支援装置。
5. 前記撮像装置は、前記焦点距離を可変とする変倍機構を有し、
   前記プロセッサは、取得した前記焦点距離が変化している場合に前記撮像素子側振れ補正コンポーネント及び前記レンズ側振れ補正機構を併用することで前記位置合わせ制御を行う請求項１から請求項４のいずれか一項に記載の撮像支援装置。
6. 前記プロセッサは、取得した前記焦点距離が変化していない場合に前記撮像素子側振れ補正コンポーネント及び前記レンズ側振れ補正機構のうちの少なくとも一方に対して前記振れを補正させる請求項１から請求項５のいずれか一項に記載の撮像支援装置。
7. 前記プロセッサは、取得した前記焦点距離が、前記閾値を含む既定範囲内の場合に、前記レンズ側振れ補正機構及び前記撮像素子側振れ補正コンポーネントを併用して前記位置合わせ制御を行う請求項１から請求項６のいずれか一項に記載の撮像支援装置。
8. 前記位置合わせ制御は、前記プロセッサによって取得された前記焦点距離が前記既定範囲内の場合に、前記焦点距離が長くなるに伴って、前記レンズ側振れ補正機構に比べ前記撮像素子側振れ補正コンポーネントを適用する割合を漸次的に増加させる制御を含む制御である請求項７に記載の撮像支援装置。
9. 前記プロセッサは、取得した前記焦点距離が前記既定範囲の下限値未満の場合に、前記レンズ側振れ補正機構及び前記撮像素子側振れ補正コンポーネントのうちの前記レンズ側振れ補正機構を用いて前記位置合わせ制御を行う請求項７又は請求項８に記載の撮像支援装置。
10. 前記プロセッサは、取得した前記焦点距離が前記既定範囲の上限値を超える場合に、前記レンズ側振れ補正機構及び前記撮像素子側振れ補正コンポーネントのうちの前記撮像素子側振れ補正コンポーネントを用いて前記位置合わせ制御を行う請求項７から請求項９のいずれか一項に記載の撮像支援装置。
11. 前記プロセッサは、前記撮像装置を旋回可能な旋回機構、前記撮像素子側振れ補正コンポーネント、及び前記レンズ側振れ補正機構を含む位置合わせコンポーネントを用いることで前記位置合わせ制御を行い、
    前記撮像画像内で前記被写体画像位置を調整する位置合わせ精度は、前記旋回機構よりも前記撮像素子側振れ補正コンポーネント及び前記レンズ側振れ補正機構の方が高い請求項１から請求項１０のいずれか一項に記載の撮像支援装置。
12. 請求項１１に記載の撮像支援装置と、
    前記旋回機構と、を含み、
    前記撮像支援装置は、前記旋回機構が前記撮像装置を旋回させる場合に前記撮像装置による撮像を支援する撮像支援システム。
13. 請求項１から請求項１１のいずれか一項に記載の撮像支援装置と、
    前記撮像装置と、を含み、
    前記撮像支援装置は、前記撮像装置に対する撮像の支援を行う撮像システム。
14. 前記撮像装置を旋回させる旋回機構を更に含む請求項１３に記載の撮像システム。
15. レンズ及び撮像素子を有する撮像装置であって、前記レンズの光軸と交差する方向に前記レンズを移動させるレンズ移動機構と、前記撮像素子における撮像画像の領域を前記光軸と交差する方向に移動させる画像領域移動コンポーネントと、を有する撮像装置の焦点距離を取得すること、
    前記撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の前記対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、
    取得された前記焦点距離が閾値以上の場合に前記レンズ移動機構に比べ前記画像領域移動コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記画像領域移動コンポーネントに比べ前記レンズ移動機構を適用する割合を高めることで、検出された前記被写体画像位置を前記撮像画像内の特定位置に合わせる位置合わせ制御を行うこと
    を含む撮像支援方法。
16. コンピュータに、
    レンズ及び撮像素子を有する撮像装置であって、前記レンズの光軸と交差する方向に前記レンズを移動させるレンズ移動機構と、前記撮像素子における撮像画像の領域を前記光軸と交差する方向に移動させる画像領域移動コンポーネントと、を有する撮像装置の焦点距離を取得すること、
    前記撮像装置によって対象被写体を含む撮像領域が撮像されることで得られる撮像画像内の前記対象被写体を示す対象被写体画像の被写体画像位置を検出すること、及び、
    取得した前記焦点距離が閾値以上の場合に前記レンズ移動機構に比べ前記画像領域移動コンポーネントを適用する割合を高め、前記焦点距離が前記閾値未満の場合に前記画像領域移動コンポーネントに比べ前記レンズ移動機構を適用する割合を高めることで、検出した前記被写体画像位置を前記撮像画像内の特定位置に合わせる位置合わせ制御を行うこと
    を含む処理を実行させるためのプログラム。