JP3546117B2 - 自動ズーム・追尾装置 - Google Patents
自動ズーム・追尾装置 Download PDFInfo
- Publication number
- JP3546117B2 JP3546117B2 JP01093397A JP1093397A JP3546117B2 JP 3546117 B2 JP3546117 B2 JP 3546117B2 JP 01093397 A JP01093397 A JP 01093397A JP 1093397 A JP1093397 A JP 1093397A JP 3546117 B2 JP3546117 B2 JP 3546117B2
- Authority
- JP
- Japan
- Prior art keywords
- tracking
- image
- zoom
- luminance
- gate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Processing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、航行船舶監視システムにあって船名確認等に適用される自動ズーム・追尾装置に関する。
【０００２】
【従来の技術】
船舶監視システムでの港湾内或は海峡を航行する船舶の例えば船名を確認する作業は、現在、電動ズームレンズを装着した撮像装置を用いて監視者の操作により行なわれている。この場合に用いられる装置にあっては、図７に示すように電動ズームレンズ５２を取付けた撮像装置５１の出力映像をモニタ装置５５に表示し、監視者がこの映像を見ながら操作器５４を操作し、電動ズームレンズ５２へのズーム指令及び電動旋回装置５３への上下又は左右の旋回指令を出力して制御しつつ、例えば船名がモニタ装置５５上にズームアップして表示されるように保持して船名を確認している。
【０００３】
【発明が解決しようとする課題】
上述の航行船舶の船名を撮像装置によって確認する場合、監視者によるズーム及び旋回操作を行なうことになるが、この操作に当っては監視者が船舶位置や速度に応じてズームと旋回の各操作を同時に行なうか又は船舶の航行速度やレンズの応答（ズーム）速度から近未来の船舶位置を予測して前もって旋回、ズームアップを行なって待ち受けるという操作が必要である。そして、この予め待ち受ける操作においては、予測した誤差の修正やズームアップ後の追従操作は全て監視者により行なわれることになる。
このようなことから、経時的にズーム及び旋回操作を行なったり、予めズーム及び旋回操作を行なって待ちうけているにつけ、この操作はズーム後の視野角が狭い程、船舶の移動速度が速い程、あるいは、船舶と撮像装置との距離が近い程、熟練を要し困難なものとなる。また、情況によっては手動操作応答が遅く撮像装置手ぶれにより、映像がぶれて船名の確認がしにくく、このため短時間で船名を読み取る必要があり、船名を確認することができる距離も制約される。
【０００４】
本発明は、上述の問題に鑑み、監視者による手動操作を可及的に省きまた映像のぶれを軽減できるようにした自動ズーム・追尾装置の提供を目的とする。
【０００５】
【課題を解決するための手段】
上述の目的を達成する本発明は、次の発明特定事項を有する。
（１）ズーム指令が入力されると、このズーム指令に応じてズーミング動作する電動ズームレンズ(12)を備えると共に、撮影した映像を出力する撮像装置(11)と、
角速度指令が入力されると、この角速度指令に応じて、上記撮像装置(11)を旋回させる電動旋回装置(13)と、
上記撮像装置(11)から出力されたズームアップされていない映像である初期映像(201)上にて操作員が追尾点(202)を入力する追尾点入力装置(14)と、
上記撮像装置(11)から出力された映像を画像処理して、入力された追尾点(202)を抽出しこの追尾点(202)の映像中心からのずれ量を検出する画像処理装置(15)と、
上記ずれ量から上記電動旋回装置(13)へ角速度指令を出力すると共に、上記画像処理装置 (15) により初期追尾ゲート (204) が設定された後に上記電動ズームレンズ(12)にズーム指令を出力する制御器(16)とを有し、
前記画像処理装置(15)は、
上記初期映像(201)において、追尾点(202)を中心としてこの追尾点(202)を囲む初期追尾ゲート(204)を設定し、この初期追尾ゲート(204)内の輝度に応じて縦方向輝度分布(205)及び横方向輝度分布(206)を算出し、
更に、上記初期追尾ゲート(204)を設定した後に上記撮像装置(11)から出力されたズームアップされた映像であるズーム映像(207)において、初期追尾ゲート(204)をズームアップした大きさの追尾ゲート(208)を設定し、この追尾ゲート(208)の輝度に応じて縦方向輝度分布(209)及び横方向輝度分布(210)を算出し、
初期追尾ゲート (204) 内の輝度から算出した縦方向輝度分布(205)及び横方向輝度分布(206)をズーム倍率倍したズーム倍率倍縦方向輝度分布及びズーム倍率倍横方向輝度分布と、追尾ゲート (208) 内の輝度から算出した縦方向輝度分布(209)及び横方向輝度分布(210)とを相関演算して追尾点(202)の映像中心からのずれ量を演算することを特徴とする。
【０００６】
【発明の実施の形態】
ここで、図１〜図６を参照して本発明の実施の形態の一例を説明する。図１は装置の全体を示すものであり、図１において、１１は撮像装置、１２はこの撮像装置１１に装着された電動ズームレンズであり、また１７は撮像装置１１によって得られた映像のモニタ装置である。
撮像装置１１及び電動ズームレンズ１２は、電動旋回装置１３によって上下又は左右の２軸に旋回できるようになっており、この電動旋回装置１３は制御器１６からの角速度指令によって旋回することになる。また、電動ズームレンズ１２も制御器１６からのズーム指令によって駆動されズーミングが行なわれる。
【０００７】
以上の構成及び機能は、制御器１６と操作器５４との違いを除いて図７と同様である。本装置では、更にモニタ装置１７と同様に出力映像が入力される画像処理装置１５が撮像装置１１に接続されている。
追尾点入力装置１４の出力としては、追尾点座標が得られるのであるが、この出力は画像処理装置１５及びスイッチ１８を介して制御器１６にそれぞれ入力されるよう接続されている。
また、画像処理装置１５の出力は、ずれ画素数であり、この出力もスイッチ１８を介して制御器１６に入力されるようになっている。なお、スイッチ１８はマニュアル操作用スイッチであり、マニュアル操作にて追尾点座標（ずれ画素数）が入力されるものである。
制御器１６の出力は、前述したように角速度指令及びズーム指令があり、入力としては前述の追尾点座標（ずれ画素数）の外に電動ズームレンズ１２からのズーム倍率が得られる。
【０００８】
以上が全体装置の概略であるが、次に図１の各装置についてその機能と共に説明する。追尾点入力装置１４は、撮像装置１１からの出力映像を入力して追尾点座標を出力するものであり、この追尾点入力装置１４では、監視者がモニタ装置１７上に表示された撮像装置１１の出力映像上にて追尾・ズームアップしたい点（追尾点）を特定することによりこの追尾点を直接得るものである。具体的にはマウスのクリック（指定）により追尾点が得られることになる。
【０００９】
後述の画像処理の概要を示す図２において、モニタ装置１７（図１参照）の画面にて初期（基準）映像２０１内にて例えば航行船舶の舳先の船名部分を指定するとその点が追尾点２０２として特定され、この追尾点２０２を中心として追尾が行なわれズーム映像２０７の如くズームアップされる。
この追尾点入力装置１４による追尾点２０２の特定は、図２の基準映像２０２内のどの位置でも可能であり、イニシャル動作として画面の中心から追尾点が離れている場合には追尾点の特定によってまずその追尾点が画面中心に位置するように旋回指令が出力される。また、追尾点の抽出に際し監視者が錯誤によりまた後述の更新により再指定をした場合や画像処理による抽出誤まり等にて追尾が外れて映像上にて追尾点を再指定をする場合には、その再指定の追尾点が画像処理装置に教示されることになる。
なお、追尾点座標をそのままマニュアルにて制御器１６に入力する場合にはスイッチ１８を介して伝えることができ、角速度指令を算出することにより追尾点座標を画面中心に位置させることができる。
【００１０】
画像処理装置１５は、撮像装置１１からの出力映像を画像処理するもので、追尾点座標を得ることによって画面中心からのずれ画素数を出力するものである。このずれ画素数の算出は、航行船舶が時々刻々と移動している関係上追尾点も移動することになり、この移動のためのずれ量を得るものであり、しかもズームアップをしながらの増大する移動量であるずれ量を得るために必要となる。
図２は画像処理の概要を示しており、同図において、基準映像２０１にて追尾点２０２が入力されると、まず追尾点２０２を中心とした輝度のしきい値が設定される。すなわち、追尾点２０２を中心としてしきい値算出ゲート２０３が設定され、このゲート内の輝度分布統計量（平均輝度及び輝度標準偏差）に基づき、２値化のためのしきい値が設定される。この場合、しきい値算出ゲート２０３は固定された大きさの領域を対象とする。
【００１１】
次に、しきい値算出ゲート２０３を中心として予め定められた寸法を有する初期追尾ゲート２０４を設定し、この初期追尾ゲート２０４内の輝度をしきい値を基準として２値化する。そして、この結果しきい値を境として２値化した画素から縦方向分布２０５及び横方向分布２０６を算出し、追尾点２０２を中心として基準パターンを抽出する。この場合、追尾点周辺の分布図４に示すように縦方向輝度分布Ｙ（ｉ） 及び横方向輝度分布Ｘ（ｊ） を各画素アドレス（ｉｊ）にて８ビットの輝度レベルの輝度Ｂ（ｉｊ）に基づき決定する。初期追尾ゲート２０４内の分布としては次式［数１］となる。
【数１】
【００１２】
このようにして追尾点が入力された基準映像において、輝度の分布２０５，２０６により追尾点位置を特定し得る特徴的なパターン（基準パターン）を抽出することになる。この基準パターンの抽出によって追尾点が特徴付けられることになり、仮にズームが行なわれないとした場合には、この特徴付けられる追尾点を追うことにより、つまり角速度指令により電動旋回装置１３を駆動することにより、追尾が可能となる。
【００１３】
しかしながら、画像のズームアップを行なう必要があるために、ズーム指令に基づきズーム映像２０７も得られることになる。このズームアップによる映像において、初期追尾ゲートに相当する追尾ゲート２０８が得られ、この追尾ゲート２０８においても、前述のしきい値に基づいて２値化処理が行なわれ、縦方向輝度分布２０９及び横方向輝度分布２１０を得る。そして、この輝度分布２０９，２１０と基準映像による輝度分布２０５，２０６をズーム倍率倍したズーム基準パターンとの相関をとり、ずれ画素数を相関最大点から得るものである。このずれ画素数の発生は初期追尾ゲート２０４の設定後、ズームアップした映像２０７を得るまでに船舶が移動しており、しかもズームアップすればする程画面上での船舶移動速度が速くなるため、たとえ初期追尾ゲート２０４の追尾点２０２が画面の中心にあったとしてもズームアップした映像上での追尾点は画面の中心にはないことから、必ず生ずることになる。
【００１４】
ここで、図３にて基準パターンをズーム倍率倍したパターンとズーム倍率後のパターンとの相関演算によるずれ画素計算方法を水平方向の例について述べる。基準パターンをズーム倍率倍した分布をｇ（ｉ） とし、ズーム倍率後の得られた分布ｆ（ｉ） とし、また、ズーム倍率後の画面中心との距離をτとしたとき、次式［数２］によって相関最大点ｈ（τ）が最小となるτを求めるものである。
【数２】
すなわち、ｆ（ｉ） パターンをτだけずらしてｇ（ｉ） との差を採った結果、その差が最小又は０になればｈ（τ）が最小となり、相関最大点とすることができる。なお、図３に示す例では水平５１２画素、垂直５１２画素を採り、各画素は例えば８ｂｉｔ の輝度情報としてディジタル化している。したがって、ずれ画素数は水平画角／５１２を掛けることにより図１の制御器１６にて角度量に変換することができる。
【００１５】
図１に戻り、画像処理装置１５からのずれ画素数は制御器１６内に至り、この制御器１６では電動ズームレンズ１２からのズーム倍率をも入力して角度量計算が行なわれると共にズーム倍率計算も行なわれる。角度量計算をするに当っては、映像取得時のズーム倍率から、レンズと撮像装置との組合せにより一意的に決まる式やテーブルに基づき縦方向画角θ及び横方向画角ψを算出し、画像処理装置の画素分解能（入力画像の画角と１画素あたりの角度の関係式）に基づきずれ画素数の角度量（追尾点のずれ角度）に変換する。そして、この角度量を定数倍して追尾角速度を得る。図５における制御器１６にあって１６１は角度量計算及び変換回路、１６２は定数Ｋ掛算器である。
そして、この掛算器１６２の出力が図１にも示す電動旋回装置１３を駆動することになる。
【００１６】
自動追尾と同時に本装置では自動ズームが行なわれるが、この自動ズームは例えば図２に示す基準映像２０１の追尾点の特定と同時に初期追尾ゲート２０４が定まると、追尾ゲート２０８の如くズームアップが行なわれる。この場合、ずれ画素数による旋回装置１３の駆動と共にモニタ装置１７にて追尾ゲート２０８が表示されるが、ズームアップされる追尾点が撮像装置の出力映像から外れないズーム倍率ηを図５のズーム倍率器１６３にて算出することにより電動ズームレンズに指令する。
すなわち、
ΔＸ，ΔＹを現在の追尾点の映像中心からの横方向と縦方向のずれ画素数、ΔＸｍａｘ ，ΔＹｍａｘ を自動追尾機能で追尾可能な横方向と縦方向の最大ずれ画素数とすると、
ΔＸ・η≦ΔＸｍａｘ 、 ΔＹ・η≦ΔＹｍａｘ
とするもので、現在の追尾点位置（映像中心からのずれ量）及びズーム後追尾点が映像内でしかも自動追尾処理において許容される範囲内にとどまる倍率を計算するものである。
かかる演算によりηを求めズーム指令を出力する。
【００１７】
以上の如くηを決定してズームアップが行なわれるが、ズームアップ後の追尾ゲートのサイズが例えば画面サイズの９０％を越えた場合、それ以上のズームアップは限界となるので、この状態にて更にズームアップをしようとするときは、追尾中の点が追尾点として再入力されたものとして基準パターンを更新することにより行なわれる。この場合、基準パターンの更新のきっかけは、追尾ゲートが画面サイズの９０％を越えたか否か、もしくは、初期追尾ゲート２０４の設定によって決定される輝度分布からなる基準パターンのズーム倍率倍がズームアップ・後の追尾ゲートでの輝度分布との間で相関演算がとれるか否か、換言すればズームアップ後の輝度分布が基準パターンのパターン形状を保っているか否かのいずれかにより、ズームアップ限度を判断している。
【００１８】
以上の結果、追尾点を特定することにより追尾及びズームアップを自動的に行なえることとなり図６に示すように船名等の視認を熟練操作なく可能とし、また手ぶれがない安定した映像を確認することができる。
【００１９】
【発明の効果】
こうして、本発明では、追尾点の追従とズーム操作がなく監視者の負担が軽減でき運用人員を減らすことができ、また手動操作による手ぶれがなく映像を確認できて船名等確認可能距離が延長される。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例のブロック図。
【図２】画像処理の説明図。
【図３】ずれ画素数計算方法の説明図。
【図４】２値画像の分布説明図。
【図５】追尾ループのブロック図。
【図６】ズームアップされた映像例を示す図。
【図７】従来例のブロック図。
【符号の説明】
１１ 撮像装置
１２ 電動ズームレンズ
１３ 電動旋回装置
１４ 追尾点入力装置
１５ 画像処理装置
１６ 制御器
１７ モニタ装置
１８ スイッチ
１６１ 角度量計算及び変換回路
１６２ 掛算器
１６３ ズーム倍率器
【発明の属する技術分野】
本発明は、航行船舶監視システムにあって船名確認等に適用される自動ズーム・追尾装置に関する。
【０００２】
【従来の技術】
船舶監視システムでの港湾内或は海峡を航行する船舶の例えば船名を確認する作業は、現在、電動ズームレンズを装着した撮像装置を用いて監視者の操作により行なわれている。この場合に用いられる装置にあっては、図７に示すように電動ズームレンズ５２を取付けた撮像装置５１の出力映像をモニタ装置５５に表示し、監視者がこの映像を見ながら操作器５４を操作し、電動ズームレンズ５２へのズーム指令及び電動旋回装置５３への上下又は左右の旋回指令を出力して制御しつつ、例えば船名がモニタ装置５５上にズームアップして表示されるように保持して船名を確認している。
【０００３】
【発明が解決しようとする課題】
上述の航行船舶の船名を撮像装置によって確認する場合、監視者によるズーム及び旋回操作を行なうことになるが、この操作に当っては監視者が船舶位置や速度に応じてズームと旋回の各操作を同時に行なうか又は船舶の航行速度やレンズの応答（ズーム）速度から近未来の船舶位置を予測して前もって旋回、ズームアップを行なって待ち受けるという操作が必要である。そして、この予め待ち受ける操作においては、予測した誤差の修正やズームアップ後の追従操作は全て監視者により行なわれることになる。
このようなことから、経時的にズーム及び旋回操作を行なったり、予めズーム及び旋回操作を行なって待ちうけているにつけ、この操作はズーム後の視野角が狭い程、船舶の移動速度が速い程、あるいは、船舶と撮像装置との距離が近い程、熟練を要し困難なものとなる。また、情況によっては手動操作応答が遅く撮像装置手ぶれにより、映像がぶれて船名の確認がしにくく、このため短時間で船名を読み取る必要があり、船名を確認することができる距離も制約される。
【０００４】
本発明は、上述の問題に鑑み、監視者による手動操作を可及的に省きまた映像のぶれを軽減できるようにした自動ズーム・追尾装置の提供を目的とする。
【０００５】
【課題を解決するための手段】
上述の目的を達成する本発明は、次の発明特定事項を有する。
（１）ズーム指令が入力されると、このズーム指令に応じてズーミング動作する電動ズームレンズ(12)を備えると共に、撮影した映像を出力する撮像装置(11)と、
角速度指令が入力されると、この角速度指令に応じて、上記撮像装置(11)を旋回させる電動旋回装置(13)と、
上記撮像装置(11)から出力されたズームアップされていない映像である初期映像(201)上にて操作員が追尾点(202)を入力する追尾点入力装置(14)と、
上記撮像装置(11)から出力された映像を画像処理して、入力された追尾点(202)を抽出しこの追尾点(202)の映像中心からのずれ量を検出する画像処理装置(15)と、
上記ずれ量から上記電動旋回装置(13)へ角速度指令を出力すると共に、上記画像処理装置 (15) により初期追尾ゲート (204) が設定された後に上記電動ズームレンズ(12)にズーム指令を出力する制御器(16)とを有し、
前記画像処理装置(15)は、
上記初期映像(201)において、追尾点(202)を中心としてこの追尾点(202)を囲む初期追尾ゲート(204)を設定し、この初期追尾ゲート(204)内の輝度に応じて縦方向輝度分布(205)及び横方向輝度分布(206)を算出し、
更に、上記初期追尾ゲート(204)を設定した後に上記撮像装置(11)から出力されたズームアップされた映像であるズーム映像(207)において、初期追尾ゲート(204)をズームアップした大きさの追尾ゲート(208)を設定し、この追尾ゲート(208)の輝度に応じて縦方向輝度分布(209)及び横方向輝度分布(210)を算出し、
初期追尾ゲート (204) 内の輝度から算出した縦方向輝度分布(205)及び横方向輝度分布(206)をズーム倍率倍したズーム倍率倍縦方向輝度分布及びズーム倍率倍横方向輝度分布と、追尾ゲート (208) 内の輝度から算出した縦方向輝度分布(209)及び横方向輝度分布(210)とを相関演算して追尾点(202)の映像中心からのずれ量を演算することを特徴とする。
【０００６】
【発明の実施の形態】
ここで、図１〜図６を参照して本発明の実施の形態の一例を説明する。図１は装置の全体を示すものであり、図１において、１１は撮像装置、１２はこの撮像装置１１に装着された電動ズームレンズであり、また１７は撮像装置１１によって得られた映像のモニタ装置である。
撮像装置１１及び電動ズームレンズ１２は、電動旋回装置１３によって上下又は左右の２軸に旋回できるようになっており、この電動旋回装置１３は制御器１６からの角速度指令によって旋回することになる。また、電動ズームレンズ１２も制御器１６からのズーム指令によって駆動されズーミングが行なわれる。
【０００７】
以上の構成及び機能は、制御器１６と操作器５４との違いを除いて図７と同様である。本装置では、更にモニタ装置１７と同様に出力映像が入力される画像処理装置１５が撮像装置１１に接続されている。
追尾点入力装置１４の出力としては、追尾点座標が得られるのであるが、この出力は画像処理装置１５及びスイッチ１８を介して制御器１６にそれぞれ入力されるよう接続されている。
また、画像処理装置１５の出力は、ずれ画素数であり、この出力もスイッチ１８を介して制御器１６に入力されるようになっている。なお、スイッチ１８はマニュアル操作用スイッチであり、マニュアル操作にて追尾点座標（ずれ画素数）が入力されるものである。
制御器１６の出力は、前述したように角速度指令及びズーム指令があり、入力としては前述の追尾点座標（ずれ画素数）の外に電動ズームレンズ１２からのズーム倍率が得られる。
【０００８】
以上が全体装置の概略であるが、次に図１の各装置についてその機能と共に説明する。追尾点入力装置１４は、撮像装置１１からの出力映像を入力して追尾点座標を出力するものであり、この追尾点入力装置１４では、監視者がモニタ装置１７上に表示された撮像装置１１の出力映像上にて追尾・ズームアップしたい点（追尾点）を特定することによりこの追尾点を直接得るものである。具体的にはマウスのクリック（指定）により追尾点が得られることになる。
【０００９】
後述の画像処理の概要を示す図２において、モニタ装置１７（図１参照）の画面にて初期（基準）映像２０１内にて例えば航行船舶の舳先の船名部分を指定するとその点が追尾点２０２として特定され、この追尾点２０２を中心として追尾が行なわれズーム映像２０７の如くズームアップされる。
この追尾点入力装置１４による追尾点２０２の特定は、図２の基準映像２０２内のどの位置でも可能であり、イニシャル動作として画面の中心から追尾点が離れている場合には追尾点の特定によってまずその追尾点が画面中心に位置するように旋回指令が出力される。また、追尾点の抽出に際し監視者が錯誤によりまた後述の更新により再指定をした場合や画像処理による抽出誤まり等にて追尾が外れて映像上にて追尾点を再指定をする場合には、その再指定の追尾点が画像処理装置に教示されることになる。
なお、追尾点座標をそのままマニュアルにて制御器１６に入力する場合にはスイッチ１８を介して伝えることができ、角速度指令を算出することにより追尾点座標を画面中心に位置させることができる。
【００１０】
画像処理装置１５は、撮像装置１１からの出力映像を画像処理するもので、追尾点座標を得ることによって画面中心からのずれ画素数を出力するものである。このずれ画素数の算出は、航行船舶が時々刻々と移動している関係上追尾点も移動することになり、この移動のためのずれ量を得るものであり、しかもズームアップをしながらの増大する移動量であるずれ量を得るために必要となる。
図２は画像処理の概要を示しており、同図において、基準映像２０１にて追尾点２０２が入力されると、まず追尾点２０２を中心とした輝度のしきい値が設定される。すなわち、追尾点２０２を中心としてしきい値算出ゲート２０３が設定され、このゲート内の輝度分布統計量（平均輝度及び輝度標準偏差）に基づき、２値化のためのしきい値が設定される。この場合、しきい値算出ゲート２０３は固定された大きさの領域を対象とする。
【００１１】
次に、しきい値算出ゲート２０３を中心として予め定められた寸法を有する初期追尾ゲート２０４を設定し、この初期追尾ゲート２０４内の輝度をしきい値を基準として２値化する。そして、この結果しきい値を境として２値化した画素から縦方向分布２０５及び横方向分布２０６を算出し、追尾点２０２を中心として基準パターンを抽出する。この場合、追尾点周辺の分布図４に示すように縦方向輝度分布Ｙ（ｉ） 及び横方向輝度分布Ｘ（ｊ） を各画素アドレス（ｉｊ）にて８ビットの輝度レベルの輝度Ｂ（ｉｊ）に基づき決定する。初期追尾ゲート２０４内の分布としては次式［数１］となる。
【数１】
このようにして追尾点が入力された基準映像において、輝度の分布２０５，２０６により追尾点位置を特定し得る特徴的なパターン（基準パターン）を抽出することになる。この基準パターンの抽出によって追尾点が特徴付けられることになり、仮にズームが行なわれないとした場合には、この特徴付けられる追尾点を追うことにより、つまり角速度指令により電動旋回装置１３を駆動することにより、追尾が可能となる。
【００１３】
しかしながら、画像のズームアップを行なう必要があるために、ズーム指令に基づきズーム映像２０７も得られることになる。このズームアップによる映像において、初期追尾ゲートに相当する追尾ゲート２０８が得られ、この追尾ゲート２０８においても、前述のしきい値に基づいて２値化処理が行なわれ、縦方向輝度分布２０９及び横方向輝度分布２１０を得る。そして、この輝度分布２０９，２１０と基準映像による輝度分布２０５，２０６をズーム倍率倍したズーム基準パターンとの相関をとり、ずれ画素数を相関最大点から得るものである。このずれ画素数の発生は初期追尾ゲート２０４の設定後、ズームアップした映像２０７を得るまでに船舶が移動しており、しかもズームアップすればする程画面上での船舶移動速度が速くなるため、たとえ初期追尾ゲート２０４の追尾点２０２が画面の中心にあったとしてもズームアップした映像上での追尾点は画面の中心にはないことから、必ず生ずることになる。
【００１４】
ここで、図３にて基準パターンをズーム倍率倍したパターンとズーム倍率後のパターンとの相関演算によるずれ画素計算方法を水平方向の例について述べる。基準パターンをズーム倍率倍した分布をｇ（ｉ） とし、ズーム倍率後の得られた分布ｆ（ｉ） とし、また、ズーム倍率後の画面中心との距離をτとしたとき、次式［数２］によって相関最大点ｈ（τ）が最小となるτを求めるものである。
【数２】
【００１５】
図１に戻り、画像処理装置１５からのずれ画素数は制御器１６内に至り、この制御器１６では電動ズームレンズ１２からのズーム倍率をも入力して角度量計算が行なわれると共にズーム倍率計算も行なわれる。角度量計算をするに当っては、映像取得時のズーム倍率から、レンズと撮像装置との組合せにより一意的に決まる式やテーブルに基づき縦方向画角θ及び横方向画角ψを算出し、画像処理装置の画素分解能（入力画像の画角と１画素あたりの角度の関係式）に基づきずれ画素数の角度量（追尾点のずれ角度）に変換する。そして、この角度量を定数倍して追尾角速度を得る。図５における制御器１６にあって１６１は角度量計算及び変換回路、１６２は定数Ｋ掛算器である。
そして、この掛算器１６２の出力が図１にも示す電動旋回装置１３を駆動することになる。
【００１６】
自動追尾と同時に本装置では自動ズームが行なわれるが、この自動ズームは例えば図２に示す基準映像２０１の追尾点の特定と同時に初期追尾ゲート２０４が定まると、追尾ゲート２０８の如くズームアップが行なわれる。この場合、ずれ画素数による旋回装置１３の駆動と共にモニタ装置１７にて追尾ゲート２０８が表示されるが、ズームアップされる追尾点が撮像装置の出力映像から外れないズーム倍率ηを図５のズーム倍率器１６３にて算出することにより電動ズームレンズに指令する。
すなわち、
ΔＸ，ΔＹを現在の追尾点の映像中心からの横方向と縦方向のずれ画素数、ΔＸｍａｘ ，ΔＹｍａｘ を自動追尾機能で追尾可能な横方向と縦方向の最大ずれ画素数とすると、
ΔＸ・η≦ΔＸｍａｘ 、 ΔＹ・η≦ΔＹｍａｘ
とするもので、現在の追尾点位置（映像中心からのずれ量）及びズーム後追尾点が映像内でしかも自動追尾処理において許容される範囲内にとどまる倍率を計算するものである。
かかる演算によりηを求めズーム指令を出力する。
【００１７】
以上の如くηを決定してズームアップが行なわれるが、ズームアップ後の追尾ゲートのサイズが例えば画面サイズの９０％を越えた場合、それ以上のズームアップは限界となるので、この状態にて更にズームアップをしようとするときは、追尾中の点が追尾点として再入力されたものとして基準パターンを更新することにより行なわれる。この場合、基準パターンの更新のきっかけは、追尾ゲートが画面サイズの９０％を越えたか否か、もしくは、初期追尾ゲート２０４の設定によって決定される輝度分布からなる基準パターンのズーム倍率倍がズームアップ・後の追尾ゲートでの輝度分布との間で相関演算がとれるか否か、換言すればズームアップ後の輝度分布が基準パターンのパターン形状を保っているか否かのいずれかにより、ズームアップ限度を判断している。
【００１８】
以上の結果、追尾点を特定することにより追尾及びズームアップを自動的に行なえることとなり図６に示すように船名等の視認を熟練操作なく可能とし、また手ぶれがない安定した映像を確認することができる。
【００１９】
【発明の効果】
こうして、本発明では、追尾点の追従とズーム操作がなく監視者の負担が軽減でき運用人員を減らすことができ、また手動操作による手ぶれがなく映像を確認できて船名等確認可能距離が延長される。
【図面の簡単な説明】
【図１】本発明の実施の形態の一例のブロック図。
【図２】画像処理の説明図。
【図３】ずれ画素数計算方法の説明図。
【図４】２値画像の分布説明図。
【図５】追尾ループのブロック図。
【図６】ズームアップされた映像例を示す図。
【図７】従来例のブロック図。
【符号の説明】
１１ 撮像装置
１２ 電動ズームレンズ
１３ 電動旋回装置
１４ 追尾点入力装置
１５ 画像処理装置
１６ 制御器
１７ モニタ装置
１８ スイッチ
１６１ 角度量計算及び変換回路
１６２ 掛算器
１６３ ズーム倍率器
Claims (1)
- ズーム指令が入力されると、このズーム指令に応じてズーミング動作する電動ズームレンズ(12)を備えると共に、撮影した映像を出力する撮像装置(11)と、
角速度指令が入力されると、この角速度指令に応じて、上記撮像装置(11)を旋回させる電動旋回装置(13)と、
上記撮像装置(11)から出力されたズームアップされていない映像である初期映像(201)上にて操作員が追尾点(202)を入力する追尾点入力装置(14)と、
上記撮像装置(11)から出力された映像を画像処理して、入力された追尾点(202)を抽出しこの追尾点(202)の映像中心からのずれ量を検出する画像処理装置(15)と、
上記ずれ量から上記電動旋回装置(13)へ角速度指令を出力すると共に、上記画像処理装置 (15) により初期追尾ゲート (204) が設定された後に上記電動ズームレンズ(12)にズーム指令を出力する制御器(16)とを有し、
前記画像処理装置(15)は、
上記初期映像(201)において、追尾点(202)を中心としてこの追尾点(202)を囲む初期追尾ゲート(204)を設定し、この初期追尾ゲート(204)内の輝度に応じて縦方向輝度分布(205)及び横方向輝度分布(206)を算出し、
更に、上記初期追尾ゲート(204)を設定した後に上記撮像装置(11)から出力されたズームアップされた映像であるズーム映像(207)において、初期追尾ゲート(204)をズームアップした大きさの追尾ゲート(208)を設定し、この追尾ゲート(208)の輝度に応じて縦方向輝度分布(209)及び横方向輝度分布(210)を算出し、
初期追尾ゲート (204) 内の輝度から算出した縦方向輝度分布(205)及び横方向輝度分布(206)をズーム倍率倍したズーム倍率倍縦方向輝度分布及びズーム倍率倍横方向輝度分布と、追尾ゲート (208) 内の輝度から算出した縦方向輝度分布(209)及び横方向輝度分布(210)とを相関演算して追尾点(202)の映像中心からのずれ量を演算することを特徴とする自動ズーム・追尾装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01093397A JP3546117B2 (ja) | 1997-01-24 | 1997-01-24 | 自動ズーム・追尾装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP01093397A JP3546117B2 (ja) | 1997-01-24 | 1997-01-24 | 自動ズーム・追尾装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10210343A JPH10210343A (ja) | 1998-08-07 |
| JP3546117B2 true JP3546117B2 (ja) | 2004-07-21 |
Family
ID=11764039
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP01093397A Expired - Lifetime JP3546117B2 (ja) | 1997-01-24 | 1997-01-24 | 自動ズーム・追尾装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3546117B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5387048B2 (ja) * | 2009-02-26 | 2014-01-15 | 日本電気株式会社 | テレビジョンカメラシステム、テレビジョンカメラの制御方法、及びプログラム |
| CN113645449B (zh) * | 2021-08-10 | 2024-05-24 | 深圳市玄羽科技有限公司 | 工业互联网的数据采集方法、系统及计算机可读存储介质 |
-
1997
- 1997-01-24 JP JP01093397A patent/JP3546117B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10210343A (ja) | 1998-08-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7113616B2 (en) | Object tracking method and apparatus using template matching | |
| JP4699040B2 (ja) | 自動追尾制御装置及び自動追尾制御方法、並びにプログラム、自動追尾システム | |
| US8223214B2 (en) | Camera system with masking processor | |
| GB2411229A (en) | Controller for an object tracking apparatus responding to manipulation information input when a current visual field range is not a prohibited region | |
| US20050052533A1 (en) | Object tracking method and object tracking apparatus | |
| JP5183152B2 (ja) | 画像処理装置 | |
| JP2001216520A (ja) | 車両用周辺監視装置 | |
| JP2006287589A (ja) | 画像処理方法、画像処理装置 | |
| CN110944101A (zh) | 摄像装置及图像记录方法 | |
| JP2012175631A (ja) | 映像監視装置 | |
| JP2005135014A (ja) | 物体検出装置 | |
| JP4896115B2 (ja) | 空中移動体からの自動追尾撮影装置 | |
| JP4843787B2 (ja) | 被写体追尾方法及び装置 | |
| JP2001243476A (ja) | 移動体の監視方法および装置 | |
| JP4572190B2 (ja) | 物体検出装置 | |
| JP3546117B2 (ja) | 自動ズーム・追尾装置 | |
| JP2009017302A (ja) | 撮像装置、撮像装置の制御方法、及びプログラム | |
| JP5084542B2 (ja) | 自動追尾撮影装置、自動追尾撮影方法および自動追尾撮影プログラム | |
| JP2005057743A (ja) | 物体追尾方法及び物体追尾装置 | |
| JP5844172B2 (ja) | クレーンシステム | |
| JP4321225B2 (ja) | 撮影システム及び撮影方法 | |
| WO2018146997A1 (ja) | 立体物検出装置 | |
| JP3828096B2 (ja) | 物体追跡装置 | |
| CN113658259A (zh) | 基于视觉定位的冷轧厂轧辊的自动抓取方法 | |
| JP2667885B2 (ja) | 移動物体の自動追尾装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040114 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040217 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20040330 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20040412 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080416 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090416 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100416 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110416 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130416 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140416 Year of fee payment: 10 |
|
| EXPY | Cancellation because of completion of term |