JP4298909B2

JP4298909B2 - Remote image manipulation system

Info

Publication number: JP4298909B2
Application number: JP2000358638A
Authority: JP
Inventors: 晴洋古藤
Original assignee: Hitachi Kokusai Electric Inc
Current assignee: Hitachi Kokusai Electric Inc
Priority date: 2000-11-27
Filing date: 2000-11-27
Publication date: 2009-07-22
Anticipated expiration: 2020-11-27
Also published as: JP2002165212A

Description

【０００１】
【発明の属する技術分野】
本発明はビデオカメラの操作卓と動画像データ圧縮伸張器とを組み合わせた装置の改良に関するものである。
【０００２】
【従来の技術】
近年、画像処理技術、とりわけ画像情報、音声情報の圧縮技術は、めざましい発展を遂げており、容量の小さい伝送路であっても高品質な動画像や音声の伝送が可能となった。例えば、ネットワークにカメラとモニタを接続し、遠隔地の被写体の様子を監視する用途において、データ伝送容量の小さいネットワークであっても、画像圧縮伸張装置との組み合わせで、高品質な動画像を伝送することが出来る。
この画像圧縮伸張装置をネットワークに接続した利用形態の１例を、図２に示し説明する。
ネットワーク１は、遠隔地の被写体を撮影するカメラ３１を設置している場所と、カメラ３１で撮影した被写体を監視するためのモニタ９とカメラ３１を操作するための操作卓１５を設置している場所とをつなぐ、２つもしくは複数の遠隔地を結ぶデータ伝送路である。ネットワーク１は、データを伝送するのが目的であり、ネットワーク１の任意の箇所に接続された外部機器へ伝送データを出力し、また外部機器から伝送データを入力する。
被写体を撮影する遠隔地には、カメラ３１に接続された画像圧縮器３２とカメラ制御器３３があり、画像圧縮器３２とカメラ制御器３３はネットワーク１に接続されている。
カメラ３１は、遠隔地の様子を撮影し、外部のカメラ制御器３３から供給されるカメラ制御情報４０により、ズーム、パン、チルト等のカメラ３１が持つ機能が制御される。カメラ３１で撮影した画像データ３９は、画像圧縮器３２へ出力される。
画像圧縮器３２は、カメラ３１から入力した画像データ３９に対し、画像圧縮処理を行う。画像圧縮処理により画像データ３９は、ネットワーク１でデータ伝送可能なデータ量の圧縮データ４１に変換される。圧縮データ４１は、ネットワーク１へ出力される。
【０００３】
カメラ制御器３３は、ネットワーク１から入力したカメラ制御データ４２の内容を解析し、カメラ３１を制御するためのカメラ制御情報４０に変換して、カメラ３１へ出力する。
被写体の様子を監視する監視場所には、モニタ９に接続された画像伸張器４と、操作卓１５に接続されたカメラ制御データ発生器５があり、画像伸張器４とカメラ制御データ発生器５はネットワーク１に接続されている。
画像伸張器４は、ネットワーク１より入力した圧縮データ２に対し、画像伸張処理を行う。画像伸張処理により圧縮データ２は、モニタ９に動画像を映し出すことが出来る画像データ６に変換される。画像データ６は、モニタ９へ出力される。モニタ９は、画像伸張器４から出力された画像データ６を表示する。
操作卓１５は、カメラ３１にズーム、パン、チルト等の動作を指示するためのものである。押しボタンや操作棒(ジョイスティック)等を動かすことで、その動作を電気的な信号で表した操作情報１４として、カメラ制御データ発生器５へ出力する。
カメラ制御データ発生器５は、操作卓１５より入力したカメラ操作情報１４を解析し、伝送に適したデータに変換して、ネットワーク１へ出力する。
【０００４】
次に、この画像圧縮伸張装置をネットワークに接続した利用形態の動作について説明する。
カメラ３１で撮影した画像は、動画像の画像データ３９として画像圧縮器３２へ出力され、画像圧縮器３２で画像圧縮処理を行い圧縮データ４１に変換され、ネットワーク１へ出力される。
一般に、画像圧縮処理は、処理量が多く、画像データの入力から圧縮データの出力までに時間がかかる。特に、圧縮効率を重視する圧縮方法を採用していると、動画像の複数枚のフレーム情報の冗長度を利用して圧縮効率を上げるため、圧縮データ４１の出力までに教フレームの遅延時間が発生する。この数フレームの遅延時間は、人間の時間的感覚からみて遅延を認識できるほど大きなものである。
圧縮データ４１は、ネットワーク１で遠隔地へ伝送され、圧縮データ２として画像伸張器４へ出力される。
画像伸張器４は、圧縮データ２に画像伸張処理を行い、画像データ６に変換してモニタ９へ出力する。画像伸張処理では、画像圧縮処理ほどではないが、伸張処理により圧縮データ２の入力から画像データ６の出力までに遅延時間が発生する。
このように、カメラ３１で撮影された画像は、圧縮と伸張処理を経て、遠隔地でモニタ９に出力される。
前述の様に、圧縮処理と伸張処理では、データの入力から出力までに遅延時間が発生するため、カメラ３１で撮影された画像は、人間が認識できる程度の遅延時間でモニタ９に映し出される。また、この遅延時間は、一度、画像圧縮器３２と画像伸張器４を動作させれば一定の遅延時間に固定されたままであり、その遅延時間は画像圧縮器３２と画像仲張器４の仕様から事前に知ることが出来る。
【０００５】
一方、モニタ９の設置されている場所には、カメラ３１を制御するための操作卓１５がある。
操作卓１５には、押しボタンや操作棒等があり、これを操作することでカメラ３１が持つズーム、パン、チルトなどの機能の実行を指示する。
この押しボタンや操作棒などで指示された情報は、電気的な情報に変換され、カメラ操作情報１４として、カメラ制御データ発生器５へ出力される。
カメラ制御データ発生器５は、入力したカメラ操作情報１４の内容を解析して、押しボタンや操作棒などの複数の指示情報を、ネットワーク１へ出力することが出来る、ひと纏まりのデータ形式のカメラ制御データ３に変換して出力する。
このカメラ制御データ３は、カメラ３１を設置した遠隔地で、ネットワーク１を介してカメラ制御データ４２としてカメラ制御器３３に入力する。
カメラ制御器３３では、入力したカメラ制御データ４２の内容を解析し、カメラ３１が持つズーム、パン、チルト等の個別の機能を指示するカメラ制御情報４０に変換して、カメラ３１へ出力する。
カメラ３１では、このカメラ制御情報４０に従い、ズーム、パン、チルトなどの操作がなされる。
【０００６】
【発明が解決しようとする課題】
ここで、遠隔地からカメラ３１を操作する場合、カメラ３１で撮影された動画像を遠隔地のモニタ９で監視し、モニタ画面に映し出された監視すべき被写体が、希望する大きさ、画角で表示されるように、カメラ３１のズーム、バン、チルト等を操作卓１５から指示する。
ところが、画像データの伝送で画像の圧縮伸張処理が入るため、カメラ３１で撮影した画像がモニタ９に出力されるまでに遅延時間が発生する。
ここで、例えば、この遅延時間が０．５秒であるとし、画面の中央に静止していた被写体が右に動き始めたとする。この場合、モニタ９に映し出された被写体が右に動き出すのは０．５秒後であり、被写体が右に動き出した様子がモニタ９に映し出される頃には、実際の被写体は画面の右端に動いてしまっている。
従って、モニタ画面を見て、右に動き出した被写体をカメラ３１でとらえようと、操作卓１５でカメラ３１を右にパンするように指示すると、実際の被写体は絶えずモニタ９の画像よりも先に右側に動いているため、既に、被写体がモニタ画面外に移動してしまい、カメラ３１でとらえきれなくなる。
また、右に動いている被写体が急に静止したとする。この場合もモニタ９に映し出された被写体は、圧縮伸張処理の遅延時間に相当する時間だけ右に動いている。そこで、モニタ９に映し出された右に動く被写体を追うため操作卓１５を操作していると、実際の被写体は静止したにもかかわらず、カメラ３１を右にパンするように操作してしまい、カメラ３１の向きは右に行き過ぎてしまう。
これは、ズームやチルトなどカメラ３１の全ての操作で同様な問題が発生する。
この様に、圧縮伸張処理による遅延時間のため、モニタ９に映し出された画像を見ながら操作卓１５を操作していると、被写体を操作者の意図したカメラ位置に操作することは非常に困難な作業になる。
本発明はこれらの欠点を除去し、画像圧縮伸張処理で遅延時間が発生しても、現在カメラが被写体に対して、どの程度の位置と大きさで撮影しているかを操作者が容易に認識できるカメラ操作補助機能を搭載した遠隔画像操作システムを実現することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上記の目的を達成するため、遠方にあるビデオカメラを、当該ビデオカメラからの圧縮画像データをモニタ画面で見ながら操作卓により制御する遠隔画像操作システムにおいて、上記モニタ画面に、上記圧縮画像データを伸張した再生画像と重ね合わせて、現在上記ビデオカメラが撮影していると予想されるモニタ上の位置と範囲を表す指示枠を表示するようにしたものである。
また、上記指示枠を、画像の圧縮伸張処理による遅延時間と上記操作卓の操作量に基づき、その時の上記ビデオカメラの移動量、撮影している画像範囲を予想し、対応する指示枠の画像を生成するようにしたものである。
さらに、画像の圧縮伸張処理による画像データの伝送遅延時間を考慮し、上記ビデオカメラが移動することで上記モニタ上の被写体が見かけ上、反対方向に動くのに対し、その動きに同期するよう自動的に上記指示枠を動かすことで、上記ビデオカメラがとらえている被写体と上記指示枠との位置関係を維持するようにしたものである。
また、圧縮伸張処理による画像データの伝送遅延時間を考慮し、上記ビデオカメラがズームすることで上記モニタ上の被写体が見かけ上、大きさが変わるのに対し、その大きさの増減に同期するよう自動的に上記指示枠の大きさを増減することで、上記ビデオカメラがとらえている被写体と上記指示枠との領域の大きさを維持するようにしたものである。
即ち、画像データの圧縮伸張処理による遅延時間と操作卓の操作量に基づき、実際にカメラが被写体をとらえているであろうモニタ上の位置と撮影している範囲を計算から予想し、その予想位置や範囲を操作卓の操作者が認識できるようにモニタ上に表示し、この表示画像をカメラが実際に撮影した動画像と重ね合わせる事で、現在カメラが被写体に対して、どの程度の位置と大きさで撮影しているかを認識できるようになる。
【０００８】
【発明の実施の形態】
図１に、本発明に基づくカメラ操作補助機能を搭載した遠隔画像操作システムの構成を示し、以下、詳細に説明する。
ネットワーク１、画像伸張器４は、従来(図２)と同じもので、ネットワーク１から出力された圧縮データ２を画像伸張器４へ入力し、画像伸張器４で画像伸張処理を行い、画像データ６を出力する。この画像データ６は、画像合成器７へ入力される。
画像合成器７は、入力された画像データ６と指示枠データ１０の２つの画像を重ね合わせ、画像合成データ８を合成し、モニタ９に出力する。
モニタ９は、従来と同じもので、画像合成器７から出力された画像合成データ８を表示する。
操作卓１５は、従来と同じもので、押しボタンや操作棒(ジョイスティック)等で、カメラ３１にズーム、チルト、パン等の動作を指示するものである。指示された情報は、電気的な情報に変換され、カメラ操作情報１４としてカメラ制御データ発生器５と、操作情報解析器１３へ出力される。
カメラ制御データ発生器５は、従来と同じもので、入力されたカメラ操作情報１４の内容を解析して、押しボタンや操作棒等の複数の指示情報をネットワーク１へ出力することの出来る、ひとまとまりのデータ形式のカメラ制御データ３に変換して出力する。
操作情報解析器１３は、入力されたカメラ操作情報１４の内容を解析するものである。例えば、ズーム指示がなされた場合、その指示が被写体に対し大きく映すのか、反対に小さく映すのか、そのズーム指示によるカメラ３１の動きが、どの程度の速さで行われるのかを解析する。
また、バンやチルトの指示がなされた場合、その指示が被写体に対し、上下、左右のうち、どの方向に指示されたものか、そのパン、チルト指示によるカメラ３１の動きがどの程度の速さで行われるのかを解析する。
何れの解析も、どの程度の時間だけ、操作卓１５から動きの指示を与えると、実際にどの程度の大きさだけカメラ３１が動くのかが事前に分かっている必要があり、その動きの大きさはカメラ３１の仕様から知ることが出来る。
【０００９】
カメラ３１の動きの解析では、事前にカメラ３１の動きの大きさの情報が与えられる。
操作情報解析器１３は、この様なカメラ３１の動きの方向と早さの情報を移動情報１２として、指示粋発生器１１へ出力する。また、操作卓１５よリカメラ３１に動きの指示を与えてから、カメラ３１の画像がモニタ９に映し出されるまでの遅延時間と同じ時間だけ経過した後に、移動情報１２として出力したカメラ３１の動きと反対方向の動きの情報を生成し、この時操作卓１５より入力されたカメラ３１の移動情報１２と足し合わせる。この遅延時間も事前に与えられる情報である。
指示粋発生器１１は、入力された移動情報１２を用いて、カメラ３１の動きの方向と大きさを示す情報から、モニタ９の画面上に、現在カメラ３１が撮影しているであろう領域を枠線で示すような画像データを作成する。この画像データは、指示枠データ１０として、画像合成器７へ出力される。
【００１０】
次に、図１のカメラ操作補助機能を搭載した画像伸張器を例にとり、この操作システム全体の動作を説明する。
ネットワーク１より入力した圧縮データ２は、画像伸張器４で伸張処理が行われ、画像データ６として出力される。ここまでの動作は、従来と同様である。
画像データ６は、画像合成器７に入力される。画像合成器７には、もう一方の入力から指示枠データ１０が入力される。画像合成器７は、この２つの入力画像を重ね合わせ、１つの画像データである画像合成データ８として、モニタ９ヘ出力する。指示枠データ１０に関しては後述する。
モニタ９に映し出される被写体の位置等を変えるには、モニタ９に映し出された動画像を見ながら操作卓１５を操作し、カメラ３１のズーム、パン、チルト等の機能を指示して被写体を変更する。
操作卓１５で指示したカメラ操作の情報は、カメラ操作情報１４としてカメラ制御データ発生器５に入力される。カメラ制御データ発生器５は、カメラ操作情報１４の内容を解析して、押しボタンや操作棒などの複数の指示情報をネットワーク１へ出力することの出来る、ひとまとまりのデータ形式のカメラ制御データ３に変換して出力する。この動作は従来と同様である。
カメラ操作情報１４は、操作情報解析器１３へも供給される。操作情報解析器１３は、カメラ３１の移動方向やその大きさなどの情報を解析し、モニタ９に映し出される画像に対して、現在カメラ３１が実際に撮影している画像との位置の差や、ズーム等による被写体の撮影範囲の差を計算する。そして、カメラ制御データ発生器５は、この計算された位置や領域の差の情報を移動情報１２として指示粋発生器１１へ出力する。
【００１１】
指示粋発生器１１では、モニタ９に映し出される画像と、その時実際にカメラ３１が撮影している画像との差を、モニタ９を見ながら操作卓１５を操作している人が分かるようにするため、モニタ９に映った画像位置を基準として、カメラ３１が撮影している領域を枠線で示した画像を生成する。この枠線は、画面の中央に静止しているときは表示しない。
また指示粋は、モニタ９に映し出される画像の情報を隠蔽しない程度の実線や点線、もしくは領域を矩形に塗りつぶすように表示する。
この画像データを指示枠データ１０として画像合成器７へ出力し、画像合成器７で画像データ６と指示枠データ１０とを重ね合わせた画像合成データ８に合成する。
そして、モニタ９に、この画像合成データ８を映し出すことで、操作卓１５を使ってカメラ３１を操作している人が、自分の指示により、カメラ３１が被写体の、どの位置をどの程度の大きさで撮影しているのかが指示枠により分かるようになる。
これにより、圧縮伸張処理による遅延時間があっても、カメラ３１の操作者は、被写体と実際にカメラ３１が撮影している画面との位置関係を把握することが出来る。
【００１２】
次に、上記で説明した操作情報解析器１３について、図３のブロック構成を例にとり詳細に説明する。
操作情報解析器１３は、動き方向解析器４５、遅延器４６、方向反転器４７、ズーム量解析器４８、遅延器４９、ズーム量反転器５０、加算器５１，５２、移動情報発生器５３からなる。
操作卓１５より入力したカメラ操作情報１４は、動き方向解析器４５、ズーム量解析器４８に入力する。
動き方向解析器４５は、カメラ操作情報１４の内容から、カメラ３１が上下、左右どちらの方向への移動を指示されたか解析する。
この解析結果は、移動する方向と移動がどれだけの距離であるかを数値化し、加算器５１と遅延器４６へ出力される。
遅延器４６は、入力されたデータを、画像の圧縮伸張処理で発生する遅延時間と同じ時間だけ遅延させ、方向反転器４７へ出力する。
方向反転器４７は、入力したカメラ３１の移動方向を示すデータに対し、反対の移動方向を示すデータに変換して、加算器５１へ出力する。加算器５１は、動き方向解析器４５から出力されたカメラ３１の移動方向のデータと、方向反転器４７から出力された一定の時間遅延したカメラ３１の移動方向と反対方向のデータとを加え、これを最終的なカメラ３１の移動方向のデータとして、移動情報発生器５３へ出力する。
【００１３】
ズーム量解析器４８は、カメラ操作情報１４の内容から、カメラ３１がズーム操作で被写体をどの程度の大きさに撮影するよう指示されたか解析する。
ズームインの場合、撮影範囲がどの程度の領域に狭まったかを数値化し、このデータを加算器５２と遅延器４９へ出力する。遅延器４９は、入力したデータを、画像の圧縮伸張処理で発生する遅延時間と同じ時間だけ遅延させ、ズーム量反転器５０へ出力する。
ズーム量反転器５０は、カメラ３１がズームインして撮影する領域が狭まった度合いを示すデータに対し、反対のズームアウトする方向である撮影する領域が広がる度合いを示すデータに変換し、加算器５２へ出力する。
加算器５２は、ズーム量解析器４８から出力された撮影領域が狭まる度合いを示すデータと、ズーム量反転器５０から出力された撮影領域が広がる度合いを示すデータとを加え、これを最終的なカメラ３１の撮影領域の大きさを示すデータとして、移動情報発生器５３へ出力する。ズームアウトの場合は、この反対となり、ズーム解析器４８から撮影領域が広がる度合いを示すデータが出力され、ズーム量反転器５０から撮影領域が狭まる度合いを示すデータが出力される。
移動情報発生器５３は、加算器５１と加算器５２の出カデータからカメラ３１がどの方向に動き、どの程度の大きさの領域を撮影しているかを、指示枠発生器１１が認識できるデータである移動情報１２として出力する。
【００１４】
次に、上記の構成により、実際にモニタ９に映し出される被写体と指示枠との関係を図４を用いて説明する。
実線で表した四角は、モニタ９に映し出される画面の範囲である。例えば、モニタ９には被写体である三角形が映し出されている。ここで、カメラ３１の制御は、この三角形を、絶えず画面の中央にとらえるように操作しているものとする。点線で表した四角は、指示枠である。
画像５４、画像５６、画像５８、画像６０は、モニタ画面、被写体、指示枠の位置関係を示した図である。
画像５５、画像５７、画像５９、画像６０は、上記のそれぞれの画像を実際にモニタ９に映し出したときの画面の様子を表すものである。
画像５４は、カメラ３１が静止している状態である。被写体である三角形が画面の中央に映し出されている。この時、指示枠は画面に表示されていない。よって、そのモニタ出力である画像５５でも指示枠は表示されていない。
画像５６は、被写体の三角形が左に移動したため、カメラ３１を左にバンさせた様子である。左に移動した三角形に合わせてカメラ３１に左へのバンを指示したため、指示粋が左に映し出されている。モニタ出力である画像５７では、画面より左に、はみ出した部分が切れて出力されている。
画像５８は、被写体の三角形が上に移動したため、カメラ３１を上方にチルトさせた様子である。上に移動した三角形に合わせてカメラ３１に上へのチルトを指示したため、指示粋が上に映し出されている。モニタ出力である画像５９では、画面より上にはみ出した部分が切れて出力されている。
画像６０は、被写体が遠くへ移動し、見掛け上、小さくなったために、カメラ３１をズームインさせた様子である。小さくなつた被写体の三角形に合わせてカメラ３１にズームインを指示したために、指示枠が小さく映し出されている。モニタ出力である画像６１でも、小さい三角形と指示粋が出力されている。
以上のように、被写体に対して指示枠が表示されるので、モニタ９を見ながら操作卓１５を操作している操作者は、自分が撮影したい被写体に対し、指示枠を合わせるようにカメラ３１を操作すればよい。
【００１５】
次に、画面中央で静止していた被写体が、左に移動したためカメラ３１を左にバンさせ、被写体を画面の中央にとらえるまでを例にとり、画像の時間的な変化を図５に示す。
画像６２では、被写体の三角形は中央で静止している。この場合、指示枠は表示されていない。
画像６３では、被写体が既に移動を始めている。画像６４では、被写体は、さらに左に移動し静止している。
ここで、モニタ９を監視していた操作者は被写体の移動に気付き、操作卓１５を操作しカメラ３１に左へのパンを指示する。
画像６５では、指示枠が画面中央に表示され、左に移動を始める。しかし、画像自体は移動していない。この時点で、カメラ３１は、左へのパンの指示により、左への移動を始めている。
画像６６では、カメラ３１に、さらに左へのパンを指示し、指示枠を被写体に合わせる。画像自体は移動していない。カメラ３１は、左への移動を終え、被写体を画面の中央にとらえている。
画像６７は、カメラ３１で撮影した画像が圧縮伸張処理により遅延し、カメラ３１が左に動き出したため、見かけ上モニタ画面の被写体が右に動き出した様子である。
つまり、操作情報解析器１３に内蔵した遅延器４６と方向反転器４７の働きにより、モニタ画面に画像６５が映し出された時点で、カメラ３１に左へのパンを指示した情報が、反対方向への移動情報として指示枠を移動するように作用し、被写体が見かけ上、右へ移動するのに合わせて指示枠も右へ移動を始める。
画像６８は、画像６６の時点でカメラ３１が被写体を画面の中央にとらえた時の画像である。即ち、被写体の右ヘの移動が止まり、画面の中央に映し出されている。同時に指示枠の移動が画面中央に達した時点で、指示枠の表示が消える。
この様に、移動した指示粋は、見かけ上、画面内の被写体がカメラ３１の動きとは反対方向に移動する速度に合わせて移動し、画面の中央に達した時点で表示が消える。
以上の様に、カメラで撮影した画像データに対し圧縮伸張処理を行い、モニタに動画像を映し出すシステムにおいて、モニタを監視しながら操作卓よリカメラを操作することは、圧縮伸張処理に伴う遅延時間のために非常に困難であるが、操作卓からの指示に対し即座に応答する指示枠をモニタに表示することにより、被写体とカメラの位置を容易に把握することが出来るようになる。
【００１６】
【発明の効果】
以上説明した本発明の構成を用いれば、画像圧縮伸張処理で遅延時間が発生しても、現在カメラが被写体に対して、どの程度の位置と大きさで撮影しているかを操作者が容易に認識できるカメラ操作補助機能を搭載した遠隔画像操作システムを実現出来る。
【図面の簡単な説明】
【図１】本発明の遠隔画像操作システムの一実施例の構成を示すブロック図
【図２】従来の遠隔画像操作システムの一例の構成を示すブロック図
【図３】本発明の操作情報解析器を実現する一実施例の構成を示すブロック図
【図４】本発明のモニタに映し出される被写体と指示枠との関係を示す図
【図５】本発明の指示枠を表示したモニタ画面の様子を時間的変化で示した図
【符号の説明】
１：ネットワーク、２：圧縮データ、３：カメラ制御データ、４：画像伸張器、５：カメラ制御データ発生器、６：画像データ、７：画像合成器、８画像合成データ、９：モニタ、１０：指示枠データ、１１：指示粋発生器、１２：移動情報、１３：操作情報解析器、１４：カメラ操作情報、１５：操作卓、３１：カメラ、３２：画像圧縮器、３３：カメラ制御器、３９：画像テータ、４０：カメラ制御情報、４１：補データ、４２：カメラ制御データ、４５：動き方向解析器、４６，４９：遅延器、４７：方向反転器、４８：ズーム量解析器、５０：ズーム量反転器、５１，５２：加算器、５３：移動情報発生器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an improvement of an apparatus combining a console of a video camera and a moving image data compression / decompression unit.
[0002]
[Prior art]
In recent years, image processing technology, particularly compression technology for image information and audio information, has made remarkable progress, and it has become possible to transmit high-quality moving images and audio even with a transmission path having a small capacity. For example, when a camera and a monitor are connected to a network to monitor the state of a remote subject, high-quality moving images can be transmitted in combination with an image compression / decompression device even in a network with a small data transmission capacity. I can do it.
An example of a usage form in which the image compression / decompression apparatus is connected to a network will be described with reference to FIG.
The network 1 is provided with a place where a camera 31 for photographing a subject in a remote place is installed, a monitor 9 for monitoring a subject photographed with the camera 31, and an operation console 15 for operating the camera 31. It is a data transmission path that connects two or more remote locations that connect places. The network 1 is intended to transmit data, and outputs transmission data to an external device connected to an arbitrary part of the network 1 and inputs transmission data from the external device.
An image compressor 32 and a camera controller 33 connected to the camera 31 are located at a remote place where the subject is photographed. The image compressor 32 and the camera controller 33 are connected to the network 1.
The camera 31 takes a picture of a remote place, and functions of the camera 31 such as zoom, pan, and tilt are controlled by camera control information 40 supplied from an external camera controller 33. Image data 39 captured by the camera 31 is output to the image compressor 32.
The image compressor 32 performs image compression processing on the image data 39 input from the camera 31. By the image compression process, the image data 39 is converted into compressed data 41 having a data amount that can be transmitted through the network 1. The compressed data 41 is output to the network 1.
[0003]
The camera controller 33 analyzes the contents of the camera control data 42 input from the network 1, converts it into camera control information 40 for controlling the camera 31, and outputs it to the camera 31.
At the monitoring location for monitoring the state of the subject, there are an image expander 4 connected to the monitor 9 and a camera control data generator 5 connected to the console 15. The image expander 4 and the camera control data generator 5 Is connected to the network 1.
The image decompressor 4 performs image decompression processing on the compressed data 2 input from the network 1. The compressed data 2 is converted into image data 6 that can display a moving image on the monitor 9 by the image expansion processing. The image data 6 is output to the monitor 9. The monitor 9 displays the image data 6 output from the image expander 4.
The console 15 is for instructing the camera 31 to perform operations such as zoom, pan, and tilt. By moving a push button, an operation stick (joystick) or the like, the operation is output to the camera control data generator 5 as operation information 14 expressed as an electrical signal.
The camera control data generator 5 analyzes the camera operation information 14 input from the console 15, converts it into data suitable for transmission, and outputs the data to the network 1.
[0004]
Next, the operation of a usage mode in which this image compression / decompression apparatus is connected to a network will be described.
An image captured by the camera 31 is output to the image compressor 32 as moving image data 39, subjected to image compression processing by the image compressor 32, converted into compressed data 41, and output to the network 1.
In general, image compression processing has a large amount of processing, and it takes time from input of image data to output of compressed data. In particular, when a compression method that emphasizes compression efficiency is adopted, the delay time of teaching frames until the output of the compressed data 41 is increased because the compression efficiency is increased by using the redundancy of the frame information of a plurality of moving images. appear. The delay time of several frames is so large that the delay can be recognized from the viewpoint of human time.
The compressed data 41 is transmitted to a remote place via the network 1 and output to the image decompressor 4 as compressed data 2.
The image decompressor 4 performs image decompression processing on the compressed data 2, converts it into image data 6, and outputs it to the monitor 9. In the image expansion process, although not as much as the image compression process, a delay time occurs from the input of the compressed data 2 to the output of the image data 6 due to the expansion process.
As described above, the image captured by the camera 31 is output to the monitor 9 at a remote place through compression and expansion processing.
As described above, in the compression process and the expansion process, a delay time occurs from the input to the output of the data. Therefore, the image captured by the camera 31 is displayed on the monitor 9 with a delay time that can be recognized by humans. Further, once the image compressor 32 and the image decompressor 4 are operated, this delay time remains fixed at a certain delay time. The delay time is the specification of the image compressor 32 and the image neutralizer 4. You can know in advance.
[0005]
On the other hand, an operation console 15 for controlling the camera 31 is provided at a place where the monitor 9 is installed.
The console 15 includes push buttons, operation bars, and the like. By operating these buttons, the execution of functions such as zoom, pan, and tilt of the camera 31 is instructed.
The information instructed by the push button or the operation bar is converted into electrical information and output to the camera control data generator 5 as camera operation information 14.
The camera control data generator 5 analyzes the contents of the input camera operation information 14 and can output a plurality of instruction information such as push buttons and operation bars to the network 1. Convert to control data 3 and output.
The camera control data 3 is input to the camera controller 33 as camera control data 42 via the network 1 at a remote place where the camera 31 is installed.
The camera controller 33 analyzes the content of the input camera control data 42, converts it into camera control information 40 that indicates individual functions such as zoom, pan, and tilt of the camera 31, and outputs the camera control information 40 to the camera 31.
In the camera 31, operations such as zoom, pan, and tilt are performed according to the camera control information 40.
[0006]
[Problems to be solved by the invention]
Here, when the camera 31 is operated from a remote place, a moving image photographed by the camera 31 is monitored by the remote monitor 9, and the object to be monitored displayed on the monitor screen has a desired size and angle of view. From the console 15, the camera 31 is instructed to zoom, bang, tilt, and the like.
However, since image compression / decompression processing is performed in the transmission of image data, a delay time occurs before the image captured by the camera 31 is output to the monitor 9.
Here, for example, it is assumed that the delay time is 0.5 seconds, and the subject that has been stationary in the center of the screen starts to move to the right. In this case, the subject projected on the monitor 9 starts to move to the right in 0.5 seconds, and when the subject is projected to the right, the actual subject moves to the right end of the screen. It has been.
Accordingly, when viewing the monitor screen and instructing the camera 31 to capture the subject that has started to move to the right or instructing the camera 31 to pan the camera 31 to the right, the actual subject is always ahead of the image on the monitor 9. Since it has moved to the right, the subject has already moved out of the monitor screen and cannot be captured by the camera 31.
Further, it is assumed that the subject moving to the right suddenly stops. Also in this case, the subject displayed on the monitor 9 has moved to the right by a time corresponding to the delay time of the compression / decompression process. Therefore, when the console 15 is operated to follow the right moving subject displayed on the monitor 9, the camera 31 is operated to pan to the right even though the actual subject is stationary. The direction of the camera 31 goes too far to the right.
This causes the same problem in all operations of the camera 31 such as zoom and tilt.
As described above, due to the delay time due to the compression / decompression process, it is very difficult to operate the subject to the camera position intended by the operator when the console 15 is operated while viewing the image displayed on the monitor 9. Will be a difficult task.
The present invention eliminates these drawbacks, and even if a delay time occurs in the image compression / decompression process, the operator can easily recognize how much the camera is currently shooting with respect to the subject. An object is to realize a remote image operation system equipped with a camera operation auxiliary function.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a remote image operation system in which a remote video camera is controlled by an operator console while viewing compressed image data from the video camera on the monitor screen. An instruction frame representing the position and range on the monitor which is expected to be currently captured by the video camera is displayed by superimposing the decompressed reproduced image data.
Further, the instruction frame is predicted based on the delay time due to image compression / decompression processing and the operation amount of the console, and the movement amount of the video camera and the image range being captured at that time are predicted, and the image of the corresponding instruction frame Is generated.
Furthermore, taking into account the transmission delay time of the image data due to the compression / decompression processing of the image, the subject on the monitor apparently moves in the opposite direction as the video camera moves, but automatically synchronizes with the movement. In other words, the positional relationship between the subject captured by the video camera and the instruction frame is maintained by moving the instruction frame.
Also, considering the transmission delay time of image data due to compression / decompression processing, the video camera zooms so that the subject on the monitor apparently changes in size, but synchronizes with the increase or decrease in the size. By automatically increasing or decreasing the size of the instruction frame, the size of the area between the subject captured by the video camera and the instruction frame is maintained.
That is, based on the delay time due to the compression / decompression processing of the image data and the amount of operation on the console, the position on the monitor where the camera will actually catch the subject and the shooting range are predicted from the calculation. The position and range are displayed on the monitor so that the operator of the console can recognize them, and this display image is superimposed on the moving image actually captured by the camera, so that the current position of the camera relative to the subject is displayed. You will be able to recognize if you are shooting in size.
[0008]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows a configuration of a remote image operation system equipped with a camera operation assistance function based on the present invention, which will be described in detail below.
The network 1 and the image decompressor 4 are the same as the conventional one (FIG. 2). The compressed data 2 output from the network 1 is input to the image decompressor 4 and the image decompressor 4 performs image decompression processing. 6 is output. This image data 6 is input to the image synthesizer 7.
The image synthesizer 7 superimposes the two images of the input image data 6 and the instruction frame data 10, synthesizes the image synthesis data 8, and outputs it to the monitor 9.
The monitor 9 is the same as the conventional one and displays the image synthesis data 8 output from the image synthesizer 7.
The console 15 is the same as a conventional console, and is used to instruct the camera 31 to perform zooming, tilting, panning, and the like with a push button, an operation stick (joystick), or the like. The instructed information is converted into electrical information and output to the camera control data generator 5 and the operation information analyzer 13 as camera operation information 14.
The camera control data generator 5 is the same as the conventional one, and can analyze the contents of the input camera operation information 14 and output a plurality of instruction information such as push buttons and operation bars to the network 1. It is converted into camera control data 3 in a unitary data format and output.
The operation information analyzer 13 analyzes the contents of the input camera operation information 14. For example, when a zoom instruction is given, whether the instruction is projected on the subject larger or oppositely smaller, or how fast the camera 31 moves according to the zoom instruction is analyzed.
In addition, when a van or tilt instruction is given, the direction in which the instruction is directed up, down, left or right with respect to the subject, and how fast the camera 31 moves according to the pan / tilt instruction. Analyzes what is done in
In any analysis, it is necessary to know in advance how much the camera 31 will actually move when the operation instruction is given from the console 15 for any amount of time. Can be known from the specifications of the camera 31.
[0009]
In the analysis of the movement of the camera 31, information on the magnitude of the movement of the camera 31 is given in advance.
The operation information analyzer 13 outputs information on the direction and speed of the movement of the camera 31 as movement information 12 to the instruction generator 11. The movement of the camera 31 output as the movement information 12 after the time equivalent to the delay time from when the operation instruction is given to the camera 31 by the console 15 until the image of the camera 31 is displayed on the monitor 9 is displayed. Information on the movement in the opposite direction is generated and added to the movement information 12 of the camera 31 input from the console 15 at this time. This delay time is also information given in advance.
The instruction source generator 11 uses the input movement information 12 to determine the area that the camera 31 is currently shooting on the screen of the monitor 9 from information indicating the direction and magnitude of the movement of the camera 31. Image data as shown by a frame line is created. This image data is output to the image synthesizer 7 as instruction frame data 10.
[0010]
Next, the operation of the entire operation system will be described by taking an image expander equipped with the camera operation assist function of FIG. 1 as an example.
The compressed data 2 input from the network 1 is decompressed by the image decompressor 4 and output as image data 6. The operation so far is the same as the conventional one.
The image data 6 is input to the image synthesizer 7. The instruction frame data 10 is input to the image synthesizer 7 from the other input. The image synthesizer 7 superimposes these two input images and outputs them to the monitor 9 as image synthesis data 8 which is one image data. The instruction frame data 10 will be described later.
To change the position of the subject displayed on the monitor 9, the operator 15 is operated while viewing the moving image displayed on the monitor 9, and the subject is changed by instructing functions such as zoom, pan, and tilt of the camera 31. To do.
Information on camera operation instructed on the console 15 is input to the camera control data generator 5 as camera operation information 14. The camera control data generator 5 analyzes the contents of the camera operation information 14 and can output a plurality of instruction information such as push buttons and operation bars to the network 1. Convert to and output. This operation is the same as in the prior art.
The camera operation information 14 is also supplied to the operation information analyzer 13. The operation information analyzer 13 analyzes information such as the moving direction and the size of the camera 31, and compares the position of the image displayed on the monitor 9 with the image actually captured by the camera 31. The difference in the shooting range of the subject due to zooming or the like is calculated. Then, the camera control data generator 5 outputs the calculated position and area difference information as movement information 12 to the instruction generator 11.
[0011]
The instruction generator 11 enables a person operating the console 15 to see the difference between the image displayed on the monitor 9 and the image actually captured by the camera 31 at that time while looking at the monitor 9. Therefore, an image in which the area captured by the camera 31 is indicated by a frame line is generated with the image position shown on the monitor 9 as a reference. This border is not displayed when it is still in the center of the screen.
In addition, the instruction is displayed so that a solid line, a dotted line, or an area that does not obscure the information of the image displayed on the monitor 9 is filled in a rectangle.
This image data is output to the image synthesizer 7 as the instruction frame data 10, and the image synthesizer 7 synthesizes the image data 6 and the instruction frame data 10 into the image composition data 8.
Then, by projecting the image composite data 8 on the monitor 9, the person operating the camera 31 using the console 15 can determine the position of the subject and the size of the subject according to his / her instruction. Now you can tell from the instruction frame whether you are shooting.
Thereby, even if there is a delay time due to the compression / decompression processing, the operator of the camera 31 can grasp the positional relationship between the subject and the screen actually captured by the camera 31.
[0012]
Next, the operation information analyzer 13 described above will be described in detail by taking the block configuration of FIG. 3 as an example.
The operation information analyzer 13 includes a motion direction analyzer 45, a delay unit 46, a direction inverter 47, a zoom amount analyzer 48, a delay unit 49, a zoom amount inverter 50, adders 51 and 52, and a movement information generator 53. Become.
The camera operation information 14 input from the console 15 is input to the motion direction analyzer 45 and the zoom amount analyzer 48.
The motion direction analyzer 45 analyzes from the contents of the camera operation information 14 whether the camera 31 has been instructed to move in the vertical or horizontal direction.
This analysis result is digitized as to the direction of movement and how far the movement is, and is output to the adder 51 and the delay unit 46.
The delay unit 46 delays the input data by the same time as the delay time generated in the image compression / decompression process, and outputs the delayed data to the direction inverter 47.
The direction inverter 47 converts the input data indicating the movement direction of the camera 31 into data indicating the opposite movement direction, and outputs the data to the adder 51. The adder 51 adds the data of the moving direction of the camera 31 output from the motion direction analyzer 45 and the data of the opposite direction to the moving direction of the camera 31 output from the direction inverter 47 by a certain time delay, This is output to the movement information generator 53 as final movement direction data of the camera 31.
[0013]
The zoom amount analyzer 48 analyzes from the contents of the camera operation information 14 to what size the camera 31 is instructed to shoot the subject by the zoom operation.
In the case of zoom-in, the extent to which the photographing range is narrowed is digitized, and this data is output to the adder 52 and the delay unit 49. The delay unit 49 delays the input data by the same time as the delay time generated in the image compression / decompression process, and outputs the delayed data to the zoom amount inverter 50.
The zoom amount inverter 50 converts the data indicating the extent to which the camera 31 zoomed in and the area to be captured narrowed into data indicating the extent to which the area to be captured in the opposite zoom-out direction is widened, and the adder 52 Output to.
The adder 52 adds data indicating the degree of narrowing of the photographing area output from the zoom amount analyzer 48 and data indicating the degree of widening of the photographing area output from the zoom amount inverter 50, and adds this to the final result. The data indicating the size of the shooting area of the camera 31 is output to the movement information generator 53. In the case of zoom-out, the opposite is true, and data indicating the extent to which the imaging area is expanded is output from the zoom analyzer 48, and data indicating the extent to which the imaging area is narrowed is output from the zoom amount inverter 50.
The movement information generator 53 is data that allows the instruction frame generator 11 to recognize in which direction the camera 31 moves and the size of the area taken from the output data of the adder 51 and the adder 52. Output as certain movement information 12.
[0014]
Next, the relationship between the subject actually displayed on the monitor 9 and the instruction frame with the above configuration will be described with reference to FIG.
A square represented by a solid line is a range of a screen displayed on the monitor 9. For example, a triangle that is a subject is projected on the monitor 9. Here, it is assumed that the control of the camera 31 is operated so that the triangle is continuously captured at the center of the screen. A square represented by a dotted line is an instruction frame.
Images 54, 56, 58, and 60 are diagrams showing the positional relationship between the monitor screen, the subject, and the instruction frame.
An image 55, an image 57, an image 59, and an image 60 represent the state of the screen when each of the above images is actually displayed on the monitor 9.
The image 54 is a state where the camera 31 is stationary. The triangle that is the subject is projected in the center of the screen. At this time, the instruction frame is not displayed on the screen. Therefore, the instruction frame is not displayed in the image 55 which is the monitor output.
The image 56 shows the camera 31 banged to the left because the subject's triangle has moved to the left. Since the camera 31 is instructed to move to the left in accordance with the triangle moved to the left, the instruction is displayed on the left. In the image 57 which is the monitor output, the protruding portion is output to the left of the screen.
The image 58 shows the camera 31 tilted upward because the subject's triangle has moved upward. Since the camera 31 is instructed to tilt upward in accordance with the triangle that has moved upward, the instruction is displayed on the top. In the image 59 which is the monitor output, the portion protruding above the screen is cut off and output.
The image 60 is a state in which the camera 31 is zoomed in because the subject has moved far away and apparently has become smaller. Since the camera 31 is instructed to zoom in in accordance with the smaller triangle of the subject, the instruction frame is displayed in a small size. Also in the image 61 which is the monitor output, a small triangle and an instruction are output.
As described above, since the instruction frame is displayed for the subject, the operator operating the console 15 while looking at the monitor 9 can adjust the instruction frame to the subject he wants to shoot. Can be operated.
[0015]
Next, FIG. 5 shows the temporal change of the image, taking as an example the case where the subject that has been stationary at the center of the screen has moved to the left and the camera 31 is banged to the left and the subject is captured at the center of the screen.
In the image 62, the subject's triangle is stationary at the center. In this case, the instruction frame is not displayed.
In the image 63, the subject has already started moving. In the image 64, the subject further moves to the left and is stationary.
Here, the operator who has been monitoring the monitor 9 notices the movement of the subject and operates the console 15 to instruct the camera 31 to pan left.
In the image 65, an instruction frame is displayed at the center of the screen and starts moving to the left. However, the image itself has not moved. At this point, the camera 31 has started to move to the left in response to an instruction to pan to the left.
In the image 66, the camera 31 is instructed to pan leftward, and the instruction frame is aligned with the subject. The image itself has not moved. The camera 31 finishes moving to the left and catches the subject at the center of the screen.
The image 67 shows that the subject on the monitor screen appears to move to the right because the image taken by the camera 31 is delayed by the compression / decompression process and the camera 31 starts to move to the left.
That is, when the image 65 is displayed on the monitor screen by the action of the delay unit 46 and the direction inverter 47 built in the operation information analyzer 13, the information instructing the camera 31 to pan leftward is in the opposite direction. As the movement information, the instruction frame is moved so that the instruction frame starts to move to the right as the subject apparently moves to the right.
The image 68 is an image when the camera 31 catches the subject at the center of the screen at the time of the image 66. That is, the movement of the subject to the right stops and is displayed in the center of the screen. At the same time, when the movement of the instruction frame reaches the center of the screen, the display of the instruction frame disappears.
In this way, the moved instruction is apparently moved in accordance with the speed at which the subject in the screen moves in the direction opposite to the movement of the camera 31, and disappears when it reaches the center of the screen.
As described above, in a system that performs compression / decompression processing on image data captured by a camera and displays a moving image on a monitor, operating the camera from the console while monitoring the monitor is a delay time associated with the compression / decompression processing. However, it is possible to easily grasp the position of the subject and the camera by displaying on the monitor an instruction frame that immediately responds to an instruction from the console.
[0016]
【The invention's effect】
If the configuration of the present invention described above is used, even if a delay time occurs in the image compression / decompression process, the operator can easily determine the position and size of the camera currently shooting with respect to the subject. A remote image operation system equipped with a camera operation auxiliary function that can be recognized can be realized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a remote image manipulation system according to the present invention. FIG. 2 is a block diagram showing a configuration of an example of a conventional remote image manipulation system. FIG. 4 is a block diagram showing the configuration of an embodiment for realizing the above. FIG. 4 is a diagram showing the relationship between the subject displayed on the monitor of the present invention and the instruction frame. FIG. 5 is a view of the monitor screen displaying the instruction frame of the present invention. Figure showing changes over time 【Explanation of symbols】
1: Network, 2: Compressed data, 3: Camera control data, 4: Image decompressor, 5: Camera control data generator, 6: Image data, 7: Image synthesizer, 8 Image synthesized data, 9: Monitor, 10 : Instruction frame data, 11: instruction essence generator, 12: movement information, 13: operation information analyzer, 14: camera operation information, 15: console, 31: camera, 32: image compressor, 33: camera controller 39: Image data, 40: Camera control information, 41: Complementary data, 42: Camera control data, 45: Motion direction analyzer, 46, 49: Delay unit, 47: Direction inversion unit, 48: Zoom amount analyzer, 50: Zoom amount inverter 51, 52: Adder 53: Movement information generator

Claims

In a remote image operation system in which a video captured and compressed by a video camera is input, and a playback image of the compressed image is viewed on a monitor screen, a shooting area of the video camera is controlled by an operation console.
Interpret the zoom and tilt and pan operation instructions input from the console, and determine the difference in position between the reproduced image and the image currently captured by the video camera and the size of the imaging range. An operation information analyzer to calculate,
Using the movement information input from the operation information analyzer, the position and range on the monitor that is expected to be captured by the video camera at the time of displaying the compressed image data superimposed on the reproduced image. An instruction frame generator for generating an instruction frame representing
The operation information analyzer digitizes the movement of the imaging area of the video camera in response to a pan or tilt instruction, delays the digitized movement data and the digitized movement data for a certain time, and reverses the direction. Output the result of adding the zoomed data, and the numerical value of the imaging area of the video camera according to the zoom instruction is converted into a zoom amount, the zoom amount data and the zoom amount are delayed for a certain time and the direction A remote image manipulation system characterized by adding data obtained by inverting the data and outputting the result .

The remote image manipulation system according to claim 1 , wherein the predetermined time for the delay is based on a time for the compression process and a process for decompressing the compressed image .

Said video camera is intended for taking a moving subject, the video camera pan or tilt is operated on the subject on the monitor apparently in Rukoto, whereas movement in the opposite direction, synchronized to the movement The remote image operation system, wherein the operator grasps and maintains the positional relationship between the object captured by the video camera and the instruction frame by automatically moving the instruction frame.

In a remote image operation method in which an image captured and compressed by a video camera is input, and a reproduction area of the compressed image is viewed on a monitor screen, a shooting area of the video camera is controlled by an operation console.
Interpret the zoom and tilt and pan operation instructions input from the console, and determine the difference in position or the size of the imaging range between the reproduced image and the image currently captured by the video camera. An operation information analysis step to calculate,
Using the movement information given from the operation information analysis step , the position and range on the monitor that the video camera is currently expected to shoot is displayed by superimposing the compressed image data on the expanded reproduced image. An instruction frame generation step for generating an instruction frame representing
In the operation information analysis step, the movement of the imaging area of the video camera in response to an instruction for panning or tilting is digitized, the digitized movement data and the digitized movement data are delayed for a predetermined time and the direction is reversed. And the output data to the operation information analyzer, and the size of the imaging area of the video camera according to the zoom instruction is converted into a zoom amount, and the zoom amount data and the zoom amount are constant. A remote image operation method characterized in that the operation information analysis step is added with data delayed in time and inverted in direction .