JP6312046B2 - 画像処理システム、画像処理方法、及びプログラム - Google Patents

Description

本発明に係るいくつかの態様は、画像処理システム、画像処理方法、及びプログラムに関する。

近年、例えばパン（回転）機能、チルト（角度調節）機能、及びズーム（拡大・縮小）機能（総称して、パン・チルト・ズーム機能、又はＰＴＺ機能とも呼ぶ。）を持つ撮像装置（カメラ）が普及しつつある。また、このような撮像装置を操作する方法も種々考えられている。例えば特許文献１には、使用者が、撮影画面内で位置（ｘ，ｙ）を指定することにより、カメラの制御を行うことが開示されている。

特開平７−４６５６６号公報

ここで、撮像装置の撮影方向や倍率の変更は機械的動作を伴うため、変更に係る制御が完了するには一定の時間が必要となる。しかしながら、特許文献１記載の手法ではこの点が考慮されていないため、使用者は、制御の完了後の画像（構図）を想像しながら操作入力をする必要がある。

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、撮像装置を制御するための操作入力時の利便性を向上させることのできる画像処理システム、画像処理方法、及びプログラムを提供することを目的の１つとする。

本発明に係る画像処理システムは、撮像装置が撮影した画像を受信する受信手段と、撮像装置から受信した画像を表示装置に表示させる表示制御手段と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける入力手段と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるカメラ制御手段とを備え、前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる、画像処理システム。

本発明に係る画像処理方法は、撮像装置が撮影した画像を受信するステップと、撮像装置から受信した画像を表示装置に表示させるステップと、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受けるステップと、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるステップと、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させるステップとを画像処理システムが行う。

本発明に係るプログラムは、撮像装置が撮影した画像を受信する処理と、撮像装置から受信した画像を表示装置に表示させる処理と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける処理と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させる処理と、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる処理とをコンピュータに実行させる。

尚、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

本発明によれば、撮像装置を制御するための操作入力時の利便性を向上させることのできる画像処理システム、画像処理方法、及びプログラムを提供することができる。

第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。 表示画面の具体例を示す図である。 表示画面の具体例を示す図である。 表示画面の具体例を示す図である。 図１に示す情報処理サーバの処理の流れを示すフローチャートである。 図１に示す情報処理サーバを実装可能なハードウェア構成の機能構成を示すブロック図である。 第２実施形態に係る画像処理装置の概略構成を示す機能ブロック図である。

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

（１ 第１実施形態）
図１乃至図６は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず、「１．１」でシステム全体の機能構成を示すと共に、「１．２」で表示画面の具体例を示すことで、第１実施形態全体の概要を示す。その上で、「１．３」で処理の流れを、「１．４」で、ハードウェア構成の具体例を示す。最後に、「１．５」以降で、本実施形態に係る効果などを説明する。

（１．１ 機能構成）
図１を参照しながら、本実施形態に係る監視システム１の機能構成を説明する。図１は、監視システム１の概略構成を示すブロック図である。

監視システム１は、大きく分けて、画像処理システムである情報処理サーバ１００と、動画像を撮像するビデオカメラ２００と、クライアント端末３００とから構成される。

監視システム１は、ビデオカメラ２００で撮像された画像が、情報処理サーバ１００を介して、ユーザが操作するクライアント端末３００上の表示装置３１０に表示される。また、クライアント端末３００から入力された操作信号に応じて、情報処理サーバ１００はビデオカメラ２００に対して、パン（回転）・チルト（角度調節）・ズーム（拡大・縮小）等を行うための各種制御信号を送信（出力）する。

このとき、情報処理サーバ１００は、クライアント端末３００からパン・チルト・ズームの少なくともいずれかを行うための操作入力がなされた場合に、当該操作入力に応じた制御信号をビデオカメラ２００に出力すると共に、ビデオカメラ２００の制御完了までの間であっても、当該操作入力に応じた制御後の構図に対応する画像を作成して、当該画像をクライアント端末３００に表示させる。これにより、クライアント端末３００からビデオカメラ２００を制御するための操作入力を行うユーザは、即座に、制御完了後の構図を確認することができるようになるため、意図した構図と異なる場合には、適当な構図となるように再度ユーザ操作を行うことが可能となる。つまり、ビデオカメラ２００を制御するための操作入力時の利便性を向上させることができるようになる。
以下、ビデオカメラ２００、情報処理サーバ１００、及びクライアント端末３００のそれぞれについて説明する。

（１．１．１ ビデオカメラ２００）
ビデオカメラ２００は、パン（回転）・チルト（角度調節）・ズーム（拡大・縮小）等を行うことのできる（パン・チルト・ズーム機能（ＰＴＺ機能）を持つ）撮像装置である。つまり、ビデオカメラ２００は、撮影方向の変更や、撮影倍率の変更を行うことができる。尚、パン機能、チルト機能、ズーム機能の全てを持つ必要はなく、これらの機能の一部のみを持つようにしても良い。

ビデオカメラ２００は、動画像を撮像して当該動画像を情報処理サーバ１００へと出力する。また、ビデオカメラ２００は情報処理サーバ１００から入力された制御信号に基づき、撮影方向の変更や撮影倍率を変更する。尚ここで、ビデオカメラ２００は、撮影方向の変更や撮影倍率の変更を機械的制御により行うため、パン・チルト・ズーム機能に係る動作（制御）の完了までには一定の時間を要する。

尚、本実施形態では、ビデオカメラ２００が１台であるものとして説明しているが、これに限られるものではなく、複数台のビデオカメラ２００を用いて監視システム１を構築しても良い。複数台のビデオカメラ２００を用いることで、より網羅的な監視網を構築することが可能となる。

また、本実施形態では、ビデオカメラ２００は情報処理サーバ１００と別装置であるものとして説明しているが、これに限られるものではなく、例えば、情報処理サーバ１００を構成する装置がビデオカメラ２００を内蔵するようにしても良い。

（１．１．２ 情報処理サーバ１００）
情報処理サーバ１００は、ビデオカメラ２００から動画像の入力を受けると共にクライアント端末３００に画像を出力することにより当該クライアント端末３００にビデオカメラ２００が撮像した画像を表示させる。また情報処理サーバ１００は、ビデオカメラ２００を操作するための操作信号をクライアント端末３００から受信すると共に、ビデオカメラ２００を制御するための制御信号をビデオカメラ２００へと出力する。

情報処理サーバ１００は、通信Ｉ／Ｆ（インタフェース）部１１０及び１２０と、画像取得部１３０と、カメラ移動量取得部１４０と、カメラ画像加工部１５０と、表示制御部１６０と、入力制御部１７０と、カメラ制御量算出部１８０と、カメラ制御部１９０とを含む。

通信Ｉ／Ｆ部１１０はビデオカメラ２００と、通信Ｉ／Ｆ部１２０はクライアント端末３００と、それぞれ情報処理サーバ１００が通信するためのインタフェースである。尚、図１の例では、別々の構成として記載しているが、例えばＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等を介してビデオカメラ２００及びクライアント端末３００の双方と通信可能な、単一のインタフェースとして実現することも可能である。

画像取得部１３０は、ビデオカメラ２００から、通信Ｉ／Ｆ部１１０を介して撮影動画像（映像）を取得する。当該撮影動画像は、表示制御部１６０により、クライアント端末３００の表示装置３１０上に表示させることができる。

カメラ移動量取得部１４０は、ビデオカメラ２００を制御する制御信号送信後、どの程度ビデオカメラ２００が移動（撮影角度の変更、及び倍率の変更）したかを特定する。ビデオカメラ２００の移動量の特定は、例えば、ビデオカメラ２００から受信した制御信号により行なうことが考えられる。或いは、制御信号送信前のビデオカメラ２００からの映像の構図と、ビデオカメラ２００から随時受信する映像の構図の変化量とを比較することによりビデオカメラ２００の移動量を特定することも考えられる。

カメラ画像加工部１５０は、カメラ制御量算出部１８０から取得した、ビデオカメラ２００に指示した制御量と、カメラ移動量取得部１４０が取得したビデオカメラ２００のその時点までの移動量とに基いて、ビデオカメラ２００の移動完了（制御完了）後の構図に応じた画像を、その時点までにビデオカメラ２００が撮影した画像の少なくとも一部から作成する。カメラ画像加工部１５０が作成した画像は、表示制御部１６０により、クライアント端末３００の表示装置３１０上に表示される。

尚、上記説明では、ビデオカメラ２００から入力された画像を、カメラ移動量取得部１４０が特定したビデオカメラ２００の移動量に応じて、カメラ画像加工部１５０で随時加工した上でクライアント端末３００に表示させるようにしているが、これに限られるものではない。例えば、ビデオカメラ２００への制御信号送信時に、移動完了後の構図（画角）に応じた画像をカメラ画像加工部１５０で作成した上で、移動完了までは当該画像（静止画像）を表示装置３１０に表示させ、移動完了後は、再度ビデオカメラ２００から入力される動画像を表示装置３１０に表示させるようにしても良い。この場合、必ずしもカメラ移動量取得部１４０は必要ではない。

表示制御部１６０は、前述のように、ビデオカメラ２００から画像取得部１３０が取得（受信）した動画像、若しくはカメラ画像加工部１５０が出力する画像を、通信Ｉ／Ｆ部１２０を介してクライアント端末３００へと送信（出力）する。この時、ビデオカメラ２００への制御信号の送信前、及びビデオカメラ２００の制御完了後は、表示制御部１６０はビデオカメラ２００から入力された動画像をそのままクライアント端末３００へと送信し、ビデオカメラ２００への制御信号の送信後、ビデオカメラ２００の制御完了までの間は、カメラ画像加工部１５０が加工した、制御完了後の構図に対応した画像を、クライアント端末３００へと送信する。

入力制御部１７０は、クライアント端末３００の入力装置３２０から入力された、ビデオカメラ２００を移動（上述の通り、角度の変更及び倍率の変更）させるための操作信号を通信Ｉ／Ｆ部１２０を介して受信（操作入力）すると共に、カメラ制御量算出部１８０へと出力する。

カメラ制御量算出部１８０は、入力制御部１７０から取得した、ユーザ操作に係る操作信号に基づき、実際にビデオカメラ２００に与える制御量（ビデオカメラ２００を移動させる移動量）を算出する。

カメラ制御部１９０は、カメラ制御量算出部１８０が算出した制御量を制御信号へと変換した上で、通信Ｉ／Ｆ部１１０を介してビデオカメラ２００へと出力（送信）する。これにより、クライアント端末３００の入力装置３２０から入力された操作信号に応じた制御信号が、ビデオカメラ２００へと出力されることとなる。

尚、本実施形態では、情報処理サーバ１００のカメラ制御量算出部１８０が、ビデオカメラ２００の制御量を決定しているが、これに限られるものではない。例えば、クライアント端末３００側で、ビデオカメラ２００に与える制御量を算出することも考えられる。

（１．１．３ クライアント端末３００）
クライアント端末３００は、表示装置３１０と入力装置３２０とを有する情報処理装置である。本実施形態におけるクライアント端末３００は、表示装置３１０（ディスプレイ）及び入力装置３２０（タッチパッド）を備えるタッチパネルを備える、いわゆるスマートフォンやタブレット型情報端末であるものとして説明する。しかし、必ずしもこれに限られるものではなく、表示装置３１０と入力装置３２０を備えるものであれば、たとえばデスクトップ型やラップトップ型のパーソナルコンピュータ等で実現することも可能である。

また、本実施形態では、情報処理サーバ１００とクライアント端末３００とを別装置として実現しているが、これに限られるものではない。例えば、表示装置３１０及び入力装置３２０を情報処理サーバ１００が備えるように実現することも可能である。

クライアント端末３００は、上述の通り、ビデオカメラ２００で撮影した画像を、情報処理サーバ１００から受信すると共に、当該画像を表示装置３１０上に表示する。また、ユーザが表示装置３１０を見ながらビデオカメラ２００を制御すべく入力装置３２０に入力した操作に基づく操作信号を、クライアント端末３００は情報処理サーバ１００へと出力（送信）する。

表示装置３１０は、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。情報処理サーバ１００の表示制御部１６０から通信Ｉ／Ｆ部１２０を介して送信された画像は、表示装置３１０が表示する。

入力装置３２０は、上述の通り例えばタッチパッド等の、ユーザが操作を入力するための装置である。上述の通り、本実施形態では、入力装置３２０はタブレット型情報端末の入力装置として説明しているがこれに限られるものではなく、マウス等のポインティングデバイスやキーボード等で実現することも考えられる。

（１．２ 表示画面の具体例）
以下、図２乃至図４を参照しながら、表示装置３１０に表示される、表示画面の具体例を説明する。図２乃至図４は、表示装置３１０の表示画面上に表示される表示画面の具体例を示す図である。

図２の表示画面の例では、表示装置３１０が、ビデオカメラ２００から情報処理サーバ１００を介して入力されたリアルタイムの映像（動画像）を表示している場合の図を示している。尚、図２の例では、リアルタイムであることをユーザに明示的に示すため、表示装置３１０は「ＬＩＶＥ」との文字を表示画面右上に表示している。

更に図２は、ユーザが指で、映像に映る人物Ｐの周辺において、タッチパネル上でピンチアウト操作（同時に、矢印ａ１及びａ２の方向に指でタッチパネルをなぞる操作）が入力されることを示している。このピンチアウト操作は、操作対象領域を中心に撮影範囲を拡大する、つまり、ピンチアウト操作した個所を拡大するためのズーム機能をビデオカメラ２００に行わせるための操作である。

尚、この例では示していないが、ピンチアウト操作とは逆方向に指を動かすピンチイン操作は、ユーザの操作対象領域を中心に縮小するためのズーム動作をビデオカメラ２００に行わせ、スライド操作やタッチ操作は、指定した方向や長さ、位置に応じて撮影方向を変化させるためのパン動作やチルト動作をビデオカメラ２００に行わせるための操作入力と捉えることができる。但し、ここで述べた操作入力はあくまで一例であり、操作入力とビデオカメラ２００への制御との対応付けは、種々考えることができる。

図３は、ユーザがピンチアウト操作した直後に表示装置３１０に表示される表示画面の例を示している。図３の表示画面は、図２で示した表示画面の画像から、ピンチアウト操作した領域を単純に拡大して生成することができる。図３に係る表示画面の画像は、図２で示した表示画面の画像を単純に拡大したものであるため、ビデオカメラ２００が通常撮影する画像よりも解像度が低くなっている。尚、図３に示す画像はリアルタイムの画像ではないため、それを明示的にユーザに示すべく、表示装置３１０は「ｃａｐｔｕｒｅｄ」との文字を表示画面右上に示している。

図２及び図３に係る処理の流れをまとめると、ユーザがビデオカメラ２００を制御するための操作入力を行うと、情報処理サーバ１００のカメラ画像加工部１５０は当該操作に基づき、それまでにビデオカメラ２００が撮影した画像の少なくとも一部から制御完了後の構図（画角）に対応する画像を作成して、表示制御部１６０は当該画像を表示装置３１０に表示させる。

これにより、ユーザは、ビデオカメラ２００の制御完了前であっても、制御完了後にどのような構図となるのかを即座に確認することができるため、再度の操作入力等の適切な対応を取ることができるようになる。つまり、ユーザの利便性が向上する。

更にその後、ビデオカメラ２００の制御（ユーザ操作に応じたズーム動作）が完了すると、表示制御部１６０は、図４に示すようなビデオカメラ２００から入力されるリアルタイムの動画像を表示装置３１０に表示させる。

（１．３ 処理の流れ）
次に、情報処理サーバ１００の処理の流れを、図５を参照しながら説明する。図５は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。

尚、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

まず、情報処理サーバ１００の入力制御部１７０は、クライアント端末３００の入力装置３２０からユーザ操作に係る操作信号が入力されたか否かを判別する（Ｓ５０１）。もし、ユーザからの操作入力があった場合には（Ｓ５０１のＹｅｓ）、入力装置３２０から受信した操作信号に応じて、カメラ制御量算出部１８０はユーザ操作に応じたビデオカメラ２００の制御量を算出する（Ｓ５０３）。カメラ制御部１９０は、カメラ制御量算出部１８０が算出した制御量に応じた制御信号を生成すると共に、当該制御信号をビデオカメラ２００へと送信する（Ｓ５０５）。これにより、ビデオカメラ２００はユーザ操作に応じたパン動作、チルト動作、及びズーム動作等を開始する。

その後、カメラ画像加工部１５０は、ビデオカメラ２００の制御が完了したか否かを判別する（Ｓ５０７）。尚、ビデオカメラ２００の制御が完了したか否かは、ビデオカメラ２００から状態情報を取得することにより判別することも考えられるし、或いは、カメラ制御量算出部１８０から受け取った制御量に対応する映像の変化が、ビデオカメラ２００から入力される動画像に生じたか否かを判別することにより判別すること考えられる。

Ｓ５０７において、まだビデオカメラ２００の制御が完了していない場合には（Ｓ５０７のＹｅｓ）、カメラ移動量取得部１４０は、その時点までのカメラ移動量（動作量）を取得する。カメラ移動量の取得方法は種々考えられるが、例えば前述の通り、ビデオカメラ２００から取得することも考えられるし、或いは、ビデオカメラ２００から入力される画像がどの程度変化したかによって判別することもできる。

カメラ画像加工部１５０は、Ｓ５０９で取得されたカメラ移動量と、Ｓ５０３で算出したカメラ制御量とを比較することにより、ビデオカメラ２００の制御完了後の構図に応じた画像を生成する（Ｓ５１１）。表示制御部１６０は、当該カメラ画像加工部１５０が生成した、ビデオカメラ２００の制御完了後の構図に応じた画像（図３に例示）を、クライアント端末３００の表示装置３１０に表示させる（Ｓ５１３）。Ｓ５０９乃至Ｓ５１３の処理は、ビデオカメラ２００の制御が完了するまで繰り返される。

もし、ユーザ操作に応じたビデオカメラ２００の制御が完了すれば（Ｓ５０７のＹｅｓ）、表示制御部１６０は、ビデオカメラ２００から受信したリアルタイムの動画像を、解像度の変更などを行わずに、クライアント端末３００の表示装置３１０に表示させる（Ｓ５１５。図４に例示）。

尚、上記説明では、Ｓ５０９乃至Ｓ５１３の処理をビデオカメラ２００の制御が完了するまで繰返すようにしているが、これに限られるものではなく、ユーザ操作が入力された時点に対応する１回だけ、カメラ画像加工部１５０で加工したカメラ画像を生成するようにしても良い。この場合、Ｓ５０９の処理は必ずしも無くとも良い。

（１．４ ハードウェア構成の具体例）
以下、図６を参照しながら、上述してきた情報処理サーバ１００のハードウェア構成の一例を説明する。尚、前述の通り、情報処理サーバ１００の機能は複数の情報処理装置（例えば、サーバとクライアント）により実現することも可能である。

図６に示すように、情報処理サーバ１００は、プロセッサ６０１、メモリ６０３、記憶装置６０５、入力Ｉ／Ｆ６０７、データＩ／Ｆ６０９、通信Ｉ／Ｆ６１１、及び表示装置６１３を含む。

プロセッサ６０１は、メモリ６０３に記憶されているプログラムを実行することにより、情報処理サーバ１００における様々な処理を制御する。例えば、図１で説明した画像取得部１３０、カメラ移動量取得部１４０、カメラ画像加工部１５０、表示制御部１６０、入力制御部１７０、カメラ制御量算出部１８０、及びカメラ制御部１９０に係る処理は、メモリ６０３に記憶された上で、主にプロセッサ６０１上で動作するプログラムとして実現可能である。

メモリ６０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ６０３は、プロセッサ６０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ６０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

記憶装置６０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体を含む。記憶装置６０５は、オペレーティングシステムや、画像取得部１３０、カメラ移動量取得部１４０、カメラ画像加工部１５０、表示制御部１６０、入力制御部１７０、カメラ制御量算出部１８０、及びカメラ制御部１９０を実現するための各種プログラムや、その他必要となる各種データ等を記憶する。記憶装置６０５に記憶されているプログラムやデータは、必要に応じてメモリ６０３にロードされることにより、プロセッサ６０１から参照される。

入力Ｉ／Ｆ６０７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置３２０は、図１に説明したようにクライアント端末３００に持たせずとも、情報処理サーバ１００が内蔵する入力Ｉ／Ｆとして実現しても良い。入力Ｉ／Ｆ６０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

データＩ／Ｆ６０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ６０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置などがある。データＩ／Ｆ６０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ６０９は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

通信Ｉ／Ｆ６１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００やクライアント端末３００との間で有線又は無線によりデータ通信するためのデバイスである。図１に示した通信Ｉ／Ｆ部１１０や通信Ｉ／Ｆ部１２０は、通信Ｉ／Ｆ６１１に対応する。尚、通信Ｉ／Ｆ６１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ６１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

表示装置６１３は、各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。図１で説明した表示装置３１０は、図１で説明したようにクライアント端末３００に持たせずとも、情報処理サーバ１００が内蔵する表示装置６１３として実現しても良い。また、表示装置６１３は、情報処理サーバ１００の外部に、例えばディスプレイケーブルなどを介して情報処理サーバ１００に接続されるようにしても良い。

（１．６ 本実施形態に係る効果）
以上説明したように、本実施形態に係る情報処理サーバ１００は、ビデオカメラ２００で撮影した動画像を表示装置３１０上に表示している場合に、撮像装置の撮影方向や倍率を変化させるための操作入力を受けると、当該操作に応じた制御の完了後の画角（構図）に対応する、図２のような画面を作成して表示装置３１０上に表示させる。これにより、ビデオカメラ２００の動作が完了する前であっても、ユーザは最終的な画角を即座に把握することができるようになるため、利便性が向上する。

（２ 第２実施形態）
以下、第２実施形態を、図７を参照しながら説明する。図７は、画像処理システムである画像処理装置７００の機能構成を示すブロック図である。図７に示すように、画像処理装置７００は、受信部７１０と、表示制御部７２０と、入力部７３０と、カメラ制御部７４０とを含む。

受信部７１０は、図示しない撮像装置（カメラ）が撮影した画像を受信する。表示制御部７２０は、受信部７１０が受信した画像を、図示しない表示装置上に表示させる。入力部７３０は、上述の撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける。カメラ制御部７４０は、入力部７３０から入力された操作入力に応じて、撮像装置の撮影方向又は倍率の少なくとも一方を変化させる。

更に、表示制御部７２０は、入力部７３０で操作入力を受けた後、撮像装置撮影方向又は倍率の変更が完了するまでの間、撮像装置が撮影した画像の一部から作成した、操作入力に応じた撮影方向又は倍率に対応する構図の画像を、表示装置に表示させる。
このように実装することで、本実施形態に係る画像処理装置７００は、撮像装置を制御するための操作入力時の利便性を向上させることができる。

（３ 付記事項）
尚、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。

尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

（付記１）
撮像装置が撮影した画像を受信する受信手段と、撮像装置から受信した画像を表示装置に表示させる表示制御手段と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける入力手段と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるカメラ制御手段とを備え、前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる、画像処理システム。

（付記２）
前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を生成する、付記１記載の画像処理システム。

（付記３）
前記操作入力に応じた撮影方向又は倍率に対応する構図の画像は動画像である、付記２記載の画像処理システム。

（付記４）
前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる、付記１又は付記２記載の画像処理システム。

（付記５）
前記表示制御手段は、前記撮像装置による撮影方向又は倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、付記１乃至付記４のいずれか１項記載の画像処理システム。

（付記６）
前記入力手段は、操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける、付記１乃至付記５のいずれか１項記載の画像処理システム。

（付記７）
撮像装置が撮影した画像を受信するステップと、撮像装置から受信した画像を表示装置に表示させるステップと、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受けるステップと、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるステップと、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させるステップとを画像処理システムが行う、画像処理方法。

（付記８）
前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を生成する、付記７記載の画像処理方法。

（付記９）
前記操作入力に応じた撮影方向又は倍率に対応する構図の画像は動画像である、付記８記載の画像処理方法。

（付記１０）
前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる、付記７又は付記８記載の画像処理方法。

（付記１１）
前記撮像装置による撮影方向又は倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、付記７乃至付記１０のいずれか１項記載の画像処理方法。

（付記１２）
操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける、付記７乃至付記１１のいずれか１項記載の画像処理システム。

（付記１３）
撮像装置が撮影した画像を受信する処理と、撮像装置から受信した画像を表示装置に表示させる処理と、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させるための操作入力を受ける処理と、前記操作入力に応じて、前記撮像装置の撮影方向又は倍率の少なくとも一方を変化させる処理と、前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を、前記表示装置に表示させる処理とをコンピュータに実行させるプログラム。

（付記１４）
前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向又は倍率に対応する構図の画像を生成する処理を実行させる、付記１３記載のプログラム。

（付記１５）
前記操作入力に応じた撮影方向又は倍率に対応する構図の画像は動画像である、付記１４記載のプログラム。

（付記１６）
前記操作入力後、前記撮像装置による撮影方向又は倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる処理を実行させる、付記１３又は付記１４記載のプログラム。

（付記１７）
前記撮像装置による撮影方向又は倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、処理を実行させる付記１３乃至付記１６のいずれか１項記載のプログラム。

（付記１８）
操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける処理を実行させる、付記１３乃至付記１７のいずれか１項記載のプログラム。

この出願は、２０１２年８月１５日に出願された日本出願特願２０１２−１８０２３０を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１・・・監視システム、１００・・・情報処理サーバ、１１０、１２０・・・通信Ｉ／Ｆ部、１３０・・・画像取得部、１４０・・・カメラ移動量取得部、１５０・・・カメラ画像加工部、１６０・・・表示制御部、１７０・・・入力制御部、１８０・・・カメラ制御量算出部、１９０・・・カメラ制御部、２００・・・ビデオカメラ、３００・・・クライアント端末、３１０・・・表示装置、３２０・・・入力装置、Ｐ・・・人物

Claims (8)

1. 撮像装置が撮影した画像を受信する受信手段と、
   撮像装置から受信した画像を表示装置に表示させる表示制御手段と、
   前記撮像装置の撮影方向及び倍率を変化させるためのタッチパネルへの操作入力を受ける入力手段と、
   前記操作入力に応じて、前記撮像装置の撮影方向及び倍率を変化させるカメラ制御手段と
   を備え、
   前記カメラ制御手段は、前記タッチパネルへの操作入力がピンチアウト操作である場合に、当該ピンチアウト操作の対象領域を中心として倍率を変化させ、
   前記カメラ制御手段は、前記タッチパネルへの操作入力がスライド操作である場合に、当該スライド操作の方向及び長さに応じて撮影方向を変化させ、
   前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向及び倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向及び倍率に対応する構図の画像を、前記表示装置に表示させる、画像処理システム。
2. 前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向及び倍率の変更が完了するまでの間に受信する状態情報に応じて、前記操作入力に応じた撮影方向及び倍率に対応する構図の画像を生成する、
   請求項１記載の画像処理システム。
3. 前記操作入力に応じた撮影方向及び倍率に対応する構図の画像は動画像である、
   請求項２記載の画像処理システム。
4. 前記表示制御手段は、前記操作入力後、前記撮像装置による撮影方向及び倍率の変更が完了するまでの間、前記操作入力時に前記撮像装置が撮影した画像の一部から作成した画像を前記表示装置に表示させる、
   請求項１又は請求項２記載の画像処理システム。
5. 前記表示制御手段は、前記撮像装置による撮影方向及び倍率の変更の完了後、前記撮像装置が撮影したリアルタイムの画像を前記表示装置に表示させる、
   請求項１乃至請求項４のいずれか１項記載の画像処理システム。
6. 前記入力手段は、操作パネルへのピンチイン又はピンチアウト操作を、前記操作入力として受ける、
   請求項１乃至請求項５のいずれか１項記載の画像処理システム。
7. 撮像装置が撮影した画像を受信するステップと、
   撮像装置から受信した画像を表示装置に表示させるステップと、
   前記撮像装置の撮影方向及び倍率を変化させるためのタッチパネルへの操作入力を受けるステップと、
   前記操作入力に応じて、前記撮像装置の撮影方向及び倍率を変化させるステップであって、
   前記タッチパネルへの操作入力がピンチアウト操作である場合に、当該ピンチアウト操作の対象領域を中心として倍率を変化させ、
   前記タッチパネルへの操作入力がスライド操作である場合に、当該スライド操作の方向及び長さに応じて撮影方向を変化させる、ステップと、
   前記操作入力後、前記撮像装置による撮影方向及び倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向及び倍率に対応する構図の画像を、前記表示装置に表示させるステップと
   を画像処理システムが行う、画像処理方法。
8. 撮像装置が撮影した画像を受信する処理と、
   撮像装置から受信した画像を表示装置に表示させる処理と、
   前記撮像装置の撮影方向及び倍率を変化させるための操作入力を受ける処理と、
   前記操作入力に応じて、前記撮像装置の撮影方向及び倍率を変化させる処理であって、
   前記タッチパネルへの操作入力がピンチアウト操作である場合に、当該ピンチアウト操作の対象領域を中心として倍率を変化させ、
   前記タッチパネルへの操作入力がスライド操作である場合に、当該スライド操作の方向及び長さに応じて撮影方向を変化させる、処理と、
   前記操作入力後、前記撮像装置による撮影方向及び倍率の変更が完了するまでの間、前記撮像装置が撮影した画像の一部から作成した画像であって、前記操作入力に応じた撮影方向及び倍率に対応する構図の画像を、前記表示装置に表示させる処理と
   をコンピュータに実行させるプログラム。
   

Images