JP7401272B2 - Imaging device, method of controlling the imaging device, and program - Google Patents

Imaging device, method of controlling the imaging device, and program Download PDF

Info

Publication number
JP7401272B2
JP7401272B2 JP2019213313A JP2019213313A JP7401272B2 JP 7401272 B2 JP7401272 B2 JP 7401272B2 JP 2019213313 A JP2019213313 A JP 2019213313A JP 2019213313 A JP2019213313 A JP 2019213313A JP 7401272 B2 JP7401272 B2 JP 7401272B2
Authority
JP
Japan
Prior art keywords
angle
view
switching
ptz
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019213313A
Other languages
Japanese (ja)
Other versions
JP2021087059A (en
Inventor
杏子 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019213313A priority Critical patent/JP7401272B2/en
Publication of JP2021087059A publication Critical patent/JP2021087059A/en
Application granted granted Critical
Publication of JP7401272B2 publication Critical patent/JP7401272B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、撮像装置、撮像装置の制御方法、及びプログラムに関する。 The present invention relates to an imaging device, a method of controlling the imaging device, and a program.

リモートカメラ等を用いた撮影において、画角を切り替える際、複数のカメラの映像をスイッチャーで切り替える方法が一般的に用いられている。また、カメラの台数を削減するために、監視用途以外でもパン・チルト・ズーム（以下、「ＰＴＺ」とも称す）機能やプリセット機能を用いた画角切り替えが利用されている。しかし、これらの機能は画角が急に変わり、不要な首振り映像（ＰＴＺ駆動時の映像）が収録されるといった問題がある。首振り映像は、必要のないケースが多く、生配信等の編集をすることができない撮影状況において、特に問題となっている。特許文献１には、画角切り替え中に切り替える直前の静止画像を出力することで、首振り映像を出力しないシステムが提案されている。 2. Description of the Related Art In photographing using a remote camera or the like, when switching the angle of view, a method is generally used in which images from multiple cameras are switched using a switcher. Furthermore, in order to reduce the number of cameras, switching the viewing angle using a pan-tilt-zoom (hereinafter also referred to as "PTZ") function and a preset function is used for purposes other than surveillance. However, these functions have the problem that the angle of view changes suddenly and unnecessary head-shaking video (video during PTZ driving) is recorded. Shaking video is often unnecessary, and is particularly problematic in shooting situations where editing is not possible, such as during live streaming. Patent Document 1 proposes a system that outputs a still image immediately before switching during viewing angle switching, thereby not outputting a head-shaking video.

特開２００２－１７４８４０号公報Japanese Patent Application Publication No. 2002-174840

しかし、特許文献１に記載された技術では、撮像装置が首振りする度に静止画が取得されるため、動画の撮り逃しが発生し、またユーザに違和感を与えるといった問題がある。本発明は、ユーザに違和感を与えることなく、首振り映像のない画角切り替えを行えるようにすることを目的とする。 However, with the technique described in Patent Document 1, since a still image is acquired every time the imaging device shakes its head, there are problems in that a video may be missed and the user may feel uncomfortable. SUMMARY OF THE INVENTION An object of the present invention is to enable switching of viewing angles without causing a shaking image, without giving a user a sense of discomfort.

本発明に係る撮像装置は、撮影対象を撮影して映像を生成する撮像手段と、前記撮像手段により撮影された映像における所定の画角の映像を出力する出力手段と、前記出力手段が出力する映像の画角を第１の画角から第２の画角に切り替える場合に、前記第１の画角で映像を出力しつつ前記第１の画角と前記第２の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第２の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第２の画角で映像を出力する切り替え手段とを有することを特徴とする。 An imaging device according to the present invention includes an imaging device that photographs an object to be photographed to generate an image, an output device that outputs an image of a predetermined angle of view in the image photographed by the imaging device, and an output device that outputs a When switching the angle of view of an image from a first angle of view to a second angle of view, if the first angle of view and the second angle of view are the same while outputting the image at the first angle of view, Switching means for controlling the angle of view of the imaging means so that the angle of view falls within the angle of view of the imaging means, and switching the angle of view after the second angle of view falls within the angle of view of the imaging means and outputting the video at the second angle of view. It is characterized by having the following.

本発明によれば、ユーザに違和感を与えることなく、首振り映像のない画角切り替えを行うことができる。 According to the present invention, it is possible to switch the viewing angle without causing a shaking image without giving the user a sense of discomfort.

第１の実施形態に係る映像収録システムの構成例を示す図である。1 is a diagram showing a configuration example of a video recording system according to a first embodiment; FIG. 第１の実施形態に係る映像収録システムの映像切り替え前後の画角を説明する図である。FIG. 3 is a diagram illustrating angles of view before and after video switching in the video recording system according to the first embodiment. 第１の実施形態に係る映像収録システムの映像切り替え手順を説明する図である。FIG. 3 is a diagram illustrating a video switching procedure of the video recording system according to the first embodiment. 第１の実施形態に係る画角切り替え処理の例を示すフローチャートである。7 is a flowchart illustrating an example of view angle switching processing according to the first embodiment. 第２の実施形態に係る映像収録システムの構成例を示す図である。FIG. 2 is a diagram illustrating a configuration example of a video recording system according to a second embodiment. 第２の実施形態に係る映像収録システムの映像切り替え前後の画角を説明する図である。FIG. 7 is a diagram illustrating the angle of view before and after video switching in the video recording system according to the second embodiment. 第２の実施形態に係る映像収録システムの映像切り替え手順を説明する図である。FIG. 7 is a diagram illustrating a video switching procedure of the video recording system according to the second embodiment. 第２の実施形態に係る画角切り替え処理の例を示すフローチャートである。7 is a flowchart illustrating an example of view angle switching processing according to the second embodiment. 第３の実施形態に係る映像収録システムの構成例を示す図である。FIG. 7 is a diagram showing a configuration example of a video recording system according to a third embodiment. 第３の実施形態に係る映像収録システムの目標画角決定手順を説明する図である。FIG. 7 is a diagram illustrating a procedure for determining a target angle of view of a video recording system according to a third embodiment. 第３の実施形態に係る映像収録システムの探索ルート決定手順を説明する図である。FIG. 7 is a diagram illustrating a search route determination procedure of a video recording system according to a third embodiment. 第３の実施形態に係る画角切り替え処理の例を示すフローチャートである。12 is a flowchart illustrating an example of view angle switching processing according to the third embodiment. 第４の実施形態に係る映像収録システムの構成例を示す図である。It is a figure showing the example of composition of the video recording system concerning a 4th embodiment. 第４の実施形態に係る映像収録システムのＰＴＺ制御方法を説明する図である。It is a figure explaining the PTZ control method of the video recording system concerning a 4th embodiment. 第４の実施形態に係る画角切り替え処理の例を示すフローチャートである。12 is a flowchart illustrating an example of view angle switching processing according to the fourth embodiment.

以下、本発明の実施形態を図面に基づいて説明する。以下に説明する実施形態は一例であり、本発明はこれに限定されるものではない。なお、以下の説明において、ＰＴＺ制御（動作）とは、物理的な駆動によるパン（Ｐ）、チルト（Ｔ）、ズーム（Ｚ）に係る制御（動作）である。また、デジタルＰＴＺ制御とは、切り出し領域の制御等の信号処理によるパン（Ｐ）、チルト（Ｔ）、ズーム（Ｚ）に係る制御である。 Embodiments of the present invention will be described below based on the drawings. The embodiment described below is an example, and the present invention is not limited thereto. Note that in the following description, PTZ control (operation) is control (operation) related to pan (P), tilt (T), and zoom (Z) by physical driving. Further, digital PTZ control is control related to pan (P), tilt (T), and zoom (Z) by signal processing such as control of a cutout area.

（第１の実施形態）
本発明の第１の実施形態について説明する。
図１は、第１の実施形態における映像収録システム１００の構成例を示すブロック図である。映像収録システム１００は、撮像装置１１０及びクライアント装置１３０を有する。撮像装置１１０とクライアント装置１３０とはネットワーク１５０を介して接続されている。撮像装置１１０は、クライアント装置１３０から入力された情報を基に映像を撮影し、クライアント装置１３０へ出力する。クライアント装置１３０は、映像収録装置１３１、及び図示していないモニタ等の映像表示装置、パン・チルト・ズーム（ＰＴＺ）操作装置、入力装置、ＰＣ等を有する。クライアント装置１３０は、ユーザの操作情報をネットワーク１５０経由で撮像装置１１０へ出力し、撮像装置１１０から撮影した映像をネットワーク１５０経由で入力されると、映像表示装置での表示や収録を行う。 (First embodiment)
A first embodiment of the present invention will be described.
FIG. 1 is a block diagram showing a configuration example of a video recording system 100 in the first embodiment. The video recording system 100 includes an imaging device 110 and a client device 130. The imaging device 110 and the client device 130 are connected via a network 150. The imaging device 110 shoots an image based on information input from the client device 130 and outputs it to the client device 130. The client device 130 includes a video recording device 131, a video display device such as a monitor (not shown), a pan-tilt-zoom (PTZ) operating device, an input device, a PC, and the like. The client device 130 outputs user operation information to the imaging device 110 via the network 150, and when a video shot from the imaging device 110 is input via the network 150, displays or records it on the video display device.

撮像装置１１０は、画角切り替え装置１１１、映像入力装置１１２、及びＰＴＺ駆動装置１１３を有する。画角切り替え装置１１１は、映像入力装置１１２から取得した映像情報と、クライアント装置１３０から取得した目標画角情報とに基づいて、ＰＴＺ駆動やデジタルＰＴＺ駆動の動作命令を生成する。画角切り替え装置１１１は、例えば、切り替え前画角を映した状態から、切り替え前画角と目標画角を同一画角に収めた後、目標画角になるようＰＴＺ制御命令を出力する。また、その間に切り替え前画角又は目標画角の映像が得られるようにデジタルＰＴＺ制御を行い、映像情報を出力する。画角切り替え装置１１１は、生成したＰＴＺ制御命令をＰＴＺ駆動装置１１３へ出力し、映像情報をクライアント装置１３０へ出力する。 The imaging device 110 includes a view angle switching device 111, a video input device 112, and a PTZ drive device 113. The viewing angle switching device 111 generates an operation command for PTZ driving or digital PTZ driving based on the video information acquired from the video input device 112 and the target viewing angle information acquired from the client device 130. For example, the view angle switching device 111 outputs a PTZ control command to bring the pre-switching view angle and the target view angle into the same view angle from the state where the pre-switching view angle is displayed, and then to the target view angle. Furthermore, during this time, digital PTZ control is performed so that an image at the pre-switching angle of view or the target angle of view is obtained, and image information is output. The view angle switching device 111 outputs the generated PTZ control command to the PTZ driving device 113 and outputs video information to the client device 130.

画角切り替え装置１１１は、映像入力部１１４、デジタルＰＴＺ処理部１１５、映像配信部１１６、通信部１１７、目標画角情報入力部１１８、ＰＴＺ制御方法算出部１１９、及びＰＴＺ制御部１２０を有する。映像入力部１１４は、映像入力装置１１２で撮像された映像情報を取得し、デジタルＰＴＺ処理部１１５へ出力する。デジタルＰＴＺ処理部１１５は、ＰＴＺ制御方法算出部１１９からデジタルＰＴＺ制御情報を入力され、映像入力部１１４から映像情報を入力されると、デジタルＰＴＺ制御を行って所定の画角での映像情報を映像配信部１１６へ出力する。デジタルＰＴＺ処理部１１５は、デジタルズームに係る処理を行う第２のパン・チルト制御手段及びパン・チルトに係る処理を行う第２のズーム制御手段の一例である。 The view angle switching device 111 includes a video input section 114, a digital PTZ processing section 115, a video distribution section 116, a communication section 117, a target view angle information input section 118, a PTZ control method calculation section 119, and a PTZ control section 120. The video input unit 114 acquires video information captured by the video input device 112 and outputs it to the digital PTZ processing unit 115. When the digital PTZ processing unit 115 receives digital PTZ control information from the PTZ control method calculation unit 119 and video information from the video input unit 114, it performs digital PTZ control to generate video information at a predetermined angle of view. It is output to the video distribution section 116. The digital PTZ processing unit 115 is an example of a second pan/tilt control unit that performs processing related to digital zoom and a second zoom control unit that performs processing related to pan/tilt.

映像配信部１１６は、デジタルＰＴＺ処理部１１５から映像情報を入力されると、通信部１１７へ出力する。通信部１１７は、映像配信部１１６から入力された映像情報を映像収録装置１３１へ出力する。また、通信部１１７は、クライアント装置１３０によって入力された目標画角情報を目標画角情報入力部１１８へ出力する。目標画角情報は、少なくとも目標画角座標情報を含む。目標画角情報入力部１１８は、通信部１１７から目標画角情報を入力されると、ＰＴＺ制御方法算出部１１９へ出力する。 When the video distribution unit 116 receives video information from the digital PTZ processing unit 115, it outputs the video information to the communication unit 117. The communication unit 117 outputs the video information input from the video distribution unit 116 to the video recording device 131. Furthermore, the communication unit 117 outputs the target angle of view information input by the client device 130 to the target angle of view information input unit 118. The target angle of view information includes at least target angle of view coordinate information. When the target angle of view information input section 118 receives the target angle of view information from the communication section 117 , it outputs it to the PTZ control method calculation section 119 .

ＰＴＺ制御方法算出部１１９は、目標画角情報入力部１１８から目標画角情報を入力されると、首振り映像のない画角切り替えに必要なＰＴＺ及びデジタルＰＴＺの制御方法を算出する。ＰＴＺ制御方法算出部１１９は、ＰＴＺ制御情報をＰＴＺ制御部１２０へ出力し、デジタルＰＴＺ制御情報をデジタルＰＴＺ処理部１１５へ出力する。ＰＴＺ制御部１２０は、ＰＴＺ制御方法算出部１１９からＰＴＺ制御情報を入力されると、ＰＴＺ駆動の動作命令（ＰＴＺ制御命令）を生成してＰＴＺ駆動装置１１３へ出力する。ＰＴＺ制御部１２０は、撮像装置の画角を変更する第１のパン・チルト制御手段及び光学ズームに係る制御を行う第１のズーム制御手段の一例である。ＰＴＺ駆動装置１１３は、画角切り替え装置１１１からＰＴＺ制御命令を受け取ると、モータを駆動してＰＴＺ動作を行う。 When the target view angle information is input from the target view angle information input unit 118, the PTZ control method calculation unit 119 calculates a PTZ and digital PTZ control method necessary for view angle switching without shaking images. The PTZ control method calculation unit 119 outputs PTZ control information to the PTZ control unit 120 and outputs digital PTZ control information to the digital PTZ processing unit 115. Upon receiving the PTZ control information from the PTZ control method calculation unit 119 , the PTZ control unit 120 generates a PTZ drive operation command (PTZ control command) and outputs it to the PTZ drive device 113 . The PTZ control unit 120 is an example of a first pan/tilt control unit that changes the angle of view of the imaging device and a first zoom control unit that performs control related to optical zoom. Upon receiving the PTZ control command from the view angle switching device 111, the PTZ driving device 113 drives a motor to perform a PTZ operation.

図２及び図３を参照して、本実施形態におけるＰＴＺ及びデジタルＰＴＺの制御の流れを説明する。図２は、画角切り替え前後の取得映像を表す。図２において、Ｋ１０４、Ｋ１０５はそれぞれ人体を表し、Ｐ１０１は画角切り替え前の画角を表し、Ｐ１０２は画角切り替え後の目標画角を表す。図３（Ａ）～図３（Ｃ）は、画角切り替え装置１１１による画角切り替えの流れを表している。図３（Ａ）～図３（Ｃ）において、Ｋ１０３、Ｋ１０４、Ｋ１０５は人体を表し、Ｐ１０１は切り替え前の取得映像画角を表し、Ｐ１０２は目標画角を表し、Ｅ２００は撮像装置の画角を表す。 The flow of control of PTZ and digital PTZ in this embodiment will be explained with reference to FIGS. 2 and 3. FIG. 2 shows images obtained before and after switching the viewing angle. In FIG. 2, K104 and K105 each represent a human body, P101 represents the angle of view before switching the angle of view, and P102 represents the target angle of view after switching the angle of view. 3(A) to FIG. 3(C) show the flow of view angle switching by the view angle switching device 111. In FIGS. 3(A) to 3(C), K103, K104, and K105 represent the human body, P101 represents the acquired video angle of view before switching, P102 represents the target angle of view, and E200 represents the angle of view of the imaging device. represents.

図３（Ａ）は、切り替え前画角Ｐ１０１を収録している状態の俯瞰図である。この状態から、切り替え前画角Ｐ１０１を保つようデジタルＰＴＺ制御を行いつつ、目標画角Ｐ１０２が撮像装置画角Ｅ２００に含まれるようＰＴＺ制御を行う。そして、図３（Ｂ）に示すように、撮像装置画角Ｅ２００に切り替え前画角Ｐ１０１及び目標画角Ｐ１０２の双方が含まれるようになる。すると、デジタルＰＴＺ領域を切り替え前画角Ｐ１０１から目標画角Ｐ１０２へ切り替え、目標画角Ｐ１０２へデジタルＰＴＺ制御しつつ、撮像装置画角Ｅ２００が目標画角Ｐ１０２と等しくなるようＰＴＺ制御を行う。そして、図３（Ｃ）に示すように、目標画角Ｐ１０２へのＰＴＺ制御が完了すると、画角切り替えにおけるＰＴＺ制御及びデジタルＰＴＺ制御を終了する。 FIG. 3(A) is an overhead view in which the pre-switching angle of view P101 is recorded. From this state, digital PTZ control is performed to maintain the pre-switching viewing angle P101, and PTZ control is performed so that the target viewing angle P102 is included in the imaging device viewing angle E200. Then, as shown in FIG. 3B, the imaging device angle of view E200 includes both the pre-switching angle of view P101 and the target angle of view P102. Then, the digital PTZ area is switched from the pre-switching angle of view P101 to the target angle of view P102, and while performing digital PTZ control to the target angle of view P102, PTZ control is performed so that the imaging device angle of view E200 becomes equal to the target angle of view P102. Then, as shown in FIG. 3C, when the PTZ control to the target angle of view P102 is completed, the PTZ control and digital PTZ control in switching the angle of view are completed.

次に、第１の実施形態に係る映像収録システム１００の画角切り替え処理について説明する。図４は、第１の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム１００は、ユーザ操作によって起動されると映像収録を開始し、初めにＳ４０１において、撮像装置１１０は、クライアント装置１３０から目標画角情報を取得する。 Next, the view angle switching process of the video recording system 100 according to the first embodiment will be described. FIG. 4 is a flowchart illustrating an example of view angle switching processing according to the first embodiment. The video recording system 100 starts recording video when activated by a user operation, and first, in S401, the imaging device 110 acquires target angle of view information from the client device 130.

次に、Ｓ４０２において、ＰＴＺ制御方法算出部１１９は、目標画角情報入力部１１８から入力された目標画角情報に基づいて、切り替え前画角が見切れない範囲のＰＴＺ操作で、撮像装置画角内に切り替え前後双方の画角を含むことができるか否かを判定する。Ｓ４０２での判定の結果、真（Ｓ４０２でＹＥＳ）である場合にはＳ４０３へ進み、偽（Ｓ４０２でＮＯ）である場合にはＳ４１０へ進む。Ｓ４１０において、ＰＴＺ制御部１２０は、撮像装置の画角が目標画角となるようＰＴＺ駆動装置１１３の動きを制御する。そして、Ｓ４１０の処理の後、画角切り替え処理を終了する。 Next, in S402, the PTZ control method calculation unit 119 adjusts the imaging device's view angle by performing a PTZ operation within a range where the pre-switching view angle cannot be completely covered, based on the target view angle information input from the target view angle information input unit 118. It is determined whether the angle of view before and after switching can be included within the range. If the result of the determination in S402 is true (YES in S402), the process proceeds to S403, and if the result is false (NO in S402), the process proceeds to S410. In S410, the PTZ control unit 120 controls the movement of the PTZ drive device 113 so that the angle of view of the imaging device becomes the target angle of view. After the process of S410, the view angle switching process ends.

Ｓ４０３において、ＰＴＺ制御方法算出部１１９は、目標画角情報入力部１１８から入力された目標画角情報に基づいて、現在の撮像装置画角内に切り替え前後の双方の画角が含まれているか否かを判定する。Ｓ４０３での判定の結果、真（Ｓ４０３でＹＥＳ）である場合にはＳ４０６へ進み、偽（Ｓ４０３でＮＯ）である場合にはＳ４０４へ進む。 In S403, the PTZ control method calculation unit 119 determines, based on the target angle of view information input from the target angle of view information input unit 118, whether the current angle of view of the imaging device includes both angles of view before and after switching. Determine whether or not. If the result of the determination in S403 is true (YES in S403), the process proceeds to S406, and if the result is false (NO in S403), the process proceeds to S404.

Ｓ４０４において、ＰＴＺ制御方法算出部１１９は、目標画角情報入力部１１８から入力された目標画角情報に基づいて、切り替え前画角が見切れない範囲で、目標画角へ近づくＰＴＺ制御方法を算出する。ＰＴＺ制御部１２０は、算出されたＰＴＺ制御方法に基づくＰＴＺ制御情報に従ってＰＴＺ駆動装置１１３を制御し、ＰＴＺ動作を実行する。次に、Ｓ４０５において、デジタルＰＴＺ処理部１１５は、ＰＴＺ制御方法算出部１１９から入力されたデジタルＰＴＺ制御情報に基づいて、切り替え前画角でデジタルＰＴＺ処理を行う。そして、Ｓ４０５の処理の後、Ｓ４０３へ進む。 In S404, the PTZ control method calculation unit 119 calculates a PTZ control method that approaches the target angle of view within a range where the angle of view before switching is not completely covered, based on the target angle of view information input from the target angle of view information input unit 118. do. The PTZ control unit 120 controls the PTZ drive device 113 according to PTZ control information based on the calculated PTZ control method, and executes a PTZ operation. Next, in S405, the digital PTZ processing unit 115 performs digital PTZ processing at the pre-switching angle of view based on the digital PTZ control information input from the PTZ control method calculation unit 119. After the process in S405, the process advances to S403.

Ｓ４０６において、デジタルＰＴＺ処理部１１５は、デジタルＰＴＺ領域を切り替え前画角から目標画角へ切り替える。次に、Ｓ４０７において、ＰＴＺ制御方法算出部１１９は、撮像装置の画角が目標画角と等しいか否かを判定する。Ｓ４０７での判定の結果、偽（Ｓ４０７でＮＯ）の場合にはＳ４０８へ進み、真（Ｓ４０７でＹＥＳ）である場合には画角切り替え処理を終了する。 In S406, the digital PTZ processing unit 115 switches the digital PTZ area from the pre-switching angle of view to the target angle of view. Next, in S407, the PTZ control method calculation unit 119 determines whether the angle of view of the imaging device is equal to the target angle of view. If the result of the determination in S407 is false (NO in S407), the process proceeds to S408, and if the determination is true (YES in S407), the view angle switching process ends.

Ｓ４０８において、ＰＴＺ制御部１２０は、撮像装置の画角が目標画角と等しくなるようＰＴＺ制御を行う。次に、Ｓ４０９において、デジタルＰＴＺ処理部１１５は、目標画角でデジタルＰＴＺ処理を行う。そして、Ｓ４０９の処理の後、Ｓ４０７へ進む。 In S408, the PTZ control unit 120 performs PTZ control so that the angle of view of the imaging device becomes equal to the target angle of view. Next, in S409, the digital PTZ processing unit 115 performs digital PTZ processing at the target angle of view. After the processing in S409, the process advances to S407.

第１の実施形態によれば、切り替え前画角でデジタルＰＴＺ制御を行いつつ、目標画角が撮像装置画角に含まれるようＰＴＺ制御を行い、デジタルＰＴＺ領域を目標画角へ切り替える。これにより、ユーザに違和感を与えることなく、首振り映像のない自然な画角切り替えを行うことができる。 According to the first embodiment, while digital PTZ control is performed at the pre-switching angle of view, PTZ control is performed so that the target angle of view is included in the angle of view of the imaging device, and the digital PTZ area is switched to the target angle of view. As a result, it is possible to perform a natural view angle switching without giving the user a sense of discomfort and without a shaking image.

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
図５は、第２の実施形態における映像収録システム５００の構成例を示すブロック図である。図５において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。映像収録システム５００は、撮像装置５１０及びクライアント装置５３０を有する。撮像装置５１０とクライアント装置５３０とはネットワーク５５０を介して接続されている。撮像装置５１０は、クライアント装置５３０から入力された情報を基に映像を撮影し、クライアント装置５３０へ出力する。クライアント装置５３０は、映像収録装置１３１、及び図示していないモニタ等の映像表示装置、ＰＴＺ操作装置、入力装置、ＰＣ等を有する。クライアント装置５３０は、ユーザの操作情報をネットワーク５５０経由で撮像装置５１０へ出力し、撮像装置５１０から撮影した映像をネットワーク５５０経由で入力されると、映像表示装置での表示や収録を行う。 (Second embodiment)
Next, a second embodiment of the present invention will be described.
FIG. 5 is a block diagram showing a configuration example of a video recording system 500 in the second embodiment. In FIG. 5, components having the same functions as those shown in FIG. Video recording system 500 includes an imaging device 510 and a client device 530. Imaging device 510 and client device 530 are connected via network 550. The imaging device 510 shoots an image based on information input from the client device 530 and outputs it to the client device 530. The client device 530 includes a video recording device 131, a video display device such as a monitor (not shown), a PTZ operating device, an input device, a PC, and the like. The client device 530 outputs user operation information to the imaging device 510 via the network 550, and when the video captured by the imaging device 510 is input via the network 550, displays or records it on the video display device.

撮像装置５１０は、画角切り替え装置５１１、映像入力装置１１２、及びＰＴＺ駆動装置１１３を有する。画角切り替え装置５１１は、映像入力装置１１２から取得した映像情報と、クライアント装置５３０から取得した目標画角情報とに基づいて、ＰＴＺ駆動やデジタルＰＴＺ駆動の動作命令を生成する。画角切り替え装置５１１は、例えば、切り替え前画角を映した状態で、切り替え前画角が撮像装置５１１の画角から外れない限界まで目標画角へ近づくようパン、チルト、及びズームアウトする。その後、目標画角が撮像装置５１１の画角に入るまでパン、チルトするようなＰＴＺ制御命令を出力する。また、その間に切り替え前画角又は目標画角の映像が得られるようにデジタルＰＴＺ制御を行い、映像情報を生成する。画角切り替え装置５１１は、生成したＰＴＺ制御命令をＰＴＺ駆動装置１１３へ出力し、映像情報をクライアント装置５３０へ出力する。 The imaging device 510 includes a view angle switching device 511, a video input device 112, and a PTZ drive device 113. The viewing angle switching device 511 generates an operation command for PTZ driving or digital PTZ driving based on the video information acquired from the video input device 112 and the target viewing angle information acquired from the client device 530. For example, the view angle switching device 511 pans, tilts, and zooms out while displaying the pre-switch angle of view so that the pre-switch view angle approaches the target view angle to the limit that the pre-switch view angle does not deviate from the view angle of the imaging device 511. Thereafter, a PTZ control command for panning and tilting is output until the target angle of view falls within the angle of view of the imaging device 511. Furthermore, during this time, digital PTZ control is performed so that a video at the pre-switching angle of view or the target angle of view is obtained, and video information is generated. View angle switching device 511 outputs the generated PTZ control command to PTZ drive device 113 and outputs video information to client device 530.

画角切り替え装置５１１は、映像入力部１１４、デジタルＰＴＺ処理部１１５、映像配信部１１６、通信部１１７、目標画角情報入力部１１８、ＰＴＺ制御方法算出部５１２、及びＰＴＺ制御部１２０を有する。 The view angle switching device 511 includes a video input section 114, a digital PTZ processing section 115, a video distribution section 116, a communication section 117, a target view angle information input section 118, a PTZ control method calculation section 512, and a PTZ control section 120.

ＰＴＺ制御方法算出部５１２は、目標画角情報入力部１１８から目標画角情報を入力されると、切り替え前画角Ｐ２０１が見切れない範囲でのＰＴＺ操作で、撮像装置の画角内に切り替え前画角と目標画角の双方が含まれるか否かを判定する。切り替え前画角と目標画角の双方が同一画角に含まれると判定した場合、第１の実施形態と同じ処理を行うため説明は省略する。一方、切り替え前画角と目標画角の双方が同一画角に収まらない位置にあると判定した場合、首振り映像を最低限に抑えた画角切り替えに必要なＰＴＺ及びデジタルＰＴＺの制御方法を算出する。ＰＴＺ制御方法算出部５１２は、ＰＴＺ制御情報をＰＴＺ制御部１２０へ出力し、デジタルＰＴＺ制御情報をデジタルＰＴＺ処理部１１５へ出力する。 When the target angle of view information is input from the target angle of view information input unit 118, the PTZ control method calculation unit 512 performs a PTZ operation within a range where the angle of view before switching P201 cannot be completely covered, and adjusts the angle of view before switching to within the angle of view of the imaging device. It is determined whether both the angle of view and the target angle of view are included. If it is determined that both the pre-switching angle of view and the target angle of view are included in the same angle of view, the same processing as in the first embodiment is performed, so a description thereof will be omitted. On the other hand, if it is determined that both the pre-switching angle of view and the target angle of view are not within the same angle of view, the control method for PTZ and digital PTZ necessary for switching the angle of view while minimizing the shaking image is determined. calculate. The PTZ control method calculation unit 512 outputs PTZ control information to the PTZ control unit 120 and outputs digital PTZ control information to the digital PTZ processing unit 115.

映像入力装置１１２は、撮影対象を撮影し映像を生成する装置であり、カメラ等により構成される。映像入力装置１１２は、生成した映像情報を画角切り替え装置５１１へ出力する。ＰＴＺ駆動装置１１３は、画角切り替え装置５１１からＰＴＺ制御命令を受け取ると、モータを駆動してＰＴＺ動作を行う。 The video input device 112 is a device that photographs an object to be photographed and generates a video, and is composed of a camera or the like. The video input device 112 outputs the generated video information to the view angle switching device 511. Upon receiving the PTZ control command from the view angle switching device 511, the PTZ driving device 113 drives a motor to perform a PTZ operation.

図６及び図７を参照して、本実施形態におけるＰＴＺ及びデジタルＰＴＺの制御の流れを説明する。図６は、画角切り替え前後の画角を表す。図６において、Ｋ１０４、Ｋ１０５はそれぞれ人体を表し、Ｐ２０１は映像切り替え前の画角を表し、Ｐ２０２は画角切り替え後の目標画角を表す。図７（Ａ）～図７（Ｄ）は、画角切り替え装置５１１による画角切り替えの流れを表している。図７（Ａ）～図７（Ｄ）において、Ｋ１０４、Ｋ１０５は人体を表し、Ｐ２０１は映像切り替え前の画角を表し、Ｐ２０２は目標画角を表し、Ｅ２００～Ｅ２０３はそれぞれ撮像装置の画角を表す。また、Ｆ２００は切り替え前画角Ｐ２０１を撮像装置の画角に含んだ状態でＰＴＺできる範囲をそれぞれ表す。 The flow of control of PTZ and digital PTZ in this embodiment will be explained with reference to FIGS. 6 and 7. FIG. 6 shows the angle of view before and after switching the angle of view. In FIG. 6, K104 and K105 each represent a human body, P201 represents the angle of view before video switching, and P202 represents the target angle of view after switching the viewing angle. 7(A) to FIG. 7(D) show the flow of view angle switching by the view angle switching device 511. In FIGS. 7(A) to 7(D), K104 and K105 represent the human body, P201 represents the angle of view before video switching, P202 represents the target angle of view, and E200 to E203 represent the angle of view of the imaging device, respectively. represents. Further, F200 each represents a range in which PTZ can be performed in a state where the pre-switching angle of view P201 is included in the angle of view of the imaging device.

図７（Ａ）は、切り替え前画角Ｐ２０１を収録している状態の俯瞰図である。この状態から、切り替え前画角Ｐ２０１を保つようデジタルＰＴＺ制御を行いつつ、撮像装置の画角が目標画角Ｐ２０２へ限界まで近づくようＰＴＺ制御する。図７（Ｂ）は、撮像装置の画角が目標画角Ｐ２０２へ限界まで近づくようＰＴＺ制御した状態の俯瞰図であり、Ｅ２０１がその時の撮像装置の画角を表している。このとき、広角端までズームアウトしている。図７（Ｂ）の状態から、撮像装置の画角が目標画角Ｐ２０２を含むまでＰＴ制御する。ＰＴし終えた状態が図７（Ｃ）である。撮像装置の画角Ｅ２０２に目標画角Ｐ２０２が含まれ次第、目標画角Ｐ２０２でデジタルＰＴＺ制御を行う。目標画角Ｐ２０２でデジタルＰＴＺ制御を行いつつ、撮像装置の画角Ｅ２０３が目標画角Ｐ２０２と等しくなるまでＰＴＺ制御を行い、画角切り替えを完了した状態が図７（Ｄ）である。 FIG. 7(A) is an overhead view in which the pre-switching angle of view P201 is recorded. From this state, digital PTZ control is performed to maintain the pre-switching angle of view P201, and PTZ control is performed so that the angle of view of the imaging device approaches the target angle of view P202 to the limit. FIG. 7B is an overhead view of a state in which PTZ control is performed so that the angle of view of the imaging device approaches the target angle of view P202 to the limit, and E201 represents the angle of view of the imaging device at that time. At this time, the camera is zoomed out to the wide-angle end. From the state shown in FIG. 7B, PT control is performed until the angle of view of the imaging device includes the target angle of view P202. The state after PT is shown in FIG. 7(C). As soon as the target angle of view P202 is included in the angle of view E202 of the imaging device, digital PTZ control is performed using the target angle of view P202. FIG. 7D shows a state in which the digital PTZ control is performed at the target angle of view P202 until the angle of view E203 of the imaging device becomes equal to the target angle of view P202, and the switching of the angle of view is completed.

次に、第２の実施形態に係る映像収録システム５００の画角切り替え処理について説明する。図８は、第２の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム５００は、ユーザ操作によって起動されると映像収録を開始し、初めにＳ８０１において、目標画角情報入力部１１８は、目標画角情報を取得する。 Next, the view angle switching process of the video recording system 500 according to the second embodiment will be described. FIG. 8 is a flowchart illustrating an example of view angle switching processing according to the second embodiment. The video recording system 500 starts recording video when activated by a user operation, and first, in S801, the target angle of view information input unit 118 acquires target angle of view information.

次に、Ｓ８０２において、ＰＴＺ制御方法算出部５１２は、切り替え前画角が見切れない範囲でのＰＴＺ操作で、撮像装置の画角内に切り替え前画角と目標画角の双方が含まれるか否かを判定する。Ｓ８０２での判定の結果、真（Ｓ８０２でＹＥＳ）である場合にはＳ８０３へ進み、偽（Ｓ８０２でＮＯ）である場合にはＳ８１０へ進む。 Next, in S802, the PTZ control method calculation unit 512 determines whether both the pre-switching angle of view and the target angle of view are included in the angle of view of the imaging device by performing a PTZ operation in a range where the angle of view before switching cannot be completely covered. Determine whether If the result of the determination in S802 is true (YES in S802), the process advances to S803, and if the determination result is false (NO in S802), the process advances to S810.

Ｓ８１０において、ＰＴＺ制御方法算出部５１２は、目標画角情報入力部１１８から入力された目標画角情報に基づいて、切り替え前画角が見切れない範囲で目標画角へ近づくＰＴＺ制御方法を算出する。ＰＴＺ制御部１２０は、算出されたＰＴＺ制御方法に基づくＰＴＺ制御情報に従ってＰＴＺ駆動装置１１３を制御し、ＰＴＺ動作を実行する。次に、Ｓ８１１において、デジタルＰＴＺ処理部１１５は、ＰＴＺ制御方法算出部５１２から入力されたデジタルＰＴＺ制御情報に基づいて、切り替え前画角でデジタルＰＴＺ処理を行う。 In S<b>810 , the PTZ control method calculation unit 512 calculates a PTZ control method that approaches the target angle of view within a range that does not completely cover the pre-switching angle of view, based on the target angle of view information input from the target angle of view information input unit 118 . . The PTZ control unit 120 controls the PTZ drive device 113 according to PTZ control information based on the calculated PTZ control method, and executes a PTZ operation. Next, in S811, the digital PTZ processing unit 115 performs digital PTZ processing at the pre-switching angle of view based on the digital PTZ control information input from the PTZ control method calculation unit 512.

次に、Ｓ８１２において、ＰＴＺ制御方法算出部５１２は、ＰＴＺ制御して限界まで撮像装置の画角が目標画角に近づき、広角端までズームアウトしたか否かを判定する。Ｓ８１２での判定の結果、真（Ｓ８１２でＹＥＳ）である場合にはＳ８１３へ進み、偽（Ｓ８１２でＮＯ）である場合にはＳ８１０へ進む。 Next, in S812, the PTZ control method calculation unit 512 determines whether the angle of view of the imaging device has approached the target angle of view to the limit by performing PTZ control and has zoomed out to the wide-angle end. If the result of the determination in S812 is true (YES in S812), the process advances to S813, and if the determination is false (NO in S812), the process advances to S810.

Ｓ８１３において、ＰＴＺ制御部１２０は、ＰＴＺ制御方法算出部５１２から入力されたＰＴＺ制御情報に基づいて、目標画角が撮像装置の画角内に含まれるようＰＴ制御を行う。次に、Ｓ８１４において、ＰＴＺ制御方法算出部５１２は、撮像装置の画角内に目標画角が含まれたか否かを判定する。Ｓ８１４での判定の結果、真（Ｓ８１４でＹＥＳ）である場合にはＳ８０６へ進み、偽（Ｓ８１４でＮＯ）である場合にはＳ８１３へ進む。 In S813, the PTZ control unit 120 performs PT control based on the PTZ control information input from the PTZ control method calculation unit 512 so that the target angle of view is included within the angle of view of the imaging device. Next, in S814, the PTZ control method calculation unit 512 determines whether the target angle of view is included in the angle of view of the imaging device. If the result of the determination in S814 is true (YES in S814), the process advances to S806, and if the result is false (NO in S814), the process advances to S813.

なお、Ｓ８０３～Ｓ８０９の処理については、図４に示した第１の実施形態におけるＳ４０３～Ｓ４０９の処理と同様であるので、説明は省略する。 Note that the processing from S803 to S809 is the same as the processing from S403 to S409 in the first embodiment shown in FIG. 4, so a description thereof will be omitted.

以上のように、第２の実施形態では、切り替え前画角でデジタルＰＴＺ制御を行いつつ、切り替え前画角が撮像装置の画角から外れない限界まで目標画角へ近づくようパン、チルト及びズームアウトする。その後、目標画角が撮像装置の画角に入るまでパン、チルトし、目標画角が撮像装置の画角に入り次第、目標画角となるようデジタルＰＴＺ制御を行うことで、首振り映像を最低限に抑えた画角切り替えを行うことができる。 As described above, in the second embodiment, while digital PTZ control is performed using the angle of view before switching, panning, tilting, and zooming are performed so that the angle of view before switching approaches the target angle of view to the limit that does not deviate from the angle of view of the imaging device. Go out. After that, the camera pans and tilts until the target angle of view enters the angle of view of the imaging device, and as soon as the target angle of view enters the angle of view of the imaging device, performs digital PTZ control to achieve the target angle of view. You can switch the angle of view to a minimum.

（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
図９は、第３の実施形態における映像収録システム９００の構成例を示すブロック図である。図９において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。映像収録システム９００は、撮像装置９１０及びクライアント装置９３０を有する。撮像装置９１０とクライアント装置９３０とはネットワーク９５０を介して接続されている。撮像装置９１０は、クライアント装置９３０から入力された情報を基に映像を撮影し、クライアント装置９３０へ出力する。クライアント装置９３０は、映像収録装置１３１、及び図示していないモニタ等の映像表示装置、ＰＴＺ操作装置、入力装置、ＰＣ等を有する。クライアント装置９３０は、ユーザの操作情報をネットワーク９５０経由で撮像装置９１０へ出力し、撮像装置９１０から撮影した映像をネットワーク９５０経由で入力されると、映像表示装置での表示や収録を行う。 (Third embodiment)
Next, a third embodiment of the present invention will be described.
FIG. 9 is a block diagram showing a configuration example of a video recording system 900 in the third embodiment. In FIG. 9, components having the same functions as those shown in FIG. Video recording system 900 includes an imaging device 910 and a client device 930. The imaging device 910 and the client device 930 are connected via a network 950. The imaging device 910 shoots an image based on information input from the client device 930 and outputs it to the client device 930. The client device 930 includes a video recording device 131, a video display device such as a monitor (not shown), a PTZ operating device, an input device, a PC, and the like. The client device 930 outputs user operation information to the imaging device 910 via the network 950, and when a video shot from the imaging device 910 is input via the network 950, displays or records it on a video display device.

撮像装置９１０は、画角切り替え装置９１１、映像入力装置１１２、及びＰＴＺ駆動装置１１３を有する。画角切り替え装置９１１は、映像入力装置１１２から取得した映像情報と、クライアント装置９３０から取得した画角切り替え条件とに基づいて、目標物の探索を行い、検出し次第目標画角を決定し、ＰＴＺ駆動及びデジタルＰＴＺ駆動の動作命令を生成する。画角切り替え装置９１１は、例えば、切り替え前画角を撮像装置の画角内に含んだ状態でＰＴＺ制御し、目標画角条件を満たす領域を検出し次第、目標画角を決定する。目標画角決定後は、切り替え前画角と目標画角とを同一画角に収めた後、撮像装置の画角が目標画角になるようＰＴＺ制御命令を出力する。また、その間に目標画角の映像が得られるようにデジタルＰＴＺ制御を行う。画角切り替え装置９１１は、生成したＰＴＺ制御命令をＰＴＺ駆動装置１１３へ出力し、映像情報を映像収録装置１３１へ出力する。 The imaging device 910 includes a view angle switching device 911, a video input device 112, and a PTZ drive device 113. The viewing angle switching device 911 searches for a target based on the video information acquired from the video input device 112 and the viewing angle switching conditions acquired from the client device 930, and determines the target viewing angle as soon as it is detected. Generate operation commands for PTZ drive and digital PTZ drive. For example, the view angle switching device 911 performs PTZ control in a state where the pre-switching view angle is included in the view angle of the imaging device, and determines the target view angle upon detecting an area that satisfies the target view angle condition. After determining the target angle of view, the pre-switching angle of view and the target angle of view are set to the same angle of view, and then a PTZ control command is output so that the angle of view of the imaging device becomes the target angle of view. In addition, digital PTZ control is performed during this time so that an image at the target angle of view is obtained. The view angle switching device 911 outputs the generated PTZ control command to the PTZ driving device 113 and outputs video information to the video recording device 131.

画角切り替え装置９１１は、映像入力部１１４、目標物検出部９１２、デジタルＰＴＺ処理部９１３、映像配信部１１６、通信部９１４、画角切り替え条件入力部９１５、探索ルート算出部９１６、ＰＴＺ制御方法算出部９１７、ＰＴＺ制御部１２０を有する。 The view angle switching device 911 includes a video input unit 114, a target object detection unit 912, a digital PTZ processing unit 913, a video distribution unit 116, a communication unit 914, a view angle switching condition input unit 915, a search route calculation unit 916, and a PTZ control method. It includes a calculation section 917 and a PTZ control section 120.

目標物検出部９１２は、映像入力部１１４から映像情報を入力され、画角切り替え条件入力部９１５から画角切り替え条件として目標検出情報を入力されると、映像上で検出処理を行い、目標物座標情報をＰＴＺ制御方法算出部９１７へ出力する。目標検出情報として“人体検出結果が映る画角”が入力された場合の検出および画角決定処理の流れを、図１０を参照して説明する。本実施形態では人体の検出処理にテンプレートマッチング法を用いるが、公知の技術であるため詳細な説明は省略する。 When the target detection unit 912 receives video information from the video input unit 114 and inputs target detection information as a viewing angle switching condition from the viewing angle switching condition input unit 915, it performs detection processing on the video and detects the target object. The coordinate information is output to the PTZ control method calculation unit 917. The flow of the detection and view angle determination process when "the view angle at which the human body detection result is reflected" is input as the target detection information will be described with reference to FIG. In this embodiment, a template matching method is used for human body detection processing, but since it is a known technique, detailed explanation will be omitted.

図１０（Ａ）～図１０（Ｆ）は、映像収録システム９００を用いた撮影の俯瞰図である。図１０（Ａ）～図１０（Ｆ）において、Ｋ３０４、Ｋ３０５は人体を表し、Ｐ３０１は切り替え前画角を表し、Ｚ３２０～Ｚ３２５はそれぞれ入力された探索ルート上の撮像装置の画角を表し、Ｆ３００は探索可能範囲を表し、Ｄ３０１は検知結果矩形を表す。図１０（Ｂ）～図１０（Ｆ）において、目標物検出部９１２は、撮像装置の各画角での画像上で人体検出処理を行い、結果をＰＴＺ制御方法算出部９１７へ出力する。人体が検出されない図１０（Ｂ）～図１０（Ｅ）においては、その結果をＰＴＺ制御方法算出部９１７へ出力する。図１０（Ｆ）において、人体Ｋ３０５が検出されると、目標物座標情報をＰＴＺ制御方法算出部９１７へ出力する。 10(A) to FIG. 10(F) are bird's-eye views of imaging using the video recording system 900. In FIGS. 10(A) to 10(F), K304 and K305 represent the human body, P301 represents the angle of view before switching, and Z320 to Z325 represent the angle of view of the imaging device on the input search route, respectively. F300 represents a searchable range, and D301 represents a detection result rectangle. 10(B) to FIG. 10(F), the target object detection unit 912 performs human body detection processing on the image at each viewing angle of the imaging device, and outputs the result to the PTZ control method calculation unit 917. In FIGS. 10B to 10E, where no human body is detected, the results are output to the PTZ control method calculation unit 917. In FIG. 10(F), when a human body K305 is detected, target object coordinate information is output to the PTZ control method calculation unit 917.

デジタルＰＴＺ処理部９１３は、ＰＴＺ制御方法算出部９１７からデジタルＰＴＺ制御情報を入力され、目標物検出部９１２から映像情報を入力されると、デジタルＰＴＺ制御を行って所定の画角での映像情報を映像配信部１１６へ出力する。デジタルＰＴＺ処理部９１３は、デジタルズームに係る処理を行う第２のパン・チルト制御手段及びパン・チルトに係る処理を行う第２のズーム制御手段の一例である。通信部９１４は、映像配信部１１６から入力された映像情報を映像収録装置１３１へ出力する。また、通信部９１４は、クライアント装置９３０によって入力された画角切り替え条件を画角切り替え条件入力部９１５へ出力する。画角切り替え条件は、少なくとも目標検出情報と探索方法情報を含む。目標検出情報としては、顔認証、人体検出、物体検出、音声検出等の各種検出条件が挙げられる。探索方法としては、時計回り、反時計回り、巡回プリセット等が挙げられる。 When the digital PTZ processing unit 913 receives digital PTZ control information from the PTZ control method calculation unit 917 and video information from the target object detection unit 912, it performs digital PTZ control to generate video information at a predetermined angle of view. is output to the video distribution section 116. The digital PTZ processing unit 913 is an example of a second pan/tilt control unit that performs processing related to digital zoom and a second zoom control unit that performs processing related to pan/tilt. The communication unit 914 outputs the video information input from the video distribution unit 116 to the video recording device 131. Furthermore, the communication unit 914 outputs the viewing angle switching condition input by the client device 930 to the viewing angle switching condition input unit 915. The viewing angle switching condition includes at least target detection information and search method information. The target detection information includes various detection conditions such as face authentication, human body detection, object detection, and voice detection. Search methods include clockwise, counterclockwise, cyclic preset, and the like.

画角切り替え条件入力部９１５は、通信部９１４から画角切り替え条件を入力されると、探索方法情報を探索ルート算出部９１６へ出力し、目標検出情報を目標物検出部９１２へ出力する。 When the view angle switching condition input unit 915 receives the view angle switching condition from the communication unit 914 , it outputs search method information to the search route calculation unit 916 and target detection information to the target object detection unit 912 .

探索ルート算出部９１６は、画角切り替え条件入力部９１５から探索方法情報を入力されると、切り替え前画角が撮像装置の画角から見切れない範囲で目標物の探索ルートを算出し、ＰＴＺ制御方法算出部９１７へ出力する。探索方法情報として反時計回りの探索が入力された場合の探索ルート算出方法について、図１１（Ａ）～図１１（Ｆ）を参照して説明する。図１１（Ａ）～図１１（Ｆ）は映像収録システムを用いた撮影の俯瞰図である。図１１（Ａ）～図１１（Ｆ）において、Ｋ３０４は人体を表し、Ｐ３０１は切り替え前画角を表し、Ｚ３２０～Ｚ３２５はそれぞれ撮像装置の画角を表す。また、Ｆ３００は探索可能範囲を表す。 When the search method information is input from the view angle switching condition input unit 915, the search route calculation unit 916 calculates a search route for the target within a range where the view angle before switching cannot be seen from the view angle of the imaging device, and performs PTZ control. It is output to the method calculation unit 917. A search route calculation method when a counterclockwise search is input as search method information will be described with reference to FIGS. 11(A) to 11(F). FIGS. 11(A) to 11(F) are bird's-eye views of imaging using the video recording system. In FIGS. 11A to 11F, K304 represents a human body, P301 represents the angle of view before switching, and Z320 to Z325 represent the angle of view of the imaging device, respectively. Further, F300 represents a searchable range.

探索方法情報として、例えば反時計回りの探索が入力された場合、探索ルート算出部９１６は、切り替え前画角Ｐ３０１から、広角端までズームアウトした撮像装置の画角Ｚ３２１の座標情報を算出する。次に、切り替え前画角Ｐ３０１の右下の座標が広角端までズームアウトした画角の右下の座標と等しくなるような画角Ｚ３２２、切り替え前画角Ｐ３０１の右上の座標が広角端までズームアウトした画角の右上の座標と等しくなる画角Ｚ３２３を算出する。続いて、切り替え前画角Ｐ３０１の左上の座標が広角端までズームアウトした画角の左上の座標と等しくなる画角Ｚ３２４、切り替え前画角Ｐ３０１の左下の座標が広角端までズームアウトした画角の左下の座標と等しくなる画角Ｚ３２５を算出する。探索ルート算出部９１６は、画角Ｚ３２１～Ｚ３２５の座標を、探索ルート情報としてＰＴＺ制御方法算出部９１７へ出力する。 If, for example, a counterclockwise search is input as the search method information, the search route calculation unit 916 calculates coordinate information of the viewing angle Z321 of the imaging device zoomed out from the pre-switching viewing angle P301 to the wide-angle end. Next, the angle of view Z322 is such that the coordinates of the lower right of the angle of view before switching P301 are equal to the coordinates of the lower right of the angle of view zoomed out to the wide-angle end, and the coordinates of the upper right of the angle of view before switching P301 are zoomed out to the wide-angle end. An angle of view Z323 that is equal to the upper right coordinates of the out-of-view angle is calculated. Next, the angle of view Z324 where the upper left coordinates of the angle of view before switching P301 are equal to the upper left coordinates of the angle of view zoomed out to the wide-angle end, and the angle of view Z324 where the coordinates of the lower left of the angle of view before switching P301 are zoomed out to the wide-angle end. An angle of view Z325 that is equal to the lower left coordinates of is calculated. The search route calculation unit 916 outputs the coordinates of the viewing angles Z321 to Z325 to the PTZ control method calculation unit 917 as search route information.

ＰＴＺ制御方法算出部９１７は、探索ルート算出部９１６から探索ルート情報を入力されると、探索に必要なＰＴＺ制御情報をＰＴＺ制御部１２０へ出力し、デジタルＰＴＺ制御情報をデジタルＰＴＺ処理部９１３へ出力する。ＰＴＺ制御方法算出部９１７は、目標物検出部９１２から目標物座標が入力されると、目標画角を決定して、首振り映像のない画角切り替えに必要なＰＴＺ及びデジタルＰＴＺの制御方法を算出する。ＰＴＺ制御方法算出部９１７は、ＰＴＺ制御情報をＰＴＺ制御部１２０へ出力し、デジタルＰＴＺ制御情報をデジタルＰＴＺ処理部９１３へ出力する。 Upon receiving the search route information from the search route calculation unit 916, the PTZ control method calculation unit 917 outputs the PTZ control information necessary for the search to the PTZ control unit 120, and sends the digital PTZ control information to the digital PTZ processing unit 913. Output. When the target object coordinates are input from the target object detection section 912, the PTZ control method calculation section 917 determines the target angle of view and calculates the control method of PTZ and digital PTZ necessary for switching the angle of view without shaking images. calculate. The PTZ control method calculation unit 917 outputs PTZ control information to the PTZ control unit 120 and outputs digital PTZ control information to the digital PTZ processing unit 913.

映像入力装置１１２は、撮影対象を撮影し映像を生成する装置であり、カメラ等により構成される。映像入力装置１１２は、生成した映像情報を画角切り替え装置９１１へ出力する。ＰＴＺ駆動装置１１３は、画角切り替え装置９１１からＰＴＺ制御命令を受け取ると、モータを駆動してＰＴＺ動作を行う。 The video input device 112 is a device that photographs an object to be photographed and generates a video, and is composed of a camera or the like. The video input device 112 outputs the generated video information to the view angle switching device 911. Upon receiving the PTZ control command from the view angle switching device 911, the PTZ driving device 113 drives a motor to perform a PTZ operation.

次に、第３の実施形態に係る映像収録システム９００の画角切り替え処理について説明する。図１２は、第３の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム９００は、ユーザ操作によって起動されると映像収録を開始し、初めにＳ１２０１において、不図示のユーザ操作によって入力された画角切り替え条件を取得する。 Next, the view angle switching process of the video recording system 900 according to the third embodiment will be described. FIG. 12 is a flowchart illustrating an example of view angle switching processing according to the third embodiment. When the video recording system 900 is activated by a user operation, it starts recording video, and first, in S1201, obtains a view angle switching condition input by a user operation (not shown).

次に、Ｓ１２０２において、探索ルート算出部９１６は、画角切り替え条件入力部９１５に入力された探索方法情報に基づいて、切り替え前画角が撮像装置の画角から見切れない範囲での探索ルートを算出する。次に、Ｓ１２０３において、ＰＴＺ制御方法算出部９１７は、ズームアウトするＰＴＺ制御情報をＰＴＺ制御部１２０へ出力する。次に、Ｓ１２０４において、デジタルＰＴＺ処理部９１３は、ＰＴＺ制御方法算出部９１７から入力されたデジタルＰＴＺ制御情報に基づいて、切り替え前画角でデジタルＰＴＺ処理を行う。 Next, in S1202, the search route calculation unit 916 calculates a search route in a range where the pre-switching angle of view cannot be seen from the angle of view of the imaging device, based on the search method information input to the angle of view switching condition input unit 915. calculate. Next, in S1203, the PTZ control method calculation unit 917 outputs PTZ control information for zooming out to the PTZ control unit 120. Next, in S1204, the digital PTZ processing unit 913 performs digital PTZ processing at the pre-switching angle of view based on the digital PTZ control information input from the PTZ control method calculation unit 917.

次に、Ｓ１２０５において、ＰＴＺ制御方法算出部９１７は、撮像装置の画角が広角端までズームアウトされたか否かを判定する。Ｓ１２０５での判定の結果、真（Ｓ１２０５でＹＥＳ）である場合にはＳ３０６へ進み、偽（Ｓ１２０５でＮＯ）である場合にはＳ１２０３へ進む。Ｓ１２０６において、目標物検出部９１２は、目標検出情報に対応する探索対象が検出されたか否かを判定する。Ｓ１２０６での判定の結果、偽（Ｓ１２０６でＮＯ）である場合にはＳ１２０７へ進み、真（Ｓ１２０６でＹＥＳ）である場合にはＳ１２０９へ進む。 Next, in S1205, the PTZ control method calculation unit 917 determines whether the angle of view of the imaging device has been zoomed out to the wide-angle end. If the result of the determination in S1205 is true (YES in S1205), the process advances to S306, and if the determination result is false (NO in S1205), the process advances to S1203. In S1206, the target detection unit 912 determines whether a search target corresponding to the target detection information has been detected. If the result of the determination in S1206 is false (NO in S1206), the process advances to S1207, and if the determination is true (YES in S1206), the process advances to S1209.

Ｓ１２０７において、ＰＴＺ制御部１２０は、ＰＴＺ制御方法算出部９１７からＰＴ制御情報を入力されると、探索ルート上でのＰＴ制御命令をＰＴＺ駆動装置１１３へ出力する。次に、Ｓ１２０８において、デジタルＰＴＺ処理部９１３は、ＰＴＺ制御方法算出部９１７から入力されたデジタルＰＴＺ制御情報に基づいて、切り替え前画角でデジタルＰＴＺ処理を行う。そして、Ｓ１２０８の処理の後、Ｓ１２０６へ進む。 In S1207, upon receiving the PT control information from the PTZ control method calculation unit 917, the PTZ control unit 120 outputs a PT control command on the search route to the PTZ driving device 113. Next, in S1208, the digital PTZ processing unit 913 performs digital PTZ processing at the pre-switching angle of view based on the digital PTZ control information input from the PTZ control method calculation unit 917. After the processing in S1208, the process advances to S1206.

Ｓ１２０９において、ＰＴＺ制御方法算出部９１７は、探索対象を含む目標画角を決定する。次に、Ｓ１２１０において、デジタルＰＴＺ処理部９１３は、ＰＴＺ制御方法算出部９１７から入力されたデジタルＰＴＺ制御情報に基づいて、目標画角となるようデジタルＰＴＺ処理を行う。次に、Ｓ１２１１において、ＰＴＺ制御方法算出部９１７は、撮像装置の画角が目標画角と等しいか否かを判定する。Ｓ１２１１での判定の結果、偽（Ｓ１２１１でＮＯ）の場合にはＳ１２１２へ進み、真（Ｓ１２１１でＹＥＳ）である場合には画角切り替え処理を終了する。 In S1209, the PTZ control method calculation unit 917 determines a target angle of view that includes the search target. Next, in S1210, the digital PTZ processing unit 913 performs digital PTZ processing to obtain the target angle of view based on the digital PTZ control information input from the PTZ control method calculation unit 917. Next, in S1211, the PTZ control method calculation unit 917 determines whether the angle of view of the imaging device is equal to the target angle of view. If the result of the determination in S1211 is false (NO in S1211), the process advances to S1212, and if the determination is true (YES in S1211), the view angle switching process ends.

Ｓ１２１２において、ＰＴＺ制御部１２０は、ＰＴＺ制御方法算出部９１７から入力されたＰＴＺ制御情報に基づいて、撮像装置の画角が目標画角と等しくなるようＰＴＺ制御を行う。次に、Ｓ１２１３において、デジタルＰＴＺ処理部９１３は、ＰＴＺ制御方法算出部９１７から入力されたデジタルＰＴＺ制御情報に基づいて、目標画角となるようデジタルＰＴＺ処理を行う。そして、Ｓ１２１３の処理の後、Ｓ１２１１へ進む。 In S1212, the PTZ control unit 120 performs PTZ control so that the angle of view of the imaging device becomes equal to the target angle of view, based on the PTZ control information input from the PTZ control method calculation unit 917. Next, in S1213, the digital PTZ processing unit 913 performs digital PTZ processing to obtain the target angle of view based on the digital PTZ control information input from the PTZ control method calculation unit 917. After the processing in S1213, the process advances to S1211.

以上のように、第３の実施形態では、ユーザが設定した画角変更条件を満たす画角への映像切り替えを行う場合、切り替え前画角でデジタルＰＴＺ制御を行いつつ、探索ルート上でＰＴＺ制御を行う。そして、ユーザが設定した画角変更条件を満たす目標物を検出し次第、目標画角を決定して、デジタルＰＴＺ領域を目標画角へ切り替えることで、首振り映像のない自然な画角切り替えを行うことができる。 As described above, in the third embodiment, when switching the video to an angle of view that satisfies the angle of view change conditions set by the user, digital PTZ control is performed at the angle of view before switching, and PTZ control is performed on the search route. I do. Then, as soon as a target that satisfies the viewing angle change conditions set by the user is detected, the target viewing angle is determined and the digital PTZ area is switched to the target viewing angle, allowing natural viewing angle switching without shaking images. It can be carried out.

（第４の実施形態）
次に、本発明の第４の実施形態について説明する。
図１３は、第４の実施形態における映像収録システム１３００の構成例を示すブロック図である。図１３において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。映像収録システム１３００は、撮像装置１３１０及びクライアント装置１３３０を有する。撮像装置１３１０とクライアント装置１３３０とはネットワーク１３５０を介して接続されている。撮像装置１３１０は、クライアント装置１３３０から入力された情報を基に映像を撮影し、クライアント装置１３３０へ出力する。クライアント装置１３３０は、映像収録装置１３１、及び図示していないモニタ等の映像表示装置、ＰＴＺ操作装置、入力装置、ＰＣ等を有する。クライアント装置１３３０は、ユーザの操作情報をネットワーク１３５０経由で撮像装置１３１０へ出力し、撮像装置１３１０から撮影した映像をネットワーク１３５０経由で入力されると、映像表示装置での表示や収録を行う。 (Fourth embodiment)
Next, a fourth embodiment of the present invention will be described.
FIG. 13 is a block diagram showing a configuration example of a video recording system 1300 in the fourth embodiment. In FIG. 13, components having the same functions as those shown in FIG. 1 are denoted by the same reference numerals, and redundant explanations will be omitted. Video recording system 1300 includes an imaging device 1310 and a client device 1330. The imaging device 1310 and the client device 1330 are connected via a network 1350. The imaging device 1310 captures an image based on information input from the client device 1330 and outputs it to the client device 1330. The client device 1330 includes a video recording device 131, a video display device such as a monitor (not shown), a PTZ operating device, an input device, a PC, and the like. The client device 1330 outputs user operation information to the imaging device 1310 via the network 1350, and when a video shot from the imaging device 1310 is input via the network 1350, displays or records it on a video display device.

撮像装置１３１０は、画角切り替え装置１３１１、映像入力装置１１２、及びＰＴＺ駆動装置１１３を有する。画角切り替え装置１３１１は、映像入力装置１１２から取得した映像上での目標画角を、不図示のユーザ操作によって選択させ、目標画角へ首振り映像を含まずに切り替えられるよう、ＰＴＺ駆動及びデジタルＰＴＺ駆動の動作命令を生成する。画角切り替え装置１３１１は、例えば、切り替え前画角を撮像装置の画角内に含んだ状態で、クライアント装置１３３０からのユーザＰＴＺ操作情報に基づいてＰＴＺ制御し、不図示のユーザによる目標画角の選択を待つ。その間、切り替え前画角でデジタルＰＴＺ制御を行う。目標画角が選択され次第、切り替え前画角と目標画角とを同一画角に収め、撮像装置の画角が目標画角になるようＰＴＺ制御命令を出力する。また、その間に目標画角の映像が得られるようにデジタルＰＴＺ制御を行う。画角切り替え装置１３１１は、生成したＰＴＺ制御命令をＰＴＺ駆動装置１１３へ出力し、操作用俯瞰映像情報と収録用映像情報をクライアント装置１３３０へ出力する。 The imaging device 1310 includes a view angle switching device 1311, a video input device 112, and a PTZ drive device 113. The view angle switching device 1311 selects a target view angle on the video acquired from the video input device 112 by a user operation (not shown), and uses PTZ drive and PTZ drive so that the target view angle can be switched to the target view angle without including the shaking video. Generate digital PTZ drive operation commands. For example, the view angle switching device 1311 performs PTZ control based on user PTZ operation information from the client device 1330 with the pre-switching view angle included in the view angle of the imaging device, and sets a target view angle by a user (not shown). Wait for your selection. During this time, digital PTZ control is performed at the angle of view before switching. As soon as the target angle of view is selected, a PTZ control command is output so that the angle of view before switching and the target angle of view are the same, and the angle of view of the imaging device becomes the target angle of view. In addition, digital PTZ control is performed during this time so that an image at the target angle of view is obtained. The view angle switching device 1311 outputs the generated PTZ control command to the PTZ drive device 113, and outputs the overhead video information for operation and the video information for recording to the client device 1330.

画角切り替え装置１３１１は、映像入力部１３１２、デジタルＰＴＺ処理部１１５、映像配信部１３１６、通信部１３１３、ＰＴＺ制御情報入力部１３１４、ＰＴＺ制御方法算出部１３１５、及びＰＴＺ制御部１２０を有する。映像入力部１３１２は、映像入力装置１１２で撮像された映像情報を取得し、デジタルＰＴＺ処理部１１５及び映像配信部１３１６へ出力する。 The view angle switching device 1311 includes a video input section 1312, a digital PTZ processing section 115, a video distribution section 1316, a communication section 1313, a PTZ control information input section 1314, a PTZ control method calculation section 1315, and a PTZ control section 120. The video input unit 1312 acquires video information captured by the video input device 112 and outputs it to the digital PTZ processing unit 115 and the video distribution unit 1316.

映像配信部１３１６は、映像入力部１３１２から操作用俯瞰映像情報を入力され、デジタルＰＴＺ処理部１１５から収録用映像情報を入力されると、通信部１３１３へ出力する。通信部１３１３は、映像配信部１３１６から入力された操作用俯瞰映像情報と収録用映像情報をクライアント装置１３３０へ出力する。また、通信部１３１３は、クライアント装置１３３０から入力されたＰＴＺ制御情報を、ＰＴＺ制御情報入力部１３１４へ出力する。ＰＴＺ制御情報は、少なくとも切り替えユーザＰＴＺ操作情報、ユーザ画角選択情報を含む。ＰＴＺ制御情報入力部１３１４は、通信部１３１３からＰＴＺ制御情報を入力されると、ユーザＰＴＺ操作情報及びユーザ画角選択情報をＰＴＺ制御方法算出部１３１５へ出力する。 When the video distribution unit 1316 receives the overhead video information for operation from the video input unit 1312 and receives the video information for recording from the digital PTZ processing unit 115, it outputs the information to the communication unit 1313. The communication unit 1313 outputs the operational overhead video information and recording video information input from the video distribution unit 1316 to the client device 1330. Further, the communication unit 1313 outputs the PTZ control information input from the client device 1330 to the PTZ control information input unit 1314. The PTZ control information includes at least switching user PTZ operation information and user view angle selection information. Upon receiving the PTZ control information from the communication unit 1313, the PTZ control information input unit 1314 outputs user PTZ operation information and user view angle selection information to the PTZ control method calculation unit 1315.

ＰＴＺ制御方法算出部１３１５は、ＰＴＺ制御情報入力部１３１４からユーザＰＴＺ操作情報を入力されると、撮像装置の画角内に切り替え前画角が含まれるＰＴＺ操作かどうかを判定する。撮像装置の画角内に切り替え前画角が含まれると判定した場合には、ＰＴＺ制御方法算出部１３１５は、ＰＴＺ制御情報をＰＴＺ制御部１２０へ出力し、デジタルＰＴＺ制御情報をデジタルＰＴＺ処理部１１５へ出力する。一方、撮像装置の画角内に切り替え前画角が含まれないと判定した場合には、ＰＴＺ制御方法算出部１３１５は、ＰＴＺ制御は行わず、デジタルＰＴＺ制御情報をデジタルＰＴＺ処理部１１５へ出力する。ユーザ操作制御の流れを、図１４を参照して説明する。 When the PTZ control method calculation unit 1315 receives user PTZ operation information from the PTZ control information input unit 1314, it determines whether the PTZ operation includes the pre-switching angle of view within the angle of view of the imaging device. If it is determined that the pre-switching angle of view is included in the angle of view of the imaging device, the PTZ control method calculation unit 1315 outputs the PTZ control information to the PTZ control unit 120, and outputs the digital PTZ control information to the digital PTZ processing unit. Output to 115. On the other hand, if it is determined that the pre-switching angle of view is not included in the angle of view of the imaging device, the PTZ control method calculation unit 1315 does not perform PTZ control and outputs digital PTZ control information to the digital PTZ processing unit 115. do. The flow of user operation control will be explained with reference to FIG.

図１４（Ａ）～図１４（Ｄ）において、Ｋ４０４、Ｋ４０５はそれぞれ人体を表し、Ｐ４０１は切り替え前画角を表し、Ｅ４２０～Ｅ４２３は操作用俯瞰映像となる撮像装置の画角を表す。図１４（Ａ）は切り替え画角Ｐ４０１を配信している状態を表す。この状態から、入力されたユーザＰＴＺ操作が、切り替え前画角Ｐ４０１が撮像装置の画角から外れない範囲でのユーザＰＴＺ操作であると判定し、ＰＴＺ制御した状態が図１４（Ｂ）である。図１４（Ｃ）の状態になった場合、ＰＴＺ制御方法算出部１３１５は、下又は左へのＰＴ操作又はズーム操作を実施すると切り替え前画角Ｐ４０１が含まれなくなると判定し、ＰＴＺ制御を行わない。同様に、図１４（Ｄ）の状態になった場合、ＰＴＺ制御方法算出部１３１５は、上又は右へのＰＴ操作又はズーム操作を実施すると切り替え前画角Ｐ４０１が含まれなくなると判定し、ＰＴＺ制御を行わない。このように、撮像装置の画角内に切り替え前画角Ｐ４０１が含まれないユーザＰＴＺ操作であると判定した場合、ＰＴＺ制御は行われない。 In FIGS. 14(A) to 14(D), K404 and K405 each represent a human body, P401 represents the angle of view before switching, and E420 to E423 represent the angle of view of the imaging device that becomes the overhead image for operation. FIG. 14A shows a state in which the switching angle of view P401 is being distributed. From this state, it is determined that the input user PTZ operation is a user PTZ operation within a range where the pre-switching angle of view P401 does not deviate from the angle of view of the imaging device, and PTZ control is performed, as shown in FIG. 14(B). . In the case of the state shown in FIG. 14C, the PTZ control method calculation unit 1315 determines that the pre-switching angle of view P401 will not be included if the PT operation or zoom operation is performed downward or to the left, and performs PTZ control. do not have. Similarly, in the state shown in FIG. 14(D), the PTZ control method calculation unit 1315 determines that the pre-switching angle of view P401 will not be included if the PT operation or zoom operation is performed upward or to the right, and the PTZ control method calculation unit 1315 No control. In this way, when it is determined that the user's PTZ operation does not include the pre-switching angle of view P401 within the angle of view of the imaging device, PTZ control is not performed.

ＰＴＺ制御方法算出部１３１５は、ＰＴＺ制御情報入力部１３１４からユーザ画角選択情報を入力されると、首振り映像のない画角切り替えに必要なＰＴＺ及びデジタルＰＴＺの制御方法を算出する。ＰＴＺ制御方法算出部１３１５は、ＰＴＺ制御情報をＰＴＺ制御部１２０へ出力し、デジタルＰＴＺ制御情報をデジタルＰＴＺ処理部１１５へ出力する。 When the PTZ control method calculation unit 1315 receives the user view angle selection information from the PTZ control information input unit 1314, it calculates the PTZ and digital PTZ control methods necessary for view angle switching without shaking images. The PTZ control method calculation unit 1315 outputs PTZ control information to the PTZ control unit 120 and outputs digital PTZ control information to the digital PTZ processing unit 115.

映像入力装置１１２は、周囲を撮影し映像を生成する装置であり、カメラ等により構成される。映像入力装置１１２は、生成した映像情報を画角切り替え装置１３１１へ出力する。ＰＴＺ駆動装置１１３は、画角切り替え装置１３１１からＰＴＺ制御命令を受け取ると、モータを駆動してＰＴＺ動作を行う。 The video input device 112 is a device that photographs the surroundings and generates video, and is configured with a camera or the like. The video input device 112 outputs the generated video information to the view angle switching device 1311. Upon receiving the PTZ control command from the view angle switching device 1311, the PTZ driving device 113 drives a motor to perform a PTZ operation.

次に、第４の実施形態に係る映像収録システム１３００の画角切り替え処理について説明する。図１５は、第４の実施形態に係る画角切り替え処理の例を示すフローチャートである。映像収録システム１３００は、ユーザ操作によって起動されると映像収録を開始し、初めにＳ１５０１において、クライアント装置１３３０によって入力されたユーザＰＴＺ操作情報を取得する。 Next, the view angle switching process of the video recording system 1300 according to the fourth embodiment will be described. FIG. 15 is a flowchart illustrating an example of view angle switching processing according to the fourth embodiment. The video recording system 1300 starts video recording when activated by a user operation, and first acquires user PTZ operation information input by the client device 1330 in S1501.

次に、Ｓ１５０２において、ＰＴＺ制御方法算出部１３１５は、ＰＴＺ制御情報入力部１３１４から入力されたユーザＰＴＺ操作情報に基づいて、ユーザのＰＴＺ操作が切り替え前画角が見切れない範囲でのＰＴＺ操作か否かを判定する。Ｓ１５０２での判定の結果、真（Ｓ１５０２でＹＥＳ）である場合にはＳ１５０４へ進み、偽（Ｓ１５０２でＮＯ）である場合にはＳ１５０３へ進む。Ｓ１５０３において、デジタルＰＴＺ処理部１１５は、切り替え前画角でデジタルＰＴＺ処理を行う。そして、Ｓ１５０３の処理の後、Ｓ１５０１へ進む。 Next, in S1502, the PTZ control method calculation unit 1315 determines, based on the user PTZ operation information input from the PTZ control information input unit 1314, whether the user's PTZ operation is a PTZ operation in a range where the angle of view before switching is not completely visible. Determine whether or not. If the result of the determination in S1502 is true (YES in S1502), the process advances to S1504, and if the determination result is false (NO in S1502), the process advances to S1503. In S1503, the digital PTZ processing unit 115 performs digital PTZ processing using the angle of view before switching. After the processing in S1503, the process advances to S1501.

Ｓ１５０４において、デジタルＰＴＺ処理部１１５は、切り替え前画角でデジタルＰＴＺ処理を行う。次に、Ｓ１５０５において、ＰＴＺ制御情報入力部１３１４は、通信部１３１３からユーザ画角選択情報が入力され、切り替え先画角が決定されたか否かを判定する。Ｓ１５０５での判定の結果、真（Ｓ１５０５でＹＥＳ）である場合にはＳ１５０６へ進み、偽（Ｓ１５０５でＮＯ）である場合にはＳ１５０１へ進む。 In S1504, the digital PTZ processing unit 115 performs digital PTZ processing using the angle of view before switching. Next, in S1505, the PTZ control information input unit 1314 receives the user view angle selection information from the communication unit 1313, and determines whether the switching destination view angle has been determined. If the result of the determination in S1505 is true (YES in S1505), the process advances to S1506, and if the determination is false (NO in S1505), the process advances to S1501.

Ｓ１５０６において、ＰＴＺ制御方法算出部１３１５は、撮像装置の画角が目標画角と等しいか否かを判定する。Ｓ１５０６での判定の結果、偽（Ｓ１５０６でＮＯ）の場合にはＳ１５０７へ進み、真（Ｓ１５０６でＹＥＳ）である場合には画角切り替え処理を終了する。Ｓ１５０７において、ＰＴＺ制御部１２０は、撮像装置の画角が目標画角と等しくなるようＰＴＺ制御を行う。次に、Ｓ１５０８において、デジタルＰＴＺ処理部１１５は、目標画角となるようデジタルＰＴＺ処理を行う。そして、Ｓ１５０８の処理の後、Ｓ１５０６へ進む。 In S1506, the PTZ control method calculation unit 1315 determines whether the angle of view of the imaging device is equal to the target angle of view. If the result of the determination in S1506 is false (NO in S1506), the process advances to S1507, and if the determination is true (YES in S1506), the view angle switching process ends. In S1507, the PTZ control unit 120 performs PTZ control so that the angle of view of the imaging device becomes equal to the target angle of view. Next, in S1508, the digital PTZ processing unit 115 performs digital PTZ processing to obtain the target angle of view. After the processing in S1508, the process advances to S1506.

以上のように、第４の実施形態では、ユーザが画面上で選択した画角への映像切り替えを行う場合、ユーザが目標画角を探す間、切り替え前画角でデジタルＰＴＺ制御を行う。そして、ユーザにより目標画角が入力され次第、切り替え前画角でデジタルＰＴＺ制御を行いつつ、目標画角が撮像装置の画角に含まれるようＰＴＺ制御を行い、デジタルＰＴＺ領域を目標画角へ切り替える。これにより、首振り映像のない自然な画角切り替えを行うことができる。 As described above, in the fourth embodiment, when switching the video to the angle of view selected by the user on the screen, digital PTZ control is performed using the angle of view before switching while the user searches for the target angle of view. Then, as soon as the user inputs the target angle of view, while performing digital PTZ control at the angle of view before switching, PTZ control is performed so that the target angle of view is included in the angle of view of the imaging device, and the digital PTZ area is adjusted to the target angle of view. Switch. This allows for natural view angle switching without shaking images.

（本発明の他の実施形態）
本発明は、前述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。 (Other embodiments of the present invention)
The present invention provides a system or device with a program that implements one or more functions of the embodiments described above via a network or a storage medium, and one or more processors in a computer of the system or device reads and executes the program. This can also be achieved by processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。 Note that the above-mentioned embodiments are merely examples of embodiments of the present invention, and the technical scope of the present invention should not be construed as limited by these embodiments. That is, the present invention can be implemented in various forms without departing from its technical idea or main features.

１００：映像収録システム １１０：撮像装置 １１１：画角切り替え装置 １１２：映像入力装置 １１３：ＰＴＺ駆動装置 １１４：映像入力部 １１５：デジタルＰＴＺ処理部 １１６：映像配信部 １１７：通信部 １１８：目標画角情報入力部 １１９：ＰＴＺ制御方法算出部 １２０：ＰＴＺ制御部 １３０：クライアント装置 100: Video recording system 110: Imaging device 111: Angle of view switching device 112: Video input device 113: PTZ drive device 114: Video input section 115: Digital PTZ processing section 116: Video distribution section 117: Communication section 118: Target angle of view Information input unit 119: PTZ control method calculation unit 120: PTZ control unit 130: Client device

Claims (8)

撮影対象を撮影して映像を生成する撮像手段と、
前記撮像手段により撮影された映像における所定の画角の映像を出力する出力手段と、
前記出力手段が出力する映像の画角を第１の画角から第２の画角に切り替える場合に、前記第１の画角で映像を出力しつつ前記第１の画角と前記第２の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第２の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第２の画角で映像を出力する切り替え手段とを有することを特徴とする撮像装置。 an imaging means for photographing a subject and generating an image;
output means for outputting an image of a predetermined angle of view in the image photographed by the imaging means;
When switching the angle of view of the image outputted by the output means from the first angle of view to the second angle of view, while outputting the image at the first angle of view, the angle of view is changed between the first angle of view and the second angle of view. The angle of view of the imaging means is controlled so that the angle of view falls within the same angle of view, and after the second angle of view falls within the angle of view of the imaging means, the angle of view is switched to the second angle of view. An imaging device comprising: switching means for outputting video. 前記切り替え手段は、
前記撮像手段の画角を変更する第１のパン・チルト制御手段と、
前記撮像手段の光学ズームに係る制御を行う第１のズーム制御手段と、
前記映像の映像情報に対してパン・チルトに係る処理を行う第２のパン・チルト制御手段と、
前記映像の映像情報に対してデジタルズームに係る処理を行う第２のズーム制御手段とを有することを特徴とする請求項１に記載の撮像装置。 The switching means is
first pan/tilt control means for changing the angle of view of the imaging means;
a first zoom control means for controlling optical zoom of the imaging means;
a second pan/tilt control unit that performs processing related to pan/tilt on video information of the video;
The imaging apparatus according to claim 1, further comprising a second zoom control unit that performs processing related to digital zoom on video information of the video. 前記切り替え手段は、
前記出力手段が出力する映像の画角を前記第１の画角から前記第２の画角に切り替える場合に、前記第１の画角と前記第２の画角とが同一画角に収まるよう前記撮像手段の画角を前記第１のパン・チルト制御手段及び前記第１のズーム制御手段の少なくとも１つで制御しつつ、前記第１の画角の映像を出力し続けるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行い、前記第２の画角が前記撮像手段の画角に収まった後に前記第２の画角となるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行うことを特徴とする請求項２に記載の撮像装置。 The switching means is
When switching the angle of view of the video output by the output means from the first angle of view to the second angle of view, the first angle of view and the second angle of view are configured to fall within the same angle of view. the second control unit so as to continue outputting the image at the first angle of view while controlling the angle of view of the imaging unit by at least one of the first pan/tilt control unit and the first zoom control unit; control by at least one of the pan/tilt control means and the second zoom control means, such that the second angle of view becomes the second angle of view after the second angle of view falls within the angle of view of the imaging means. The imaging apparatus according to claim 2, wherein control is performed by at least one of the second pan/tilt control means and the second zoom control means. 前記切り替え手段は、
前記第１の画角と前記第２の画角が撮像手段における同一画角に収まらない位置にある場合、前記第１の画角を前記撮像手段の画角から外さずに前記第２の画角に近づくよう前記撮像手段の画角を前記第１のパン・チルト制御手段及び前記第１のズーム制御手段の少なくとも１つで制御しつつ、前記第１の画角の映像を出力し続けるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行った後に、前記第２の画角が収まるように前記撮像手段の画角を前記第１のパン・チルト制御手段で制御し、前記第２の画角が前記撮像手段の画角に収まった後に前記第２の画角となるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行うことを特徴とする請求項２又は３に記載の撮像装置。 The switching means is
If the first angle of view and the second angle of view are not located within the same angle of view of the imaging means, the second angle of view is changed without removing the first angle of view from the angle of view of the imaging means. The angle of view of the imaging means is controlled by at least one of the first pan/tilt control means and the first zoom control means so as to approach a corner, while continuing to output the image at the first angle of view. After performing control using at least one of the second pan/tilt control means and the second zoom control means, the angle of view of the imaging means is changed to the first angle of view so that the second angle of view is within the range. the second pan/tilt control means and the second The imaging device according to claim 2 or 3, wherein the control is performed by at least one of the zoom control means. 前記切り替え手段は、
目標物を検出する検出手段を有し、
目標検出情報が入力されると、ズームアウト及びパン・チルトに係る制御を行って目標物を探索し、探索している間は前記第１の画角の映像を出力し続けるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行い、前記目標物を検出すると前記目標物が含まれる前記第２の画角となるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行うことを特徴とする請求項３に記載の撮像装置。 The switching means is
It has a detection means for detecting a target object,
When the target detection information is input, the second controller searches for the target by performing zoom-out and pan/tilt control, and continues to output the video of the first angle of view while searching. control is performed by at least one of the pan/tilt control means and the second zoom control means, and when the target object is detected, the second pan angle is controlled so that the second angle of view includes the target object. - The imaging device according to claim 3, wherein control is performed by at least one of a tilt control means and the second zoom control means. 前記切り替え手段は、
ユーザからのパン・チルト、ズーム操作に係る情報が入力されると、前記第１の画角の映像を出力し続けるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行い、ユーザによって前記第２の画角が決定されると、前記第２の画角となるように前記第２のパン・チルト制御手段及び前記第２のズーム制御手段の少なくとも１つで制御を行うことを特徴とする請求項３に記載の撮像装置。 The switching means is
When information related to pan/tilt and zoom operations is input from the user, the second pan/tilt control means and the second zoom control means are configured to continue outputting the video at the first angle of view. When the second angle of view is determined by the user, the second pan/tilt control means and the second zoom control means are controlled to obtain the second angle of view. The imaging device according to claim 3, wherein control is performed by at least one. 撮影対象を撮影して映像を生成する撮像手段を有する撮像装置の制御方法であって、
前記撮像手段により撮影された映像における所定の画角の映像を出力する出力工程と、
前記出力工程にて出力する映像の画角を第１の画角から第２の画角に切り替える場合に、前記第１の画角で映像を出力しつつ前記第１の画角と前記第２の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第２の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第２の画角で映像を出力する切り替え工程とを有することを特徴とする撮像装置の制御方法。 A method for controlling an imaging device having an imaging means for photographing an object to generate an image, the method comprising:
an output step of outputting an image of a predetermined angle of view in the image photographed by the imaging means;
When switching the angle of view of the image to be outputted in the output step from the first angle of view to the second angle of view, while outputting the image at the first angle of view, the first angle of view and the second angle of view are output. the angle of view of the imaging means is controlled so that the angle of view of A method of controlling an imaging device, comprising: a switching step of outputting a video image. 撮影対象を撮影して映像を生成する撮像手段を有する撮像装置のコンピュータに、
前記撮像手段により撮影された映像における所定の画角の映像を出力する出力ステップと、
前記出力ステップにて出力する映像の画角を第１の画角から第２の画角に切り替える場合に、前記第１の画角で映像を出力しつつ前記第１の画角と前記第２の画角とが同一画角に収まるように前記撮像手段の画角を制御し、前記第２の画角が前記撮像手段の画角に収まった後に画角を切り替えて前記第２の画角で映像を出力する切り替えステップとをコンピュータに実行させるためのプログラム。 A computer of an imaging device having an imaging means for photographing an object to generate an image,
an output step of outputting an image of a predetermined angle of view in the image photographed by the imaging means;
When switching the angle of view of the image to be output in the output step from the first angle of view to the second angle of view, while outputting the image at the first angle of view, the first angle of view and the second angle of view are output. the angle of view of the imaging means is controlled so that the angle of view of A program that causes a computer to execute the switching step to output video.
JP2019213313A 2019-11-26 2019-11-26 Imaging device, method of controlling the imaging device, and program Active JP7401272B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019213313A JP7401272B2 (en) 2019-11-26 2019-11-26 Imaging device, method of controlling the imaging device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019213313A JP7401272B2 (en) 2019-11-26 2019-11-26 Imaging device, method of controlling the imaging device, and program

Publications (2)

Publication Number Publication Date
JP2021087059A JP2021087059A (en) 2021-06-03
JP7401272B2 true JP7401272B2 (en) 2023-12-19

Family

ID=76088156

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019213313A Active JP7401272B2 (en) 2019-11-26 2019-11-26 Imaging device, method of controlling the imaging device, and program

Country Status (1)

Country Link
JP (1) JP7401272B2 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007261A (en) 2002-05-31 2004-01-08 Victor Co Of Japan Ltd Monitoring video camera system, and photographing method therein
JP2015076707A (en) 2013-10-08 2015-04-20 キヤノン株式会社 Imaging apparatus, method for controlling imaging apparatus, program for controlling imaging apparatus, and storage medium
WO2017199398A1 (en) 2016-05-19 2017-11-23 三菱電機株式会社 Display control device and image pickup device
JP2018097870A (en) 2016-12-08 2018-06-21 株式会社モルフォ Image processing device, electronic apparatus, image processing method, and program

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004007261A (en) 2002-05-31 2004-01-08 Victor Co Of Japan Ltd Monitoring video camera system, and photographing method therein
JP2015076707A (en) 2013-10-08 2015-04-20 キヤノン株式会社 Imaging apparatus, method for controlling imaging apparatus, program for controlling imaging apparatus, and storage medium
WO2017199398A1 (en) 2016-05-19 2017-11-23 三菱電機株式会社 Display control device and image pickup device
JP2018097870A (en) 2016-12-08 2018-06-21 株式会社モルフォ Image processing device, electronic apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2021087059A (en) 2021-06-03

Similar Documents

Publication Publication Date Title
KR101662074B1 (en) Control device, camera system, and recording medium
JP3618891B2 (en) Camera control apparatus and camera control information display method
KR20110108265A (en) Control device, camera system and program
JP2000307928A (en) Camera controller
JP2007043505A (en) Imaging system, camera controller, and panorama image generation method, and program
EP3205083B1 (en) Control apparatus, method of controlling the same and program
JP7146444B2 (en) Control device, control method and program
EP3567844B1 (en) Control apparatus and control method
JP2021124669A (en) Electronic apparatus
JP7401272B2 (en) Imaging device, method of controlling the imaging device, and program
JP2018207415A (en) Imaging apparatus comprising visual line detection function
US10771679B2 (en) Image capturing control apparatus, method of controlling the same and computer readable storage medium
JP7257783B2 (en) Image processing device, image processing method
JP5939902B2 (en) Control device and control method of control device
JP4777486B2 (en) Camera control system and method, and storage medium storing operation processing program thereof
JP3983108B2 (en) How to display images
KR101915199B1 (en) Apparatus and method of searching image based on imaging area of the PTZ camera
JP3826506B2 (en) Information display method
JP2023067619A (en) Camera control device, camera control method, and program
JP5241880B2 (en) Camera control system and method, and storage medium storing operation processing program thereof
JP2023058322A (en) Video processing apparatus, method for controlling the same, and program
JPH0548949A (en) Control system of image pick-up device
JP2023085899A (en) Imaging apparatus, method for controlling imaging apparatus, and program
JP2002077880A (en) Remote-monitoring system
JP2024065733A (en) Control device, control method, and program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221025

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230922

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231207

R151 Written notification of patent or utility model registration

Ref document number: 7401272

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151