JP6727998B2 - Image processing apparatus, image processing method and program - Google Patents

Image processing apparatus, image processing method and program Download PDF

Info

Publication number
JP6727998B2
JP6727998B2 JP2016175458A JP2016175458A JP6727998B2 JP 6727998 B2 JP6727998 B2 JP 6727998B2 JP 2016175458 A JP2016175458 A JP 2016175458A JP 2016175458 A JP2016175458 A JP 2016175458A JP 6727998 B2 JP6727998 B2 JP 6727998B2
Authority
JP
Japan
Prior art keywords
range
image
image processing
unit
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016175458A
Other languages
Japanese (ja)
Other versions
JP2018042129A (en
Inventor
淳也 正木
淳也 正木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016175458A priority Critical patent/JP6727998B2/en
Publication of JP2018042129A publication Critical patent/JP2018042129A/en
Application granted granted Critical
Publication of JP6727998B2 publication Critical patent/JP6727998B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像処理装置、画像処理方法及びプログラムに関する。 The present invention relates to an image processing device, an image processing method, and a program.

従来、撮像装置により得られた画像から特定の被写体を認識する技術が知られている。特許文献1には、画像全体から予め設定された特定被写体を認識し、認識した特定被写体の周辺に枠を表示する技術が開示されている。 Conventionally, there is known a technique of recognizing a specific subject from an image obtained by an imaging device. Patent Document 1 discloses a technique of recognizing a preset specific subject from the entire image and displaying a frame around the recognized specific subject.

特開2008−78951号公報JP, 2008-78951, A

しかしながら、例えば、広角レンズや魚眼レンズを用いて得られた画像においては、画像の歪みに起因し、画像の一部の領域において精度よく認識を行えない場合があるという問題があった。 However, for example, in an image obtained by using a wide-angle lens or a fish-eye lens, there is a problem that it may not be possible to perform accurate recognition in a partial area of the image due to image distortion.

本発明はこのような問題点に鑑みなされたもので、歪みが生じているような画像において、特定の被写体の認識精度を向上させることを目的とする。 The present invention has been made in view of such problems, and an object thereof is to improve the recognition accuracy of a specific subject in an image with distortion.

そこで、本発明は、画像処理装置であって、撮像手段により得られた画像から特定の被写体が認識される適用範囲を指定する指定手段と、前記指定手段により前記適用範囲を指定可能な基準範囲を表示手段に表示するよう制御する表示処理手段とを有することを特徴とする。 Therefore, the present invention is an image processing device, and a designating unit that designates an application range in which a specific subject is recognized from an image obtained by an imaging unit, and a reference range that can designate the application range by the designating unit. Is displayed on the display means.

本発明によれば、歪みが生じているような画像において、特定の被写体の認識精度を向上させることができる。 According to the present invention, it is possible to improve the recognition accuracy of a specific subject in an image with distortion.

カメラシステムの全体図である。It is a general view of a camera system. 認識部の処理の説明図である。It is explanatory drawing of the process of a recognition part. 画像処理を示すフローチャートである。It is a flow chart which shows image processing. 画像処理の説明図である。It is an explanatory view of image processing. 画像処理の説明図である。It is an explanatory view of image processing. 第2の実施形態に係るカメラシステムの全体図である。It is a general view of a camera system according to a second embodiment. 第2の実施形態に係る画像処理を示すフローチャートである。9 is a flowchart showing image processing according to the second embodiment. 画像処理の説明図である。It is an explanatory view of image processing.

以下、本発明の実施形態について図面に基づいて説明する。 Hereinafter, embodiments of the present invention will be described with reference to the drawings.

(第1の実施形態)
図1は、第1の実施形態に係るカメラシステム100の全体図である。カメラシステム100は、撮像装置としてのカメラ110と、管理装置120と、表示部130と、を有している。ここで、カメラ110及び管理装置120は、いずれも画像処理装置の一例である。カメラ110は、レンズ111と、撮像部112と、映像処理部113と、展開部114と、認識部115と、通信部116と、CPU117と、記憶部118と、を有している。レンズ111は、主レンズであり、本実施形態においては魚眼レンズであるものとする。なお、レンズ111は、広角レンズや他の特性を有するレンズ等、画像に歪みが生じるような画像が得られるようなレンズであればよく、魚眼レンズに限定されるものではない。
(First embodiment)
FIG. 1 is an overall view of a camera system 100 according to the first embodiment. The camera system 100 has a camera 110 as an imaging device, a management device 120, and a display unit 130. Here, the camera 110 and the management device 120 are both examples of an image processing device. The camera 110 includes a lens 111, an image pickup unit 112, a video processing unit 113, a development unit 114, a recognition unit 115, a communication unit 116, a CPU 117, and a storage unit 118. The lens 111 is a main lens and is a fisheye lens in this embodiment. The lens 111 may be a wide-angle lens, a lens having other characteristics, or the like as long as it can obtain an image in which the image is distorted, and is not limited to a fisheye lens.

撮像部112は、レンズ111を介して入射された光を映像(画像)に変換する。映像処理部113は、撮像部112で撮像された映像に対し、画質を向上させるための各種映像処理を行う。展開部114は、映像処理部113において処理された映像を、認識処理に最適な映像に展開補正する。 The imaging unit 112 converts the light incident through the lens 111 into a video (image). The video processing unit 113 performs various video processing for improving the image quality of the video imaged by the imaging unit 112. The expansion unit 114 expands and corrects the image processed by the image processing unit 113 into an image optimal for recognition processing.

認識部115は、映像処理部113で展開された映像に対して外部より設定された認識辞書を用いて特定被写体の認識処理を行う。ここで、認識辞書は、特定被写体の特徴を認識する為のアルゴリズムに関連するデータである。また、本実施形態においては、特定被写体は人物であるものとする。なお、特定被写体の種類は実施形態に限定されるものではなく、認識部115は、人物以外の被写体を認識してもよい。本実施形態においては、認識部115は、第1の認識処理、第2の認識処理及び第3の認識処理を行うことができる。認識処理については、図3を参照しつつ後述する。通信部116は、ネットワーク150を介して外部装置と通信を行う。通信部116は例えば、外部装置から要求されたコマンドに応じて、映像処理部113により映像処理された映像を外部装置に送信する。 The recognition unit 115 performs recognition processing of a specific subject on the video developed by the video processing unit 113 using a recognition dictionary set from the outside. Here, the recognition dictionary is data related to an algorithm for recognizing the characteristics of a specific subject. Further, in the present embodiment, the specific subject is assumed to be a person. The type of the specific subject is not limited to the embodiment, and the recognition unit 115 may recognize a subject other than a person. In the present embodiment, the recognition unit 115 can perform the first recognition process, the second recognition process, and the third recognition process. The recognition process will be described later with reference to FIG. The communication unit 116 communicates with an external device via the network 150. The communication unit 116 transmits, for example, a video image processed by the video processing unit 113 to the external device in response to a command requested by the external device.

CPU117は、カメラ110の全体を制御する。記憶部118は、各種情報を記憶する。なお、本実施形態に係る映像処理部113、展開部114及び認識部115は、それぞれ独立したハードウェアであるものとする。ただし、他の例としては、映像処理部113、展開部114及び認識部115は、CPU117が記憶部118に記憶されているプログラムを読み出し、このプログラムを実行することによりソフトウェアとして実現される機能であってもよい。 The CPU 117 controls the entire camera 110. The storage unit 118 stores various kinds of information. The video processing unit 113, the expansion unit 114, and the recognition unit 115 according to this embodiment are assumed to be independent hardware. However, as another example, the image processing unit 113, the expansion unit 114, and the recognition unit 115 have a function realized as software by the CPU 117 reading a program stored in the storage unit 118 and executing the program. It may be.

管理装置120は、カメラ110を管理する。管理装置120は、一台のカメラ110に対して、リアルタイムの撮影映像の要求指示や、認識範囲指定、システム管理制御、各機器からの警告に応じた処理等を行う。表示部130は、管理装置120からの要求に応じてネットワーク150を介してカメラ110から送信される映像や各種情報を表示する。 The management device 120 manages the camera 110. The management device 120 performs, for one camera 110, a real-time captured video request instruction, a recognition range designation, system management control, processing in response to a warning from each device, and the like. The display unit 130 displays an image or various information transmitted from the camera 110 via the network 150 in response to a request from the management device 120.

図2は、認識部115の処理の説明図である。図2(a)は、魚眼レンズを備えたカメラ110が天井に設置された場合の映像(画像)200の一例を示す図である。映像200においては、画像の中心を含む中央領域210においては、201のように、人物は頭部しか映らない。これに対し、中央領域210の外側の領域である外側領域220においては、202に示すように、人物の胴体や足等頭部以外も写るようになるが、映像には歪みも生じている。このような場合には、中央領域210と外側領域220とに対し、同一の認識処理を行ったのでは精度良く認識を行うことができない。 FIG. 2 is an explanatory diagram of the processing of the recognition unit 115. FIG. 2A is a diagram showing an example of an image (image) 200 when the camera 110 having a fisheye lens is installed on the ceiling. In the image 200, in the central area 210 including the center of the image, as in 201, the person only sees the head. On the other hand, in the outer area 220, which is an area outside the central area 210, as shown at 202, the body other than the head, such as the torso and legs of the person, can be seen, but the image also has distortion. In such a case, if the same recognition process is performed on the central area 210 and the outer area 220, the recognition cannot be performed accurately.

そこで、認識部115は、中央領域210に対しては、中央領域210に適した第1の認識処理を行い、外側領域220に対しては、外側領域220に適した第2の認識処理を行うこととする。すなわち、第1の認識処理は、頭部のみを鉛直下向きの方向に撮影した画像から人物を認識するのに適した認識処理であり、対応する第1の認識辞書を用いた処理である。また、第2の認識処理は、胴体等も含んだ人物の画像でかつ人物の身長方向に特に歪みのある画像から人物を認識するのに適した認識処理である。第2の認識処理は、第2の認識辞書を用いた処理である。 Therefore, the recognition unit 115 performs the first recognition process suitable for the central region 210 on the central region 210, and performs the second recognition process suitable for the outer region 220 on the outer region 220. I will. That is, the first recognition process is a recognition process suitable for recognizing a person from an image obtained by shooting only the head in a vertically downward direction, and is a process using the corresponding first recognition dictionary. The second recognition process is a recognition process suitable for recognizing a person from an image of a person including a torso and the like, which is particularly distorted in the height direction of the person. The second recognition process is a process using the second recognition dictionary.

さらに、カメラ110においては、第1の認識処理を行うのに適した基準範囲として、第1の基準範囲が予め設定されており、第2の認識処理を行うのに適した基準範囲として、第2の基準範囲が予め設定されているものとする。具体的には、カメラ110の記憶部118に、画像全体に対する第1の基準範囲及び第2の基準範囲の相対的な位置が記憶されているものとする。ここで、第1の基準範囲は、第1の認識処理により精度よく認識を行うことのできる範囲であり、第1の認識処理の対象(認識対象)となる範囲としてユーザが指定可能なである。また、第2の基準範囲は、第2の処理により精度よく認識を行うことのできる範囲であり、第2の認識処理の対象(認識対象)となる範囲としてユーザが指定可能な範囲である。 Further, in the camera 110, the first reference range is preset as the reference range suitable for performing the first recognition process, and the first reference range is suitable as the reference range for performing the second recognition process. It is assumed that the reference range of 2 is set in advance. Specifically, it is assumed that the storage unit 118 of the camera 110 stores the relative positions of the first reference range and the second reference range with respect to the entire image. Here, the first reference range is a range in which recognition can be performed accurately by the first recognition process, and can be specified by the user as a range to be a target (recognition target) of the first recognition process. .. The second reference range is a range in which recognition can be performed accurately by the second process, and is a range that can be designated by the user as a range (recognition target) of the second recognition process.

図2(b)は、カメラ110が横壁に設置された場合の映像(画像)230の一例を示す図である。画像230においては、231のように胴体を含んだ人物が写っているが、画像には歪みが生じている。但し、この歪みは、画像200の外側領域220の歪みとは異なる種類の歪みである。そこで、認識部115は、画像200に対しては、第3の認識処理を行うこととする。ここで、第3の認識処理は、胴体等も含んだ人物の画像でかつ人物の身長方向に垂直な方向に特に歪みのある画像から人物を認識するのに適した認識処理である。 FIG. 2B is a diagram showing an example of a video (image) 230 when the camera 110 is installed on the horizontal wall. In the image 230, a person including a body like 231 is shown, but the image is distorted. However, this distortion is a different kind of distortion from the distortion of the outer region 220 of the image 200. Therefore, the recognition unit 115 performs the third recognition process on the image 200. Here, the third recognition process is a recognition process suitable for recognizing a person from an image of a person including a torso and the like, in which the image is particularly distorted in a direction perpendicular to the height direction of the person.

さらに、画像230においては、曲線241から曲線242の範囲が壁に相当し、曲線242から曲線243の範囲が床に相当する。なお、曲線241の上側は、天井に相当する。このため、人物が存在するのは、曲線241から曲線243の間の範囲となる。そこで、カメラ110の記憶部118には、曲線241から曲線243に基づいて定まる第3の基準範囲が第3の認識処理を行うのに適した範囲として予め設定されているものとする。なお、第1の認識処理、第2の認識処理及び第3の認識処理は互いに異なる処理であるものとする。また、第1の基準範囲、第2の基準範囲及び第3の基準範囲は互いに異なる範囲であるものとする。 Further, in the image 230, the range of the curves 241 to 242 corresponds to the wall, and the range of the curves 242 to 243 corresponds to the floor. The upper side of the curve 241 corresponds to the ceiling. Therefore, the person exists in the range between the curves 241 and 243. Therefore, it is assumed that the storage unit 118 of the camera 110 is preset with a third reference range determined based on the curves 241 to 243 as a range suitable for performing the third recognition process. Note that the first recognition process, the second recognition process, and the third recognition process are different from each other. The first reference range, the second reference range, and the third reference range are different from each other.

図3は、カメラ110による画像処理動作を示すフローチャートである。ユーザが、カメラシステム100を所望の場所に取り付けた後、電源をオンすると、カメラ110による画像処理が開始される。S100において、CPU117は、ユーザからの入力に応じて、設置モードか否かを判断する。CPU117は、設置モードでない場合には待機し(S100でNO)、設置モードの場合には(S100でYES)、処理をS101へ進める。 FIG. 3 is a flowchart showing an image processing operation by the camera 110. When the user turns on the power after mounting the camera system 100 at a desired place, the image processing by the camera 110 is started. In S100, the CPU 117 determines whether or not it is in the installation mode according to the input from the user. The CPU 117 stands by when it is not in the installation mode (NO in S100), and when it is in the installation mode (YES in S100), advances the process to S101.

S101において、CPU117は、通信部116を介して管理装置120においてユーザにより設定された、ネットワーク150に関する設定を受信し、これを設定する。CPU117は、例えば、ネットワーク通信上の個体通信を識別する為のIPアドレスを設定する等、設置環境に合わせたネットワーク接続条件に必要な設定を行う。次に、S102において、CPU117は、撮影を開始するよう、レンズ111、撮像部112を制御する。そして、CPU117は、S101で設定されたネットワーク設定に応じて、管理装置120に映像を配信する。管理装置120は、映像を受信すると、表示部130に映像を表示する。 In S101, the CPU 117 receives the setting regarding the network 150 set by the user in the management apparatus 120 via the communication unit 116, and sets the setting. The CPU 117 performs necessary settings for network connection conditions that match the installation environment, such as setting an IP address for identifying individual communication on the network communication. Next, in S102, the CPU 117 controls the lens 111 and the imaging unit 112 to start shooting. Then, the CPU 117 distributes the video to the management device 120 according to the network settings set in S101. When the management device 120 receives the video, the management device 120 displays the video on the display unit 130.

次に、S103において、CPU117は、カメラ110の設置場所が天井か横壁かを確認する。設置場所は、ユーザが管理装置120に対して入力する。そして、CPU117は、管理装置120から設置場所を示す設置情報を受信する。CPU117は、設置情報に示される設置場所が天井の場合には(S103でYES)、処理をS104へ進める。CPU117は、設置場所が横壁の場合には(S103でNO)、処理をS115へ進める。S104において、CPU117は、設置場所を天井に設定する。 Next, in S103, the CPU 117 confirms whether the installation location of the camera 110 is the ceiling or the lateral wall. The user inputs the installation location to the management device 120. Then, the CPU 117 receives the installation information indicating the installation location from the management device 120. If the installation location indicated by the installation information is the ceiling (YES in S103), CPU 117 advances the process to S104. CPU117 advances a process to S115, when an installation place is a horizontal wall (NO in S103). In S104, the CPU 117 sets the installation place to the ceiling.

次に、S105において、CPU117は、設置された撮影環境に対応した最適な映像を得られるように、撮影パラメータを設定する。ここで、撮影パラメータは、映像画質に関連するパラメータである。例えば、環境が暗い所では、CPU117は、映像を明るくするようにAE制御用のパラメータを設定する。また、映像を鮮やかにしたい場合は、CPU117は、彩度を調整するパラメータを設定する。なお、CPU117は、管理装置120からの制御に応じて撮影パラメータを設定する。 Next, in S105, the CPU 117 sets shooting parameters so that an optimum image corresponding to the installed shooting environment can be obtained. Here, the shooting parameter is a parameter related to image quality. For example, in a place where the environment is dark, the CPU 117 sets parameters for AE control so that the image becomes bright. Further, when it is desired to make the image vivid, the CPU 117 sets a parameter for adjusting the saturation. The CPU 117 sets shooting parameters under the control of the management device 120.

次に、S106において、CPU117は、第1の認識処理を行うか否かを確認する。なお、管理装置120が、ユーザから第1の認識処理を行うか否かの指示を受け付け、CPU117は、指示を管理装置120から受信するものとする。CPU117は、受信した指示に基づいて、第1の認識処理を行うか否かを確認する。すなわち、CPU117は、第1の認識処理を行う旨の指示を受信した場合には、第1の認識処理を行うと判断し、第1の認識処理を行わない旨の指示を受信した場合には、第1の認識処理を行わないと判断する。CPU117は、第1の認識処理を行う場合には(S106でYES)、処理をS107へ進める。CPU117は、第1の認識処理を行わない場合には(S106でNO)、処理をS109へ進める。 Next, in S106, the CPU 117 confirms whether or not to perform the first recognition process. Note that the management device 120 receives an instruction from the user as to whether or not to perform the first recognition process, and the CPU 117 receives the instruction from the management device 120. The CPU 117 confirms whether to perform the first recognition process based on the received instruction. That is, when the CPU 117 receives an instruction to perform the first recognition process, it determines that the first recognition process is to be performed, and when it receives an instruction to not perform the first recognition process. , It is determined that the first recognition process is not performed. When performing the first recognition process (YES in S106), CPU 117 advances the process to S107. CPU117 advances a process to S109, when the 1st recognition process is not performed (it is NO at S106).

S107において、CPU117は、S104において設定された設置場所(天井)に基づいて、第1の認識処理と第2の認識処理を特定する。そして、CPU117は、映像において、第1の認識処理に対応する第1の基準範囲を認識部115の認識範囲として特定し、特定した第1の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。次に、S108において、CPU117は、ユーザによる設定枠の操作に応じて、第1の認識処理を適用する第1の適用範囲を設定する。ここで、第1の適用範囲とは、第1の認識処理を適用させる範囲としてユーザ操作に応じて設定された範囲である。このように、ユーザは、第1の基準範囲内において、所望の範囲を第1の適用範囲として設定することができる。 In S107, the CPU 117 specifies the first recognition process and the second recognition process based on the installation place (ceiling) set in S104. Then, the CPU 117 specifies the first reference range corresponding to the first recognition process in the video as the recognition range of the recognition unit 115, and the specified first reference range is displayed on the display unit 130 via the management device 120. Control to display. Next, in S108, the CPU 117 sets a first application range to which the first recognition process is applied, according to the operation of the setting frame by the user. Here, the first application range is a range set according to a user operation as a range to which the first recognition process is applied. In this way, the user can set a desired range as the first applicable range within the first reference range.

次に、S109において、CPU117は、管理装置120から受信した指示に基づいて、第2の認識処理を行うか否かを確認する。CPU117は、第2の認識処理を行う場合には(S109でYES)、処理をS110へ進める。CPU117は、第2の認識処理を行わない場合には(S109でNO)、処理をS112へ進める。 Next, in S109, the CPU 117 confirms whether or not to perform the second recognition process based on the instruction received from the management device 120. When performing the second recognition process (YES in S109), CPU 117 advances the process to S110. CPU117 advances a process to S112, when the 2nd recognition process is not performed (NO in S109).

S110において、CPU117は、第2の認識処理に対応する第2の基準範囲を認識部115の認識範囲として特定する。そして、CPU117は、第2の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。次に、S111において、CPU117は、ユーザによる設定枠の操作に応じて、第2の認識処理を適用する第2の適用範囲を設定する。ここで、第2の適用範囲とは、第2の認識処理を行う範囲としてユーザ操作に応じて設定された範囲である。このように、ユーザは、第2の基準範囲内において、所望の範囲を第2の適用範囲として設定することができる。 In S110, the CPU 117 specifies the second reference range corresponding to the second recognition process as the recognition range of the recognition unit 115. Then, the CPU 117 controls the display unit 130 to display the second reference range via the management device 120. Next, in S111, the CPU 117 sets a second application range to which the second recognition process is applied, in accordance with the operation of the setting frame by the user. Here, the second applicable range is a range set according to a user operation as a range in which the second recognition process is performed. In this way, the user can set a desired range as the second applicable range within the second reference range.

次に、S112において、CPU117は、設定された適用範囲に変更があるか否かを確認する。CPU117は、変更がない場合には(S112でYES)、画像処理を終了する。CPU117は、変更がある場合には(S112でNO)、処理をS113へ進める。S113において、CPU117は、適用範囲を再設定するか否かを確認する。CPU117は、再設定する場合には(S113でYES)、処理をS106へ進める。CPU117は、再設定しない場合には(S113でNO)、処理をS114へ進める。S114において、CPU117は、初期化するか否かを確認する。CPU117は、初期化する場合には(S114でYES)、処理をS103へ進める。CPU117は、初期化しない場合には(S114でNO)、画像処理を終了する。以上の処理により、天井に設置されたカメラ110により得られた画像に対し、第1の認識処理及び第2の認識処理を施す範囲を設定することができる。 Next, in S112, the CPU 117 confirms whether or not the set applicable range is changed. When there is no change (YES in S112), the CPU 117 ends the image processing. When there is a change (NO in S112), CPU 117 advances the process to S113. In S113, the CPU 117 confirms whether or not to reset the applicable range. When resetting (YES in S113), CPU 117 advances the process to S106. CPU117 advances a process to S114, when not resetting (it is NO at S113). In S114, the CPU 117 confirms whether or not to initialize. When the initialization is performed (YES in S114), CPU 117 advances the process to S103. When the initialization is not performed (NO in S114), the CPU 117 ends the image processing. With the above processing, it is possible to set the range in which the first recognition processing and the second recognition processing are performed on the image obtained by the camera 110 installed on the ceiling.

一方、S115において、CPU117は、設置場所を横壁に設定する。次に、S116において、CPU117は、設置された撮影環境に対応した最適な映像を得られるように、撮影パラメータを設定する。次に、S117において、CPU117は、管理装置120から受信した指示に基づいて、第3の認識処理を行うか否かを確認する。CPU117は、第3の認識処理を行う場合には(S117でYES)、処理をS118へ進める。CPU117は、第3の認識処理を行わない場合には(S117でNO)、処理をS120へ進める。 On the other hand, in S115, the CPU 117 sets the installation location on the horizontal wall. Next, in S116, the CPU 117 sets shooting parameters so that an optimum image corresponding to the installed shooting environment can be obtained. Next, in S117, the CPU 117 confirms whether or not to perform the third recognition process based on the instruction received from the management device 120. CPU117 advances a process to S118, when performing the 3rd recognition process (it is YES at S117). When the third recognition process is not performed (NO in S117), CPU 117 advances the process to S120.

S118において、CPU117は、S115において設定された設置位置(横壁)に基づいて、第3の認識処理を特定する。そして、CPU117は、映像において、第3の認識処理に対応する第3の基準範囲を認識部115の認識範囲として特定する。そして、CPU117は、第3の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。なお、S107、S110及びS118の処理は、表示処理の一例である。次に、S119において、CPU117は、ユーザによる設定枠の操作に応じて、第3の認識処理を適用する第3の適用範囲を設定する。ここで、第3の適用範囲とは、第3の認識処理を行う範囲としてユーザ操作に応じて設定された範囲である。このように、ユーザは、第3の基準範囲内において、所望の範囲を第3の適用範囲として設定することができる。 In S118, the CPU 117 specifies the third recognition process based on the installation position (horizontal wall) set in S115. Then, the CPU 117 specifies the third reference range corresponding to the third recognition process as the recognition range of the recognition unit 115 in the video. Then, the CPU 117 controls the display unit 130 to display the third reference range via the management device 120. The processing of S107, S110, and S118 is an example of display processing. Next, in S119, the CPU 117 sets a third application range to which the third recognition process is applied, according to the operation of the setting frame by the user. Here, the third applicable range is a range set according to a user operation as a range in which the third recognition process is performed. In this way, the user can set a desired range as the third applicable range within the third reference range.

このように本実施形態のCPU117は、カメラ101の設置場所に基づいて基準範囲を決定する。ただし設置場所に代えて、カメラ101の撮影方向に基づいて基準範囲が決定されるようにしてもよい。この場合、CPU117は、背撮影方向を示す設置情報を受信する。そして、例えば、撮影方向が下方向である場合は、設置場所が天井である場合と同様に基準範囲が決定される。一方、例えば、撮影方向が横方向である場合は、設置場所が横壁である場合と同様に基準範囲が決定される。このように、本実施形態のCPU117は、カメラ101の設置に関する設置情報に基づいて、基準範囲を決定することができる。 As described above, the CPU 117 of the present embodiment determines the reference range based on the installation location of the camera 101. However, instead of the installation location, the reference range may be determined based on the shooting direction of the camera 101. In this case, the CPU 117 receives the installation information indicating the back photographing direction. Then, for example, when the shooting direction is downward, the reference range is determined as in the case where the installation place is the ceiling. On the other hand, for example, when the shooting direction is the horizontal direction, the reference range is determined as in the case where the installation place is the horizontal wall. In this way, the CPU 117 of the present embodiment can determine the reference range based on the installation information regarding the installation of the camera 101.

次に、S120において、CPU117は、設定された適用範囲に変更があるか否かを確認する。CPU117は、変更がない場合には(S120でYES)、画像処理を終了する。CPU117は、変更がある場合には(S120でNO)、処理をS121へ進める。S121において、CPU117は、第1の適用範囲を再設定するか否かを確認する。CPU117は、再設定する場合には(S121でYES)、処理をS117へ進める。CPU117は、再設定しない場合には(S121でNO)、処理をS114へ進める。 Next, in S120, the CPU 117 confirms whether or not there is a change in the set applicable range. When there is no change (YES in S120), CPU 117 ends the image processing. If there is a change (NO in S120), CPU 117 advances the process to S121. In S121, the CPU 117 confirms whether or not to reset the first applicable range. When resetting (YES in S121), CPU 117 advances the process to S117. CPU117 advances a process to S114, when not resetting (it is NO at S121).

図4は、カメラの設置場所が天井の場合における表示部130の表示例を示す図である。図4(a)に示す画面400には、カメラ110により得られたリアルタイムの映像(画像)410が表示されている。映像410は、映像200と同じ映像である。画面400にはさらに、設置場所の選択ボタン401、402が表示されている。ユーザが画面400において選択ボタン401、402を選択すると、管理装置120は、設置場所の情報を受け付け、これをカメラ110に送信する。カメラ110が天井に設置されているため、ユーザは天井の選択ボタン401を選択する。これにより、画像処理はS104に進む。なお、画面操作は、パーソナルコンピュータ(PC)のマウスでのクリック操作や、タブレット端末等のタップ操作で実施するように構成するが、他の手段を使って設定しても構わない。 FIG. 4 is a diagram showing a display example of the display unit 130 when the camera is installed on the ceiling. A real-time video (image) 410 obtained by the camera 110 is displayed on the screen 400 shown in FIG. The image 410 is the same image as the image 200. The screen 400 further displays selection buttons 401 and 402 for selecting the installation location. When the user selects the selection buttons 401 and 402 on the screen 400, the management device 120 accepts the installation location information and transmits it to the camera 110. Since the camera 110 is installed on the ceiling, the user selects the ceiling selection button 401. As a result, the image processing proceeds to S104. The screen operation is configured to be performed by a click operation with a mouse of a personal computer (PC) or a tap operation with a tablet terminal or the like, but it may be set using other means.

続いて、設置場所が設定されると、図4(b)に示すように画像410には、第1の基準範囲を示す破線420が表示される。ユーザは、第1の基準範囲内において、第1の適用範囲とすべき矩形の2点421、422をクリック操作後、問題なければOKボタン403を押す。これにより、表示部130には第1の適用範囲を示す実線423が表示され、カメラ110においては、第1の適用範囲が設定される。一方、中央領域に対する第1の認識処理が不要な場合には、ユーザは、第1の適用範囲を指定することなく、OKボタン403を押す。これにより、画像処理においては、S106でNOと判定され、第1の適用範囲は未設定となり、処理はS109へ進む。 Then, when the installation place is set, a broken line 420 indicating the first reference range is displayed in the image 410 as shown in FIG. 4B. In the first reference range, the user clicks the rectangular two points 421 and 422 to be the first applicable range, and then presses the OK button 403 if there is no problem. As a result, the solid line 423 indicating the first applicable range is displayed on the display unit 130, and the first applicable range is set in the camera 110. On the other hand, when the first recognition processing for the central area is unnecessary, the user presses the OK button 403 without designating the first applicable range. As a result, in image processing, NO is determined in S106, the first applicable range is not set, and the process proceeds to S109.

続いて、図4(c)に示すように、画像410には、第2の基準範囲を示す破線430が表示される。なお、破線430の外側が第2の基準範囲である。ユーザは、第2の基準範囲内において、点431をクリックし、問題なければOKボタン403を押す。これにより、表示部130には、第2の適用範囲を示す実線432が表示され、カメラ110においては、第2の適用範囲が設定される。外側領域に対する第2の認識処理が不要な場合には、ユーザは、第2の適用範囲を指定することなく、OKボタン403を押す。これにより、画像処理においては、S109でNOと判定され、第2の適用範囲は未設定となり、処理はS112へ進む。なお、本実施形態においては、外側領域のうち左側の範囲のみを設定する場合を例に説明したが、右側、上側及び左側についても、同様に第2の適用範囲を設定することができる。 Subsequently, as shown in FIG. 4C, a broken line 430 indicating the second reference range is displayed on the image 410. The outside of the broken line 430 is the second reference range. The user clicks the point 431 within the second reference range, and if there is no problem, presses the OK button 403. As a result, the solid line 432 indicating the second applicable range is displayed on the display unit 130, and the second applicable range is set in the camera 110. When the second recognition process for the outer area is unnecessary, the user presses the OK button 403 without designating the second applicable range. As a result, in image processing, NO is determined in S109, the second applicable range is not set, and the process proceeds to S112. In the present embodiment, the case of setting only the left range of the outer region has been described as an example, but the second applicable range can be similarly set for the right side, the upper side, and the left side.

続いて、図4(d)に示すように、画面400には、再設定ボタン404が表示される。再設定ボタン404が選択されると、「初期化を行いますか?」という問い合わせと共に、OKボタンとNOボタンが表示される。OKボタンが選択されると、画像処理においては、S114でYESと判定され、処理は再びS106に戻る。NOボタンが選択されると、画像処理において、S114でNOと判定され、画像処理が終了する。 Then, as shown in FIG. 4D, a reset button 404 is displayed on the screen 400. When the reset button 404 is selected, an OK button and a NO button are displayed together with an inquiry "Do you want to initialize?". If the OK button is selected, in image processing, YES is determined in S114, and the process returns to S106 again. If the NO button is selected, in image processing, it is determined as NO in S114, and the image processing ends.

このように、設置場所が天井の場合には、カメラ110は、2つの認識処理それぞれに適した基準範囲を表示することができる。これにより、ユーザは認識に適した範囲を各認識処理の適用範囲として指定することができる。 As described above, when the installation place is on the ceiling, the camera 110 can display the reference range suitable for each of the two recognition processes. This allows the user to specify a range suitable for recognition as the applicable range of each recognition process.

図5は、カメラ110の設置場所が横壁の場合における表示部130の表示例を示す図である。図5(a)に示す画面500には、カメラ110により得られたリアルタイムの映像(画像)510が表示されている。映像510は、映像230と同じ映像である。曲線511の上側が天井であり、曲線511から曲線512までが壁、曲線512から曲線513までが床面に相当する。画面500にはさらに、設置場所の設定ボタン501、502が表示されている。カメラ110が横壁に設置されているため、ユーザは横壁の選択ボタン502を選択する。これにより、画像処理は、S115に進む。 FIG. 5 is a diagram showing a display example of the display unit 130 when the installation place of the camera 110 is a horizontal wall. A real-time image (image) 510 obtained by the camera 110 is displayed on the screen 500 shown in FIG. The image 510 is the same image as the image 230. The upper side of the curve 511 corresponds to the ceiling, the curves 511 to 512 correspond to the wall, and the curves 512 to 513 correspond to the floor. The screen 500 further displays setting buttons 501 and 502 for setting the installation location. Since the camera 110 is installed on the horizontal wall, the user selects the selection button 502 on the horizontal wall. As a result, the image processing proceeds to S115.

次に、図5(b)に示すように画像510には、第3の基準範囲を示す破線520が表示される。なお、画像510の上部は天井、下部は横壁であることから、これらの領域を除外した範囲が第3の基準範囲として定められている。ユーザは、第3の基準範囲内においては、第3の適用範囲とすべき矩形の2点521、522をクリック操作し、問題なければ、OKボタン503を押す。これにより、表示部130には、第3の適用範囲を示す実線523が表示され、カメラ110においては、第3の適用範囲が設定される。中央領域に対する第3の認識処理が不要な場合には、ユーザは、第3の適用範囲を指定することなく、OKボタン503を押す。これにより、画像処理においては、S117でNOと判定され、第3の適用範囲は未設定となり、処理はS120へ進む。 Next, as shown in FIG. 5B, a broken line 520 indicating the third reference range is displayed on the image 510. Since the upper part of the image 510 is the ceiling and the lower part is the lateral wall, the range excluding these regions is defined as the third reference range. Within the third reference range, the user clicks two rectangular points 521 and 522 that should be the third applicable range, and if there is no problem, presses the OK button 503. As a result, the solid line 523 indicating the third applicable range is displayed on the display unit 130, and the third applicable range is set in the camera 110. When the third recognition process for the central area is unnecessary, the user presses the OK button 503 without designating the third applicable range. As a result, in the image processing, it is determined as NO in S117, the third applicable range is not set, and the processing proceeds to S120.

続いて、図5(c)に示すように、画面500には、再設定ボタン504が表示される。再設定ボタン504が選択されると、「初期化を行いますか?」という問い合わせと共に、OKボタンとNOボタンが表示される。OKボタンが選択されると、画像処理においては、S114でYESと判定され、処理は再びS106に戻る。NOボタンが選択されると、画像処理において、S114でNOと判定され、画像処理が終了する。 Then, as shown in FIG. 5C, a reset button 504 is displayed on the screen 500. When the reset button 504 is selected, an OK button and a NO button are displayed together with an inquiry “Do you want to initialize?”. If the OK button is selected, in image processing, YES is determined in S114, and the process returns to S106 again. If the NO button is selected, in image processing, it is determined as NO in S114, and the image processing ends.

このように、設置場所が横壁の場合には、画像510の上側及び下側の領域には人物が存在することがない。これに対し、本実施形態のカメラ110は、これらの領域を除いた領域を第3の基準範囲としているため、これらの領域が物認識の範囲として設定されるのを避けることができる。 As described above, when the installation place is the horizontal wall, no person exists in the upper and lower regions of the image 510. On the other hand, in the camera 110 of the present embodiment, since the areas excluding these areas are set as the third reference range, it is possible to avoid setting these areas as the object recognition range.

以上のように、第1の実施形態に係るカメラシステム100においては、歪みが生じているような画像において、認識処理を適用させる範囲を制限することにより、特定の被写体の認識精度を向上させることができる。 As described above, in the camera system 100 according to the first embodiment, in a distorted image, the recognition accuracy of a specific subject is improved by limiting the range to which the recognition process is applied. You can

第1の実施形態の第1の変更例としては、本実施形態において説明した画像処理は、カメラシステム100の1又は2以上の装置が実行すればよく、その実行主体はカメラ110に限定されるものではない。例えば、管理装置120が、映像処理部113、展開部114、認識部115を有することとし、管理装置120が画像処理を行ってもよい。 As a first modification of the first embodiment, the image processing described in the present embodiment may be executed by one or more devices of the camera system 100, and its execution subject is limited to the camera 110. Not a thing. For example, the management device 120 may include the video processing unit 113, the expansion unit 114, and the recognition unit 115, and the management device 120 may perform image processing.

第2の変更例について説明する。本実施形態においては、天井と横壁の2つの場所が設置場所として設定され得る場合を例に説明したが、設置場所の数及び種類は、実施形態に限定されるものではない。なお、カメラ110には、設置場所として設定され得る設置場所それぞれに対応する認識処理と、認識処理に対応する基準範囲が予め設定されているものとする。 A second modification will be described. In the present embodiment, the case has been described as an example where two locations, the ceiling and the lateral wall, can be set as the installation locations, but the number and types of installation locations are not limited to the embodiments. It is assumed that the camera 110 is preset with a recognition process corresponding to each installation place that can be set as an installation place and a reference range corresponding to the recognition process.

(第2の実施形態)
図6は、第2の実施形態に係るカメラシステム600の全体図である。ここでは、第2の実施形態に係るカメラシステム600について、第1の実施形態に係るカメラシステム100と異なる点について説明する。カメラシステム600は、撮像装置としてのカメラ601と、管理装置120と、表示部130と、を有している。第2の実施形態に係るカメラ601は、2つの画像処理ユニット610、620を有している。
(Second embodiment)
FIG. 6 is an overall view of a camera system 600 according to the second embodiment. Here, the differences between the camera system 600 according to the second embodiment and the camera system 100 according to the first embodiment will be described. The camera system 600 includes a camera 601, which is an imaging device, a management device 120, and a display unit 130. The camera 601 according to the second embodiment has two image processing units 610 and 620.

カメラ601においては、撮像部112で得られた映像は、分配部602に入力される。分配部602は、映像を2つに分割し、一方を第1の画像処理ユニット610へ、他方を第2の画像処理ユニット620へ分配して送信する。第1の画像処理ユニット610及び第2の画像処理ユニット620は、例えば、映像データの処理を施すための映像処理LSIである。 In the camera 601, the image obtained by the image pickup unit 112 is input to the distribution unit 602. The distribution unit 602 divides the image into two, and distributes one to the first image processing unit 610 and the other to the second image processing unit 620 and transmits the divided image. The first image processing unit 610 and the second image processing unit 620 are, for example, video processing LSIs for processing video data.

第1の画像処理ユニット610は、映像処理部611と、展開部612と、認識部613と、ネットワーク通信部614と、チップ間通信部615と、CPU616と、記憶部617と、を有している。映像処理部611、展開部612、認識部613、ネットワーク通信部614、CPU616及び記憶部617は、それぞれ第1の実施形態に係る映像処理部113、展開部114、認識部115、通信部116、CPU117及び記憶部118と同様である。チップ間通信部615は、第1の画像処理ユニット610と第2の画像処理ユニット620の間のデータ通信を行う。 The first image processing unit 610 includes a video processing unit 611, a development unit 612, a recognition unit 613, a network communication unit 614, an inter-chip communication unit 615, a CPU 616, and a storage unit 617. There is. The video processing unit 611, the expansion unit 612, the recognition unit 613, the network communication unit 614, the CPU 616, and the storage unit 617 are the video processing unit 113, the expansion unit 114, the recognition unit 115, and the communication unit 116, respectively, according to the first embodiment. It is similar to the CPU 117 and the storage unit 118. The inter-chip communication unit 615 performs data communication between the first image processing unit 610 and the second image processing unit 620.

第2の画像処理ユニット620は、映像処理部621と、展開部622と、認識部623と、ネットワーク通信部624と、チップ間通信部625と、CPU626と、記憶部627と、を有している。映像処理部621、展開部622及び認識部623は、それぞれ映像処理部611、展開部612及び認識部613と同様である。ネットワーク通信部624、チップ間通信部625、CPU626及び記憶部627は、それぞれネットワーク通信部614、チップ間通信部615、CPU616及び記憶部617と同様である。 The second image processing unit 620 includes a video processing unit 621, a development unit 622, a recognition unit 623, a network communication unit 624, an inter-chip communication unit 625, a CPU 626, and a storage unit 627. There is. The video processing unit 621, the expansion unit 622, and the recognition unit 623 are similar to the video processing unit 611, the expansion unit 612, and the recognition unit 613, respectively. The network communication unit 624, the inter-chip communication unit 625, the CPU 626, and the storage unit 627 are similar to the network communication unit 614, the inter-chip communication unit 615, the CPU 616, and the storage unit 617, respectively.

本実施形態においては、カメラ601は、外部ネットワークと通信する必要があるのは1つのチャンネルでまかなえる構成である。このため、ネットワーク通信部614のみがネットワーク150を介した通信を行うものとする。なお、カメラ601が他の装置と広帯域でデータ通信したい場合は、ネットワーク通信部614及びネットワーク通信部624それぞれがネットワーク150を介した通信を行ってもよい。 In the present embodiment, the camera 601 has a configuration in which one channel needs to communicate with the external network. For this reason, it is assumed that only the network communication unit 614 performs communication via the network 150. When the camera 601 wants to perform wideband data communication with another device, each of the network communication unit 614 and the network communication unit 624 may perform communication via the network 150.

図7は、第2の実施形態に係るカメラ601による画像処理を示すフローチャートである。通常、高解像度の映像処理する際に、1つの処理ブロックリソースでは所定の処理量にしか対応できない。この場合、第1の画像処理ユニット610は、複数の処理ブロックリソースを使用して処理を行う。画像処理は、複数のブロックリソースを使用した処理である。まず、初期化後は、分配部602が映像を単純に固定した複数のエリアに分割し、画像処理ユニット610、620に分割したエリア毎の映像データを入力する。なお、図7に示す各処理のうち、第1の実施形態における画像処理の各処理と同じ処理には、同じ番号を付している。 FIG. 7 is a flowchart showing image processing by the camera 601 according to the second embodiment. Normally, when processing high-resolution video, one processing block resource can handle only a predetermined processing amount. In this case, the first image processing unit 610 performs processing using a plurality of processing block resources. The image processing is processing using a plurality of block resources. First, after the initialization, the distribution unit 602 simply divides the image into a plurality of fixed areas, and the image processing units 610 and 620 input the image data for each divided area. It should be noted that among the respective processes shown in FIG. 7, the same processes as the respective processes of the image processing in the first embodiment are denoted by the same reference numerals.

CPU117は、S101の処理の後、処理をS700へ進める。S700において、CPU616は撮影を開始するよう、レンズ111、撮像部112を制御する。そして、分配部602は、画像を上下に2つに分割する。なお、分割数、分割位置は実施形態に限定されるものではない。次に、S701において、第1の画像処理ユニット610及び第2の画像処理ユニット620はそれぞれに供給された画像に対し画像処理を施す。次に、S702において、第1の画像処理ユニット610は、第2の画像処理ユニット620から画像処理後の映像を受信し、自装置において画像処理した映像と受信した映像を統合する。次に、S703において、ネットワーク通信部614は、統合後の映像を管理装置120に配信する。管理装置120は、映像を受信すると、表示部130に映像を表示する。次に、CPU616は、処理をS103へ進める。 After the processing of S101, the CPU 117 advances the processing to S700. In S700, the CPU 616 controls the lens 111 and the image capturing unit 112 to start shooting. Then, the distribution unit 602 divides the image into two vertically. The number of divisions and division positions are not limited to those in the embodiment. Next, in S701, the first image processing unit 610 and the second image processing unit 620 perform image processing on the images respectively supplied. Next, in step S<b>702, the first image processing unit 610 receives the image-processed video from the second image processing unit 620, and integrates the image-processed video and the received video in the own device. Next, in step S703, the network communication unit 614 distributes the integrated video to the management device 120. When the management device 120 receives the video, the management device 120 displays the video on the display unit 130. Next, the CPU 616 advances the process to S103.

S103において、CPU616は、カメラ110の設置場所が天井か横壁かを確認する。CPU616は、設置場所が天井の場合には(S103でYES)、処理をS104へ進める。CPU616は、設置場所が横壁の場合には(S103でNO)、処理をS115へ進める。S104において、CPU616は、設置場所を天井に設定する。次に、S105において、CPU616は、設置された撮影環境に対応した最適な映像を得られるように、撮影パラメータを設定する。 In S103, the CPU 616 confirms whether the installation location of the camera 110 is the ceiling or the lateral wall. When the installation place is the ceiling (YES in S103), CPU 616 advances the process to S104. When the installation location is on the horizontal wall (NO in S103), CPU 616 advances the process to S115. In S104, the CPU 616 sets the installation place to the ceiling. Next, in S105, the CPU 616 sets shooting parameters so that an optimum image corresponding to the installed shooting environment can be obtained.

次に、S106において、CPU616は、第1の認識処理を行うか否かを確認する。CPU616は、第1の認識処理を行う場合には(S106でYES)、処理をS107へ進める。CPU616は、第1の認識処理を行わない場合には(S106でNO)、処理をS109へ進める。S107、S108の処理ののち、CPU616は、処理をS704へ進める。 Next, in S106, the CPU 616 confirms whether to perform the first recognition process. When performing the first recognition process (YES in S106), CPU 616 advances the process to S107. When the first recognition process is not performed (NO in S106), CPU 616 advances the process to S109. After the processing of S107 and S108, the CPU 616 advances the processing to S704.

S704において、CPU616は、第1の適用範囲内に分割位置が含まれないよう、分割位置を変更する。本処理は、分割位置を決定する決定処理の一例である。なお、CPU616は、分割位置を変更する際に、第1の画像処理ユニット610及び第2の画像処理ユニット620の処理能力も考慮することとする。 In S704, the CPU 616 changes the division position so that the division position is not included in the first applicable range. This process is an example of a determination process for determining the division position. The CPU 616 also considers the processing capabilities of the first image processing unit 610 and the second image processing unit 620 when changing the division position.

CPU616は、その後処理をS109へ進める。S109において、CPU616は、管理装置120から受信した指示に基づいて、第2の認識処理を行うか否かを確認する。CPU616は、第2の認識処理を行う場合には(S109でYES)、処理をS110へ進める。CPU616は、第2の認識処理を行わない場合には(S109でNO)、処理をS112へ進める。 The CPU 616 then advances the process to S109. In S109, the CPU 616 confirms whether or not to perform the second recognition process based on the instruction received from the management device 120. When performing the second recognition process (YES in S109), CPU 616 advances the process to S110. When the second recognition process is not performed (NO in S109), CPU 616 advances the process to S112.

S110において、CPU616は、第2の認識処理に対応付けられた第2の基準範囲を、管理装置120を介して表示部130に表示するよう制御する。次に、S111において、CPU616は、ユーザによる設定枠の操作に応じて、第2の認識処理を適用する第2の適用範囲を設定する。CPU616は、その後処理をS705へ進める。S705において、CPU616は、S704において分割した範囲以外のエリアに対して、第2の適用範囲を考慮し、映像処理のパフォーマンスが最大となるよう、さらに分割位置を変更する。CPU616は、その後処理をS112へ進める。 In S110, the CPU 616 controls to display the second reference range associated with the second recognition process on the display unit 130 via the management device 120. Next, in S111, the CPU 616 sets a second application range to which the second recognition process is applied, in accordance with the operation of the setting frame by the user. The CPU 616 then advances the process to S705. In S705, the CPU 616 further considers the second applicable range with respect to the area other than the range divided in S704, and further changes the dividing position so that the video processing performance is maximized. The CPU 616 then advances the process to S112.

また、S119の処理の後、CPU616は、処理をS706へ進める。S706において、CPU616は、第3の適用範囲内に分割位置が含まれないよう、分割位置を変更する。CPU616は、その後処理をS120へ進める。 Further, after the processing of S119, the CPU 616 advances the processing to S706. In S706, the CPU 616 changes the division position so that the division position is not included in the third applicable range. The CPU 616 then advances the process to S120.

以上のように、第2の実施形態のカメラ601は、高解像度の映像に対して、認識処理を施す映像中に分割位置が含まれないように処理を行うことで、認識の精度と映像処理の効率を向上することができる。 As described above, the camera 601 according to the second embodiment performs processing so that the divisional position is not included in the image to be subjected to the recognition process with respect to the high-resolution image, so that the recognition accuracy and the image processing can be improved. The efficiency of can be improved.

図8は、カメラの設置場所が天井の場合における表示部130の表示例を示す図である。図8を参照しつつ、第2の実施形態に係る画像処理のうち、第1の実施形態に係る画像処理と異なる点について説明する。図8(a)に示す画面800には、カメラ110により得られたリアルタイムの映像(画像)810が表示されている。映像810は、映像200と同じ映像である。画面800にはさらに、設定場所の選択ボタン801、802が表示されている。図中の破線811は、映像の分割位置を示す線であるが、実際の画面800においては、分割位置は表示されない。 FIG. 8 is a diagram showing a display example of the display unit 130 when the camera is installed on the ceiling. Among the image processing according to the second embodiment, differences from the image processing according to the first embodiment will be described with reference to FIG. 8. A screen 800 shown in FIG. 8A shows a real-time video (image) 810 obtained by the camera 110. The image 810 is the same image as the image 200. The screen 800 further displays setting location selection buttons 801 and 802. The broken line 811 in the figure is a line indicating the dividing position of the image, but the dividing position is not displayed on the actual screen 800.

続いて、設置位置が設定されると、図8(b)に示すように、画像410には、第1の基準範囲を示す破線820が表示される。そして、ユーザ操作により点821、822が指定されると、これらを頂点とする矩形の第1の適用範囲が設定され、第1の適用範囲を示す実線823が表示される。このとき、CPU616は、第1の適用範囲内に分割位置が含まれないように、分割位置を変更する。なお、本実施形態においては、CPU616は、第2の画像処理ユニット620が担当する映像サイズ(面積)の上限を映像全体のサイズの1/2として分割位置を変更する。 Then, when the installation position is set, a broken line 820 indicating the first reference range is displayed in the image 410, as shown in FIG. 8B. Then, when the points 821 and 822 are specified by the user operation, the first application range of the rectangle having these points as vertices is set, and the solid line 823 indicating the first application range is displayed. At this time, the CPU 616 changes the division position so that the division position is not included in the first applicable range. In the present embodiment, the CPU 616 changes the division position by setting the upper limit of the video size (area) in charge of the second image processing unit 620 to 1/2 of the size of the entire video.

続いて、図8(c)に示すように、画像810には、第2の基準範囲を示す破線830が表示される。なお、破線830の外側が第2の基準範囲である。ユーザは、第2の基準範囲内において、点831をクリックし、問題なければOKボタン803を押す。これにより、表示部130には、第2の適用範囲を示す実線832が表示され、カメラ110においては、第2の適用範囲が設定される。 Subsequently, as shown in FIG. 8C, a broken line 830 indicating the second reference range is displayed on the image 810. The outside of the broken line 830 is the second reference range. The user clicks the point 831 within the second reference range and presses the OK button 803 if there is no problem. As a result, the solid line 832 indicating the second applicable range is displayed on the display unit 130, and the second applicable range is set in the camera 110.

なお、CPU616は、第1の適用範囲のデータ量に応じて、第2の適用範囲のデータ量を算出し、点831を通る円弧の外側の領域の面積を計算した上で、処理可能な範囲を表示する。なお、本実施形態においては、CPU616は、点831から左回りの円弧に沿って面積を計算することとするが、点831から右回り円弧に沿って面積を計算することとしてもよい。 The CPU 616 calculates the data amount of the second applicable range according to the data amount of the first applicable range, calculates the area of the area outside the arc passing through the point 831, and then determines the processable range. Is displayed. In the present embodiment, the CPU 616 calculates the area along the counterclockwise arc from the point 831. However, the CPU 616 may calculate the area along the clockwise arc from the point 831.

さらに、CPU616は、第1の適用範囲内及び第2の適用範囲内に分割位置が含まれないように、分割位置を変更する。なお、第2の実施形態に係るカメラシステム600のこれ以外の構成及び処理は、第1の実施形態に係るカメラシステム100の構成及び処理と同様である。 Further, the CPU 616 changes the division position so that the division position is not included in the first application range and the second application range. The other configurations and processes of the camera system 600 according to the second embodiment are the same as the configurations and processes of the camera system 100 according to the first embodiment.

以上のように、第2の実施形態に係るカメラシステム600においては、2つの画像処理ユニットに対し、映像を分配する場合において、第1の適用範囲及び第2の適用範囲の中に映像の分割位置が含まれないように映像を分割する。これにより、処理効率を高めることができる。 As described above, in the camera system 600 according to the second embodiment, when the video is distributed to the two image processing units, the video is divided into the first application range and the second application range. Divide the image so that the position is not included. Thereby, the processing efficiency can be improved.

以上、上述した各実施形態によれば、歪みが生じているような画像において、特定の被写体の認識精度を向上させることができる。 As described above, according to each of the above-described embodiments, it is possible to improve the recognition accuracy of a specific subject in an image with distortion.

以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。 Although the preferred embodiments of the present invention have been described above in detail, the present invention is not limited to the specific embodiments, and various modifications are possible within the scope of the gist of the present invention described in the claims. -Can be changed.

(その他の実施例)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
(Other embodiments)
The present invention supplies a program that implements one or more functions of the above-described embodiments to a system or apparatus via a network or a storage medium, and one or more processors in a computer of the system or apparatus read and execute the program. It can also be realized by the processing. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.

100 カメラシステム
110 カメラ
120 管理装置
130 表示装置
100 camera system 110 camera 120 management device 130 display device

Claims (11)

撮像手段により得られた画像から特定の被写体が認識される適用範囲を指定する指定手段と、
前記指定手段により前記適用範囲を指定可能な基準範囲を表示手段に表示するよう制御する表示処理手段と
を有することを特徴とする画像処理装置。
Designation means for designating an application range in which a specific subject is recognized from an image obtained by the image pickup means,
An image processing apparatus comprising: a display processing unit that controls the display unit to display a reference range in which the applicable range can be specified by the specifying unit.
前記指定手段は、ユーザ操作に応じて前記適用範囲を指定することを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the designation unit designates the applicable range according to a user operation. 前記撮像手段の設置情報に基づいて、前記基準範囲を特定する特定手段をさらに有し、
前記表示処理手段は、前記特定手段により特定された前記基準範囲を表示するよう制御することを特徴とする請求項1又は2に記載の画像処理装置。
Further comprising specifying means for specifying the reference range based on installation information of the image pickup means,
The image processing apparatus according to claim 1, wherein the display processing unit controls to display the reference range specified by the specifying unit.
前記特定手段は、ユーザ操作に応じて入力された設置情報に基づいて、前記基準範囲を特定することを特徴とする請求項3に記載の画像処理装置。 The image processing apparatus according to claim 3, wherein the specifying unit specifies the reference range based on installation information input according to a user operation. 前記特定手段は、前記設置情報に示される設置場所が天井である場合に、第1の基準範囲を第1の認識処理が可能な範囲として特定し、さらに前記第1の基準範囲と異なる第2の基準範囲を、第1の認識処理と異なる第2の認識処理が可能な範囲として特定することを特徴とする請求項3又は4に記載の画像処理装置。 The specifying unit specifies the first reference range as a range in which the first recognition processing is possible when the installation place indicated by the installation information is a ceiling, and further, the second reference different from the first reference range. The image processing apparatus according to claim 3, wherein the reference range is specified as a range in which the second recognition processing different from the first recognition processing is possible. 前記特定手段は、前記設置情報に示される設置場所が横壁である場合に、前記第1の基準範囲及び第2の基準範囲と異なる第3の基準範囲を、前記第1の認識処理及び前記第2の認識処理と異なる第3の認識処理が可能な範囲として特定することを特徴とする請求項5に記載の画像処理装置。 When the installation location indicated in the installation information is a horizontal wall, the identifying unit defines a third reference range different from the first reference range and the second reference range as the first recognition process and the first reference range. The image processing apparatus according to claim 5, wherein the image processing apparatus is specified as a range in which a third recognition process different from the second recognition process can be performed. 前記基準範囲に基づいて、前記画像の分割位置を決定する決定手段と、
前記撮像手段により得られた画像を前記決定手段により決定された前記分割位置で分割し、複数の画像処理手段に分配する分配手段と
をさらに有することを特徴とする請求項1乃至6の何れか1項に記載の画像処理装置。
Determining means for determining the division position of the image based on the reference range;
7. The distribution device further comprising: a distribution unit that divides the image obtained by the image pickup unit at the division position determined by the determination unit and distributes the image to a plurality of image processing units. The image processing apparatus according to item 1.
前記基準範囲は予め設定された範囲であることを特徴とする請求項1に記載の画像処理装置。 The image processing apparatus according to claim 1, wherein the reference range is a preset range. 前記適用範囲に対して特定の被写体の認識処理を実行する認識手段を有することを特徴とする請求項1乃至8の何れか1項に記載の画像処理装置。 9. The image processing apparatus according to claim 1, further comprising a recognition unit that executes recognition processing of a specific subject with respect to the applicable range. 画像処理装置が実行する画像処理方法であって、
撮像手段により得られた画像から特定の被写体が認識される適用範囲を指定する指定ステップと、
前記指定ステップにおいて前記適用範囲を指定可能な基準範囲を表示手段に表示するよう制御する表示処理ステップと
を含むことを特徴とする画像処理方法。
An image processing method executed by an image processing apparatus, comprising:
A designating step of designating an applicable range in which a specific subject is recognized from the image obtained by the image pickup means;
And a display processing step of controlling the display means to display a reference range capable of designating the applicable range in the designating step.
コンピュータを請求項1乃至9の何れか1項に記載の画像処理装置の各手段として動作させるためのプログラム。 A program for causing a computer to operate as each unit of the image processing apparatus according to claim 1.
JP2016175458A 2016-09-08 2016-09-08 Image processing apparatus, image processing method and program Active JP6727998B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016175458A JP6727998B2 (en) 2016-09-08 2016-09-08 Image processing apparatus, image processing method and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016175458A JP6727998B2 (en) 2016-09-08 2016-09-08 Image processing apparatus, image processing method and program

Publications (2)

Publication Number Publication Date
JP2018042129A JP2018042129A (en) 2018-03-15
JP6727998B2 true JP6727998B2 (en) 2020-07-22

Family

ID=61626494

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016175458A Active JP6727998B2 (en) 2016-09-08 2016-09-08 Image processing apparatus, image processing method and program

Country Status (1)

Country Link
JP (1) JP6727998B2 (en)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3698420B2 (en) * 2001-06-12 2005-09-21 シャープ株式会社 Image monitoring apparatus, image monitoring method, and image monitoring processing program
JP2010123373A (en) * 2008-11-19 2010-06-03 Panasonic Electric Works Co Ltd Illumination system
JP5739722B2 (en) * 2011-04-26 2015-06-24 株式会社日立情報通信エンジニアリング Object recognition method and recognition apparatus
JP5851261B2 (en) * 2012-01-30 2016-02-03 株式会社東芝 Image sensor system, information processing apparatus, information processing method, and program
JP2015032883A (en) * 2013-07-31 2015-02-16 パナソニック株式会社 Imaging apparatus and image display method
WO2015022900A1 (en) * 2013-08-12 2015-02-19 株式会社ニコン Electronic device, electronic device control method, and control program
JP6381353B2 (en) * 2014-08-08 2018-08-29 キヤノン株式会社 Image processing apparatus, imaging apparatus, image processing method, and program

Also Published As

Publication number Publication date
JP2018042129A (en) 2018-03-15

Similar Documents

Publication Publication Date Title
US10789671B2 (en) Apparatus, system, and method of controlling display, and recording medium
US8854359B2 (en) Image processing apparatus, image processing method, storage medium, and image processing system
CN106803884B (en) Image processing apparatus
WO2017087148A1 (en) Device and method for generating a panoramic image
JP5886242B2 (en) Image processing apparatus, image processing method, and image processing program
JP2011055170A (en) Information processing apparatus and control method therefor
JP6374536B2 (en) Tracking system, terminal device, camera device, tracking shooting method and program
JP2016109813A (en) Image display system, control device, control method and program
CN111246080B (en) Control apparatus, control method, image pickup apparatus, and storage medium
JP2019129410A (en) Monitoring camera, control method thereof, and program
JP2010016826A (en) System and method for efficiently performing image processing operations
CN108769538B (en) Automatic focusing method and device, storage medium and terminal
JP2016039613A (en) Image processing system, control method thereof, program, and storage medium
JP6269014B2 (en) Focus control device and focus control method
JP6727998B2 (en) Image processing apparatus, image processing method and program
JP7150462B2 (en) Information processing device, information processing method and program
JP6483661B2 (en) Imaging control apparatus, imaging control method, and program
WO2017219442A1 (en) Image preview method and apparatus
JP6980450B2 (en) Controls, control methods, and programs
US11700446B2 (en) Information processing apparatus, system, control method of information processing apparatus, and non-transitory computer-readable storage medium
JP7237520B2 (en) Information processing device, information processing method and program
JP7335463B1 (en) PORTABLE IMAGING DEVICE, VIDEO PROCESSING SYSTEM, VIDEO PROCESSING METHOD, AND VIDEO PROCESSING PROGRAM
US9883103B2 (en) Imaging control apparatus and method for generating a display image, and storage medium
JP2019033470A (en) Image processing system, imaging apparatus, image processing apparatus, control method, and program
CN110771147A (en) Method for adjusting parameters of shooting device, control equipment and shooting system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190903

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200602

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200701

R151 Written notification of patent or utility model registration

Ref document number: 6727998

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151