WO2019106956A1 - 監視システムおよび画像処理装置 - Google Patents

監視システムおよび画像処理装置 Download PDF

Info

Publication number
WO2019106956A1
WO2019106956A1 PCT/JP2018/037210 JP2018037210W WO2019106956A1 WO 2019106956 A1 WO2019106956 A1 WO 2019106956A1 JP 2018037210 W JP2018037210 W JP 2018037210W WO 2019106956 A1 WO2019106956 A1 WO 2019106956A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
mask
display device
frame
mask processing
Prior art date
Application number
PCT/JP2018/037210
Other languages
English (en)
French (fr)
Inventor
隆一 奥村
Original Assignee
京セラドキュメントソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 京セラドキュメントソリューションズ株式会社 filed Critical 京セラドキュメントソリューションズ株式会社
Priority to EP18883852.8A priority Critical patent/EP3720119A4/en
Priority to US16/766,555 priority patent/US11050978B2/en
Priority to CN201880065493.3A priority patent/CN111183636A/zh
Priority to JP2019557041A priority patent/JP6919822B2/ja
Publication of WO2019106956A1 publication Critical patent/WO2019106956A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Definitions

  • the present invention relates to a monitoring system and an image processing apparatus.
  • An image processing apparatus detects a face in a captured image, and performs mask processing on an image of the face or its background for privacy protection (see, for example, Patent Document 1).
  • a mask area in a captured image is set in accordance with a user operation, and mask processing is performed on the set mask area.
  • the captured image of the surveillance camera as described above may be transferred to an external surveillance device, displayed on the surveillance device, and monitored by an outsider (security guard, employee of security company, etc.).
  • the image captured by the surveillance camera includes the image of the display screen of the display device. Therefore, when the confidential information is displayed on the display screen, the confidential information is displayed on the external monitoring device, so that the confidential information may be leaked. That is, since confidential information is known to outsiders (such as security personnel, security company employees, and intruders to the installation place of the monitoring apparatus), there is a possibility that the confidential information may be leaked.
  • the present invention has been made in view of the above problems, and a monitoring system for suppressing leakage of confidential information from a display screen arranged in the field of view of a monitoring camera, and an image usable for the monitoring system
  • the purpose is to obtain a processing device.
  • a surveillance system comprises a surveillance camera for imaging a predetermined place and outputting a photographed image, and an image processing apparatus for acquiring the photographed image from the surveillance camera and performing mask processing of a specific part in the photographed image. And a monitoring device for acquiring and displaying the photographed image after the mask processing. Then, the image processing apparatus detects (a) an image of a frame of a display device in the acquired captured image, and (b) detects an image of a display screen of the display device based on the detected image of the frame. Execute mask processing.
  • the image processing apparatus is installed at the predetermined place in the acquired photographed image, and an image acquiring unit that acquires the photographed image from a monitoring camera that photographs a predetermined place and outputs a photographed image.
  • a display area detection unit that detects an image of a frame of a display device, and a mask process that performs mask processing on an image of a display screen of the display device in the acquired captured image based on the detected image of the frame
  • an image output unit that outputs the photographed image after the mask processing to a monitoring device.
  • the present invention it is possible to obtain a monitoring system for suppressing leakage of confidential information from a display screen arranged in the field of view of the monitoring camera, and an image processing apparatus usable for the monitoring system.
  • FIG. 1 is a block diagram showing the configuration of a monitoring system according to an embodiment of the present invention.
  • FIG. 2 is a view showing an example of a photographed image before mask processing in the monitoring system shown in FIG.
  • FIG. 3 is a diagram for explaining the operation of the display area detection unit 22 in the monitoring system shown in FIG.
  • FIG. 4 is a view showing an example of a photographed image after mask processing in the monitoring system shown in FIG.
  • FIG. 1 is a block diagram showing the configuration of a monitoring system according to an embodiment of the present invention.
  • This surveillance system shoots and monitors a predetermined place in a building.
  • the surveillance system shown in FIG. 1 includes a surveillance camera 1, an image processing device 2, and a surveillance device 3.
  • the monitoring camera 1, the image processing device 2, and the monitoring device 3 can communicate with each other via a network 4 such as a LAN (Local Area Network) or the Internet.
  • LAN Local Area Network
  • the surveillance camera 1 shoots a predetermined place and outputs a photographed image in a predetermined data format. That is, the surveillance camera 1 is fixed so that a predetermined place is photographed.
  • the monitoring camera 1 is a network camera.
  • the image processing apparatus 2 acquires a captured image from the monitoring camera 1 and performs mask processing of a specific part in the captured image.
  • the image processing device 2 is a relay server of a captured image that immediately transfers the captured image after mask processing to the monitoring device 3 via the network 4.
  • the image processing device 2 detects (a) an image of a frame of the display device 101 in the acquired captured image, and (b) a display screen of the display device 101 based on the detected frame image. Perform mask processing on the image.
  • the monitoring device 3 acquires and displays a photographed image after mask processing from the image processing device 2.
  • the photographed image displayed by the monitoring device 3 is monitored by an outsider with respect to the above-mentioned predetermined place.
  • the image processing device 2 includes a communication device 11, a storage device 12, and an arithmetic processing device 13.
  • the communication device 11 is a network interface or the like that is connected to the network 4 and performs data communication with other devices (such as the monitoring camera 1 and the monitoring device 3).
  • the storage device 12 is a non-volatile storage device such as a hard disk or a flash memory, and stores programs, data, and the like.
  • An image processing program 12 a is stored in the storage device 12.
  • the arithmetic processing unit 13 includes a computer provided with a central processing unit (CPU), a read only memory (ROM), a random access memory (RAM), and the like, and loads a program stored in the storage device 12 or the ROM into the RAM. By being executed by the CPU, it operates as various processing units.
  • CPU central processing unit
  • ROM read only memory
  • RAM random access memory
  • the arithmetic processing unit 13 operates as the image acquisition unit 21, the display area detection unit 22, the mask processing unit 23, the image output unit 24, and the camera control unit 25 by executing the image processing program 12 a.
  • the image acquisition unit 21 acquires a captured image from the monitoring camera 1 using the communication device 11.
  • the display area detection unit 22 detects an image of a frame of the display device 101 installed in the above-described predetermined place in the acquired captured image.
  • an image of a frame of the plurality of display devices 101 is detected in the acquired photographed image.
  • the display area detection unit 22 may detect an image of a frame of the display device 101 for all frames in the acquired captured image (moving image), or the display device 101 may be arranged at predetermined intervals. The image of the frame of may be detected.
  • the display area detection unit 22 is an image of a frame existing around the four sides or three sides of a rectangular shape (substantially rectangular, substantially trapezoidal, and other substantially rectangular) corresponding to the display screen described above. As detected. Note that although the actual display screen is substantially rectangular, it may not be rectangular in the captured image due to the difference in the orientation between the optical axis of the monitoring camera 1 and the display screen, etc. An image of a frame along the periphery of the other rectangular object is also detected.
  • an image of a frame is detected as two bent straight edges adjacent to each other in a width of a predetermined range in a captured image.
  • Edge detection is performed, for example, by existing contour detection and Hough transform.
  • the image of the frame may be detected by pattern matching.
  • the display device 101 is a display device independent of the main body of a desktop PC (Personal Computer)
  • a frame exists around the four sides of the display screen in the photographed image. Therefore, in this case, two edges (outer edge and inner edge of the frame) forming a substantially square shape are detected.
  • the display device 101 is, for example, a foldable notebook PC
  • a frame exists around three sides (three sides excluding the bottom side) of the display screen in the photographed image. That is, since the main body portion and the keyboard portion of the notebook PC extend from the bottom of the display screen, an image of a frame having a small width can not be obtained in the photographed image. Therefore, in this case, two quadrangular bent straight edges with one side open (outer edge and inner edge of the frame) are detected.
  • FIG. 2 is a view showing an example of a photographed image before mask processing in the monitoring system shown in FIG.
  • FIG. 3 is a diagram for explaining the operation of the display area detection unit 22 in the monitoring system shown in FIG.
  • the mask processing unit 23 executes mask processing on the image of the display screen of the display apparatus 101 in the acquired captured image based on the detected frame image.
  • the mask processing unit 23 replaces the image of the display screen with a solid image of a single color (white or black).
  • FIG. 4 is a view showing an example of a photographed image after mask processing in the monitoring system shown in FIG. For example, in the case of the photographed image shown in FIG. 2, the display screen is masked as shown in FIG.
  • the image output unit 24 outputs the photographed image after the mask processing to the monitoring device 3 using the communication device 11.
  • the image output unit 24 stores the photographed image before the mask processing in the storage device 12 and uses the communication device 11 to store the photographed image after user authentication based on a command from the monitoring device 3 May be transmitted to the monitoring device 3.
  • the image output unit 24 verifies the user on the basis of a command from the monitoring device 3 and then monitors the monitoring camera 1 and the monitoring devices 3.
  • the correspondence relationship of may be set or changed. That is, in that case, the image processing apparatus 2 performs mask processing on the captured image received from the monitoring camera 1 and performs imaging on the monitoring apparatus 3 specified corresponding to the monitoring camera 1 according to the correspondence relationship. Transfer images
  • the camera control unit 25 uses the communication device 11 to control the direction, the angle of view, and the like of the monitoring camera 1 based on an instruction from the monitoring device 3. That is, the monitoring camera 1 includes a drive unit that changes the direction of the field of view (that is, the optical axis of the imaging optical system), the angle of view, etc., and the drive unit changes the field of view based on the control signal from the camera control unit 25 Let
  • a notification to that effect may be sent to a predetermined destination (administrator), for example, by e-mail.
  • the surveillance camera 1 continuously transmits a captured image of a predetermined place to the image processing apparatus 2.
  • the image acquisition unit 21 receives the captured image using the communication device 11.
  • display field detection part 22 tries detection of a picture of a frame of display apparatus 101 in the photography picture as mentioned above.
  • the mask processing unit 23 When the display area detection unit 22 detects an image of a frame of the display device 101, the mask processing unit 23 performs mask processing on the image of the display screen inside the image of the frame. The mask processing unit 23 continuously performs mask processing on the image of the display screen until the image of the frame is not detected by the display area detection unit 22.
  • the image output unit 24 transmits the photographed image after the mask processing to the monitoring device 3.
  • the image output unit 24 immediately transfers the photographed image received by the image acquisition unit 21 to the monitoring device 3.
  • a photographed image is received from the image processing device 2 and displayed on a display device or the like.
  • the monitoring camera 1 captures a predetermined place and outputs a captured image
  • the image processing apparatus 2 acquires a captured image from the monitoring camera 1 and the captured image
  • the monitor processing of the specific part in the inside is performed, and the monitoring device 3 acquires and displays the photographed image after the mask processing from the image processing device 2.
  • the image processing apparatus 2 detects (a) an image of a frame of the display device 101 in the acquired captured image, and (b) a mask for the image of the display screen of the display device 101 based on the detected image of the frame. Execute the process
  • the image of the display screen of the display device 101 is masked by the image processing apparatus 2 that relays the captured image. Leakage of confidential information from the displayed display screen is suppressed.
  • surveillance camera 1 includes two cameras for stereo vision, and image acquisition unit 21 acquires a captured image for stereo vision from surveillance camera 1.
  • the mask processing unit 23 specifies (a) the distance from the monitoring camera 1 to the display device 101 based on the captured image for stereo vision, (b) the specified distance and the above-mentioned frame
  • the size of the display device 101 is specified based on the size of the image (size of the frame image), and (c) the specified size of the display device 101 is within a predetermined range (from the smallest size to the largest possible size of the display device 101) If it is out of the range of the size), it is judged as an erroneous detection, and mask processing is not performed on the image on the display screen of the display device 101.
  • the mask processing unit 23 performs mask processing on the image on the display screen of the display device 101 as in the first embodiment.
  • the mask processing unit 23 when the mask processing unit 23 detects an image of a person superimposed on the image of the display screen of the display device 101 in the captured image, the person among the images of the display screen The mask process is performed on a portion where the image of (3) is not superimposed, and the mask process is not performed on the portion where the image of the person is superimposed.
  • an image of a person is detected by an existing face recognition technique, a person detection technique, or the like.
  • a person close to the monitoring camera 1 may be identified by the display device 101 using the above-described stereo vision, and the above-described process may be performed only on the image of the identified person.
  • the mask processing unit 23 determines whether the image on the display screen described above is a solid image (that is, an image of a single density such as white or black), and the display screen If the image of is a solid image of a single density, it is determined that the display apparatus 101 is in the power-off state, and mask processing is not performed. That is, if the image on the display screen is not a single-density solid image, it is determined that the display apparatus 101 is in the power-on state, and if the above-described frame image is detected, the mask process is performed.
  • the other configuration and operation of the monitoring system according to the fourth embodiment are the same as those of any of the first to third embodiments, and thus the description thereof is omitted.
  • the display area detecting unit 22 excludes the image of the moving object in the captured image from the detection of the image of the frame of the display device. For example, for an object whose position in the captured image changes between frames of the captured image, detection of the frame image of the display device is not performed.
  • the other configuration and operation of the monitoring system according to the fifth embodiment are the same as those of any of the first to fourth embodiments, and thus the description thereof is omitted.
  • the mask processing unit 23 does not execute the mask process if the current time is a predetermined time zone (midnight, early morning, etc. time zone without people), and the current time is a predetermined time If it is not a band, mask processing is performed when the above-described frame image is detected.
  • a predetermined time zone midnight, early morning, etc. time zone without people
  • the other configuration and operation of the monitoring system according to the sixth embodiment are the same as those of any of the first to fifth embodiments, and thus the description thereof is omitted.
  • the above-mentioned predetermined place is a space (room, floor, etc.) managed by entering / exiting management system, and mask processing unit 23 enters from entrance / exit management system If the information showing the number of people inside is acquired, and at least one person has entered the place, mask processing will be executed when the above-mentioned frame image is detected, and one person must also have entered the place. For example, mask processing is not performed.
  • the other configuration and operation of the monitoring system according to the seventh embodiment are the same as those of any of the first to sixth embodiments, and thus the description thereof will be omitted.
  • the present invention is applicable to, for example, a monitoring system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

監視カメラ（１）は、所定の場所を撮影し撮影画像を出力し、画像処理装置（２）は、監視カメラ１から撮影画像を取得し、その撮影画像内の特定部分のマスク処理を行い、監視装置（３）は、画像処理装置（２）からマスク処理後の撮影画像を取得し表示する。そして、画像処理装置（２）は、取得した撮影画像内で、ディスプレイ装置（１０１）の枠の画像を検出し、検出した枠の画像に基づき、ディスプレイ装置（１０１）の表示画面の画像に対するマスク処理を実行する。

Description

監視システムおよび画像処理装置
　本発明は、監視システムおよび画像処理装置に関するものである。
　ある画像処理装置は、撮影画像内の顔を検出し、顔またはその背景の画像に対してプライバシー保護のためにマスク処理を行っている（例えば特許文献１参照）。
　また、あるシステムでは、ユーザー操作に従って撮影画像内におけるマスク領域を設定し、設定されたマスク領域に対してマスク処理を行っている。
特開２００９－１９４６８７号公報
　上述のような監視カメラの撮影画像は、外部の監視装置に転送され、その監視装置で表示され、部外者（警備員、警備会社従業員など）により監視されることがある。
　監視カメラの視野内にパーソナルコンピューターなどの電子デバイスのディスプレイ装置が存在する場合、監視カメラの撮影画像に、そのディスプレイ装置の表示画面の画像が含まれてしまう。そのため、表示画面に機密情報が表示されている場合、外部の監視装置に機密情報が表示されるため、機密情報が漏洩する可能性がある。つまり、部外者（警備員、警備会社従業員、監視装置の設置場所へ侵入者など）に機密情報が知られてしまうため、機密情報が漏洩する可能性がある。
　上述のシステムを使用して、手作業で、各電子デバイスの表示画面をマスク領域として設定し、表示画面に対してマスク処理を行うことも可能であるが、電子デバイスの数が多い場合には、現実的に、手作業でマスク領域を設定するのは困難である。また、マスク領域を設定しても、ユーザーが電子デバイス（つまり、ディスプレイ装置）の設置場所を変更した場合には、再度、マスク領域を設定しなければならず、電子デバイスの設置場所の管理を常に行う必要があり、現実的ではない。
　本発明は、上記の問題に鑑みてなされたものであり、監視カメラの視野内に配置された表示画面から機密情報が漏洩することを抑制する監視システム、並びに、その監視システムに使用可能な画像処理装置を得ることを目的とする。
　本発明に係る監視システムは、所定の場所を撮影し撮影画像を出力する監視カメラと、前記監視カメラから前記撮影画像を取得し、前記撮影画像内の特定部分のマスク処理を行う画像処理装置と、前記マスク処理後の前記撮影画像を取得し表示する監視装置とを備える。そして、前記画像処理装置は、（ａ）取得した前記撮影画像内で、ディスプレイ装置の枠の画像を検出し、（ｂ）検出した前記枠の画像に基づき、前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行する。
　本発明に係る画像処理装置は、所定の場所を撮影し撮影画像を出力する監視カメラから前記撮影画像を取得する画像取得部と、取得された前記撮影画像内で、前記所定の場所に設置されているディスプレイ装置の枠の画像を検出するディスプレイ領域検出部と、検出された前記枠の画像に基づき、取得された前記撮影画像における前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行するマスク処理部と、前記マスク処理後の前記撮影画像を監視装置へ出力する画像出力部とを備える。
　本発明によれば、監視カメラの視野内に配置された表示画面から機密情報が漏洩することを抑制する監視システム、および、その監視システムに使用可能な画像処理装置が得られる。
　本発明の上記又は他の目的、特徴および優位性は、添付の図面とともに以下の詳細な説明から更に明らかになる。
図１は、本発明の実施の形態に係る監視システムの構成を示すブロック図である。 図２は、図１に示す監視システムにおけるマスク処理前の撮影画像の一例を示す図である。 図３は、図１に示す監視システムにおけるディスプレイ領域検出部２２の動作を説明する図である。 図４は、図１に示す監視システムにおけるマスク処理後の撮影画像の一例を示す図である。
　以下、図に基づいて本発明の実施の形態を説明する。
実施の形態１．
　図１は、本発明の実施の形態に係る監視システムの構成を示すブロック図である。この監視システムは、建物内の所定の場所を撮影して監視する。図１に示す監視システムは、監視カメラ１、画像処理装置２、および監視装置３を備える。監視カメラ１、画像処理装置２、および監視装置３は、ＬＡＮ（Local Area Network）、インターネットなどのネットワーク４を介して互いに通信可能となっている。
　監視カメラ１は、所定の場所を撮影し、所定のデータフォーマットで撮影画像を出力する。つまり、監視カメラ１は、所定の場所が撮影されるように固定されている。例えば、監視カメラ１は、ネットワークカメラである。
　画像処理装置２は、監視カメラ１から撮影画像を取得し、その撮影画像内の特定部分のマスク処理を行う。例えば、画像処理装置２は、ネットワーク４を介して、マスク処理後の撮影画像をただちに監視装置３に転送する撮影画像の中継サーバーである。
　具体的には、画像処理装置２は、（ａ）取得した撮影画像内で、ディスプレイ装置１０１の枠の画像を検出し、（ｂ）検出した枠の画像に基づき、ディスプレイ装置１０１の表示画面の画像に対するマスク処理を実行する。
　監視装置３は、画像処理装置２からマスク処理後の撮影画像を取得し表示する。監視装置３により表示される撮影画像は、上述の所定の場所に対する部外者によって監視される。
　図１に示すように、画像処理装置２は、通信装置１１と、記憶装置１２と、演算処理装置１３とを備える。
　通信装置１１は、ネットワーク４に接続され、他の装置（監視カメラ１、監視装置３など）との間でデータ通信を行うネットワークインターフェイスなどである。
　記憶装置１２は、ハードディスク、フラッシュメモリーなどといった不揮発性の記憶装置であり、プログラム、データなどを格納している。記憶装置１２には、画像処理プログラム１２ａが格納されている。
　演算処理装置１３は、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などを備えたコンピューターを含み、記憶装置１２、ＲＯＭなどに格納されているプログラムをＲＡＭにロードしてＣＰＵで実行することで、各種処理部として動作する。
　演算処理装置１３は、画像処理プログラム１２ａを実行することで、画像取得部２１、ディスプレイ領域検出部２２、マスク処理部２３、画像出力部２４、およびカメラ制御部２５として動作する。
　画像取得部２１は、通信装置１１を使用して、監視カメラ１から撮影画像を取得する。
　ディスプレイ領域検出部２２は、取得された撮影画像内で、上述の所定の場所に設置されているディスプレイ装置１０１の枠の画像を検出する。なお、撮影カメラ１の視野内に複数のディスプレイ装置１０１が存在する場合、取得された撮影画像内で、複数のディスプレイ装置１０１の枠の画像が検出される。
　なお、ディスプレイ領域検出部２２は、取得された撮影画像（動画）のうちのすべてのフレームについてディスプレイ装置１０１の枠の画像を検出するようにしてもよいし、所定の複数フレームおきにディスプレイ装置１０１の枠の画像を検出するようにしてもよい。
　ディスプレイ領域検出部２２は、上述の枠の画像を、上述の表示画面に対応する四角形状（略矩形、略台形、およびその他の略四角形）の４辺または３辺の周囲に存在する枠の画像として検出する。なお、実際の表示画面は、略矩形であるが、監視カメラ１の光軸と表示画面との間の向きの違いなどに起因して、撮影画像内では矩形にならないことがあるため、略矩形以外の四角形状のオブジェクトの周囲に沿った枠の画像も検出される。
　例えば、枠の画像は、撮影画像内では、所定範囲の幅で隣接する、屈曲した直線状の２本のエッジとして検出される。エッジの検出は、例えば、既存の輪郭線検出およびハフ変換により行われる。また、パターンマッチングで枠の画像を検出するようにしてもよい。
　例えばディスプレイ装置１０１がデスクトップＰＣ（Personal Computer）の本体から独立したディスプレイ装置である場合には、撮影画像内では、表示画面の４辺の周囲に枠が存在する。したがって、この場合、略四角形状を形成する２本のエッジ（枠の外側エッジと内側エッジ）検出される。
　一方、例えばディスプレイ装置１０１が折り畳み式のノートＰＣである場合、撮影画像内では、表示画面の３辺（底辺を除く３辺）の周囲に枠が存在する。つまり、表示画面の底辺からは、ノートＰＣの本体部分やキーボード部分が延びているため、撮影画像内では、小さい幅の枠の画像が得られない。したがって、この場合、１辺が開口した四角形状の屈曲した直線エッジが２本（枠の外側エッジと内側エッジ）検出される。
　図２は、図１に示す監視システムにおけるマスク処理前の撮影画像の一例を示す図である。図３は、図１に示す監視システムにおけるディスプレイ領域検出部２２の動作を説明する図である。
　例えば図２に示すように、撮影画像において、ディスプレイ装置１０１の画像４１が存在する場合、図３に示すように、表示画面の画像５１の周囲に存在する２本のエッジ５２，５３が検出され、２本のエッジ５２，５３のうちの内側のエッジ５２の内部が表示画面の画像５１とされる。
　マスク処理部２３は、検出された枠の画像に基づき、取得された撮影画像におけるディスプレイ装置１０１の表示画面の画像に対するマスク処理を実行する。
　例えば、マスク処理では、マスク処理部２３は、表示画面の画像を単一色（白または黒）のベタ画像に置換する。
　図４は、図１に示す監視システムにおけるマスク処理後の撮影画像の一例を示す図である。例えば図２に示す撮影画像の場合、図４に示すように、表示画面がマスクされる。
　画像出力部２４は、通信装置１１を使用して、そのマスク処理後の撮影画像を監視装置３へ出力する。また、画像出力部２４は、マスク処理前の撮影画像を記憶装置１２に蓄積し、通信装置１１を使用して、監視装置３からの指令に基づいて、ユーザー認証後、蓄積している撮影画像を監視装置３へ送信するようにしてもよい。また、当該システムが複数の監視カメラ１および複数の監視装置３を備えている場合、画像出力部２４は、監視装置３からの指令に基づいて、ユーザー認証後、監視カメラ１と監視装置３との対応関係を設定または変更するようにしてもよい。つまり、その場合、画像処理装置２は、監視カメラ１から受信した撮影画像に対してマスク処理し、その対応関係に従ってその監視カメラ１に対応して特定される監視装置３へマスク処理後の撮影画像を転送する。
　カメラ制御部２５は、通信装置１１を使用して、監視装置３からの指令に基づいて、監視カメラ１の向き、画角などを制御する。つまり、監視カメラ１は、視野（つまり、撮影光学系の光軸）の向き、画角などを変化させる駆動部を備え、カメラ制御部２５からの制御信号に基づいて、駆動部で視野を変化させる。
　なお、上述のように、画像処理装置２において、蓄積している撮影画像の閲覧、監視カメラ１の向き、画角などの変化、設定変更、それらのためのユーザー認証要求などが検出された場合には、所定の宛先（管理者）に、その旨の通知を例えば電子メールなどで送信するようにしてもよい。
　次に、上記システムの動作について説明する。
　監視カメラ１は、所定の場所の撮影画像を継続的に画像処理装置２に送信する。
　画像処理装置２では、画像取得部２１が、通信装置１１を使用して、その撮影画像を受信する。
　そして、上述の条件に基づいてマスク処理を行う場合には、ディスプレイ領域検出部２２は、その撮影画像においてディスプレイ装置１０１の枠の画像の検出を上述のように試みる。
　ディスプレイ領域検出部２２によりディスプレイ装置１０１の枠の画像が検出されると、マスク処理部２３は、その枠の画像の内側の表示画面の画像に対してマスク処理を行う。マスク処理部２３は、その枠の画像がディスプレイ領域検出部２２により検出されなくなるまで、その表示画面の画像に対してマスク処理を継続的に行う。
　そして、画像出力部２４は、マスク処理後の撮影画像を監視装置３へ送信する。
　なお、上述の条件に基づいてマスク処理を行わない場合には、画像出力部２４は、画像取得部２１により受信された撮影画像をただちに監視装置３へ転送する。
　監視装置３では、撮影画像が画像処理装置２から受信され、ディスプレイ装置などで表示される。
　以上のように、上記実施の形態１によれば、監視カメラ１は、所定の場所を撮影し撮影画像を出力し、画像処理装置２は、監視カメラ１から撮影画像を取得し、その撮影画像内の特定部分のマスク処理を行い、監視装置３は、画像処理装置２からマスク処理後の撮影画像を取得し表示する。そして、画像処理装置２は、（ａ）取得した撮影画像内で、ディスプレイ装置１０１の枠の画像を検出し、（ｂ）検出した枠の画像に基づき、ディスプレイ装置１０１の表示画面の画像に対するマスク処理を実行する。
　これにより、監視カメラ１の視野内にディスプレイ装置１０１があっても、撮影画像を中継する画像処理装置２でディスプレイ装置１０１の表示画面の画像がマスクされるため、監視カメラ１の視野内に配置された表示画面からの機密情報の漏洩が抑制される。
実施の形態２．
　実施の形態２に係る監視システムでは、監視カメラ１は、ステレオビジョン用の２台のカメラを備え、画像取得部２１は、監視カメラ１からステレオビジョン用の撮影画像を取得する。
　そして、実施の形態２では、マスク処理部２３は、（ａ）ステレオビジョン用の撮影画像に基づき、監視カメラ１からディスプレイ装置１０１までの距離を特定し、（ｂ）特定した距離および上述の枠の画像（枠の画像のサイズ）に基づいて、ディスプレイ装置１０１のサイズを特定し、（ｃ）特定したディスプレイ装置１０１のサイズが所定範囲（ディスプレイ装置１０１のサイズとして可能性のある最小サイズから最大サイズまでの範囲）外であれば、誤検出と判断して、当該ディスプレイ装置１０１の表示画面の画像に対してマスク処理を実行しない。
　つまり、特定したディスプレイ装置１０１のサイズが所定範囲外であれば、マスク処理部２３は、実施の形態１と同様にして、当該ディスプレイ装置１０１の表示画面の画像に対してマスク処理を実行する。
　なお、実施の形態２に係る監視システムにおけるその他の構成および動作については実施の形態１と同様であるので、その説明を省略する。
実施の形態３．
　実施の形態３に係る監視システムでは、マスク処理部２３は、撮影画像内で、ディスプレイ装置１０１の表示画面の画像に重畳して人物の画像を検出した場合、表示画面の画像のうち、その人物の画像が重畳していない部分に対してマスク処理を実行し、その人物の画像が重畳している部分に対してマスク処理を実行しない。
　なお、例えば、人物の画像は、既存の顔認識技術、人物検出技術などで検出される。また、上述のステレオビジョンでディスプレイ装置１０１より監視カメラ１に近い人物が特定され、特定した人物の画像についてのみ、上述の処理が行われるようにしてもよい。
　これにより、撮影画像内で人物の画像が除去されずに済む。
　なお、実施の形態３に係る監視システムにおけるその他の構成および動作については実施の形態１または実施の形態２と同様であるので、その説明を省略する。
実施の形態４．
　実施の形態４に係る監視システムでは、マスク処理部２３は、上述の表示画面の画像がベタ画像（つまり、白色、黒色などの単一濃度の画像）であるか否かを判定し、表示画面の画像が単一濃度のベタ画像である場合、ディスプレイ装置１０１が電源オフ状態であると判定し、マスク処理を実行しない。つまり、表示画面の画像が単一濃度のベタ画像ではなければ、ディスプレイ装置１０１が電源オン状態であると判定され、上述の枠の画像が検出されれば、マスク処理が実行される。
　なお、実施の形態４に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態３のいずれかと同様であるので、その説明を省略する。
実施の形態５．
　実施の形態５に係る監視システムでは、ディスプレイ領域検出部２２は、撮影画像において移動している物体の画像については、ディスプレイ装置の枠の画像の検出から除外する。例えば、撮影画像のフレーム間で、撮影画像内での位置が変化しているオブジェクトについては、ディスプレイ装置の枠の画像の検出を行わない。
　なお、実施の形態５に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態４のいずれかと同様であるので、その説明を省略する。
実施の形態６．
　実施の形態６に係る監視システムでは、マスク処理部２３は、現在時刻が所定の時間帯（深夜、早朝など人がいない時間帯）であればマスク処理を実行せず、現在時刻が所定の時間帯ではなければ、上述の枠の画像が検出されると、マスク処理を実行する。
　なお、実施の形態６に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態５のいずれかと同様であるので、その説明を省略する。
実施の形態７．
　実施の形態７に係る監視システムでは、上述の所定の場所は、入退出管理システムで入退出管理されている空間（部屋、フロアーなど）であり、マスク処理部２３は、入退出管理システムから入場中の人数を示す情報を取得し、少なくとも１人がその場所に入場していれば、上述の枠の画像が検出されると、マスク処理を実行し、その場所に１人も入場していなければマスク処理を実行しない。
　なお、実施の形態７に係る監視システムにおけるその他の構成および動作については実施の形態１から実施の形態６のいずれかと同様であるので、その説明を省略する。
　なお、上述の実施の形態に対する様々な変更および修正については、当業者には明らかである。そのような変更および修正は、その主題の趣旨および範囲から離れることなく、かつ、意図された利点を弱めることなく行われてもよい。つまり、そのような変更および修正が請求の範囲に含まれることを意図している。
　本発明は、例えば、監視システムに適用可能である。

Claims (9)

  1. 　所定の場所を撮影し撮影画像を出力する監視カメラと、
    　前記監視カメラから前記撮影画像を取得し、前記撮影画像内の特定部分のマスク処理を行う画像処理装置と、
    　前記画像処理装置から前記マスク処理後の前記撮影画像を取得し表示する監視装置とを備え、
    　前記画像処理装置は、（ａ）取得した前記撮影画像内で、ディスプレイ装置の枠の画像を検出し、（ｂ）検出した前記枠の画像に基づき、前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行すること、
    　を特徴とする監視システム。
  2. 　所定の場所を撮影し撮影画像を出力する監視カメラから前記撮影画像を取得する画像取得部と、
    　取得された前記撮影画像内で、前記所定の場所に設置されているディスプレイ装置の枠の画像を検出するディスプレイ領域検出部と、
    　検出された前記枠の画像に基づき、取得された前記撮影画像における前記ディスプレイ装置の表示画面の画像に対するマスク処理を実行するマスク処理部と、
    　前記マスク処理後の前記撮影画像を監視装置へ出力する画像出力部と、
    　を備えることを特徴とする画像処理装置。
  3. 　前記ディスプレイ領域検出部は、前記枠の画像を、前記表示画面に対応する四角形状の４辺または３辺の周囲に存在する枠の画像として検出することを特徴とする請求項２記載の画像処理装置。
  4. 　前記監視カメラは、ステレオビジョン用の２台のカメラを備え、
    　前記画像取得部は、ステレオビジョン用の前記撮影画像を取得し、
    　前記マスク処理部は、（ａ）前記ステレオビジョン用の前記撮影画像に基づき、前記監視カメラから前記ディスプレイ装置までの距離を特定し、（ｂ）特定した前記距離および前記枠の画像に基づいて、前記ディスプレイ装置のサイズを特定し、（ｃ）特定した前記ディスプレイ装置のサイズが所定範囲外であれば、当該ディスプレイ装置の表示画面の画像に対してマスク処理を実行しないこと、
    　を特徴とする請求項２記載の画像処理装置。
  5. 　前記マスク処理部は、前記撮影画像内で、前記ディスプレイ装置の表示画面の画像に重畳して人物の画像を検出した場合、前記表示画面の画像のうち、前記人物の画像が重畳していない部分に対してマスク処理を実行し、前記人物の画像が重畳している部分に対してマスク処理を実行しないことを特徴とする請求項２記載の画像処理装置。
  6. 　前記マスク処理部は、前記表示画面の画像がベタ画像であるか否かを判定し、前記表示画面の画像が単一濃度のベタ画像である場合、前記マスク処理を実行しないことを特徴とする請求項２記載の画像処理装置。
  7. 　前記ディスプレイ領域検出部は、前記撮影画像において移動している物体の画像については、前記ディスプレイ装置の枠の画像の検出から除外することを特徴とする請求項２記載の画像処理装置。
  8. 　前記マスク処理部は、現在時刻が所定の時間帯であれば前記マスク処理を実行せず、現在時刻が所定の時間帯ではなければ前記マスク処理を実行することを特徴とする請求項２記載の画像処理装置。
  9. 　前記所定の場所は、入退出管理されている空間であり、
    　前記マスク処理部は、前記所定の場所に少なくとも１人が入場していれば前記マスク処理を実行し、前記所定の場所に１人も入場していなければ前記マスク処理を実行しないこと、
    　を特徴とする請求項２記載の画像処理装置。
PCT/JP2018/037210 2017-11-29 2018-10-04 監視システムおよび画像処理装置 WO2019106956A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP18883852.8A EP3720119A4 (en) 2017-11-29 2018-10-04 SURVEILLANCE SYSTEM AND IMAGE PROCESSING DEVICE
US16/766,555 US11050978B2 (en) 2017-11-29 2018-10-04 Monitoring system and image processing apparatus
CN201880065493.3A CN111183636A (zh) 2017-11-29 2018-10-04 监控系统和图像处理装置
JP2019557041A JP6919822B2 (ja) 2017-11-29 2018-10-04 監視システムおよび画像処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-229670 2017-11-29
JP2017229670 2017-11-29

Publications (1)

Publication Number Publication Date
WO2019106956A1 true WO2019106956A1 (ja) 2019-06-06

Family

ID=66664824

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/037210 WO2019106956A1 (ja) 2017-11-29 2018-10-04 監視システムおよび画像処理装置

Country Status (5)

Country Link
US (1) US11050978B2 (ja)
EP (1) EP3720119A4 (ja)
JP (1) JP6919822B2 (ja)
CN (1) CN111183636A (ja)
WO (1) WO2019106956A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022055229A (ja) * 2020-09-28 2022-04-07 横河電機株式会社 監視用デバイス、学習装置、方法およびプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099160A (ja) * 2006-10-16 2008-04-24 Funai Electric Co Ltd 撮像機能を有する機器
JP2008099159A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像装置、フレーミング制御方法およびプログラム
JP2008236673A (ja) * 2007-03-23 2008-10-02 Victor Co Of Japan Ltd 監視カメラ制御装置
JP2009194687A (ja) 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4508038B2 (ja) * 2005-03-23 2010-07-21 日本ビクター株式会社 画像処理装置
KR101187756B1 (ko) * 2005-11-07 2012-10-08 엘지전자 주식회사 감시용 카메라의 프라이버시 마스크 표시 제어방법
JP4510845B2 (ja) * 2007-04-26 2010-07-28 シャープ株式会社 表示システムおよび画像処理装置
JP4382837B2 (ja) * 2007-06-07 2009-12-16 シャープ株式会社 表示システムおよび画像処理装置
CN101389005A (zh) * 2007-09-11 2009-03-18 华为技术有限公司 一种对图像特定位置进行遮挡的方法及装置
JP2009124618A (ja) * 2007-11-19 2009-06-04 Hitachi Ltd カメラ装置、画像処理装置
CN101540894A (zh) * 2009-04-10 2009-09-23 浙江工业大学 一种视频监控中隐私区域的遮蔽方法
CN103152556A (zh) * 2013-03-15 2013-06-12 云南大学 一种用于隐私保护的监控视频加密方法
JP5988225B2 (ja) * 2015-02-25 2016-09-07 パナソニックＩｐマネジメント株式会社 モニタリング装置およびモニタリング方法
CN106375737B (zh) * 2016-11-25 2020-08-28 浙江宇视科技有限公司 一种视频图像局部遮挡的方法及装置
CN108206930A (zh) * 2016-12-16 2018-06-26 杭州海康威视数字技术股份有限公司 基于隐私遮蔽显示图像的方法及装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008099160A (ja) * 2006-10-16 2008-04-24 Funai Electric Co Ltd 撮像機能を有する機器
JP2008099159A (ja) * 2006-10-16 2008-04-24 Sony Corp 撮像装置、フレーミング制御方法およびプログラム
JP2008236673A (ja) * 2007-03-23 2008-10-02 Victor Co Of Japan Ltd 監視カメラ制御装置
JP2009194687A (ja) 2008-02-15 2009-08-27 Sony Corp 画像処理装置、カメラ装置、通信システム、画像処理方法、およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3720119A4

Also Published As

Publication number Publication date
JP6919822B2 (ja) 2021-08-18
EP3720119A4 (en) 2021-06-09
US20200389627A1 (en) 2020-12-10
JPWO2019106956A1 (ja) 2020-11-19
EP3720119A1 (en) 2020-10-07
US11050978B2 (en) 2021-06-29
CN111183636A (zh) 2020-05-19

Similar Documents

Publication Publication Date Title
US8963831B2 (en) Method and device for controlling an apparatus as a function of detecting persons in the vicinity of the apparatus
JP6504364B2 (ja) モニタリング装置、モニタリングシステムおよびモニタリング方法
EP3588456B1 (en) Image processing apparatus, image processing method, and program
WO2016002173A1 (ja) 動線分析システム、カメラ装置及び動線分析方法
EP3425590B1 (en) Image processing apparatus, image processing method, and storage medium
US20160328627A1 (en) Imaging device, recording device, and moving image output control device
JP2015103104A (ja) 情報処理装置、情報処理方法、情報処理システム
WO2018135906A1 (ko) 카메라 및 카메라의 영상 처리 방법
KR102078265B1 (ko) 출현 객체를 식별하여 객체에 따라 차등적으로 영상을 처리하는 영상 처리 장치 및 그의 영상 제공 방법
KR101521236B1 (ko) 열영상을 이용한 감시 시스템
WO2019106956A1 (ja) 監視システムおよび画像処理装置
WO2018074627A1 (ko) Pos 기기와 연동된 감시 카메라 및 이를 이용한 감시 방법
KR20180089249A (ko) 카메라의 자가 고장진단 방법
US20200074228A1 (en) Rgbd sensing based object detection system and method thereof
JP2016144049A (ja) 画像処理装置、画像処理方法、およびプログラム
JP2015041913A (ja) 監視システム
TWI480795B (zh) 影像監視與分析方法
KR102474697B1 (ko) 촬상 장치 및 영상 처리 방법
JP2015176489A (ja) 監視システムおよび監視方法ならびに監視プログラム
CN102695044B (zh) 摄像机抓取部分图的方法及其系统
KR101223606B1 (ko) 엘리베이터를 위한 지능형 영상 감시 시스템
WO2023119436A1 (ja) 防犯システム及び防犯方法
KR20220023225A (ko) 인공지능 기술 기반의 다기능 디지털 사이니지 시스템
JP6957374B2 (ja) 画像センサ、センシングシステム、センシング方法およびプログラム
Mariappan et al. A design methodology of an embedded motion-detecting video surveillance system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18883852

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019557041

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018883852

Country of ref document: EP

Effective date: 20200629