WO2018061976A1 - 画像処理装置 - Google Patents

画像処理装置 Download PDF

Info

Publication number
WO2018061976A1
WO2018061976A1 PCT/JP2017/034088 JP2017034088W WO2018061976A1 WO 2018061976 A1 WO2018061976 A1 WO 2018061976A1 JP 2017034088 W JP2017034088 W JP 2017034088W WO 2018061976 A1 WO2018061976 A1 WO 2018061976A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
congestion
video
analysis
degree
Prior art date
Application number
PCT/JP2017/034088
Other languages
English (en)
French (fr)
Inventor
佑一郎 小宮
山口　宗明
裕章 中北
一成 岩永
純一 富樫
洋平 秋元
正也 岡田
佐々　敦
伊藤　渡
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to US16/327,745 priority Critical patent/US10853949B2/en
Priority to JP2018542484A priority patent/JP6616521B2/ja
Priority to SG11201901574XA priority patent/SG11201901574XA/en
Publication of WO2018061976A1 publication Critical patent/WO2018061976A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/285—Selection of pattern recognition techniques, e.g. of classifiers in a multi-classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/87—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using selection of the recognition techniques, e.g. of a classifier in a multiple classifier system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Definitions

  • the present invention relates to an image processing apparatus that extracts information from video of a video apparatus using video analysis technology.
  • a technique for automatically estimating the state of a captured location by analyzing video from a surveillance camera has been proposed. For example, there is a technique for detecting an object in which a person stays and is left behind from the video of a surveillance camera (see, for example, Patent Documents 1 and 2). This image processing technique uses differential method processing for detecting an object that has remained and left behind using two images generated from each image frame taken within a different time width. In addition, there is a technique for improving reliability by applying a technique for suppressing false reports by calculating the reliability of each image area.
  • the present invention has been made in view of such a situation, and aims to solve the above problems.
  • the present invention is an image processing device that extracts information from a video captured by a video device, and based on the video, a congestion degree estimator that estimates a congestion degree of a shooting region in real time, and a plurality of image analysis techniques
  • a plurality of image analyzers that respectively extract information on objects other than the background from the video using the image, and an image analyzer used for image analysis is selected from the plurality of image analyzers according to the estimated degree of congestion And a controller.
  • the plurality of image analysis techniques include a first analysis technique for processing in real time and a second analysis technique for processing in non-real time, and the object information relates to a person area and an abandoned object area.
  • an image recorder for recording the video, wherein the image analyzer obtains the video used for the image analysis from the image recorder according to the history information of the congestion degree change and performs a second analysis.
  • Image analysis by technology may be performed.
  • there are a plurality of video devices and a plurality of congestion degree estimators are provided corresponding to the plurality of video devices, the congestion degree of each video is estimated, and the controller includes the plurality of video devices.
  • the image analysis unit used for the image analysis may be selected in such a manner that the second analysis technique is more easily selected according to the degree of congestion of each video image of the apparatus.
  • 1 is a block diagram illustrating a configuration of an image processing apparatus according to a first embodiment. It is a block diagram of the congestion degree estimation part based on 1st Embodiment. It is the figure which showed the relationship between a crowd and a heat map based on 1st Embodiment. It is the block diagram which showed the structure of the image processing apparatus based on 2nd Embodiment.
  • FIG. 1 is a block diagram showing a configuration of an image processing apparatus 100 according to the present embodiment.
  • the image processing apparatus 100 functions as a monitoring system, and includes an image input unit 101, a congestion degree estimation unit 102, a control unit 103, an image recording unit 104, a normal-time image analysis unit 105, and a congestion.
  • a time image analysis unit 106 and an output unit 107 are provided.
  • the image input unit 101 includes an arbitrary number N of first to Nth image input units 101_1 to 101_N.
  • the congestion level estimation unit 102 includes N first to Nth congestion level estimation units 102_1 to 102_N.
  • Each of the first to Nth image input units 101_1 to 101_N is, for example, an imaging device (imaging device) such as a surveillance camera, or an interface with the imaging device, and acquires images of roads and the like where people come and go.
  • the data is output to the N congestion degree estimation units 102_1 to 102_N and the normal time image analysis unit 105.
  • the first to Nth congestion degree estimation units 102_1 to 102_N estimate the congestion degree from the videos acquired from the first to Nth image input units 101_1 to 101_N. For example, as described in Patent Document 4, the degree of congestion is estimated from a change amount of an edge between image frames (hereinafter, simply referred to as “frames”) constituting an image.
  • the first to Nth congestion degree estimation units 102_1 to 102_N The decoder can be integrated with a decoder that decodes a video encoded by H.264 or the like, and in this case, the degree of congestion can be estimated from the amount of codes that have been predictively encoded.
  • FIG. 2 is a block diagram showing the configuration of each of the first to Nth congestion degree estimation units 102_1 to 102_N, which is indicated as “congestion degree estimation unit 102” in the drawing.
  • the congestion level estimation unit 102 includes an edge image generation unit 201, a frame memory 202, a difference processing unit 203, and a congestion level calculation 204.
  • the edge image generation unit 201 generates an edge image obtained by extracting edges based on, for example, the Canny algorithm from the input image acquired from the first image input unit 101_1, and outputs the edge image to the frame memory 202 and the difference processing unit 203.
  • the edge images described in this example include those generated by various filters that extract contours and textures.
  • the frame memory 202 holds the edge image acquired from the edge image generation unit 201 for one frame, delays it, and outputs it to the difference processing unit 203.
  • the difference processing unit 203 generates an edge difference image by taking a difference between two edge images having different input times. That is, an edge difference image is generated from the edge image directly acquired from the edge image generation unit 201 and the edge image acquired from the frame memory 202, and is output to the congestion degree calculation unit 204.
  • the difference may be either an arithmetic difference (absolute value) of multi-valued pixel values or an exclusive OR of binarized pixel values.
  • the congestion degree calculation unit 204 extracts an edge change amount from the edge difference image acquired from the difference processing unit 203, estimates the congestion degree from the value (change amount), and uses the estimated congestion degree as a congestion degree estimation value. Output to the control unit 103. For example, a value obtained by adding absolute values of edge differences over one frame (edge change amount itself) may be used as the congestion level. Alternatively, the relationship between the degree of congestion and the edge change amount may be determined by machine learning such as regression analysis. These degrees of congestion indicate an average degree of congestion within the viewing angle of the image. Note that the congestion degree calculation unit 204 may be integrated into a server that performs image processing, for example, or may be included in an imaging device such as a monitoring camera.
  • the congestion degree calculation unit 204 arbitrarily performs crowd measurement from the monitoring video.
  • the crowd degree calculation unit 204 represents the crowd in a heat map based on the monitoring video, and measures the crowd size (spatial size) and the crowd degree in each crowd.
  • FIG. 3 shows the relationship between the crowd and the heat map.
  • FIG. 3 (a) shows a surveillance video showing a crowd
  • FIG. 3 (b) shows it as a heat map.
  • the congestion degree calculation unit 204 performs predetermined image processing on the monitoring video in which the crowd is shown, and, as shown in FIG. 3B, a heat map image that expresses the crowd congestion degree level in a contour line shape. create.
  • the colors are displayed in the order of blue ⁇ green ⁇ yellow ⁇ red for each crowd level. That is, when the crowd level is low density, “blue” is displayed on the heat map. When the crowd level is high density, it is displayed in “red” on the heat map.
  • the heat map image is obtained by cumulatively adding the edge difference image acquired from the difference processing unit 203 for a predetermined time and applying a spatial filter such as a Gaussian filter.
  • a spatial filter such as a Gaussian filter.
  • the congestion degree calculation unit 204 specifies, for example, a region of the yellow level or more as the crowd size, and measures the width and area thereof.
  • the crowd size can be measured by calculating the distance between them after converting the coordinates of both ends (both ends in the X-axis direction) of the region into a world coordinate system using a homography matrix.
  • a homogfi transform that projects a plane onto another plane can be used.
  • a method for measuring the number of layers at the crowd level and the crowd size may be selected.
  • the control unit 103 determines whether or not it is in a congestion state, detects an input image in the congestion state, and outputs the information.
  • the control unit 103 records transitions of N congestion levels (congestion level estimation values) acquired from the first to Nth congestion level estimation units 102_1 to 102_N. For example, when the integral value within a certain period exceeds a threshold value, it is determined that the input image with respect to the congestion degree n is in a congested state, and the information (congestion information) is output to the image recording unit 104 and the output unit 107. .
  • the congested image analysis unit 106 having a large calculation amount. If the image analysis unit for congestion 106 has a performance to process only an arbitrary number L (L ⁇ N) of input images, and the input image determined to be in a congested state is larger than L, for example, congestion L are extracted from those having a large degree of integration value, and output as an input image in a congested state.
  • the image recording unit 104 records the video acquired from the first to Nth image input units 101_1 to 101_N in a non-volatile storage medium such as a hard disk, and outputs the recorded video when receiving congestion information from the control unit 103. To do. Note that time cyst playback may interfere with writing to the hard disk, and video stored in a temporary memory such as a write buffer may be output.
  • the normal image analysis unit 105 analyzes the N input images acquired from the first to Nth image input units 101_1 to 101_N substantially in real time, and outputs the result. For example, in the case of detecting an object left behind, a foreground region is extracted as a region of interest by background difference processing, and is detected as an object left behind when the foreground region exists for a certain period or longer.
  • a foreground region is extracted as a region of interest by background difference processing, and is detected as an object left behind when the foreground region exists for a certain period or longer.
  • the number of counting the number of people similarly, when the spatial size of the extracted region of interest matches the size assumed as a person, the number is counted as one person. Depending on the spatial size of the region of interest, one region of interest may be counted as a plurality of people.
  • the image analysis unit 106 for congestion time simultaneously analyzes a maximum of L input images acquired from the image recording unit 104 and outputs the result.
  • the image acquired by the congestion time image analysis unit 106 is an input image determined by the control unit 103 to be in a congested state. For this reason, it is necessary to use a system that operates favorably even during congestion.
  • the video input to the image analysis unit 106 at the time of congestion is not necessarily processed in real time because it is the output of the video recording device 103, and may be processed at a rate slower or faster than the video shooting rate. Further, in order to obtain the number of people by tracking the feature points immediately after it is determined as being congested, the control unit 103 may process the input image retroactively to the video before it is determined as congested.
  • a feature point refers to a point suitable for tracking by image processing on the screen, and well-known corner detection (Harris, FAST, Shi-Tomasi, etc.) and SIFT (Scale Invariant Feature Transform) can be used.
  • the trajectory of the feature point is extracted by tracking the feature point over a plurality of frames. By clustering the extracted trajectory according to the behavior of the movement, individual objects can be separated and extracted. This technique can be applied to detection of abandoned objects and accurate estimation of the degree of congestion (particularly the number of people).
  • a cluster showing a movement with a variation corresponding to the walking speed of the person is detected as one or a plurality of persons or a part of the crowd according to the space size.
  • the video used for the detection image analysis as the abandoned object and the stay is acquired from the video recording device according to the history information of the congestion degree change.
  • the video used for the image analysis is acquired from the video recording device according to the history information of the change in the degree of congestion.
  • the image analysis technique used in the above-described congestion image analysis unit 106 has a larger calculation amount than the technique used in the normal image analysis unit 105.
  • an external device using an FPGA (field-programmable gate array) or a GP-GPU (General-purpose computing-on graphics-processing unit), it is possible to operate in real time or more.
  • the output unit 107 integrates and outputs the input video analysis results.
  • the image processing apparatus 100 estimates the congestion situation in the video, and switches the video analysis method according to the estimated congestion situation. For example, video analysis is performed by a simple method when the degree of congestion is low, and video analysis with high accuracy such as analysis over a plurality of frames is performed when the degree of congestion is high. As a result, it is possible to adaptively switch the video analysis method according to the congestion situation in the video and perform high-accuracy video analysis with a limited amount of computation.
  • FIG. 4 is a block diagram showing a configuration of an image processing apparatus 400 according to the present embodiment.
  • the image processing apparatus 400 does not have a function of recording video, and performs video analysis processing on video acquired from the image input unit 401 (first to Nth image input units 401_1 to 401_N) in real time.
  • the specific configuration is as follows.
  • the image processing apparatus 400 includes an image input unit 401, a congestion degree estimation unit 402, a control unit 403, a video distribution unit 404, a congestion video analysis unit 405, a normal video analysis unit 406, and an output unit. 407.
  • the image input unit 401 includes an arbitrary number N of first to Nth image input units 401_1 to 401_N.
  • the congestion level estimation unit 402 includes N first to Nth congestion level estimation units 402_1 to 402_N.
  • the first to Nth image input units 401_1 to 401_N are connected to an imaging device such as a surveillance camera, for example, acquire videos from the imaging devices, and first to Nth congestion degree estimation units 402_1 to 402_N and video distribution. Output to the unit 404.
  • an imaging device such as a surveillance camera, for example, acquire videos from the imaging devices
  • first to Nth congestion degree estimation units 402_1 to 402_N and video distribution Output to the unit 404.
  • the first to Nth congestion degree estimation units 402_1 to 402_N estimate the congestion degree from the videos acquired from the first to Nth image input parts 401_1 to 401_N.
  • the congestion degree estimation method is the same as that in the first embodiment.
  • the video distribution unit 404 Based on the information from the control unit 403, the video distribution unit 404 converts the L videos out of the acquired N input images (videos) to the congestion time video analysis unit 405 and outputs the M videos normally. Output to the time video analysis unit 406.
  • N L + M.
  • the video distribution unit 404 that has acquired the estimation result of the degree of congestion of each video from the control unit 403, for the video that is the estimation source of the degree of congestion, L video with a high degree of congestion is a video analysis unit for congestion time In step 405, M images with low congestion are output to the normal time image analysis unit 406.
  • the high-congestion input image is analyzed in real time by the congestion video analysis unit 405, and the low-congestion input image is analyzed by the normal video analysis unit 406 in real time.
  • the normal time image analysis unit 105 normal time video analysis unit 406
  • the congestion time image analysis unit 106 congestion time
  • the video analysis unit 405) is switched, but three or more image analysis units (video analysis units) may be provided, and the image analysis unit (video analysis unit) used according to the degree of congestion may be switched.
  • Image processing apparatus 101 401 Image input unit 101_1, 401_1 First image input unit 101_2, 401_2 Second image input unit 101_3, 401_3 Third image input unit 101_N, 401_N Nth image input unit 102, 402 Congestion degree estimation Unit 102_1, 402_1, first congestion level estimation unit 102_2, 402_2, second congestion level estimation unit 102_3, 402_3, third congestion level estimation unit 102_N, 402_N, Nth congestion level estimation unit 103, 403, control unit 104, image recording unit 105, for normal use Image analysis unit 106 Congestion image analysis unit 107, 407 Output unit 201 Edge image generation unit 202 Frame memory 203 Difference processing unit 204 Congestion degree calculation unit 404 Video distribution unit 405 Congestion video analysis unit 406 Normal video analysis unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

映像内の混雑状況に応じて映像解析手法を適応的に切り替え、限られた演算量によって好適な映像解析を行う技術を提供する。　画像処理装置１００の混雑度推定部１０２は、画像入力部１０１から取得した映像内の混雑状況を推定する。制御部１０３は混雑状況に応じて、映像解析の手法を切り替える。混雑度が低い場合には、通常時用画像解析部１０５が単純な手法によって映像解析を行い、混雑度が高い場合においては、混雑時用画像解析部１０６が複数フレームに渡る解析等の精度の高い映像解析を行う。

Description

画像処理装置
　本発明は、映像解析技術により映像装置の映像から情報を抽出する画像処理装置に関する。
　映像監視システムにおいて、監視カメラの映像を解析することにより、撮像された場所の状況を自動推定する技術が提案されている。例えば、監視カメラの映像から人物の滞留及び置き去りにされた物体を検出する技術がある（例えば、特許文献１及び２参照）。この画像処理技術は、異なる時間幅内で撮影された各画像フレームより生成された２つの画像を用いて滞留および置き去りにされた物体の検出を行う差分法処理を用いている。さらに、各画像領域の信頼度を算出することにより誤報を抑える技術を適用することで、信頼性向上を図った技術もある。
国際公開第１６／０２１１４７号パンフレット 特開２０１６－０３７３８７号公報 特開２００５－３４６２６１号公報 国際公開第１５／１１９０４４号パンフレット
　ところで、上述した手法では人が多く行きかう領域においては、誤報の発生は抑えられるものの、人物の滞留及び置き去りにされた物体の検出は行われないという課題があった。人が多く行きかうような場合に、人物の滞留及び置き去りにされた物体の検出を行うには、例えば複数フレームに渡って画像内の物体の動きを追跡することにより、物体を個々に分離して捉えることが考えられるが、そのような手法は上述した画像の差分によって検出する手法に比べて演算量が大きくなることから、別の技術の導入が求められていた。
　本発明は、このような状況に鑑みなされたもので、上記課題を解決することを目的とする。
　本発明は、映像装置が撮影した映像から情報を抽出する画像処理装置であって、前記映像をもとに、撮影領域の混雑度をリアルタイムで推定する混雑度推定器と、複数の画像解析技術を用いて前記映像から背景以外の物体の情報をそれぞれ抽出する複数の画像解析器と、前記推定された混雑度に応じて、前記複数の画像解析器から画像解析に用いる画像解析器を選択する制御器と、を備える。
　また、前記複数の画像解析技術は、リアルタイムで処理する第1の解析技術と、非リアルタイムで処理する第２の解析技術とを含み、前記物体の情報は、人物の領域及び放置物の領域に関する情報を含み、前記映像を記録する画像記録機を備え、前記画像解析器は、混雑度変化の履歴情報に応じて、前記画像解析に用いる映像を前記画像記録機から取得して第２の解析技術による画像解析を行ってもよい。
　また、前記映像装置は複数であって、前記混雑度推定器は、前記複数の映像装置に対応して複数設けられ、それぞれの映像の混雑度を推定し、前記制御器は、前記複数の映像装置の映像のそれぞれの混雑度に応じ、該混雑度が高いほど前記第２の解析技術が選択されやすくなる様態で、前記画像解析に用いる前記画像解析部を選択してもよい。
　本発明によると、映像内の混雑状況に応じて映像解析手法を適応的に切り替え、限られた演算量によって好適な映像解析を行う技術を提供することを目的とする。
第１の実施形態に係る、画像処理装置の構成を示したブロック図である。 第１の実施形態に係る、混雑度推定部のブロック図である。 第１の実施形態に係る、群衆とヒートマップの関係を示した図である。 第２の実施形態に係る、画像処理装置の構成を示したブロック図である。
　次に、本発明を実施するための形態（以下、単に「実施形態」という）を、図面を参照して具体的に説明する。
　＜第１の実施形態＞ 　図１は、本実施形態に係る画像処理装置１００の構成を示したブロック図である。画像処理装置１００は、監視システムとして機能する装置であって、画像入力部１０１と、混雑度推定部１０２と、制御部１０３と、画像記録部１０４と、通常時用画像解析部１０５と、混雑時用画像解析部１０６と、出力部１０７とを備える。
　画像入力部１０１は、任意の数Ｎ個の第１～第Ｎ画像入力部１０１＿１～１０１＿Ｎを備える。混雑度推定部１０２は、Ｎ個の第１～第Ｎ混雑度推定部１０２＿１～１０２＿Ｎを備える。
　第１～第Ｎ画像入力部１０１＿１～１０１＿Ｎは、それぞれ、例えば監視カメラ等の撮像装置（撮像素子）、もしくはそれとのインタフェースであり、人が往来する道路等の映像を取得し、第１～第Ｎ混雑度推定部１０２＿１～１０２＿Ｎ及び通常時用画像解析部１０５へ出力する。
　第１～第Ｎ混雑度推定部１０２＿１～１０２＿Ｎは、第１～第Ｎ画像入力部１０１＿１～１０１＿Ｎから取得した映像から混雑度を推定する。混雑度は、例えば特許文献４に記載されているように、映像を構成する画像フレーム（以下、単に「フレーム」という）間のエッジの変化量から推定する。第１～第Ｎ混雑度推定部１０２＿１～１０２＿Ｎは、Ｈ．２６４等で符号化された映像を復号するデコーダと一体に構成することができ、その場合、予測符号化された符号の発生量から混雑度が推定され得る。
　図２は、第１～第Ｎ混雑度推定部１０２＿１～１０２＿Ｎそれぞれの構成を示すブロック図であり、図中では「混雑度推定部１０２」として表記している。本実施形態における混雑度推定方式を行うために、混雑度推定部１０２は、エッジ画像生成部２０１と、フレームメモリ２０２と、差分処理部２０３と、混雑度算出２０４とを備える。
　エッジ画像生成部２０１は、第１画像入力部１０１＿１から取得した入力画像から、例えばＣａｎｎｙアルゴリズムに基づくエッジを抽出したエッジ画像を生成し、フレームメモリ２０２と差分処理部２０３へ出力する。なお、本例で説明するエッジ画像には、輪郭やテクスチャを抽出する各種のフィルタで生成されたものも含まれる。
　フレームメモリ２０２は、エッジ画像生成部２０１から取得したエッジ画像を１フレーム分保持し、遅延させて差分処理部２０３へ出力する。
　差分処理部２０３は、入力した時間が異なる２枚のエッジ画像の差分を取ることにより、エッジ差分画像を生成する。すなわち、エッジ画像生成部２０１から直接取得したエッジ画像とフレームメモリ２０２から取得したエッジ画像とからエッジ差分画像を生成し、混雑度算出部２０４へ出力する。差分は、多値の画素値の算術的な差分（の絶対値）、２値化画素値の排他的論理和のどちらでもよい。
　混雑度算出部２０４は、差分処理部２０３から取得したエッジ差分画像から、エッジの変化量を抽出し、その値（変化量）から混雑度を推定し、推定した混雑度を混雑度推定値として制御部１０３へ出力する。例えば、エッジ差分の絶対値を１フレーム内に亘って加算した値（エッジ変化量そのもの）を、混雑度としても良い。もしくは、回帰分析等の機械学習によって、混雑度とエッジ変化量の関係を定めても良い。これらの混雑度は、画像の視野角内の平均的な混雑度を示す。なお、混雑度算出部２０４は、例えば画像処理を行うサーバに集約してもよいし、監視カメラ等の撮像装置が有してもよい。
　図３を参照して、混雑度算出部２０４の付加的な処理を説明する。混雑度算出部２０４は任意で、監視映像から群集測定を行う。例えば、混雑度算出部２０４は、監視映像に基づいて群衆をヒートマップで表し、群衆の規模（空間的なサイズ）及び個々の群衆内の混雑度を測定する。
　図３は群衆とヒートマップの関係を示した図である。図３（ａ）は群衆が映っている監視映像を示し、図３（ｂ）はそれをヒートマップとして表したものである。まず、混雑度算出部２０４は、群衆が写っている監視映像に対して所定の画像処理を行い、図３（ｂ）に示すように、群衆混雑度レベルを等高線状に表現するヒートマップ画像を作成する。本例では、群衆レベルごとに、青＜緑＜黄＜赤の順で表示される。すなわち、群衆レベルが低密度である場合には、ヒートマップ上では「青」で表示される。群衆レベルが高密度である場合には、ヒートマップ上では「赤」で表示される。
　ヒートマップ画像は、差分処理部２０３から取得したエッジ差分画像を所定時間累積加算し、ガウスフィルタ等の空間フィルタを施したものである。人の群集のみを正確に測定しようとする場合は、累積加算の前に、エッジ差分の高い画素をクラスタリングし、そのサイズに基づいて人より小さな移動体を除外する方法を用いることができる。次に、混雑度算出部２０４は、群衆サイズとして、例えば、黄レベル以上の領域を特定し、その幅や面積を測定する。幅を群衆サイズとして用いる場合、領域の両端（Ｘ軸方向の両側端）の座標をホモグラフィ行列によりワールド座標系に変換後、それらの間の距離を計算することにより、群衆サイズを測定できる。つまり群衆は実質的に地平面上に存在すると仮定できるので、平面を別の平面に射影するホモグフィ変換が利用できる。なお処理負荷や処理能力に応じて、群衆レベルの階層数や群衆サイズの測定手法が選択されてもよい。
　図２の説明に戻る。制御部１０３は、混雑度推定部１０２から取得した混雑度推定値をもとに、混雑状態にあるか否かを判断し、混雑状態にある入力画像を検出し、その情報を出力する。ここでは、制御部１０３は、第１～第Ｎ混雑度推定部１０２＿１～１０２＿Ｎから取得した、Ｎ個の混雑度（混雑度推定値）の推移を記録する。そして、例えば一定期間内の積分値が閾値を超えた場合に、混雑度ｎに対する入力画像を混雑状態であると判定し、その情報（混雑情報）を画像記録部１０４及び出力部１０７へ出力する。
　本実施形態の処理では、混雑状態であると判断された入力画像のみを演算量の大きい混雑時用画像解析部１０６にて処理を行わせる。仮に、混雑時用画像解析部１０６が、任意の数Ｌ（Ｌ＜Ｎ）の入力画像までしか処理する性能が無い場合に、混雑状態と判定された入力画像がＬより大きい場合は、例えば混雑度の積分値が大きいものからＬ個を抽出し、混雑状態である入力画像として出力する。
　画像記録部１０４は、第１～第Ｎ画像入力部１０１＿１～１０１＿Ｎから取得した映像をハードディスク等の不揮発性記憶媒体に記録し、制御部１０３から混雑情報を受けた時は、記録した映像を出力する。なおタイムシスト再生はハードディスクへの書込みの支障となる場合があり、書込みバッファ等の一時メモリに保持した映像を出力してもよい。
　通常時用画像解析部１０５は第１～第Ｎ画像入力部１０１＿１～１０１＿Ｎから取得したＮ個の入力画像を実質的にリアルタイムに解析し、その結果を出力する。例えば、置去りにされた物体の検出の場合は、背景差分処理により、前景領域を関心領域として抽出し、その前景領域が一定期間以上存在する場合に置き去りにされた物体として検知する。或いは、人数カウントの場合は、同様に抽出した関心領域の空間サイズが人として想定されるサイズに合致する場合に、1人の人として計数する。なお関心領域の空間サイズによっては、１つの関心領域を複数の人として計数してもよい。またカウントには、画像中の人を全員計数する方法と、画像中に設けた判定ラインを通過する人数を計数する方法がある。
　上述した置き去りにされた物体（人物の滞留を含む）の検出技術は、背景差分によるものであるので、移動する物体の影響が背景画像に強く残る混雑時には誤検出が多くなるという課題があり、誤検出防止には、処理情報量を多くした高負荷の処理が必要になる。例えば複数の人の姿が隙間なく重なるほど密集した映像では、関心領域は同じ場所に留まり続けるので、群衆が移動していても通過人数のカウントは増加しない。
　混雑時用画像解析部１０６は、画像記録部１０４から取得した最大でＬ個の入力画像を同時に解析し、その結果を出力する。混雑時用画像解析部１０６が取得する画像は制御部１０３にて混雑状態にあると判断された入力画像である。そのため、混雑時においても好適に動作する方式が用いられる必要がある。
　混雑時用画像解析部１０６に入力される映像は、映像記録装置１０３の出力であるため必ずしもリアルタイムで処理する必要は無く、映像の撮影レートより遅い若しくは速いレートで処理してもよい。また、混雑状態と判定された直後から特徴点の追跡による人数カウント等を得るために、制御部１０３によって入力画像が混雑状態と判定される前の映像に遡って処理してもよい。
　置去りにされた物体の検出の場合、例えば、特徴点の追跡によって行う技術がある。特徴点とは、画面内にて、画像処理による追跡に適した点のことを指し、周知のコーナー検出（Harris、FASTやShi-Tomasi等）やSIFT(Scale Invariant Feature Transform)が利用できる。この技術では、特徴点の追跡を複数フレームにわたり行うことにより、特徴点の軌跡を抽出する。抽出した軌跡を、その動きの振る舞いによってクラスタリングすることにより、個々の物体を分離して抽出することが可能となる。この技術を放置物の検出や正確な混雑度（特に人数）の推定に適用することができる。例えば、一定期間以上、画面内で全く動いていない特徴点クラスタが存在し、それらの特徴点が背景画像からは検出されず、クラスタの空間サイズが放置物として想定されるサイズに合致する場合に、それを放置物として検知する。また人の歩行速度に相当する変動のある動きを示すクラスタを、その空間サイズに応じて１人若しくは複数の人或いは群衆（の一部）として検知する。
　放置物及び滞留として検出画像解析に用いる映像は、混雑度変化の履歴情報に応じて、映像記録装置から取得する。
　画像解析に用いる映像は、混雑度変化の履歴情報に応じて、映像記録装置から取得する。なお上述した混雑時用画像解析部１０６で用いる画像解析技術は、通常時用画像解析部１０５で用いる技術よりも演算量は大きいものとなる。しかし、例えば、ＦＰＧＡ（field-programmable gate array）を用いた外部装置やＧＰ－ＧＰＵ（General-purpose computing on graphics processing unit）を用いることによりリアルタイム以上での動作も可能となる。
　出力部１０７は入力した映像解析の結果を統合して出力する。
　このように、画像処理装置１００は、映像内の混雑状況を推定し、推定された混雑状況に応じて、映像解析の手法を切り替える。例えば、混雑度が低い場合には単純な手法によって映像解析を行い、混雑度が高い場合においては、複数フレームに渡る解析等の精度の高い映像解析を行う。その結果、映像内の混雑状況に応じて映像解析手法を適応的に切り替え、限られた演算量によって精度の高い映像解析を行うことができる。
　＜第２の実施形態＞ 　図４は、本実施形態に係る画像処理装置４００の構成を示したブロック図である。画像処理装置４００は、映像を記録する機能を有さず、画像入力部４０１（第１～第Ｎ画像入力部４０１＿１～４０１＿Ｎ）から取得した映像をリアルタイムで映像解析処理する。具体的な構成は次の通りである。
　画像処理装置４００は、画像入力部４０１と、混雑度推定部４０２と、制御部４０３と、映像分配部４０４と、混雑時用映像解析部４０５と、通常時用映像解析部４０６と、出力部４０７とを備える。
　画像入力部４０１は、任意の数Ｎ個の第１～第Ｎ画像入力部４０１＿１～４０１＿Ｎを備える。混雑度推定部４０２は、Ｎ個の第１～第Ｎ混雑度推定部４０２＿１～４０２＿Ｎを備える。
　第１～第Ｎ画像入力部４０１＿１～４０１＿Ｎは、それぞれ、例えば監視カメラ等の撮像装置に接続され、それら撮像装置から映像を取得し、第１～第Ｎ混雑度推定部４０２＿１～４０２＿Ｎ及び映像分配部４０４へ出力する。
　第１～第Ｎ混雑度推定部４０２＿１～４０２＿Ｎは、第１～第Ｎ画像入力部４０１＿１～４０１＿Ｎから取得した映像から混雑度を推定する。混雑度の推定方法は、第１の実施形態と同様である。
　映像分配部４０４は、制御部４０３からの情報をもとに、取得したＮ個の入力画像（映像）のうち、Ｌ個の映像を混雑時用映像解析部４０５へ、Ｍ個の映像を通常時用映像解析部４０６へ出力する。ただし、Ｎ＝Ｌ＋Ｍである。
　すなわち、制御部４０３から各映像の混雑度の推定結果を取得した映像分配部４０４は、その混雑度の推定元となった映像に関して、混雑度が高いＬ個の映像を混雑時用映像解析部４０５へ、混雑度が低いＭ個の映像を通常時用映像解析部４０６へ出力する。
　混雑度の高い入力画像を混雑時用映像解析部４０５が、混雑度の低い入力画像を通常時用映像解析部４０６が、それぞれリアルタイムにて画像解析を行う。
　その結果、混雑時用映像解析部４０５に高い演算能力を配分し、通常時用映像解析部４０６に相対的に低い演算能力を配分することができ、処理能力の最適化をはかり、リアルタイムの画像解析が可能となる。なお、同じ演算能力である場合には、混雑時用映像解析部４０５への配分数を少なくし、通常時用映像解析部４０６への配分数を多くするという振り分けも可能である。いずれにせよ、演算能力の最適化を行うことができる。
　以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、上記の実施形態では、混雑度が高い場合と低い場合の２通りに分けて、通常時用画像解析部１０５（通常時用映像解析部４０６）、混雑時用画像解析部１０６（混雑時用映像解析部４０５）を切り替えたが、画像解析部（映像解析部）を３以上設けて、混雑度に応じて用いる画像解析部（映像解析部）を切り替えてもよい。
１００、４００　画像処理装置１０１、４０１　画像入力部１０１＿１、４０１＿１　第１画像入力部１０１＿２、４０１＿２　第２画像入力部１０１＿３、４０１＿３　第３画像入力部１０１＿Ｎ、４０１＿Ｎ　第Ｎ画像入力部１０２、４０２　混雑度推定部１０２＿１、４０２＿１　第１混雑度推定部１０２＿２、４０２＿２　第２混雑度推定部１０２＿３、４０２＿３　第３混雑度推定部１０２＿Ｎ、４０２＿Ｎ　第Ｎ混雑度推定部１０３、４０３　制御部１０４　画像記録部１０５　通常時用画像解析部１０６　混雑時用画像解析部１０７、４０７　出力部２０１　エッジ画像生成部２０２　フレームメモリ２０３　差分処理部２０４　混雑度算出部４０４　映像分配部４０５　混雑時用映像解析部４０６　通常時用映像解析部

Claims (5)

  1. 　映像装置が撮影した映像から情報を抽出する画像処理装置であって、
    　前記映像をもとに、撮影領域の混雑度をリアルタイムで推定する混雑度推定器と、
    　複数の画像解析技術を用いて前記映像から背景以外の物体の情報をそれぞれ抽出する複数の画像解析器と、
    　前記推定された混雑度に応じて、前記複数の画像解析器から画像解析に用いる画像解析器を選択する制御器と、
    　を備える画像処理装置。
  2. 　前記複数の画像解析技術は、リアルタイムで処理する第1の解析技術と、非リアルタイムで処理する第２の解析技術とを含み、前記物体の情報は、人物の領域及び放置物の領域に関する情報を含み、
    　前記映像を記録する画像記録機を備え、
    　前記画像解析器は、混雑度変化の履歴情報に応じて、画像解析に用いる映像を前記画像記録機から取得して第２の解析技術による画像解析を行うことを特徴とする請求項１に記載の画像処理装置。
  3. 　前記映像装置は複数であって、
    　前記混雑度推定器は、前記複数の映像装置に対応して複数設けられ、それぞれの映像の混雑度を推定し、
    　前記制御器は、前記複数の映像装置の映像のそれぞれの混雑度に応じ、該混雑度が高いほど前記第２の解析技術が選択されやすくなる様態で、前記画像解析に用いる前記画像解析部を選択することを特徴とする請求項２に記載の画像処理装置。
  4. 　前記混雑度推定器に備えられた混雑度算出部は、前記映像に基づいて群衆をヒートマップで表し、群衆の規模及び個々の群衆内の混雑度を測定することを特徴とする請求項１に記載の画像処理装置。
  5. 　前記画像解析器は、混雑度の高い入力画像を解析する混雑時用映像解析部と混雑度の低い入力画像を解析する通常時用映像解析部と備え、それぞれリアルタイムにて画像解析を行い、前記混雑時用映像解析部に高い演算能力を配分し、前記通常時用映像解析部に相対的に低い演算能力を配分することを特徴とする請求項１に記載の画像処理装置。
PCT/JP2017/034088 2016-09-28 2017-09-21 画像処理装置 WO2018061976A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/327,745 US10853949B2 (en) 2016-09-28 2017-09-21 Image processing device
JP2018542484A JP6616521B2 (ja) 2016-09-28 2017-09-21 画像処理装置
SG11201901574XA SG11201901574XA (en) 2016-09-28 2017-09-21 Image processing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016189208 2016-09-28
JP2016-189208 2016-09-28

Publications (1)

Publication Number Publication Date
WO2018061976A1 true WO2018061976A1 (ja) 2018-04-05

Family

ID=61763458

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/034088 WO2018061976A1 (ja) 2016-09-28 2017-09-21 画像処理装置

Country Status (4)

Country Link
US (1) US10853949B2 (ja)
JP (1) JP6616521B2 (ja)
SG (1) SG11201901574XA (ja)
WO (1) WO2018061976A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158307A1 (ja) * 2019-01-30 2020-08-06 パナソニックＩｐマネジメント株式会社 畜舎監視方法、及び、畜舎監視システム
WO2021210213A1 (ja) * 2020-04-13 2021-10-21 パナソニックＩｐマネジメント株式会社 移動体検知システム及び情報管理装置
WO2022064631A1 (ja) * 2020-09-25 2022-03-31 日本電気株式会社 画像解析システム及び画像解析方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6988790B2 (ja) 2016-03-07 2022-01-05 日本電気株式会社 群衆種類識別システム、群衆種類識別方法および群衆種類識別プログラム
JP7229698B2 (ja) * 2018-08-20 2023-02-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
JP2021144121A (ja) * 2020-03-11 2021-09-24 キヤノン株式会社 表示制御装置およびその制御方法、プログラム、並びに記憶媒体
US11974076B2 (en) * 2022-01-03 2024-04-30 Climax Technology Co., Ltd. Security system
CN117596386B (zh) * 2023-12-06 2024-05-24 中云数科(广州)信息科技有限公司 一种智能楼宇安全监控系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180709A (ja) * 2005-12-27 2007-07-12 Bab-Hitachi Industrial Co 店舗等での人物等の混雑・滞留状況の把握方法
JP2009211274A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2011008382A (ja) * 2009-06-24 2011-01-13 Fuji Xerox Co Ltd 粒子挙動解析システム、情報処理装置、粒子挙動解析装置、情報処理システム、プログラム
JP2011113543A (ja) * 2009-11-30 2011-06-09 Toshiba Teli Corp 画像処理装置および混雑検知処理プログラム
JP2014006586A (ja) * 2012-06-21 2014-01-16 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2016048834A (ja) * 2014-08-27 2016-04-07 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005346261A (ja) 2004-06-01 2005-12-15 Konica Minolta Holdings Inc 監視カメラ、画像処理装置、および画像処理プログラム
JP6270433B2 (ja) * 2013-11-26 2018-01-31 キヤノン株式会社 情報処理装置、情報処理方法、情報処理システム
WO2016021147A1 (ja) 2014-08-04 2016-02-11 日本電気株式会社 画像から移動体の滞留を検出するための画像処理システム、画像処理方法及び記録媒体
JP6219247B2 (ja) 2014-08-11 2017-10-25 株式会社日立ビルシステム 映像監視装置
CN105654021B (zh) * 2014-11-12 2019-02-01 株式会社理光 检测人群对目标位置关注度的方法及设备
JP2017034088A (ja) 2015-07-31 2017-02-09 キヤノン株式会社 原版保持装置、リソグラフィ装置、及び物品の製造方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180709A (ja) * 2005-12-27 2007-07-12 Bab-Hitachi Industrial Co 店舗等での人物等の混雑・滞留状況の把握方法
JP2009211274A (ja) * 2008-03-03 2009-09-17 Canon Inc 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2011008382A (ja) * 2009-06-24 2011-01-13 Fuji Xerox Co Ltd 粒子挙動解析システム、情報処理装置、粒子挙動解析装置、情報処理システム、プログラム
JP2011113543A (ja) * 2009-11-30 2011-06-09 Toshiba Teli Corp 画像処理装置および混雑検知処理プログラム
JP2014006586A (ja) * 2012-06-21 2014-01-16 Canon Inc 情報処理装置及びその制御方法、コンピュータプログラム
JP2016048834A (ja) * 2014-08-27 2016-04-07 パナソニックＩｐマネジメント株式会社 モニタリング装置、モニタリングシステムおよびモニタリング方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020158307A1 (ja) * 2019-01-30 2020-08-06 パナソニックＩｐマネジメント株式会社 畜舎監視方法、及び、畜舎監視システム
CN113273178A (zh) * 2019-01-30 2021-08-17 松下知识产权经营株式会社 畜舍监视方法和畜舍监视系统
JPWO2020158307A1 (ja) * 2019-01-30 2021-10-14 パナソニックＩｐマネジメント株式会社 畜舎監視方法、及び、畜舎監視システム
JP7209269B2 (ja) 2019-01-30 2023-01-20 パナソニックＩｐマネジメント株式会社 畜舎監視方法、及び、畜舎監視システム
WO2021210213A1 (ja) * 2020-04-13 2021-10-21 パナソニックＩｐマネジメント株式会社 移動体検知システム及び情報管理装置
WO2022064631A1 (ja) * 2020-09-25 2022-03-31 日本電気株式会社 画像解析システム及び画像解析方法

Also Published As

Publication number Publication date
JP6616521B2 (ja) 2019-12-04
SG11201901574XA (en) 2019-04-29
JPWO2018061976A1 (ja) 2019-06-24
US10853949B2 (en) 2020-12-01
US20190180447A1 (en) 2019-06-13

Similar Documents

Publication Publication Date Title
JP6616521B2 (ja) 画像処理装置
US9158985B2 (en) Method and apparatus for processing image of scene of interest
US9881217B2 (en) Method for detecting crowd density, and method and apparatus for detecting interest degree of crowd in target position
US10872262B2 (en) Information processing apparatus and information processing method for detecting position of object
US10346506B2 (en) Event signal processing method and apparatus
US8902053B2 (en) Method and system for lane departure warning
RU2607774C2 (ru) Способ управления в системе захвата изображения, устройство управления и машиночитаемый носитель данных
CN112669344A (zh) 一种运动物体的定位方法、装置、电子设备及存储介质
US20080253617A1 (en) Method and Apparatus for Determining the Shot Type of an Image
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
KR20140028809A (ko) 이미지 피라미드의 적응적 이미지 처리 장치 및 방법
JP6679858B2 (ja) 対象の遮蔽を検出する方法と装置
US20150146006A1 (en) Display control apparatus and display control method
JP2014006586A (ja) 情報処理装置及びその制御方法、コンピュータプログラム
Hu et al. A novel approach for crowd video monitoring of subway platforms
Xia et al. Vision-based traffic accident detection using matrix approximation
CN113269683A (zh) 一种基于自适应阈值的局部时空事件流滤波方法与系统
Mousse et al. People counting via multiple views using a fast information fusion approach
CN108229281B (zh) 神经网络的生成方法和人脸检测方法、装置及电子设备
KR102550931B1 (ko) 스테레오 매칭 방법 및 장치
CN110992393A (zh) 一种基于视觉的目标运动跟踪方法
JP2009182624A (ja) 目標追尾装置
Liu et al. A joint optical flow and principal component analysis approach for motion detection
CN111915713A (zh) 一种三维动态场景的创建方法、计算机设备、存储介质
Lee et al. Edge detection for event cameras using intra-pixel-area events

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17855931

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018542484

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17855931

Country of ref document: EP

Kind code of ref document: A1