WO2022019675A1 - 시설 평면도에 포함된 기호 분석 장치 및 방법 - Google Patents

시설 평면도에 포함된 기호 분석 장치 및 방법 Download PDF

Info

Publication number
WO2022019675A1
WO2022019675A1 PCT/KR2021/009480 KR2021009480W WO2022019675A1 WO 2022019675 A1 WO2022019675 A1 WO 2022019675A1 KR 2021009480 W KR2021009480 W KR 2021009480W WO 2022019675 A1 WO2022019675 A1 WO 2022019675A1
Authority
WO
WIPO (PCT)
Prior art keywords
facility floor
plan
equation
floor plan
area
Prior art date
Application number
PCT/KR2021/009480
Other languages
English (en)
French (fr)
Inventor
윤대희
백윤아
김승현
Original Assignee
주식회사 어반베이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 어반베이스 filed Critical 주식회사 어반베이스
Priority to JP2023504673A priority Critical patent/JP2023535084A/ja
Priority to CN202180059835.2A priority patent/CN116490901A/zh
Priority to EP21846177.0A priority patent/EP4184351A1/en
Publication of WO2022019675A1 publication Critical patent/WO2022019675A1/ko
Priority to US18/156,853 priority patent/US20230222829A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/42—Document-oriented image-based pattern recognition based on the type of document
    • G06V30/422—Technical drawings; Geographical maps
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/1801—Detecting partial patterns, e.g. edges or contours, or configurations, e.g. loops, corners, strokes or intersections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18105—Extraction of features or characteristics of the image related to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Definitions

  • the present invention relates to a symbol analysis apparatus and method included in a facility floor plan.
  • Korean Patent Publication No. 10-1638378 (3D automatic three-dimensional modeling based on 2D drawings) methods and programs) exist.
  • Korean Patent Publication No. 10-1638378 can provide highly reliable 3D spatial information because 3D modeling is performed based on spatial information and numerical values presented in a 2D plan view.
  • the symbols for the window and door are both in a rectangular shape.
  • the bounding box had to be manually specified and then labeled, and in addition, the bounding box cannot be rotated. There was a limit to labeling only in the shape of a rectangle.
  • the problem to be solved in the embodiment of the present invention is to automatically classify the door and window symbols on the floor plan, and to label the separated areas of the door and window in units of pixels, thereby improving the learning accuracy for distinguishing the window and the door in the floor plan. to provide technology.
  • a preference analysis apparatus included in a facility floor plan includes at least one memory for storing instructions for performing a predetermined operation; and one or more processors configured to be operatively connected with the one or more memories and configured to execute the instructions, wherein the operations performed by the processors include: acquiring a plurality of facility floor plans; detecting a rectangle included in each of the plurality of facility floor plans and an arc connected to the rectangle; specifying a window area and a door area based on the rectangle and the arc; labeling pixels of the specified window region with a class of a window, and labeling pixels of the specified door region with a door class; and inputting the plurality of facility floor plans and labeled data in units of pixels to a neural network model designed based on a predetermined image segmentation algorithm, and the correlation between the classes of windows and doors included in the plurality of facility floor plans and the positions of the labeled pixels By learning the weights of the neural network model to derive
  • the detecting operation may include converting all parts except black included in the facility floor plan to white; and detecting the rectangle and the arc based on an outline connecting the black line segment or the white area border.
  • the detecting operation may include removing the characters included in the facility floor plan.
  • a pixel whose RGB information is (0, 0, 0) of a pixel included in the facility floor plan maintains RGB information
  • RGB information of a pixel included in the facility floor plan is (0, 0, It may include an operation of converting RGB information of pixels other than 0) into (255, 255, 255).
  • the operation of specifying the window area and the door area may include: detecting a first rectangle connected to the arc from among the rectangles as the door area; and detecting a second rectangle not connected to the arc among the rectangles as a window area.
  • the first rectangle is used as the door area can be detected.
  • the operation of specifying the window area and the door area may include removing from the detection when an area of the rectangle is smaller than a preset value or greater than a preset value.
  • the labeling operation may include labeling pixels of all regions other than the window and the door with a class of null.
  • the detecting may include: generating a first floor plan in which characters are removed from the facility floor plan through an OCR detection algorithm; generating a second plan view obtained by converting pixel information of the first plan view through Equations 1 and 2 below;
  • a fourth plan view in which pixels constituting the first plan view having a color element value of 0 or more and 30 or less, a saturation element value of 80 or more and 220 or less, and a brightness element value of 150 or more and 225 or less are converted to white creating an action; generating a fifth plan view in which the black area of the third plan view and the white area of the fourth plan view are applied to the first plan view; generating a sixth plan view obtained by converting pixel information of the fifth plan view through Equations 3 to 5;
  • the detecting may include: generating a first floor plan in which characters are removed from the facility floor plan through an OCR detection algorithm; generating a seventh plan view obtained by converting pixel information of the second plan view through Equations 6 to 8;
  • the contour corresponding to the block hull among the approximated contours by approximating the contour based on the Douglas-Peucker algorithm, and detecting the case where the area formed by the convex hull is within a predetermined range as an arc.
  • the operation of generating the neural network model sets the plurality of facility floor plans to be input to the input layer of the neural network designed based on the Mask R-CNN algorithm, and the window and door classes included in the plurality of facility floor plans are input to the output layer. and learning the weight of the neural network for deriving a correlation between the classes of windows and doors included in the plurality of facility floor plans and the positions of the labeled pixels by setting the positions of the labeled pixels to be input. have.
  • An embodiment of the present invention may include a device including a neural network model generated by the device.
  • a method performed by an apparatus for analyzing a preference included in a facility floor plan includes acquiring a plurality of facility floor plans; detecting a rectangle included in each of the plurality of facility floor plans and an arc connected to the rectangle; specifying a window area and a door area based on the rectangle and the arc; labeling pixels of the specified window region with a class of a window, and labeling pixels of the specified door region with a door class; And by inputting the plurality of facility floor plans and labeled data in units of pixels to a neural network model designed based on a predetermined image segmentation algorithm, the class of windows and doors included in the plurality of facility floor plans and the labeled pixels By learning the weight of the neural network model for deriving the correlation of positions, generating a neural network model that determines the positions and classes of windows and doors included in the facility floor plan based on the correlation.
  • 1 is an exemplary view of a facility plan view.
  • FIG. 2 is a functional block diagram of a symbol analysis apparatus included in a facility plan view according to an embodiment of the present invention.
  • 3 to 5 are exemplary diagrams of an operation of detecting and labeling a door and a window by a symbol analysis apparatus included in a facility floor plan according to an embodiment of the present invention through conversion to the facility floor plan.
  • FIG. 6 is an exemplary diagram illustrating a result of dividing a door and a window from a facility floor plan by a neural network model generated by a symbol analysis apparatus included in a facility floor plan according to an embodiment of the present invention.
  • FIG. 7 is a 3D model performed by performing 3D modeling from a 2D plan view using a neural network model generated by a symbol analysis apparatus included in a facility floor plan according to an embodiment of the present invention and the technique of Korean Patent Publication No. 10-1638378; It is an exemplary view of the drawing.
  • FIG. 8 is a flowchart of a symbol analysis method included in a facility floor plan according to an embodiment of the present invention.
  • a component when it is mentioned that a component is connected or connected to another component, it may be directly connected or connected to the other component, but it should be understood that another component may exist in the middle.
  • 1 is an exemplary view of a facility plan view.
  • both the symbols of the window and the door include symbols of a rectangular shape.
  • the bounding box can be labeled only in the form of a non-rotatable rectangle.
  • the door and window symbols are arranged diagonally on the floor plan or when the door and window symbols are adjacent to other symbols, it is impossible to accurately label them, so there is a problem in that it is difficult to improve the accuracy of neural network learning.
  • An embodiment of the present invention proposes a technique for automatically discriminating a door and a window symbol on a floor plan and labeling the separated door and window areas in pixel units to improve the learning accuracy for distinguishing a window from a door on a floor plan.
  • FIG. 2 is a functional block diagram of a symbol analysis apparatus 100 included in a facility plan view according to an embodiment of the present invention.
  • a symbol analysis apparatus 100 included in a facility plan view includes a memory 110 , a processor 120 , an input interface 130 , a display unit 140 , and a communication interface 150 .
  • a memory 110 includes a processor 120 , an input interface 130 , a display unit 140 , and a communication interface 150 .
  • a communication interface 150 may include
  • the memory 110 may include a training data DB 111 , a neural network model 113 , and a command DB 115 .
  • the learning data DB 111 may include a plurality of image files for the facility floor plan.
  • the facility floor plan can be obtained through an external server, an external DB, or from an image on the Internet.
  • the facility floor plan may consist of a number of pixels (ex. M*N pixels in the form of M horizontal and N vertical matrix), and each pixel is R (Red), G (Green), B (Blue). ) may include pixel information consisting of RGB element values (x, y, z) indicating the intrinsic color or HSV information indicating hue, saturation, and brightness.
  • the neural network model 113 may include a neural network model that determines the class and location of the door/window symbol included in the input facility floor plan.
  • the neural network model may be generated by an operation of the processor 120 to be described later and stored in the memory 110 .
  • the command DB 115 may store commands capable of performing an operation of the processor 120 .
  • the command DB 115 may store computer code for performing operations corresponding to operations of the processor 120 to be described later.
  • the processor 120 controls the overall operation of the components included in the symbol analysis device 100 included in the facility floor plan, the memory 110 , the input interface 130 , the display unit 140 , and the communication interface 150 .
  • the processor 120 may include a preference determination module 121 , a labeling module 123 , a learning module 125 , and a control module 127 .
  • the processor 120 may execute the instructions stored in the memory 110 to drive the preference determination module 121 , the labeling module 123 , the learning module 125 , and the control module 127 , and the preference determination module 121 ), the labeling module 123 , the learning module 125 , and the operation performed by the control module 127 may be understood as operations performed by the processor 120 .
  • the preference determination module 121 may specify a window area and a door area included in the facility floor plan for each of the plurality of facility floor plans included in the learning data DB 111 .
  • the symbol identification module 121 detects and removes characters included in the facility floor plan based on an algorithm for detecting characters (ex. OCR detection algorithm), and sets all parts except black among colors included in the facility floor plan to white can be converted
  • the symbol identification module 121 maintains RGB information for pixels whose RGB information is (0, 0, 0) of pixels included in the facility floor plan, and the RGB information of pixels included in the facility floor plan is (0, 0,
  • An operation of converting RGB information of a pixel other than 0, 0) into (255, 255, 255) may be performed.
  • the symbol discrimination module 121 may perform an operation of detecting a rectangle and an arc based on an outline connecting a black line segment or a white area border.
  • the symbol determination module 121 may determine that the rectangle is not a door or window but a rectangle, and remove the corresponding rectangle from the detection target of the door or window.
  • the preset value may determine the range based on the width of the door or window symbol included in the facility floor plan to be used for learning, and since the area of the symbol may vary according to the image size of the facility floor plan, It can be determined based on the image size.
  • the symbol discrimination module 121 is configured to have a line segment connected to the first rectangle and forming a vertical line, in which case the arc is connected to the end of the first rectangle and the end of the line segment If so, the first rectangle can be determined as the door area.
  • the symbol identification module 121 may determine a second rectangle that is not connected to an arc among the rectangles as the window area.
  • the operation of the above-described preference determination module 121 may be appropriate when the facility floor plan corresponds to a high-quality original.
  • the operation of the preference determination module 121 to detect the door and window from the facility floor plan containing a lot of noise will be described in more detail later with FIGS. 3 to 5 .
  • the labeling module 123 may label the pixels of the window area specified by the preference determination module 121 as the class of the window, and may label the pixels of the door area specified by the preference determination module 121 as the door class. . Also, the labeling module 123 may label pixels of all areas other than windows and doors with a class of null. The labeling module 123 applies RGB information for the same color to the pixel area corresponding to the same class, and applies RGB information for different colors to the pixel area for pixel areas corresponding to different classes. can be labeled in this way.
  • the labeling module 123 changes the pixel information in the facility floor plan to yellow for the pixel area where the window is located, red for the pixel area where the door is located, and black for the other pixel areas, so that each class (eg windows, doors, other areas) can be labeled.
  • each class eg windows, doors, other areas
  • the learning module 125 inputs a plurality of facility floor plans and labeled data in units of pixels to a neural network model designed based on an image segmentation algorithm, and correlates the classes and labeled pixel positions of windows and doors included in the plurality of facility floor plans. By learning the weight of the derived neural network model, it is possible to generate a neural network model that determines the location and class of windows and doors included in the facility floor plan based on the correlation.
  • the learning module 125 sets a plurality of facility floor plans to be input to the input layer of the neural network designed based on the Mask R-CNN algorithm among the image segmentation algorithms, and to the output layer of the window/door/background included in the plurality of facility floor plans.
  • the operation of learning the weight of the neural network for deriving a correlation between the class of the window and the door included in the plurality of facility floor plans and the position of the labeled pixel may be performed.
  • the control module 127 can specify the area of the door and window by inputting the facility floor plan to the neural network model on which the learning has been completed, and information and numerical values about the space presented in the two-dimensional floor plan through the technology of Korean Patent Publication No. 10-1638378 By performing three-dimensional modeling based on , three-dimensional spatial information about a two-dimensional facility floor plan can be provided.
  • the input interface 130 may receive a facility floor plan to be used for learning or detection.
  • the display unit 140 may include a hardware configuration for outputting an image including a display panel.
  • the communication interface 150 communicates with an external device to transmit/receive information.
  • the communication interface 150 may include a wireless communication module or a wired communication module.
  • 3 to 5 are exemplary diagrams of an operation of detecting and labeling a door and a window by a symbol analysis apparatus included in a facility floor plan according to an embodiment of the present invention through conversion to the facility floor plan.
  • the symbol identification module 121 may generate a first floor plan in which characters are removed from the facility floor plan through an OCR detection algorithm.
  • the symbol identification module 121 generates a second plan view obtained by converting pixel information of the first plan view through Equations 1 and 2 below to convert the first plan view into black and white colors. can do.
  • the black line segment is partially cut off. This is because noise is inserted into the image of the facility floor plan so that the pixel information that was originally black is uploaded/downloaded/compressed. This is because RGB information has a value other than (0, 0, 0) due to conversion. Accordingly, the preference determination module 121 may remove noise information through an operation to be described later.
  • the symbol discrimination module 121 generates a third plan view in which a portion larger than a preset area or smaller than a preset area among rectangles made of line segments constituting the second plan view is displayed in black.
  • the third floor plan is used to treat an area that is very large or small compared to the area of the door and window as an outlier and remove it.
  • the symbol discrimination module 121 determines that, among pixels constituting the first plan view, a color element value is 0 or more and 30 or less, a saturation element value is 80 or more and 220 or less, and a brightness element value is 150 or more.
  • a fourth plan view in which pixels having a value of 225 or less are converted to white may be generated.
  • the preference determination module 121 may perform a corresponding operation based on the HSV information included in the first plan view, and the HSV information may be converted and derived from the RGB information. In the fourth plan view, colors are classified based on an edge area where the color change is abrupt.
  • the preference discrimination module 121 may generate a fifth plan view in which the black area of the third plan view and the white area of the fourth plan view are applied to the first plan view.
  • the application of the third plan view of FIG. 3(c) is to remove an area that is very large or small compared to the area of the door and window by treating it as an outlier.
  • the fourth plan view of Fig. 3(d) paying attention to the fact that noise generally occurs in the pixel area where the color change is abrupt, the color of the facility floor plan is divided into black and white based on the edge of the rapid color change, and this By synthesizing in a plan view, the effect of noise can be reduced by increasing the color contrast of the original as shown in FIG. 4(a).
  • the preference discrimination module 121 may generate a sixth plan view obtained by converting pixel information of the fifth plan view through Equations 3 to 5 below.
  • Equation 1 polarizes the existing color toward white and black
  • Equation 4 converts the polarized color to grayscale
  • Equation 5 converts polarized grayscale to black and white.
  • the symbol discrimination module 121 may additionally minimize noise by applying a morphology erode operation that reduces the white part in the sixth plan view.
  • the symbol identification module 121 creates a contour connecting the borders of the white area of the sixth plan view, and a rectangular area that can correspond to a window or door sign in the facility plan view can be detected.
  • the symbol determination module 121 may determine a rectangle corresponding to the window or door area based on the area of the rectangle or the ratio of the width/length of the rectangle.
  • the white area in Fig. 4(b) is under the following conditions may be excluded, and a rectangular area corresponding to a door or window may be detected as shown in FIG. 4(c).
  • the symbol discrimination module 121 may generate a seventh plan view obtained by converting pixel information of the second plan view through Equations 6 to 8 below.
  • Equation 6 may polarize the color of pixel information based on the color and saturation of the facility floor plan, Equation 7 converts the polarized color into grayscale, and Equation 8 converts grayscale into black and white.
  • the symbol discrimination module 121 detects a rectangle adjacent to the arc of FIG. 5 ( b ) among the rectangles detected in FIG. 4 ( c ) as a door, and detects the remaining rectangle as a window, , the labeling module 123 may label based on the detected information.
  • the learning module 125 inputs a plurality of facility floor plans ( FIG. 1 ) and data labeled in units of pixels ( FIG. 5 ( d )) to a neural network model designed based on an image segmentation algorithm, A neural network that determines the location and class of windows and doors included in a facility floor plan based on the correlation by learning the weights of a neural network model that derives a correlation between the classes and labeled pixel positions included in a plurality of facility floor plans You can create a model.
  • FIG. 6 is an exemplary diagram illustrating a result of separating a door and a window from a facility floor plan by a neural network model generated by the symbol analysis apparatus 100 included in the facility floor plan according to an embodiment of the present invention.
  • This neural network model can be grafted with the technology of Korean Patent Publication No. 10-1638378 as shown in FIG. 7 .
  • FIG. 7 is a three-dimensional modeling from a two-dimensional plan view using the neural network model generated by the symbol analysis apparatus 100 included in the facility floor plan according to an embodiment of the present invention and the technique of Korean Patent Publication No. 10-1638378. It is an exemplary diagram of a three-dimensional drawing.
  • the symbol analysis apparatus 100 included in the facility floor plan automatically distinguishes the door and window symbols on the floor plan, and labels the separated door and window itself in units of pixels in the plan view.
  • Korean Patent Publication No. 10-1638378 a three-dimensional automatic three-dimensional modeling method and program based on a two-dimensional drawing), a two-dimensional plan view (Fig. 7(a) )
  • it is possible to perform efficient three-dimensional modeling FIG. 7(b), FIG. 7(c) by more accurately classifying the door and window.
  • FIG. 8 is a flowchart of a symbol analysis method included in a facility floor plan according to an embodiment of the present invention. Each step of the preference analysis method included in the facility floor plan according to FIG. 8 may be performed by the preference analysis apparatus 100 included in the facility floor plan described with reference to FIG. 1 , and each step is described as follows.
  • the input interface 130 acquires a plurality of facility floor plans (S810).
  • the symbol identification module 121 detects a rectangle included in each of a plurality of facility floor plans and an arc connected to the rectangle ( S820 ).
  • the symbol identification module 121 specifies a window area and a door area based on a rectangle and an arc (S830).
  • the labeling module 123 labels the pixels of the specified window area as the class of the window, and labels the pixels of the specified door area with the class of the door ( S840 ).
  • the learning module 125 inputs a plurality of facility floor plans and labeled data in units of pixels to a neural network model designed based on an image segmentation algorithm, and the correlation between the classes of windows and doors included in the plurality of facility floor plans and the positions of the labeled pixels By learning the weight of the neural network model to derive , a neural network model for determining the location and class of windows and doors included in the facility floor plan is generated based on the correlation (S850).
  • embodiments of the present invention may be implemented through various means.
  • embodiments of the present invention may be implemented by hardware, firmware, software, or a combination thereof.
  • the method according to embodiments of the present invention may include one or more Application Specific Integrated Circuits (ASICs), Digital Signal Processors (DSPs), Digital Signal Processing Devices (DSPDs), and Programmable Logic Devices (PLDs). , FPGAs (Field Programmable Gate Arrays), processors, controllers, microcontrollers, microprocessors, and the like.
  • ASICs Application Specific Integrated Circuits
  • DSPs Digital Signal Processors
  • DSPDs Digital Signal Processing Devices
  • PLDs Programmable Logic Devices
  • FPGAs Field Programmable Gate Arrays
  • processors controllers
  • microcontrollers microcontrollers
  • microprocessors and the like.
  • the method according to the embodiments of the present invention may be implemented in the form of a module, procedure, or function that performs the functions or operations described above.
  • a computer program in which a software code or the like is recorded may be stored in a computer-readable recording medium or a memory unit and driven by a processor.
  • the memory unit may be located inside or outside the processor, and may transmit and receive data to and from the processor by various known means.
  • combinations of each block in the block diagram attached to the present invention and each step in the flowchart may be performed by computer program instructions.
  • These computer program instructions may be embodied in the encoding processor of a general purpose computer, special purpose computer, or other programmable data processing equipment, such that the instructions executed by the encoding processor of the computer or other programmable data processing equipment may correspond to each block of the block diagram or
  • Each step of the flowchart creates a means for performing the functions described.
  • These computer program instructions may also be stored in a computer-usable or computer-readable memory that may direct a computer or other programmable data processing equipment to implement a function in a particular way, and thus the computer-usable or computer-readable memory.
  • each block or each step may represent a module, segment, or part of code including one or more executable instructions for executing a specified logical function. It should also be noted that in some alternative embodiments it is also possible for the functions recited in blocks or steps to occur out of order. For example, it is possible that two blocks or steps shown one after another may in fact be performed substantially simultaneously, or that the blocks or steps may sometimes be performed in the reverse order according to the corresponding function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치는 복수의 시설 평면도를 획득하는 동작; 복수의 시설 평면도에 각각에 포함된 직사각형 및 직사각형에 연결된 호를 검출하는 동작; 직사각형 및 호를 기초로 창문 영역과 문 영역을 특정하는 동작; 특정된 창문 영역의 픽셀을 창문의 클래스로 레이블링하고, 특정된 문 영역의 픽셀을 문의 클래스로 레이블링하는 동작; 및 소정의 이미지 분할알고리즘 기반으로 설계된 신경망 모델에 복수의 시설 평면도와 픽셀 단위로 레이블링된 데이터를 입력하여, 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 레이블링된 픽셀의 위치의 상관관계를 도출하는 신경망 모델의 가중치를 학습시킴으로써, 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성하는 동작을 수행할 수 있다.

Description

시설 평면도에 포함된 기호 분석 장치 및 방법
본 발명은 시설 평면도에 포함된 기호 분석 장치 및 방법에 관한 것이다.
기존의 3차원 공간 정보를 획득하는 방법으로 파노라마식 카메라를 활용한 사진 촬영 방식이 있다. 이는 3차원 공간 정보를 획득하기 위해 해당 장소를 직접 방문하여 사진을 촬영하여야 하고, 사진에 촬영된 실제 장소의 물건 등이 노출되어 사생활 침해의 우려가 있다는 문제가 있다. 또한, 파노라마식 카메라를 활용한 사진 촬영은 비용이 고가이며, 촬영된 이미지는 2차원 이미지 데이터로 구성되어 실제 공간에 대한 물리 정보 추출 및 활용이 불가능한 문제가 있다.
또한, 기존의 3차원 공간 정보를 획득하는 방법으로 수작업 방식으로 진행되는 3차원 모델링 파일 제작 방식이 있다. 이는 전문인력이 직접 모델링을 수행하여야 하므로 인건비에 의해서 고가이고, 제작 시간이 오래 걸리는 문제가 있다.
이에 따라, 직접 3차원 공간을 촬영하지 않고도 2차원 평면도의 정보로부터 3차원 공간의 정보를 자동으로 추출하는 기술로서, 한국 등록특허공보 제10-1638378호(2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램)가 존재한다. 한국 등록특허공보 제10-1638378호는 2차원 평면도에 제시된 공간 정보와 수치에 기반하여 3차원 모델링을 수행하므로 신뢰도 높은 3차원 공간 정보를 제공할 수 있다.
다만, 평면도에서 창문과 문의 기호는 두 기호 모두 직사각형 형태로 구성되어 있다. 이러한 창문과 문의 기호를 자동으로 구분하는 신경망의 학습을 위해 바운딩 박스(bounding box)로 레이블링을 수행하는 경우, 기존에는 바운딩 박스를 수동으로 지정한 다음, 레이블링해야 했으며, 더하여 바운딩 박스는 회전할 수 없는 직사각형의 형태로만 레이블링 할 수 있다는 한계가 존재하였다.
이러한 한계점 때문에, 평면도 상에서 문과 창문 기호가 대각선으로 배치되어 있거나, 문과 창문의 기호가 다른 기호들과 인접해 있는 경우에는 정확하게 레이블링할 수 없어, 신경망 학습의 정확도를 향상하기 어렵다는 문제가 존재한다.
본 발명의 실시예에서 해결하고자 하는 과제는 평면도 상에서 문과 창문 기호를 자동으로 구분하고, 구분된 문과 창문의 영역을 픽셀 단위로 레이블링하여, 평면도에서 창문과 문을 구분하기 위한 학습의 정확도를 향상하는 기술을 제공하는 것이다.
다만, 본 발명의 실시예가 이루고자 하는 기술적 과제는 이상에서 언급한 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 도출될 수 있다.
본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치는 소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리; 및 상기 하나 이상의 메모리와 동작할 수 있도록 연결되어 상기 명령어들을 실행하도록 설정된 하나 이상의 프로세서를 포함하고, 상기 프로세서가 수행하는 동작은, 복수의 시설 평면도를 획득하는 동작; 상기 복수의 시설 평면도에 각각에 포함된 직사각형 및 상기 직사각형에 연결된 호를 검출하는 동작; 상기 직사각형 및 상기 호를 기초로 창문 영역과 문 영역을 특정하는 동작; 상기 특정된 창문 영역의 픽셀을 창문의 클래스로 레이블링하고, 상기 특정된 문 영역의 픽셀을 문의 클래스로 레이블링하는 동작; 및 소정의 이미지 분할알고리즘 기반으로 설계된 신경망 모델에 상기 복수의 시설 평면도와 픽셀 단위로 레이블링된 데이터를 입력하여, 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치의 상관관계를 도출하는 상기 신경망 모델의 가중치를 학습시킴으로써, 상기 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성하는 동작을 포함할 수 있다.
또한, 상기 검출하는 동작은 시설 평면도에 포함된 검은색을 제외한 모든 부분을 흰색으로 변환시키는 동작; 및 상기 검은색으로 구성된 선분 또는 흰색 영역 테두리를 연결한 윤곽을 기초로 상기 직사각형 및 상기 호를 검출하는 동작을 포함할 수 있다.
또한, 상기 검출하는 동작은 상기 시설 평면도에 포함된 문자를 제거하는 동작을 포함할 수 있다.
또한, 상기 흰색으로 변환시키는 동작은 시설 평면도에 포함된 픽셀의 RGB 정보가 (0, 0, 0)인 픽셀은 RGB 정보를 유지하고, 시설 평면도에 포함된 픽셀의 RGB 정보가 (0, 0, 0)이 아닌 픽셀의 RGB 정보를 (255, 255, 255)로 변환시키는 동작을 포함할 수 있다.
또한, 상기 창문 영역과 문 영역을 특정하는 동작은 상기 직사각형 중 상기 호와 연결된 제1 직사각형을 문 영역으로 검출하는 동작; 및 상기 직사각형 중 상기 호와 연결되어 있지 않은 제2 직사각형을 창문 영역으로 검출하는 동작을 포함할 수 있다.
또한, 상기 문 영역으로 검출하는 동작은 상기 제1 직사각형과 연결되어 수직을 이루는 선분이 존재하고, 상기 호가 상기 제1 직사각형의 말단 및 상기 선분의 말단과 연결된 경우, 상기 제1 직사각형을 문 영역으로 검출할 수 있다.
또한, 상기 창문 영역과 문 영역을 특정하는 동작은 상기 직사각형 중 넓이가 기 설정된 값보다 작거나, 기 설정된 값보다 큰 경우 상기 검출에서 제거하는 동작을 포함할 수 있다.
또한, 상기 레이블링하는 동작은 상기 창문 및 상기 문 이외의 모든 영역의 픽셀을 null의 클래스로 레이블링하는 동작을 포함할 수 있다.
또한, 상기 검출하는 동작은 상기 시설 평면도에서 OCR 검출 알고리즘을 통해 문자를 제거한 제1 평면도를 생성하는 동작; 하기 수학식 1 및 수학식 2를 통해 상기 제1 평면도의 픽셀 정보를 변환시킨 제2 평면도를 생성하는 동작;
[수학식 1]
Figure PCTKR2021009480-appb-img-000001
(src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 10, β: -350, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
[수학식 2]
Figure PCTKR2021009480-appb-img-000002
(R: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
상기 제2 평면도를 구성하는 선분으로 이루어진 직사각형 중 기 설정된 넓이보다 크거나 기 설정된 넓이보다 작은 부분만 검은색으로 나타낸 제3 평면도를 생성하는 동작; 상기 제1 평면도를 구성하는 픽셀 중 색상 원소값이 0 이상 30 이하이고, 채도 원소값이 80 이상 220 이하이고, 명도 원소값이 150 이상 225 이하의 값을 갖는 픽셀을 흰색으로 변환한 제4 평면도를 생성하는 동작; 상기 제1 평면도에 상기 제3 평면도의 검은색 영역과 상기 제4 평면도의 흰색 영역을 적용한 제5 평면도를 생성하는 동작; 하기 수학식 3 내지 수학식 5를 통해 상기 제5 평면도의 픽셀 정보를 변환시킨 제6 평면도를 생성하는 동작;
[수학식 3]
Figure PCTKR2021009480-appb-img-000003
(src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 3, β: -350, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
[수학식 4]
Figure PCTKR2021009480-appb-img-000004
(R: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
[수학식 5]
Figure PCTKR2021009480-appb-img-000005
(Y: 수학식 4에서 구해진 1차원 원소값)
상기 제6 평면도의 흰색 영역 테두리를 연결한 윤곽을 생성하여 직사각형을 검출하는 동작을 포함 포함할 수 있다.
또한, 상기 검출하는 동작은 상기 시설 평면도에서 OCR 검출 알고리즘을 통해 문자를 제거한 제1 평면도를 생성하는 동작; 하기 수학식 6 내지 수학식 8을 통해 상기 제2 평면도의 픽셀 정보를 변환시킨 제7 평면도를 생성하는 동작;
[수학식 6]
Figure PCTKR2021009480-appb-img-000006
(src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 57, β: -12500, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
[수학식 7]
Figure PCTKR2021009480-appb-img-000007
(R: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
[수학식 8]
Figure PCTKR2021009480-appb-img-000008
(Y: 수학식 7에서 구해진 1차원 원소값)
상기 제7 평면도의 흰색 영역 테두리를 연결한 윤곽을 생성하는 동작; 및 상기 윤곽을 Douglas-Peucker 알고리즘을 기초로 근사화하여 상기 근사화된 윤곽 중 블록 껍질(Convex hull)에 해당하는 윤곽을 검출하고, 상기 Convex hull이 이루는 넓이가 소정 범위 이내인 경우를 호로 검출하는 동작을 포함할 수 있다.
또한, 상기 신경망 모델을 생성하는 동작은 Mask R-CNN 알고리즘을 기초로 설계된 신경망의 입력 레이어에 상기 복수의 시설 평면도가 입력되도록 설정하고, 출력 레이어에는 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치가 입력되도록 설정하여, 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치와의 상관관계를 도출하는 신경망의 가중치를 학습시키는 동작을 포함할 수 있다.
본 발명의 일 실시예는 상기 장치가 생성한 신경망 모델을 포함하는 장치를 포함할 수 있다.
본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치가 수행하는 방법은 복수의 시설 평면도를 획득하는 단계; 상기 복수의 시설 평면도에 각각 포함된 직사각형 및 상기 직사각형에 연결된 호를 검출하는 단계; 상기 직사각형 및 상기 호를 기초로 창문 영역과 문 영역을 특정하는 단계; 상기 특정된 창문 영역의 픽셀을 창문의 클래스로 레이블링하고, 상기 특정된 문 영역의 픽셀을 문의 클래스로 레이블링하는 단계; 및 소정의 이미지 분할(image segmentation) 알고리즘 기반으로 설계된 신경망 모델에 상기 복수의 시설 평면도와 픽셀 단위로 레이블링된 데이터를 입력하여, 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치의 상관관계를 도출하는 상기 신경망 모델의 가중치를 학습시킴으로써, 상기 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 평면도 상에서 문과 창문 기호를 자동으로 구분하고, 구분된 문과 창문의 영역을 픽셀 단위로 레이블링하여 평면도에서 창문과 문을 정확하게 구분하는 모델을 생성할 수 있다.
본 발명의 실시예에 따라 생성된 이미지 분할모델을 한국 등록특허공보 제10-1638378호(2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램)의 기술과 함께 사용할 경우, 2차원 평면도의 문과 창문을 보다 정확하게 구분함으로써 효율적인 3차원 모델링을 수행할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 시설 평면도의 예시도이다.
도 2는 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치의 기능 블록도이다.
도 3은 내지 도 5는 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치가 시설 평면도에 대한 변환을 통해 문과 창문을 검출하고 레이블링하는 동작의 예시도이다.
도 6은 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치가 생성한 신경망 모델이 시설 평면도로부터 문과 창문을 구분한 결과를 나타내는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치가 생성한 신경망 모델 및 한국 등록특허공보 제10-1638378호의 기술을 사용하여 2차원 평면도로부터 3차원 모델링을 수행한 3차원 도면의 예시도이다.
도 8은 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 방법의 흐름도이다.
본 발명의 이점 및 특징,　그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다.　　그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며,　단지 본 실시예들은 본 발명의 개시가 완전하도록 하고,　본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며,　본 발명의 범주는 청구항에　의해 정의될 뿐이다.
본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 실제로 필요한 경우 외에는 생략될 것이다.　　그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.　　그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면에 표시되고 아래에 설명되는 기능 블록들은 가능한 구현의 예들일 뿐이다. 다른 구현들에서는 상세한 설명의 사상 및 범위를 벗어나지 않는 범위에서 다른 기능 블록들이 사용될 수 있다. 또한 본 발명의 하나 이상의 기능 블록이 개별 블록들로 표시되지만, 본 발명의 기능 블록 중 하나 이상은 동일 기능을 실행하는 다양한 하드웨어 및 소프트웨어 구성의 조합일 수 있다.
또한 어떤 구성 요소들을 포함한다는 표현은 개방형의 표현으로서 해당 구성 요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성 요소들을 배제하는 것으로 이해되어서는 안 된다.
나아가 어떤 구성 요소가 다른 구성 요소에 연결되어 있다거나 접속되어 있다고 언급될 때에는, 그 다른 구성 요소에 직접적으로 연결 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 한다.
또한 '제1, 제2' 등과 같은 표현은 복수의 구성을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다.
이하에서는 도면들을 참조하여 본 발명의 실시예들에 대해 설명하도록 한다.
도 1은 시설 평면도의 예시도이다.
도 1을 참조하면, 시설 평면도에서 창문과 문의 기호는 모두 직사각형 형태의 기호를 포함하고 있다. 이러한 창문과 문의 기호를 자동으로 구분하는 신경망의 학습을 위해 바운딩 박스(bounding box)로 레이블링을 수행하는 경우, 바운딩 박스는 회전할 수 없는 직사각형의 형태로만 레이블링 할 수 있다. 또한, 평면도 상에서 문과 창문 기호가 대각선으로 배치되어 있거나, 문과 창문의 기호가 다른 기호들과 인접해 있는 경우에는 정확하게 레이블링할 수 없어, 신경망 학습의 정확도를 향상하기 어렵다는 문제가 존재한다.
본 발명의 실시예는 평면도 상에서 문과 창문 기호를 자동으로 구분하고, 구분된 문과 창문 영역을 픽셀 단위로 레이블링하여, 평면도에서 창문과 문을 구분하기 위한 학습의 정확도를 향상하는 기술을 제안한다.
도 2는 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치(100)의 기능 블록도이다.
도 2를 참조하면, 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치(100)는 메모리(110), 프로세서(120), 입력 인터페이스(130), 디스플레이부(140) 및 통신 인터페이스(150)를 포함할 수 있다.
메모리(110)는 학습 데이터 DB(111), 신경망 모델(113), 및 명령어 DB(115)를 포함할 수 있다.
학습 데이터 DB(111)는 시설 평면도에 대한 복수의 이미지 파일을 포함할 수 있다. 시설 평면도는 외부 서버, 외부 DB를 통해 획득하거나 인터넷상의 이미지로부터 획득할 수 있다. 이때 시설 평면도는 다수의 픽셀(ex. 가로 M개, 세로 N개 행렬 형태로 구성된 M*N 개의 픽셀)로 구성될 수 있고, 각각의 픽셀은 R (Red), G(Green), B(Blue)의 고유 색상을 나타내는 RGB 원소값 (x, y, z)으로 구성된 픽셀 정보 또는 색상, 채도, 명도를 나타내는 HSV 정보를 포함할 수 있다.
신경망 모델(113)은 입력된 시설 평면도 내부에 포함된 문/창문 기호의 클래스 및 위치를 판별하는 신경망 모델을 포함할 수 있다. 신경망 모델은 후술할 프로세서(120)의 동작에 의해 생성되어 메모리(110)에 저장될 수 있다.
명령어 DB(115)는 프로세서(120)의 동작을 수행시킬 수 있는 명령어들을 저장할 수 있다. 예를 들어, 명령어 DB(115)는 후술할 프로세서(120)의 동작들과 대응되는 동작을 수행하도록 하는 컴퓨터 코드를 저장할 수 있다.
프로세서(120)는 시설 평면도에 포함된 기호 분석 장치(100)가 포함하는 구성들, 메모리(110), 입력 인터페이스(130), 디스플레이부(140) 및 통신 인터페이스(150)의 전반적인 동작을 제어할 수 있다. 프로세서(120)는 기호 판별 모듈(121), 레이블링 모듈(123), 학습 모듈(125) 및 제어 모듈(127)을 포함할 수 있다. 프로세서(120)는 메모리(110)에 저장된 명령어들을 실행해 기호 판별 모듈(121), 레이블링 모듈(123), 학습 모듈(125) 및 제어 모듈(127)을 구동시킬 수 있고, 기호 판별 모듈(121), 레이블링 모듈(123), 학습 모듈(125) 및 제어 모듈(127)에 의해 수행되는 동작은 프로세서(120)에 의해 수행되는 동작으로 이해될 수 있다.
기호 판별 모듈(121)은 학습 데이터 DB(111)에 포함된 복수의 시설 평면도 각각에 대하여, 시설 평면도에 포함된 창문 영역과 문 영역을 특정할 수 있다.
기호 판별 모듈(121)은 문자를 검출하는 알고리즘(ex. OCR 검출 알고리즘)에 기초하여 시설 평면도에 포함된 문자를 검출 후 제거하고, 시설 평면도에 포함된 색상 중 검은색을 제외한 모든 부분을 흰색으로 변환시킬 수 있다. 예를 들어, 기호 판별 모듈(121)은 시설 평면도에 포함된 픽셀의 RGB 정보가 (0, 0, 0)인 픽셀은 RGB 정보를 유지하고, 시설 평면도에 포함된 픽셀의 RGB 정보가 (0, 0, 0)이 아닌 픽셀의 RGB 정보를 (255, 255, 255)로 변환시키는 동작을 수행할 수 있다.
이후, 기호 판별 모듈(121)은 검은색으로 구성된 선분 또는 흰색 영역 테두리를 연결한 윤곽을 기초로 직사각형과 호를 검출하는 동작을 수행할 수 있다. 이때 기호 판별 모듈(121)은 직사각형 중 넓이가 기 설정된 값보다 작거나, 기 설정된 값보다 큰 경우 문이나 창문이 아닌 직사각형으로 판별하여, 해당 직사각형을 문이나 창문의 검출 대상에서 제거할 수 있다. 여기서, 기 설정된 값은 학습에 사용될 시설 평면도에 포함된 문이나 창문 기호의 넓이를 기초로 범위를 결정할 수 있으며, 시설 평면도의 이미지 크기에 따라 기호의 넓이가 달라질 수 있으므로, 학습에 사용될 시설 평면도의 이미지 크기에 기초하여 결정할 수 있다.
또한, 기호 판별 모듈(121)은 직사각형 중 호와 연결된 제1 직사각형이 있는 경우에, 제1 직사각형과 연결되어 수직을 이루는 선분이 존재하면서, 이때 호가 제1 직사각형의 말단 및 상기 선분의 말단과 연결되어 있다면, 제1 직사각형을 문 영역으로 판별할 수 있다. 기호 판별 모듈(121)은 직사각형 중 호와 연결되어 있지 않은 제2 직사각형을 창문 영역으로 판별할 수 있다.
상술한 기호 판별 모듈(121)의 동작은 시설 평면도가 고화질의 원본에 해당하는 경우에 적합할 수 있다. 한편, 기호 판별 모듈(121)이 노이즈가 많이 포함된 시설 평면도로부터 문과 창문을 검출하는 동작은 도 3 내지 도 5와 함께 보다 자세히 후술한다.
레이블링 모듈(123)은 기호 판별 모듈(121)에 의해 특정된 창문 영역의 픽셀을 창문의 클래스로 레이블링하고, 기호 판별 모듈(121)에 의해 특정된 문 영역의 픽셀을 문의 클래스로 레이블링할 수 있다. 또한, 레이블링 모듈(123)은 창문과 문 이외의 모든 영역의 픽셀을 null의 클래스로 레이블링할 수 있다. 레이블링 모듈(123)은 동일한 클래스에 해당하는 픽셀 영역에는 서로 동일한 색상에 대한 RGB 정보를 해당 픽셀 영역에 적용하고, 상이한 클래스에 해당하는 픽셀 영역끼리는 서로 상이한 색상에 대한 RGB 정보를 픽셀 영역에 적용하는 방식으로 레이블링할 수 있다. 예를 들어, 레이블링 모듈(123)은 시설 평면도에서 창문이 위치하는 픽셀 영역은 노란색으로, 문이 위치하는 픽셀 영역은 빨간색으로, 그 외의 픽셀 영역은 검은색으로 픽셀 정보를 변경하여, 각각의 클래스(ex. 창문, 문, 그 외 영역)를 레이블링할 수 있다.
학습 모듈(125)은 이미지 분할알고리즘 기반으로 설계된 신경망 모델에 복수의 시설 평면도와 픽셀 단위로 레이블링된 데이터를 입력하여, 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 레이블링된 픽셀 위치의 상관관계를 도출하는 신경망 모델의 가중치를 학습시킴으로써, 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성할 수 있다.
학습 모듈(125)은 이미지 분할알고리즘 중 Mask R-CNN 알고리즘을 기초로 설계된 신경망의 입력 레이어에 복수의 시설 평면도가 입력되도록 설정하고, 출력 레이어에는 복수의 시설 평면도에 포함된 창문/문/background의 클래스 및 레이블링된 픽셀의 위치가 입력되도록 설정하여, 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 레이블링된 픽셀의 위치와의 상관관계를 도출하는 신경망의 가중치를 학습시키는 동작을 수행할 수 있다.
제어 모듈(127)은 학습이 완료된 신경망 모델에 시설 평면도를 입력하여 문과 창문의 영역을 특정할 수 있고, 한국 등록특허공보 제10-1638378호의 기술을 통해 2차원 평면도에 제시된 공간에 대한 정보와 수치에 기반하여 3차원 모델링을 수행함으로써, 2차원 시설 평면도에 대한 3차원 공간 정보를 제공할 수 있다.
입력 인터페이스(130)는 학습 또는 검출에 사용될 시설 평면도를 입력받을 수 있다.
디스플레이부(140)는 디스플레이 패널을 포함하여 화상을 출력하는 하드웨어 구성을 포함할 수 있다.
통신 인터페이스(150)는 외부 장치와 통신하여 정보를 송수신 할 수 있게 한다. 이를 위해, 통신 인터페이스(150)는 무선 통신모듈 또는 유선 통신모듈을 포함할 수 있다.
이하, 상술한 기호 판별 모듈(121)의 보다 구체적인 동작을 도 3 내지 도 5와 함께 설명한다.
도 3은 내지 도 5는 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치가 시설 평면도에 대한 변환을 통해 문과 창문을 검출하고 레이블링하는 동작의 예시도이다.
도 3(a)을 참조하면, 기호 판별 모듈(121)은 시설 평면도에서 OCR 검출 알고리즘을 통해 문자를 제거한 제1 평면도를 생성할 수 있다.
도 3(b)을 참조하면, 기호 판별 모듈(121)은 제1 평면도를 흑백 색상으로 변환하기 위해 하기 수학식 1 및 수학식 2를 통해 제1 평면도의 픽셀 정보를 변환시킨 제2 평면도를 생성할 수 있다.
[수학식 1]
Figure PCTKR2021009480-appb-img-000009
(src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 10, β: -350, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
[수학식 2]
Figure PCTKR2021009480-appb-img-000010
(R: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
이에 따라 변환된 도 3(b)의 제2 평면도를 살펴보면 검은색 선분이 일부 끊어져 있는데, 이것은 시설 평면도의 이미지에 노이즈가 삽입되어 본래 검은색 부분이었던 픽셀 정보가 업로드/다운로드/압축 등에 의해 정보가 변환되어 RGB 정보가 (0, 0, 0)이 아닌 값을 갖게 되었기 때문이다. 이에 따라, 기호 판별 모듈(121)은 후술할 동작을 통해 노이즈 정보를 제거할 수 있다.
도 3(c)을 참조하면, 기호 판별 모듈(121)은 제2 평면도를 구성하는 선분으로 이루어진 직사각형 중 기 설정된 넓이보다 크거나 기 설정된 넓이보다 작은 부분을 검은색으로 나타낸 제3 평면도를 생성할 수 있다. 제3 평면도는 문과 창문의 영역에 비해 넓이가 매우 큰 영역이나 작은 영역을 아웃라이어로 취급하여 제거하는 데에 사용된다.
도 3(d)을 참조하면, 기호 판별 모듈(121)은 제1 평면도를 구성하는 픽셀 중 색상 원소값이 0 이상 30 이하이고, 채도 원소값이 80 이상 220 이하이고, 명도 원소값이 150 이상 225 이하의 값을 갖는 픽셀을 흰색으로 변환한 제4 평면도를 생성할 수 있다. 기호 판별 모듈(121)은 제1 평면도에 포함된 HSV 정보를 기반으로 해당 동작을 수행할 수 있고, HSV 정보는 RGB 정보로부터 변환되어 도출될 수 있다. 제4 평면도는 색상 변화가 급격해지는 테두리 영역을 기준으로 색을 구분한다.
도 4(a)를 참조하면, 기호 판별 모듈(121)은 제1 평면도에 제3 평면도의 검은색 영역과 제4 평면도의 흰색 영역을 적용한 제5 평면도를 생성할 수 있다. 도 3(c) 제3 평면도의 적용은 문과 창문의 영역에 비해 넓이가 매우 큰 영역이나 작은 영역을 아웃라이어로 취급하여 제거하기 위함이다. 도 3(d)의 제4 평면도의 적용은 일반적으로 노이즈가 색상 변화가 급격한 픽셀 영역에 발생한다는 점에 착안하여, 색상 변화가 급격한 테두리를 기준으로 시설 평면도의 색상을 흑백으로 구분하고, 이를 제1 평면도에 합성하여 도 4(a)와 같이 원본의 색상 대비를 증가 시켜 노이즈에 의한 영향력을 감쇄시킬 수 있다.
도 4(b)를 참조하면, 기호 판별 모듈(121)은 하기 수학식 3 내지 수학식 5를 통해 제5 평면도의 픽셀 정보를 변환시킨 제6 평면도를 생성할 수 있다.
[수학식 3]
Figure PCTKR2021009480-appb-img-000011
(src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 3, β: -350, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
[수학식 4]
Figure PCTKR2021009480-appb-img-000012
(R: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
[수학식 5]
Figure PCTKR2021009480-appb-img-000013
(Y: 수학식 4에서 구해진 1차원 원소값)
수학식 1은 검은색 부분을 제외하고 모두 흰색으로 변환시킨 것에 비해, 수학식 3은 기존 색상을 흰색과 검은색 쪽으로 양극화시키고, 수학식 4는 양극화된 색상을 그레이스케일로 변환시키며, 수학식 5는 양극화된 그레이스케일을 흑백으로 변환시킨다. 이에 따라 생성된 도 4(b)의 제6 평면도는 모든 검정 선분이 끊어짐 없이 변환된 것을 확인할 수 있다. 이때 기호 판별 모듈(121)은 추가적으로 제6 평면도에서 흰 부분을 감소시키는 모폴로지 침식(morphology erode) 연산을 적용하여 노이즈 최소화할 수도 있다.
도 4(c) 및 도 4(d)를 참조하면, 기호 판별 모듈(121)은 제6 평면도의 흰색 영역 테두리를 연결한 윤곽을 생성하여 시설 평면도에서 창문 또는 문 기호에 해당할 수 있는 직사각형 영역을 검출할 수 있다.
기호 판별 모듈(121)은 윤곽이 이루는 도형이 직사각형인 경우, 직사각형의 넓이 또는 직사각형의 가로/세로의 비율을 기초로 창문 또는 문 영역에 해당하는 직사각형을 판별할 수 있다.
예를 들어, 시설 평면도의 이미지 너비가 923, 이미지 높이가 676인 경우를 기준(숫자는 비율로 대체 가능하여 단위를 생략함)으로 적용하는 경우, 다음의 조건으로 도 4(b)에서 흰 영역을 제외할 수 있고, 도 4(c)와 같이 문 또는 창문에 해당하는 사각형 영역을 검출할 수 있다.
a. 윤곽이 형성하는 도형의 넓이가 1,000보다 큰 경우 제외
b. 윤곽이 형성하는 사각형의 너비 또는 높이의 최솟값이 10보다 큰 경우 제외
c. 윤곽이 형성하는 도형의 넓이가 비정상적으로 작은 경우(ex. 40 이하) 제외
d. 윤곽이 형성하는 최소 단위 사각형의 너비와 윤곽이 형성하는 도형의 너비가 오차범위를 초과해 다른 경우 제외
e. 윤곽이 형성하는 최소 단위 사각형의 너비와 높이의 비가 x:1(x는 0.5 이상 2 이하)인 경우 제외
도 5(a)를 참조하면, 기호 판별 모듈(121)은 하기 수학식 6 내지 수학식 8을 통해 제2 평면도의 픽셀 정보를 변환시킨 제7 평면도를 생성할 수 있다.
[수학식 6]
Figure PCTKR2021009480-appb-img-000014
(src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 57, β: -12500, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
[수학식 7]
Figure PCTKR2021009480-appb-img-000015
(R: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
[수학식 8]
Figure PCTKR2021009480-appb-img-000016
(Y: 수학식 7에서 구해진 1차원 원소값)
수학식 6은 시설 평면도의 색상과 채도를 기준으로 픽셀 정보의 색상을 양극화시킬 수 있고, 수학식 7은 양극화된 색상을 그레이스케일로 변환시키며, 수학식 8은 그레이스케일을 흑백으로 변환시킨다.
도 5(b)를 참조하면, 기호 판별 모듈(121)은 제7 평면도의 흰색 영역 테두리를 연결한 윤곽을 생성하고, Douglas-Peucker 알고리즘을 기초로 지글거리는 형태의 윤곽을 근사화(ex. Douglas-Peucker 알고리즘의 epsilon 지수는 윤곽이 형성하는 윤곽의 총 길이의 0.02 = 1/50에 해당하는 값)하여 매끄럽게 변환한 뒤, 근사화된 윤곽 중 블록 껍질(Convex hull)에 해당하는 윤곽을 검출하고, 블록 껍질(Convex hull)에 해당하는 윤곽이 이루는 넓이가 소정 범위 이내인 경우를 호로 검출할 수 있다. 예를 들면, 블록 껍질의 넓이가 200보다 크고, 800보다 작으면서, 근사화된 윤곽 지점이 10개 이하인 경우를 호로 검출할 수 있다.
도 5(b)를 참조하면, 기호 판별 모듈(121)은 도 4(c)에 검출된 직사각형 중 도 5(b)의 호와 인접하는 직사각형을 문으로 검출하고, 나머지 직사각형을 창문으로 검출하고, 레이블링 모듈(123)은 검출된 정보에 기반하여 레이블링할 수 있다.
도 5(d)를 참조하면, 학습 모듈(125)은 이미지 분할알고리즘 기반으로 설계된 신경망 모델에 복수의 시설 평면도(도 1)와 픽셀 단위로 레이블링된 데이터(도 5(d))를 입력하여, 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 레이블링된 픽셀 위치의 상관관계를 도출하는 신경망 모델의 가중치를 학습시킴으로써, 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성할 수 있다.
도 6은 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치(100)가 생성한 신경망 모델이 시설 평면도로부터 문과 창문을 구분한 결과를 나타내는 예시도이다.
도 6을 참조하면, 신경망 모델에 입력된 새로운 평면도에 포함된 창문과 문의 위치를 픽셀 단위로 검출하며, 클래스 또한 높은 정확도로 검출할 수 있다는 것을 확인할 수 있다. 이러한 신경망 모델은 도 7과 같이 한국 등록특허공보 제10-1638378호의 기술과 접목될 수 있다.
도 7은 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치(100)가 생성한 신경망 모델 및 한국 등록특허공보 제10-1638378호의 기술을 사용하여 2차원 평면도로부터 3차원 모델링을 수행한 3차원 도면의 예시도이다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 장치(100)는 평면도 상에서 문과 창문 기호를 자동으로 구분하고, 구분된 문과 창문 자체를 픽셀 단위로 레이블링하여 평면도에서 창문과 문을 정확하게 구분하는 모델을 생성하여, 한국 등록특허공보 제10-1638378호(2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램)의 기술에 접목함으로써, 2차원 평면도(도 7(a))의 문과 창문을 보다 정확하게 구분하여 효율적인 3차원 모델링(도 7(b), 도 7(c))을 수행할 수 있다.
도 8은 본 발명의 일 실시예에 따른 시설 평면도에 포함된 기호 분석 방법의 흐름도이다. 도 8에 따른 시설 평면도에 포함된 기호 분석 방법의 각 단계는 도 1을 통해 설명된 시설 평면도에 포함된 기호 분석 장치(100)에 의해 수행될 수 있으며, 각 단계를 설명하면 다음과 같다.
입력 인터페이스(130)는 복수의 시설 평면도를 획득한다(S810). 기호 판별 모듈(121)은 복수의 시설 평면도에 각각에 포함된 직사각형 및 직사각형에 연결된 호를 검출한다(S820). 기호 판별 모듈(121)은 직사각형 및 호를 기초로 창문 영역과 문 영역을 특정한다(S830). 레이블링 모듈(123)은 특정된 창문 영역의 픽셀을 창문의 클래스로 레이블링하고, 특정된 문 영역의 픽셀을 문의 클래스로 레이블링한다(S840). 학습 모듈(125)은 이미지 분할알고리즘 기반으로 설계된 신경망 모델에 복수의 시설 평면도와 픽셀 단위로 레이블링된 데이터를 입력하여, 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 레이블링된 픽셀의 위치의 상관관계를 도출하는 신경망 모델의 가중치를 학습시킴으로써, 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성한다(S850).
한편, 상술한 각 단계의 주체인 구성 요소들이 해당 단계를 실시하기 위한 과정은 도 1 내지 도 7과 함께 설명하였으므로 중복된 설명은 생략한다.
상술한 본 발명의 실시예들은 다양한 수단을 통해 구현될 수 있다. 예를 들어, 본 발명의 실시예들은 하드웨어, 펌웨어(firmware), 소프트웨어 또는 그것들의 결합 등에 의해 구현될 수 있다.
하드웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 프로세서, 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
펌웨어나 소프트웨어에 의한 구현의 경우, 본 발명의 실시예들에 따른 방법은 이상에서 설명된 기능 또는 동작을 수행하는 모듈, 절차 또는 함수 등의 형태로 구현될 수 있다. 소프트웨어 코드 등이 기록된 컴퓨터 프로그램은 컴퓨터 판독 가능 기록 매체 또는 메모리 유닛에 저장되어 프로세서에 의해 구동될 수 있다. 메모리 유닛은 프로세서 내부 또는 외부에 위치하여, 이미 공지된 다양한 수단에 의해 프로세서와 데이터를 주고받을 수 있다.
또한, 본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 인코딩 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방법으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
더불어 각 블록 또는 각 단계는 특정된 논리적 기능을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또한 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이처럼, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (14)

  1. 시설 평면도에 포함된 기호 분석 장치에 있어서,
    소정의 동작을 수행하도록 하는 명령어들을 저장하는 하나 이상의 메모리; 및 상기 하나 이상의 메모리와 동작할 수 있도록 연결되어 상기 명령어들을 실행하도록 설정된 하나 이상의 프로세서를 포함하고,
    상기 프로세서가 수행하는 동작은,
    복수의 시설 평면도를 획득하는 동작;
    상기 복수의 시설 평면도에 각각에 포함된 직사각형 및 상기 직사각형에 연결된 호를 검출하는 동작;
    상기 직사각형 및 상기 호를 기초로 창문 영역과 문 영역을 특정하는 동작;
    상기 특정된 창문 영역의 픽셀을 창문의 클래스로 레이블링하고, 상기 특정된 문 영역의 픽셀을 문의 클래스로 레이블링하는 동작; 및
    소정의 이미지 분할알고리즘 기반으로 설계된 신경망 모델에 상기 복수의 시설 평면도와 픽셀 단위로 레이블링된 데이터를 입력하여, 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치의 상관관계를 도출하는 상기 신경망 모델의 가중치를 학습시킴으로써, 상기 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성하는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  2. 제1항에 있어서,
    상기 검출하는 동작은,
    시설 평면도에 포함된 검은색을 제외한 모든 부분을 흰색으로 변환시키는 동작; 및
    상기 검은색으로 구성된 선분 또는 흰색 영역 테두리를 연결한 윤곽을 기초로 상기 직사각형 및 상기 호를 검출하는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  3. 제2항에 있어서,
    상기 검출하는 동작은,
    상기 시설 평면도에 포함된 문자를 제거하는 동작을 더 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  4. 제2항에 있어서,
    상기 흰색으로 변환시키는 동작은,
    시설 평면도에 포함된 픽셀의 RGB 정보가 (0, 0, 0)인 픽셀은 RGB 정보를 유지하고, 시설 평면도에 포함된 픽셀의 RGB 정보가 (0, 0, 0)이 아닌 픽셀의 RGB 정보를 (255, 255, 255)로 변환시키는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  5. 제1항에 있어서,
    상기 창문 영역과 문 영역을 특정하는 동작은,
    상기 직사각형 중 상기 호와 연결된 제1 직사각형을 문 영역으로 검출하는 동작; 및
    상기 직사각형 중 상기 호와 연결되어 있지 않은 제2 직사각형을 창문 영역으로 검출하는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  6. 제5항에 있어서,
    상기 문 영역으로 검출하는 동작은
    상기 제1 직사각형과 연결되어 수직을 이루는 선분이 존재하고, 상기 호가 상기 제1 직사각형의 말단 및 상기 선분의 말단과 연결된 경우, 상기 제1 직사각형을 문 영역으로 검출하는,
    시설 평면도에 포함된 기호 분석 장치.
  7. 제5항에 있어서,
    상기 창문 영역과 문 영역을 특정하는 동작은,
    상기 직사각형 중 넓이가 기 설정된 값보다 작거나, 기 설정된 값보다 큰 경우 상기 검출에서 제거하는 동작을 더 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  8. 제1항에 있어서,
    상기 레이블링하는 동작은,
    상기 창문 및 상기 문 이외의 모든 영역의 픽셀을 null의 클래스로 레이블링하는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  9. 제1항에 있어서,
    상기 검출하는 동작은,
    상기 시설 평면도에서 OCR 검출 알고리즘을 통해 문자를 제거한 제1 평면도를 생성하는 동작;
    하기 수학식 1 및 수학식 2를 통해 상기 제1 평면도의 픽셀 정보를 변환시킨 제2 평면도를 생성하는 동작;
    [수학식 1]
    Figure PCTKR2021009480-appb-img-000017
    (src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 10, β: -350, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
    [수학식 2]
    Figure PCTKR2021009480-appb-img-000018
    (R: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 1에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
    상기 제2 평면도를 구성하는 선분으로 이루어진 직사각형 중 기 설정된 넓이보다 크거나 기 설정된 넓이보다 작은 부분만 검은색으로 나타낸 제3 평면도를 생성하는 동작;
    상기 제1 평면도를 구성하는 픽셀 중 색상 원소값이 0 이상 30 이하이고, 채도 원소값이 80 이상 220 이하이고, 명도 원소값이 150 이상 225 이하의 값을 갖는 픽셀을 흰색으로 변환한 제4 평면도를 생성하는 동작;
    상기 제1 평면도에 상기 제3 평면도의 검은색 영역과 상기 제4 평면도의 흰색 영역을 적용한 제5 평면도를 생성하는 동작;
    하기 수학식 3 내지 수학식 5를 통해 상기 제5 평면도의 픽셀 정보를 변환시킨 제6 평면도를 생성하는 동작;
    [수학식 3]
    Figure PCTKR2021009480-appb-img-000019
    (src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 3, β: -350, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
    [수학식 4]
    Figure PCTKR2021009480-appb-img-000020
    (R: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 3에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
    [수학식 5]
    Figure PCTKR2021009480-appb-img-000021
    (Y: 수학식 4에서 구해진 1차원 원소값)
    상기 제6 평면도의 흰색 영역 테두리를 연결한 윤곽을 생성하여 직사각형을 검출하는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  10. 제1항에 있어서,
    상기 검출하는 동작은,
    상기 시설 평면도에서 OCR 검출 알고리즘을 통해 문자를 제거한 제1 평면도를 생성하는 동작;
    하기 수학식 6 내지 수학식 8을 통해 상기 제2 평면도의 픽셀 정보를 변환시킨 제7 평면도를 생성하는 동작;
    [수학식 6]
    Figure PCTKR2021009480-appb-img-000022
    (src(I): 픽셀 정보의 변경 전 원소값 (x, y, z), α: 57, β: -12500, dst(I): 픽셀 정보의 변경 후 원소값 (x', y', z'))
    [수학식 7]
    Figure PCTKR2021009480-appb-img-000023
    (R: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 x', G: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 y', B: 수학식 6에서 구해진 dst(I)의 (x', y', z') 중 z', Y: 1차원 원소값)
    [수학식 8]
    Figure PCTKR2021009480-appb-img-000024
    (Y: 수학식 7에서 구해진 1차원 원소값)
    상기 제7 평면도의 흰색 영역 테두리를 연결한 윤곽을 생성하는 동작; 및
    상기 윤곽을 Douglas-Peucker 알고리즘을 기초로 근사화하여 상기 근사화된 윤곽 중 블록 껍질(Convex hull)에 해당하는 윤곽을 검출하고, 상기 블록 껍질(Convex hull)이 이루는 넓이가 소정 범위 이내인 경우를 호로 검출하는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  11. 제1항에 있어서,
    상기 신경망 모델을 생성하는 동작은,
    Mask R-CNN 알고리즘을 기초로 설계된 신경망의 입력 레이어에 상기 복수의 시설 평면도가 입력되도록 설정하고, 출력 레이어에는 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치가 입력되도록 설정하여, 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치와의 상관관계를 도출하는 신경망의 가중치를 학습시키는 동작을 포함하는,
    시설 평면도에 포함된 기호 분석 장치.
  12. 제1항 내지 제11항 중 어느 한 항의 장치가 생성한 신경망 모델을 포함하는 장치.
  13. 시설 평면도에 포함된 기호 분석 장치가 수행하는 방법에 있어서,
    복수의 시설 평면도를 획득하는 단계;
    상기 복수의 시설 평면도에 각각에 포함된 직사각형 및 상기 직사각형에 연결된 호를 검출하는 단계;
    상기 직사각형 및 상기 호를 기초로 창문 영역과 문 영역을 특정하는 단계;
    상기 특정된 창문 영역의 픽셀을 창문의 클래스로 레이블링하고, 상기 특정된 문 영역의 픽셀을 문의 클래스로 레이블링하는 단계; 및
    소정의 이미지 분할알고리즘 기반으로 설계된 신경망 모델에 상기 복수의 시설 평면도와 픽셀 단위로 레이블링된 데이터를 입력하여, 상기 복수의 시설 평면도에 포함된 창문과 문의 클래스 및 상기 레이블링된 픽셀의 위치의 상관관계를 도출하는 상기 신경망 모델의 가중치를 학습시킴으로써, 상기 상관관계를 기초로 시설 평면도에 포함된 창문과 문의 위치 및 클래스를 판별하는 신경망 모델을 생성하는 단계를 포함하는,
    시설 평면도에 포함된 기호 분석 방법.
  14. 제13항의 방법을 프로세서가 수행하도록 하는 컴퓨터 판독 가능 기록매체에 저장된 컴퓨터 프로그램.
PCT/KR2021/009480 2020-07-23 2021-07-22 시설 평면도에 포함된 기호 분석 장치 및 방법 WO2022019675A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2023504673A JP2023535084A (ja) 2020-07-23 2021-07-22 施設平面図に含まれた記号分析装置及び方法
CN202180059835.2A CN116490901A (zh) 2020-07-23 2021-07-22 设施平面图中包括的标记分析装置及方法
EP21846177.0A EP4184351A1 (en) 2020-07-23 2021-07-22 Symbol analysis device and method included in facility floor plan
US18/156,853 US20230222829A1 (en) 2020-07-23 2023-01-19 Symbol analysis device and method included in facility floor plan

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200091781A KR102208694B1 (ko) 2020-07-23 2020-07-23 시설 평면도에 포함된 기호 분석 장치 및 방법
KR10-2020-0091781 2020-07-23

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/156,853 Continuation US20230222829A1 (en) 2020-07-23 2023-01-19 Symbol analysis device and method included in facility floor plan

Publications (1)

Publication Number Publication Date
WO2022019675A1 true WO2022019675A1 (ko) 2022-01-27

Family

ID=74239299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009480 WO2022019675A1 (ko) 2020-07-23 2021-07-22 시설 평면도에 포함된 기호 분석 장치 및 방법

Country Status (6)

Country Link
US (1) US20230222829A1 (ko)
EP (1) EP4184351A1 (ko)
JP (1) JP2023535084A (ko)
KR (3) KR102208694B1 (ko)
CN (1) CN116490901A (ko)
WO (1) WO2022019675A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102208694B1 (ko) * 2020-07-23 2021-01-28 주식회사 어반베이스 시설 평면도에 포함된 기호 분석 장치 및 방법
KR20230174318A (ko) 2022-06-17 2023-12-28 단국대학교 산학협력단 인공지능 모델을 이용하여 건축도면으로부터 개산견적을 산출하는 방법
KR20230174317A (ko) 2022-06-17 2023-12-28 단국대학교 산학협력단 건축도면 구조부재 인식을 위한 인공지능 모델 생성 방법
KR20240037716A (ko) * 2022-09-15 2024-03-22 한양대학교 산학협력단 인공신경망을 이용한 창세트 정보 자동 산출 방법 및 장치
US11928395B1 (en) * 2023-04-14 2024-03-12 Hubstar International Limited Floorplan drawing conversion and analysis for space management

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160064784A (ko) * 2014-11-28 2016-06-08 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
KR20170109927A (ko) * 2016-03-22 2017-10-10 (주) 아키드로우 기계 학습 알고리즘을 이용한 도어 이미지 검출 방법 및 장치
KR20170115738A (ko) * 2016-04-08 2017-10-18 이주성 인테리어 정보 처리 장치 및 방법
KR20190080904A (ko) * 2016-11-01 2019-07-08 스냅 인코포레이티드 이미지 내의 객체 검출을 위한 신경망
KR102208694B1 (ko) * 2020-07-23 2021-01-28 주식회사 어반베이스 시설 평면도에 포함된 기호 분석 장치 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160064784A (ko) * 2014-11-28 2016-06-08 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
KR101638378B1 (ko) 2014-11-28 2016-07-11 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
KR20170109927A (ko) * 2016-03-22 2017-10-10 (주) 아키드로우 기계 학습 알고리즘을 이용한 도어 이미지 검출 방법 및 장치
KR20170115738A (ko) * 2016-04-08 2017-10-18 이주성 인테리어 정보 처리 장치 및 방법
KR20190080904A (ko) * 2016-11-01 2019-07-08 스냅 인코포레이티드 이미지 내의 객체 검출을 위한 신경망
KR102208694B1 (ko) * 2020-07-23 2021-01-28 주식회사 어반베이스 시설 평면도에 포함된 기호 분석 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
OR SIU-HANG, WONG KIN-HONG, YU YING-KIN, MING MICHAEL, CHANG -YUAN: "Highly Automatic Approach to Architectural Floorplan Image Understanding & Model Generation", VMV, 1 November 2005 (2005-11-01), pages 1 - 9, XP055889622, Retrieved from the Internet <URL:https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.138.4263&rep=rep1&type=pdf> [retrieved on 20220209] *

Also Published As

Publication number Publication date
EP4184351A1 (en) 2023-05-24
US20230222829A1 (en) 2023-07-13
JP2023535084A (ja) 2023-08-15
KR20220012788A (ko) 2022-02-04
KR20220012789A (ko) 2022-02-04
KR102208694B1 (ko) 2021-01-28
CN116490901A (zh) 2023-07-25
KR102208694B9 (ko) 2022-03-11

Similar Documents

Publication Publication Date Title
WO2022019675A1 (ko) 시설 평면도에 포함된 기호 분석 장치 및 방법
US7403656B2 (en) Method and apparatus for recognition of character string in scene image
WO2015174647A1 (ko) 사용자 인증 방법, 이를 실행하는 장치 및 이를 저장한 기록 매체
WO2020130309A1 (ko) 영상 마스킹 장치 및 영상 마스킹 방법
WO2020017875A1 (en) Electronic apparatus, method for processing image and computer-readable recording medium
WO2019108028A1 (ko) 포터블 피부 상태 측정 장치, 및 피부 상태 진단 및 관리 시스템
WO2020027519A1 (ko) 영상 처리 장치 및 그 동작방법
WO2017099427A1 (ko) 손가락 마디 및 지정맥 기반의 융합형 생체 인증 방법 및 그 장치
WO2020032559A2 (ko) 뉴럴 네트워크를 이용한 질병의 진단 시스템 및 방법
WO2022092743A1 (ko) 차량 번호판에서 문자를 추출하는 방법 및 상기 방법을 수행하는 번호판 문자 추출 장치
WO2019132566A1 (ko) 멀티 심도 이미지의 자동 생성 방법
US20050147304A1 (en) Head-top detecting method, head-top detecting system and a head-top detecting program for a human face
WO2021006482A1 (en) Apparatus and method for generating image
WO2016122068A1 (ko) 타이어 인식 방법 및 장치
WO2021071118A1 (ko) 전경 분리 장치 및 방법
WO2016104990A1 (ko) 컨텐츠 제공 장치, 디스플레이 장치 및 그 제어 방법
WO2020091337A1 (ko) 영상 분석 장치 및 방법
WO2022019390A1 (ko) 데이터 증강 기반 사물 분석 모델 학습 장치 및 방법
WO2021246822A1 (ko) 객체 이미지 개선 방법 및 장치
WO2015076433A1 (ko) 지역 미세 패턴을 이용한 얼굴 영상 분석 방법
WO2024014789A1 (ko) 차트축감지방법 및 장치
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2022019389A1 (ko) 데이터 증강 기반 공간 분석 모델 학습 장치 및 방법
WO2017034323A1 (ko) 적응적으로 저조도를 개선하는 영상 처리 장치 및 방법, 그리고 그를 이용한 객체 검출 장치
WO2021029719A1 (ko) 영상을 변환하는 컴퓨팅 장치 및 그 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21846177

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202180059835.2

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2023504673

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021846177

Country of ref document: EP

Effective date: 20230216