WO2022255584A1 - 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체 - Google Patents

크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체 Download PDF

Info

Publication number
WO2022255584A1
WO2022255584A1 PCT/KR2022/001085 KR2022001085W WO2022255584A1 WO 2022255584 A1 WO2022255584 A1 WO 2022255584A1 KR 2022001085 W KR2022001085 W KR 2022001085W WO 2022255584 A1 WO2022255584 A1 WO 2022255584A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
contour information
guide
contour
guide information
Prior art date
Application number
PCT/KR2022/001085
Other languages
English (en)
French (fr)
Inventor
전문휘
Original Assignee
셀렉트스타 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 셀렉트스타 주식회사 filed Critical 셀렉트스타 주식회사
Publication of WO2022255584A1 publication Critical patent/WO2022255584A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/945—User interactive design; Environments; Toolboxes

Definitions

  • the present invention relates to a method for providing guide information on outline information of an object included in an image in crowdsourcing, a computing device, and a computer-readable medium, and more particularly, an image corresponding to a work through crowdsourcing.
  • a provided operator performs labeling to set the area of an object included in an image, by generating guide information for the area set by the operator and displaying it on the image, to what level the operator must set the area of the object.
  • the present invention relates to a method for providing guide information on outline information of an object included in an image in crowdsourcing, a computing device, and a computer-readable medium, which provide a guide on how to do this.
  • the crowdsourcing method provides work such as images, videos, voices and texts to an unspecified number of workers, the workers perform a kind of labeling on the work, and the work results performed by the workers are provided to a plurality of inspectors. It is a method of constructing learning data based on the work that has been inspected by an inspector and passed the inspection.
  • inspection results are derived by inspecting a plurality of work results for the project, and when the inspection of the entire plurality of work results for the project is finally completed, the correct answer for each work result is calculated (inferred), and the operator and inspector are instructed according to the correct answer Offer some compensation.
  • a task of labeling a specific object by setting a region of a specific object included in an image. Specifically, in order to set the area of a specific object included in the image, the operator displays the area of the specific object in a predetermined shape such as a rectangle (bounding box), or assigns 3 or more points along the edge of the specific object, The area of a specific object can be displayed (polygon) by connecting points with a straight line.
  • a predetermined shape such as a rectangle (bounding box)
  • the area of a specific object can be displayed (polygon) by connecting points with a straight line.
  • the present invention relates to a method for providing guide information on outline information of an object included in an image in crowdsourcing, a computing device, and a computer-readable medium, and more particularly, an image corresponding to a work through crowdsourcing.
  • An object of the present invention is to provide a method for providing guide information on outline information of an object included in an image in crowdsourcing, a computing device, and a computer-readable medium that provides a guide on how to do this.
  • a method of providing guide information comprising: an image display step of displaying an image including one or more unit operations; a contour information input step of receiving contour information in which an outline of an object corresponding to a unit operation included in the image is displayed as a closed curve from a user; a guide information generation step of generating guide information corresponding to a closed curve shape of the contour information based on a predetermined guide generation value; and a guide information display step of displaying the guide information inside the contour information input for the object.
  • contour information in the step of inputting contour information, may be input by adjusting the position and size of a predetermined figure from the user.
  • contour information in the step of inputting contour information, contour information may be received by connecting three or more contour points input by a user in the input order.
  • the guide information generation step may generate guide information having the same closed curve as the shape of the closed curve indicated by the contour information and an area value of the closed curve according to [Equation 1] below. .
  • Area value of closed curve Area value of closed curve displayed as contour information * Guide generation value (however, 0 ⁇ guide generation value ⁇ 1)
  • the guide information in the step of displaying guide information, is displayed inside the closed curve indicated by the contour information, and at what position is the distance between the closed curve represented by the contour information and the guide information. Also, the guide information can be displayed always the same.
  • one or more processors and A computing device including the above memory, the computing device comprising: an image display step of displaying an image including one or more unit tasks; a contour information input step of receiving contour information in which an outline of an object corresponding to a unit operation included in the image is displayed as a closed curve from a user; a guide information generation step of generating guide information corresponding to a closed curve shape of the contour information based on a predetermined guide generation value; and a guide information display step of displaying the guide information inside the contour information input for the object.
  • a computer program stored in a computer-readable medium including a plurality of instructions executed by one or more processors, the computer program comprising one or more units an image display step of displaying an image including the work; a contour information input step of receiving contour information in which an outline of an object corresponding to a unit operation included in the image is displayed as a closed curve from a user; a guide information generation step of generating guide information corresponding to a closed curve shape of the contour information based on a predetermined guide generation value; and a guide information display step of displaying the guide information inside the contour information input for the object.
  • guide information when receiving outline information about an object included in an image from a user (worker), guide information is generated and displayed on the image, so that the user can determine how accurately the outline information is displayed according to the guide information. It can be effective in recognizing whether you need to input it properly.
  • the user since the guide information is displayed inside the contour information input on the object, the user (operator) can intuitively position the outline of the object between the contour information and the guide information input by the user (worker). It is possible to exert an effect of adjusting the information according to the guide information.
  • FIG. 1 schematically illustrates a system including a computing device that performs a method of providing guide information for contour information of an object according to an embodiment of the present invention.
  • FIG. 2 schematically illustrates overall steps of a method of providing guide information for contour information of an object performed by a computing device according to an embodiment of the present invention.
  • FIG. 3 schematically illustrates contour information of an object input by a user according to an embodiment of the present invention.
  • FIG. 4 schematically illustrates a screen on which guide information is displayed on an image on which contour information of an object is displayed according to an embodiment of the present invention.
  • FIG 5 schematically illustrates an image in which contour information and guide information for an object according to an embodiment of the present invention are displayed.
  • FIG. 6 schematically illustrates a configuration in which guide information is displayed according to a distance between an object and contour information according to an embodiment of the present invention.
  • FIG. 7 schematically illustrates the internal configuration of a computing device according to an embodiment of the present invention.
  • Example “Example”, “example”, “aspect”, “exemplary”, etc., used herein should not be construed as preferring or advantageous to any aspect or design being described over other aspects or designs.
  • the terms ' ⁇ unit', 'component', 'module', 'system', 'interface', etc. used below generally mean a computer-related entity, and for example, hardware, hardware It may mean a combination of and software, software.
  • first and second may be used to describe various components, but the components are not limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention.
  • the terms and/or include any combination of a plurality of related recited items or any of a plurality of related recited items.
  • FIG. 1 schematically illustrates a system including a computing device that performs a method of providing guide information for contour information of an object according to an embodiment of the present invention.
  • a system including a computing device 1000 performing the method of providing guide information on contour information of an object of the present invention communicates with the computing device 1000 used by a user (worker) and the computing device 1000 It includes a crowdsourcing server 2000 that performs.
  • the computing device 1000 including one or more processors and one or more memories includes an image display unit 1100, a contour information input unit 1200, and a guide to perform the method of providing guide information for contour information of an object according to the present invention. It includes an information generator 1300 and a guide information display unit 1400.
  • the image display unit 1100 displays an image corresponding to a work that the user needs to work on.
  • the image includes one or more objects, and a task performed by a user through the image may include one or more unit tasks.
  • an image includes a vehicle object and a person object, and the user can perform a unit task of labeling a vehicle and a unit task of labeling a person through the image.
  • the image display unit 1100 displays a work interface including an image to be worked by the user.
  • the task interface displays the image and information on one or more unit tasks, and the user can check the information on the unit tasks and perform the unit tasks on the task interface.
  • the unit work may mean not only the above-described bounding box and polygon type work, but also various types of work for labeling data.
  • the image display unit 1100 provides a specific image among one or more images stored in the computing device 1000 to the user, or receives an image allocated to the user from the crowdsourcing server 2000, and displays the image to the user. can provide
  • the contour information input unit 1200 receives contour information of an object included in the image displayed by the image display unit 1100 from a user.
  • a user can input contour information about an object on an image displayed on the work interface, and the contour information input by the user can be displayed on the image displayed on the work interface.
  • the contour information is formed in the form of a closed curve, and the user can input the contour information so that an object corresponding to a unit operation is included in the closed curve.
  • the guide information generating unit 1300 generates guide information corresponding to the contour information when contour information is input by the user in the contour information input unit 1200 .
  • the guide information generation unit 1300 may generate guide information having the same closed curve shape as the contour information and a different area from the inner area of the closed curve.
  • the guide information generation unit 1300 may use a preset guide generation value to determine the inner area of the closed curve of the guide information to be generated.
  • the guide information generating unit 1300 does not generate guide information in a state where the contour information input unit 1200 is inputting the contour information, but when the input of the contour information is completed, the guide information generate Through this, the user can determine whether the contour information he or she has already input is appropriately input according to the guide information.
  • the guide information display unit 1400 displays the guide information generated by the guide generator on the image where the contour information input by the user is displayed. Specifically, the guide information display unit 1400 displays generated guide information at a position corresponding to the contour information displayed on the image. More specifically, the guide information display unit 1400 may display the guide information at a location having the same center point as the center point of the closed curve of the contour information displayed on the image.
  • the guide information generation unit 1300 generates a smaller area of a closed curve of guide information than an area of a closed curve of contour information according to the guide generation value, and accordingly guide information displayed through the guide information display unit 1400. is located inside the closed curve of the contour information.
  • information used or generated by the above-described image display unit 1100, contour information input unit 1200, guide information generator 1300, and guide information display unit 1400 is stored in the memory included in the computing device 1000. It can be.
  • the image provided to the user by the image display unit 1100, contour information received from the contour information input unit 1200, and guide information generated by the guide information generator 1300 may be stored in the memory.
  • the crowdsourcing server 2000 communicates with one or more components including the computing device 1000 to perform a method for generating labeled data in a crowdsourcing method. Specifically, the crowdsourcing server 2000 provides the computing device 1000 with an image received from an external terminal requesting internally stored or labeled data, and the computing device 1000 allows the user to view the image. By receiving the result of the performed task, labeled data may be derived based on the result of the task.
  • the crowdsourcing server 2000 provides the work result to an inspector to derive labeled data, the inspector can use the inspection result derived by inspecting the work result, and the labeled data through the work result
  • a method for deriving may correspond to various methods commonly used in a crowdsourcing method.
  • the computing device 1000 includes a unique application for communicating with the crowdsourcing server 2000 or a web browser for implementing a web page capable of communicating with the crowdsourcing server 2000. communication between the computing device 1000 and the crowdsourcing server 2000 is achieved by the user inputting user information such as ID and password on the web page implemented through the unique application or the web browser. can be performed
  • FIG. 2 schematically illustrates overall steps of a method of providing guide information for contour information of an object performed by the computing device 1000 according to an embodiment of the present invention.
  • a method for providing guide information for contour information of an object included in an image provided as a work product in crowdsourcing performed in a computing device 1000 including one or more processors and one or more memories As shown in FIG. 2, a method for providing guide information for contour information of an object included in an image provided as a work product in crowdsourcing performed in a computing device 1000 including one or more processors and one or more memories.
  • a guide information display step (S13) of displaying the guide information inside the contour information input for the object As shown in FIG. 2, a method for providing guide information for contour information of an object included in an image provided as a work product in crowdsourcing performed in a computing device
  • an image that is a work object to be provided to the user is displayed on the display of the computing device 1000. More specifically, in the image display step (S10), a work interface may be displayed, and the image may be displayed on the work interface. In addition, a plurality of display information and a plurality of input elements for performing one or more unit tasks for the image may be displayed on the work interface.
  • contour information about a specific object included in the image is input from the user on the displayed image.
  • the specific object may correspond to an object corresponding to a unit work for an image.
  • the contour information indicates the area of the specific object, and the user inputs the contour information (bounding box) by adjusting the location and size of a predetermined shape to include the specific object in the corresponding figure, or Alternatively, by sequentially inputting a plurality of points along the edge of the specific object, the user can automatically input contour information (polygon) having a polygonal shape by connecting adjacent points with a straight line. In this way, the contour information input by the user has a closed curve shape.
  • the guide information generation step (S12) performed by the guide information generator 1300 generates guide information corresponding to the outline information based on the outline information input in the outline information input step (S11). Specifically, the guide information has the same closed curve as the shape of the closed curve of the aforementioned contour information, and the area of the closed curve of the guide information has a value less than the area of the closed curve of the aforementioned contour information. To this end, in the guide information generation step (S12), guide information is generated based on the contour information and a predetermined guide generation value, and a closed curve area value of the guide information may be determined according to the guide generation value.
  • the guide information generated in the guide information generation step (S12) is displayed on the image on which the contour information input by the user is displayed. Specifically, in the guide information display step (S13), the guide information is overlaid on the inside of the outline information displayed on the image of the work interface.
  • the guide information can be located inside the contour information, and preferably, the distance between the closed curve of the contour information and the closed curve of the guide information is In the guide information displaying step (S13), the central point of the closed curve of the guide information may be positioned uniformly at the same position as the central point of the closed curve of the contour information.
  • the computing device 1000 when the user sets the area of the object by inputting contour information to label the object included in the image, the computing device 1000 generates guide information corresponding to the contour information so that the contour information Overlay on the displayed image. Therefore, the user can recognize whether the object area is correctly set by comparing the overlaid guide information and contour information.
  • FIG. 3 schematically illustrates contour information of an object input by a user according to an embodiment of the present invention.
  • FIG. 3(A) schematically shows a screen on which contour information on an area of an object included in an image is displayed in the above-described bounding box method
  • FIG. 3 (B) shows an object included in an image in the polygon method described above. It schematically shows a screen on which contour information for the area of is displayed.
  • the contour information (C1) can be input by adjusting the location and size of a preset figure from the user.
  • the contour information inputting step (S11) allows the user to include the object within a predetermined figure (a rectangle in (A) of FIG. 3).
  • Contour information C1 may be received by adjusting the position and size of the figure.
  • the user may input the contour information C1 by adjusting the location and size of a predetermined figure by inputting a specific point on the image and dragging to another point.
  • contour information can be received by connecting three or more contour points input by the user in the input order.
  • the user sequentially inputs three or more points P along the edge of the object, automatically
  • the contour information C2 can be input by connecting adjacent points P with a straight line to form a polygonal closed curve.
  • the user may input contour information for the object of the image in a bounding box or polygon method.
  • contour information for the object of the image in a bounding box or polygon method.
  • the user since the user is not provided with a criterion for how much the interval between the contour information and the object should be, difficulties arise in the user inputting the contour information.
  • the user when the user inputs contour information with a considerable distance from the object, the user can quickly perform the operation, but the quality of the labeled data is degraded, and the user inputs contour information with a very narrow distance from the object.
  • the user performs a task of high difficulty that is difficult to work quickly, and the quality of labeled data can also be improved, but there is a problem in that the generation time of the labeled data increases.
  • the user can conveniently perform the work, and the quality of the labeled data is improved and the creation time is increased.
  • the effect that can be set can be exerted.
  • FIG. 4 schematically illustrates a screen on which guide information is displayed on an image on which contour information of an object is displayed according to an embodiment of the present invention.
  • Area value of closed curve Area value of closed curve displayed as contour information * Guide generation value (however, 0 ⁇ guide generation value ⁇ 1)
  • FIG. 4 schematically shows a screen on which polygonal outline information C3 is overlaid on an object (small) of an image displayed on a work interface.
  • a user may perform a unit task of labeling an object by inputting contour information C3 for an object of an image and inputting which category of object the contour information C3 belongs to on a work interface.
  • the closed curve area (A) of the contour information is calculated.
  • various generally known methods such as a method of calculating the area by aligning the points constituting the closed curve of the contour information with coordinates can be used.
  • the guide information generation step (S12) has the same closed curve shape as the closed curve shape of the contour information, and has a closed curve area value (A) of the calculated outline information and a closed curve area value (B) calculated based on the guide generation value.
  • Guide information (G1) is created.
  • the generated guide information (G1) is overlaid on the image.
  • the value obtained by multiplying the calculated closed curve area value (A) of the outside information by the guide generation value is the value of the guide information (G1) to be generated. It is calculated as the area value (B) of the closed curve.
  • the guide generation value has a value greater than 0 and less than 1 so that guide information G1 having an area value B smaller than the area value A of the outskirts information is generated.
  • the guide generation value may be preset to a specific value among values greater than 0 and less than 1, and preferably, the guide generation value is determined by the manager of the crowdsourcing server 2000 or a user requesting and placing an order for labeled data. It may be changed.
  • the configuration of generating guide information by calculating the area value of the guide information compared to the area value of the contour information through the guide generation value has been described, but in another embodiment of the present invention, instead of the area value, the horizontal length of the contour information Similarly, the guide information may be generated by calculating the length of a specific side of the guide information compared to the length of the specific side and equally reducing the remaining sides according to the ratio.
  • the guide generation value may correspond to a value corresponding to a gap between contour information and generated guide information, and accordingly, the guide information generating step (S12) is a closed curve of the contour information.
  • Guide information may be generated by calculating the area of a closed curve spaced apart by an interval corresponding to the guide generation value from .
  • the guide generation value may mean a specific point in the relationship between the quality of the labeled data and the generation time of the labeled data, as described above, and also mean the task difficulty of the user (operator) inputting the contour information. can do.
  • a user who inputs contour information can work according to the guide by positioning the edge of an object to be labeled in the space between the contour information and the guide information. Therefore, the closer the guide generation value is to 0, the larger the difference between the area value (A) of the contour information and the area value (B) of the guide information, so the interval between the contour information and the guide information becomes wider and the user's task difficulty is lowered. As the guide generation value is closer to 1, the difference between the area value (A) of the contour information and the area value (B) of the guide information is smaller, so the interval between the contour information and the guide information becomes narrower, and the user's work difficulty increases.
  • the guide information overlaid on the image through the guide information display step (S13) has a different color from the outline information or is displayed as a dotted line to facilitate discrimination from the overlaid outline information. or may have a form different from that of the outline information, such as being displayed transparently.
  • FIG 5 schematically illustrates an image in which contour information and guide information for an object according to an embodiment of the present invention are displayed.
  • the guide information is displayed inside the closed curve indicated by the contour information, and the distance between the closed curve represented by the contour information and the guide information is The guide information can be displayed always the same at any location.
  • the contour information input step (S11) displays the contour information (C4) input from the user on the image
  • the guide information display step (S13) is the generated guide information (G2). ) is displayed on the image on which the contour information C4 is displayed.
  • the guide information display step (S13) displays the guide information (G2) at a position on the image such that the distance (d) between the contour information (C4) and the guide information (G2) is the same at any position.
  • the shape of the closed curve of the guide information G2 is the same as that of the contour information C4, and the area of the closed curve is smaller than that of the closed curve of the contour information C4. Therefore, the guide information display step (S13) displays the guide information (G2) on the image to have the same center point as the center point of the closed curve of the contour information (C4) on the image, so that the guide information (G2) is the contour information (G2). It is located inside the information (C4), and the distance (d) between the contour information (C4) and the guide information (G2) can be the same at any position.
  • guide information for positioning the edge of an object between the contour information and the guide information may be displayed on the work interface.
  • FIG. 6 schematically illustrates a configuration in which guide information is displayed according to a distance between an object and contour information according to an embodiment of the present invention.
  • the drawing shown in (A) of FIG. 6 corresponds to a case where contour information is correctly input according to the guide information displayed on the image.
  • the contour information C5 for the object O1 the contour information C5 is displayed on the image, and then the guide information G3 is displayed on the image on which the contour information C5 is displayed.
  • the interval between the closed curve of the contour information (C5) input by the user for the area of object O1 and the edge of the object O1 corresponds to the closed curve of the contour information (C5) and the preset guide generation value.
  • the distance between the closed curves of the guide information G3 is smaller than the distance between the closed curves of the guide information G3
  • the edge of the object O1 is located between the outline information C5 and the guide information G3.
  • the user can recognize that the contour information C5 input by the user is normally set according to the guide.
  • the user by setting (naming) the category for the object inputting the contour information (C5), the user can set the area of the object and derive work results for the unit work of inputting what the object is.
  • the drawing shown in (B) of FIG. 6 corresponds to a case where contour information is input that does not conform to the guide information displayed on the image.
  • the contour information C6 for the object O1 the contour information C6 is displayed on the image, and then the guide information G4 is displayed on the image on which the contour information C6 is displayed.
  • the distance between the closed curve of the contour information C6 input by the user for the area of object O1 and the edge of the object O1 corresponds to the closed curve of the contour information C6 and the preset guide generation value.
  • the distance between the closed curves of the guide information G4 is greater than the distance between the closed curves determined according to the guide information G4, the edge of the object O1 is located inside the guide information G4.
  • the user recognizes that the contour information C6 input by the user is not set to conform to the guide, and Through the work interface, contour information for the object O1 may be input again. At this time, separate guide information may be generated and displayed on the image according to the contour information re-entered by the user.
  • the fact that the user inputs the contour information so that the edge of the object is located between the contour information and the guide information does not mean that the work result for the unit work performed by the user has passed.
  • the corresponding object is a unit It is necessary to check whether the object required by the task is correct and whether the corresponding object corresponds to the category input by the user. If the task result is checked, the task result performed by the user can be regarded as passing.
  • FIG. 7 schematically illustrates the internal configuration of a computing device according to an embodiment of the present invention.
  • the computing device 1000 illustrated in FIG. 1 may include components of the computing device 11000 illustrated in FIG. 7 .
  • a computing device 11000 includes at least one processor 11100, a memory 11200, a peripheral interface 11300, an input/output subsystem ( It may include at least an I/O subsystem (11400), a power circuit (11500), and a communication circuit (11600).
  • the computing device 11000 may correspond to the computing device 1000 shown in FIG. 1 .
  • the memory 11200 may include, for example, high-speed random access memory, magnetic disk, SRAM, DRAM, ROM, flash memory, or non-volatile memory. .
  • the memory 11200 may include a software module, a command set, or other various data necessary for the operation of the computing device 11000.
  • access to the memory 11200 from other components, such as the processor 11100 or the peripheral device interface 11300, may be controlled by the processor 11100.
  • Peripheral interface 11300 may couple input and/or output peripherals of computing device 11000 to processor 11100 and memory 11200 .
  • the processor 11100 may execute various functions for the computing device 11000 and process data by executing software modules or command sets stored in the memory 11200 .
  • the input/output subsystem can couple various input/output peripherals to peripheral interface 11300.
  • the input/output subsystem may include a controller for coupling a peripheral device such as a monitor, keyboard, mouse, printer, or touch screen or sensor to the peripheral device interface 11300 as needed.
  • input/output peripherals may be coupled to the peripheral interface 11300 without going through the input/output subsystem.
  • the power circuit 11500 may supply power to all or some of the terminal's components.
  • power circuit 11500 may include a power management system, one or more power sources such as a battery or alternating current (AC), a charging system, a power failure detection circuit, a power converter or inverter, a power status indicator or power It may contain any other components for creation, management and distribution.
  • the communication circuit 11600 may enable communication with another computing device using at least one external port.
  • the communication circuit 11600 may include an RF circuit and transmit/receive an RF signal, also known as an electromagnetic signal, to enable communication with other computing devices.
  • an RF signal also known as an electromagnetic signal
  • FIG. 7 is just one example of the computing device 11000, and the computing device 11000 may omit some of the components shown in FIG. 7, further include additional components not shown in FIG. It may have a configuration or arrangement combining two or more components.
  • a computing device for a communication terminal in a mobile environment may further include a touch screen or a sensor in addition to the components shown in FIG. , Bluetooth, NFC, Zigbee, etc.) may include a circuit for RF communication.
  • Components that may be included in the computing device 11000 may be implemented as hardware including one or more signal processing or application-specific integrated circuits, software, or a combination of both hardware and software.
  • Methods according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computing devices and recorded in computer readable media.
  • the program according to the present embodiment may be composed of a PC-based program or a mobile terminal-specific application.
  • An application to which the present invention is applied may be installed in the computing device 11000 through a file provided by a file distribution system.
  • the file distribution system may include a file transmission unit (not shown) that transmits the file according to a request of the computing device 11000 .
  • the device described above may be implemented as a hardware component, a software component, and/or a combination of hardware components and software components.
  • devices and components described in the embodiments may include, for example, a processor, a controller, an arithmetic logic unit (ALU), a digital signal processor, a microcomputer, a field programmable gate array (FPGA) , a programmable logic unit (PLU), microprocessor, or any other device capable of executing and responding to instructions.
  • the processing device may run an operating system (OS) and one or more software applications running on the operating system.
  • a processing device may also access, store, manipulate, process, and generate data in response to execution of software.
  • the processing device includes a plurality of processing elements and/or a plurality of types of processing elements. It can be seen that it can include.
  • a processing device may include a plurality of processors or a processor and a controller. Other processing configurations are also possible, such as parallel processors.
  • Software may include a computer program, code, instructions, or a combination of one or more of the foregoing, which configures a processing device to operate as desired or processes independently or collectively. You can command the device.
  • Software and/or data may be any tangible machine, component, physical device, virtual equipment, computer storage medium or device, intended to be interpreted by or to provide instructions or data to a processing device. , or may be permanently or temporarily embodied in a transmitted signal wave.
  • Software may be distributed on networked computing devices and stored or executed in a distributed manner.
  • Software and data may be stored on one or more computer readable media.
  • the method according to the embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium.
  • the computer readable medium may include program instructions, data files, data structures, etc. alone or in combination.
  • Program commands recorded on the medium may be specially designed and configured for the embodiment or may be known and usable to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical media such as CD-ROMs and DVDs, and magnetic media such as floptical disks.
  • - includes hardware devices specially configured to store and execute program instructions, such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • program instructions include high-level language codes that can be executed by a computer using an interpreter, as well as machine language codes such as those produced by a compiler.
  • the hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
  • guide information when receiving outline information about an object included in an image from a user (worker), guide information is generated and displayed on the image, so that the user can determine how accurately the outline information is displayed according to the guide information. It can be effective in recognizing whether you need to input it properly.
  • the user since the guide information is displayed inside the contour information input on the object, the user (operator) can intuitively position the outline of the object between the contour information and the guide information input by the user (worker). It is possible to exert an effect of adjusting the information according to the guide information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 크라우드소싱을 통해 작업물에 해당하는 이미지를 제공받은 작업자가 이미지에 포함된 객체의 영역을 설정하는 라벨링을 수행하는 경우에 작업자가 설정한 영역에 대한 가이드정보를 생성하여 상기 이미지 상에 표시함으로써, 작업자가 객체의 영역을 어느 수준까지 설정해야 하는 지에 대한 가이드를 제공하는, 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것이다.

Description

크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체
본 발명은 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 크라우드소싱을 통해 작업물에 해당하는 이미지를 제공받은 작업자가 이미지에 포함된 객체의 영역을 설정하는 라벨링을 수행하는 경우에 작업자가 설정한 영역에 대한 가이드정보를 생성하여 상기 이미지 상에 표시함으로써, 작업자가 객체의 영역을 어느 수준까지 설정해야 하는 지에 대한 가이드를 제공하는, 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것이다.
현재 인공지능과 관련된 기술 개발이 활발하게 이루어짐에 따라 인공지능을 학습시키기 위한 데이터를 구축하는 기술의 중요성 또한 부각되고 있다. 인공지능, 특히 딥러닝 기반의 인공지능의 경우 학습데이터의 양과 질이 우수할수록 뛰어난 성능을 발휘할 수 있기 때문에, 양질의 학습데이터를 구축하는 것은 인공지능의 개발에 중요한 요소에 해당한다.
학습데이터를 구축하는 방법에 있어서, 최근 크라우드소싱(crowdsourcing)을 기반으로 학습데이터를 구축하는 방법들이 사용되고 있다. 크라우드소싱 방식은 불특정 다수의 작업자에게 이미지, 영상, 음성 및 텍스트 등의 작업물을 제공하고, 작업자들은 작업물에 일종의 라벨링과 같은 작업을 수행하고, 작업자들이 수행한 작업결과들은 복수의 검수자에게 제공되어 검수자를 통해 검수되고, 검수가 통과된 작업물을 기반으로 학습데이터를 구축하는 방식이다.
종래의 크라우드소싱을 활용한 기술의 경우에 프로젝트 단위로 작업자 및 검수자에게 작업물을 제공하며, 복수의 작업자들은 프로젝트에 포함된 복수의 작업물에 대한 작업결과를 도출하고, 복수의 검수자들은 프로젝트에 대한 복수의 작업결과들을 검수하여 검수결과를 도출하며, 최종적으로 프로젝트에 대한 복수의 작업결과 전체에 대한 검수가 완료된 경우에 작업결과 각각에 대한 정답을 산출(추론)하여 작업자 및 검수자에게 정답에 따른 소정의 보상을 제공한다.
한편, 크라우드소싱 방식으로 작업자들이 수행하는 대표적인 작업으로는 이미지에 포함된 특정 객체의 영역을 설정함으로써, 특정 객체에 대한 라벨링을 수행하는 작업이 있다. 구체적으로 작업자는 이미지에 포함된 특정 객체의 영역을 설정하기 위하여, 특정 객체의 영역을 사각형 등의 소정의 도형으로 표시(바운딩 박스)하거나, 특정 객체의 테두리를 따라 3 이상의 포인트를 부여하여, 인접한 포인트들이 직선으로 연결되는 것으로 특정 객체의 영역을 표시(폴리곤)할 수 있다.
이와 같이 이미지 상의 특정 객체에 대한 영역을 설정하는 작업에 있어서, 종래의 경우에 작업자는 어느 수준까지 정밀하게 객체의 영역을 설정해야 하는지 판단하기 어려운 문제점이 존재한다. 예를 들어, 바운딩 박스로 객체의 영역을 표시하는 경우에 작업자는 객체와 작업자가 설정하는 도형 사이의 간격이 어느 정도까지 허용되는지 알 수 없고, 폴리곤 방식으로 객체의 영역을 표시하는 경우에 작업자는 객체의 테두리와 부여하고자 하는 포인트 사이의 간격이 어느 정도까지 허용되는지 알 수 없다.
상기와 같은 문제점은 단순히 작업자가 작업 가이드라인을 제공받지 못하는 것뿐만 아니라, 작업자가 객체의 영역을 정밀하지 않게 설정하는 경우에 데이터의 품질이 저하될 수 있고, 작업자가 객체의 영역을 정밀하게 설정하는 경우에 데이터의 품질은 향상될 수 있으나, 라벨링 작업시간이 길어지게 된다. 따라서 크라우드소싱을 통해 궁극적으로 도출하고자 하는 라벨링된 학습데이터를 원활하게 획득하기 어려운 근본적인 문제점을 야기한다.
따라서, 작업자가 이미지의 객체의 영역을 라벨링하는데 있어서 효율적으로 객체의 영역을 표시할 수 있도록 하는 방법의 개발이 요구된다.
본 발명은 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체에 관한 것으로서, 더욱 상세하게는 크라우드소싱을 통해 작업물에 해당하는 이미지를 제공받은 작업자가 이미지에 포함된 객체의 영역을 설정하는 라벨링을 수행하는 경우에 작업자가 설정한 영역에 대한 가이드정보를 생성하여 상기 이미지 상에 표시함으로써, 작업자가 객체의 영역을 어느 수준까지 설정해야 하는 지에 대한 가이드를 제공하는, 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체를 제공하는 것을 목적으로 한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 크라우드소싱에서 작업물로 제공되는 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법으로서, 1 이상의 단위작업을 포함하는 이미지를 표시하는 이미지표시단계; 사용자로부터 상기 이미지에 포함된 단위작업에 상응하는 객체의 윤곽이 폐곡선으로 표시되는 윤곽정보를 입력받는 윤곽정보입력단계; 기설정된 가이드생성값에 기초하여 상기 윤곽정보의 폐곡선 형태에 상응하는 가이드정보를 생성하는 가이드정보생성단계; 및 상기 가이드정보를 상기 객체에 대하여 입력된 윤곽정보의 내부에 표시하는 가이드정보표시단계;를 포함하는, 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법을 제공한다.
본 발명의 일 실시예에 따르면, 상기 윤곽정보입력단계는, 사용자로부터 기설정된 도형의 위치 및 크기를 조절하는 것으로 윤곽정보를 입력받을 수 있다.
본 발명의 일 실시예에 따르면, 상기 윤곽정보입력단계는, 사용자가 입력한 3 이상의 윤곽점들을 입력한 순서대로 연결하는 것으로 윤곽정보를 입력받을 수 있다.
본 발명의 일 실시예에 따르면, 상기 가이드정보생성단계는, 상기 윤곽정보로 표시되는 폐곡선의 형태와 동일한 폐곡선 및 하기의 [식 1]에 따른 폐곡선의 면적값을 갖는 가이드정보를 생성할 수 있다.
[식 1]
폐곡선의 면적값 = 윤곽정보로 표시되는 폐곡선의 면적값 * 가이드생성값 (단, 0 < 가이드생성값 < 1)
본 발명의 일 실시예에 따르면, 상기 가이드정보표시단계는, 상기 윤곽정보로 표시되는 폐곡선의 내부에 상기 가이드정보를 표시하되, 상기 윤곽정보로 표시되는 폐곡선 및 상기 가이드정보 사이의 간격은 어느 위치에서도 항상 동일하도록 상기 가이드정보를 표시할 수 있다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 크라우드소싱에서 작업물로 제공되는 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법을 수행하는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치로서, 상기 컴퓨팅장치는, 1 이상의 단위작업을 포함하는 이미지를 표시하는 이미지표시단계; 사용자로부터 상기 이미지에 포함된 단위작업에 상응하는 객체의 윤곽이 폐곡선으로 표시되는 윤곽정보를 입력받는 윤곽정보입력단계; 기설정된 가이드생성값에 기초하여 상기 윤곽정보의 폐곡선 형태에 상응하는 가이드정보를 생성하는 가이드정보생성단계; 및 상기 가이드정보를 상기 객체에 대하여 입력된 윤곽정보의 내부에 표시하는 가이드정보표시단계;를 수행하는, 컴퓨팅장치를 제공한다.
상기와 같은 과제를 해결하기 위하여, 본 발명의 일 실시예에서는, 1 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서, 상기 컴퓨터 프로그램은, 1 이상의 단위작업을 포함하는 이미지를 표시하는 이미지표시단계; 사용자로부터 상기 이미지에 포함된 단위작업에 상응하는 객체의 윤곽이 폐곡선으로 표시되는 윤곽정보를 입력받는 윤곽정보입력단계; 기설정된 가이드생성값에 기초하여 상기 윤곽정보의 폐곡선 형태에 상응하는 가이드정보를 생성하는 가이드정보생성단계; 및 상기 가이드정보를 상기 객체에 대하여 입력된 윤곽정보의 내부에 표시하는 가이드정보표시단계;를 포함하는, 컴퓨터 프로그램을 제공한다.
본 발명의 일 실시예에 따르면, 사용자(작업자)로부터 이미지에 포함된 객체에 대한 윤곽정보를 입력받는 경우에 가이드정보를 생성하여 상기 이미지 위에 표시하므로, 사용자가 가이드정보에 따라 윤곽정보를 얼마나 정밀하게 입력해야 하는지 인지할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 가이드정보는 객체 상에 입력된 윤곽정보의 내부에 표시되므로, 사용자(작업자)가 직관적으로 자신이 입력한 윤곽정보와 가이드정보 사이에 객체의 테두리가 위치하도록 윤곽정보를 가이드정보에 따라 조정할 수 있는 효과를 발휘할 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법을 수행하는 컴퓨팅장치를 포함하는 시스템을 개략적으로 도시한다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅장치에서 수행하는 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법의 전체적인 단계들을 개략적으로 도시한다.
도 3은 본 발명의 일 실시예에 따른 사용자에 의해 입력된 객체의 윤곽정보들을 개략적으로 도시한다.
도 4는 본 발명의 일 실시예에 따른 객체의 윤곽정보가 표시된 이미지 상에 가이드정보가 표시되는 화면을 개략적으로 도시한다.
도 5는 본 발명의 일 실시예에 따른 객체에 대한 윤곽정보 및 가이드정보가 표시된 이미지를 개략적으로 도시한다.
도 6은 본 발명의 일 실시예에 따른 객체와 윤곽정보 사이의 거리에 따라 가이드정보가 표시되는 구성을 개략적으로 도시한다.
도 7은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
이하에서는, 다양한 실시예들 및/또는 양상들이 이제 도면들을 참조하여 개시된다. 하기 설명에서는 설명을 목적으로, 하나이상의 양상들의 전반적 이해를 돕기 위해 다수의 구체적인 세부사항들이 개시된다. 그러나, 이러한 양상(들)은 이러한 구체적인 세부사항들 없이도 실행될 수 있다는 점 또한 본 발명의 기술 분야에서 통상의 지식을 가진 자에게 인식될 수 있을 것이다. 이후의 기재 및 첨부된 도면들은 하나 이상의 양상들의 특정한 예시적인 양상들을 상세하게 기술한다. 하지만, 이러한 양상들은 예시적인 것이고 다양한 양상들의 원리들에서의 다양한 방법들 중 일부가 이용될 수 있으며, 기술되는 설명들은 그러한 양상들 및 그들의 균등물들을 모두 포함하고자 하는 의도이다.
또한, 다양한 양상들 및 특징들이 다수의 디바이스들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있는 시스템에 의하여 제시될 것이다. 다양한 시스템들이, 추가적인 장치들, 컴포넌트들 및/또는 모듈들 등을 포함할 수 있다는 점 그리고/또는 도면들과 관련하여 논의된 장치들, 컴포넌트들, 모듈들 등 전부를 포함하지 않을 수도 있다는 점 또한 이해되고 인식되어야 한다.
본 명세서에서 사용되는 "실시예", "예", "양상", "예시" 등은 기술되는 임의의 양상 또는 설계가 다른 양상 또는 설계들보다 양호하다거나, 이점이 있는 것으로 해석되지 않을 수도 있다. 아래에서 사용되는 용어들 '~부', '컴포넌트', '모듈', '시스템', '인터페이스' 등은 일반적으로 컴퓨터 관련 엔티티(computer-related entity)를 의미하며, 예를 들어, 하드웨어, 하드웨어와 소프트웨어의 조합, 소프트웨어를 의미할 수 있다.
또한, "포함한다" 및/또는 "포함하는"이라는 용어는, 해당 특징 및/또는 구성요소가 존재함을 의미하지만, 하나이상의 다른 특징, 구성요소 및/또는 이들의 그룹의 존재 또는 추가를 배제하지 않는 것으로 이해되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
또한, 본 발명의 실시예들에서, 별도로 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 발명의 실시예에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법을 수행하는 컴퓨팅장치를 포함하는 시스템을 개략적으로 도시한다.
본 발명의 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법을 수행하는 컴퓨팅장치(1000)를 포함하는 시스템은, 사용자(작업자)가 사용하는 컴퓨팅장치(1000) 및 상기 컴퓨팅장치(1000)와 통신을 수행하는 크라우드소싱서버(2000)를 포함한다.
1 이상의 프로세서 및 1 이상의 메모리를 포함하는 상기 컴퓨팅장치(1000)는 본 발명의 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법을 수행하기 위하여 이미지표시부(1100), 윤곽정보입력부(1200), 가이드정보생성부(1300) 및 가이드정보표시부(1400)를 포함한다.
상기 이미지표시부(1100)는 사용자가 작업해야 하는 작업물에 해당하는 이미지를 디스플레이한다. 상기 이미지는 1 이상의 객체를 포함하며, 상기 이미지를 통해 사용자가 수행하는 작업은 1 이상의 단위작업을 포함할 수 있다. 예를 들어, 이미지에 차량 객체, 인물 객체가 포함되고, 사용자는 상기 이미지를 통해 차량을 라벨링하는 단위작업 및 인물을 라벨링하는 단위작업을 수행할 수 있다.
바람직하게 상기 이미지표시부(1100)는 사용자가 작업해야 하는 이미지를 포함하는 작업인터페이스를 디스플레이한다. 상기 작업인터페이스는 상기 이미지 및 1 이상의 단위작업에 대한 정보들을 표시하고, 상기 사용자는 상기 단위작업에 대한 정보들을 확인하여 상기 작업인터페이스 상에서 단위작업을 수행할 수 있다. 한편, 상기 단위작업은 상술한 바운딩 박스 및 폴리곤 방식의 작업뿐만 아니라, 데이터를 라벨링 하기위한 다양한 방식의 작업을 의미할 수 있다.
또한, 상기 이미지표시부(1100)는 상기 컴퓨팅장치(1000)에 저장된 1 이상의 이미지 가운데 특정 이미지를 사용자에게 제공하거나, 혹은 상기 크라우드소싱서버(2000)로부터 사용자에게 할당된 이미지를 수신하고, 이를 사용자에게 제공할 수 있다.
상기 윤곽정보입력부(1200)는 사용자로부터 상기 이미지표시부(1100)에 의해 표시된 이미지에 포함된 객체의 윤곽정보를 입력 받는다. 바람직하게는 사용자는 상기 작업인터페이스에 표시된 이미지 상에서 객체에 대한 윤곽정보를 입력할 수 있고, 사용자가 입력한 상기 윤곽정보는 상기 작업인터페이스에 표시된 이미지 상에 표시될 수 있다. 상기 윤곽정보는 폐곡선 형태로 형성되며, 사용자는 폐곡선 내에 단위작업에 상응하는 객체가 포함되도록 윤곽정보를 입력할 수 있다.
상기 가이드정보생성부(1300)는, 상기 윤곽정보입력부(1200)에서 사용자로 하여금 윤곽정보를 입력받은 경우에 상기 윤곽정보에 상응하는 가이드정보를 생성한다. 구체적으로, 상기 가이드정보생성부(1300)는 상기 윤곽정보의 폐곡선 형태와 동일하고, 폐곡선의 내부 면적과 상이한 면적을 갖는 가이드정보를 생성할 수 있다. 또한, 상기 가이드정보생성부(1300)는 생성하고자 하는 가이드정보의 폐곡선 내부 면적을 결정하기 위하여 기설정된 가이드생성값을 사용할 수 있다.
본 발명의 다른 실시예에서 상기 가이드정보생성부(1300)는 상기 윤곽정보입력부(1200)에서 윤곽정보를 입력받고 있는 상태에서는 가이드정보를 생성하지 않다가, 윤곽정보의 입력이 완료된 경우에 가이드정보를 생성한다. 이를 통해 사용자는 자신이 입력 완료한 윤곽정보가 가이드정보에 따라 적합하게 입력되었는지 판단할 수 있다.
상기 가이드정보표시부(1400)는 사용자가 입력한 윤곽정보가 표시되는 이미지 상에 상기 가이드생성부에서 생성한 가이드정보를 표시한다. 구체적으로, 상기 가이드정보표시부(1400)는 상기 이미지에 표시된 윤곽정보에 상응하는 위치에 생성된 가이드정보를 표시한다. 더 구체적으로 상기 가이드정보표시부(1400)는 이미지 상에 표시된 상기 윤곽정보의 폐곡선의 중심점과 동일한 중심점을 갖는 위치에 상기 가이드정보를 표시할 수 있다.
바람직하게는 상기 가이드정보생성부(1300)는 상기 가이드생성값에 따라 가이드정보의 폐곡선의 면적이 윤곽정보의 폐곡선의 면적보다 작게 생성되고, 따라서 상기 가이드정보표시부(1400)를 통해 표시되는 가이드정보는 상기 윤곽정보의 폐곡선 내부에 위치하게 된다.
한편, 상기 컴퓨팅장치(1000)에 포함되는 메모리에는 상술한 이미지표시부(1100), 윤곽정보입력부(1200), 가이드정보생성부(1300) 및 가이드정보표시부(1400)에서 사용하거나 생성되는 정보들이 저장될 수 있다. 예를 들어, 상기 메모리에는 이미지표시부(1100)에서 사용자에게 제공하는 이미지, 윤곽정보입력부(1200)에서 입력받는 윤곽정보, 가이드정보생성부(1300)에서 생성하는 가이드정보 등이 저장될 수 있다.
상기 크라우드소싱서버(2000)는 상기 컴퓨팅장치(1000)를 비롯한 1 이상의 구성요소들과 통신을 수행하여 크라우드소싱 방식으로 라벨링된 데이터를 생성하기 위한 방법을 수행한다. 구체적으로 상기 크라우드소싱서버(2000)는 내부에 저장되거나, 라벨링된 데이터를 요청하는 외부단말로부터 수신한 이미지를 상기 컴퓨팅장치(1000)에 제공하고, 상기 컴퓨팅장치(1000)로부터 사용자가 이미지에 대하여 수행한 작업결과를 수신하여, 상기 작업결과에 기초하여 라벨링된 데이터를 도출할 수 있다.
한편, 상기 크라우드소싱서버(2000)는 라벨링된 데이터를 도출하기 위하여 상기 작업결과를 검수자에게 제공하고, 검수자가 상기 작업결과를 검수하여 도출된 검수결과를 사용할 수 있으며, 작업결과를 통해 라벨링된 데이터를 도출하기 위한 방법은 통상적으로 크라우드소싱 방식에서 사용하는 다양한 방법에 해당할 수 있다.
상기 컴퓨팅장치(1000)는 상기 크라우드소싱서버(2000)와 통신을 수행하기 위한 고유의 어플리케이션을 포함하거나, 상기 크라우드소싱서버(2000)와 통신을 수행할 수 있는 웹페이지를 구현하기 위한 웹브라우저를 포함할 수 있으며, 사용자가 상기 고유의 어플리케이션 또는 상기 웹브라우저를 통해 구현되는 웹페이지 상에서 아이디 및 패스워드와 같은 사용자정보를 입력함으로써 상기 컴퓨팅장치(1000) 및 상기 크라우드소싱서버(2000) 사이의 통신이 수행될 수 있다.
도 2는 본 발명의 일 실시예에 따른 컴퓨팅장치(1000)에서 수행하는 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법의 전체적인 단계들을 개략적으로 도시한다.
도 2에 도시된 바와 같이, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치(1000)에서 수행되는 크라우드소싱에서 작업물로 제공되는 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법으로서, 1 이상의 단위작업을 포함하는 이미지를 표시하는 이미지표시단계(S10); 사용자로부터 상기 이미지에 포함된 단위작업에 상응하는 객체의 윤곽이 폐곡선으로 표시되는 윤곽정보를 입력받는 윤곽정보입력단계(S11); 기설정된 가이드생성값에 기초하여 상기 윤곽정보의 폐곡선 형태에 상응하는 가이드정보를 생성하는 가이드정보생성단계(S12); 및 상기 가이드정보를 상기 객체에 대하여 입력된 윤곽정보의 내부에 표시하는 가이드정보표시단계(S13);를 포함할 수 있다.
구체적으로, 상기 이미지표시부(1100)에서 수행하는 이미지표시단계(S10)는 상기 컴퓨팅장치(1000)의 디스플레이에 사용자에게 제공하고자 하는 작업물인 이미지를 표시한다. 더 구체적으로, 상기 이미지표시단계(S10)는 작업인터페이스를 디스플레이하고, 상기 작업인터페이스 상에 상기 이미지가 표시될 수 있다. 또한 상기 작업인터페이스에는 상기 이미지에 대한 1 이상의 단위작업을 수행하기 위한 복수의 표시정보 및 복수의 입력요소가 표시될 수 있다.
상기 윤곽정보입력부(1200)에서 수행하는 윤곽정보입력단계(S11)는 표시된 이미지 상에서 사용자로부터 해당 이미지에 포함된 특정 객체에 대한 윤곽정보를 입력 받는다. 구체적으로, 상기 특정 객체는 이미지에 대한 단위작업에 상응하는 객체에 해당할 수 있다. 상기 윤곽정보는 상기 특정 객체의 영역을 표시하는 것으로, 사용자는 상기 특정 객체의 테두리를 기설정된 도형의 위치 및 크기를 조절하여 해당 도형 내에 특정 객체가 포함되도록 하여 윤곽정보를 입력(바운딩 박스)하거나, 또는 사용자는 상기 특정 객체의 테두리를 따라 복수의 점(point)을 순차적으로 입력함으로써, 자동적으로 인접한 점들이 직선으로 연결됨으로써 다각형의 형태를 갖는 윤곽정보를 입력(폴리곤)할 수 있다. 이와 같이, 사용자에 의해 입력된 윤곽정보는 폐곡선 형태를 갖게 된다.
상기 가이드정보생성부(1300)에서 수행하는 가이드정보생성단계(S12)는 상기 윤곽정보입력단계(S11)에서 입력받은 윤곽정보에 기초하여 상기 윤곽정보에 상응하는 가이드정보를 생성한다. 구체적으로, 상기 가이드정보는 상술한 윤곽정보의 폐곡선의 형태와 동일한 폐곡선을 가지며, 상기 가이드정보의 폐곡선의 면적은 상술한 윤곽정보의 폐곡선의 면적 미만의 값을 갖는다. 이를 위하여, 상기 가이드정보생성단계(S12)에서는 상기 윤곽정보 및 기설정된 가이드생성값에 기초하여 가이드정보를 생성하며, 상기 가이드생성값에 따라 상기 가이드정보의 폐곡선 면적값이 결정될 수 있다.
상기 가이드정보표시부(1400)에서 수행하는 가이드정보표시단계(S13)는 상기 가이드정보생성단계(S12)에서 생성된 가이드정보를 사용자가 입력한 윤곽정보가 표시된 이미지 상에 표시한다. 구체적으로, 상기 가이드정보표시단계(S13)는 작업인터페이스의 이미지 상에 표시되는 윤곽정보의 내부에 상기 가이드정보를 오버레이한다.
상술한 바와 같이 상기 가이드정보의 면적은 상기 윤곽정보의 면적보다 작기 때문에 상기 윤곽정보 내부에 상기 가이드정보가 위치할 수 있으며, 바람직하게는 상기 윤곽정보의 폐곡선과 상기 가이드정보의 폐곡선 사이의 간격이 균일하도록, 상기 가이드정보표시단계(S13)는 상기 윤곽정보의 폐곡선의 중심점과 동일한 위치에 상기 가이드정보의 폐곡선의 중심점이 위치하도록 할 수 있다.
이와 같이, 사용자가 이미지에 포함된 객체를 라벨링하기 위하여 윤곽정보를 입력하는 것으로 객체의 영역을 설정한 경우에 상기 컴퓨팅장치(1000)에서는 상기 윤곽정보에 상응하는 가이드정보를 생성하여 상기 윤곽정보가 표시된 이미지 상에 오버레이한다. 따라서 상기 사용자는 오버레이된 가이드정보 및 윤곽정보를 비교하는 것으로 객체 영역을 올바르게 설정하였는지 인지할 수 있다.
도 3은 본 발명의 일 실시예에 따른 사용자에 의해 입력된 객체의 윤곽정보들을 개략적으로 도시한다.
도 3의 (A)는 상술한 바운딩 박스 방식으로 이미지에 포함된 객체의 영역에 대한 윤곽정보가 표시된 화면을 개략적으로 도시하고, 도 3의 (B)는 상술한 폴리곤 방식으로 이미지에 포함된 객체의 영역에 대한 윤곽정보가 표시된 화면을 개략적으로 도시한다.
도 3의 (A)에 도시된 바와 같이, 상기 윤곽정보입력단계(S11)는, 사용자로부터 기설정된 도형의 위치 및 크기를 조절하는 것으로 윤곽정보(C1)를 입력받을 수 있다.
구체적으로, 도 3의 (A)에 도시된 객체(차량)에 대하여 상기 윤곽정보입력단계(S11)는, 사용자가 소정의 도형(도 3의 (A)에서는 사각형) 내에 상기 객체가 포함될 수 있도록 상기 도형의 위치 및 크기를 조절하는 것으로 윤곽정보(C1)를 입력받을 수 있다. 예를 들어, 사용자는 이미지 상에서 특정 지점을 입력하고 다른 지점까지 드래그 입력을 수행하는 것으로 소정의 도형의 위치 및 크기를 조절하여 윤곽정보(C1)를 입력할 수 있다.
한편, 도 3의 (B)에 도시된 바와 같이, 상기 윤곽정보입력단계(S11)는, 사용자가 입력한 3 이상의 윤곽점들을 입력한 순서대로 연결하는 것으로 윤곽정보를 입력받을 수 있다.
구체적으로, 도 3의 (B)에 도시된 객체(차량)에 대하여 상기 윤곽정보입력단계(S11)는, 사용자가 상기 객체의 테두리를 따라 3 이상의 점(P)을 순차적으로 입력하는 것으로, 자동적으로 인접한 점(P) 사이가 직선으로 연결되어 다각형의 폐곡선이 형성되는 것으로 윤곽정보(C2)를 입력받을 수 있다.
이와 같이, 사용자는 이미지의 객체에 대하여 바운딩 박스 또는 폴리곤 방식으로 윤곽정보를 입력할 수 있다. 그러나 종래의 방식의 경우에 윤곽정보를 입력하는데 있어서, 윤곽정보와 객체 사이의 간격이 어느정도 되어야 하는 지에 대한 기준을 사용자에게 제공하지 않기 때문에, 사용자가 윤곽정보를 입력하는데 어려움이 발생한다.
또한, 사용자가 객체와의 간격이 상당한 윤곽정보를 입력하는 경우에 사용자의 입장에서는 신속하게 작업을 수행할 수 있으나 라벨링된 데이터의 품질이 저하되고, 사용자가 객체와의 간격이 매우 좁은 윤곽정보를 입력하는 경우에 사용자가 신속하게 작업하기 어려운 높은 난이도의 작업을 수행하게 되고, 라벨링된 데이터의 품질 또한 향상될 수 있으나, 라벨링된 데이터의 생성 시간이 증가하게 되는 문제점이 존재한다.
따라서, 본 발명에서는 허용 가능한 윤곽정보 및 객체 사이의 간격을 상기 가이드정보로 표시해줌으로써 사용자가 편리하게 작업을 수행할 수 있도록 하며, 라벨링된 데이터의 품질의 향상과 생성 시간의 증가하는 관계에서의 균형을 설정할 수 있는 효과를 발휘할 수 있다.
이하에서는 윤곽정보가 오버레이된 이미지 상에 가이드정보를 오버레이하는 과정에 대해 상세하게 설명하도록 한다.
도 4는 본 발명의 일 실시예에 따른 객체의 윤곽정보가 표시된 이미지 상에 가이드정보가 표시되는 화면을 개략적으로 도시한다.
도 4에 도시된 바와 같이, 상기 가이드정보생성단계(S12)는, 상기 윤곽정보로 표시되는 폐곡선의 형태와 동일한 폐곡선 및 하기의 [식 1]에 따른 폐곡선의 면적값을 갖는 가이드정보를 생성할 수 있다.
[식 1]
폐곡선의 면적값 = 윤곽정보로 표시되는 폐곡선의 면적값 * 가이드생성값 (단, 0 < 가이드생성값 < 1)
구체적으로, 도 4의 (A)는 작업인터페이스에 표시된 이미지의 객체(소)에 대하여 폴리곤 방식의 윤곽정보(C3)가 오버레이된 화면을 개략적으로 도시한다. 사용자는 이미지의 객체에 대하여 윤곽정보(C3)를 입력하고, 작업인터페이스 상에서 윤곽정보(C3)가 어떤 카테고리의 객체인지를 입력하는 것으로 객체를 라벨링하는 단위작업을 수행할 수 있다.
한편, 상기 가이드정보생성단계(S12)는 상기 윤곽정보입력단계(S11)에서 폐곡선 형태의 윤곽정보를 입력받은 경우에 상기 윤곽정보의 폐곡선 면적(A)을 산출한다. 폐곡선 내부의 면적(A)을 산출하는 방법은 윤곽정보의 폐곡선을 이루는 점들을 좌표화하여 면적을 산출하는 방법과 같이 일반적으로 알려져 있는 다양한 방법들을 활용할 수 있다.
상기 가이드정보생성단계(S12)는 상기 윤곽정보의 폐곡선 형태와 동일한 폐곡선 형태를 가지고, 산출한 외곽정보의 폐곡선 면적값(A) 및 가이드생성값에 기초하여 산출된 폐곡선 면적값(B)을 갖는 가이드정보(G1)를 생성한다. 그리고 상기 가이드정보표시단계(S13)는, 도 4의 (B)에 도시된 바와 같이, 상기 이미지 위에 생성된 가이드정보(G1)를 오버레이한다.
구체적으로, 상기 가이드정보생성단계(S12)는 상술한 [식 1]에서와 같이, 산출한 외곽정보의 폐곡선 면적값(A)에 가이드생성값을 곱한 값을 생성하고자 하는 가이드정보(G1)의 폐곡선의 면적값(B)로 산출한다. 한편, 상기 가이드생성값은 0 초과 1 미만의 값을 갖도록 하여 외곽정보의 면적값(A)보다 작은 면적값(B)을 갖는 가이드정보(G1)가 생성되도록 한다.
상기 가이드생성값은 0 초과 1 미만의 값 가운데 특정 값으로 기설정될 수 있고, 바람직하게는 상기 가이드생성값은 상기 크라우드소싱서버(2000)의 관리자 또는 라벨링된 데이터를 요청, 발주하는 사용자에 의해 변경될 수도 있다.
본 발명에서는 가이드생성값을 통해 윤곽정보의 면적값 대비 가이드정보의 면적값을 산출하여 가이드정보를 생성하는 구성에 대해 기재하였으나, 본 발명의 다른 실시예에서는 면적값 대신에 윤곽정보의 가로길이와 같이 특정 변의 길이 대비 가이드정보의 특정 변의 길이를 산출하고, 해당 비율에 따라 나머지 변들도 동일하게 축소하여 가이드정보를 생성할 수도 있다.
또한, 본 발명의 다른 실시예에서 상기 가이드생성값은 윤곽정보 및 생성되는 가이드정보 사이의 간격에 해당하는 값에 해당할 수 있고, 이에 따라 상기 가이드정보생성단계(S12)는 상기 윤곽정보의 폐곡선으로부터 가이드생성값에 상응하는 간격만큼 이격되는 폐곡선의 면적을 산출하여 가이드정보를 생성할 수도 있다.
이와 같이 상기 가이드생성값은 상술한 바와 같이 라벨링된 데이터의 품질과 라벨링된 데이터의 생성 시간의 관계에서의 특정 지점을 의미할 수 있고, 또한 윤곽정보를 입력하는 사용자(작업자)의 작업난이도를 의미할 수 있다.
윤곽정보를 입력하는 사용자는 윤곽정보 및 가이드정보 사이의 공간에 라벨링 하고자 하는 객체의 테두리를 위치시킴으로써 가이드에 맞게 작업을 수행할 수 있다. 따라서 상기 가이드생성값이 0에 가까울수록 윤곽정보의 면적값(A)와 가이드정보의 면적값(B)의 차이가 크기 때문에 윤곽정보 및 가이드정보의 간격이 넓게 되어 사용자의 작업난이도가 낮아지고, 상기 가이드생성값이 1에 가까울수록 윤곽정보의 면적값(A)와 가이드정보의 면적값(B)의 차이가 작기 때문에 윤곽정보 및 가이드정보의 간격이 좁게 되어 사용자의 작업난이도가 높아지게 된다.
본 발명의 다른 실시예에서 상기 가이드정보표시단계(S13)를 통해 이미지 상에 오버레이되는 가이드정보는 오버레이된 윤곽정보와 구분을 용이하게 하기 위하여, 상기 윤곽정보와 상이한 색상을 갖거나, 점선으로 표시되거나, 또는 투명하게 표시되는 것과 같이 상기 윤곽정보와 상이한 형태를 가질 수 있다.
도 5는 본 발명의 일 실시예에 따른 객체에 대한 윤곽정보 및 가이드정보가 표시된 이미지를 개략적으로 도시한다.
도 5에 도시된 바와 같이, 상기 가이드정보표시단계(S13)는, 상기 윤곽정보로 표시되는 폐곡선의 내부에 상기 가이드정보를 표시하되, 상기 윤곽정보로 표시되는 폐곡선 및 상기 가이드정보 사이의 간격은 어느 위치에서도 항상 동일하도록 상기 가이드정보를 표시할 수 있다.
구체적으로, 도 5에 도시된 바와 같이 상기 윤곽정보입력단계(S11)는 사용자로부터 입력받은 윤곽정보(C4)를 이미지 상에 표시하고, 상기 가이드정보표시단계(S13)는 생성된 가이드정보(G2)를 상기 윤곽정보(C4)가 표시된 이미지 상에 표시한다.
더 구체적으로, 상기 가이드정보표시단계(S13)는 상기 윤곽정보(C4) 및 상기 가이드정보(G2) 사이의 간격(d)이 어느 위치에서도 동일하도록 하는 이미지 상의 위치에 상기 가이드정보(G2)를 표시한다. 바람직하게는 상기 가이드정보(G2)는 상기 윤곽정보(C4)와 폐곡선의 형태는 동일하고, 폐곡선의 면적은 상기 윤곽정보(C4)의 폐곡선의 면적보다 작다. 따라서 상기 가이드정보표시단계(S13)는 이미지 상에서 상기 윤곽정보(C4)의 폐곡선의 중심점과 동일한 중심점을 갖도록 상기 가이드정보(G2)를 상기 이미지 상에 표시함으로써, 상기 가이드정보(G2)가 상기 윤곽정보(C4)의 내부에 위치하고, 상기 윤곽정보(C4) 및 상기 가이드정보(G2) 사이의 간격(d)이 어느 위치에서도 동일할 수 있도록 한다.
따라서, 사용자는 도 5에 도시된 바와 같이 윤곽정보(C4) 및 가이드정보(G2) 사이의 간격(d)에 라벨링하고자 하는 객체의 테두리가 위치하도록 윤곽정보(C4)를 입력한 경우에 가이드에 맞게 정상적으로 객체의 영역을 설정하였음을 인지할 수 있다.
본 발명의 다른 실시예에서, 상기 작업인터페이스에는 상기 윤곽정보 및 상기 가이드정보 사이에 객체의 테두리가 위치하도록 해야 하는 안내정보가 표시될 수도 있다.
도 6은 본 발명의 일 실시예에 따른 객체와 윤곽정보 사이의 거리에 따라 가이드정보가 표시되는 구성을 개략적으로 도시한다.
도 6의 (A)에 도시된 도면은 이미지 상에 표시된 가이드정보에 따라 올바르게 윤곽정보를 입력한 경우에 해당한다. 사용자가 객체 O1에 대하여 윤곽정보(C5)를 입력한 경우에 이미지 상에는 상기 윤곽정보(C5)가 표시되고, 이후에 상기 윤곽정보(C5)가 표시된 이미지 상에 가이드정보(G3)가 표시된다.
도 6의 (A)에서와 같이 사용자가 객체 O1의 영역에 대하여 입력한 윤곽정보(C5)의 폐곡선 및 객체 O1의 테두리 사이의 간격이 상기 윤곽정보(C5)의 폐곡선 및 기설정된 가이드생성값에 따라 결정되는 가이드정보(G3)의 폐곡선 사이의 간격보다 작은 경우에, 상기 객체 O1의 테두리는 상기 윤곽정보(C5) 및 상기 가이드정보(G3)의 사이에 위치하게 된다.
따라서, 객체 O1의 테두리가 상기 윤곽정보(C5) 및 상기 가이드정보(G3) 사이에 위치해 있는 경우에 사용자는 자신이 입력한 윤곽정보(C5)가 가이드에 따라 정상적으로 설정되었음을 인지할 수 있다. 한편, 사용자는 윤곽정보(C5)를 입력한 객체에 대한 카테고리를 설정(네이밍)함으로써, 객체의 영역을 설정하고 해당 객체가 무엇인지를 입력하는 단위작업에 대한 작업결과를 도출할 수 있다.
반면에, 도 6의 (B)에 도시된 도면은 이미지 상에 표시된 가이드정보에 부합하지 않게 윤곽정보를 입력한 경우에 해당한다. 마찬가지로 사용자가 객체 O1에 대하여 윤곽정보(C6)를 입력한 경우에 이미지 상에는 상기 윤곽정보(C6)가 표시되고, 이후에 상기 윤곽정보(C6)가 표시된 이미지 상에 가이드정보(G4)가 표시된다.
도 6의 (B)에서와 같이 사용자가 객체 O1의 영역에 대하여 입력한 윤곽정보(C6)의 폐곡선 및 객체 O1의 테두리 사이의 간격이 상기 윤곽정보(C6)의 폐곡선 및 기설정된 가이드생성값에 따라 결정되는 가이드정보(G4)의 폐곡선 사이의 간격보다 큰 경우에, 상기 객체 O1의 테두리는 상기 가이드정보(G4)의 내부에 위치하게 된다.
따라서, 객체 O1의 테두리가 상기 윤곽정보(C6) 및 상기 가이드정보(G4) 사이에 위치해 있지 않은 경우에 사용자는 자신이 입력한 윤곽정보(C6)가 가이드에 부합하지 않게 설정되었음을 인지하고, 상기 작업인터페이스를 통해 다시 해당 객체 O1에 대한 윤곽정보를 입력할 수 있다. 이때, 사용자가 다시 입력한 윤곽정보에 따라 별도의 가이드정보가 생성되어 이미지 상에 표시될 수 있다.
본 발명의 일 실시예에서는 객체의 테두리가 윤곽정보 및 가이드정보 사이에 위치하도록 사용자가 상기 윤곽정보를 입력한 것 자체가 해당 사용자가 수행한 단위작업에 대한 작업결과가 통과되었음을 의미하는 것은 아니다.
예를 들어, 사용자가 특정 객체에 대하여 윤곽정보를 입력하고 해당 객체의 카테고리를 입력하는 단위작업을 수행하여 작업결과를 수행한 경우에, 윤곽정보를 가이드정보에 따라 올바르게 입력하였더라도, 해당 객체가 단위작업에서 요구하는 객체가 맞는지, 해당 객체가 사용자가 입력한 카테고리가 맞는지에 대한 검수가 이루어져야 하며, 작업결과에 대한 검수가 통과된 경우에 사용자가 수행한 작업결과가 통과되는 것으로 간주될 수 있다.
도 7은 본 발명의 일 실시예에 따른 컴퓨팅장치의 내부 구성을 개략적으로 도시한다.
상술한 도 1에 도시된 컴퓨팅장치(1000)는 상기 도 7에 도시된 컴퓨팅장치(11000)의 구성요소들을 포함할 수 있다.
도 7에 도시된 바와 같이, 컴퓨팅장치(11000)는 적어도 하나의 프로세서(processor)(11100), 메모리(memory)(11200), 주변장치 인터페이스(peripheral interface)(11300), 입/출력 서브시스템(I/O subsystem)(11400), 전력 회로(11500) 및 통신 회로(11600)를 적어도 포함할 수 있다. 이때, 컴퓨팅장치(11000)는 도 1에 도시된 컴퓨팅장치(1000)에 해당될 수 있다.
메모리(11200)는 일례로 고속 랜덤 액세스 메모리(high-speed random access memory), 자기 디스크, 에스램(SRAM), 디램(DRAM), 롬(ROM), 플래시 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(11200)는 컴퓨팅장치(11000)의 동작에 필요한 소프트웨어 모듈, 명령어 집합 또는 그 밖에 다양한 데이터를 포함할 수 있다.
이때, 프로세서(11100)나 주변장치 인터페이스(11300) 등의 다른 컴포넌트에서 메모리(11200)에 액세스하는 것은 프로세서(11100)에 의해 제어될 수 있다.
주변장치 인터페이스(11300)는 컴퓨팅장치(11000)의 입력 및/또는 출력 주변장치를 프로세서(11100) 및 메모리 (11200)에 결합시킬 수 있다. 프로세서(11100)는 메모리(11200)에 저장된 소프트웨어 모듈 또는 명령어 집합을 실행하여 컴퓨팅장치(11000)을 위한 다양한 기능을 수행하고 데이터를 처리할 수 있다.
입/출력 서브시스템은 다양한 입/출력 주변장치들을 주변장치 인터페이스(11300)에 결합시킬 수 있다. 예를 들어, 입/출력 서브시스템은 모니터나 키보드, 마우스, 프린터 또는 필요에 따라 터치스크린이나 센서 등의 주변장치를 주변장치 인터페이스(11300)에 결합시키기 위한 컨트롤러를 포함할 수 있다. 다른 측면에 따르면, 입/출력 주변장치들은 입/출력 서브시스템을 거치지 않고 주변장치 인터페이스(11300)에 결합될 수도 있다.
전력 회로(11500)는 단말기의 컴포넌트의 전부 또는 일부로 전력을 공급할 수 있다. 예를 들어 전력 회로(11500)는 전력 관리 시스템, 배터리나 교류(AC) 등과 같은 하나 이상의 전원, 충전 시스템, 전력 실패 감지 회로(power failure detection circuit), 전력 변환기나 인버터, 전력 상태 표시자 또는 전력 생성, 관리, 분배를 위한 임의의 다른 컴포넌트들을 포함할 수 있다.
통신 회로(11600)는 적어도 하나의 외부 포트를 이용하여 다른 컴퓨팅장치와 통신을 가능하게 할 수 있다.
또는 상술한 바와 같이 필요에 따라 통신 회로(11600)는 RF 회로를 포함하여 전자기 신호(electromagnetic signal)라고도 알려진 RF 신호를 송수신함으로써, 다른 컴퓨팅장치와 통신을 가능하게 할 수도 있다.
이러한 도 7의 실시예는, 컴퓨팅장치(11000)의 일례일 뿐이고, 컴퓨팅장치(11000)는 도 7에 도시된 일부 컴포넌트가 생략되거나, 도 7에 도시되지 않은 추가의 컴포넌트를 더 구비하거나, 2개 이상의 컴포넌트를 결합시키는 구성 또는 배치를 가질 수 있다. 예를 들어, 모바일 환경의 통신 단말을 위한 컴퓨팅장치는 도 7에 도시된 컴포넌트들 외에도, 터치스크린이나 센서 등을 더 포함할 수도 있으며, 통신 회로(11600)에 다양한 통신방식(WiFi, 3G, LTE, Bluetooth, NFC, Zigbee 등)의 RF 통신을 위한 회로가 포함될 수도 있다. 컴퓨팅장치(11000)에 포함 가능한 컴포넌트들은 하나 이상의 신호 처리 또는 어플리케이션에 특화된 집적 회로를 포함하는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어 양자의 조합으로 구현될 수 있다.
본 발명의 실시예에 따른 방법들은 다양한 컴퓨팅장치를 통하여 수행될 수 있는 프로그램 명령(instruction) 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 특히, 본 실시예에 따른 프로그램은 PC 기반의 프로그램 또는 모바일 단말 전용의 어플리케이션으로 구성될 수 있다. 본 발명이 적용되는 어플리케이션은 파일 배포 시스템이 제공하는 파일을 통해 컴퓨팅장치(11000)에 설치될 수 있다. 일 예로, 파일 배포 시스템은 컴퓨팅장치(11000)의 요청에 따라 상기 파일을 전송하는 파일 전송부(미도시)를 포함할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로 (collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨팅장치 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명의 일 실시예에 따르면, 사용자(작업자)로부터 이미지에 포함된 객체에 대한 윤곽정보를 입력받는 경우에 가이드정보를 생성하여 상기 이미지 위에 표시하므로, 사용자가 가이드정보에 따라 윤곽정보를 얼마나 정밀하게 입력해야 하는지 인지할 수 있는 효과를 발휘할 수 있다.
본 발명의 일 실시예에 따르면, 가이드정보는 객체 상에 입력된 윤곽정보의 내부에 표시되므로, 사용자(작업자)가 직관적으로 자신이 입력한 윤곽정보와 가이드정보 사이에 객체의 테두리가 위치하도록 윤곽정보를 가이드정보에 따라 조정할 수 있는 효과를 발휘할 수 있다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (7)

1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치에서 수행되는 크라우드소싱에서 작업물로 제공되는 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법으로서,
1 이상의 단위작업을 포함하는 이미지를 표시하는 이미지표시단계;
사용자로부터 상기 이미지에 포함된 단위작업에 상응하는 객체의 윤곽이 폐곡선으로 표시되는 윤곽정보를 입력받는 윤곽정보입력단계;
기설정된 가이드생성값에 기초하여 상기 윤곽정보의 폐곡선 형태에 상응하는 가이드정보를 생성하는 가이드정보생성단계; 및
상기 가이드정보를 상기 객체에 대하여 입력된 윤곽정보의 내부에 표시하는 가이드정보표시단계;를 포함하는, 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법.
청구항 1에 있어서,
상기 윤곽정보입력단계는,
사용자로부터 기설정된 도형의 위치 및 크기를 조절하는 것으로 윤곽정보를 입력받는, 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법.
청구항 1에 있어서,
상기 윤곽정보입력단계는,
사용자가 입력한 3 이상의 윤곽점들을 입력한 순서대로 연결하는 것으로 윤곽정보를 입력받는, 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법.
청구항 1에 있어서,
상기 가이드정보생성단계는,
상기 윤곽정보로 표시되는 폐곡선의 형태와 동일한 폐곡선 및 하기의 [식 1]에 따른 폐곡선의 면적값을 갖는 가이드정보를 생성하는, 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법.
[식 1]
폐곡선의 면적값 = 윤곽정보로 표시되는 폐곡선의 면적값 * 가이드생성값 (단, 0 < 가이드생성값 < 1)
청구항 1에 있어서,
상기 가이드정보표시단계는,
상기 윤곽정보로 표시되는 폐곡선의 내부에 상기 가이드정보를 표시하되, 상기 윤곽정보로 표시되는 폐곡선 및 상기 가이드정보 사이의 간격은 어느 위치에서도 항상 동일하도록 상기 가이드정보를 표시하는, 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법.
크라우드소싱에서 작업물로 제공되는 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법을 수행하는, 1 이상의 프로세서 및 1 이상의 메모리를 포함하는 컴퓨팅장치로서,
상기 컴퓨팅장치는,
1 이상의 단위작업을 포함하는 이미지를 표시하는 이미지표시단계;
사용자로부터 상기 이미지에 포함된 단위작업에 상응하는 객체의 윤곽이 폐곡선으로 표시되는 윤곽정보를 입력받는 윤곽정보입력단계;
기설정된 가이드생성값에 기초하여 상기 윤곽정보의 폐곡선 형태에 상응하는 가이드정보를 생성하는 가이드정보생성단계; 및
상기 가이드정보를 상기 객체에 대하여 입력된 윤곽정보의 내부에 표시하는 가이드정보표시단계;를 수행하는, 컴퓨팅장치.
1 이상의 프로세서에 의해 실행되는 복수의 명령들을 포함하는, 컴퓨터-판독가능 매체에 저장된 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은,
1 이상의 단위작업을 포함하는 이미지를 표시하는 이미지표시단계;
사용자로부터 상기 이미지에 포함된 단위작업에 상응하는 객체의 윤곽이 폐곡선으로 표시되는 윤곽정보를 입력받는 윤곽정보입력단계;
기설정된 가이드생성값에 기초하여 상기 윤곽정보의 폐곡선 형태에 상응하는 가이드정보를 생성하는 가이드정보생성단계; 및
상기 가이드정보를 상기 객체에 대하여 입력된 윤곽정보의 내부에 표시하는 가이드정보표시단계;를 포함하는, 컴퓨터 프로그램.
PCT/KR2022/001085 2021-06-04 2022-01-21 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체 WO2022255584A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0072767 2021-06-04
KR1020210072767A KR102333642B1 (ko) 2021-06-04 2021-06-04 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체

Publications (1)

Publication Number Publication Date
WO2022255584A1 true WO2022255584A1 (ko) 2022-12-08

Family

ID=78900157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/001085 WO2022255584A1 (ko) 2021-06-04 2022-01-21 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체

Country Status (2)

Country Link
KR (1) KR102333642B1 (ko)
WO (1) WO2022255584A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102333642B1 (ko) * 2021-06-04 2021-12-01 셀렉트스타 주식회사 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체
KR102534742B1 (ko) * 2022-12-26 2023-05-26 주식회사 데이터메이커 기본툴을 이용한 인공지능 학습용 라벨 데이터 생성 방법 및 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140037753A (ko) * 2012-09-19 2014-03-27 삼성전자주식회사 투명 디스플레이 기기상에 정보를 디스플레이 하는 시스템 및 방법
US20180259970A1 (en) * 2017-03-10 2018-09-13 TuSimple System and method for occluding contour detection
KR20200027428A (ko) * 2018-09-04 2020-03-12 주식회사 스트라드비젼 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102155747B1 (ko) * 2019-12-16 2020-09-16 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려된 오브젝트 수에 기반하여 최소 재작업 및 재검수 시간을 설정하는 방법
KR102237131B1 (ko) * 2020-05-13 2021-04-09 주식회사 파이리코 객체를 포함하는 이미지를 처리하는 장치 및 방법
KR102333642B1 (ko) * 2021-06-04 2021-12-01 셀렉트스타 주식회사 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101557113B1 (ko) * 2012-12-12 2015-10-02 주식회사 케이티 바이오 데이터 분석을 위한 자원 관리 방법 및 이를 위한 장치
KR102283283B1 (ko) * 2019-07-26 2021-07-28 주식회사 수아랩 데이터 레이블링 우선순위 결정방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140037753A (ko) * 2012-09-19 2014-03-27 삼성전자주식회사 투명 디스플레이 기기상에 정보를 디스플레이 하는 시스템 및 방법
US20180259970A1 (en) * 2017-03-10 2018-09-13 TuSimple System and method for occluding contour detection
KR20200027428A (ko) * 2018-09-04 2020-03-12 주식회사 스트라드비젼 에지 이미지를 이용하여 객체를 검출하는 학습 방법 및 학습 장치 그리고 이를 이용한 테스트 방법 및 테스트 장치
KR102155747B1 (ko) * 2019-12-16 2020-09-16 주식회사 크라우드웍스 인공지능 학습데이터 생성을 위한 크라우드소싱 기반 프로젝트의 반려된 오브젝트 수에 기반하여 최소 재작업 및 재검수 시간을 설정하는 방법
KR102237131B1 (ko) * 2020-05-13 2021-04-09 주식회사 파이리코 객체를 포함하는 이미지를 처리하는 장치 및 방법
KR102333642B1 (ko) * 2021-06-04 2021-12-01 셀렉트스타 주식회사 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체

Also Published As

Publication number Publication date
KR102333642B1 (ko) 2021-12-01

Similar Documents

Publication Publication Date Title
WO2022255584A1 (ko) 크라우드소싱에서 이미지에 포함된 객체의 윤곽정보에 대한 가이드정보를 제공하는 방법, 컴퓨팅장치 및 컴퓨터-판독가능 매체
WO2016052875A1 (en) Display apparatus and control method thereof
WO2020125251A1 (zh) 基于联邦学习的模型参数训练方法、装置、设备及介质
WO2016049906A1 (zh) 一种飞行指示方法、装置及飞行器
WO2015041436A1 (en) Method of managing control right, client device therefor, and master device therefor
WO2017119538A1 (ko) 그래픽 사용자 인터페이스의 프로토타입 제작 방법 및 그 장치
WO2020096098A1 (ko) 어노테이션 작업 관리 방법, 이를 지원하는 장치 및 시스템
WO2021091022A1 (ko) 머신 러닝 시스템 및 머신 러닝 시스템의 동작 방법
WO2022025481A1 (ko) 산업설비 운영을 위한 확장현실 서비스 제공 방법 및 시스템
WO2020119369A1 (zh) 智能it运维故障定位方法、装置、设备及可读存储介质
WO2015072803A1 (ko) 단말기 및 단말기의 제어 방법
WO2021070983A1 (ko) Vr 훈련 시스템 및 방법
WO2021010765A1 (ko) 스케치 이미지의 채색 장치 및 방법
WO2019135553A1 (en) Electronic device, control method thereof, and computer readable recording medium
WO2014042476A1 (ko) 지문을 이용한 파일 관리 방법, 사용자 단말기 및 기록 매체
WO2022050551A1 (ko) 법률 서비스 제공 시스템 및 그 방법
WO2023239110A1 (ko) 사용자에게 맞춤형 스타일을 추천하는 가상 체험 장치
WO2020032560A2 (ko) 진단 결과 생성 시스템 및 방법
WO2020215701A1 (zh) 眼部图像处理方法、装置、设备及计算机可读存储介质
WO2023008633A1 (ko) 물품에 대한 정보를 사용자에게 제공하는 방법 및 그 장치
WO2020224089A1 (zh) 图案码位置调整方法、装置及计算机可读存储介质
WO2018088804A1 (en) Electronic apparatus and control method thereof
WO2018182053A1 (ko) 오브젝트의 형상에 대한 정보를 획득하는 방법 및 장치
EP3523752A1 (en) Electronic apparatus and control method thereof
WO2022145547A1 (ko) 전력데이터와 운영데이터의 수집분석 시스템

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 17910806

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22816248

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE