WO2017131325A1 - 지식 베이스의 검증 및 교정 시스템 및 방법 - Google Patents

지식 베이스의 검증 및 교정 시스템 및 방법 Download PDF

Info

Publication number
WO2017131325A1
WO2017131325A1 PCT/KR2016/012923 KR2016012923W WO2017131325A1 WO 2017131325 A1 WO2017131325 A1 WO 2017131325A1 KR 2016012923 W KR2016012923 W KR 2016012923W WO 2017131325 A1 WO2017131325 A1 WO 2017131325A1
Authority
WO
WIPO (PCT)
Prior art keywords
question
knowledge
knowledge data
candidate
user
Prior art date
Application number
PCT/KR2016/012923
Other languages
English (en)
French (fr)
Inventor
이경일
함영경
Original Assignee
주식회사 솔트룩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 솔트룩스 filed Critical 주식회사 솔트룩스
Priority to US15/738,112 priority Critical patent/US20180300649A1/en
Publication of WO2017131325A1 publication Critical patent/WO2017131325A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/34—Browsing; Visualisation therefor
    • G06F16/345—Summarisation for human users
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/02—Knowledge representation; Symbolic representation
    • G06N5/022—Knowledge engineering; Knowledge acquisition

Definitions

  • the technical idea of the present invention relates to a knowledge base verification and calibration system and method, and more particularly, to a system and method for detecting and correcting incomplete knowledge data.
  • the present invention is derived from a study conducted and conducted by Saltlux Co., Ltd. as a part of the SW Computing Industry Source Technology Development Project (SW) of the Ministry of Science, ICT and Future Planning. [Research period: 2016.03.01 ⁇ 2017.02.28, Research and management institution: Information and communication technology research promotion center, Project title: WiseKB: Development of self-learning knowledge base and reasoning technology based on big data understanding, Assignment number: R0101- 16-0054]
  • Knowledge bases that store knowledge data and provide stored knowledge data can be constructed in a variety of ways.
  • a knowledge base for a domain may be built by a group of experts in a particular domain, or a knowledge base may be built by extracting knowledge from data.
  • the size of the knowledge base that can be constructed may be limited. Accordingly, a method of collecting data and building a knowledge base from the collected data is being considered.
  • the present invention provides a system and method for verifying and correcting a knowledge base by correcting incomplete knowledge data through crowd sourcing.
  • the question generation unit for generating a question for correcting the incomplete knowledge data by detecting and answering the incomplete knowledge data from the knowledge base It may include a user information storage for storing the level information of the plurality of users, and a question selector for determining the number of questions and questions to be assigned to each of the users based on the level information of the plurality of users.
  • the question generator includes knowledge data including a first instance having an attribute written in a plurality of values, and a second instance in which the written value does not match the format of the attribute. It may include an error detector for detecting the knowledge data including the second instance having the knowledge data or the attribute missing a value.
  • the question generating unit may include a first instance, an attribute to which a plurality of values are mapped, and a multiple choice question including a plurality of values, a second instance, and an attribute whose value does not match a format.
  • the method may further include a question output unit configured to generate a short answer question including a short answer question or a third instance and a short answer question.
  • the candidate knowledge generation unit may further include a candidate knowledge data generating candidate knowledge data including a question selected by the question selecting unit and at least one answer to the question.
  • a candidate for verifying candidate knowledge data based on at least one candidate knowledge data corresponding to the same question, and correcting the knowledge data stored in the knowledge base based on the successful candidate knowledge data may further include.
  • the candidate knowledge verification unit may provide a question corresponding to the question selection unit corresponding to the candidate knowledge data whose verification failed, and the question selection unit pre-assigns the question provided by the candidate knowledge verification unit. May be assigned to a plurality of different users.
  • based on the verification result of the candidate knowledge data and the candidate knowledge data of the candidate knowledge verification unit may further include a user level analysis unit for updating the level information of the user stored in the user information storage unit. have.
  • the method may further include a user interface for transmitting a question and receiving an answer.
  • a reward interface for providing the reward system with level information of a plurality of users stored in the user information storage unit may be further included.
  • Knowledge base verification and correction system and method can improve the reliability and utilization of the knowledge base by providing a means for correcting the incomplete knowledge data of the vast knowledge base.
  • the knowledge base verification and calibration system and method according to the technical idea of the present invention can increase the reliability of calibration for incomplete knowledge data through crowd sourcing.
  • the knowledge base verification and calibration system and method according to the technical idea of the present invention, by providing a means for benefiting users participating in the calibration of incomplete knowledge data, the knowledge base to provide a consistently high quality service make it possible.
  • FIG. 1 is a block diagram of a knowledge base calibration system in accordance with an exemplary embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating an example of a question generator of FIG. 1 in accordance with an exemplary embodiment of the present invention.
  • 3 is a diagram illustrating an example of incomplete knowledge data.
  • FIG. 4 is a diagram for describing an operation of a candidate knowledge verification unit of FIG. 1 according to an exemplary embodiment of the present disclosure.
  • FIG. 5 is a block diagram of a knowledge base calibration system in accordance with an exemplary embodiment of the present invention.
  • Fig. 6 is a flow chart illustrating a calibration method of a knowledge base in accordance with an exemplary embodiment of the present invention.
  • FIG. 7 is a flowchart illustrating a knowledge base calibration method according to an exemplary embodiment of the present invention.
  • components represented or described as one block may be hardware blocks or software blocks.
  • each of the components may be independent hardware blocks that communicate with each other, or may be software blocks that are executed on one processor.
  • FIG. 1 is a block diagram of a knowledge base calibration system 100 in accordance with an exemplary embodiment of the present invention.
  • the data on which the knowledge base is built may include structured data such as databases (eg Wikipedia), CSV files, and the like, and include unstructured data such as news, blogs, SNS, document files, and the like. You may.
  • structured data such as databases (eg Wikipedia), CSV files, and the like
  • unstructured data such as news, blogs, SNS, document files, and the like. You may.
  • the knowledge base can be relatively easily constructed by mapping rules written by experts who understand the knowledge base schema.
  • a knowledge base is constructed from unstructured data, it is necessary to extract and structure knowledge from unstructured data using natural language processing techniques including morphological analysis, syntax analysis, and the like. Due to the reliability of the unstructured data, the knowledge base may contain errors.
  • correction of incomplete knowledge data included in the knowledge base is an essential task for improving the reliability and utilization of the knowledge base.
  • the present invention can detect incomplete knowledge data included in the knowledge base and easily correct it through crowdsourcing. Systems and methods.
  • the knowledge base calibration system 100 may communicate with the knowledge base 200 and the web service system 300, and the user terminals 500 may communicate with the web service system 300.
  • the knowledge base calibration system 100, the knowledge base 200, the web service system 300 and the user terminals 500 communicate with each other by being connected to a network such as a local area network (LAN) and a wide area network (WAN). It may be possible to communicate with each other by one-to-one communication through a dedicated channel.
  • the knowledge base calibration system 100 includes a knowledge base interface 102, a user interface 103, a question generator 110, a question selector 120, and a user information storage 130.
  • the candidate knowledge generation unit 140, the candidate knowledge storage unit 150, the candidate knowledge verification unit 160, and the user level analyzer 170 may be included.
  • Knowledge base interface 102 may provide an interface for accessing knowledge base 200 to other components included in knowledge base calibration system 100. For example, as will be described later, the question generation unit 110 and the candidate knowledge verification unit 160 access the knowledge base 200 through the knowledge base interface 102, thereby storing the knowledge data stored in the knowledge base 200. May be received, or the corrected knowledge data may be transmitted to the knowledge base 200.
  • the user interface 103 can provide an interface for accessing the web service system 300 to other components included in the knowledge base calibration system 100.
  • the question selecting unit 120 and the candidate knowledge generating unit 140 may transmit a question by accessing the web service system 300 through the user interface 103, and may transmit a question. You can also receive a response.
  • the question generator 110 may detect incomplete knowledge data, knowledge data including an error, or insufficient knowledge data from the knowledge base 200, and generate a question for correcting the incomplete knowledge data as an answer. For example, the question generator 110 may detect the knowledge of the conflicting content or the missing knowledge, and generate a question that answers the content for correcting the question. Some of the questions created may be provided to a plurality of users. Details of the question generator 110 will be described later with reference to FIGS. 2 and 3.
  • the user information storage unit 120 may store levels of a plurality of users.
  • the user's level (or user level) may correspond to the user's evaluation score according to the user's attitude to the question (eg, the number of answers, the frequency, etc.) and the reliability of the answer.
  • the user level may be used as a basis for determining which user to assign each of the questions generated by the question generator 110 to.
  • the user information storage unit 120 may store identification information of the user, and the identification information of the user may be connected to an external system such as the web service system 300 (eg, the reward system 400 of FIG. 5) and the user. Can be used to synchronize.
  • the question selector 130 may determine the questions to be assigned to each of the users and the number of questions based on the level information of the users, that is, the user level information. For example, the question selector 130 may assign a relatively large number of questions to a user having a high user level, and may assign a high difficulty question (eg, a short answer question). Accordingly, problems that may occur by providing a question to the user without considering the level of the user, such as a decrease in the reliability of the answer and a delay in the answer may be solved.
  • the question selector 130 may output at least one question selected through the user interface 103 to the outside of the knowledge base calibration system, and output the user information assigned with the question.
  • the candidate knowledge generator 140 may generate candidate knowledge data including at least one question selected by the question selector 130 and an answer to the question.
  • the candidate knowledge generator 140 may receive a selected question from the question selector 130 and may receive an answer to the selected question through the user interface 103.
  • the candidate knowledge generator 140 may receive both a question and an answer through the user interface 103.
  • the candidate knowledge data is likely to be knowledge data stored in the knowledge base 200, and as described below, the candidate knowledge data may be used to correct the knowledge data of the knowledge base 200 when the verification is successful by the candidate knowledge verification unit 160. Can be.
  • the candidate knowledge storage unit 150 may store candidate knowledge data generated by the candidate knowledge generation unit 140. As described above, the candidate knowledge generation unit 140 may generate candidate knowledge data including a question and an answer corresponding thereto, and the candidate knowledge storage unit 150 may generate candidate knowledge for a plurality of questions and answers. The candidate knowledge data generated by the generation unit 140 may be stored. As illustrated in FIG. 1, the candidate knowledge storage unit 150 may receive candidate knowledge data from the candidate knowledge generation unit 140, and the candidate knowledge verification unit 160 and the user level analysis unit 170 may be candidates. Knowledge data can be provided.
  • the candidate knowledge verification unit 160 may verify the candidate knowledge data based on at least one candidate knowledge data corresponding to the same question.
  • the candidate knowledge verification unit 160 may correct the knowledge data stored in the knowledge base through the knowledge base interface 102 based on the candidate knowledge data that has been successfully verified.
  • the candidate knowledge verification unit 160 may verify candidate knowledge data by evaluating answers provided from a plurality of users with respect to the same question. The details of the candidate knowledge verification unit 160 will be described later with reference to FIG. 4.
  • the user level analyzer 170 may update the level information of the user stored in the user information storage unit 120 based on the candidate knowledge data and the verification result of the candidate knowledge data of the candidate knowledge verifier 160. For example, the user level analyzer 170 may increase or decrease the level of the user who provided a successful answer based on the verification result of the candidate knowledge data of the candidate knowledge verifier 160.
  • the level information of the user stored in 120 may be updated.
  • the user level analyzer 170 may update the user's level information at regular intervals (eg, 1 week, 1 month, etc.). That is, based on the number of answers provided by the user within a predetermined period, when the number of answers is less than a predetermined reference value, the user level may be adjusted downward, and in other cases, the user level may be maintained or adjusted.
  • the user information store 120 and the candidate knowledge store 150 are shown to be accessed by components of the knowledge base calibration system 100.
  • the user information storage 120 and candidate knowledge storage 150 may each include adapters to handle external access, and components of the knowledge base calibration system 100 may be connected to the user through the adapters.
  • the data storage unit 120 and the candidate knowledge storage unit 150 may store data or read stored data.
  • the components accessing the user information storage 120 and the candidate knowledge storage 150 may each include adapters for accessing the user information storage 120 and the candidate knowledge storage 150, respectively. It may be.
  • FIG. 1 illustrates an example in which the knowledge base calibration system 100 accesses the knowledge base 200
  • the knowledge base calibration system 100 includes a knowledge base 200 in accordance with an exemplary embodiment of the present invention.
  • the knowledge base calibration system 100 may perform a function of the knowledge base, that is, a service for providing knowledge data.
  • 1 illustrates an example in which the knowledge base calibration system 100 communicates with the user terminals 500 through the web service system 300, the knowledge base calibration system according to an exemplary embodiment of the present invention. 100 may also communicate directly with the user terminals 500 via the user interface 103.
  • the knowledge base calibration system 100 may communicate with a plurality of knowledge bases and a plurality of web service systems.
  • FIG. 2 is a block diagram illustrating an example 110 ′ of the question generator 110 of FIG. 1 in accordance with an exemplary embodiment of the present invention
  • FIG. 3 is a diagram illustrating an example of incomplete knowledge data.
  • the question generator 110 ′ may detect incomplete knowledge data from the knowledge base 200 of FIG. 1, and generate a question for correcting incomplete knowledge data as an answer. have.
  • the question generator 110 ′ may receive the knowledge data 10.
  • the question generator 110 ′ may scan the knowledge data stored in the knowledge base 200 and receive the knowledge data 10 in order to detect incomplete knowledge data from the knowledge base 200.
  • the knowledge data stored in the knowledge base 200 of FIG. 1 may be ontology data, for example, data having a format such as RDF (Resource Description Framework), and may include an instance generated by an RDF schema.
  • RDF Resource Description Framework
  • FIG. 3 as an instance of which the classification is a person, the “ban Ki-moon” may have a plurality of attributes. For example, as shown in FIG.
  • a person to which 'Ban Ki-moon' belongs may have attributes such as 'birth', 'nationality', 'spouse', 'gender', 'belonging', etc. 'May have unique values (eg, 1994, South Korea, etc.) for each attribute.
  • the question generator 110 ′ may include an attribute manager 112, an error detector 114, and a question output unit 116.
  • the attribute manager 112 may store information about attributes according to a classification (eg, a person, an organization, a geography, an event, etc.) constituting knowledge data, and may provide information about the attribute to the error detector 114. have.
  • the attribute manager 112 may store 'birth', 'nationality', 'spouse', 'gender', 'belonging' as attributes for a person, and provide the error detection unit 114 with an attribute. Can be.
  • the information about the attributes provided by the attribute manager 112 may include information about the format of the values of the attributes, for example, numbers, URLs, and texts.
  • the error detector 114 may detect incomplete knowledge data, for example, knowledge data including an error or insufficient knowledge data. That is, based on the attribute information provided by the attribute manager 112, it may be determined whether the knowledge data 10 is incomplete knowledge data. For example, the error detector 114 may detect knowledge data including an instance having an attribute in which a plurality of values are written. As shown in FIG. 3, an instance of a half-statement, which is an instance of knowledge stored in the knowledge base 200 of FIG. 1, may be written with two or more values (UN, MOFAT) as a value of an attribute 'proprietary'. The error detection unit 114 may detect knowledge data including 'Ban Ki-Moon-Affiliation-UN, Ministry of Foreign Affairs and Trade'.
  • the error detector 114 may have an attribute (eg, 'birth') included in the knowledge data having a value (eg, an English letter) that is different from the format (eg, four digits) of the attribute's value. It may also decide to include errors.
  • the error detector 114 may detect insufficient knowledge data, that is, knowledge data including an instance having an attribute missing a value. As shown in FIG. 3, an instance of a 'half door' as knowledge stored in the knowledge base 200 of FIG. 1 may be missing a value of an attribute 'spouse', and the error detector 114 may have a 'half door-spouse-empty'. Insufficient knowledge data including 'may be detected.
  • the question output unit 116 may generate the question 20 based on the knowledge data detected by the error detector 114. For example, the question output unit 116 may generate a multiple choice question including an instance, an attribute in which a plurality of values are written, and a plurality of values in the case of knowledge data including an instance having an attribute in which a plurality of values are written. Can be. In addition, in the case of knowledge data including an instance having an attribute missing a value, the question output unit 116 may generate a short answer question including an instance and an attribute missing a value. Referring to FIG. 3, the question output unit 116 may refer to knowledge data including 'Ban Ki-Moon-Affiliation-UN, Ministry of Foreign Affairs and Trade' as shown in FIG. 4.
  • the question output unit 116 may generate a question including “What is the spouse of the half sentence?” With respect to the knowledge data including “half sentence-spouse-empty”. As described above with reference to FIG. 1, a question generated by the question output unit 116 may be assigned to a user by the question selector 120 of FIG. 1.
  • FIG. 4 is a diagram illustrating an operation of the candidate knowledge verification unit 160 of FIG. 1 according to an exemplary embodiment of the present invention.
  • FIG. 4 illustrates an example of candidate knowledge data received by the candidate knowledge verification unit 160 from the candidate knowledge storage unit 150.
  • the candidate knowledge verification unit 160 may verify candidate knowledge data including questions and answers, and store the knowledge stored in the knowledge base 200 based on the candidate knowledge data that has been successfully verified. Data can be corrected.
  • Candidate knowledge generator 140 may generate candidate knowledge data as shown in FIG. 4.
  • the candidate knowledge data may include user and user level information.
  • the candidate knowledge verification unit 160 may verify the candidate knowledge data based on the number of users who provided the same answer to the same question. That is, when the number of users who provided the same answer is greater than or equal to a predetermined ratio, the candidate knowledge verification unit 160 may determine that the verification of the candidate knowledge data including the answer is successful. For example, in the example shown in FIG. 4, the candidate knowledge verification unit 160 determines the ratio of the number of users who answered '1' (A, B, B, C) and the total number of users who answered (4). / 5) exceeds the predetermined ratio (2/3), it is possible to correct the knowledge data including 'ban-moon-property-un, MOFAT' to include 'ban-moon-property-un'.
  • the candidate knowledge verification unit 160 may verify the candidate knowledge data based on not only the number of users who provided the same answer but also the level information of the users. That is, the reliability of the candidate knowledge data verification can be improved by adding weights to the user's answers having a high level.
  • the candidate knowledge verification unit 160 includes the sum of the levels of users who answered '1' (A, B, B, C) and the user (no) who answered '2'. The level sum can be calculated, and if the ratio of the highest level sum exceeds a predetermined rate, it can be determined that the verification is successful for the candidate knowledge data containing the answer corresponding to that level sum.
  • the candidate knowledge verification unit 160 determines that the verification of the candidate knowledge data fails when the verification of the candidate knowledge data fails, for example, when the number of users who provided the same answer is less than a predetermined ratio, or when the highest level agreement ratio is less than the predetermined ratio. You can decide to fail.
  • Information about the candidate knowledge data whose verification has failed by the candidate knowledge verification unit 160 may be provided to the question selecting unit 130.
  • the question selector 130 may determine to assign a question corresponding to the candidate knowledge data whose verification fails to be assigned to a plurality of users different from the pre-assigned users. Accordingly, candidate knowledge data that fails verification may be verified later by the candidate knowledge verification unit 160 based on answers provided from users different from the pre-assigned users.
  • FIG. 5 is a block diagram of a knowledge base calibration system 100a in accordance with an exemplary embodiment of the present invention.
  • the knowledge base calibration system 100a of FIG. 5 may further include a reward interface 104a for communicating with the reward system 400.
  • a reward interface 104a for communicating with the reward system 400.
  • the reward interface 104a may provide an interface for the reward system 400 external to the knowledge base verification system 100a to access the user information storage 120a.
  • the user level information stored in the user information storage unit 120a may be utilized by the reward system 400, and the reward interface 104a includes a plurality of reward systems 400. It is possible to provide an interface for providing user level information for reward systems.
  • the reward system 400 may provide a reward to a user based on user level information of the knowledge base verification system 100a (or the user information storage 120). For example, the reward system 400 may provide a reward corresponding to the user's level to the user who provided the answer, and may periodically provide the user with a reward corresponding to the user level by checking the user level periodically. Can be. Rewards provided by the reward system 400 may be beneficially used by a user, and include, as a non-limiting example, coupons, money, points that can be used for merchants, and the like.
  • a user who provides an answer to a question provided from the knowledge base verification system 100a may earn a reward, thereby inspiring the user's motivation to answer.
  • the user level information stored in the user information storage unit 120a may be updated by the user level analyzer 170a, and the user level information may be based on the user's response attitude and the reliability of the response. As calculated on the basis of this, verification of the knowledge base 200 which provides high efficiency and reliability can be realized.
  • FIG. 6 is a flow chart illustrating a calibration method of a knowledge base in accordance with an exemplary embodiment of the present invention. Specifically, FIG. 6 is a flowchart illustrating a method of generating a question provided to a user for calibrating the knowledge base 200 of FIG. 1. Hereinafter, FIG. 6 will be described with reference to FIGS. 1 and 2. As shown in FIG. 6, the calibration method of the knowledge base 200 may include a plurality of steps S12, S14, S16, and S18.
  • an operation of detecting incomplete knowledge data from the knowledge base 200 may be performed.
  • the error detector 114 included in the question generator 110 ′ of FIG. 2 may include incomplete knowledge data, for example, an error, based on the attribute information provided by the attribute manager 112. It is possible to determine whether the knowledge data or the insufficient knowledge data, and incomplete knowledge data can be detected.
  • step S14 an operation of generating a question for correction of incomplete knowledge data may be performed.
  • the question output unit 116 included in the question generator 110 ′ of FIG. 2 may generate a question from incomplete knowledge data detected by the error detector 114.
  • the generated question may be a multiple choice question that includes a plurality of selectable answers or may be a short answer question.
  • an operation of selecting a number of questions and a question may be performed based on the level of users.
  • the question selector 120 of FIG. 1 assigns a user to a plurality of questions generated by the question generator 110 based on user level information stored in the user information storage 130. The number of questions to be asked and the questions to be assigned to the user can be determined.
  • the question selector 120 may determine a plurality of users who will assign a question generated by the question generator 110 based on user level information stored in the user information storage 130.
  • step S18 an operation of transmitting the selected question may be performed.
  • the question selected by the question selector 120 of FIG. 1 may be transmitted to the web service system 300 through the user interface 103 along with user information, and the web service system 300 may be a user.
  • the received question may be transmitted to one or more of the selected user terminals 500 according to the information.
  • FIG. 7 is a flowchart illustrating a knowledge base calibration method according to an exemplary embodiment of the present invention. Specifically, FIG. 7 is a flowchart illustrating a method of calibrating the knowledge base 200 by evaluating answers received from users, and may be performed following the method corresponding to the flowchart of FIG. 6. In the following, FIG. 7 will be described with reference to FIG. 1. As shown in FIG. 7, the calibration method of the knowledge base 200 may include a plurality of steps S21, S23, S25, S27, and S29.
  • an operation of receiving an answer to a question may be performed.
  • a question generated to correct incomplete knowledge data may be provided to a user (eg, via web service system 300), and an answer from the user may be answered. Can be received.
  • the web service system 300 of FIG. 1 may receive answers from the user terminals 500 and may transmit the received answers to the knowledge base calibration system 100.
  • the candidate knowledge generator 140 of the knowledge base calibration system 100 may receive the answers through the user interface 103.
  • step S23 an operation of generating candidate knowledge data may be performed.
  • the candidate knowledge generator 140 of FIG. 1 may generate candidate knowledge data including a question, a user's answer thereto, and user information.
  • the candidate knowledge generator 140 may generate candidate knowledge data further including level information of the user who has additionally answered.
  • Candidate knowledge data generated by the candidate knowledge generator 140 may be stored in the candidate knowledge storage 150.
  • step S25 an operation of verifying candidate knowledge data may be performed.
  • the candidate knowledge verification unit 160 of FIG. 1 may receive candidate knowledge data including a plurality of answers to the same question by accessing the candidate knowledge storage unit 150 storing the candidate knowledge data.
  • Candidate knowledge data can be verified.
  • the candidate knowledge verification unit 160 may verify candidate knowledge data based on the number of users who provided the same answer, or based on the levels of users who provided the same answer.
  • Candidate knowledge data may be verified.
  • an operation of correcting the knowledge data may be performed in step S27.
  • the candidate knowledge verification unit 160 of FIG. 1 may correct the knowledge data so that two or more values are written in one attribute to include only a value corresponding to the verified answer with respect to the knowledge data including an error. Can be.
  • the knowledge data may be corrected so that the attribute has a value corresponding to the verified answer.
  • an operation of assigning a question to a user different from the user assigned in step S29 may be performed.
  • the question selector 120 of FIG. 1 may receive candidate knowledge data (or a corresponding question) for which verification failed from the candidate knowledge verifyer 160, and the question selector 120 previously A question may be assigned to a plurality of users who have not been assigned a question. Assigned questions can be provided to new users, and answers received from them can be used for revalidation of candidate knowledge data.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

지식 베이스의 검증 및 교정 시스템이 개시된다. 본 발명의 예시적 실시예에 따른 지식 베이스 교정 시스템은, 지식 베이스로부터 불완전한 지식 데이터를 검출하고 답변으로써 불완전한 지식 데이터를 교정하기 위한 질문을 생성하는 질문 생성부, 복수의 사용자들의 레벨 정보를 저장하는 사용자 정보 저장부, 및 복수의 사용자들의 레벨 정보에 기초하여 사용자들 각각에 배정될 질문의 개수 및 질문을 결정하는 질문 선정부를 포함할 수 있다.

Description

지식 베이스의 검증 및 교정 시스템 및 방법
본 발명의 기술적 사상은 지식 베이스의 검증 및 교정 시스템 및 방법에 관한 것으로서, 자세하게는 불완전한 지식 데이터를 검출하고 교정하는 시스템 및 방법에 관한 것이다.
본 발명은 미래창조과학부 SW컴퓨팅산업원천기술개발사업(SW)의 일환으로 (주)솔트룩스가 주관하고 연구하여 수행된 연구로부터 도출된 것이다. [연구기간: 2016.03.01~2017.02.28, 연구관리 전문기관: 정보통신기술연구진흥센터, 연구과제명: WiseKB: 빅데이터 이해 기반 자가학습형 지식베이스 및 추론 기술 개발, 과제 고유번호: R0101-16-0054]
지식 데이터를 저장하고 저장된 지식 데이터를 제공하는 지식 베이스(knowledge base)는 다양한 방식으로 구축될 수 있다. 예를 들면, 특정한 도메인의 전문가 그룹에 의해서 그 도메인에 대한 지식 베이스가 구축될 수도 있고, 데이터로부터 지식을 추출함으로써 지식 베이스가 구축될 수도 있다. 전자의 경우, 높은 정확도의 지식 데이터를 제공할 수 있는 반면, 구축 가능한 지식 베이스의 규모가 제한적일 수 있다. 이에 따라, 데이터를 수집하고 수집된 데이터로부터 지식 베이스를 구축하는 방법이 고려되고 있다.
본 발명의 기술적 사상은, 크라우드 소싱을 통해서 불완전한 지식 데이터를 정정함으로써 지식 베이스를 검증 및 교정하는 시스템 및 방법을 제공한다.
상기와 같은 목적을 달성하기 위하여, 본 발명의 기술적 사상의 일측면에 따른 지식 베이스 교정 시스템은, 지식 베이스로부터 불완전한 지식 데이터를 검출하고 답변으로써 불완전한 지식 데이터를 교정하기 위한 질문을 생성하는 질문 생성부, 복수의 사용자들의 레벨 정보를 저장하는 사용자 정보 저장부, 및 복수의 사용자들의 레벨 정보에 기초하여 사용자들 각각에 배정될 질문의 개수 및 질문을 결정하는 질문 선정부를 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 질문 생성부는, 복수의 값들이 기입된 속성을 가지는 제1 인스턴스를 포함하는 지식 데이터, 기입된 값이 속성의 형식과 일치하지 아니하는 제2 인스턴스를 포함하는 지식 데이터 또는 값이 누락된 속성을 가지는 제2 인스턴스를 포함하는 지식 데이터를 검출하는 오류 검출부를 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 질문 생성부는, 제1 인스턴스, 복수의 값들이 맵핑된 속성 및 복수의 값들을 포함하는 객관식 질문, 제2 인스턴스, 기입된 값이 형식과 일치하지 아니하는 속성을 포함하는 주관식 질문 또는 제3 인스턴스 및 값이 누락된 속성을 포함하는 주관식 질문을 생성하는 질문 출력부를 더 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 질문 선정부에 의해서 선정된 질문 및 질문에 대한 적어도 하나의 답변을 포함하는 후보 지식 데이터를 생성하는 후보 지식 생성부를 더 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 동일한 질문에 대응하는 적어도 하나의 후보 지식 데이터에 기초하여 후보 지식 데이터를 검증하고, 검증이 성공한 후보 지식 데이터에 기초하여 지식 베이스에 저장된 지식 데이터를 교정하는 후보 지식 검증부를 더 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 후보 지식 검증부는 검증이 실패한 후보 지식 데이터에 대응하는 질문을 질문 선정부에 제공할 수 있고, 질문 선정부는 후보 지식 검증부에 의해 제공된 질문을 기배정된 사용자들과 상이한 복수의 사용자들에게 배정하도록 결정할 수 있다.
본 발명의 예시적 실시예에 따라, 후보 지식 데이터 및 후보 지식 검증부의 후보 지식 데이터에 대한 검증 결과에 기초하여, 사용자 정보 저장부에 저장된 사용자의 레벨 정보를 갱신하는 사용자 레벨 분석부를 더 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 질문을 전송하고 답변을 수신하는 사용자 인터페이스를 더 포함할 수 있다.
본 발명의 예시적 실시예에 따라, 사용자 정보 저장부에 저장된 복수의 사용자들의 레벨 정보를 리워드 시스템에 제공하는 리워드 인터페이스를 더 포함할 수 있다.
본 발명의 기술적 사상에 따른 지식 베이스 검증 및 교정 시스템 및 방법은, 방대한 지식 베이스의 불완전한 지식 데이터를 교정하기 위한 수단을 제공함으로써 지식 베이스의 신뢰도 및 활용도를 향상시킬 수 있다.
또한, 본 발명의 기술적 사상에 따른 지식 베이스 검증 및 교정 시스템 및 방법은, 크라우드 소싱을 통해서 불완전한 지식 데이터에 대한 교정의 신뢰성을 높일 수 있다.
또한, 본 발명의 기술적 사상에 따른 지식 베이스 검증 및 교정 시스템 및 방법은, 불완전한 지식 데이터의 교정에 참여하는 사용자에게 이득을 주기 위한 수단을 제공함으로써, 지식 베이스가 지속적으로 고품질의 서비스를 제공하는 것을 가능하게 한다.
도 1은 본 발명의 예시적 실시예에 따른 지식 베이스 교정 시스템의 블록도이다.
도 2는 본 발명의 예시적 실시예에 따라 도 1의 질문 생성부의 예시를 나타내는 블록도이다.
도 3은 불완전한 지식 데이터의 예시를 나타내는 도면이다.
도 4는 본 발명의 예시적 실시예에 따라 도 1의 후보 지식 검증부의 동작을 설명하기 위한 도면이다.
도 5는 본 발명의 예시적 실시예에 따른 지식 베이스 교정 시스템의 블록도이다.
도 6은 본 발명의 예시적 실시예에 따른 지식 베이스의 교정 방법을 나타내는 순서도이다.
도 7은 본 발명의 예시적 실시예에 따른 지식 베이스 교정 방법을 나타내는 순서도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시 예에 대해 상세히 설명한다. 본 발명의 실시 예는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되는 것이다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하거나 축소하여 도시한 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수개의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하 도면 및 설명에서, 하나의 블록으로 표시 또는 설명되는 구성요소는 하드웨어 블록 또는 소프트웨어 블록일 수 있다. 예를 들면, 구성요소들 각각은 서로 신호를 주고 받는 독립적인 하드웨어 블록일 수도 있고, 또는 하나의 프로세서에서 실행되는 소프트웨어 블록일 수도 있다.
도 1은 본 발명의 예시적 실시예에 따른 지식 베이스 교정 시스템(100)의 블록도이다.
데이터를 수집하고 수집된 데이터로부터 추출된 지식에 기반하여 구축된 지식 베이스는, 방대한 규모를 가지는 한편, 불완전한 지식 데이터, 예컨대 오류를 포함하거나 불충분한 지식 데이터를 포함할 수 있다. 예를 들면, 지식 베이스 구축의 기반이 되는 데이터는, 데이터베이스(예컨대, 위키피디아(Wikipedia)), CSV 파일 등과 같은 정형 데이터를 포함할 수도 있고, 뉴스, 블로그, SNS, 문서 파일 등과 같은 비정형 데이터를 포함할 수도 있다. 정형 데이터로부터 지식 베이스가 구축되는 경우, 지식 베이스의 스키마를 이해하고 있는 전문가에 의해서 작성된 매핑 규칙에 의해서 지식 베이스는 상대적으로 용이하게 구축될 수 있다. 다른 한편으로, 비정형 데이터로부터 지식 베이스가 구축되는 경우, 형태소 분석, 구문 분석 등을 포함하는 자연어 처리 기술을 사용하여 비정형 데이터로부터 지식을 추출하고 구조화하는 작업이 필요하고, 이에 따라 자연어 처리 기술의 한계 비정형 데이터의 신뢰성 등에 기인하여 지식 베이스는 오류를 포함할 수 있다.
인터넷 등을 통해서 수집된 방대한 양의 비정형 데이터로부터 구축된 지식 베이스에 포함된 불완전한 지식 데이터를 교정하기 위하여, 소수의 지정된 전문가가 지식 베이스에 포함된 불완전한 지식 데이터를 검출하고 정정하는 것은 현실적으로 불가능할 수 있다. 지식 베이스에 포함된 불완전한 지식 데이터의 교정은 지식 베이스의 신뢰도를 향상시키고 활용도를 높이기 위하여 필수적인 작업으로서, 본 발명은 지식 베이스에 포함된 불완전한 지식 데이터를 검출하고, 크라우드 소싱을 통해서 용이하게 교정할 수 있는 시스템 및 방법을 제공한다.
도 1을 참조하면, 지식 베이스 교정 시스템(100)은 지식 베이스(200) 및 웹 서비스 시스템(300)과 통신할 수 있고, 사용자 단말들(500)이 웹 서비스 시스템(300)과 통신할 수 있다. 지식 베이스 교정 시스템(100), 지식 베이스(200), 웹 서비스 시스템(300) 및 사용자 단말들(500)은 LAN(local area network) 및 WAN(wide area network)와 같은 네트워크에 접속됨으로써 서로 통신할 수도 있고, 전용 채널을 통해서 일대일 통신에 의해서 양자간 통신할 수도 있다. 도 1에 도시된 바와 같이, 지식 베이스 교정 시스템(100)은 지식 베이스 인터페이스(102), 사용자 인터페이스(103), 질문 생성부(110), 질문 선정부(120), 사용자 정보 저장부(130), 후보 지식 생성부(140), 후보 지식 저장부(150), 후보 지식 검증부(160), 사용자 레벨 분석부(170)를 포함할 수 있다.
지식 베이스 인터페이스(102)는 지식 베이스 교정 시스템(100)에 포함된 다른 구성요소들에 지식 베이스(200)를 엑세스하기 위한 인터페이스를 제공할 수 있다. 예를 들면, 후술되는 바와 같이, 질문 생성부(110) 및 후보 지식 검증부(160)는 지식 베이스 인터페이스(102)를 통해서 지식 베이스(200)에 엑세스함으로써, 지식 베이스(200)에 저장된 지식 데이터를 수신할 수도 있고, 교정된 지식 데이터를 지식 베이스(200)에 전송할 수도 있다.
유사하게, 사용자 인터페이스(103)는 지식 베이스 교정 시스템(100)에 포함된 다른 구성요소들에 웹 서비스 시스템(300)을 엑세스하기 위한 인터페이스를 제공할 수 있다. 예를 들면, 후술되는 바와 같이, 질문 선정부(120) 및 후보 지식 생성부(140)는 사용자 인터페이스(103)를 통해서 웹 서비스 시스템(300)에 엑세스함으로써, 질문을 전송할 수도 있고, 질문에 대한 답변을 수신할 수도 있다.
질문 생성부(110)는 지식 베이스(200)로부터 불완전한 지식 데이터, 오류를 포함하는 지식 데이터 또는 불충분한 지식 데이터를 검출할 수 있고, 답변으로써 불완전한 지식 데이터를 교정하기 위한 질문을 생성할 수 있다. 예를 들면, 질문 생성부(110)는 상충하는 내용의 지식 또는 누락된 지식을 검출할 수 있고, 이를 교정하기 위한 내용을 답변으로 하는 질문을 생성할 수 있다. 생성된 질문들 중 일부는 복수의 사용자들에게 제공될 수 있다. 질문 생성부(110)에 대한 상세한 내용은 도 2 및 도 3을 참조하여 후술될 것이다.
사용자 정보 저장부(120)는 복수의 사용자들의 레벨을 저장할 수 있다. 사용자의 레벨(또는 사용자 레벨)은 질문에 대한 사용자의 답변 태도(예컨대, 답변의 횟수, 주기 등) 및 답변의 신뢰도에 따른 사용자의 평가 점수에 대응할 수 있다. 후술되는 바와 같이, 사용자 레벨은 질문 생성부(110)에 의해서 생성된 질문들 각각을 어떤 사용자에 배정하는지를 결정하는데 기초로 사용될 수 있다. 또한, 사용자 정보 저장부(120)는 사용자의 식별 정보를 저장할 수 있고, 사용자의 식별 정보는 웹 서비스 시스템(300)과 같은 외부의 시스템(예컨대, 도 5의 리워드 시스템(400))과 사용자를 동기화하는데 사용될 수 있다.
질문 선정부(130)는 사용자들의 레벨 정보, 즉 사용자 레벨 정보에 기초하여 사용자들 각각에 배정될 질문 및 질문의 개수를 결정할 수 있다. 예를 들면, 질문 선정부(130)는 높은 사용자 레벨을 가지고 있는 사용자에 대하여 상대적으로 많은 수의 질문들을 배정할 수 있고, 난이도가 높은 질문(예컨대, 주관식 질문)을 배정할 수 있다. 이에 따라, 사용자의 수준을 고려하지 아니하고 사용자에게 질문을 제공함으로써 발생할 수 있는 문제점들, 예컨대 답변의 신뢰도 하락, 답변의 지체 등이 해소될 수 있다. 질문 선정부(130)는 사용자 인터페이스(103)을 통해서 선정된 적어도 하나의 질문을 지식 베이스 교정 시스템의 외부로 출력할 수 있고, 이 때 질문이 배정된 사용자 정보를 함께 출력할 수 있다.
후보 지식 생성부(140)는 질문 선정부(130)에 의해서 선정된 적어도 하나의 질문 및 그 질문에 대한 답변을 포함하는 후보 지식 데이터를 생성할 수 있다. 일 실시예에서, 후보 지식 생성부(140)는 질문 선정부(130)로부터 선정된 질문을 수신할 수 있고, 사용자 인터페이스(103)를 통해서 선정된 질문에 대한 답변을 수신할 수 있다. 다른 실시예에서, 후보 지식 생성부(140)는 사용자 인터페이스(103)를 통해서 질문 및 그에 대한 답변을 모두 수신할 수도 있다. 후보 지식 데이터는 지식 베이스(200)에 저장된 지식 데이터가 될 가능성이 있는 것으로서, 후술되는 바와 같이, 후보 지식 검증부(160)에 의해서 검증이 성공한 경우 지식 베이스(200)의 지식 데이터를 교정하는데 사용될 수 있다.
후보 지식 저장부(150)는 후보 지식 생성부(140)에 의해서 생성된 후보 지식 데이터를 저장할 수 있다. 전술된 바와 같이, 후보 지식 생성부(140)는 질문 및 그에 대응하는 답변을 포함하는 후보 지식 데이터를 생성할 수 있고, 후보 지식 저장부(150)는 복수의 질문들 및 답변들에 대하여 후보 지식 생성부(140)에 의해서 생성된 후보 지식 데이터를 저장할 수 있다. 도 1에 도시된 바와 같이, 후보 지식 저장부(150)는 후보 지식 생성부(140)로부터 후보 지식 데이터를 수신할 수 있고, 후보 지식 검증부(160) 및 사용자 레벨 분석부(170)에 후보 지식 데이터를 제공할 수 있다.
후보 지식 검증부(160)는 동일한 질문에 대응하는 적어도 하나의 후보 지식 데이터에 기초하여 후보 지식 데이터를 검증할 수 있다. 후보 지식 검증부(160)는 검증이 성공한 후보 지식 데이터에 기초하여 지식 베이스 인터페이스(102)를 통해서 지식 베이스에 저장된 지식 데이터를 교정할 수 있다. 도 4를 참조하여 후술되는 바와 같이, 후보 지식 검증부(160)는 동일한 질문에 대하여 복수의 사용자들로부터 제공된 답변들을 평가함으로써 후보 지식 데이터를 검증할 수 있다. 후보 지식 검증부(160)에 대한 상세한 내용은 도 4를 참조하여 후술될 것이다.
사용자 레벨 분석부(170)는 후보 지식 데이터 및 후보 지식 검증부(160)의 후보 지식 데이터에 대한 검증 결과에 기초하여, 사용자 정보 저장부(120)에 저장된 사용자의 레벨 정보를 갱신할 수 있다. 예를 들면, 사용자 레벨 분석부(170)는 후보 지식 검증부(160)의 후보 지식 데이터에 대한 검증 결과에 기초하여, 검증이 성공한 답변을 제공한 사용자의 레벨이 상향 조정되도록 사용자 정보 저장부(120)에 저장된 사용자의 레벨 정보를 갱신할 수 있다. 또한, 사용자 레벨 분석부(170)는 일정한 주기(예컨대, 1주, 1개월 등)로 사용자의 레벨 정보를 갱신할 수 있다. 즉, 일정한 주기 내에 사용자가 제공한 답변의 개수에 기초하여, 답변의 개수가 미리 정해진 기준치 미만인 경우 사용자 레벨을 하향 조정할 수 있고, 기타의 경우 사용자 레벨을 유지하거나 상향 조정할 수 있다.
도 1의 예시에서, 사용자 정보 저장부(120) 및 후보 지식 저장부(150)는 지식 베이스 교정 시스템(100)의 구성요소들에 의해서 엑세스되는 것으로 도시되었다. 일 실시예에서, 사용자 정보 저장부(120) 및 후보 지식 저장부(150)는 외부의 엑세스를 처리하는 어댑터들을 각각 포함할 수 있고, 지식 베이스 교정 시스템(100)의 구성요소들은 어댑터들을 통해서 사용자 정보 저장부(120) 및 후보 지식 저장부(150)에 데이터를 저장하거나 저장된 데이터를 읽을 수 있다. 다른 실시예에서, 사용자 정보 저장부(120) 및 후보 지식 저장부(150)에 엑세스하는 구성요소들은 사용자 정보 저장부(120) 및 후보 지식 저장부(150)를 엑세스하기 위한 어댑터들을 각각 포함할 수도 있다.
비록 도 1은 지식 베이스 교정 시스템(100)이 지식 베이스(200)에 엑세스하는 예시를 도시하고 있으나, 본 발명의 예시적 실시예에 따라 지식 베이스 교정 시스템(100)은 지식 베이스(200)를 포함할 수도 있고, 이 경우 지식 베이스 교정 시스템(100)이 지식 베이스의 기능, 즉 지식 데이터의 제공 서비스를 수행할 수도 있다. 또한, 도 1은 지식 베이스 교정 시스템(100)이 웹 서비스 시스템(300)를 통해서 사용자 단말들(500)과 통신하는 예시를 도시하고 있으나, 본 발명의 예시적 실시예에 따라 지식 베이스 교정 시스템(100)은 사용자 인터페이스(103)를 통해서 사용자 단말들(500)과 직접 통신할 수도 있다. 또한, 지식 베이스 교정 시스템(100)은 복수의 지식 베이스들 및 복수의 웹 서비스 시스템들과 통신할 수도 있다.
도 2는 본 발명의 예시적 실시예에 따라 도 1의 질문 생성부(110)의 예시(110’)를 나타내는 블록도이고, 도 3은 불완전한 지식 데이터의 예시를 나타내는 도면이다. 도 1을 참조하여 전술된 바와 같이, 질문 생성부(110’)는 도 1의 지식 베이스(200)로부터 불완전한 지식 데이터를 검출할 수 있고, 답변으로써 불완전한 지식 데이터를 정정하기 위한 질문을 생성할 수 있다.
도 2를 참조하면, 질문 생성부(110’)는 지식 데이터(10)를 수신할 수 있다. 예를 들면, 질문 생성부(110’)는 지식 베이스(200)로부터 불완전한 지식 데이터를 검출하기 위하여 지식 베이스(200)에 저장된 지식 데이터를 스캔할 수 있고, 지식 데이터(10)를 수신할 수 있다. 도 1의 지식 베이스(200)에 저장된 지식 데이터는 온톨로지 데이터, 예컨대 RDF(Resource Description Framework) 등의 형식을 가지는 데이터일 수 있고, RDF 스키마에 의해서 생성된 인스턴스를 포함할 수 있다. 도 3을 참조하면, 분류가 사람인 인스턴스로서 ‘반기문’은 다수의 속성들을 가질 수 있다. 예를 들면, 도 3에 도시된 바와 같이, ‘반기문’이 속하는 사람은 ‘출생’, ‘국적’, ‘배우자’, ‘성별’, ‘소속’ 등의 속성들을 가질 수 있고, 인스턴스인 ‘반기문’은 각 속성들에 대하여 고유한 값들(예컨대, 1994, 대한민국 등)을 가질 수 있다.
도 2를 참조하면, 질문 생성부(110’)는 속성 관리부(112), 오류 검출부(114) 및 질문 출력부(116)를 포함할 수 있다. 속성 관리부(112)는 지식 데이터를 구성하는 분류(예컨대, 사람, 조직, 지리, 이벤트 등)에 따라 속성들에 관한 정보를 저장할 수 있고, 오류 검출부(114)에 속성에 관한 정보를 제공할 수 있다. 예컨대 도 3을 참조하면, 속성 관리부(112)는‘출생’, ‘국적’, ‘배우자’, ‘성별’, ‘소속’을 사람에 대한 속성들로서 저장할 수 있고, 오류 검출부(114)에 제공할 수 있다. 또한, 속성 관리부(112)가 제공하는 속성들에 관한 정보는 속성들의 값이 가지는 형식, 예컨대 숫자, URL, 텍스트 등에 대한 정보를 포함할 수 있다.
오류 검출부(114)는 불완전한 지식 데이터, 예컨대 오류를 포함하는 지식 데이터 또는 불충분한 지식 데이터를 검출할 수 있다. 즉, 속성 관리부(112)가 제공하는 속성 정보에 기초하여, 지식 데이터(10)가 불완전한 지식 데이터인지 여부를 판단할 수 있다. 예를 들면, 오류 검출부(114)는 복수의 값들이 기입된 속성을 가지는 인스턴스를 포함하는 지식 데이터를 검출할 수 있다. 도 3에 도시된 바와 같이, 도 1의 지식 베이스(200)에 저장된 지식으로서 인스턴스인 ‘반기문’은 속성 ‘소속’의 값으로써 2개 이상의 값들(‘UN’, ‘외교통상부’)이 기입될 수 있고, 오류 검출부(114)는 ‘반기문 - 소속 - UN, 외교통상부’를 포함하는 지식 데이터를 검출할 수 있다. 다른 예시로서, 오류 검출부(114)는 지식 데이터에 포함된 속성(예컨대, ‘출생’)이 속성의 값이 가지는 형식(예컨대, 4자리 숫자)과 상이한 형식의 값(예컨대, 영문자)을 가지는 경우, 오류를 포함하는 것으로 결정할 수도 있다.
또한, 오류 검출부(114)는 불충분한 지식 데이터, 즉 값이 누락된 속성을 가지는 인스턴스를 포함하는 지식 데이터를 검출할 수 있다. 도 3에 도시된 바와 같이, 도 1의 지식 베이스(200)에 저장된 지식으로서 인스턴스인 ‘반기문’은 속성 ‘배우자’의 값이 누락될 수 있고, 오류 검출부(114)는 ‘반기문 - 배우자 - empty’를 포함하는 불충분한 지식 데이터를 검출할 수 있다.
질문 출력부(116)는 오류 검출부(114)에 의해서 검출된 지식 데이터에 기초하여 질문(20)을 생성할 수 있다. 예를 들면, 질문 출력부(116)는 복수의 값들이 기입된 속성을 가지는 인스턴스를 포함하는 지식 데이터의 경우, 인스턴스, 복수의 값들이 기입된 속성, 복수의 값들을 포함하는 객관식 질문을 생성할 수 있다. 또한, 질문 출력부(116)는 값이 누락된 속성을 가지는 인스턴스를 포함하는 지식 데이터의 경우, 인스턴스, 값이 누락된 속성을 포함하는 주관식 질문을 생성할 수도 있다. 도 3을 참조하면, 질문 출력부(116)는 ‘반기문 - 소속 - UN, 외교통상부’를 포함하는 지식 데이터에 대하여, 도 4에 도시된 바와 같이, “반기문의 소속은? ① UN ② 외교통상부 ③ 기타”를 포함하는 질문을 생성할 수 있다. 또한, 질문 출력부(116)는 ‘반기문 - 배우자 - empty’를 포함하는 지식 데이터에 대하여, “반기문의 배우자는?”을 포함하는 질문을 생성할 수 있다. 도 1을 참조하여 전술된 바와 같이, 질문 출력부(116)에 의해서 생성된 질문은, 도 1의 질문 선정부(120)에 의해서 사용자에게 배정될 수 있다.
도 4는 본 발명의 예시적 실시예에 따라 도 1의 후보 지식 검증부(160)의 동작을 설명하기 위한 도면이다. 구체적으로, 도 4는 후보 지식 검증부(160)가 후보 지식 저장부(150)로부터 수신하는 후보 지식 데이터의 예시를 나타낸다. 도 1을 참조하여 전술된 바와 같이, 후보 지식 검증부(160)는 질문 및 답변을 포함하는 후보 지식 데이터를 검증할 수 있고, 검증에 성공한 후보 지식 데이터에 기초하여 지식 베이스(200)에 저장된 지식 데이터를 교정할 수 있다.
도 3 및 도 4를 참조하면, ‘반기문 - 소속 - UN, 외교통상부’를 포함하는 지식 데이터를 교정하기 위하여, “반기문의 소속은?”이라는 질문이 도 1의 질문 생성부(110)에 의해서 생성되고, 질문 선정부(120)에 의해서 5명의 사용자들(갑, 을, 병, 정, 무)에게 배정되고, 5명의 사용자들(갑, 을, 병, 정, 무)로부터 답변을 수신함으로써 후보 지식 생성부(140)에 의해서 도 4에 도시된 바와 같은 후보 지식 데이터가 생성될 수 있다. 도 4에 도시된 예시에서, 후보 지식 데이터는 사용자 및 사용자 레벨 정보를 포함할 수 있다.
후보 지식 검증부(160)는 동일한 질문에 대하여 동일한 답변을 제공한 사용자의 수에 기초하여 후보 지식 데이터를 검증할 수 있다. 즉, 후보 지식 검증부(160)는 동일한 답변을 제공한 사용자들의 수가 미리 정해진 비율 이상인 경우, 그러한 답변을 포함하는 후보 지식 데이터에 대하여 검증이 성공한 것으로 결정할 수 있다. 예를 들면, 도 4에 도시된 예시에서, 후보 지식 검증부(160)는 ‘①’을 답변한 사용자들(갑, 을, 병, 정)의 수 및 답변한 전체 사용자의 수의 비율(4/5)이 미리 정해진 비율(2/3)을 초과하였으므로, ‘반기문 - 속성 - UN, 외교통상부’를 포함하는 지식 데이터를 ‘반기문 - 속성 - UN’을 포함하도록 정정할 수 있다.
또한, 후보 지식 검증부(160)는 동일한 답변을 제공한 사용자들의 수뿐만 아니라 사용자들의 레벨 정보에 더 기초하여 후보 지식 데이터를 검증할 수도 있다. 즉, 높은 레벨을 가지는 사용자의 답변에 대하여 가중치를 부가함으로써 후보 지식 데이터 검증의 신뢰성을 향상시킬 수 있다. 예를 들면, 도 4의 예시에서, 후보 지식 검증부(160)는 ‘①’을 답변한 사용자들(갑, 을, 병, 정)의 레벨 합 및 ‘②’를 답변한 사용자(무)의 레벨 합을 계산할 수 있고, 가장 높은 레벨 합의 비율이 미리 정해진 비율을 초과하는 경우, 그러한 레벨 합에 대응하는 답변을 포함하는 후보 지식 데이터에 대하여 검증이 성공한 것으로 결정할 수 있다.
후보 지식 검증부(160)는 후보 지식 데이터의 검증이 실패한 경우, 예컨대 동일한 답변을 제공한 사용자들의 수가 미리 정해진 비율 미만인 경우 또는 가장 높은 레벨 합의 비율이 미리 정해진 비율 미만인 경우, 후보 지식 데이터의 검증이 실패한 것으로 결정할 수 있다. 후보 지식 검증부(160)에 의해서 검증이 실패한 후보 지식 데이터에 대한 정보는 질문 선정부(130)에 제공될 수 있다. 질문 선정부(130)는 검증이 실패한 후보 지식 데이터에 대응하는 질문을 기배정된 사용자들과 상이한 복수의 사용자들에게 배정하도록 결정할 수 있다. 이에 따라, 검증에 실패한 후보 지식 데이터는 기배정된 사용자들과 상이한 사용자들로부터 제공된 답변들에 기초하여 후보 지식 검증부(160)에 의해서 추후 검증될 수 있다.
도 5는 본 발명의 예시적 실시예에 따른 지식 베이스 교정 시스템(100a)의 블록도이다. 도 1의 지식 베이스 교정 시스템(100)과 비교할 때, 도 5의 지식 베이스 교정 시스템(100a)은 리워드 시스템(400)과 통신하기 위한 리워드 인터페이스(104a)를 더 포함할 수 있다. 이하 도 5의 설명에서, 도 1을 참조하여 설명한 내용과 중복되는 내용은 생략될 것이다.
리워드 인터페이스(104a)는 지식 베이스 검증 시스템(100a) 외부의 리워드 시스템(400)이 사용자 정보 저장부(120a)에 엑세스하기 위한 인터페이스를 제공할 수 있다. 예를 들면, 후술되는 바와 같이, 사용자 정보 저장부(120a)에 저장된 사용자 레벨 정보는 리워드 시스템(400)에 의해서 활용될 수 있고, 리워드 인터페이스(104a)는 리워드 시스템(400)을 포함하는 복수의 리워드 시스템들에 대하여 사용자 레벨 정보를 제공하는 인터페이스를 제공할 수 있다.
리워드 시스템(400)은 지식 베이스 검증 시스템(100a)(또는 사용자 정보 저장부(120))의 사용자 레벨 정보에 기초하여 사용자에게 리워드를 제공할 수 있다. 예를 들면, 리워드 시스템(400)은 답변을 제공한 사용자에 대하여 사용자의 레벨에 대응하는 리워드를 제공할 수도 있고, 주기적으로 사용자 레벨을 체크함으로써 사용자에게 주기적으로 사용자 레벨에 대응하는 리워드를 제공할 수 있다. 리워드 시스템(400)이 제공하는 리워드는 사용자가 유익하게 사용할 수 있는 것으로서, 비제한 적인 예시로서, 쿠폰, 금전, 가맹점들에 사용할 수 있는 포인트 등을 포함할 수 있다.
지식 베이스 검증 시스템(100a)으로부터 제공된 질문에 답변을 제공한 사용자는 리워드를 획득할 수 있고, 이에 따라 사용자의 답변에 대한 의욕은 고취될 수 있다. 도 1을 참조하여 전술된 바와 같이, 사용자 정보 저장부(120a)에 저장된 사용자 레벨 정보는 사용자 레벨 분석부(170a)에 의해서 갱신될 수 있고, 사용자 레벨 정보는 사용자의 답변 태도 및 답변의 신뢰도에 기초하여 산정되므로, 높은 효율성 및 신뢰성을 제공하는 지식 베이스(200)의 검증이 실현될 수 있다.
도 6은 본 발명의 예시적 실시예에 따른 지식 베이스의 교정 방법을 나타내는 순서도이다. 구체적으로, 도 6은 도 1의 지식 베이스(200)를 교정하기 위해 사용자에게 제공되는 질문을 생성하는 방법을 나타내는 순서도이다. 이하에서 도 6은 도 1 및 도 2를 참조하여 설명될 것이다. 도 6에 도시된 바와 같이, 지식 베이스(200)의 교정 방법은 복수의 단계들(S12, S14, S16, S18)을 포함할 수 있다.
단계 S12에서, 지식 베이스(200)로부터 불완전한 지식 데이터를 검출하는 동작이 수행될 수 있다. 예를 들면, 도 2의 질문 생성부(110’)에 포함된 오류 검출부(114)는 속성 관리부(112)가 제공하는 속성 정보에 기초하여 지식 데이터(10)가 불완전한 지식 데이터, 예컨대 오류를 포함하는 지식 데이터 또는 불충분한 지식 데이터인지 여부를 판단할 수 있고, 불완전한 지식 데이터를 검출할 수 있다.
단계 S14에서, 불완전한 지식 데이터의 교정을 위한 질문을 생성하는 동작이 수행될 수 있다. 예를 들면, 도 2의 질문 생성부(110’)에 포함된 질문 출력부(116)는 오류 검출부(114)에 의해서 검출된 불완전한 지식 데이터로부터 질문을 생성할 수 있다. 전술된 바와 같이, 생성된 질문은 복수의 선택가능한 답변들을 포함하는 객관식 질문일 수도 있고, 주관식 질문일 수도 있다.
단계 S16에서, 사용자들의 레벨에 기초하여 질문의 개수 및 질문을 선정하는 동작이 수행될 수 있다. 예를 들면, 도 1의 질문 선정부(120)는 질문 생성부(110)에 의해서 생성된 복수의 질문들에 대하여, 사용자 정보 저장부(130)에 저장된 사용자 레벨 정보에 기초하여, 사용자에게 배정될 질문의 개수 및 사용자에게 배정될 질문을 결정할 수 있다. 유사하게는, 질문 선정부(120)는 사용자 정보 저장부(130)에 저장된 사용자 레벨 정보에 기초하여, 질문 생성부(110)에 의해서 생성된 질문을 배정할 복수의 사용자들을 결정할 수도 있다.
단계 S18에서, 선정된 질문을 전송하는 동작이 수행될 수 있다. 예를 들면, 도 1의 질문 선정부(120)에 의해서 선정된 질문은 사용자 정보와 함께 사용자 인터페이스(103)를 통해서 웹 서비스 시스템(300)에 전송될 수 있고, 웹 서비스 시스템(300)은 사용자 정보에 따라 선택된 사용자 단말들(500) 중 하나 이상에 수신된 질문을 전송할 수 있다.
도 7은 본 발명의 예시적 실시예에 따른 지식 베이스 교정 방법을 나타내는 순서도이다. 구체적으로, 도 7은 사용자들로부터 수신된 답변들을 평가함으로써 지식 베이스(200)를 교정하는 방법을 나타내는 순서도로서, 도 6의 순서도에 대응하는 방법에 이어서 수행될 수 있다. 이하에서, 도 7은 도 1을 참조하여 설명될 것이다. 도 7에 도시된 바와 같이, 지식 베이스(200)의 교정 방법은 복수의 단계들(S21, S23, S25, S27, S29)을 포함할 수 있다.
단계 S21에서, 질문에 대한 답변을 수신하는 동작이 수행될 수 있다. 도 1 및 도 6을 참조하여 전술된 바와 같이, 불완전한 지식 데이터를 교정하기 위하여 생성된 질문이 (예컨대, 웹 서비스 시스템(300)을 통해서) 사용자에게 제공될 수 있고, 사용자로부터 질문에 대한 답변이 수신될 수 있다. 예를 들면, 도 1의 웹 서비스 시스템(300)은 사용자 단말들(500)로부터 답변들을 수신할 수 있고, 지식 베이스 교정 시스템(100)에 수신된 답변들을 전송할 수 있다. 지식 베이스 교정 시스템(100)의 후보 지식 생성부(140)는 사용자 인터페이스(103)를 통해서 답변들을 수신할 수 있다.
단계 S23에서, 후보 지식 데이터를 생성하는 동작이 수행될 수 있다. 예를 들면, 도 1의 후보 지식 생성부(140)는 질문, 그에 대한 사용자의 답변 및 사용자 정보를 포함하는 후보 지식 데이터를 생성할 수 있다. 또한, 일실시예에서, 후보 지식 생성부(140)는 추가적으로 답변한 사용자의 레벨 정보를 더 포함하는 후보 지식 데이터를 생성할 수도 있다. 후보 지식 생성부(140)에 의해서 생성된 후보 지식 데이터는 후보 지식 저장부(150)에 저장될 수 있다.
단계 S25에서, 후보 지식 데이터를 검증하는 동작이 수행될 수 있다. 예를 들면, 도 1의 후보 지식 검증부(160)는 후보 지식 데이터를 저장하는 후보 지식 저장부(150)를 엑세스함으로써 동일한 질문에 대한 복수의 답변들을 포함하는 후보 지식 데이터를 수신할 수 있고, 후보 지식 데이터를 검증할 수 있다. 도 4를 참조하여 전술된 바와 같이, 후보 지식 검증부(160)는 동일한 답변을 제공한 사용자들의 수에 기초하여 후보 지식 데이터를 검증할 수도 있고, 동일한 답변을 제공한 사용자들의 레벨들에 기초하여 후보 지식 데이터를 검증할 수도 있다.
후보 지식 데이터의 검증이 성공한 경우, 단계 S27에서 지식 데이터를 정정하는 동작이 수행될 수 있다. 예를 들면, 도 1의 후보 지식 검증부(160)는 2개 이상의 값들이 하나의 속성에 기입되어 오류를 포함하는 지식 데이터에 대하여, 검증된 답변에 대응하는 값만을 포함하도록 지식 데이터를 정정할 수 있다. 또한, 누락된 값을 가지는 속성에 의해서 불충분한 지식 데이터에 대하여, 해당 속성이 검증된 답변에 대응하는 값을 가지도록 지식 데이터를 정정할 수도 있다.
후보 지식 데이터의 검증이 실패한 경우, 단계 S29에서 기배정된 사용자와 상이한 사용자에게 질문을 배정하는 동작이 수행될 수 있다. 예를 들면, 도 1의 질문 선정부(120)는 후보 지식 검증부(160)로부터 검증이 실패한 후보 지식 데이터(또는 그에 대응하는 질문)를 수신할 수 있고, 질문 선정부(120)는 이전에 질문이 배정되지 아니한 복수의 사용자들에 질문을 배정할 수 있다. 배정된 질문은 새로운 사용자에게 제공될 수 있고, 그들로부터 수신된 답변들이 후보 지식 데이터의 재검증에 사용될 수 있다.
이상에서와 같이 도면과 명세서에서 예시적인 실시예들이 개시되었다. 본 명세서에서 특정한 용어를 사용하여 실시예들을 설명되었으나, 이는 단지 본 발명의 기술적 사상을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (9)

  1. 지식 베이스로부터 불완전한 지식 데이터를 검출하고, 답변으로써 상기 불완전한 지식 데이터를 교정하기 위한 질문을 생성하는 질문 생성부;
    복수의 사용자들의 레벨 정보를 저장하는 사용자 정보 저장부; 및
    상기 복수의 사용자들의 레벨 정보에 기초하여 사용자들 각각에 배정될 질문의 개수 및 질문을 결정하는 질문 선정부를 포함하는 지식 베이스 교정 시스템.
  2. 제1항에 있어서,
    상기 질문 생성부는, 복수의 값들이 기입된 속성을 가지는 제1 인스턴스를 포함하는 지식 데이터, 기입된 값이 속성의 형식과 일치하지 아니하는 제2 인스턴스를 포함하는 지식 데이터 또는 값이 누락된 속성을 가지는 제2 인스턴스를 포함하는 지식 데이터를 검출하는 오류 검출부를 포함하는 것을 특징으로 하는 지식 베이스 교정 시스템.
  3. 제2항에 있어서,
    상기 질문 생성부는, 상기 제1 인스턴스, 상기 복수의 값들이 맵핑된 속성 및 상기 복수의 값들을 포함하는 객관식 질문, 상기 제2 인스턴스, 상기 기입된 값이 형식과 일치하지 아니하는 속성을 포함하는 주관식 질문 또는 상기 제3 인스턴스 및 상기 값이 누락된 속성을 포함하는 주관식 질문을 생성하는 질문 출력부를 더 포함하는 것을 특징으로 하는 지식 베이스 교정 시스템.
  4. 제1항에 있어서,
    상기 질문 선정부에 의해서 선정된 질문 및 상기 질문에 대한 적어도 하나의 답변을 포함하는 후보 지식 데이터를 생성하는 후보 지식 생성부를 더 포함하는 지식 베이스 교정 시스템.
  5. 제4항에 있어서,
    동일한 질문에 대응하는 적어도 하나의 후보 지식 데이터에 기초하여 후보 지식 데이터를 검증하고, 검증이 성공한 후보 지식 데이터에 기초하여 상기 지식 베이스에 저장된 지식 데이터를 교정하는 후보 지식 검증부를 더 포함하는 지식 베이스 교정 시스템.
  6. 제5항에 있어서,
    상기 후보 지식 검증부는 검증이 실패한 후보 지식 데이터에 대응하는 질문을 상기 질문 선정부에 제공하고,
    상기 질문 선정부는 상기 후보 지식 검증부에 의해 제공된 질문을 기배정된 사용자들과 상이한 복수의 사용자들에게 배정하도록 결정하는 것을 특징으로 하는 지식 베이스 교정 시스템.
  7. 제5항에 있어서,
    상기 후보 지식 데이터 및 상기 후보 지식 검증부의 상기 후보 지식 데이터에 대한 검증 결과에 기초하여, 상기 사용자 정보 저장부에 저장된 사용자의 레벨 정보를 갱신하는 사용자 레벨 분석부를 더 포함하는 지식 베이스 교정 시스템.
  8. 제1항에 있어서,
    상기 질문을 전송하고 상기 답변을 수신하는 사용자 인터페이스를 더 포함하는 지식 베이스 교정 시스템.
  9. 제1항에 있어서,
    상기 사용자 정보 저장부에 저장된 복수의 사용자들의 레벨 정보를 리워드 시스템에 제공하는 리워드 인터페이스를 더 포함하는 지식 베이스 교정 시스템.
PCT/KR2016/012923 2016-01-26 2016-11-10 지식 베이스의 검증 및 교정 시스템 및 방법 WO2017131325A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/738,112 US20180300649A1 (en) 2016-01-26 2016-11-10 System and method for verifying and correcting knowledge base

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2016-0009404 2016-01-26
KR1020160009404A KR101739539B1 (ko) 2016-01-26 2016-01-26 지식 베이스의 검증 및 교정 시스템 및 방법

Publications (1)

Publication Number Publication Date
WO2017131325A1 true WO2017131325A1 (ko) 2017-08-03

Family

ID=59050938

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/012923 WO2017131325A1 (ko) 2016-01-26 2016-11-10 지식 베이스의 검증 및 교정 시스템 및 방법

Country Status (3)

Country Link
US (1) US20180300649A1 (ko)
KR (1) KR101739539B1 (ko)
WO (1) WO2017131325A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102491172B1 (ko) * 2017-11-22 2023-01-25 한국전자통신연구원 자연어 질의응답 시스템 및 그 학습 방법
US11216739B2 (en) * 2018-07-25 2022-01-04 International Business Machines Corporation System and method for automated analysis of ground truth using confidence model to prioritize correction options
KR102182619B1 (ko) * 2019-01-09 2020-11-24 주식회사 솔트룩스 온톨로지 기반의 프레임을 이용한 지식 추출 시스템
CN112612866B (zh) * 2020-12-29 2023-07-21 北京奇艺世纪科技有限公司 知识库文本同步方法、装置、电子设备及存储介质
CN113868538B (zh) * 2021-10-19 2024-04-09 北京字跳网络技术有限公司 信息处理方法、装置、设备及介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060106744A1 (en) * 2004-11-17 2006-05-18 Samsung Electronics Co., Ltd. Apparatus and method for establishing knowledge database used in expert system and recording medium therefor
KR20060109384A (ko) * 2006-06-24 2006-10-20 새빛소프트주식회사 개인중심 지식블로그형 지식관리 시스템 및 지식관리 방법
JP2013161472A (ja) * 2012-02-09 2013-08-19 Yahoo Japan Corp 質問回答サービスにおける質問の難易度とユーザの知識レベルとを推定する推定装置、方法及びプログラム
KR20130140847A (ko) * 2011-03-08 2013-12-24 인터내셔널 비지네스 머신즈 코포레이션 질의-응답 시스템을 사용하는 문제 해결을 위한 의사결정-지원 애플리케이션 및 시스템
KR101502469B1 (ko) * 2014-03-31 2015-03-17 주식회사 에이티지랩 소셜 지식 검색 서비스 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060106744A1 (en) * 2004-11-17 2006-05-18 Samsung Electronics Co., Ltd. Apparatus and method for establishing knowledge database used in expert system and recording medium therefor
KR20060109384A (ko) * 2006-06-24 2006-10-20 새빛소프트주식회사 개인중심 지식블로그형 지식관리 시스템 및 지식관리 방법
KR20130140847A (ko) * 2011-03-08 2013-12-24 인터내셔널 비지네스 머신즈 코포레이션 질의-응답 시스템을 사용하는 문제 해결을 위한 의사결정-지원 애플리케이션 및 시스템
JP2013161472A (ja) * 2012-02-09 2013-08-19 Yahoo Japan Corp 質問回答サービスにおける質問の難易度とユーザの知識レベルとを推定する推定装置、方法及びプログラム
KR101502469B1 (ko) * 2014-03-31 2015-03-17 주식회사 에이티지랩 소셜 지식 검색 서비스 제공 방법

Also Published As

Publication number Publication date
US20180300649A1 (en) 2018-10-18
KR101739539B1 (ko) 2017-05-25

Similar Documents

Publication Publication Date Title
WO2017131325A1 (ko) 지식 베이스의 검증 및 교정 시스템 및 방법
WO2014069741A1 (ko) 자동 채점 장치 및 방법
WO2017146344A1 (ko) 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
US8296124B1 (en) Method and apparatus for detecting incorrectly translated text in a document
Pacheco et al. A systematic literature review of stakeholder identification methods in requirements elicitation
US20160292593A1 (en) Question answering system-based generation of distractors using machine learning
WO2021049706A1 (ko) 앙상블 질의 응답을 위한 시스템 및 방법
Korzh et al. Methods for forming an informational image of a higher education institution.
WO2010150986A2 (ko) 외국어 단어 평생 학습 장치 및 방법
Ahadi et al. A comparison of three popular source code similarity tools for detecting student plagiarism
WO2021112463A1 (ko) 기업을 위한 정보 제공 장치 및 방법
Cox et al. On bilingual aptitude for learning new languages: The roles of linguistic and nonlinguistic individual differences
CN110348471B (zh) 异常对象识别方法、装置、介质及电子设备
US20210042290A1 (en) Annotation Assessment and Adjudication
WO2023279692A1 (zh) 基于问答平台的数据处理方法、装置及相关设备
Guzmán Naranjo Analogy, complexity and predictability in the Russian nominal inflection system
WO2023106855A1 (ko) 작문 평가를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
Cai et al. Examining the inseparability of content knowledge from LSP reading ability: An approach combining bifactor-multidimensional item response theory and structural equation modeling
KR20120090564A (ko) 학습능력관리 장치 및 방법, 클라우드 컴퓨팅 서비스 장치 및 클라우드 컴퓨팅을 이용한 학습능력관리 방법
WO2022145829A1 (ko) 잠재인자에 기반한 협업 필터링을 사용하여 사용자의 정답확률을 예측하는 학습 컨텐츠 추천 시스템 및 그것의 동작방법
WO2014092265A1 (ko) 문법 오류 정정 시스템 및 이를 이용한 문법 오류 정정 방법
WO2018079968A1 (ko) 개인 맞춤형 교육 컨텐츠를 제공하는 방법, 장치 및 컴퓨터 프로그램
CN115481031A (zh) 南向网关检测方法、装置、设备及介质
US6868409B2 (en) Method of and computer program for searching information
Pazin et al. Empirical study on software process variability modelling with SMartySPEM and vSPEM

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16888301

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15738112

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16888301

Country of ref document: EP

Kind code of ref document: A1