WO2024005330A1 - 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템 - Google Patents

인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템 Download PDF

Info

Publication number
WO2024005330A1
WO2024005330A1 PCT/KR2023/005601 KR2023005601W WO2024005330A1 WO 2024005330 A1 WO2024005330 A1 WO 2024005330A1 KR 2023005601 W KR2023005601 W KR 2023005601W WO 2024005330 A1 WO2024005330 A1 WO 2024005330A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
information
work
data
computing device
Prior art date
Application number
PCT/KR2023/005601
Other languages
English (en)
French (fr)
Inventor
권민석
Original Assignee
주식회사 레몬베이스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 레몬베이스 filed Critical 주식회사 레몬베이스
Publication of WO2024005330A1 publication Critical patent/WO2024005330A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management

Definitions

  • This disclosure relates to diagnosing and processing work immersion status, and more specifically, providing a service that determines the work immersion state of a member based on artificial intelligence and manages the work immersion state of such member or members based on the judgment result. It relates to methods, devices and systems.
  • member evaluations are conducted on a regular or irregular basis.
  • the conventional performance measurement system mainly focused on measuring the performance of current members or evaluating their abilities, and did not take into account the diversity of the organization or members, which resulted in limitations in member evaluation.
  • the problem that this disclosure seeks to solve is to provide a method, device, and system for providing member evaluation and management services that can properly evaluate members by considering various overall factors, including information about the organization or members.
  • An artificial intelligence-based work immersion state determination and management service providing device includes: a memory; And extracting first information used to learn the member's work immersion state from the received member information and learning it based on artificial intelligence, and extracting second information used to determine the target member's work immersion state from the member information; , determine the work immersion state of the target member using the first information and the second information, extract work immersion state management information from the database according to the determined work immersion state of the target member, and generate service data; , a processor that controls to provide the generated service data; and when generating the service data, the processor creates a 1:1 meeting board, sets an agenda, and determines the member's immersion level based on the meeting data.
  • the method of providing an artificial intelligence-based work immersion state judgment and management service extracts the first information used for learning the member's work immersion state from the received member information and artificial intelligence intelligence-based learning; extracting second information used to determine the work immersion state of the target member from the member information; determining a work immersion state of the target member using the first information and the second information; generating service data by extracting work immersion state management information from a database according to the determined work immersion state of the target member; Providing the generated service data; and the step of generating the service data includes creating a 1:1 meeting board, setting an agenda, and measuring the member's immersion, interpersonal relationships, and burnout based on the meeting data.
  • the artificial intelligence-based work immersion state determination and management service provision system for solving the above-mentioned technical problems includes at least one terminal for inputting member information; and a computing device that processes a work immersion state determination and management service based on the input member information, wherein the computing device extracts first information used for learning the member's work immersion state from the received member information. learns based on artificial intelligence, extracts second information used to determine the work immersion state of the target member from the member information, and uses the first information and the second information to determine the work immersion state of the target member.
  • a processor configured to determine, generate service data by extracting work immersion state management information from the database according to the determined work immersion state of the target member, and control the generated service data to be provided, comprising: At the time of creation, the processor creates a 1:1 meeting board, sets an agenda, analyzes the work engagement status of the member based on the meeting data, interpersonal relationships, burnout expectations, and the possibility of leaving, and conducts the meeting. Based on qualitative diagnosis of the data, the member's growth desire is predicted, job suitability is judged based on the prediction results, job change proposal or job change route information is controlled to be included in the service data, and the possibility of departure is determined. If the value exceeds the pre-set value, the service data can be controlled to check whether the user wants to leave the company and to include a list of questions about whether he or she is interested in other fields within the company.
  • FIG. 1 is a diagram schematically showing a member evaluation and management service system according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram of the computing device shown in FIG. 1.
  • FIG. 3 is a block diagram of a processing unit according to an embodiment of the present disclosure.
  • FIG. 4 is a block diagram of a processing unit according to another embodiment of the present disclosure.
  • FIG. 5 is a block diagram of a processing unit according to another embodiment of the present disclosure.
  • FIG. 6 is a diagram showing a detailed block diagram of the processing unit according to an embodiment of the present disclosure.
  • Figure 7 is a flowchart illustrating a method of providing member evaluation and management services according to an embodiment of the present disclosure.
  • FIGS. 8 to 10 are diagrams illustrating a user interface for providing member evaluation and management services according to an embodiment of the present disclosure.
  • Figure 11 is a flowchart illustrating a method of providing member evaluation and management services according to another embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a user interface for providing member evaluation and management services according to another embodiment of the present disclosure.
  • Figure 13 is a flowchart illustrating a method of providing member evaluation and management services according to another embodiment of the present disclosure.
  • Figure 14 is a diagram illustrating a user interface for providing member evaluation and management services according to an embodiment of the present disclosure.
  • FIG. 15 is a block diagram of the processing unit 230 according to another embodiment of the present disclosure.
  • Figure 16 is a flowchart illustrating an artificial intelligence-based method of determining work immersion status and providing management services according to an embodiment of the present disclosure.
  • Figure 17 is a diagram illustrating a user interface of service data according to an embodiment of the present disclosure.
  • Spatially relative terms such as “below”, “beneath”, “lower”, “above”, “upper”, etc. are used as a single term as shown in the drawing. It can be used to easily describe the correlation between a component and other components. Spatially relative terms should be understood as terms that include different directions of components during use or operation in addition to the directions shown in the drawings. For example, if a component shown in a drawing is flipped over, a component described as “below” or “beneath” another component will be placed “above” the other component. You can. Accordingly, the illustrative term “down” may include both downward and upward directions. Components can also be oriented in other directions, so spatially relative terms can be interpreted according to orientation.
  • the device for providing member evaluation and management services includes various devices that can perform computational processing and provide results.
  • the member evaluation and management service providing device may include at least one computer or computing device, a server device, a terminal, etc., or may take any one form.
  • the computer may include, for example, a laptop equipped with a web browser, a desktop, a laptop, a tablet PC, a slate PC, etc.
  • server devices include servers that process information by communicating with external devices, such as application servers, computing servers, database servers, file servers, game servers, mail servers, proxy servers, and web servers. may be included.
  • the portable terminal includes, for example, a wireless communication device that guarantees portability and mobility, such as PCS (Personal Communication System), GSM (Global System for Mobile communications), PDC (Personal Digital Cellular), and PHS (Personal Handyphone System).
  • PCS Personal Communication System
  • GSM Global System for Mobile communications
  • PDC Personal Digital Cellular
  • PHS Personal Handyphone System
  • PDA Personal Digital Assistant
  • IMT International Mobile Telecommunication
  • CDMA Code Division Multiple Access
  • W-CDMA Wide-Code Division Multiple Access
  • WiBro Wireless Broadband Internet
  • smart phone All types of handheld wireless communication devices such as smart phones, watches, rings, bracelets, anklets, necklaces, glasses, contact lenses, or head-mounted devices (HMDs), etc.
  • a wearable device may be included.
  • an information provision control model may be defined or a related service platform may be constructed in relation to the member evaluation and management service provision device according to the present disclosure, which includes big data and artificial intelligence.
  • It can be created and provided by a technology-based computer, and is a virtual convergence technology (XR, eXtended), which collectively refers to virtual reality (VR), augmented reality (AR), and mixed reality (MR).
  • VR virtual reality
  • AR augmented reality
  • MR mixed reality
  • ICT information and communication technology
  • blockchain technology such as blockchain technology
  • the term “member” described in this specification may refer to a member belonging to a company, organization, group, etc. that uses the service platform provided by the service system or service provision device according to the present disclosure. These members may be the evaluator or the appraisee who is the subject of the evaluation.
  • FIG. 1 is a diagram schematically showing a member evaluation and management service system according to an embodiment of the present disclosure.
  • the member evaluation and management service system may be configured to include a first terminal 100, a second terminal 150, and a computing device 200.
  • the member evaluation and management service system provides a service platform and can provide services related to evaluation methods, evaluation relationships, evaluation questions, evaluation feedback, meeting data recommendation and management, etc. to users of the service platform. At this time, the system can be used to determine the suitability of each service item in order to provide optimal member evaluation and management services.
  • the member evaluation and management service system is software for a member evaluation writing service based on member information, an evaluation feedback service based on analysis of the evaluator's tendency and evaluation content for members, and a meeting agenda recommendation and management service based on member evaluation records. , hardware, etc. can be provided.
  • the member evaluation and management service system may be configured by adding one or more components in relation to performing operations according to the present disclosure, in addition to the components shown in FIG. 1.
  • the member evaluation and management service according to the present disclosure may be provided in the form of an application or a web service through the web.
  • UI user interface
  • the terminals 100 and 150 can directly process it and output result data, that is, member evaluation and management service result information.
  • the terminals 100 and 150 transmit the user information input through the application to the computing device 200 without directly processing it, and return and output result data generated by the computing device 200. You may.
  • the computing device 200 uses an algorithm or logic for member evaluation and management service provision and processing according to the present disclosure, or/and application programming (API) related thereto. Interface or plug-in, etc. can be provided to the terminals 100 and 150.
  • API application programming
  • the terminals 100 and 150 do not directly process the user information input through the executed application, but transmit it to the computing device 200, and the computing device 200 processes it to perform member evaluation and
  • management service information is generated and returned to the terminals 100 and 150 and provided to the user by the terminals 100 and 150 as an example, the present disclosure is not limited thereto. Meanwhile, in the above, at least some of the operation(s) according to the present disclosure performed by the computing device 200 may be performed through the resources of the terminals 100 and 150.
  • the terminals 100 and 150 can download and install an application for providing member evaluation and management services, and after installation, perform various operations such as user information and various search requests through the application.
  • the first terminal 100 is a user terminal involved in evaluation, for example, a terminal of an evaluator or an evaluation subject (i.e., an evaluator) or evaluation management (e.g., performance management behavior). It can indicate the customer's terminal performing the operation.
  • a terminal of an evaluator or an evaluation subject i.e., an evaluator
  • evaluation management e.g., performance management behavior
  • the computing device 200 may collect various information about the user's personal information, tasks performed, past evaluation history, etc. through the first terminal 100 or an internal database.
  • the second terminal 150 may collect external data regarding the user of the first terminal 100, that is, the evaluator/evaluation writer or the company to which the user belongs.
  • external data about the company may include the company's size (for example, number of full-time employees), period of existence, industry, and the like.
  • external data about the user of the first terminal 100 may mean, for example, all data excluding data accumulated using the first terminal 100.
  • This data may include, for example, your social media history and whether you use job search platforms.
  • the job search platform may include a typical job search site, for example, LinkedIn (linked-in), etc.
  • the computing device 200 may recommend or suggest an evaluation method for evaluating members according to the present disclosure based on information collected through the first terminal 100 and/or the second terminal 150, and the evaluator Can perform evaluation according to the recommended or proposed evaluation method through the first terminal 100.
  • the computing device 200 may diagnose the evaluator's tendency based on evaluation data and provide feedback on the content of the evaluation conducted by the evaluator based on the diagnosis.
  • the computing device 200 automatically recommends and suggests an evaluation method with reference to information collected through the first and second terminals 100 and 150, and based on the proposed results, the meeting participants determine the purpose of the meeting. You can set, proceed and record.
  • the computing device 200 since it is the entity that provides and manages the service platform according to the present disclosure, it may indicate that a service is provided based on such a service platform.
  • the two terminals may be implemented as one terminal.
  • more terminals may be used for the member evaluation and management service according to the present disclosure.
  • the first terminal 100 is used in a symbolic sense and does not necessarily represent only one terminal, but may be used to represent a plurality of terminals.
  • the computing device 200 may be called by various names such as server, computer, and control unit, but is not limited to those names.
  • FIG. 2 is a block diagram of the computing device 200 shown in FIG. 1.
  • the computing device 200 can be largely divided into a memory and a processor 210, and the memory may correspond to or include a storage unit 260, and the processor 210 may include a communication unit 220, a collection unit 230, a processing unit 240, a control unit 250, etc.
  • the communication unit 220 may provide an environment for communication with the first terminal 100, the second terminal 150, and external sources.
  • the communication unit 220 may include the following modules.
  • the communication module supports data communication with the terminals 100 and 150 and can receive user information from the terminals 100 and 150.
  • the communication module can be connected to various external sources and receive data related to the member evaluation and management service according to the present disclosure. In the above, some data may be received directly from the user's terminal (100, 150) rather than from an external source, and overlapping data may be received from a highly reliable source (in this case, the source also includes the terminal (100, 150)), the latest It may be filtered by referring to information, etc.
  • This communication module may include at least one component that enables communication with the terminal 100, 150 or at least one external source (not shown), for example, a wired communication module, a wireless communication module, and a short-distance communication module. It may include at least one of a communication module, a location information module, etc.
  • the wired communication module is a variety of wired communication modules such as a local area network (LAN) module, a wide area network (WAN) module, or a value added network (VAN) module, as well as a USB ( Can include a variety of cable communication modules, such as Universal Serial Bus (HDMI), High Definition Multimedia Interface (HDMI), Digital Visual Interface (DVI), recommended standard-232 (RS-232), power line communication, or plain old telephone service (POTS).
  • HDMI Universal Serial Bus
  • HDMI High Definition Multimedia Interface
  • DVI Digital Visual Interface
  • RS-232 recommended standard-232
  • POTS plain old telephone service
  • the wireless communication module includes GSM (global system for mobile communication), CDMA (Code Division Multiple Access), WCDMA (Wideband Code Division Multiple Access), and UMTS, in addition to Wi-Fi module and WiBro (Wireless broadband) module. It may include a wireless communication module that supports various wireless communication methods such as (universal mobile telecommunications system), TDMA (Time Division Multiple Access), LTE (Long Term Evolution), 4G (generation), 5G, and 6G.
  • the short-range communication module is for short range communication, including BluetoothTM, RFID (Radio Frequency Identification), Infrared Data Association (IrDA), UWB (Ultra Wideband), ZigBee, and NFC (Near).
  • Short-distance communication can be supported using at least one of (Field Communication), Wi-Fi (Wireless-Fidelity), Wi-Fi Direct, and Wireless USB (Wireless Universal Serial Bus) technologies.
  • the location information module is, for example, a module for acquiring the location (or current location) of the terminals 100 and 150, and representative examples thereof include a Global Positioning System (GPS) module or a Wi-Fi module.
  • GPS Global Positioning System
  • Wi-Fi Wireless Fidelity
  • the location of the terminals 100 and 150 can be obtained using signals sent from GPS satellites.
  • the location of the terminals 100 and 150 can be obtained based on information from the Wi-Fi module and a wireless AP (Wireless Access Point) that transmits or receives wireless signals.
  • the location information module can replace or additionally perform any of the functions of other modules of the communication module to obtain data about the location of the terminal (100, 150).
  • the location information module is a module used to obtain the location (or current location) of the terminal 100 or 150, and is not limited to a module that directly calculates or obtains the location of the terminal 100 or 150. These location information modules may be built into the terminals 100 and 150 to provide location information of the terminals 100 and 150 to the computing device 200.
  • the collection unit 230 may collect information about the users of the first terminal 100 and the second terminal 150 and information about the organization to which the terminal user belongs through the communication unit 220.
  • the processing unit 240 may process evaluation and management-related data related to various embodiments of the present disclosure.
  • the control unit 250 is involved in overall control of the computing device 200 and can transmit necessary control signals for each component.
  • the control unit 250 controls the operation of all components of the computing device 200, and includes a storage unit 260 that stores data about various algorithms available in the process or programs that reproduce the algorithms. , and various operations for providing member evaluation and management service information according to the present disclosure can be performed using the data stored in the storage unit 260.
  • the storage unit 260 may store data collected, calculated, processed, etc. within the computing device 200.
  • FIG. 3 is a block diagram of the processing unit 240 according to an embodiment of the present disclosure, and the configuration related to member information-based evaluation and management is shown, but is not limited thereto.
  • the “evaluation method” described in this specification refers to a method of evaluating members through a service platform for member evaluation and management services.
  • This evaluation method includes, for example, evaluation direction, evaluation order, and job evaluation data. It can be determined by referring to the following.
  • the evaluation direction data may indicate whether the evaluation of members is, for example, bottom-up, top-down, parallel, or a combination of bottom-up and top-down.
  • the above parallel expression can refer to evaluations between members with the same or similar jobs, ranks, or positions.
  • the above evaluation order data indicates the number of evaluations used to evaluate members.
  • the job evaluation data may represent data for evaluating the member's job, such as competency, performance, and skill.
  • the present disclosure is not necessarily limited to the above definitions or values.
  • the “evaluation relationship” described in this specification may refer to the relationship between the evaluator and the evaluated among the members, for example, the entity performing the evaluation of the member through the service platform. This evaluation relationship can be referred to in determining the optimal evaluator for the evaluation subject and setting evaluation authority for the determined evaluator. At this time, the evaluator's decision may be made based on the degree of suitability calculated by taking into account the relationship with the person being evaluated, that is, the person being evaluated.
  • the evaluator with the highest degree of suitability calculated as an evaluator for the evaluator can be determined to be the optimal evaluator, and such optimal evaluator may include, for example, a colleague who has collaborated on multiple tasks, a predecessor in the job, or a teammate from the same team. It may be, etc.
  • the optimal evaluator various circumstances other than the suitability may be further considered.
  • the above-mentioned evaluation authority setting refers to the possibility of referencing the evaluation results of the previous year and the evaluation results of others, etc., and is calculated as an optimal evaluation relationship and used as auxiliary data in the evaluation process according to the hierarchy between the designated evaluation subject and evaluator and related pre-established policies.
  • evaluation authority may be determined based on the suitability of the evaluator determined to be the optimal evaluator. For example, even if the evaluator with the highest suitability among a plurality of evaluation candidates is determined to be the optimal evaluator, the evaluation authority of the evaluator may be set differently depending on whether the suitability is a first critical suitability interval, a second critical suitability interval, etc.
  • the evaluation suitability calculated for all target evaluators is less than the standard value (e.g., 50%)
  • the target evaluation candidate is re-selected, but the optimal evaluator is not selected.
  • the re-selected evaluator can be excluded from the list of candidates.
  • the evaluation authority described above may refer to the scope or authority of access to data or information for the evaluation subject, evaluation method, evaluation questions, etc., depending on the embodiment.
  • Evaluation questions described in this specification may refer to evaluation questions used when an evaluator in the above evaluation relationship evaluates the person being evaluated according to the selected evaluation method. At this time, the evaluation questions may include information for defining and judging diversity regarding the organization and its members as well as work issues.
  • the processing unit 240 may include, but is not limited to, an evaluation method calculation unit 310, an evaluation relationship calculation unit 320, and an evaluation item classification unit 330.
  • the evaluation method calculation unit 310 may calculate an evaluation method suitable for member evaluation based on the information collected through the collection unit 230 of FIG. 2.
  • the evaluation relationship calculation unit 320 provides relationship data for selecting the optimal evaluator for evaluation of the evaluation target, that is, the person being evaluated, among the evaluation candidates selected based on the evaluation method calculated by the evaluation method calculation unit 310. You can. As described above, the evaluation relationship calculation unit 320 may differentially grant evaluation authority to the relevant evaluator based on the relationship data.
  • the evaluation item classification unit 330 classifies the evaluation items to be used for evaluation based on the evaluation method calculated by the evaluation method calculation unit 310 and the relationship data between the evaluator and the evaluated person provided by the evaluation relationship calculation unit 320. Among the classified evaluation questions, the optimal evaluation questions can be determined and provided.
  • the member evaluation and management service system (or device) according to the present disclosure can provide evaluation method data determined with reference to the evaluation subject and organizational data.
  • evaluation subject In the above, the evaluation subject, organizational data, etc. that are referenced to define the evaluation method can be classified into external data and internal data.
  • internal data can be defined as data input by a service platform user provided by a device or system according to the present disclosure, or data generated, stored, etc. processed during use
  • external data can be defined as data provided by the service platform. It can be defined as data that is difficult or impossible to obtain through .
  • external data may be data that is collected, acquired, and processed through an external source.
  • the internal data of the evaluation subject information can be divided into user input information and user behavior information.
  • the user input information may include personnel information such as job, rank, position, year of joining, department, department, etc. entered by the user in the process of using the service platform.
  • user behavior information may represent information extracted based on log data representing actions that occur as the user uses the service platform.
  • actions may represent, for example, viewing pages, writing evaluations, applying for interviews, etc. in the process of using the service platform.
  • the behavior log data may consist of logs about the type of behavior of the service platform user, the time difference between each behavior, and the target of the behavior, and each log is collected to determine the user's behavior type through machine learning. or additional information can be used as a reference for predictions.
  • the computing device 200 vectorizes the various behavior logs of members on the service platform and various sequences of information including the time difference between the behavior logs, and vectorizes the various information based on each behavior log. Define user behavior information by generating at least one of the behavior log vector sequences and calculating the type, time, etc. of the user's behavior related to member evaluation based on the behavior log sequence vector and/or the behavior log vector sequence. You can.
  • Vectorization usually refers to converting a concept into numbers so that a machine can learn it.
  • vectorization in the present disclosure may indicate, for example, that the evaluator quantifies and records the user's behavior log data, such as viewing past records of the evaluation subject, viewing interview records, starting evaluation, ending evaluation, etc.
  • sequencing may indicate that the behavior logs or the vectorized behavior logs are arranged in time series and set as one object.
  • the evaluator's sequence can be expressed in a time-series order, such as viewing past evaluation records for the person being evaluated, viewing previous interview records, starting evaluation writing, and ending writing evaluation.
  • the evaluation process of each member (evaluator), such as before and after writing the evaluation, can be identified, and based on this, the evaluator can be classified in various ways. Because you can.
  • Table 1 below categorizes evaluator types according to an example, but the present disclosure is not limited thereto.
  • Type 1 View past evaluations -> Types of evaluations to write Type 2 View past evaluations -> View interview records -> Types of evaluations Type 3 View interview records -> View past evaluations -> Types of evaluations Type 4 View interview records -> Type of evaluation Type 5 Type of evaluation written without viewing records Type 6
  • the computing device 200 may generate or obtain statistical data on the evaluation writing method for each evaluation type or evaluation type group through the quantified classification.
  • the computing device 200 can provide a service by training the obtained quantified data to artificial intelligence (computer), thereby generating an evaluation guide suitable for each evaluation type based on artificial intelligence.
  • a service platform In preparing for a meeting (1:1) between members, the computing device 200 accesses the service platform in advance and registers the agenda for discussion, and determines whether and when to add opinions on the other party's agenda. You can classify user types.
  • the time of addition may indicate, for example, addition just before the interview, addition 1 hour before the interview, etc.
  • the external data in the above refers to data obtained through external sources, such as the user's social media (SNS: Social Networking Service) data, rather than the service platform, through which information on total experience, social media activity, etc. is extracted. and can be referred to for user type classification, etc.
  • SNS Social Networking Service
  • the member evaluation and management service system extracts or calculates a list of evaluation methods suitable for the target and the suitability of each evaluation method based on the above-described internal and/or external data to provide optimal evaluation. Methods can be recommended.
  • the organizational information mentioned in this disclosure can also be divided into internal data and external data.
  • the internal data represents the organization's composition and size, such as the number of organizations entered by the user and the relationships between the organizations
  • the external data represents the organization's It can indicate the period of existence, industry type, industry group information, degree of media exposure, etc.
  • the member evaluation and management service system identifies the tendencies and philosophies of the organization based on the various internal and/or external data described above, and the identified tendencies and philosophies of the organization include a list of appropriate evaluation methods and It can be referenced in extracting or calculating the suitability of each evaluation method.
  • the member evaluation and management service system (or device) can extract or calculate the appropriate evaluation time and output of the evaluation method by referring to past evaluation history.
  • the member evaluation and management service system (or device) according to the present disclosure can calculate overall suitability, including suitability for the organization and target person, and recommend and provide an appropriate evaluation method by referring to past evaluation history.
  • the member evaluation and management service system (or device) according to the present disclosure can calculate the evaluation relationship using data such as the above-described evaluation method.
  • the evaluation suitability for each evaluator candidate selected based on the evaluation method can be calculated for each evaluator.
  • the evaluation suitability refers to the suitability of the evaluator candidate for the evaluation target according to the evaluation method.
  • it objectively identifies whether an individual evaluator candidate is suitable as an evaluator for the evaluation target and, if so, to what extent. It can be defined as data provided through calculation to make it possible.
  • the selection of evaluator candidates based on the above evaluation method may mean selection of a leader for each evaluator in the top-down case, and selection of subordinates for each subject in the bottom-up case.
  • evaluation suitability can be selected by considering the length of service between the subject and the evaluator candidate, joint work performance, quality and quantity of interviews, consistency of behavior patterns, evaluation tendencies, etc.
  • the evaluation tendency may indicate, for example, conservatism, enjoyment, etc.
  • the evaluation burden on the evaluator can be minimized by considering evaluations that are already in progress or are being conducted simultaneously.
  • the computing device 200 can recommend and provide an evaluation relationship in which the suitability of each evaluator-evaluation subject (i.e., appraisee) pair is greater than or equal to a threshold value, while minimizing the evaluation burden on each evaluator.
  • the computing device 200 may automatically grant appropriate evaluation authority according to the relationship between each evaluator-subject pair and preset evaluation guidelines.
  • the relationship between each evaluator-subject pair can be expressed as a superior-subordinate relationship, a peer relationship, etc.
  • the member evaluation and management service system (or device) according to the present disclosure can present evaluation questions according to the proposed evaluation method.
  • the member evaluation and management service system classifies and databases the evaluation history of users using the service platform and the evaluation questions entered by them, based on the presented evaluation method and the established organizational values and evaluation guidelines. The degree of suitability of each evaluation question can be calculated.
  • the present disclosure it is possible to present a set of evaluation questions that can calculate a degree of suitability above a threshold while avoiding evaluation of unnecessary overlapping items through evaluation questions.
  • the fitness above the threshold may indicate the maximum fitness, but is not limited thereto.
  • FIG. 6 is a diagram illustrating a detailed block diagram of the processing unit 240 according to an embodiment of the present disclosure.
  • the evaluation method calculation unit 310 may include a data classification unit 610, a data extraction unit 620, a data conversion unit 630, a learning unit 640, and a calculation unit 650.
  • a data classification unit 610 may include a data classification unit 610, a data extraction unit 620, a data conversion unit 630, a learning unit 640, and a calculation unit 650.
  • the present disclosure is not limited to this.
  • the data classification unit 610 may classify external data collected through the collection unit 230 of FIG. 2 according to predetermined standards.
  • the data extraction unit 620 may extract usage behavior information of the first terminal 100 that represents the user's characteristics.
  • the data conversion unit 630 can convert the data extracted through the data extraction unit 620 into a learnable form.
  • the learning unit 640 can learn by combining the personal information input by the user through the first terminal 100, the results of the data conversion unit 630, and the results of the first data classification unit 610.
  • the calculation unit 650 may derive appropriate evaluation methods based on the results of the learning unit 640 and transmit them to the communication unit 220.
  • the evaluation method calculation unit 310 can provide an appropriate evaluation method considering the characteristics of the organization and the characteristics of the evaluation target.
  • the characteristics of the organization can be classified by collecting external data such as period of existence, industry/industrial group, and location.
  • the characteristics of the subject include usage behavior information accumulated through the service platform using the first terminal 100 and previously entered personal information (e.g., rank, position, tasks performed, past evaluation results, etc.) It can be specified based on
  • the usage behavior information may represent various action logs on the service platform, action sequence vectors that sequence time differences between actions, tasks performed on the service platform, and various actions. For example, this may be referred to in the judgment of the evaluation candidate's sincerity or participation in the evaluation.
  • the evaluation method calculation unit 310 can recommend the optimal evaluation method based on the specified information about the organization and target person.
  • the evaluation method may mean the direction of evaluation, the order of evaluation, the cycle and timing of evaluation, evaluation items (questions), etc.
  • the evaluation cycle and timing may be expressed as regular or irregular, for example.
  • the predefined regular evaluation cycle can be adjusted according to the evaluation results (e.g., average) during the previous or previous predetermined period. For example, if the evaluation result is below the threshold (or judged to be bad), it is adjusted to be shorter than the preset regular evaluation cycle for the member, and if the opposite is true, that is, the evaluation result is above the threshold (or judged to be good) In this case, it can be adjusted to be longer than the regular evaluation cycle previously set for the member.
  • the degree of adjustment of the regular evaluation cycle may be differentially controlled depending on how far the evaluation result is from the threshold.
  • feedback data for the evaluation may be generated within a predetermined time so that it can be reflected in the preset evaluation cycle and timing adjustment.
  • the reliability of the evaluation made immediately before is calculated, and if the reliability value is less than the threshold value, the member can be evaluated by another evaluator at a random evaluation time.
  • the evaluation of the member by the other evaluator may be performed according to the same evaluation method as the previous evaluator or a different evaluation method.
  • Other evaluation methods may include not only the aforementioned evaluation direction, evaluation order, or evaluation questions, but also document evaluation using evaluation data such as conversations exchanged during the evaluation process between the previous evaluator and the relevant member.
  • Irregular evaluation with the above evaluation cycle may be performed arbitrarily according to the occurrence of a predetermined event.
  • a predetermined event for example, if the evaluation results made during the regular evaluation cycle fall by more than a threshold compared to the previous one, the evaluation cycle can be set as irregular, and the member's work performance, changes in qualifications such as promotion or acquisition of other certifications, or changes in position or job are performed.
  • irregular evaluation may be performed immediately or at any time regardless of the preset regular evaluation cycle.
  • Weights are assigned to each of the above-mentioned evaluation cycle and timing and related contents, and based on this, the evaluation method may be influenced.
  • the evaluation relationship calculation unit 320 of FIG. 3 will be described with reference to FIG. 6 as follows.
  • the evaluation relationship calculation unit 320 includes a data classification unit 610, a data extraction unit 620, a data conversion unit 630, a learning unit 640, and a calculation unit 650. It can be. However, the present disclosure is not limited to this.
  • the data classification unit 610 may classify external data collected through the collection unit 230 of FIG. 2 according to predefined criteria.
  • the data extraction unit 620 may extract relationship information indicating characteristics between a user and other users.
  • the user and other users may represent, for example, an evaluator and an evaluated person.
  • the data conversion unit 630 can convert the data extracted through the data extraction unit 620 into a form that is a network analysis indicator and learnable, such as proximity and brokerage.
  • the learning unit 640 collects personal information entered by the user through the first terminal 100, results of the data conversion unit 630, results of the data classification unit 610 that collects and classifies organizational characteristic information, and Based on the relationships and results of past evaluations, you can learn to suggest evaluation suitability for potential evaluators (for example, the optimal evaluator for the proposed subject).
  • the calculation unit 650 may calculate and present the evaluation suitability of potential evaluators based on the learned results.
  • This evaluation suitability can also be used as a weight for each evaluator.
  • having a high evaluation suitability may mean having a high weight.
  • Calculating evaluation relationships can be viewed as a process for selecting the optimal evaluator among evaluator candidates.
  • the post-evaluation contents of the evaluation in the previous evaluation can be referred to. For example, weighting may be given based on whether the evaluator candidate made a mistake in a previous evaluation or as a result of a post-evaluation for the evaluation. For example, whether a mistake is made as a result of the post-evaluation may include a general mistake and a mistake depending on the state of the person being evaluated after the evaluation. First, simple mistakes, repetitions of mistakes, and intentional mistakes can be distinguished from common mistakes, and different weights can be assigned to each case.
  • the evaluation of the assessee made by the evaluator candidate at the time of the relevant evaluation can be compared with the current status of the assessee, and the degree of mistake may be quantified and given different weights. For example, if a candidate evaluator has expressed a negative evaluation opinion about the person being evaluated, but the evaluation of the person being evaluated is currently the best, negative weight may be given to the candidate's qualifications or ability as an evaluator. Meanwhile, in the above case, post-mortem consideration of such evaluation mistakes, for example, whether the evaluation of the evaluator candidate at the time was not a mistake and whether there was any motive or opportunity of the evaluator after that, can be referred to.
  • relationship information is determined based on not only the above-mentioned position or rank, but also whether or not the same or similar duties are performed, whether or not the same department is performed, gender, number of years worked together in the same department, current or recent work in the same department, experience in working on a project together, etc. Weights may be assigned differently.
  • information on the group to which each evaluator candidate or evaluator belongs may be further considered. For example, different weights may be assigned when the atmosphere of the group to which the evaluator candidate or target evaluator belongs is poor and when the atmosphere is good. Additionally, if the evaluator candidate belongs to a different group from the target evaluator, the relationship with the leader of the group to which the evaluator belongs may also be considered. In the above case, the weight may be determined by further considering the relationship between the group to which the evaluator candidate belongs and the group to which the target evaluator belongs.
  • the evaluator candidate's internal reputation, gender, number of evaluator participations, and whether or not the target evaluate has been previously evaluated may be assigned individual weights.
  • the evaluation item classification unit 330 may be configured to include only a data classification unit 610, a learning unit 640, and a calculation unit 650.
  • the data classification unit 610 may classify the accumulated item data collected through the collection unit 230 of FIG. 2 according to predetermined standards.
  • the learning unit 640 can learn a classification model that allows automatic classification when item data classified by the data classification unit 610 is input.
  • the calculation unit 630 can automatically classify new questions when they are input using the learned model.
  • the calculation unit 630 can calculate the suitability of each item and the suitability of the item set based on the set evaluation method and relationship and present an optimal item set.
  • the evaluation item classification unit 330 can provide information on the order of evaluation items. This is to derive evaluation results logically.
  • the evaluation question classification unit 330 may provide different evaluation questions depending on whether the evaluation method determined according to the present disclosure is non-face-to-face evaluation or face-to-face evaluation. For example, if the evaluation method is a non-face-to-face evaluation method and the number of evaluation rounds is 3, the evaluation item classification unit 330 may classify and provide evaluation questions according to each order.
  • the evaluation question classification unit 330 can generate and provide the evaluation questions themselves by dividing them into common questions and evaluation subject-specific questions.
  • the evaluation subject-specific questions may be derived from common questions.
  • the evaluation item classification unit 330 may generate and store a set of each evaluation item and correct answer in the form of a lookup table, and provide additional questions by comparing the actual evaluator's responses with the lookup table. In other words, the evaluation item classification unit 330 can ensure that the lookup table includes information about additional questions or related questions based on predictable responses, rather than a single correct answer.
  • the additional questions or related questions can be created in the form of individual lookup tables, and link information can be created so that each lookup table in the hierarchical structure is related to each other, so that additional evaluation item data can be extracted and provided immediately. If a response that is not defined in the lookup table is received, the evaluation item classification unit 330 may guide the response to a question about an evaluation item other than the evaluation item defined in the previous lookup table set.
  • the evaluation item classification unit 330 may assign weights to the evaluation items based on evaluation items adopted and used in the previous evaluation and post-evaluation, that is, feedback. At this time, the evaluation item classification unit 330 may adjust the weights by referring to recent trends. In the above, trends may include evaluation questions-responses between other evaluators and the appraised person, information that has recently become an issue within the company, information that is an issue on recruitment/job search sites, etc.
  • the evaluation item classification unit 330 may reclassify a predefined item set with reference to the above-described information. For example, the evaluation item classification unit 330 performs a test by selecting and providing some individual evaluation questions or sets of evaluation questions to random members at any time before evaluation, and each evaluation question or evaluation based on the results. You can set whether or not to adopt the question set, its weight, etc. At this time, some individual evaluation items or sets of evaluation items in the test may be related to common evaluation or may include job-specific items. In addition to the above-mentioned members, the subjects of the test may include the general public, job seekers, evaluation experts such as evaluation coaching experts and psychiatrists, etc. Depending on the test subject, different weights may be assigned to the results of the test.
  • the evaluation question classification unit 330 creates and tests in advance a plurality of evaluation questions or question sets by considering nuance or gender for the same question or category, and selects a specific question or set according to the results to use it for evaluation. .
  • Figure 7 is a flowchart illustrating a method of providing member evaluation and management services according to an embodiment of the present disclosure.
  • 8 to 10 are diagrams illustrating a user interface for providing member evaluation and management services according to an embodiment of the present disclosure.
  • the computing device 200 may receive member information.
  • the computing device 200 may generate evaluation method data by extracting evaluation subject and organization information from the received member information.
  • the computing device 200 may generate evaluation relationship data including an evaluator candidate and evaluation suitability for the extracted evaluation subject based on the generated evaluation method data.
  • the computing device 200 may generate evaluation item data for an evaluator candidate selected from the evaluation relationship data based on the generated evaluation method data.
  • the computing device 200 may provide the generated evaluation method data, evaluation relationship data, and evaluation item data.
  • Figure 8(a) shows information on members who are evaluated being provided through a user interface provided by the service platform. Through the user interface in (a) of FIG. 8, the person being evaluated and his or her information can be known.
  • Figure 8(b) shows that evaluator candidates and their suitability are provided through the user interface provided by the service platform.
  • the evaluator can obtain information about the member subject to evaluation and information about the recommended evaluation method for the selected member.
  • the evaluator can know the information and suitability of the evaluator candidate and obtain information about the recommended evaluator candidate that is most suitable for him or her.
  • evaluation method and evaluation relationship information 910 item set and its suitability 920, individual questions and their suitability 930, and recommended item set and individual item information 940 is being provided.
  • item set information about individual items belonging to or constituting the item set and their degree of suitability may be provided.
  • the recommended question set and individual questions may be entirely new question sets and individual questions selected from, or extracted from and processed from, the question set information 920 and the individual question information 930.
  • evaluator information 1010 evaluator information 1010, recommended evaluator candidate information 1020 suitable for the evaluator, recommended evaluation method information 1030, evaluation relationship information 1040, and recommended item sets and individual Question information 1050 may be provided.
  • FIG. 4 is a block diagram of the processing unit 240 according to another embodiment of the present disclosure.
  • the processing unit 240 may include an evaluation tendency diagnosis unit 410, an evaluation content determination unit 420, an evaluation content correction unit 430, an evaluation guide processing unit 440, and the like.
  • the evaluator's tendency is diagnosed based on evaluation data, the evaluator's evaluation content is evaluated, an appropriate evaluation guide is recommended from a database (DB), or word usage characteristic information of the company is calculated. Based on this, evaluation sentences can be improved and feedback can be output.
  • DB database
  • evaluation of members can be performed in advance, recorded, and stored.
  • the present disclosure discloses diagnosing the evaluator's tendency based on evaluation data and providing evaluation content feedback, ensuring accuracy based on the existing evaluation tendency when writing a quantitative evaluation of the evaluator, and an automatic sentence conversion system based on evaluation feedback.
  • Evaluation of evaluation contents can be comprised of sincerity and suitability. Sincerity indicates whether the evaluator wrote the evaluation with sincerity and sincerity, and suitability can indicate the suitability and appropriateness of the evaluation contents.
  • the computing device 200 may determine sincerity based on a behavior log indicating the time difference between the actions performed by the evaluator until the completion of the evaluation in relation to evaluation preparation.
  • the computing device 200 may sequence the behavior logs to create a sequence vector representing the evaluator's behavior characteristics.
  • the computing device 200 may calculate the types of preliminary tasks performed and the time devoted to creating the evaluation based on the action sequence vector.
  • Evaluation similarity may indicate the degree of similarity between past evaluation content and written evaluation content.
  • the computing device 200 may calculate sincerity by combining the time devoted to evaluation preparation, the types of actions performed prior to evaluation, and the similarity in evaluation.
  • Suitability/evaluation type can be calculated. For example, it can be divided into general suitability and suitability for the evaluation field and purpose.
  • the computing device 200 estimates the topic through machine learning techniques such as morphological analysis and topic modeling of the evaluation content with respect to the suitability for the evaluation field and purpose, and calculates the similarity between the evaluation topic and purpose and the calculated topic. You can.
  • the computing device 200 may calculate the suitability of the corresponding evaluation by combining the general suitability and suitability for the evaluation field/purpose.
  • Diagnosis of evaluator tendencies can be made by combining information about the evaluator, information about the relationship between the evaluator and the evaluator, and information about the organization to which the evaluator/evaluate belongs, and comparing it with other internal/external evaluators.
  • the computing device 200 may classify each type of evaluator information, relationship information, and organization information. In other words, the evaluator type, relationship type, and organization type can be calculated.
  • the computing device 200 may extract an internal evaluation history that matches the calculated type and an external (other customer) evaluation history that exists on the service platform.
  • the computing device 200 may diagnose the evaluator's evaluation tendency based on the extracted internal/external evaluation history.
  • the computing device 200 may determine whether to make a lenient or conservative evaluation by comparing the evaluator's tendency with the distribution of evaluation results.
  • the computing device 200 learns the company's sentence patterns recorded through 1:1, reviews, and target products of the service platform, calculates the company's word usage characteristic information and representative tone, and calculates
  • the evaluation sentence can be modified through a reversal of the sentence using the specified characteristics.
  • the representative tone is used by the company itself in not only text data of evaluation data within the company's members, but also in company data stored or transmitted/received within the company, company announcements, company notices, external promotional materials, etc. even if it is not evaluation-related data. It can be calculated from sentences and words.
  • the calculation conditions at this time may be calculated with weights based on the frequency of the word and/or sentence, or may be calculated with weights based on the importance of the document in which the word and/or sentence appears. , it can be calculated with weight given according to the rank of the company member who used the word and/or sentence. Additionally, the computing device 200 may collect information about the representative tone of not only the company in question but also similar companies belonging to similar technology fields as the company from external sources, and convert the evaluation sentence based on this. External sources at this time may be promotional materials such as social networking services (SNS) of similar companies, related columns, related articles, company introductions, and IR (Investor Relations) materials.
  • SNS social networking services
  • the computing device 200 uses information about the company (experience, industry, media exposure, organizational chart, etc.) and information about each individual's characteristics to create similar types of words.
  • the tone of voice can be calculated by extracting sentence data from companies or individuals.
  • the computing device 200 can collect all sentences written by company members, extract context information through keyword extraction and topic extraction, and specify the meaning of words used based on the extracted context information. In addition to specifying general dictionary meanings and synonyms, you can also specify the meaning of specific words in your company. Through this, it is possible to group companies with similar information about the company as well as the tendency of sentences used.
  • the computing device 200 decomposes sentences into token units and builds data that can be learned by a natural language processing model through stopword processing, etc. By learning data that reflects the characteristics of similar types of companies, you can build a model that reflects the characteristics.
  • the computing device 200 performs single language translation using the constructed model and converts the sentence through same-language translation/paraphrase, thereby ensuring anonymity.
  • the computing device 200 can convert the evaluations written by all individuals into the representative tone of the company or the representative tone of companies similar to the company.
  • the representative tone of companies similar to the company in question can be collected from external sources, and the evaluation sentence can be converted based on this.
  • External sources at this time may be promotional materials such as social networking services (SNS) of similar companies, related columns, related articles, company introductions, and IR (Investor Relations) materials.
  • SNS social networking services
  • IR Investor Relations
  • the computing device 200 can be replaced as needed according to the specific word use case in the company specified above.
  • the computing device 200 can identify and remove information that can identify the evaluation subject and evaluation author, such as “ ⁇ , Mr., Team Leader,” included in the evaluation content, and personal sensitive information. As shown in FIG. 12, the computing device 200 can compare and present the evaluation sentence before/after modification.
  • the evaluation tendency diagnosis unit 410 can diagnose the evaluation tendency of the target evaluator.
  • the evaluation content determination unit 420 may determine the evaluation content of the target evaluator.
  • the evaluation content correction unit 430 may correct the evaluation content determined by the evaluation content determination unit 420.
  • the evaluation guide providing unit 440 may provide an evaluation guide according to the evaluation content determined by the evaluation content determination unit 420.
  • the computing device 200 may recommend items of a related evaluation guide based on the evaluation results of the evaluator and evaluation content. For example, the computing device 200 presents content that conveys the pros and cons of the lenient tendency to an evaluator who shows a strong tendency to be lenient, and if the suitability is low, the same evaluation as the content that informs the importance of evaluation that is consistent with the topic.
  • the evaluation contents of other organizations in the field can be presented as examples.
  • the computing device 200 diagnoses an evaluator's tendency based on evaluation data and provides feedback on evaluation content based on the diagnosis will be described.
  • Evaluation of the evaluator can be done, for example, by identifying the evaluator's tendencies.
  • the computing device 200 may compare the target evaluator with, for example, at least one other evaluator to identify the tendency of the target evaluator. That is, the computing device 200 may define the target evaluator's tendency based on the evaluation of other evaluators.
  • the at least one other evaluator may include, for example, a member of the same rank or a member of the same organization. Meanwhile, in the above, inclination can be defined as straightforwardness, psychology, etc.
  • the computing device 200 may determine the tendency of the target evaluator's evaluation score by comparing it with the evaluation scores of at least one other evaluator for the same member. At this time, if the evaluation scores of multiple other evaluators are used, the standard data for determining the tendency of the target evaluator's evaluation scores is the average evaluation score of all other evaluators' evaluation scores and the evaluation scores of all other evaluators. Calculate the average evaluation score of the evaluation scores excluding the highest evaluation score and the lowest evaluation score, and the distribution of evaluation scores of all other evaluators. Based on the calculated distribution, for example, distinguish and define tendencies and determine the distribution of the target evaluation score.
  • the other evaluators are again classified based on common features (e.g., same rank, etc.) among the plurality of other evaluators.
  • the distribution of evaluation scores can be calculated and reevaluated.
  • the computing device 200 may also perform qualitative evaluation by evaluating the content of the evaluator's evaluation. That is, the computing device 200 may calculate and provide qualitative evaluation results regarding the evaluation contents, such as whether the evaluator's evaluation is of good quality, for example, the evaluator's evaluation suitability, evaluation reliability, and sincerity of the evaluation.
  • the computing device 200 may evaluate the content of the evaluator's evaluation based on keywords.
  • the computing device 200 may evaluate whether the content is suitable for the evaluation field based on keywords of the evaluator's evaluation content and calculate the suitability of the evaluation content.
  • the evaluation field may include, for example, competency, achievement, interpersonal, peer evaluation, etc.
  • the computing device 200 can calculate the suitability of the evaluation content by learning key keywords commonly used in each evaluation field using artificial intelligence technology.
  • evaluation content that is, an evaluation statement
  • an artificial intelligence model when inputting evaluation content, that is, an evaluation statement, into an artificial intelligence model, if the evaluation statement contains keywords commonly used in the evaluation field more than a threshold, the suitability of the evaluation content of the evaluation statement can be judged as positive or appropriate. .
  • the computing device 200 extracts keywords (words) unrelated to the evaluation field from the corresponding evaluation sentence, and if the number of extracted keywords is more than the threshold, the suitability of the evaluator's evaluation content is negative or negative. It can be judged as unsuitable, etc.
  • the computing device 200 may define main keywords in advance, randomly assign preset weights to each keyword individually, and use the keywords to determine suitability for evaluation content.
  • the main keywords may be defined separately by category, such as positive and negative. Meanwhile, the computing device 200 may give additional weight to the defined main keyword depending on how repeatedly it is used in the corresponding evaluation sentence.
  • the computing device 200 is used repeatedly or as a main keyword in the evaluation statements of at least one other evaluator or evaluator(s) with the same evaluation tendency or the opposite evaluation tendency when the evaluator's tendency is predetermined. You can refer to keywords that are already defined or whose number of exposures is more than a threshold in the evaluation statements of multiple other evaluators.
  • the computing device 200 may provide data on the reliability and sincerity of the target evaluator's evaluation through analysis of the target evaluator's evaluation writing pattern.
  • the evaluation statement writing pattern may include, for example, the time required to write the evaluation statement, the time of writing the evaluation statement, etc.
  • the computing device 200 compares the time taken by the target evaluator to write the evaluation statement with the time taken by other evaluators for the same member, stores the writing time data, and calculates the reliability score of the evaluator's evaluation statement writing based on this. It can be calculated. The score calculated in this way can be provided with results such as trust, suspicion, and distrust.
  • the computing device 200 does not determine the reliability of writing an evaluation statement based solely on the time required to write the evaluation statement, but compares the average evaluation time of other evaluators with the distribution of evaluation time of other evaluators, etc. can be considered. Additionally, the computing device 200 may assign weights in consideration of the determined propensity of the evaluator so that the propensity of the evaluator can be reflected in the time required to write the evaluation statement.
  • the computing device 200 may compare the writing time with that of other evaluators regarding the evaluation of the same member or another member of the evaluator. For example, as a result of analyzing the evaluation time and evaluation point, the computing device 200 may recognize it as a factor in lowering reliability when evaluation data with a short duration is concentrated and distributed right before the evaluation deadline.
  • the computing device 200 may evaluate the target evaluator's evaluation statement not only through the time required to write the target evaluator's evaluation statement or the time of writing, but also through a combination of both.
  • the computing device 200 may extract and recommend an appropriate evaluation guide from a database (eg, in-house DB) based on the target evaluator's evaluation and the evaluation content.
  • a database eg, in-house DB
  • the computing device 200 can compare and analyze the evaluation tendency of the target evaluation writer based on accumulated evaluation writing data with that of other evaluation writers, and provide insight into the evaluation tendency and a guide or recommended article for high-quality feedback. .
  • the computing device 200 may extract some of the evaluations of members distributed at the top with preset evaluation scores among members of the same rank and present them as a guide.
  • the computing device 200 may extract data containing content that matches the factors reflecting low evaluation scores from in-house columns or guides written in-house and provide the information to the target evaluator. For example, the computing device 200 may recommend a column titled “What is the method for evaluating the target member’s job appropriately” among the in-house columns.
  • the computing device 200 may provide a guide by collecting articles from external sources and recommending them.
  • the computing device 200 can analyze factors that resulted in a low evaluation score from an external source, retrieve an article containing content that can improve the factors, and provide it to the target evaluator.
  • the computing device 200 may recommend a ‘radical candor’ article if the judged tendency of the target evaluation author is lenient.
  • the computing device 200 may provide a quantitative evaluation correction system to ensure accuracy based on existing evaluation tendencies when creating a quantitative evaluation of a target evaluator.
  • the computing device 200 may first identify the target evaluator's tendency, for example, and correct the quantitative evaluation result of the evaluation content according to the identified target evaluator's evaluation tendency.
  • the computing device 200 may determine the components corresponding to the lenient tendency (e.g., evaluation items, lenient Quantitative scores for propensity, etc.) can be removed and evaluation scores for the remaining evaluation items can be recommended.
  • the computing device 200 determines that when the target evaluator's initial evaluation score is '5-4-5-5-4', the score for each evaluation item excluding the lenient tendency component is '4-2-4-'.
  • a result window suggesting application of modifications can be provided, as shown in 4-3 ⁇ .
  • the computing device 200 may provide an automatic conversion system for at least one sentence included in the evaluation sentence based on evaluation feedback in connection with qualitative evaluation correction following the above-described quantitative evaluation correction.
  • the computing device 200 may calculate word usage characteristic information within an organization (company) that includes the target evaluation author.
  • the word usage characteristic information may be extracted not only from words used during evaluation within the relevant organization, but also from words used in various documents, writings, etc. of the relevant organization. This may be to ensure anonymity by referring to objectivity and lowering the risk of exposure to target evaluators.
  • the computing device 200 can extract frequently used words and sentence structures for each industry of the company and use them for qualitative evaluation. Meanwhile, the data to be extracted can be converted into a database.
  • the data to be extracted may include internal reports, external reports, notices, bulletin boards, etc.
  • the computing device 200 collects language or sentence data mainly used in the above-mentioned extraction target material within the company, and selects words that are synonymous with words frequently used within the organization among words included in the target evaluator's evaluation sentence. In this case, recommendations can be provided to automatically replace or replace.
  • the computing device 200 may replace specific words included in the inscription correction and the written evaluation sentence with representative words that reflect the characteristics of the company, or provide replacement recommendations.
  • the computing device 200 can provide a service that makes it difficult to easily infer who the target evaluator is by replacing sentence structures, sentence endings, words, etc. with sentence structures, sentence endings, words, etc. frequently used within the company.
  • the computing device 200 can learn words or sentence structures mainly used in evaluation based on the evaluation database (DB) and use them for sentence replacement.
  • DB evaluation database
  • the computing device 200 replaces the word and qualitatively corrects the evaluation data with more unity and consistency. Can perform or recommend.
  • the language mainly used in the evaluation field is not necessarily the words used inside the target company, but also data crawled from external sources such as external evaluation sites and evaluation columns may be used or referred to.
  • the computing device 200 may provide overall sentence improvement and feedback data in consideration of qualitative feedback tendency.
  • the computing device 200 can learn words or sentence structures mainly used in evaluation and replace evaluation sentences based on an evaluation database (DB) to ensure the anonymity of the target evaluation author.
  • DB evaluation database
  • performance feedback tendencies e.g., tone of voice, dialect, specific words, etc.
  • overall sentence improvement and feedback data can be provided as a service.
  • the computing device 200 may output result feedback that can lead to correction and flexible evaluation by improving the end of the sentence to a flexible tone that is not rigid in the evaluation statement of a target evaluator judged to have a strict evaluation tendency.
  • a phrase such as “A flexible and gentle tone of voice can help improve the relationship with the evaluator!” may be provided as the result feedback.
  • the computing device 200 extracts words with relatively low work-relatedness from the evaluation statement of a target evaluator whose reliability or sincerity was evaluated as low as a result of evaluation tendency judgment, and notifies the words so that they can be improved. can be provided.
  • the computing device 200 may provide a service with feedback data based on keywords and evaluation relevance.
  • keywords such as “health, alcohol, and tobacco” can be recognized using the feedback data, and guide data such as ‘Why not focus a little more on work-related feedback?’ can be provided to the target evaluator. .
  • identifying the tendency of the target evaluator, qualitative correction, and quantitative correction may be performed on an evaluation statement submitted after the target evaluator evaluates the person being evaluated, or may be provided in advance before submitting the evaluation statement. Additionally, the correction may be made on a simulation or previous evaluation statement (for the same appraisee or a different appraisee) prior to the evaluation of the appraisee, thereby providing for prior learning.
  • the above contents may be applied or recommended individually or in a form of a combination of at least two or more contents for the evaluation of the target evaluator.
  • FIG. 11 is a flowchart illustrating a method of providing member evaluation and management services according to another embodiment of the present disclosure.
  • FIG. 12 is a diagram illustrating a user interface 1200 for providing member evaluation and management services according to another embodiment of the present disclosure.
  • the computing device 200 may receive the content of the evaluator's evaluation of the member.
  • the computing device 200 may determine the evaluator's disposition and suitability for the evaluation content from the received evaluator's evaluation content, and generate evaluation content feedback including the determined suitability.
  • the computing device 200 may correct the received evaluator's evaluation content step by step according to the generated evaluation content feedback.
  • the computing device 200 may provide the generated evaluation content feedback and the corrected evaluation content.
  • step-by-step correction of the evaluation contents can be made through quantitative correction and qualitative correction.
  • the computing device 200 may store the previously received content of the evaluator's evaluation of the member.
  • the computing device 200 may determine the evaluator's evaluation score by comparing the evaluator's tendency with the evaluation score of at least one other evaluator for the same member.
  • the computing device 200 may determine the suitability of the evaluation content based on keywords included in the artificial intelligence-based evaluation content.
  • the computing device 200 may determine suitability for the evaluation content based on evaluation reliability and sincerity through analysis of the evaluation writing pattern included in the evaluation content.
  • the computing device 200 may extract evaluation guide data from a database based on the generated evaluation content feedback and provide the extracted evaluation guide data.
  • the computing device 200 may perform quantitative correction of the evaluator's evaluation content by modifying the evaluation score for each evaluation item included in the evaluation content based on the evaluator's tendency.
  • the computing device 200 may perform qualitative correction on the content of the evaluator's evaluation by converting at least one of words and sentences included in the content of the evaluator's evaluation based on the generated evaluation feedback.
  • the user interface 1200 shown in FIG. 12 includes evaluator information 1210, appraisee information 1220, evaluation content feedback information 1230, evaluator tendency information 1240, evaluation content suitability information 1250, and original evaluation content. (1260), a revised version of the evaluation content (1270), and other information may be included and provided.
  • the first terminal 100 in the member evaluation and management system may represent the terminals of all customers attending the meeting, and the computing device 200 may include the first terminal ( 100), the user's personal information, work performed, information on past evaluation history, etc. can be collected, and the second terminal 150 can collect external information about the company to which the user of the first terminal 100, that is, the meeting participant, belongs. Data can be collected.
  • FIG. 5 is a block diagram of the processing unit 240 according to another embodiment of the present disclosure.
  • the processing unit 240 may include a meeting topic calculation unit 510, a related information calculation unit 520, and the like.
  • the meeting topic calculation unit 510 can calculate an appropriate meeting topic and agenda based on the information collected through the collection unit.
  • the related information calculation unit 520 may present information about meeting participants regarding the information and topic/agenda used to calculate the meeting topic in the meeting topic calculation unit.
  • the computing device 200 analyzes member information and selects major topics of the interview such as growth, immersion, collaboration, and performance (e.g., first meeting data) and specific talking points (agenda) (e.g., second meeting data). Meeting data) and related information can be presented to help efficient and effective interviews between members.
  • major topics of the interview such as growth, immersion, collaboration, and performance (e.g., first meeting data) and specific talking points (agenda) (e.g., second meeting data).
  • Meeting data and related information can be presented to help efficient and effective interviews between members.
  • the computing device 200 can provide information including the main topic, agenda, interview time, and related information based on information about each of at least two interview participants, information about the relationship between participants, and organizational data. there is.
  • interview participant and organizational data can be further divided into external data and internal data.
  • internal data refers to information entered by the user into the service platform and data generated and stored according to the use of the service platform
  • external data may refer to data that cannot be obtained through the service platform. .
  • participant information can be divided into user input data, user behavior information, and user context information.
  • the above user input data refers to data accumulated by using the services of the service platform, such as personnel information such as job, rank, position, year of joining, department, and performance, and past evaluation/meeting records entered by the user to use the service platform. can do.
  • the user behavior information may refer to information extracted based on log data representing actions that occur as the user uses the service platform (viewing pages, writing evaluations, applying for interviews, etc.). This may also include past meeting/interview records and evaluation records.
  • User context information refers to the situation the user recently faced, and this situation may mean major events that affect performance, such as whether or not the user has been recently evaluated and whether or not he or she has been promoted.
  • the behavior log data consists of the type of behavior, the time difference between each behavior, and the target of the behavior
  • the processor may collect each log and extract the user's type and additional information through machine learning. For example, when preparing for a meeting (1:1) between members that are part of the service platform service, access the service platform in advance to register the discussion agenda (agenda) and whether to add opinions on the other party's agenda and when to add them (e.g. For example, users can be classified by type (added just before the interview, added 1 hour before the interview, etc.).
  • External data refers to users' SNS data other than the service platform, through which information such as total experience and SNS activity can be extracted and applied to user type classification.
  • relationship information may refer to information indicating differences or homogeneity between each interview participant's affiliation, rank, seniority, and evaluation experience (subject and evaluator). In other words, it may mean the relationship between information about each participant specified above. For example, in the case of an interview between a manager and deputy manager A and B, the manager/deputy manager is participant information about A and B, and the fact that A is superior to B is relationship information.
  • internal data may refer to the organizational structure (number of organizations, relationships, etc.) and size entered by the user. Additionally, it may also mean information about evaluations/reviews that are in progress or have been conducted. External data may refer to the organization's period of existence, industry type, industry group information, degree of media exposure, etc.
  • the computing device 200 can synthesize various internal and external data to estimate the organization's tendencies and philosophy and present appropriate topics and agendas accordingly.
  • the computing device 200 may provide information corresponding to the presented major topic and agenda.
  • the scope of information sharing with the other party may be limited by considering relationship information. For example, when an agenda for recent evaluation results is presented on the major topic of evaluation, information about recent and past evaluation results and trends is provided to the other party's immediate supervisor (to whom the evaluation results are disclosed), but otherwise, the evaluation results are provided. Or, in some cases, the fact that a recent evaluation has been performed may not be provided.
  • the computing device 200 may calculate the degree of similarity/relevance between the behavior and history of recent meeting attendees with respect to the presented topic and agenda, and provide related information showing a high degree of similarity to all attendees.
  • the configuration of the meeting topic calculation unit 510 of FIG. 5 is described as follows.
  • the conference topic calculation unit 510 may include a data classification unit 610, a data extraction unit 620, a data conversion unit 630, a learning unit 640, and a calculation unit 650.
  • the data classification unit 610 may classify external data collected through the collection unit 230 of FIG. 2 according to predetermined standards.
  • the data extraction unit 620 may extract first terminal 100 usage behavior information indicating user characteristics. Additionally, the data extraction unit 620 can extract relationship information indicating the relationship between meeting participants (supervisor, motivation, etc.).
  • the data conversion unit 630 can convert the data extracted through the data extraction unit 620 into a learnable form.
  • the learning unit 640 can learn by combining the personal information input by the user through the first terminal 100, the results of the data conversion unit 630, and the results of the data classification unit 610.
  • the calculation unit 650 presents the optimal topic for the selected conference participants based on the results of the learning unit 640.
  • the information and information synthesis method referred to for this purpose are as follows and are not limited to the following factors. No.
  • Appropriate topics and agendas can be presented by combining the above-mentioned information, each participant's personal information, and relationship information between attendees.
  • Agenda can create and present a recommended agenda pool by considering the similarity between the list of recommended agendas developed by the existing service platform and the types of agendas used by other users, including timing, agenda, and type of meeting attendee.
  • the related information calculation unit 520 may also include a data classification unit 610, a data extraction unit 620, a data conversion unit 630, a learning unit 640, and a calculation unit 650.
  • the data classification unit 610 may classify external data collected through the collection unit 230 of FIG. 2 according to predetermined standards.
  • the data extraction unit 620 may extract information about attendees of a meeting related to the presented topic/agenda.
  • the data conversion unit 630 can convert the similarity and relevance between the data extracted through the data extraction unit 620 and the selected topic/agenda into a computable form using a method such as natural language processing.
  • the learning unit and calculation units 640 and 650 can learn and calculate highly relevant information based on the converted data.
  • the computing device 200 selects the degree of disclosure/privateness and masking of the calculated information based on the relationship information between attendees calculated in the above-described topic/agenda calculation process and applies these to control the calculated information to be exposed to attendees. You can.
  • the computing device 200 may perform an evaluator's evaluation of a member, that is, an evaluator, in advance, store the corresponding evaluation record, and assist in conducting a meeting between the evaluator and the evaluator based on the stored evaluation record.
  • the evaluator is not necessarily limited to the evaluator who performed the evaluation of the appraised person.
  • the computing device 200 may extract and provide evaluation information about the member, that is, an evaluation record.
  • the computing device 200 may provide evaluation information in numerical form, provide comparison with the evaluation average of the same job group/position, and separately classify and display items in which the evaluation score of the evaluatee is lower than the average.
  • the computing device 200 may include evaluation grounds, including reference information, in the member's evaluation information.
  • the reference information may include progress in achieving goals, promotion records, past experience, etc.
  • the computing device 200 may provide a meeting agenda recommendation service based on the evaluation information of the person being evaluated.
  • the computing device 200 may recommend an agenda suitable for a meeting, such as a 1:1 interview, based on the evaluator's evaluation information. At this time, for example, when a low evaluation score is confirmed for a specific item based on the evaluation information of the person being evaluated, the computing device 200 may recommend the related item as a meeting agenda.
  • the computing device 200 can automatically recommend a topic for a meeting with a reviewer who has a low evaluation of the corresponding item through machine learning.
  • the computing device 200 provides, as an agenda after a meeting, “How to avoid stress within the organization” and “Maintaining good relationships with colleagues” for an evaluation subject who was evaluated low on items related to interpersonal relationships, such as friendliness felt by colleagues. At least one of the following: “Guidelines for action,” “Discussion of programs/clubs to promote friendship among company members,” “Effective response measures when experiencing unfair behavior from a superior,” and “How to approach subordinates in a friendly manner.” As a 1:1 meeting agenda, it can be automatically recommended as an agenda or question related to interpersonal relationships within the company.
  • the computing device 200 may provide evaluation information and a list of questions (surveys) based on the meeting agenda.
  • the computing device 200 may provide a list of questions for collecting related information.
  • the computing device 200 may include “Q: Are there any behaviors of co-workers that make you feel difficult?”, “Q: Are there difficult-to-reach people in the department?” We recommend a list of questions to automatically derive information related to the meeting agenda, such as “Q: Do you wish to move to a department?”, “Q: Do you tend to be more efficient when you work alone rather than with others?” Service can be provided.
  • the computing device 200 may calculate items requiring additional information collection based on the evaluation information and provide a list of questions for collecting related information.
  • the computing device 200 may say, “Q: How do you evaluate your work efficiency recently?”, “Q: Have you ever thought you needed a break?” “Is there anything”, “Q: Is there anything you would like to improve in your work processing?”, “Q: Are there any factors that impede your work processing?”, “Q: Is there anything you want from your work-related colleagues?”, “Q Based on evaluation information such as “Are you less interested in work or interested in other fields?”, a list of questions appropriate for determining the member’s status can be extracted and an automatic recommendation service provided.
  • the computing device 200 may provide an evaluation information automatic processing output service in consideration of the aforementioned meeting agenda.
  • the computing device 200 allows an evaluator to directly set the purpose of the meeting when opening a meeting, or to set the meeting agenda by receiving a recommendation according to the method described above.
  • the computing device 200 may process and output member evaluation information according to the purpose of opening the meeting set by the evaluator's selection.
  • the computing device 200 may process the evaluation information to suit the purpose of setting up the meeting and/or the meeting agenda and provide an output service, rather than simply providing an output service.
  • the computing device 200 provides information on the goal achievement level agreed upon by the organization and the individual within the salary contract period, rather than the member's simple goal achievement level, based on the member's evaluation information. Information can be printed.
  • the computing device 200 may output information about the member's contribution to the organization and the company's contribution to the organization's goals within the salary contract period.
  • the computing device 200 refers to or outputs information on whether the goal agreed upon at the time of last year's salary contract has been achieved or not by referring to the member's next year's goal and expected achievement OKR (Object Key Result) and KPI at the time of last year's salary contract. Service is possible.
  • the computing device 200 may output salary information of other members who have evaluation scores similar to the member in question or present it as comparative data.
  • Figure 13 is a flowchart illustrating a method of providing member evaluation and management services according to another embodiment of the present disclosure.
  • Figure 14 is a diagram illustrating a user interface for providing member evaluation and management services according to an embodiment of the present disclosure.
  • the computing device 200 may receive member information.
  • the computing device 200 may extract evaluation information from the received member information.
  • the computing device 200 may determine first meeting participants and second meeting participants based on the extracted evaluation information.
  • the computing device 200 extracts meeting participant information about the determined first meeting participant and the second meeting participant and relationship information between the first meeting participant and the second meeting participant, and uses the artificial intelligence-based First meeting data and second meeting data related to the first meeting data may be generated based on the extracted meeting participant information and the meeting participant relationship information.
  • computing device 200 may provide the generated first and second meeting data.
  • the user interface 1400 shown in FIG. 14 includes evaluator information 1410, evaluation information 1420, evaluation content feedback information 1430, recommended agenda and suitability information 1440, and meeting agenda-based question list information 1460. ), processed evaluation content that meets the meeting agenda (1470), and other information may be included and provided.
  • FIG. 15 is a block diagram of the processing unit 240 according to another embodiment of the present disclosure.
  • the processing unit 240 may include a component for determining work immersion status and providing management services based on artificial intelligence.
  • the processing unit 240 may include an information extraction unit 1510, an information determination unit 1520, a state management unit 1530, etc., but is not limited thereto.
  • the information extraction unit 1510 may receive member information and extract information for learning the member's work immersion state from the received member information.
  • the information extraction unit 1510 may extract work immersion status information of the target member from the received member information.
  • the configuration of the information determination unit 1520 of FIG. 15 will be described as follows.
  • the information determination unit 1520 may include a data classification unit 610, a data extraction unit 620, a data conversion unit 630, a learning unit 640, and a calculation unit 650.
  • a data classification unit 610 may include a data classification unit 610, a data extraction unit 620, a data conversion unit 630, a learning unit 640, and a calculation unit 650.
  • the present disclosure is not limited to this.
  • the data classification unit 610 may classify the internal data and external data collected through the collection unit 230 of FIG. 2 according to predetermined standards.
  • the data extraction unit 620 may extract usage behavior information from the first terminal 100 representing the user's characteristics.
  • the data conversion unit 630 can convert the data extracted through the data extraction unit 620 into a learnable form.
  • the learning unit 640 can learn by combining the results of the first data classification unit 610 and the data conversion unit 630.
  • the calculation unit 650 may derive appropriate evaluation methods based on the results of the learning unit 640 and transmit them to the communication unit 220.
  • the information determination unit 1520 may compare and determine the work immersion state of the target member with the work immersion state of the reference member, which will be described later, based on the learning results.
  • the state management unit 1530 extracts work immersion state management information from a database (e.g., corresponding to the storage unit 260 in FIG. 2) according to the determined work immersion state of the target member and generates service data. By transmitting it to the control unit 250, the generated service data can be provided under the control of the control unit 250.
  • a database e.g., corresponding to the storage unit 260 in FIG. 2
  • Figure 16 is a flowchart illustrating an artificial intelligence-based method of determining work immersion status and providing management services according to an embodiment of the present disclosure.
  • computing device 200 may receive membership information.
  • the computing device 200 may extract information for determining the member's work immersion state from the received member information and learn the information based on artificial intelligence.
  • the computing device 200 may extract work immersion status information of the target member from the received member information.
  • the computing device 200 may determine the work immersion state of the target member based on the learning result.
  • the computing device 200 may generate service data by extracting work engagement state management information from the database according to the determined work engagement state of the target member.
  • computing device 200 may provide the generated service data.
  • the computing device 200 may generate a member list by extracting at least one standard member of a type similar to the target member by a first threshold or more from the member information received in operation 41.
  • the computing device 200 may compare the work immersion state of at least one reference member belonging to the generated member list with the work immersion state of the target member.
  • the computing device 200 may compare the work immersion states by comparing the work immersion patterns of the reference member and the target member.
  • the computing device 200 may determine whether the work immersion patterns of the reference member and the target member during a predetermined period change by more than a second threshold through the comparison of the work immersion states.
  • the computing device 200 may calculate the work immersion pattern, including a behavior pattern, a 1:1 pattern, and a goal achievement pattern based on the behavior log data of the reference member and the target member.
  • the computing device 200 may sequence the behavior logs calculated based on the behavior log data to create a behavior sequence vector representing the behavior characteristics of the member.
  • the computing device 200 may calculate a work immersion-related behavior pattern of the target member during the predetermined period based on the created behavior sequence vector.
  • the computing device 200 may calculate the 1:1 pattern including the degree of interaction and pattern of interaction method between the target member and other members through analysis based on the 1:1 meeting history.
  • the computing device 200 may calculate the goal achievement pattern based on the goal and performance check-in recording frequency, cycle, recording time, etc.
  • the computing device 200 may analyze the cause of the change in the immersion state based on the behavior pattern, 1:1 pattern, and goal achievement pattern.
  • the computing device 200 may extract immersion state management information including data for improving the immersion state from the database 260 according to a result of analyzing the cause of the change in the immersion state.
  • the work engagement or work engagement state judgment described in the present disclosure may be, for example, a numerical value for work engagement (e.g., high, low, etc.), the amount of change in work engagement, or a change in work engagement status, etc. there is.
  • work immersion according to the present disclosure is explained as the latter, that is, the amount of change in work immersion or change in work immersion state, but is not limited thereto.
  • the judgment of work engagement according to the present disclosure is made regarding work engagement or changes in work engagement status during a predefined period, and the result of this judgment is any one or a combination of numbers, graphs, text, etc. It can be expressed as
  • the predefined period may be arbitrarily defined, for example, as 3 months, 6 months, 1 year, etc. from the time of determining work immersion.
  • Work immersion according to the present disclosure may be judged on a change in a value above a threshold or a change in the immersion state, and if the determination results in a change in the immersion value above the threshold or a change in the immersion state, it can be processed.
  • factors of immersion change are extracted based on the cause analysis results for the positive and negative immersion changes for a plurality of members, and priorities are assigned to each extracted factor of immersion change. can be assigned, and weights can be individually assigned to priorities.
  • Such engagement measurement and changes in measured engagement can be implemented by combining member data and organizational data.
  • member data and organizational data By synthesizing member and organizational information, we extract members of a similar type to the target (having similar ranks, positions, etc. in similar organizations), and based on their immersion patterns and the target's past immersion patterns, By calculating the difference between engagement patterns, changes in work engagement can be detected.
  • member information and organization information related to the determination of immersion can refer to the contents described above in FIG. 1, and separate and redundant descriptions will be omitted here.
  • the immersion pattern according to the present disclosure may also include a behavior pattern based on behavior log data, a 1:1 pattern, a goal achievement pattern, etc.
  • the above patterns can be applied sequentially or independently.
  • the behavior pattern can be created by sequencing the behavior log to create a sequence vector representing the behavior characteristics of the target member, and recent behavior patterns can be identified based on the behavior sequence vector.
  • the computing device 200 may form a control group by integrating the past behavior patterns of the subject and the behavior patterns of others of similar types.
  • the 1:1 pattern may refer to the degree of exchange and pattern of exchange method between members through network analysis based on 1:1 meeting history.
  • the computing device 200 can analyze all networks centered on each member and calculate characteristics such as the number of 1:1 pairs for each member, the frequency of 1:1, and centrality. Based on the calculated characteristics, the computing device 200 may form a control group with a 1:1 pattern by integrating the past patterns of the subject and the patterns of others of similar types.
  • the goal achievement pattern identifies the frequency, cycle, and timing of goal/performance check-in records based on the goal product use history, and forms a control group for the goal achievement pattern by integrating the subject's past history and the patterns of others of similar types. can do.
  • the difference (or similarity) with the control group for each of the above-described patterns can be calculated, and members showing significantly high differences can be selected.
  • the cause of the change in immersion can be estimated and presented. You can recommend agendas related to topics or factors presented in the interview agenda database of the service platform.
  • the computing device 200 may perform an evaluation of members according to the above-described FIGS. 1 to 10 or 12 in advance and store the performance evaluation record in the database 260.
  • the computing device 200 may perform operations such as diagnosing a member's status and predicting expected behavior based on goal achievement data.
  • the computing device 200 may analyze goal achievement data at the level of each unit of member, team, and organizational unit based on the goal and evaluation data.
  • the computing device 200 may analyze the work immersion state of each member based on the trend of goal achievement rate.
  • the computing device 200 may perform a predictive analysis operation on changes in member tendencies based on trends in goal achievement rates in each field. For example, if the development performance of RnD personnel A does not meet the standard, but the performance related to commercialization or marketing significantly exceeds the predetermined standard, the computing device 200 may provide a sales or marketing field for the member. You may consider whether you wish to change departmental placement.
  • the computing device 200 may perform operations such as diagnosing member status and predicting expected behavior based on meeting (meeting) data described in FIG. 13 .
  • the computing device 200 may perform at least one of a quantitative diagnosis based on the number of meetings and a qualitative diagnosis.
  • the quantitative diagnosis may be performed, for example, based on the number of meetings.
  • the computing device 200 may also measure communication for each member based on the frequency of 1:1 meetings, result records, increase/decrease trends, etc.
  • the computing device 200 can also measure the distribution of whether the target member's 1:1 meetings are conducted evenly with members within the organization. For example, the computing device 200 may determine whether a meeting with a specific person is concentrated and whether there is interaction with other members of the same rank.
  • the computing device 200 may output analysis results including the member's level of commitment, interpersonal relationship problems, expected burnout, degree of adaptation within the department, or possibility of departure.
  • the computing device 200 can select members who serve as a hub for collaboration through 1:1 network analysis.
  • the computing device 200 can detect whether there is a silos effect between departments or between members.
  • the computing device 200 can determine whether 1:1 progress has been made after the review and the degree of immersion through analysis of the 1:1 agenda (meeting topic).
  • the computing device 200 can set an agenda and obtain text data for it.
  • the computing device 200 can provide countermeasures to improve immersion based on data obtained through such qualitative diagnosis. These responses may include, for example, coaching to solve organizational problems.
  • the computing device 200 analyzes the member's engagement level based on the goal achievement data and meeting data, and performs analysis on work engagement, including, for example, whether department placement is desired, through analysis of the goal achievement data. can do.
  • the computing device 200 analyzes keywords and results based on the 1:1 meeting agenda and meeting contents (text data) within the meeting to analyze the member's immersion status such as immersion, interpersonal relationships, expected burnout, adaptability, and possibility of leaving. can do.
  • the computing device 200 can diagnose the current immersion state of the member through comparative analysis of immersion and state with other members.
  • the computing device 200 may provide reason analysis and countermeasures based on the diagnosis result for the current immersion state.
  • the computing device 200 identifies the cause based on data and provides insight and action items to the team leader, for example, 'Are you having problems communicating with other teams?' can do.
  • the computing device 200 may extract and analyze keywords from records of past meetings to predict and analyze the member's growth aspirations.
  • the computing device 200 may recommend, for example, a job change route that can be changed within the company to the relevant member based on the results of the predictive analysis.
  • the computing device 200 may determine the member's job suitability and propose a job change (if employee A has difficulty communicating, suggest a department transfer from the sales department to the R&D development department).
  • the computing device 200 investigates whether they wish to leave the company and asks them a list of related questions (agendas), such as whether they are interested in other areas within the company. may also be provided.
  • the computing device 200 can determine work immersion, interpersonal relationships, adaptability, etc., and provide related information to design a team building strategy that can create optimal work efficiency.
  • the computing device 200 determines the above-mentioned work engagement (identifying each member's strengths/interests), interpersonal relationships (distribution of intimacy between members - who they are close to), and burnout prediction (employees with a high burnout expectation are Distribution), adaptability (employees who are not highly adaptable are matched with experienced employees), etc., can be used as a guide to provide information on team rebuilding strategies.
  • the computing device 200 When investing in a new short-term or long-term project, the computing device 200 identifies the project concept and provides optimal member personnel (planners, developers, designers, public relations personnel, etc.) who can successfully carry out the project, such as those with experience in the project-related field. By combining, information on T/F (task force) composition strategy can be provided. At this time, the computing device 200 may provide information on the optimal member workforce composition using the above-described data such as work engagement, interpersonal relationships, and adaptability.
  • one of the service data provided as work engagement-related result data by the computing device 200 according to the present disclosure is diagnosis or judgment target identification information 1710, such as member/department/team, and work engagement state result information.
  • diagnosis or judgment target identification information 1710 such as member/department/team
  • work engagement state result information such as member/department/team
  • determined work engagement pattern results and expected information 1730
  • behavior pattern/1:1 pattern e.g., goal achievement pattern information
  • interpersonal relationship/burnout expectation/adaptation information e.g., diagnosis or Response measures according to the judgment, that is, solution information 1760 and other information 1770, may be provided.
  • FIG. 17 some or all of the information disclosed in FIG. 17 can be used for diagnosis and solutions based on analysis or the basis for determining work engagement for a target member or team.
  • optimal composition evaluation and management services can be provided to users through member evaluation and management services that take into account various matters about the organization and members.
  • the steps of the method or algorithm described in connection with the embodiments of the present disclosure may be implemented directly in hardware, implemented as a software module executed by hardware, or a combination thereof.
  • the software module may be RAM (Random Access Memory), ROM (Read Only Memory), EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), Flash Memory, hard disk, removable disk, CD-ROM, or It may reside on any type of computer-readable recording medium well known in the art to which this disclosure pertains.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Physics & Mathematics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Marketing (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Educational Administration (AREA)
  • Development Economics (AREA)
  • Game Theory and Decision Science (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 개시는 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템에 관한 것으로, 본 개시의 장치는 메모리; 및 수신된 구성원 정보로부터 구성원의 업무 몰입 상태의 학습에 사용되는 제1 정보를 추출하여 인공지능 기반으로 학습하고, 상기 구성원 정보로부터 대상 구성원의 업무 몰입 상태를 판단하는데 사용되는 제2 정보를 추출하고, 상기 제1 정보 및 상기 제2 정보를 이용하여 상기 대상 구성원의 업무 몰입 상태를 판단하고, 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하고, 상기 생성된 서비스 데이터를 제공하도록 제어하는 프로세서를 포함한다.

Description

인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템
본 개시는 업무 몰입 상태 진단 및 처리에 관한 것으로, 보다 상세하게는 인공지능 기반으로 구성원에 대한 업무 몰입 상태를 판단하고 판단 결과에 기초하여 그러한 구성원 또는 구성원의 업무 몰입 상태를 관리할 수 있는 서비스 제공 방법, 장치 및 시스템에 관한 것이다.
공공기관이나 회사와 같이 다수의 구성원들이 속한 조직에서는, 정기 또는 비정기적으로 구성원에 대한 평가가 이루어진다.
이러한 구성원에 대한 평가와 관련하여, 종래 구성원의 성과나 능력을 평가를 위한 성과 측정 시스템에 개발되었었다.
다만, 종래 성과 측정 시스템은 주로 현재 구성원의 업무에 대한 성과 측정이나 능력을 평가하는 데에만 집중되어 있어, 조직이나 구성원에 대한 다양성이 고려되지 않아 구성원 평가에 한계가 있는 문제점이 있었다.
따라서, 조직이나 구성원의 정보를 포함하여 다양한 제반사항까지 고려하여 구성원에 대한 제대로 된 평가를 수행할 수 있는 시스템의 개발이 요구되고 있다.
본 개시가 해결하고자 하는 과제는, 조직이나 구성원의 정보를 포함하여 다양한 제반사항까지 고려하여 구성원에 대한 제대로 된 평가를 수행할 수 있는 구성원 평가 및 관리 서비스 제공 방법, 장치 및 시스템을 제공하는 것이다.
본 개시가 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 기술적 과제를 해결하기 위한 본 개시에 따른 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치는, 메모리; 및 수신된 구성원 정보로부터 구성원의 업무 몰입 상태의 학습에 사용되는 제1 정보를 추출하여 인공지능 기반으로 학습하고, 상기 구성원 정보로부터 대상 구성원의 업무 몰입 상태를 판단하는데 사용되는 제2 정보를 추출하고, 상기 제1 정보 및 상기 제2 정보를 이용하여 상기 대상 구성원의 업무 몰입 상태를 판단하고, 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하고, 상기 생성된 서비스 데이터를 제공하도록 제어하는 프로세서;를 포함하고, 상기 서비스 데이터를 생성 시에 상기 프로세서는, 1:1 미팅 보드를 생성하고, 어젠다를 설정하여 미팅 데이터 기반 해당 구성원의 몰입도, 대인관계, 번아웃 예상, 및 이탈 가능성에 대한 업무 몰입 상태를 분석하고, 상기 미팅 데이터의 정성 진단에 기초하여 해당 구성원의 성장 희망도를 예측하고, 상기 예측 결과에 기초하여 직무 적합도를 판단하여 직무 변경 제안 또는 직무 변경 루트 정보가 상기 서비스 데이터에 포함되도록 제어하고, 상기 이탈 가능성이 기 설정값보다 되는 경우에는 퇴사 희망 여부를 조사하고, 회사 내 다른 분야에 관심 여부에 대한 질문 리스트를 상기 서비스 데이터에 포함되도록 제어할 수 있다.
또한, 상술한 기술적 과제를 해결하기 위한 본 개시에 따른 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법은, 수신된 구성원 정보로부터 구성원의 업무 몰입 상태의 학습에 사용되는 제1 정보를 추출하여 인공지능 기반으로 학습하는 단계; 상기 구성원 정보로부터 대상 구성원의 업무 몰입 상태를 판단하는데 사용되는 제2 정보를 추출하는 단계; 상기 제1 정보 및 상기 제2 정보를 이용하여 상기 대상 구성원의 업무 몰입 상태를 판단하는 단계; 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하는 단계; 상기 생성된 서비스 데이터를 제공하는 단계;를 포함하고, 상기 서비스 데이터를 생성하는 단계는, 1:1 미팅 보드를 생성하고, 어젠다를 설정하여 미팅 데이터 기반 해당 구성원의 몰입도, 대인관계, 번아웃 예상, 및 이탈 가능성에 대한 업무 몰입 상태를 분석하고, 상기 미팅 데이터의 정성 진단에 기초하여 해당 구성원의 성장 희망도를 예측하고, 상기 예측 결과에 기초하여 직무 적합도를 판단하여 직무 변경 제안 또는 직무 변경 루트 정보가 상기 서비스 데이터에 포함되도록 제어하고, 상기 이탈 가능성이 기 설정값보다 되는 경우에는 퇴사 희망 여부를 조사하고, 회사 내 다른 분야에 관심 여부에 대한 질문 리스트를 상기 서비스 데이터에 포함되도록 제어할 수 있다.
또한, 상술한 기술적 과제를 해결하기 위한 본 개시에 따른 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 시스템은, 구성원 정보를 입력하는 적어도 하나의 단말; 및 상기 입력되는 구성원 정보에 기초하여 업무 몰입 상태 판단 및 관리 서비스를 처리하는 컴퓨팅 디바이스를 포함하고, 상기 컴퓨팅 디바이스는, 수신된 구성원 정보로부터 구성원의 업무 몰입 상태의 학습에 사용되는 제1 정보를 추출하여 인공지능 기반으로 학습하고, 상기 구성원 정보로부터 대상 구성원의 업무 몰입 상태를 판단하는데 사용되는 제2 정보를 추출하고, 상기 제1 정보 및 상기 제2 정보를 이용하여 상기 대상 구성원의 업무 몰입 상태를 판단하고, 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하고, 상기 생성된 서비스 데이터를 제공하도록 제어하는 프로세서;를 포함하고, 상기 서비스 데이터를 생성 시에 상기 프로세서는, 1:1 미팅 보드를 생성하고, 어젠다를 설정하여 미팅 데이터 기반 해당 구성원의 몰입도, 대인관계, 번아웃 예상, 및 이탈 가능성에 대한 업무 몰입 상태를 분석하고, 상기 미팅 데이터의 정성 진단에 기초하여 해당 구성원의 성장 희망도를 예측하고, 상기 예측 결과에 기초하여 직무 적합도를 판단하여 직무 변경 제안 또는 직무 변경 루트 정보가 상기 서비스 데이터에 포함되도록 제어하고, 상기 이탈 가능성이 기 설정값보다 되는 경우에는 퇴사 희망 여부를 조사하고, 회사 내 다른 분야에 관심 여부에 대한 질문 리스트를 상기 서비스 데이터에 포함되도록 제어할 수 있다.
본 개시에 따르면, 조직 및 구성원에 대한 다양한 사항까지 고려된 구성원 평가 및 관리 서비스를 통하여 사용자에 최적의 구성 평가 및 관리 서비스를 제공할 수 있는 효과가 있다.
본 개시의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 시스템을 개략적으로 도시한 도면이다.
도 2는 상기 도 1에 도시된 컴퓨팅 디바이스의 구성 블록도이다.
도 3은 본 개시의 일 실시 예에 따른 처리부의 구성 블록도이다.
도 4는 본 개시의 또 다른 일 실시 예에 따른 처리부의 구성 블록도이다.
도 5는 본 개시의 또 다른 일 실시 예에 따른 처리부의 구성 블록도이다.
도 6은 본 개시의 일 실시 예에 따른 처리부의 상세 구성 블록도를 도시한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다.
도 8 내지 10은 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공을 위한 사용자 인터페이스를 도시한 도면이다.
도 11은 본 개시의 다른 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다.
도 12는 본 개시의 다른 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공을 위한 사용자 인터페이스를 도시한 도면이다.
도 13은 본 개시의 또 다른 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다.
도 14는 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공을 위한 사용자 인터페이스를 도시한 도면이다.
도 15는 본 개시의 또 다른 일 실시 예에 따른 처리부(230)의 구성 블록도이다.
도 16은 본 개시의 일 실시 예에 따른 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다.
도 17은 본 개시의 일 실시 예에 따른 서비스 데이터의 사용자 인터페이스를 도시한 도면이다.
본 개시의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 개시는 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 개시의 개시가 완전하도록 하고, 본 개시가 속하는 기술 분야의 통상의 기술자에게 본 개시의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 개시는 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 개시를 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 개시의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 개시가 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
공간적으로 상대적인 용어인 "아래(below)", "아래(beneath)", "하부(lower)", "위(above)", "상부(upper)" 등은 도면에 도시되어 있는 바와 같이 하나의 구성요소와 다른 구성요소들과의 상관관계를 용이하게 기술하기 위해 사용될 수 있다. 공간적으로 상대적인 용어는 도면에 도시되어 있는 방향에 더하여 사용시 또는 동작시 구성요소들의 서로 다른 방향을 포함하는 용어로 이해되어야 한다. 예를 들어, 도면에 도시되어 있는 구성요소를 뒤집을 경우, 다른 구성요소의 "아래(below)"또는 "아래(beneath)"로 기술된 구성요소는 다른 구성요소의 "위(above)"에 놓여질 수 있다. 따라서, 예시적인 용어인 "아래"는 아래와 위의 방향을 모두 포함할 수 있다. 구성요소는 다른 방향으로도 배향될 수 있으며, 이에 따라 공간적으로 상대적인 용어들은 배향에 따라 해석될 수 있다.
이하, 첨부된 도면을 참조하여 본 개시의 실시예를 상세하게 설명한다.
본 명세서에서 본 개시에 따른 구성원 평가 및 관리 서비스 제공 장치에는 연산 처리를 수행하여 결과를 제공할 수 있는 다양한 장치들이 모두 포함된다. 예를 들어, 본 개시에 따른 구성원 평가 및 관리 서비스 제공 장치는, 적어도 하나의 컴퓨터 또는 컴퓨팅 디바이스, 서버장치, 단말기 등을 모두 포함하거나, 또는 어느 하나의 형태가 될 수 있다.
상기에서, 컴퓨터에는 예를 들어, 웹 브라우저(Web Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop), 태블릿 PC, 슬레이트 PC 등이 포함될 수 있다.
상기에서, 서버장치에는 외부 장치와 통신을 수행하여 정보를 처리하는 서버로써, 어플리케이션 서버, 컴퓨팅 서버, 데이터베이스(DB: database) 서버, 파일 서버, 게임 서버, 메일 서버, 프록시 서버, 웹 서버 등이 포함될 수 있다.
상기에서, 휴대용 단말기에는 예를 들어, 휴대성과 이동성이 보장되는 무선통신장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), WiBro(Wireless Broadband Internet) 단말, 스마트 폰(Smart Phone) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선통신장치와 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(HMD: head-mounted-device) 등과 같은 웨어러블 장치(wearable device)가 포함될 수 있다.
본 명세서에서 본 개시에 따른 구성원 평가 및 관리 서비스 제공 장치와 관련하여 정보 제공 제어 모델이 정의되거나 관련 서비스 플랫폼(service platform)이 구축될 수 있는데, 그것은 빅데이터(big data)와 인공지능(Artificial Intelligence) 기술 기반의 컴퓨터에 의해 생성 및 제공될 수 있으며, 가상현실(VR, Virtural Reality), 증강현실(AR, Augmented Reality) 및 혼합현실(MR, Mixed Reality)를 총칭하는 가상융합기술(XR, eXtended Reality), 정보 제공 장치를 이용하는 사용자의 개인 정보의 보안을 위하여 블록체인(Block-chain) 기술 등 ICT(Information and Communication Technology) 기술이 이용 또는 참조되어 구현될 수 있다. 다만, 본 명세서에서는 이러한 ICT 기술에 대한 상세 설명은 공지 기술을 참조하여 그에 관해 별도 설명은 생략한다.
본 명세서에서 기술되는 “구성원”이라 함은 편의상 본 개시에 따른 서비스 시스템 혹은 서비스 제공 장치에 의해 제공되는 서비스 플랫폼을 이용하는 기업, 단체, 그룹 등에 속한 멤버(member)를 나타낼 수 있다. 이러한 구성원은 평가자 또는 평가의 대상인 피평가자일 수 있다.
본 개시에서는 다음과 같은 내용을 구성원 평가 및 관리 서비스에 참조 또는 이용할 수 있다.
도 1은 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 시스템을 개략적으로 도시한 도면이다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템은, 제1 단말(100), 제2 단말(150) 및 컴퓨팅 디바이스(200)를 포함하여 구성될 수 있다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템은, 서비스 플랫폼을 제공하여, 상기 서비스 플랫폼 이용자에게 평가방식, 평가관계, 평가문항, 평가 피드백, 회의 데이터 추천 및 관리 등에 관한 서비스를 제공할 수 있다. 이 때, 상기 시스템은 최적의 구성원 평가 및 관리 서비스를 제공하기 위하여, 각 서비스 항목에 대한 적합도를 판단하여 이용할 수 있다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템은 구성원 정보에 기초한 구성원 평가 작성 서비스, 구성원에 대한 평가자의 성향 및 평가 내용 분석 기반 평가 피드백 서비스, 구성원의 평가 기록 기반 회의 어젠다 추천 및 관리 서비스 등을 위한 소프트웨어, 하드웨어 등을 제공할 수 있다.
실시예에 따라서는, 구성원 평가 및 관리 서비스 시스템은, 도 1에 도시된 구성요소 외에도 본 개시에 따른 동작 수행과 관련하여, 하나 또는 그 이상의 구성요소들이 추가되어 구성될 수도 있다.
본 개시에 따른 구성원 평가 및 관리 서비스의 제공은 어플리케이션이나 웹을 통한 웹서비스 형태로 제공될 수 있다.
예를 들어, 어플리케이션은 컴퓨팅 디바이스(200)에 의해 제공되어 단말(100, 150)에서 다운로드 받아 설치된 후 실행되면, 사용자 인터페이스(UI: User Interface)를 통해 사용자 정보를 입력받거나 구성원 평가 및 관리 서비스 정보(예를 들어, 구성원 평가 결과 등)를 제공할 수 있다.
이때, 단말(100, 150)은 상기 어플리케이션 실행에 따라 사용자 정보가 입력되면, 이를 직접 처리하고 결과 데이터 즉, 구성원 평가 및 관리 서비스 결과 정보를 출력할 수 있다. 실시 예에 따라서, 상기 단말(100, 150)은 상기 어플리케이션을 통해 입력받은 사용자 정보를 직접 처리하지 않고 컴퓨팅 디바이스(200)로 전달하고, 상기 컴퓨팅 디바이스(200)에서 생성된 결과 데이터를 리턴받아 출력할 수도 있다.
한편, 사용자 정보를 직접 처리할 수 있도록 지원하기 위해, 컴퓨팅 디바이스(200)는 본 개시에 따른 구성원 평가와, 관리 서비스 제공 및 처리를 위한 알고리즘이나 로직(logic) 또는/및 그에 관련된 API(Application Programming Interface)나 플러그-인(plug-in) 등을 상기 단말(100, 150)에 제공할 수 있다.
다만, 설명의 편의상 이하에서는 단말(100, 150)은 실행된 어플리케이션을 통해 입력된 사용자 정보를 직접 처리하지 않고 컴퓨팅 디바이스(200)로 전달하고, 상기 컴퓨팅 디바이스(200)에서 이를 처리하여 구성원 평가 및 관리 서비스 정보를 생성하여 상기 단말(100, 150)로 리턴하고, 상기 단말(100, 150)에서 사용자에게 제공하는 것을 예로 하여 설명하나, 본 개시가 이에 한정되는 것은 아니다. 한편, 상기에서, 컴퓨팅 디바이스(200)에 의해 수행되는 본 개시에 따른 동작(들) 중 적어도 일부가 단말(100, 150)의 자원(resource)을 통해 수행될 수도 있다.
단말(100, 150)은, 전술한 바와 같이 구성원 평가 및 관리 서비스 제공을 위한 어플리케이션을 다운로드 받아 설치하고, 설치 후 어플리케이션을 통하여 사용자 정보, 각종 검색 요청 등 다양한 동작을 수행할 수 있다.
도 1을 참조하면, 제1 단말(100)은 평가에 관여되는 사용자의 단말로써, 예를 들어, 평가자 또는 평가 대상자(즉, 피평가자)의 단말 또는 평가 관리(예를 들어, 성과 관리 행위)를 수행하는 고객의 단말을 나타낼 수 있다.
컴퓨팅 디바이스(200)는 상기 제1 단말(100) 또는 내부 데이터베이스를 통해 사용자의 인적사항 및 수행 업무, 과거 평가 이력 등에 대한 다양한 정보를 수집할 수 있다.
제2 단말(150)은 상기 제1 단말(100)의 사용자 즉, 평가자/평가 작성자 또는 사용자가 소속된 회사에 관한 외부 데이터를 수집할 수 있다.
이때, 상기 회사에 대한 외부 데이터는 해당 회사의 규모(예를 들어, 정직원 수), 존속기간, 업종, 산업 등이 포함될 수 있다.
상기에서, 제1 단말(100)의 사용자에 대한 외부 데이터는 예를 들어, 상기 제1 단말(100)을 이용하여 축적되는 데이터를 제외한 모든 데이터를 의미할 수 있다. 이러한 데이터로 예를 들어, 소셜미디어 기록, 구직 플랫폼 사용 여부 등이 포함될 수 있다. 상기 구직 플랫폼으로는, 통상의 구인 구직 사이트, 예를 들어, 링크드-인(linked-in) 등이 포함될 수 있다.
컴퓨팅 디바이스(200)는 상기 제1 단말(100) 및/또는 제2 단말(150)을 통해 수집된 정보에 기초하여 본 개시에 따른 구성원을 평가하기 위한 평가 방식을 추천 또는 제안할 수 있으며, 평가자는 제1 단말(100)을 통해 추천 또는 제안된 평가 방식에 따라 평가를 수행할 수 있다.
실시 예에 따르면, 컴퓨팅 디바이스(200)는 평가 데이터에 기초하여 평가자의 성향을 진단하고, 상기 진단에 기초하여 평가자가 진행한 평가 내용에 대한 피드백을 제공할 수 있다.
실시 예에 따르면, 컴퓨팅 디바이스(200)는 제1, 2 단말(100, 150)을 통해 수집된 정보를 참조하여 평가 방식을 자동으로 추천 및 제안하며, 제안된 결과를 토대로, 회의 참여자는 회의 목적을 설정하고 진행 및 기록할 수 있다.
본 명세서에서 단지 컴퓨팅 디바이스(200)라고 명명하더라도 그것은 본 개시에 따른 서비스 플랫폼을 제공 및 관리하는 주체이므로, 그러한 서비스 플랫폼에 기반한 서비스가 이루어짐을 나타낼 수 있다.
한편, 비록 도 1에서는 제1 단말(100)과 제2 단말(150)을 구분하여 설명하였으나, 상기 두 단말은 하나의 단말로 구현될 수도 있다. 실시 예에 따라서는, 반대로 더 많은 단말이 본 개시에 따른 구성원 평가 및 관리 서비스에 이용될 수 있다.
그 밖에, 단지 제1 단말(100)이라고 하더라도 그것은 상징적인 의미로 사용되어 반드시 1개의 단말만을 나타내지 않고 복수의 단말을 나타내는 의미로 사용될 수도 있다.
한편, 상기 컴퓨팅 디바이스(200)는 서버, 컴퓨터, 제어부 등 다양한 명칭으로 호칭될 수 있으며, 그 명칭에 한정되지 않는다.
도 2는 상기 도 1에 도시된 컴퓨팅 디바이스(200)의 구성 블록도이다.
도 2를 참조하면, 본 개시의 일 실시 예에 따른 컴퓨팅 디바이스(200)는 크게 메모리와 프로세서(210)로 구분할 수 있으며, 상기 메모리는 저장부(260)에 대응되거나 그를 포함할 수 있고, 프로세서(210)는 통신부(220), 수집부(230), 처리부(240), 제어부(250) 등을 포함할 수 있다.
통신부(220)는 제1 단말(100), 제2 단말(150) 및 외부 소스와의 통신을 위한 환경을 제공할 수 있다.
통신부(220)는 아래와 같은 모듈들을 포함할 수 있다.
통신모듈은 단말(100, 150)과의 데이터 커뮤니케이션을 지원하며, 상기 단말(100, 150)로부터 사용자 정보를 수신할 수 있다. 통신모듈은 다양한 외부 소스들(external sources)과 연결되어 본 개시에 따른 구성원 평가 및 관리 서비스 와 관련된 데이터를 수신할 수 있다. 상기에서, 일부 데이터는 외부 소스가 아닌 상기 사용자의 단말(100, 150)로부터 직접 수신할 수도 있으며, 중복되는 데이터는 신뢰도가 높은 소스(이 경우 소스에는 단말(100, 150)도 포함), 최신 정보 등을 참조하여 필터링(filtering)될 수 있다.
이러한 통신모듈은, 단말(100, 150) 또는 적어도 하나의 외부 소스(미도시)와의 통신을 가능하게 하는 적어도 하나 이상의 구성 요소를 포함할 수 있는데 예를 들어, 유선통신모듈, 무선통신모듈, 근거리통신모듈, 위치정보모듈 등 중 적어도 하나를 포함할 수 있다.
상기에서, 유선통신모듈은, 지역 통신(Local Area Network; LAN) 모듈, 광역 통신(Wide Area Network; WAN) 모듈 또는 부가가치 통신(Value Added Network; VAN) 모듈 등 다양한 유선 통신 모듈뿐만 아니라, USB(Universal Serial Bus), HDMI(High Definition Multimedia Interface), DVI(Digital Visual Interface), RS-232(recommended standard-232), 전력선 통신, 또는 POTS(plain old telephone service) 등 다양한 케이블 통신 모듈을 포함할 수 있다.
상기 무선통신모듈은 와이-파이(Wi-fi) 모듈, 와이브로(Wireless broadband) 모듈 외에도, GSM(global System for Mobile Communication), CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), UMTS(universal mobile telecommunications system), TDMA(Time Division Multiple Access), LTE(Long Term Evolution), 4G(eneration), 5G, 6G 등 다양한 무선통신 방식을 지원하는 무선통신모듈을 포함할 수 있다.
상기 근거리통신모듈은 근거리 통신(Short range communication)을 위한 것으로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication), Wi-Fi(Wireless-Fidelity), Wi-Fi Direct, Wireless USB(Wireless Universal Serial Bus) 기술 중 적어도 하나를 이용하여, 근거리 통신을 지원할 수 있다.
상기 위치정보모듈은 예를 들어, 단말(100, 150) 위치(또는 현재 위치)를 획득하기 위한 모듈로서, 그의 대표적인 예로는 GPS(Global Positioning System) 모듈 또는 Wi-Fi 모듈이 있다. 예를 들어, GPS 모듈을 활용하면, GPS 위성에서 보내는 신호를 이용하여 단말(100, 150)의 위치를 획득할 수 있다. 다른 예로서, Wi-Fi 모듈을 활용하면, Wi-Fi 모듈과 무선 신호를 송신 또는 수신하는 무선 AP(Wireless Access Point)의 정보에 기반하여, 단말(100, 150) 위치를 획득할 수 있다. 필요에 따라서, 위치정보모듈은 치환 또는 부가적으로 단말(100, 150)의 위치에 관한 데이터를 얻기 위해 통신모듈의 다른 모듈 중 어느 기능을 수행할 수 있다. 위치정보모듈은 단말(100, 150)의 위치(또는 현재 위치)를 획득하기 위해 이용되는 모듈로, 상기 단말(100, 150)의 위치를 직접적으로 계산하거나 획득하는 모듈로 한정되지는 않는다. 이러한 위치정보모듈은 단말(100, 150)에 내장되어 단말(100, 150)의 위치 정보를 컴퓨팅 디바이스(200)에 제공할 수도 있다.
수집부(230)는 상기 통신부(220)를 통해, 제1 단말(100) 및 제2 단말(150) 사용자에 대한 정보 및 단말 사용자가 속한 조직에 대한 정보를 수집할 수 있다.
처리부(240)는 예를 들어, 본 개시에 다양한 실시예와 관련된 평가 및 관리 관련 데이터를 처리할 수 있다.
제어부(250)는 컴퓨팅 디바이스(200)의 전반적인 제어에 관여하며, 각 구성요소에 대해 필요한 제어 신호를 전송할 수 있다.
제어부(250)는 컴퓨팅 디바이스(200)의 모든 구성요소들의 동작을 제어하되, 그 과정에서 이용 가능한 다양한 알고리즘(algorithm) 또는 알고리즘을 재현한 프로그램(program)에 대한 데이터를 저장하는 저장부(260), 및 상기 저장부(260)에 저장된 데이터를 이용하여 본 개시에 따른 구성원 평가 및 관리 서비스 정보 제공을 위한 다양한 동작을 수행할 수 있다.
저장부(260)는 컴퓨팅 디바이스(200) 내에서 수집, 산출, 처리 등이 된 데이터를 저장할 수 있다.
본 개시에 따른 구성원 정보 기반 구성원 평가 및 관리 방법, 구성원 평가 내용 분석 및 피드백 방법, 구성원 평가 기반 회의 추천 및 관리 방법 등에 대해 보다 구체적으로 설명하면, 다음과 같다.
도 3은 본 개시의 일 실시 예에 따른 처리부(240)의 구성 블록도로, 구성원 정보 기반 평가 및 관리와 관련된 구성이 도시되었으나, 이에 한정되는 것은 아니다.
본 명세서에서 기술되는 “평가 방식”이라 함은, 구성원 평가 및 관리 서비스를 위한 서비스 플랫폼을 통하여 구성원을 평가하는 방식을 나타내는 것으로, 이러한 평가 방식은 예를 들어, 평가 방향, 평가 차수, 직무 평가 데이터 등을 참조하여 결정될 수 있다. 이 때, 상기 평가 방향 데이터는 구성원에 대한 평가가 예를 들어, 상향식, 하향식, 평행식 또는 상기 상향식과 하향식의 결합 등인지를 나타낼 수 있다. 상기 평행식이라 함은 동일 또는 유사 직무나 직급이나 직책을 가진 구성원 사이의 평가를 나타낼 수 있다. 상기 평가 차수 데이터는 구성원 평가에 이용되는 평가의 횟수를 나타내는 것으로 예를 들어, 평가 횟수가 1회인 경우에는 통상 대상 구성원의 직속 상관에 의한 평가를, 2회인 경우에는 차상위 직속 상관의 평가까지 포함됨을 나타낼 수 있다. 그리고 상기 직무 평가 데이터는 구성원에 대한 직무 예컨대, 역량, 성과, 스킬 등에 대한 평가를 위한 데이터를 나타낼 수 있다. 그러나 본 개시가 반드시 상기한 정의나 수치에 한정되는 것은 아니다.
본 명세서에서 기술되는 “평가 관계”라 함은 상기 서비스 플랫폼을 통하여 구성원에 대한 평가 수행 주체 예를 들어, 구성원 중 평가자와 피평가자의 관계를 나타낼 수 있다. 이러한 평가 관계는 평가 대상자에 대하여 최적의 평가자 결정, 결정된 평가자에 대한 평가 권한 등의 설정에 참고될 수 있다. 이 때, 상기 평가자의 결정은 피평가자 즉, 평가 대상자와의 관계를 고려하여 산출된 적합도에 의해 이루어질 수 있다. 즉, 피평가자에 대한 평가자로서 산출된 적합도가 가장 높은 평가자가 최적의 평가자로 결정될 수 있으며, 이러한 최적의 평가자로 예를 들어, 다수의 업무에 대하여 협업을 진행한 동료, 해당 직무 전임자, 같은 팀 동료 등일 수 있다. 상기 최적의 평가자를 결정함에 있어서, 상기 적합도 외에 다양한 사정이 더 고려될 수 있다. 한편, 상기 평가 권한 설정이란 전년도 평가 결과 및 타인 평가 결과 참조 가능 여부 등을 의미하며, 최적의 평가 관계로 산출되어 지정된 평가 대상자와 평가자 간의 위계 및 관련 기 설정된 정책에 따라 평가 과정에서 보조 자료로서 활용 가능한 대상자에 대한 각종 정보 열람 가능 여부를 나타낼 수 있다. 일 례로, 평가 관계 산출에 따라 동료 A가 최적의 평가자로 선정된 경우, A는 동료이기 때문에 과거 평가 결과 및 셀프 평가 결과를 열람할 수 없도록 권한이 설정될 수 있다. 실시 예에 따라, 평가 권한은 최적 평가자로 결정된 평가자의 적합도에 따라 결정될 수도 있다. 예를 들어, 복수의 평가 후보자들 중에 적합도가 가장 높은 평가자가 최적의 평가자로 결정되었더라도 상기 적합도가 제1 임계 적합도 구간, 제2 임계 적합도 구간 등에 따라 해당 평가자의 평가 권한은 다르게 설정될 수 있다. 다른 실시 예로, 상기에서 모든 대상 평가자들에 대해 산출된 평가 적합도가 기준치(예를 들어, 50%) 미만인 경우에는 상기 대상 평가자들에서 최적의 평가자를 선정하지 않을 뿐만 아니라 대상 평가 후보자를 재선정하되 그 경우 상기 재선정되는 평가자 후보 목록에서 제외할 수 있다. 한편, 상기에서 평가 권한은 실시 예에 따라, 평가 대상자에 대한 자료나 정보 접근 범위나 권한, 평가 방식, 평가 문항 등에 대한 내용일 수 있다.
본 명세서에서 기술되는 “평가 문항”이라 함은 상기 평가 관계에 있는 평가자가 선택된 평가 방식에 따라 피평가자에 대한 평가 시 이용되는 평가 문항을 나타낼 수 있다. 이 때, 상기 평가 문항은, 업무상의 문제뿐만 아니라 조직 및 구성원에 대한 다양성을 정의하고 판단하기 위한 정보를 포함할 수 있다.
도 3을 참조하면, 처리부(240)는 평가방식 산출부(310), 평가관계 산출부(320), 및 평가문항 분류부(330)를 포함하여 구성될 수 있으나, 이에 한정되는 것은 아니다.
평가방식 산출부(310)는 도 2의 수집부(230)를 통해 수집된 정보를 토대로 구성원 평가에 적합한 평가 방식을 산출할 수 있다.
평가관계 산출부(320)는 상기 평가방식 산출부(310)에서 산출된 평가 방식에 기초하여 선별된 평가 후보자들 중 평가 대상자 즉, 피평가자에 대한 평가에 최적 평가자를 선정하기 위한 관계 데이터를 제공할 수 있다. 전술한 바와 같이, 상기 평가관계 산출부(320)는, 상기 관계 데이터에 기초하여 해당 평가자의 평가 권한을 차등 부여할 수 있다.
평가문항 분류부(330)는 상기 평가방식 산출부(310)에 의해 산출된 평가 방식과 평가관계 산출부(320)에서 제공된 평가자와 피평가자와의 관계 데이터에 기초하여 평가에 이용할 평가 문항을 분류하고 분류된 평가 문항 중 최적의 평가 문항을 결정하여 제공할 수 있다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템(또는 장치)은 평가 대상자와 조직 데이터 등을 참조하여 결정된 평가 방식 데이터를 제공할 수 있다.
상기에서, 평가 방식을 정의하기 위하여 참조되는 평가 대상자, 조직 데이터 등은 외부 데이터와 내부 데이터로 분류될 수 있다.
상기에서, 내부 데이터라 함은 본 개시에 따라 장치 또는 시스템에 의해 제공되는 서비스 플랫폼 이용자에 의해 입력되거나 이용 과정에서 발생, 저장 등 처리되는 데이터로 정의할 수 있으며, 외부 데이터라 함은 상기 서비스 플랫폼을 통한 획득이 어렵거나 불가능한 데이터로 정의할 수 있다. 예컨대, 외부 데이터는 외부 소스를 통해 수집, 획득되어 가공 처리되는 데이터일 수 있다.
상기 평가 대상자 정보의 내부 데이터는 사용자 입력 정보와 사용자 행동 정보로 구분할 수 있다.
상기에서, 사용자 입력 정보는 상기 서비스 플랫폼 이용 과정에서 사용자가 입력하는 직무, 직급, 직책, 입사년도, 소속 부서, 상과 등의 인사 정보를 포함할 수 있다.
상기에서, 사용자 행동 정보는 사용자의 상기 서비스 플랫폼을 이용에 따라 발생하는 행동과 이를 나타내는 로그 데이터(log data)에 기초하여 추출되는 정보를 나타낼 수 있다. 상기에서, 행동은 예를 들어, 서비스 플랫폼 이용 과정에서 페이지 조회, 평가 작성, 면담 신청 등을 나타낼 수 있다.
상기에서, 행동 로그 데이터는 상기 서비스 플랫폼 이용자의 행동의 종류와 각 행동 간의 시차 그리고 행동의 대상에 대한 로그로 구성될 수 있으며, 각 로그를 취합하여 기계학습(machine learning)을 통해 사용자의 행동 유형이나 추가 정보 등 예측에 참고될 수 있다. 관련하여, 컴퓨팅 디바이스(200)는 서비스 플랫폼 상의 구성원의 다양한 행동 로그와 행동 로그 간의 시차를 포함하는 각종 정보의 시퀀스를 벡터화하는 행동 로그 시퀀스 벡터와 상기 각 행동 로그 기반의 각종 정보를 벡터화한 후 시퀀스화하는 행동 로그 벡터 시퀀스 중 적어도 하나를 생성하고, 상기 행동 로그 시퀀스 벡터 및/또는 행동 로그 벡터 시퀀스에 기초하여 구성원 평가와 관련된 사용자의 행동의 종류, 시간 등을 산출하여 사용자의 행동 정보를 정의할 수 있다.
통상 벡터화라 함은 어떤 개념을 기계가 학습할 수 있도록 수치화하는 것을 나타낸다. 관련하여, 본 개시에서의 벡터화란 예를 들어, 평가자가 평가 대상자의 과거 기록 열람, 면담 기록 열람, 평가 작성 시작, 평가 종료 등과 같은 사용자의 행동 로그 데이터를 수치화하여 기록한 것을 나타낼 수 있다. 한편, 본 개시에서 시퀀스화라 행동 로그 또는 상기 벡터화된 행동 로그를 시계열적으로 나열하여 하나의 객체로 설정한 것을 나타낼 수 있다. 예를 들어, 평가자의 시퀀스는 평가 대상자에 대한 과거 평가 기록 열람, 이전 면담기록 열람, 평가 작성 시작, 및 평가 작성 종료와 같이 시계열적인 순서로 나열되어 표현될 수 있다. 이와 같이, 시퀀스화를 수행하는 것은 예를 들어, 구성원의 행동 벡터를 시퀀스화함으로써, 각 구성원(평가자)의 평가 과정 예컨대, 평가 작성 전과 후의 패턴을 파악할 수 있으며, 이를 기반으로 평가자를 다양하게 분류할 수 있기 때문이다.
하기 표 1에서는 일 실시 예에 따라 평가자 유형 분류한 것이나, 본 개시가 이에 의해 한정되는 것은 아니다.
예시
유형1 과거평가열람　->　평가 작성하는 유형
유형2 과거평가열람　->　면담기록열람　->　평가 작성하는 유형
유형3 면담기록열람　->　과거평가열람　->　평가 작성하는 유형
유형4 면담기록열람　->　평가 작성하는 유형
유형5 기록 열람 없이 평가 작성하는 유형
유형6 복수의 구성원 평가를 근 시간 내 몰아서 작성하는 유형
본 개시에서는, 전술한 바와 같이, 행동 로그 벡터 시퀀스 또는 행동 로그 시퀀스 벡터를 기반으로 평가 유형을 다양하게 정의하고 분류함으로써, 평가 유형별 구성원(평가자)에 대한 정량화된 보다 상세 정보를 획득할 수 있다. 또한, 컴퓨팅 디바이스(200)는 상기 정량화된 분류를 통해 각 평가 유형 또는 평가 유형 군의 평가 작성 방식에 대한 통계 자료를 생성 또는 획득할 수 있다. 그리고 컴퓨팅 디바이스(200)는 획득된 정량화 데이터를 인공지능(컴퓨터)에 학습시킴으로써, 인공지능 기반으로 각 평가 유형에 적합한 평가 가이드를 생성하여 서비스 제공할 수 있다.또한, 예를 들어, 서비스 플랫폼을 통하여 구성원 간의 면담(1:1)을 준비함에 있어, 사전에 서비스 플랫폼에 접속하여 논의 안건 즉, 아젠다(agenda) 등록 및 상대방의 아젠다에 대한 의견 추가 여부 및 추가 시점 등으로부터 컴퓨팅 디바이스(200)는 사용자의 유형을 분류할 수 있다. 여기서, 상기 추가 시점이란 예를 들어, 면담 직전 추가, 면담 1시간 전 추가 등을 나타낼 수 있다.
다음으로, 상기에서 외부 데이터는 상기 서비스 플랫폼이 아닌 사용자의 소셜미디어(SNS: Social Networking Service) 데이터와 같이 외부 소스를 통해 획득되는 데이터를 나타내며, 이를 통해 총 경력, 소셜미디어 활성도 등에 대한 정보를 추출하고, 사용자의 유형 분류 등에 참조될 수 있다.
본 개시에 따르면, 구성원 평가 및 관리 서비스 시스템(또는 장치)은 전술한 내부 및/또는 외부 데이터에 기초하여 대상자에 적합한 평가 방식에 대한 목록과 각 평가 방식의 적합도 등을 추출 또는 산출하여 최적의 평가 방식을 추천 제공할 수 있다.
한편, 본 개시에서 언급되는 조직 정보 역시 내부 데이터와 외부 데이터로 구분할 수 있으며, 내부 데이터는 사용자가 입력한 조직의 개수, 조직의 관계 등 조직의 구성도, 규모 등을 나타내며, 외부 데이터는 조직의 존립기간, 업종, 산업군 정보, 언론 노출 정도 등을 나타낼 수 있다.
본 개시에 따르면, 구성원 평가 및 관리 서비스 시스템(또는 장치)은 전술한 다양한 내부 및/또는 외부 데이터에 기초하여 조직의 성향과 철학을 식별하고, 식별된 조직의 성향과 철학은 적합한 평가 방식 목록과 각 평가 방식의 적합도를 추출 또는 산출에 참조될 수 있다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템(또는 장치)은 과거 평가 이력을 참조하여 적절한 평가 시기 및 평가 방식의 산출도를 추출 또는 산출할 수 있다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템(또는 장치)은 조직 및 대상자에 대한 적합도를 포함한 종합 적합도를 산출하고, 과거 평가 이력을 참조하여 적절한 평가 방식을 추천 제공할 수 있다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템(또는 장치)은 평가 관계에 대하여 전술한 평가 방식과 같은 데이터를 활용하여 산출할 수 있다.
각 평가 대상자에게 평가 방식에 의거하여 선정된 각 평가자 후보에 대한 평가 적합도를 산출할 수 있다. 즉, 상기 평가 적합도란 평가 방식에 따라 해당 평가자 후보의 평가 대상자에 대한 평가 적합도를 나타내는 것으로, 결국 평가 대상자에 대한 개별 평가자 후보의 평가자로서 적합한지 그리고 적합하다면 어느 정도 적합한지 여부에 대하여 객관적으로 식별 가능하도록 연산하여 제공되는 데이터로 정의할 수 있다.
이 때, 상기 평가 방식에 의거한 평가자 후보 선정은 하향식인 경우에는 각 평가자의 리더 선정을, 상향식인 경우 각 대상자의 부하 선정을 의미할 수 있다
한편, 평가 적합도는 대상자와 평가자 후보 간의 근속기간, 공동 업무 수행, 면담의 질과 양, 행동 패턴의 일치도, 평가 경향 등을 고려하여 선정될 수 있다. 이 떄, 상기 평가 경향이라 함은 예를 들어, 보수, 관대 등을 나타낼 수 있다.
각 평가 후보자에 대한 적합도 산출 이후, 기 진행 중이거나 동시에 진행되는 평가를 고려하여 평가자의 평가 부담을 최소화할 수 있다.
즉, 컴퓨팅 디바이스(200)는 각 평가자의 평가 부담은 최소화하면서, 각 평가자-평가 대상자(즉, 피평가자) 쌍의 적합도가 임계치 이상 또는 최대치인 평가 관계를 추천 제공할 수 있다.
컴퓨팅 디바이스(200)는 각 평가자-대상자 쌍의 관계와 기 설정된 평가 지침에 따라 적절한 평가 권한을 자동으로 부여할 수 있다. 상기 각 평가자-대상자 쌍의 관계는 상하 관계, 동료 관계 등과 같이 나타낼 수 있다.
본 개시에 따른 구성원 평가 및 관리 서비스 시스템(또는 장치)은 평가 문항에 대하여 제안된 평가 방식에 따라 평가 문항을 제시할 수 있다.
상기 구성원 평가 및 관리 서비스 시스템(또는 장치)은 서비스 플랫폼을 이용하는 이용자들의 평가 이력 및 그들이 입력한 평가 문항을 분류하여 데이터베이스화하고, 이 중 제시된 평가 방식과 기 설정된 조직의 가치 및 평가 지침에 기초하여 각 평가 문항들의 적합도를 산출할 수 있다.
따라서, 본 개시에 따르면, 평가 문항을 통해 불필요하게 중복되는 항목에 대한 평가를 피하면서 임계치 이상의 적합도를 산출할 수 있는 평가 문항 세트를 제시할 수 있다. 이 때, 상기 임계치 이상의 적합도란 최대 적합도를 나타낼 수 있으나 이에 한정되는 것은 아니다.
도 6은 본 개시의 일 실시 예에 따른 처리부(240)의 상세 구성 블록도를 도시한 도면이다.
도 6을 참조하여, 도 3의 평가방식 산출부(310)를 설명하면, 다음과 같다.
평가방식 산출부(310)는 데이터 분류부(610), 데이터 추출부(620), 데이터 변환부(630), 학습부(640), 및 연산부(650)를 포함하여 구성될 수 있다. 다만, 본 개시가 이에 한정되는 것은 아니다.
데이터 분류부(610)는 상기 도 2의 수집부(230)를 통해 수집된 외부 데이터를 미리 정한 기준에 따라 분류할 수 있다.
데이터 추출부(620)는 사용자의 특성을 나타내는 제1 단말(100) 사용 행동 정보 추출할 수 있다.
데이터 변환부(630)는 상기 데이터 추출부(620)를 통해 추출된 데이터를 학습 가능한 형태로 변환할 수 있다.
학습부(640)는 제1 단말(100)을 통해 사용자가 입력한 인적사항, 상기 데이터 변환부(630)의 결과, 상기 제1 데이터 분류부(610)의 결과를 결합하여 학습할 수 있다.
연산부(650)는 상기 학습부(640)의 결과물을 토대로, 적합한 평가 방식들을 도출하고 이를 통신부(220)로 전달할 수 있다.
따라서, 평가방식 산출부(310)는 조직의 특성과 평가 대상자의 특성을 고려하여 적합한 형태의 평가 방식을 제공할 수 있다.
전술한 바와 같이, 상기 조직의 특성은 존속기간, 업종/산업군, 위치 등의 외부 데이터를 수집하여 분류될 수 있다.
또한, 상기 대상자의 특성은 제1 단말(100)을 이용하여 서비스 플랫폼을 통하여 축적되는 사용 행동 정보 및 기 입력된 인적사항(예를 들어, 직급, 직책, 수행 과업, 과거의 평가 결과 등)을 토대로 특정될 수 있다.
한편, 상기 사용 행동 정보는 서비스 플랫폼상의 다양한 행동로그와 행동 간의 시차를 시퀀스화하는 행동 시퀀스 백터와 서비스 플랫폼상에 수행한 업무 및 각종 행동을 나타낼 수 있다. 이는 예컨대, 평가 후보자의 평가에 대한 성실성 또는 참여도 등의 판단에 참조될 수 있다.
따라서, 평가방식 산출부(310)는 구체화된 조직 및 대상자에 대한 정보에 기초하여 최적의 평가 방식을 추천 제시할 수 있다.
즉, 평가 방식은 평가의 방향, 평가의 차수, 평가의 주기 및 시점, 평가 항목(문항) 등을 의미할 수 있다.
상기에서 평가의 주기 및 시점은 예를 들어, 정기 또는 비정기로 나타낼 수 있다. 직전 또는 이전 소정 회차 동안 평가 결과(예를 들어, 평균)에 따라 미리 정의된 정기 평가 주기를 조정할 수 있다. 예를 들어, 상기 평가 결과가 임계치 미만(또는 나쁘다고 판단된 경우)인 경우에는 해당 구성원에 대한 기설정된 정기 평가 주기보다 짧도록 조절하고, 반대인 경우 즉, 상기 평가 결과가 임계치 이상(또는 좋다고 판단된 경우)인 경우에는 해당 구성원에 대해 기설정된 정기 평가 주기보다 길도록 조절할 수 있다. 상기에서, 평가 결과가 임계치로부터 어느 정도인지에 따라 정기 평가 주기의 조정 정도를 차등 조정 제어할 수도 있다. 또는, 현재 평가가 이루어지고 나면, 소정 시간 이내에 해당 평가에 대한 피드백 데이터를 생성하여, 미리 설정된 평가 주기 및 시점 조정에 반영될 수 있도록 할 수도 있다. 유사하게, 직전 이루어진 평가에 대한 신뢰도를 산출하여, 산출된 신뢰도 값에 따, 해당 신뢰도 값이 임계치 미만인 경우에는, 다른 평가자를 통한 해당 구성원에 대한 평가가 임의의 평가 시점에 이루어지도록 할 수 있다. 이 경우, 상기 다른 평가자에 의한 해당 구성원에 대한 평가는 이전 평가자와 동일한 평가 방식 또는 다른 평가 방식에 따라 이루어질 수 있다. 다른 평가 방식이란 전술한 평가 방향이나 평가 차수 또는 평가 문항뿐만 아니라 이전 평가자와 해당 구성원에 의한 평가 과정에서 주고받은 대화 등 평가 데이터를 통한 서류 평가일 수도 있다.
상기 평가 주기로 비정기 평가는 소정 이벤트 발생에 따라 임의로 이루어질 수 있다. 상기 이벤트로 예를 들어, 정기 평가 주기에 이루어진 평가 결과가 이전 대비 임계치 이상 떨어진 경우에는 비정기로 평가 주기를 설정할 수 있고, 해당 구성원의 업무 성과, 승진이나 기타 자격증 획득 등 자격 변동, 직책이나 직무 변동 등이 있거나 예정된 경우에는 비정기로 즉시 또는 미리 설정된 정기 평가 주기와 무관하게 임의의 시점에 비정기 평가가 수행될 수 있다.
상술한 평가 주기 및 시점과 관련 내용 각각에 대하여 가중치가 부여되고 이에 기초하여 평가 방식에 영향을 줄 수도 있다.
과거 비슷한 유형 또는 동일 조직과 대상자에 대하여 추천한 평가 방식에 대한 만족도 및 채택 여부 등을 이용하여, 지속적으로 학습 및 개선하여, 사용자에게 적합한 평가 유형을 제시할 수 있다.
도 6을 참조하여 도 3의 평가관계 산출부(320)를 설명하면, 다음과 같다.
도 6을 참조하면, 평가관계 산출부(320)는 데이터 분류부(610), 데이터 추출부(620), 데이터 변환부(630), 학습부(640), 및 연산부(650)를 포함하여 구성될 수 있다. 다만, 본 개시가 이에 한정되는 것은 아니다.
데이터 분류부(610)는 상기 도 2의 수집부(230)를 통해 수집된 외부 데이터를 미리 정의된 기준에 따라 분류할 수 있다.
데이터 추출부(620)는 사용자와 타 사용자 간의 특성을 나타내는 관계 정보를 추출할 수 있다. 이 때, 상기 사용자와 타 사용자라 함은 예를 들어, 평가자와 피평가자를 나타낼 수 있다.
데이터 변환부(630)는 상기 데이터 추출부(620)를 통해 추출된 데이터를 근접도, 중개도 등과 같은 네트워크 분석 지표이자 학습 가능한 형태로 변환할 수 있다.
학습부(640)는 제1 단말(100)을 통해 사용자가 입력한 인적사항, 상기 데이터 변환부(630)의 결과, 조직 특성 정보를 수집하여 분류한 상기 데이터 분류부(610)의 결과, 그리고 과거 수행한 평가의 관계도 및 결과를 토대로 잠재 평가자에 대한 평가 적합도(예를 들어, 제시된 대상자에 대하여 최적의 평가자)를 제시할 수 있도록 학습할 수 있다.
연산부(650)는 학습된 결과를 토대로 잠재 평가자들의 평가 적합도를 연산하여 제시할 수 있다.
이러한 평가 적합도는 각 평가자에 대한 가중치로서 활용될 수도 있다. 즉, 높은 평가 적합도를 가진다는 것은 높은 가중치를 가진다는 의미일 수 있다.
평가 관계 산출은 평가자 후보자들 중에서 최적의 평가자를 선정하기 위한 과정으로 볼 수 있다.
이러한 평가 관계 산출을 위하여 평가자 후보를 판단함에 있어서, 각 평가자 후보가 이전에 평가에 참여한 이력이 있는 경우에는 해당 이전 평가에서의 평가에 대한 사후 평가 내용을 참조할 수 있다. 예컨대, 해당 평가자 후보가 이전 평가에서, 해당 평가에 대한 사후 평가 결과 실수 여부에 따라 가중치를 부여할 수 있다. 상기 사후 평가 결과 실수 여부란 예를 들어, 일반적인 실수와 해당 평가의 피평가자의 해당 평가 이후의 상태에 따른 실수를 포함할 수 있다. 먼저 일반적인 실수로 단순 실수, 실수의 반복, 의도된 실수 등을 구분하여 각 경우에 서로 다른 가중치를 부여할 수 있다. 또한, 결과론적으로, 해당 평가 당시의 평가자 후보가 내린 피평가자에 대한 평가와 현재 해당 피평가자의 상태를 비교하여, 실수 정도를 수치화하여 가중치를 다르게 부여할 수도 있다. 예를 들어, 평가자 후보가 피평가자에 대해 부정의 평가 의견을 내었으나, 현재는 해당 피평가자의 평가가 최상인 경우에는, 해당 평가자 후보에 대한 평가자로서의 자격이나 능력에 대해 부정적인 가중치가 부여될 수 있다. 한편, 상기의 경우에, 그러한 평가 실수에 대한 사후적 고찰 예를 들어, 평가자 후보의 당시 평가는 실수가 아니었고, 그 이후에 해당 피평가자의 어떠한 동기나 계기가 있었는지 여부 등이 참고될 수 있으며, 너무 오래 전에 이루어진 평가 결과는 이러한 사후 평가에서 최근 평가에 비하여 낮은 가중치를 부여하는 것이 바람직하다. 또한, 평가는 조직이나 단체의 장이나 목표 등에 따라 그 가치 등이 변경될 수 있으므로, 그러한 사정도 고려되어 가중치 결정에 반영되는 것이 바람직하다.
이러한 평가 관계 산출을 위하여 평가자 후보를 판단함에 있어서, 각 평가자 후보와 피평가자의 관계 정보를 고려할 수 있다. 이 때, 관계 정보는 전술한 직책이나 직급뿐만 아니라 동일 또는 유사 직무 수행 유무, 동일 부서 여부, 성별, 동일 부서에서 함께 근무한 연수, 현재 또는 최근 동일 부서 근무 여부, 프로젝트를 함께 진행 경험 유무 등에 따른 결정된 가중치가 다르게 부여될 수 있다.
이러한 평가 관계 산출을 위하여 평가자 후보를 판단함에 있어서, 각 평가자 후보 또는 피평가자가 속한 그룹 정보가 더 고려될 수 있다. 예를 들어, 상기 평가자 후보나 대상 피평가자가 속한 그룹의 분위기가 좋지 않은 경우와 좋은 경우에는 서로 다른 가중치가 부여되도록 할 수 있다. 또한, 평가자 후보가 대상 피평가자와 다른 그룹에 소속된 경우에는 해당 피평가자가 속한 그룹의 리더와의 관계도 고려될 수 있다. 상기의 경우, 평가자 후보가 속한 그룹과 대상 피평가자가 속한 그룹의 관계도 더 고려되어 가중치가 결정될 수 있다.
더불어, 이러한 평가 관계 산출을 위하여 평가자 후보를 판단함에 있어서, 해당 평가자 후보의 사내 평판, 성별, 평가자 참여 횟수, 이전에 대상 피평가자에 대해 평가 유무 등도 개별 가중치로 부여될 수 있다.
한편, 도 6에서, 평가문항 분류부(330)는, 데이터 분류부(610), 학습부(640), 및 연산부(650) 만을 포함하여 구성될 수도 있다. 다만, 본 개시가 이에 한정되는 것은 아니다. 이 경우 데이터 분류부(610)는 상기 도 2의 수집부(230)를 통해 수집된 축적된 문항 데이터를 미리 정한 기준에 따라 분류할 수 있다. 학습부(640)는 상기 데이터 분류부(610)에서 분류된 문항 데이터가 입력되는 경우 자동으로 분류 가능하도록 하는 분류 모델을 학습시킬 수 있다. 연산부(630)는 상기 학습된 모델을 이용하여 신규 문항이 입력되는 경우 자동으로 분류할 수 있다. 또한, 연산부(630)는 설정된 평가 방식 및 관계에 의거하여 문항 개별의 적합도 및 문항 세트의 적합도를 산출하여 최적의 문항 세트를 제시할 수 있다.
평가문항 분류부(330)는 평가 문항의 순서 정보에 대해 제공할 수 있다. 이는 평가 결과를 논리적으로 도출하기 위한 것이다.
평가문항 분류부(330)는 본 개시에 따라 결정된 평가 방식이 비대면 평가인지 대면 평가인지에 따라 다른 평가 문항을 제공할 수 있다. 예를 들어, 평가문항 분류부(330)는 평가 방식이 비대면 평가 방식이고, 평가 차수가 3차라면, 각 차수에 따라 평가 문항을 구분하여 제공할 수 있다.
평가문항 분류부(330)는 평가 문항 자체를 공통 질문과 평가 대상자 특정 질문으로 구분하여 생성 제공할 수 있다. 상기 평가 대상자 특정 질문은 공통 질문으로부터 파생될 수 있다.
평가문항 분류부(330)는 각 평가 문항 및 정답에 대한 세트를 룩업 테이블 형태로 생성하여 저장하고, 실제 피평가자의 응답을 룩업 테이블과 비교하여 추가 질문을 제공할 수 있다. 즉, 평가문항 분류부(330)는 상기 룩업 테이블에 하나의 정답이 아니라 예상 가능한 응답에 따라 추가 질문 또는 연관 질문에 대한 정보가 포함되도록 할 수 있다. 상기 추가 질문 또는 연관 질문은 개별 룩업 테이블 형태로 생성하고 계층 구조의 각 룩업 테이블은 서로 연관되도록 링크 정보를 생성하여 즉시 추가 평가 문항 데이터가 추출 제공되도록 할 수 있다. 만약, 평가문항 분류부(330)는 룩업 테이블에서 정의되지 않은 응답이 수신된 경우에는, 이전 룩업 테이블 세트에서 정의하는 평가 문항이 아닌 다른 평가 문항에 대한 질문으로 넘어가도록 유도할 수 있다.
평가문항 분류부(330)는 이전 평가에서 채택되어 사용된 평가 문항 및 사후 평가 즉, 피드백에 기초하여 평가 문항에 대한 가중치를 부여할 수 있다. 이 때, 평가문항 분류부(330)는 최근 트렌드를 참조하여 상기 가중치를 조정할 수 있다. 상기에서 트렌드라 함은 타 평가자-피평가자 사이의 평가 문항-응답, 최근 이슈화된 사내 정보나 구인/구직 사이트 등에서 이슈가 되는 정보 등이 포함될 수 있다.
평가문항 분류부(330)는 상술한 정보를 참조하여 기 정의된 문항 세트를 재분류할 수 있다. 예를 들어, 평가문항 분류부(330)는 평가 전 임의의 시점에 임의의 구성원에게 일부 개별 평가 문항이나 평가 문항 세트를 선정하여 제공하여 테스트를 수행하고, 그 결과에 기초하여 각 평가 문항이나 평가 문항 세트에 대한 채택 여부, 가중치 등을 설정할 수 있다. 이 때, 상기 테스트 일부 개별 평가 문항이나 평가 문항 세트는 공통 평가와 관련되거나 직무에 특화된 것이 포함될 수 있다. 상기 테스트의 대상은 상기 구성원 이외에도 일반 공중(public), 취업 준비자, 평가 코칭 전문가나 정신과 의사 등 평가 전문가 등이 포함될 수 있다. 상기 테스트 대상에 따라 해당 테스트의 결과에 대한 가중치는 상이하게 부여될 수 있다.
평가문항 분류부(330)는 동일 질문 또는 카테고리에 대하여 늬앙스나 성별 등을 고려하여 복수의 평가 문항이나 문항 세트를 생성하여 미리 테스트하고, 결과에 따라 특정 문항이나 세트를 선정하여 평가에 이용할 수 있다.
도 7은 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다. 도 8 내지 10은 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공을 위한 사용자 인터페이스를 도시한 도면이다.
도 7을 참조하면, 동작 11에서, 컴퓨팅 디바이스(200)는, 구성원 정보를 수신할 수 있다.
동작 12에서, 컴퓨팅 디바이스(200)는, 상기 수신한 구성원 정보로부터 평가 대상자 및 조직 정보를 추출하여 평가 방식 데이터를 생성할 수 있다.
동작 13에서, 컴퓨팅 디바이스(200)는, 상기 생성된 평가 방식 데이터에 기초하여 상기 추출된 평가 대상자에 대한 평가자 후보 및 평가 적합도가 포함된 평가 관계 데이터를 생성할 수 있다.
동작 14에서, 컴퓨팅 디바이스(200)는, 상기 생성된 평가 방식 데이터에 기초하여 상기 평가 관계 데이터로부터 선정된 평가자 후보를 위한 평가 문항 데이터를 생성할 수 있다.
동작 15에서, 컴퓨팅 디바이스(200)는, 상기 생성된 평가 방식 데이터, 평가 관계 데이터 및 평가 문항 데이터를 제공할 수 있다.
도 8의 (a)에서는 서비스 플랫폼에 의해 제공된 사용자 인터페이스를 통하여 피평가자인 구성원 정보가 제공되는 모습을 나타내었다. 도 8의 (a)의 사용자 인터페이스를 통해 평가 대상자와 그 정보를 알 수 있다.
도 8의 (b)에서는 서비스 플랫폼에 의해 제공되는 사용자 인터페이스를 통하여 평가자 후보 및 그 적합도가 제공되는 모습을 나타내었다.
도 8의 (a)에 도시된 사용자 인터페이스를 통해 예를 들어, 평가자는 평가 대상자인 구성원에 대한 정보와 선택된 구성원에 대한 추천 평가 방식에 대한 정보를 획득할 수 있다.
도 8의 (b)에 도시된 사용자 인터페이스를 통해 예를 들어, 피평가자는 평가자 후보에 대한 정보와 적합도를 알 수 있고, 자신에게 가장 적합한 추천 평가자 후보에 대한 정보를 획득할 수 있다.
도 9에 도시된 사용자 인터페이스(900)에서는, 평가 방식 및 평가 관계 정보(910), 문항 세트와 그 적합도(920), 개별 문항과 그 적합도(930) 및 추천 문항 세트 및 개별 문항 정보(940)가 제공되고 있다. 상기에서 문항 세트가 선택되면, 해당 문항 세트에 속한 또는 해당 문항 세트를 구성하는 개별 문항에 대한 정보와 그 적합도가 제공될 수 있다. 또한, 추천 문항 세트 및 개별 문항은 상기 문항 세트 정보(920)와 개별 문항 정보(930) 중 선택되거나 그로부터 추출되어 가공된 전혀 새로운 문항 세트 및 개별 문항일 수도 있다.
도 10에 도시된 사용자 인터페이스(1000)에서는, 피평가자 정보(1010), 상기 피평가자에 적합한 추천 평가자 후보 정보(1020), 추천 평가 방식 정보(1030), 평가 관계 정보(1040) 및 추천 문항 세트 및 개별 문항 정보(1050)이 제공될 수 있다.
도 4는 본 개시의 또 다른 일 실시 예에 따른 처리부(240)의 구성 블록도이다.
도 4를 참조하면, 처리부(240)는 평가 성향 진단부(410), 평가 내용 판단부(420), 평가 내용 보정부(430), 평가 가이드 처리부(440) 등을 포함하여 구성될 수 있다.
본 개시의 일 실시 예에 따르면, 평가 데이터를 기반으로 평가자의 성향을 진단하고 상기 평가자의 평가 내용을 평가하여, 데이터베이스(DB)로부터 적절한 평가 가이드를 추천 또는 해당 기업의 단어 사용 특성 정보를 산출하여 이를 기반으로 평가 문장 개선 및 피드백을 출력할 수 있다.
이를 위해 본 개시에서는, 구성원의 평가를 사전에 수행하고 기록하여 저장할 수 있다.
관련하여, 본 개시에서는 평가 데이터 기반으로 평가자의 성향 진단 및 평가 내용 피드백 제공, 평가자의 정량 평가 작성 시, 기존 평가 성향을 기반으로 정확도 확보, 평가 피드백 기반의 문장 자동 변환 시스템 등에 대해 개시한다.
평가 내용에 대한 평가는 성실도와 적합도로 구성될 수 있다. 성실도는 평가자가 성실하게 성심성의껏 평가를 작성했는지를 나타내며, 적합도는 평가 내용의 적합 및 적절함을 나타낼 수 있다.
컴퓨팅 디바이스(200)는 성실하게 평가에 임했는지를 나타내는 성실도는 크게 평가 준비와 작성한 평가 유사도를 기반으로 산출될 수 있다.
컴퓨팅 디바이스(200)는 평가 준비와 관련하여 평가 작성 완료까지 평가자가 행한 행동과 행동 간의 시차를 나타내는 행동 로그를 기반으로 성실도를 판단할 수 있다. 컴퓨팅 디바이스(200)는 행동 로그를 시퀀스화하여 평가자 행동 특징을 나타내는 시퀀스 벡터를 작성할 수 있다. 컴퓨팅 디바이스(200)는 행동 시퀀스 벡터를 기반으로 평가 작성을 위해 수행한 사전 작업들의 종류 및 이에 할애한 시간을 산출할 수 있다.
평가 유사도는, 과거 작성 평가 내용과 작성한 평가 내용 간의 유사도를 나타낼 수 있다. 컴퓨팅 디바이스(200)는 평가 준비에 할애한 시간 및 평가 사전에 행한 행동의 종류와 평가 유사도를 종합하여 성실도를 산출할 수 있다.
적합도/평가 유형 산출할 수 있는데, 예를 들어, 일반적인 적합도와 평가 분야 및 목적에 대한 적합도로 구분할 수 있다.
상기 일반적인 적합도를 통해 평가 내용에 대한 형태소 분석을 통해 비속어, 부정적/비판적 어투 및 표현, 특정 개인 지칭 여부 등을 파악할 수 있다. 컴퓨팅 디바이스(200)는 상기 평가 분야 및 목적에 대한 적합도에 대하여 평가 내용에 대한 형태소 분석 및 토픽 모델링과 같은 기계학습 기법을 통해 주제를 추정하고, 평가 주제 및 목적과 산출된 주제의 유사도를 산출할 수 있다.
더불어, 컴퓨팅 디바이스(200)는 일반적인 적합도와 평가 분야/목적에 대한 적합도를 종합하여 해당 평가의 적합도를 산출할 수 있다.
평가자 성향 진단은 평가자에 대한 정보, 평가자와 피평가자 간의 관계 정보 그리고 평가자/피평가자가 속한 조직의 정보를 종합하여 내/외부의 타평가자와의 비교를 통해 진단될 수 있다.
컴퓨팅 디바이스(200)는 평가자 정보, 관계 정보, 조직 정보 각각에 대한 유형을 분류할 수 있다. 즉, 평가자 유형, 관계 유형, 조직 유형을 산출할 수 있다. 컴퓨팅 디바이스(200)는 산출된 유형에 일치하는 내부의 평가 이력과 서비스 플랫폼 상에 존재하는 외부(타고객)의 평가 이력을 추출할 수 있다. 컴퓨팅 디바이스(200)는 추출된 내/외부의 평가 이력을 기반으로 평가자의 평가 성향을 진단할 수 있다. 컴퓨팅 디바이스(200)는 평가자의 성향을 평가 결과의 분포 비교를 통해 관대적 또는 보수적 평가 여부를 결정할 수 있다.
평가 문장 수정과 관련하여, 컴퓨팅 디바이스(200)는 서비스 플랫폼의 1:1, 리뷰, 목표 제품을 통해 기록된 기업의 문장 패턴을 학습하여, 기업의 단어 사용 특성 정보 및 대표 어투를 산출하고, 산출된 특성을 이용한 문장의 역화를 통해 평가의 문장을 수정할 수 있다. 대표 어투는, 해당 기업의 구성원 내 평가데이터의 텍스트 데이터 뿐만 아니라, 평가 관련 자료가 아니더라도 사내에서 저장 또는 송/수신되는 사내 자료, 사내 공지사항, 사내 안내문, 외부 홍보자료 등에서 해당 기업이 자체적으로 사용하는 문장 및 단어로부터 산출될 수 있다. 이 때의 산출 조건은, 해당 단어 및/또는 문장의 빈출도를 기반으로 가중치가 부여되어 산출될 수도 있고, 해당 단어 및/또는 문장이 등장한 문서의 중요도를 기반으로 가중치가 부여되어 산출될 수도 있으며, 해당 단어 및/또는 문장을 사용한 사내 구성원의 직급에 따라 가중치가 부여되어 산출될 수 있다. 또한, 컴퓨팅 디바이스(200)는 해당 기업뿐만 아니라 해당 기업과 유사 기술 분야에 속한 유사 기업들의 대표 어투에 관한 정보를 외부 소스로부터 수집하여, 이를 기반으로 평가 문장을 변환할 수도 있다. 이 때의 외부 소스는, 유사 기업의 소셜 네트워크 서비스(SNS), 관련 칼럼, 관련 기사, 회사 소개서, IR(Investor Relations) 자료 등 홍보자료 등이 될 수 있다.
컴퓨팅 디바이스(200)는 필요 데이터 부족으로 단어 사용 특성 및 어투 산출이 불가한 경우, 기업에 대한 정보(업력, 산업군, 미디어 노출 정도, 조직도 등)와 각 개인의 특성에 대한 정보를 이용하여 비슷한 유형의 기업 또는 개인의 문장 데이터를 추출하여 어투를 산출할 수 있다.
컴퓨팅 디바이스(200)는 기업의 구성원들이 작성한 모든 문장들을 취합하고, 이에 대한 키워드 추출, 토픽 추출을 통한 문맥 정보를 추출하고, 추출된 문맥 정보를 토대로 사용된 단어의 의미를 구체화할 수 있다. 일반적인 사전적인 의미 및 동의어를 구체화하는 것과 더불어 해당 기업에서 특정 단어가 갖는 의미를 구체화할 수 있다. 이를 통해 기업에 대한 정보뿐만 아니라 사용 문장의 성향이 비슷한 기업들을 그룹핑할 수 있다.
또한, 컴퓨팅 디바이스(200)는 문장을 토큰(token) 단위로 분해하고, 불용어 처리 등을 통해 자연어 처리 모델이 학습 가능한 데이터를 구축, 이를 통해 기존의 BERT와 같은 자연어 처리 모델에 특정 기업 또는 해당 기업과 비슷한 유형의 기업들의 특성을 반영하는 데이터를 학습시켜, 특성을 반영하는 모델을 구축할 수 있다.
컴퓨팅 디바이스(200)는 구축된 모델을 이용하여 단언어(single language) 번역을 진행하여 동언어 번역/의역을 통해 문장을 변환하고, 이를 통해 익명성을 보장할 수 있다. 즉, 컴퓨팅 디바이스(200)는 모든 개인이 작성한 평가를 해당 기업의 대표 어투 또는 해당 기업과 유사한 기업들의 대표 어투로 변환할 수 있다. 이 때 해당 기업과 유사한 기업들의 대표 어투는 외부 소스로부터 수집될 수 있고, 이를 기반으로 평가 문장이 변환될 수 있다. 이 때의 외부 소스는, 유사 기업의 소셜 네트워크 서비스(SNS), 관련 칼럼, 관련 기사, 회사 소개서, IR(Investor Relations) 자료 등 홍보자료 등이 될 수 있다.
컴퓨팅 디바이스(200)는 변환 이후 앞서 구체화한 해당 기업에서의 특정 단어 사용 사례에 맞추어 필요에 따라 치환할 수 있다.
컴퓨팅 디바이스(200)는 평가 내용에 포함된 “~~님, 씨, 팀장님”과 같이 평가 대상과 평가 작성자를 식별할 수 있는 정보 및 개인 민감 정보 등을 식별하고 제거할 수 있다. 컴퓨팅 디바이스(200)는 도 12에 도시된 바와 같이, 평가 문장 수정 전/후를 비교하여 제시할 수 있다.
평가성향 진단부(410)는, 대상 평가자에 대한 평가 성향을 진단할 수 있다.
평가내용 판단부(420)는, 대상 평가자의 평가 내용에 대해 판단할 수 있다.
평가내용 보정부(430)는, 상기 평가 내용 판단부(420)에서 판단된 평가 내용에 대하여 평가 내용에 대한 보정을 수행할 수 있다.
평가가이드 제공부(440)는, 상기 평가 내용 판단부(420)에서 판단된 평가 내용에 따라 평가 가이드를 제공할 수 있다.
컴퓨팅 디바이스(200)는 평가자와 평가 내용에 대한 평가 결과를 토대로, 관련된 평가 가이드의 항목을 추천할 수 있다. 예를 들어, 컴퓨팅 디바이스(200)는 관대화 경향을 강하게 보이는 평가자에게는 관대화 경향의 장/단점을 전달하는 컨텐츠를 제시하며, 적합도가 낮은 경우 주제에 부합하는 평가의 중요성을 알리는 컨텐츠와 동일한 평가 분야에 대한 타 조직의 평가 내용을 예시로 제시할 수 있다.
먼저, 본 개시의 일 실시 예에 따른 컴퓨팅 디바이스(200)는 평가 데이터에 기초하여 평가자의 성향을 진단하고, 상기 진단에 기초하여 평가 내용에 대한 피드백을 제공하는 실시 예에 대해 설명한다.
평가자에 대한 평가는 예컨대, 평가자의 성향을 식별함으로써 이루어질 수 있다. 컴퓨팅 디바이스(200)는 대상 평가자에 대한 성향을 식별하기 위하여 예를 들어, 적어도 하나 이상의 타 평가자와 대비할 수 있다. 즉, 컴퓨팅 디바이스(200)는 타 평가자의 평가를 기준으로 하여 대상 평가자의 성향을 정의할 수 있다. 이 때, 상기 적어도 하나의 타 평가자에는 예를 들어, 동일 직급 구성원, 동일 조직의 구성원이 포함될 수 있다. 한편, 상기에서 성향이라 함은 직설적, 관대함 등으로 정의될 수 있다.
컴퓨팅 디바이스(200) 예를 들어, 동일 구성원에 대하여 적어도 하나 이상의 타 평가자들의 평가점수와 비교하여, 대상 평가자의 평가점수가 어떤 성향인지 판단할 수 있다. 이 때, 만약 복수의 타 평가자들의 평가점수가 이용된 경우, 상기 대상 평가자의 평가점수의 성향 판단을 위한 기준 데이터는, 모든 타 평가자들의 평가점수들의 평균 평가점수, 모든 타 평가자들의 평가점수들에서 최고 평가점수와 최저 평가점수를 제외한 평가점수들의 평균 평가점수, 모든 타 평가자들의 평가점수의 분포도를 산출하고, 산출된 분포도를 기준으로 예를 들어, 성향을 구분하여 정의하고 대상 평가점수가 어떤 분포에 속하는지로 판단, 상기에서 분포도가 임계치 이상인 경우(예를 들어, 매우 넓은 경우)에는 상기 복수의 타 평가자들 중 공통 사항(예를 들어, 동일 직급 등)을 기준으로 다시 타 평가자들을 구분하여 상기한 평가점수의 분포 등을 산출하여 재평가할 수 있다.
전술한 내용이 일종의 정량 평가에 관한 것이라면, 컴퓨팅 디바이스(200)는 평가자의 평가 내용에 대해서도 평가하여 정성 평가도 수행할 수 있다. 즉, 컴퓨팅 디바이스(200)는 평가자의 평가가 양질의 평가 여부 예를 들어, 평가자의 평가 적합도, 평가 신뢰도, 평가의 성실 작성도 등 평가 내용에 대한 정성 평가 결과를 산출하여 제공할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 키워드에 기초하여 평가자의 평가 내용에 대한 평가를 할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 평가자의 평가 내용의 키워드에 기초하여 평가 분야에 적합한 내용 여부를 평가하여 평가 내용 적합도를 산출할 수 있다. 이 때, 상기 평가 분야라 함은 예를 들어, 역량, 업적, 대인, 동료 평가 등을 포함할 수 있다.
컴퓨팅 디바이스(200)는 인공지능 기술을 이용하여 각 평가 분야 별 주로 쓰이는 주요 키워드를 학습하여 상기 평가 내용 적합도를 산출할 수 있다.
예컨대, 평가 내용 즉, 평가문을 인공지능 모델에 입력 시, 해당 평가문에 평가 분야에서 주로 쓰이는 키워드가 임계치 이상 포함된 경우에는, 해당 평가문의 평가 내용 적합도는 긍정 또는 적합 등으로 판단할 수 있다.
이에 반해, 컴퓨팅 디바이스(200)는 상기 해당 평가문에 평가 분야와는 관계없는 키워드(단어)를 추출하고, 상기 추출된 키워드의 개수가 임계치 이상 포함된 경우에는 해당 평가자의 평가 내용 적합도는 부정 또는 부적합 등으로 판단할 수 있다.
컴퓨팅 디바이스(200)는 주요 키워드를 미리 정의하되 각 키워드에 대해 미리 설정된 가중치를 개별적으로 임의 부여하여 상기 키워드 기반으로 평가 내용에 대한 적합도를 판단에 이용할 수 있다. 이 때, 상기 주요 키워드에는 예를 들어, 긍정과 부정 등 카테고리 별로 구분하여 정의될 수도 있다. 한편, 컴퓨팅 디바이스(200)는 정의된 주요 키워드가 해당 평가문에서 얼마나 반복 사용 여부에 따라 가중치를 추가 부여할 수도 있다.
컴퓨팅 디바이스(200)는 주요 키워드를 정의함에 있어서, 적어도 하나 이상의 타 평가자들 또는 평가자의 성향이 기판단된 경우 동일 평가 성향 또는 반대 평가 성향의 평가자(들)의 평가문에서 반복 사용되거나 주요 키워드로 기 정의되었거나 복수의 타 평가자들의 평가문에 노출 횟수가 임계치 이상인 키워드 등을 참조할 수 있다.
컴퓨팅 디바이스(200)는 대상 평가자의 평가문 작성 패턴 분석을 통하여 해당 평가자의 평가에 대한 신뢰도, 성실도 등에 대한 데이터를 제공할 수 있다.
이 때, 상기 평가문 작성 패턴에는 예를 들어, 평가문 작성 소요 시간, 평가문 작성 시점 등이 포함될 수 있다.
컴퓨팅 디바이스(200)는 대상 평가자의 평가문 작성에 소요된 시간을 동일 구성원에 대한 타 평가자들의 작성 소요 시간과 비교하여, 작성 소요 시간 데이터 저장하고, 그에 기초하여 해당 평가자의 평가문 작성 신뢰도 점수를 산출할 수 있다. 이렇게 산출된 점수는 신뢰, 의심, 불신 등의 결과와 함께 제공될 수 있다.
다른 실시 예에 따르면, 컴퓨팅 디바이스(200)는 단지 평가문 작성 소요 시간만을 가지고 평가문 작성에 대한 신뢰도를 판단하지 않고, 평균적인 타 평가자들의 평가 소요 시간, 타 평가자들의 평가 소요 시간 분포와 비교 등을 고려할 수 있다. 또한, 컴퓨팅 디바이스(200)는 상기 판단된 평가자의 성향을 고려하여 가중치를 부여하여 상기 평가문 작성 소요 시간에 해당 평가자의 성향이 반영될 수 있도록 할 수 있다.
컴퓨팅 디바이스(200)는 작성 시점과 관련하여, 동일 구성원 또는 해당 평가자의 다른 구성원에 대한 평가에 대한 타 평가자들 대비 작성 시점을 비교할 수 있다. 예를 들어, 컴퓨팅 디바이스(200)는 평가 소요 시간 및 평가 시점 분석 결과, 짧은 소요 시간의 평가데이터가 평가 마감일 직전에 집중되어 분포된 경우 신뢰도 저하 요인으로 인식할 수 있다.
컴퓨팅 디바이스(200)는 상기에서 단지 대상 평가자의 평가문 작성 소요 시간 또는 작성 시점만이 아니라 양자의 결합을 통해 대상 평가자의 평가문에 대해 평가할 수도 있다.
컴퓨팅 디바이스(200)는 대상 평가자 평가 및 평가 내용 평가에 기반하여, 데이터베이스(예를 들어, 사내 DB)로부터 적절한 평가 가이드를 추출하여 추천할 수 있다.
컴퓨팅 디바이스(200)는 대상 평가 작성자의 누적된 평가 작성 데이터 기반 평가 성향을 타 평가 작성자와 비교 분석하여, 평가 성향에 대한 인사이트(incite) 및 양질의 피드백을 위한 가이드 또는 추천 아티클을 제공할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 동일 직급의 구성원 중 평가 점수가 미리 설정된 상위에 분포된 구성원의 평가 중 일부를 발췌하여 가이드로 제시할 수 있다.
컴퓨팅 디바이스(200)는 사내 칼럼 또는 사내 작성된 가이드 중, 평가 점수가 낮게 반영된 요인에 부합하는 내용을 담고 있는 자료를 추출하여 대상 평가자에게 제공할 수 있다. 예를 들어, 컴퓨팅 디바이스(200)는 사내 칼럼 중 "대상 구성원의 업무에 적합한 평가를 하기 위한 방법은 무엇인가요" 이라는 제목의 칼럼을 추천할 수 있다.
컴퓨팅 디바이스(200)는 외부 소스로부터 아티클을 수집하여 추천하는 방식으로 가이드를 제공할 수도 있다. 즉, 컴퓨팅 디바이스(200)는 외부 소스로부터 평가 점수가 낮게 나온 요인을 분석하고, 해당 요인을 개선할 수 있는 내용을 담은 아티클을 가져와 대상 평가자에게 제공할 수 있다. 컴퓨팅 디바이스(200)는 예를 들어, 대상 평가 작성자의 판단된 성향이 관대인 경우, ‘radical candor(완전한 솔직함)’ 아티클을 추천할 수 있다.
컴퓨팅 디바이스(200)는 대상 평가자의 정량 평가 작성 시, 기존 평가 성향을 기반으로 정확도 확보할 수 있도록 정량적 평가 보정 시스템을 제공할 수 있다.
컴퓨팅 디바이스(200)는 이를 위해, 예를 들어 대상 평가자의 성향을 우선 파악하여, 파악된 대상 평가자의 평가 성향에 따른 평가 내용에 대한 정량 평가 결과를 보정할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 관대한 평가 성향의 평가자가, 기존 평가와 동일하게 다른 평가자에 비해 관대한 평가 점수를 부여한 경우, 관대 성향에 해당하는 성분(예를 들어, 평가 항목, 관대 성향에 대한 정량 점수 등)을 제거하고 나머지 평가 항목에 대한 평가 점수를 추천할 수 있다. 일 예로, 컴퓨팅 디바이스(200)는 상기 대상 평가자의 최초 부여 평가 점수가 `5-4-5-5-4`인 경우에, 관대 성향 성분을 제외한 평가 항목별 점수가 `4-2-4-4-3`와 같이 수정 적용을 제안하는 결과 창을 제공할 수 있다.
컴퓨팅 디바이스(200)는 전술한 정량 평가 보정에 이어 정성 평가 보정과 관련하여, 평가 피드백 기반으로 평가문에 포함된 적어도 하나 이상의 문장에 대한 자동 변환 시스템을 제공할 수 있다.
컴퓨팅 디바이스(200)는 이를 위해, 대상 평가 작성자가 포함된 조직(기업) 내 단어 사용 특성 정보를 산출할 수 있다. 이 때, 상기 단어 사용 특성 정보는 반드시 해당 조직 내 평가시에 사용된 단어뿐만 아니라 해당 조직의 다양한 문서, 글 등에서 사용되는 단어도 대상으로 하여 추출될 수 있다. 이는 객관성을 참고하여 대상 평가자 노출에 따른 위험도를 낮추어 익명성을 보장하기 위함일 수 있다.
컴퓨팅 디바이스(200)는 당해 기업의 업종별 자주 사용되는 단어 및 문장구조를 추출하여 정성 평가에 이용할 수 있다. 한편, 추출 대상 자료는 데이터베이스화될 수 있다. 이러한 추출 대상 자료에는 대내 보고서, 대외 보고서, 공지사항, 게시판 등이 포함될 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 당해 기업 내에서 상기와 같은 추출 대상 자료에 주로 사용되는 언어나 문장 데이터를 수집하고, 대상 평가자의 평가문에 포함된 단어 중 조직 내 자주 쓰이는 단어와 동의어인 경우 자동으로 치환하거나 치환하도록 추천 제공할 수 있다.
컴퓨팅 디바이스(200)는 비문 교정 및 작성된 평가 문장에 포함된 특정 단어를 기업의 특성이 반영된 대표 단어로 치환하거나 치환 추천 제공할 수 있다.
컴퓨팅 디바이스(200)는 문장 구조, 문장 말미, 단어 등을 기업 내 자주 쓰이는 문장 구조, 문장 말미, 단어 등으로 치환함으로써, 대상 평가자가 누구인지 쉽게 유추하기 어렵도록 서비스 제공할 수 있다.
컴퓨팅 디바이스(200)는 평가 데이터베이스(DB)를 바탕으로 평가에 주로 쓰이는 단어나 문장 구조를 학습하여 문장 치환에 이용할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 평가 분야에서 자주 쓰이지 않는 단어가 사용된 경우, 동의어 중에 평가 분야에서 주로 사용되는 단어가 있는 경우, 이를 치환하여 보다 통일성과 일관성이 있는 평가 데이터로 정성적인 보정을 수행 또는 추천할 수 있다.
상기에서 예를 들어, 평가 분야에서 주로 사용되는 언어란 반드시 대상 기업 내부에서 사용되는 단어만이 아니라 외부 평가 사이트, 평가 칼럼 등 외부 소스로부터 크롤링한 데이터도 이용 또는 참고될 수 있다.
컴퓨팅 디바이스(200)는 정성적 피드백 성향을 고려해 전반적인 문장 개선 및 피드백 데이터를 제공할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 대상 평가 작성자의 익명성을 보장할 수 있도록, 평가 데이터베이스(DB)에 기초하여 평가에 주로 쓰이는 단어나 문장구조 학습 및 평가 문장 치환할 수 있는데, 이 때 정성적 피드백 성향(예를 들어, 어투, 사투리, 특정 단어 등)을 고려해 전반적인 문장 개선 및 피드백 데이터를 서비스 제공할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 엄격한 평가 성향으로 판단된 대상 평가자의 평가문에서, 문장 말미를 딱딱하지 않은 유연한 말투로 개선하여 교정 및 유연한 평가로 유도할 수 있는 결과 피드백을 출력할 수 있다. 이 때, 상기 결과 피드백으로 예를 들어, “유연하고 부드러운 말투는 피평가자와의 관계 개선에 도움이 될 수 있어요!”와 같은 문구가 제공될 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 평가 성향 판단 결과 신뢰도 내지 성실도가 낮게 평가된 대상 평가자의 평가문에 대하여, 업무 관련도가 상대적으로 낮은 단어를 추출하고, 이를 노티하여 개선할 수 있도록 서비스 제공할 수 있다.
컴퓨팅 디바이스(200)는 상기와 같이 상대적으로 평가와 관련도가 낮은 단어를 대상 평가자가 자주 노출하는 경우, 키워드 및 평가 관련도에 기반한 피드백 데이터를 서비스 제공할 수 있다. 이 때, 상기 피드백 데이터로 예를 들어, “건강, 술, 담배” 같은 키워드를 인지하여, ‘업무와 관련한 피드백에 조금 더 집중해 보는 건 어떨까요’와 같은 가이드 데이터를 대상 평가자에게 제공할 수 있다.
이러한 대상 평가자에 대한 성향 파악, 정성적 보정, 정량적 보정은 예를 들어, 대상 평가자가 피평가자에 대한 평가 후 제출된 평가문에 대해 수행될 수도 있고, 상기 평가문 제출 전에 미리 제공될 수 있다. 또한, 상기 보정은 상기 피평가자에 대한 평가 전에 시뮬레이션 또는 이전 평가문(동일 피평가자 또는 다른 피평가자에 대한)에 대하여 이루어져 사전 학습할 수 있도록 제공될 수도 있다.
상기한 내용은 개별적으로 또는 적어도 둘 이상의 내용이 결합된 형태로 대상 평가자의 평가 수행을 위해 적용 또는 추천 제공될 수 있다.
도 11은 본 개시의 다른 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다. 도 12는 본 개시의 다른 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공을 위한 사용자 인터페이스(1200)를 도시한 도면이다.
도 11을 참조하면, 동작 21에서, 컴퓨팅 디바이스(200)는, 구성원에 대한 평가자의 평가 내용을 수신할 수 있다.
동작 22 및 23에서, 컴퓨팅 디바이스(200)는, 상기 수신된 평가자의 평가 내용으로부터 평가자의 성향과 평가 내용에 대한 적합도를 판단하고, 상기 판단된 적합도가 포함된 평가 내용 피드백을 생성할 수 있다.
동작 24에서, 컴퓨팅 디바이스(200)는, 상기 생성된 평가 내용 피드백에 따라 상기 수신된 평가자의 평가 내용을 단계별로 보정할 수 있다.
동작 25에서, 컴퓨팅 디바이스(200)는, 상기 생성된 평가 내용 피드백과 보정된 평가 내용을 제공할 수 있다.
상기에서, 상기 평가 내용에 대한 단계별 보정은, 정량적 보정 및 정성적 보정을 통해 이루어질 수 있다.
상기에서, 컴퓨팅 디바이스(200)는, 기 수신된 구성원에 대한 평가자의 평가 내용을 저장할 수 있다.
컴퓨팅 디바이스(200)는, 상기 평가자의 성향을 동일 구성원에 대한 적어도 하나 이상의 타 평가자의 평가 점수와 비교하여 상기 평가자의 평가 점수를 대비하여 판단할 수 있다.
컴퓨팅 디바이스(200)는, 상기 평가 내용에 대한 적합도를 상기 인공지능 기반 상기 평가 내용에 포함된 키워드 기반으로 판단할 수 있다.
컴퓨팅 디바이스(200)는, 상기 평가 내용에 대한 적합도를 상기 평가 내용에 포함된 평가 작성 패턴 분석을 통한 평가 신뢰도와 성실도 기반으로 판단할 수 있다.
컴퓨팅 디바이스(200)는, 상기 생성된 평가 내용 피드백에 기초하여 데이터베이스로부터 평가 가이드 데이터를 추출하고, 추출된 평가 가이드 데이터를 제공할 수 있다.
컴퓨팅 디바이스(200)는, 상기 평가자의 평가 내용에 대한 정량적 보정을 상기 평가자의 성향에 기초하여 상기 평가 내용에 포함된 평가 항목별 평가 점수를 수정하여 수행할 수 있다.
컴퓨팅 디바이스(200)는, 상기 평가자의 평가 내용에 대한 정성적 보정을 상기 생성된 평가 피드백에 기초하여 상기 평가자의 평가 내용에 포함된 단어와 문장 중 적어도 하나를 변환하여 수행할 수 있다.
도 12에 도시된 사용자 인터페이스(1200)에는, 평가자 정보(1210), 피평가자 정보(1220), 평가 내용 피드백 정보(1230), 평가자 성향 정보(1240), 평가 내용 적합도 정보(1250), 평가 내용 원본(1260), 평가 내용 보정본(1270) 및 기타 정보가 포함되어 제공될 수 있다.
다음으로, 전술한 평가자의 피평가자에 대한 평가 내용 또는 평가 기록에 근거하여 개인 면담 등에 대한 회의 아젠다를 추천해 주는 방법에 대해 기술한다.
다시 도 1을 참조하면, 본 개시와 관련하여, 구성원 평가 및 관리 시스템 내 제1 단말(100)은 회의에 참석하는 모든 고객의 단말을 나타낼 수 있으며, 컴퓨팅 디바이스(200)는 상기 제1 단말(100)을 통해 사용자의 인적 사항 및 수행 업무, 과거 평가 이력에 대한 정보 등을 수집할 수 있고, 제2 단말(150)은 제1 단말(100) 사용자 즉, 회의 참여자가 소속된 회사에 관한 외부 데이터를 수집할 수 있다.
도 5는 본 개시의 또 다른 일 실시 예에 따른 처리부(240)의 구성 블록도이다.
도 5를 참조하면, 처리부(240)는 회의 주제 산출부(510), 관련 정보 산출부(520) 등을 포함하여 구성될 수 있다.
회의 주제 산출부(510)는 수집부를 통해 수집된 정보를 토대로 적합한 회의 주제 및 어젠다를 산출할 수 있다.
관련 정보 산출부(520)는 상기 회의 주제 산출부에서 회의 주제 산출을 위해 활용된 정보 및 주제/어젠다에 대하여 회의 참석자에 대한 정보를 제시할 수 있다.
컴퓨팅 디바이스(200)는, 구성원의 정보를 분석하여 성장, 몰입, 협업, 성과와 같은 면담의 대주제(예를 들어, 제1 회의 데이터)와, 구체적인 토킹 포인트(어젠다)(예를 들어, 제2 회의 데이터)와 이에 관련된 정보를 제시하여, 구성원 간 효율적이고 효과적인 면담을 도울 수 있다.
본 개시에 따른 컴퓨팅 디바이스(200)는, 대주제, 어젠다, 면담시점, 관련정보를 포함한 정보를 적어도 두 명의 면담 참여자 각각에 대한 정보와, 참여자 간의 관계에 대한 정보 및 조직 데이터에 기반하여 제공할 수 있다.
상기에서, 면담 참여자와 조직 데이터는 다시 외부 데이터와 내부 데이터로 나뉠 수 있다. 이 때, 전술한 바와 같이, 내부 데이터는 서비스 플랫폼에 사용자가 입력하는 정보 및 서비스 플랫폼 사용에 따라 발생 및 저장되는 데이터를 의미하며, 외부 데이터는 서비스 플랫폼을 통해 획득 불가한 데이터를 의미할 수 있다.
상기에서, 참여자 정보 중 내부 데이터는 사용자 입력 데이터와 사용자 행동 정보 그리고 사용자 상황 정보로 나뉠 수 있다. 상기 사용자 입력 데이터는 서비스 플랫폼 이용을 위해 사용자가 입력하는 직무, 직급, 직책, 입사년도, 소속부서, 성과 등의 인사 정보 및 과거 평가/회의 기록 등 서비스 플랫폼의 서비스를 사용함으로 축적되는 데이터를 의미할 수 있다. 상기 사용자 행동 정보는 사용자가 서비스 플랫폼을 이용함에 따라 발생하는 행동과(페이지 조회, 평가 작성, 면담 신청 등) 이를 나타내는 로그 데이터 기반으로 추출되는 정보를 의미할 수 있다. 과거 회의/면담 기록 및 평가 기록 또한 이에 해당할 수 있다. 사용자 상황 정보는 최근 사용자가 처한 상황을 의미하며, 이 상황은 최근 평가 대상자 여부 및 승진 여부와 같이 성과에 영향을 미치는 주요 이벤트를 의미할 수 있다. 상기에서, 행동 로그 데이터는 행동의 종류와 각 행동 간의 시차 그리고 행동의 대상으로 구성되며, 상기 프로세서가 각 로그를 취합하여 기계학습을 통해 사용자의 유형 및 추가 정보를 추출하여 구성될 수 있다. 예를 들어, 서비스 플랫폼의 서비스의 일부인 구성원 간의 면담(1:1)을 준비함에 있어, 사전에 서비스 플랫폼에 접속하여 논의 안건(아젠다) 등록 및 상대방의 아젠다에 대한 의견 추가 여부 및 추가 시점(예를 들어, 면담 직전 추가, 면담 1시간 전 추가 등) 등으로 사용자의 유형을 분류할 수 있다.
외부 데이터는 서비스 플랫폼 외 사용자의 SNS 데이터 등을 의미하며, 이를 통해 총 경력, SNS 활성도 등의 정보를 추출하고, 사용자의 유형 분류에 적용할 수 있다.
한편, 관계 정보는 각 면담 참여자의 소속, 직급, 연차, 평가 경험(대상자와 평가자) 간의 차이 또는 동질성을 나타내는 정보를 의미할 수 있다. 즉, 상기 명시된 각 참여자에 대한 정보 간의 관계를 의미할 수 있다. 예를 들어, 부장과 차장인 A와 B 간의 면담인 경우, 부장/차장은 A, B에 대한 참여자 정보이며, A가 B보다 상급자인 사실은 관계 정보이다.
또한, 조직 정보와 관련하여, 내부 데이터는 사용자가 입력한 조직의 구성도(조직수, 관계 등), 규모 등을 의미할 수 있다. 또한, 진행 중이거나 진행했던 평가/리뷰에 대한 정보 또한 의미할 수 있다. 외부 데이터는 조직의 존립기간, 업종, 산업군 정보, 언론 노출 정도 등을 의미할 수 있다. 컴퓨팅 디바이스(200)는, 다양한 내/외부 데이터를 종합하여 조직의 성향과 철학을 가늠하고, 이에 따라 적합한 대주제, 아젠다를 제시할 수 있다.
그 밖에, 관련 정보와 관련하여, 컴퓨팅 디바이스(200)는, 제시된 대주제와 어젠다에 대응하는 정보를 제공할 수 있다. 이 때, 관계 정보를 고려하여 상대방에 대한 정보 공유 범위가 제한될 수 있다. 예를 들어, 평가라는 대주제에 대하여 최근 평가 결과에 대한 어젠다가 제시된 경우, 최근 및 과거 평가 결과 및 트렌드에 대한 정보가 상대방의 직속 상관(평가 결과가 공개되는)에게는 제공되지만, 그렇지 않은 경우 평가 결과 또는 경우에 따라 최근 평가를 받았다는 사실이 제공되지 않을 수 있다.
컴퓨팅 디바이스(200)는, 상기 제시된 주제 및 어젠다에 대하여 최근 회의 참석자들의 행동 및 이력 간의 유사도/관련도를 산출하고, 이 중 모든 참석자에게 높은 유사도를 보이는 관련 정보를 제공할 수 있다.
도 6을 참조하여, 도 5의 회의 주제 산출부(510)의 구성을 설명하면, 다음과 같다.
상기 회의 주제 산출부(510)는 데이터 분류부(610), 데이터 추출부(620), 데이터 변환부(630), 학습부(640) 및 연산부(650)을 포함하여 구성될 수 있다.
데이터 분류부(610)는 상기 도 2의 수집부(230)를 통해 수집된 외부 데이터를 미리 정한 기준에 따라 분류할 수 있다.
데이터 추출부(620)는 사용자의 특성을 나타내는 제1 단말(100) 사용 행동 정보를 추출할 수 있다. 또한, 데이터 추출부(620)는 회의 참석자 간의 관계를 나타내는 관계 정보를 추출할 수 있다(상급자, 동기 등).
데이터 변환부(630)는 상기 데이터 추출부(620)를 통해 추출된 데이터를 학습 가능한 형태로 변환할 수 있다.
학습부(640)는 제1 단말(100)을 통해 사용자가 입력한 인적 사항, 데이터 변환부(630)의 결과, 및 데이터 분류부(610)의 결과를 결합하여 학습할 수 있다.
연산부(650)는 상기 학습부(640)의 결과물을 토대로, 선정된 회의 참석자 간 최적의 주제를 제시하며, 이를 위해 참조하는 정보 및 정보 종합 방식은 하기와 같으며 하기의 요소들로 국한되지는 않는다.
회의 참여자들의 과거 회의 이력을 조회하여 반복되는 회의 여부 및 이전 회의에서 해소하지 못하거나 논의 예정인 주제/어젠다를 확인할 수 있다.
회의 참석자들의 인적사항, 참여하는 기타 회의 정보, 진행 중인 평가/리뷰 등과같은 다양한 정보를 종합하여, 평가결과 대기, 평가 결과 조회 등 현재 회의 참여자들의 상태/상황을 확인할 수 있다.
비슷한 성향의 조직, 상황 및 개인 성향의 사용자들이 활용한 주제/어젠다를 확인하고 종합할 수 있다.
상기 종합된 정보 및 각 참석자의 개인 정보 및 참석자 간 관계 정보를 종합하여 적절한 주제 및 어젠다를 제시할 수 있다.
어젠다는 기서비스 플랫폼에서 개발한 추천 어젠다 목록 및 타사용자들이 사용한 어젠다 중 시점, 어젠다, 회의 참석자 유형 등을 아우르는 유형 간 유사도를 고려하여 추천 어젠다 풀(pool)을 생성하고 제시할 수 있다.
도 6을 참조하여, 도 5의 관련 정보 산출부(520)의 구성을 설명하면, 다음과 같다.
상기 관련 정보 산출부(520) 역시 데이터 분류부(610), 데이터 추출부(620), 데이터 변환부(630), 학습부(640) 및 연산부(650)을 포함하여 구성될 수 있다.
데이터 분류부(610)는 상기 도 2의 수집부(230)를 통해 수집된 외부 데이터를 미리 정한 기준에 따라 분류할 수 있다.
데이터 추출부(620)는 제시된 주제/어젠다와 연관된 회의의 참석자에 대한 정보를 추출할 수 있다.
데이터 변환부(630)는 상기 데이터 추출부(620)를 통해 추출된 데이터와 선정된 주제/어젠다와의 유사도 및 관련도를 연산 가능한 형태로 자연어 처리와 같은 방법을 이용하여 변환할 수 있다.
학습부 및 연산부(640, 650)는 변환된 데이터를 토대로 학습 및 관련도가 높은 정보를 산출할 수 있다.
컴퓨팅 디바이스(200)는, 산출된 정보는 전술한 주제/어젠다 산출 과정에서 산출된 참석자 간의 관계 정보를 토대로 공개/비공개 및 마스킹 정도를 선정하고 이를 적용하여 산출된 정보를 참석자들에게 노출되도록 제어할 수 있다.
컴퓨팅 디바이스(200)는 구성원 즉, 피평가자에 대한 평가자의 평가를 사전에 수행하고 해당 평가 기록을 저장할 수 있고, 상기 저장된 평가 기록에 기초하여 상기 피평가자와 평가자의 회의 진행을 도울 수 있다. 이 때, 상기 평가자는 반드시 피평가자에 대한 평가를 수행한 평가자에만 국한되는 것은 아니다.
컴퓨팅 디바이스(200)는 평가 대상자에 대한 입력이 수신되면, 해당 구성원에 대한 평가 정보 즉, 평가 기록을 추출하여 제공할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 평가 대상자 평가 정보를 수치화하여 제공, 동일 직군/직급의 평가 평균과 비교하여 제공, 피평가자의 평가 점수가 평균치보다 낮은 항목을 별도 분류하여 표시 제공할 수 있다.
이 때, 컴퓨팅 디바이스(200)는 구성원의 평가 정보에는, 참고 정보 등을 포함한 평가 근거가 포함될 수 있다. 예를 들어, 상기 참고 정보에는 목표 달성 진척도, 승진 기록, 과거 경력 등이 포함될 수 있다.
컴퓨팅 디바이스(200)는 평가 대상자의 평가 정보에 기초하여 회의 어젠다를 추천 서비스 제공할 수 있다.
컴퓨팅 디바이스(200)는 평가자의 평가 정보를 기반으로 예를 들어, 1:1 면담과 같은 회의에 적합한 어젠다를 추천 서비스할 수 있다. 이 때, 컴퓨팅 디바이스(200)는 예를 들어, 평가 대상자의 평가 정보에 기초할 때 특정 항목에 낮은 평가 점수가 확인된 경우, 관련 항목을 회의 어젠다로 추천할 수 있다.
컴퓨팅 디바이스(200)는 기계학습을 통하여 해당 항목의 평가가 낮은 리뷰 대상자와 미팅을 위한 주제를 자동으로 추천할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 동료들이 느끼는 친근감 등 대인 관계 관련 항목이 낮게 평가된 평가 대상자에 대하여, 미팅 이후 어젠다로, “조직 내에서 스트레스 받지 않는 방법”, “동료와의 원만한 관계 유지를 위한 행동지침”, “사내 구성원 간 친목 도모를 위한 프로그램/동호회 논의”, “상사에게 부당한 일을 겪었을 때의 효과적인 대응 방안”, “후임들을 대할 때 친근하게 다가가는 방법“ 중 적어도 하나를 1:1 미팅 어젠다로서 사내 대인관계 관련 어젠다 또는 질문으로 자동으로 추천할 수 있다.
컴퓨팅 디바이스(200)는 전술한 바와 같이, 평가 정보와 회의 어젠다 기반의 질문(설문) 리스트를 제공할 수 있다.
컴퓨팅 디바이스(200)는 평가자가 상기 추천 제공된 어젠다 중 특정 어젠다를 선택할 경우, 관련 정보 수집을 위한 질문 리스트를 제공할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, “조직 내에서 스트레스 받지 않는 방법” 어젠다가 선택된 경우, “Q: 동료들의 행동 중 어려움을 느끼게 하는 행동이 있나요”, “Q: 부서 내 다가가기 어려운 인원이 있나요”, “Q: 부서 이동을 희망하나요”, “Q: 다수와 진행하는 업무보다 혼자 진행하는 경우 효율이 좋은 편인가요”와 같이 자동으로 회의 어젠다와 관련 있는 정보를 도출해 내기 위한 질문 리스트를 추천 서비스 제공할 수 있다.
컴퓨팅 디바이스(200)는 평가 정보를 기반으로 추가 정보 수집이 필요한 항목을 산출하고, 관련 정보 수집을 위한 질문 리스트를 제공할 수 있을 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 평가 정보상으로, 최근 목표 달성 진척도가 감소되어 평균치 아래인 경우, “Q: 근래 업무 효율성에 대해 스스로 어떻게 평가하나요”, “Q: 휴식기가 필요하다고 생각해본 적 있나요”, “Q: 업무 처리에 있어서 개선되면 좋을 것 같은 점이 있나요”, “Q: 업무 처리를 저해하는 요소가 있다면 어떤 것이 있을까요”, “Q: 업무 관련 동료들에게 바라는 점이 있나요”, “Q: 업무에 흥미가 떨어지거나, 다른 분야를 향한 관심이 있나요” 등 평가 정보를 기반으로, 당해 구성원의 상태 파악에 적합한 질문 리스트를 추출 및 자동 추천 서비스 제공할 수 있다.
컴퓨팅 디바이스(200)는 전술한 회의 어젠다를 고려하여 평가 정보 자동 가공 출력 서비스를 제공할 수 있다.
컴퓨팅 디바이스(200)는 평가자가 회의 개설 시, 회의의 목적을 직접 설정하거나, 전술한 방식에 따라 회의 어젠다를 추천받아 이를 설정할 수 있다.
컴퓨팅 디바이스(200)는 평가자의 선택에 의해 설정된 회의 개설 목적에 따라, 구성원의 평가 정보를 목적에 맞게 가공하여 출력할 수 있다.
컴퓨팅 디바이스(200)는 평가 정보를 단순 출력 서비스하는 것이 아니라 회의 개설 목적 및/또는 회의 어젠다에 맞게 가공하여 출력 서비스할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 회의 목적이 “연봉 협상”인 경우, 구성원의 평가 정보를 기반으로, 구성원의 단순 목표 달성도가 아닌 연봉 계약 기간 내 조직과 개인이 합의하여 설정된 목표 달성도 등에 대한 정보를 출력할 수 있다.
컴퓨팅 디바이스(200)는 구성원의 평가 정보를 기반으로, 구성원이 연봉 계약 기간 내 조직의 목표에 얼마나 기여하였는지 조직 기여도 및 회사 기여도 등에 대한 정보를 출력할 수 있다.
컴퓨팅 디바이스(200)는 구성원의 작년 연봉 계약 당시의 내년 목표 및 달성 예정 OKR(Object Key Result) 및 KPI 등을 참조하여, 작년 연봉 계약 시 합의하였던 목표를 달성하였는지 달성 여부에 대한 정보를 참고 또는 출력 서비스할 수 있다.
컴퓨팅 디바이스(200)는 당해 구성원과 유사한 평가 점수를 가지고 있는 다른 구성원의 연봉 정보를 출력하거나 비교 데이터로 제시할 수 있다.
도 13은 본 개시의 또 다른 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다. 도 14는 본 개시의 일 실시 예에 따른 구성원 평가 및 관리 서비스 제공을 위한 사용자 인터페이스를 도시한 도면이다.
도 13을 참조하면, 동작 31에서, 컴퓨팅 디바이스(200)는, 구성원 정보를 수신할 수 있다.
동작 32에서, 컴퓨팅 디바이스(200)는, 상기 수신한 구성원 정보로부터 평가 정보를 추출할 수 있다.
동작 33에서, 컴퓨팅 디바이스(200)는, 상기 추출된 평가 정보에 기초하여 제1 회의 참여자와 제2 회의 참여자를 결정할 수 있다.
동작 34에서, 컴퓨팅 디바이스(200)는, 상기 결정된 제1 회의 참여자와 제2 회의 참여자에 대한 회의 참여자 정보 및 상기 제1 회의 참여자와 제2 회의 참여자의 관계 정보를 추출하고, 인공지능 기반으로 상기 추출된 회의 참여자 정보 및 상기 회의 참여자 관계 정보에 기초하여 제1 회의 데이터와 상기 제1 회의 데이터와 관련된 제2 회의 데이터를 생성할 수 있다.
동작 35에서, 컴퓨팅 디바이스(200)는, 상기 생성된 제1 및 제2 회의 데이터를 제공할 수 있다.
도 14에 도시된 사용자 인터페이스(1400)에는, 평가자 정보(1410), 피평가 정보(1420), 평가 내용 피드백 정보(1430), 추천 어젠다 및 적합도 정보(1440), 회의 어젠다 기반 질문 리스트 정보(1460), 회의 어젠다 부합 가공 처리된 평가 내용(1470) 및 기타 정보가 포함되어 제공될 수 있다.
구성원들의 퍼포먼스(Performance), 몰입도(Engagement) 등에 인사 정보를 적시에 객관적으로 판단하는 것은 쉽지 않다. 즉, 본인, 인사 담당자 또는 상급자의 인력에 의해 직접 각 구성원에 대한 몰입도를 판단하고, 시기 변동에 따라 추적하는 데에 한계가 있다. 이에 본 개시에서는 인공지능을 이용해 구성원의 제반 데이터를 기반으로 업무 몰입 상태 정보를 산출하고, 그에 따라 대응에 대해 살펴본다.
이하에서는, 본 개시의 일 실시 예에 따른 컴퓨팅 디바이스(200)에 의해 수행되는 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공에 관해 기술한다.
도 15는 본 개시의 또 다른 실시 예에 따른 처리부(240)의 구성 블록도이다.
상기 처리부(240)는 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공을 위한 구성을 포함할 수 있다.
도 15를 참조하면, 상기 처리부(240)는 정보 추출부(1510), 정보 판단부(1520), 상태 관리부(1530) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
상기 정보 추출부(1510)는 구성원 정보를 수신하여, 상기 수신한 구성원 정보로부터 구성원의 업무 몰입 상태 학습을 위한 정보를 추출할 수 있다.
그리고 상기 정보 추출부(1510)는 상기 수신한 구성원 정보로부터 또한 대상 구성원의 업무 몰입 상태 정보를 추출할 수 있다.
도 6을 참조하여, 도 15의 정보 판단부(1520)의 구성을 설명하면, 다음과 같다.
정보 판단부(1520)는 데이터 분류부(610), 데이터 추출부(620), 데이터 변환부(630), 학습부(640), 및 연산부(650)를 포함하여 구성될 수 있다. 다만, 본 개시가 이에 한정되는 것은 아니다.
데이터 분류부(610)는 상기 도 2의 수집부(230)를 통해 수집된 내부 데이터와 외부 데이터를 미리 정한 기준에 따라 분류할 수 있다.
데이터 추출부(620)는 사용자의 특성을 나타내는 제1 단말(100)로부터 사용 행동 정보 추출할 수 있다.
데이터 변환부(630)는 상기 데이터 추출부(620)를 통해 추출된 데이터를 학습 가능한 형태로 변환할 수 있다.
학습부(640)는 상기 제1 데이터 분류부(610)와 상기 데이터 변환부(630)의 결과를 결합하여 학습할 수 있다.
연산부(650)는 상기 학습부(640)의 결과물을 토대로, 적합한 평가 방식들을 도출하고 이를 통신부(220)로 전달할 수 있다.
따라서, 상기 정보 판단부(1520)는 학습 결과에 기초하여 상기 대상 구성원의 업무 몰입 상태와 후술하는 기준 구성원의 업무 몰입 상태와 비교 판단할 수 있다.
상기 상태 관리부(1530)는, 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스(예를 들어, 도 2의 저장부(260)에 해당)로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하여 제어부(250)로 전달하여, 상기 제어부(250)의 제어에 따라 상기 생성된 서비스 데이터를 제공되도록 할 수 있다.
도 16은 본 개시의 일 실시 예에 따른 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법을 설명하기 위해 도시한 흐름도이다.
동작 41에서, 컴퓨팅 디바이스(200)는 구성원 정보를 수신할 수 있다.
동작 42에서, 컴퓨팅 디바이스(200)는 상기 수신한 구성원 정보로부터 구성원의 업무 몰입 상태 판단을 위한 정보를 추출하여 인공지능 기반으로 학습할 수 있다.
동작 43에서, 컴퓨팅 디바이스(200)는 상기 수신한 구성원 정보로부터 대상 구성원의 업무 몰입 상태 정보를 추출할 수 있다.
동작 44에서, 컴퓨팅 디바이스(200)는 상기 학습 결과에 기초하여 상기 대상 구성원의 업무 몰입 상태를 판단할 수 있다.
동작 45에서, 컴퓨팅 디바이스(200)는 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성할 수 있다.
동작 46에서, 컴퓨팅 디바이스(200)는 상기 생성된 서비스 데이터를 제공할 수 있다.
상기에서, 컴퓨팅 디바이스(200)는 상기 동작 41에서 수신한 구성원 정보로부터 대상 구성원과 제1 임계치 이상 유사한 유형의 적어도 하나 이상의 기준 구성원을 추출하여 구성원 목록을 생성할 수 있다.
컴퓨팅 디바이스(200)는, 상기 생성된 구성원 목록에 속한 적어도 하나 이상의 기준 구성원에 대한 업무 몰입 상태와 대상 구성원의 업무 몰입 상태를 비교할 수 있다.
컴퓨팅 디바이스(200)는, 상기 기준 구성원과 대상 구성원의 업무 몰입 패턴 비교를 통해 상기 업무 몰입 상태를 비교할 수 있다.
컴퓨팅 디바이스(200)는, 상기 업무 몰입 상태 비교를 통해 미리 정한 기간 동안의 상기 기준 구성원과 대상 구성원의 업무 몰입 패턴이 제2 임계치 이상 변화가 있는지 판단할 수 있다.
컴퓨팅 디바이스(200)는, 상기 기준 구성원과 대상 구성원의 행동 로그 데이터를 기반으로 하는 행동 패턴, 1:1 패턴 및 목표 달성 패턴을 포함하여, 상기 업무 몰입 패턴을 산출할 수 있다.
상기에서, 컴퓨팅 디바이스(200)는, 행동 로그 데이터 기반으로 산출된 행동 로그를 시퀀스화하여 해당 구성원의 행동 특징을 나타내는 행동 시퀀스 벡터를 작성할 수 있다.
컴퓨팅 디바이스(200)는, 상기 작성된 행동 시퀀스 벡터를 기반으로 대상 구성원의 상기 미리 정한 기간 동안의 업무 몰입 관련 행동 패턴을 산출할 수 있다.
컴퓨팅 디바이스(200)는 1:1 미팅 이력을 기반으로 하는 분석을 통해 대상 구성원의 타 구성원 사이의 교류의 정도 및 교류 방식의 패턴을 포함한 상기 1:1 패턴을 산출할 수 있다.
컴퓨팅 디바이스(200)는, 목표 및 성과 체크인 기록 빈도, 주기, 기록 시점 등에 기초하여 상기 목표 달성 패턴을 산출할 수 있다.
컴퓨팅 디바이스(200)는, 상기 업무 몰입 패턴이 제2 임계치 이상 변화된 경우, 상기 행동 패턴, 1:1 패턴 및 목표 달성 패턴에 기초하여 상기 몰입 상태 변화의 원인을 분석할 수 있다.
컴퓨팅 디바이스(200)는, 상기 몰입 상태 변화의 원인 분석 결과에 따라 상기 데이터베이스(260)로부터 몰입 상태 개선을 위한 데이터가 포함된 몰입 상태 관리 정보를 추출할 수 있다.
한편, 본 개시에서 기술되는 업무 몰입도 또는 업무 몰입 상태 판단은 예컨대, 업무 몰입도에 대한 수치(예를 들어, 높음, 낮음 등), 업무 몰입도의 변화량 또는 업무 몰입 상태의 변화 등에 대한 것일 수 있다.
다만, 본 명세서에서는 본 개시에 따른 업무 몰입도는 후자 즉, 업무 몰입도의 변화량 또는 업무 몰입 상태의 변화에 대한 것으로 설명하나, 이에 한정되는 것은 아니다.
다시 말해, 본 개시에 따른 업무 몰입도 판단은, 미리 정의된 기간동안의 업무 몰입도 또는 업무 몰입 상태의 변화에 대해 이루어지며, 이러한 판단의 결과는 수치, 그래프, 텍스트 등 중 어느 하나 또는 그 조합으로 표현될 수 있다.
한편, 상기 미리 정의된 기간이라 함은 예를 들어, 상기 업무 몰입도 판단 시점으로부터 3개월, 6개월, 1년 등과 같이 임의로 정의할 수 있다.
본 개시에 따른 업무 몰입도는 임계치 이상의 수치 변화나 몰입 상태의 변화에 대해 판단하여, 판단 결과 상기 임계치 이상 몰입도 수치가 변화되었거나 몰입 상태가 변화된 경우에는 그에 대해 처리할 수 있다.
업무 몰입도 또는 업무 몰입 상태에 대한 업무 몰입도의 판단은 그 표현 방식에 따라 구분되는 것으로, 결국 본 개시에서는 대상 구성원에게 유의미한 업무 몰입도의 변화가 있었는지 여부를 판단하여, 그에 따른 대응을 하는 것이다. 그 대응은 전술한 도 13과 같이 어젠다 등을 도출하여 미팅 등을 통하거나 별도의 가이드를 제공하여 해당 구성원의 업무 몰입 변화에 따른 해결책을 제시할 수 있다.
한편, 업무 몰입의 변화가 상기와 같이 부정적인 경우에는 전술한 해결책을 제시하되, 만약 긍정적인 경우에는 역시 그 원인을 분석하고, 분석 결과에 따라 전술한 어젠다를 도출하고 미팅 등을 통하여 해당 구성원의 업무 몰입도 판단에 따른 적절한 보상과 추가적으로 해당 구성원의 업무 몰입도 변화를 더욱 극대화할 수 있는 가이드 등 정보를 제공할 수도 있다.
또한, 복수의 구성원들에 대하여 상기 긍정적인 몰입도의 변화와 부정적인 몰입도의 변화에 대하여 원인 분석 결과에 기초하여 몰입도 변화의 팩터들을 추출하고, 추출된 몰입도 변화의 각 팩터에 대하여 우선순위를 부여하고, 우선순위에 대하여 가중치를 개별 부여할 수 있다.
이러한 몰입도 측정 및 측정된 몰입도의 변화는 구성원 데이터와 조직 데이터를 종합하여 구현될 수 있다. 구성원과 조직 정보를 종합하여 대상자와 비슷한 유형(유사 조직에서 유사한 직급, 직책 등을 갖는등)의 구성원들을 추출하고, 그들의 몰입 패턴과 대상자의 과거 몰입 패턴을 기준으로, 해당 몰입 패턴과 대상자의 최근 몰입 패턴 간의 차이를 산출함으로서 업무 몰입도의 변화를 탐지할 수 있다.
본 개시에서 몰입도 판단과 관련된 구성원 정보, 조직 정보는 도 1에서 전술한 내용을 참조할 수 있으며, 여기서 별도 중복 설명은 생략한다.
본 개시에 따른 몰입 패턴은 또한, 행동 로그 데이터 기반의 행동 패턴, 1:1 패턴, 목표 달성 패턴 등을 포함할 수 있다. 상기한 패턴은 순차로 적용되거나 독립적으로 적용될 수 있다.
상기 행동 패턴은 행동 로그를 시퀀스화하여 대상 구성원의 행동 특징을 나타내는 시퀀스 벡터를 작성하고, 행동 시퀀스 벡터를 기반으로 최근 행동 패턴을 파악할 수 있다. 이 때, 컴퓨팅 디바이스(200)는 대상자의 과거 행동 패턴과 비슷한 유형의 타인들의 행동 패턴을 통합하여 대조군을 형성할 수 있다.
상기 1:1 패턴은 1:1 미팅 이력을 기반으로 하는 네트워크 분석을 통해 구성원 간의 교류의 정도 및 교류 방식의 패턴을 의미할 수 있다. 이 때, 컴퓨팅 디바이스(200)는 구성원 개개인을 중심으로 하는 모든 네트워크를 분석하여, 각 구성원별 1:1쌍의 수, 1:1의 빈도, 중심도와 같은 특징들을 산출할 수 있다. 컴퓨팅 디바이스(200)는 산출된 특성을 기반으로, 대상자의 과거 패턴과 비슷한 유형의 타인들의 패턴을 통합하여 1:1 패턴의 대조군을 형성할 수 있다.
상기 목표 달성 패턴은 목표 제품 이용 이력을 기반으로, 목표/성과 체크인 기록 빈도, 주기, 기록 시점 등을 파악하고, 대상자의 과거 이력과 비슷한 유형의 타인들의 패턴을 통합하여 목표 달성 패턴의 대조군을 형성할 수 있다.
전술한 상기 각 패턴(행동, 1:1, 목표)별 대조군과의 차이(또는 유사도)를 산출하고, 유의미하게 높은 차이를 보이는 구성원들을 선별할 수 있다.
선별된 몰입도의 변화를 보인 구성원들의 1:1 미팅 아젠다, 목표 달성 체크인 코멘트 등 예를 들어, 최근 작성한 텍스트 데이터에 대한 분석을 통해 몰입도 변화의 원인을 추정하여 제시할 수 있다. 서비스 플랫폼의 면담 어젠다 DB에서 제시된 주제 또는 요인과 관련된 아젠다들을 추천할 수 있다.
실시 예에 따라, 컴퓨팅 디바이스(200)는 전술한 도 1 내지 10 또는 12에 따른 구성원에 대한 평가를 미리 수행하고, 수행 평가 기록을 데이터베이스(260)에 저장할 수 있다.
컴퓨팅 디바이스(200)는 목표 달성 데이터에 기초하여 구성원의 상태 진단, 예상 행위의 예측 등 동작을 수행할 수 있다.
관련하여, 컴퓨팅 디바이스(200)는 목표 및 평가 데이터를 기반으로 구성원, 팀, 조직 단위의 각각의 단위의 레벨(Level)에서의 목표 달성 데이터를 분석할 수 있다.
컴퓨팅 디바이스(200)는 목표 달성률의 추이를 기반으로 각 구성원의 업무 몰입 상태를 분석할 수 있다.
컴퓨팅 디바이스(200)는 각 분야의 목표 달성률 추이에 기초하여 구성원의 성향 변화에 대한 예측 분석 동작을 수행할 수 있다. 예를 들어, 컴퓨팅 디바이스(200)는 RnD 인력 A의 개발 실적이 기준치를 달성하지 못하였으나, 사업화 또는 마케팅 관련 실적이 미리 정한 기준치를 크게 상회하는 경우에는, 해당 구성원에 대해 세일즈나 마케팅 분야로의 부서 배치 변경을 희망하는지 고려할 수 있다.
컴퓨팅 디바이스(200)는 예를 들어, 도 13에서 설명한 미팅(회의) 데이터 기반 구성원 상태 진단, 예상 행위 예측 등 동작을 수행할 수 있다.
이 때, 컴퓨팅 디바이스(200)는 미팅 횟수 기반인 정량 진단과, 정성 진단 중 적어도 하나를 수행할 수 있다.
상기 정량 진단은 예를 들어, 미팅 횟수에 기초하여 수행될 수 있다. 예를 들어, 컴퓨팅 디바이스(200)는 1:1 미팅의 빈도, 결과 기록, 증감 추이 등에 기초하여 구성원별 커뮤니케이션도 측정할 수 있다.
컴퓨팅 디바이스(200)는 대상 구성원의 1:1 미팅이 조직 내 구성원들과 고르게 진행되는 지 분포도 측정할 수 있다. 예를 들어, 컴퓨팅 디바이스(200)는 특정 인원과의 미팅이 집중되고, 동일 직급의 다른 구성원과의 교류 유무를 판단할 수 있다.
컴퓨팅 디바이스(200)는 상기 분석 결과를 바탕으로, 구성원의 몰입도, 대인 관계 문제, 번아웃 예상도, 부서 내 적응도 또는 이탈 가능성 등을 포함하는 분석 결과를 출력할 수 있다.
컴퓨팅 디바이스(200)는 1:1 네트워크 분석을 통해 협업의 허브(hub) 역할을 하는 구성원을 선출할 수 있다.
컴퓨팅 디바이스(200)는 부서 간 또는 구성원 간 커뮤니케이션 단절(silos effect) 여부를 탐지할 수 있다.
다음, 정성 진단과 관련하여, 컴퓨팅 디바이스(200)는 리뷰 이후 1:1 진행 여부 및 1:1 아젠다(미팅 주제) 분석을 통한 몰입도를 파악할 수 있다
컴퓨팅 디바이스(200)는 1:1 미팅 보드를 생성하고 나면, 어젠다를 설정할 수 있고, 이에 대한 텍스트 데이터를 획득할 수 있다.
컴퓨팅 디바이스(200)는 이러한 정성 진단을 통해 획득된 데이터 기반으로 몰입도 향상을 위한 대응책을 제공할 수 있다. 이러한 대응책으로 예를 들어, 조직 문제 해결 코칭 등이 포함될 수 있다.
컴퓨팅 디바이스(200)는 상기 목표 달성 데이터, 미팅 데이터를 기반으로 구성원의 몰입도를 분석하고, 목표 달성 데이터 분석을 통해 예를 들어, 부서 배치 희망 여부 등을 포함하여 업무 몰입도에 대한 분석을 수행할 수 있다.
컴퓨팅 디바이스(200)는 1:1 미팅 어젠다 및 미팅 내 미팅 내용(텍스트 데이터)를 기반으로 키워드 및 결과 분석하여 구성원의 몰입도, 대인관계, 번아웃 예상, 적응도, 이탈 가능성 등 몰입 상태를 분석할 수 있다.
컴퓨팅 디바이스(200)는 타 구성원과의 몰입도 및 상태 비교 분석을 통하여 해당 구성원의 현재 몰입 상태를 진단할 수 있다.
컴퓨팅 디바이스(200)는 상기 현재 몰입 상태에 대한 진단 결과에 기초하여 사유 분석 및 대응책을 제공할 수 있다.
컴퓨팅 디바이스(200)는 특정 팀의 몰입도 하락 원인이 탐지되었을 때, 데이터 기반 원인 파악 & 팀 리더에게 예를 들어, ‘다른 팀과의 의사 소통에 문제가 있나요’ 등과 같은 인사이트 및 액션 아이템을 제공할 수 있다.
컴퓨팅 디바이스(200)는 상기 미팅 데이터의 정성 진단에 기초하여, 지난 미팅의 기록의 키워드(key word)를 추출 및 분석하여, 해당 구성원의 성장 희망도를 예측 분석할 수도 있다.
컴퓨팅 디바이스(200)는 이렇게 예측 분석 결과에 기초하여 해당 구성원에게 예를 들어, 사내 변경 할만한 직무 변경 루트 추천할 수도 있다. 컴퓨팅 디바이스(200)는 해당 구성원의 직무 적합도 등을 판단하여, 직무 변경 제안(직원 A가 의사소통에 어려움을 겪는 경우 영업부서에서 R&D 개발 파트로 부서이동 제안)할 수 있다.
컴퓨팅 디바이스(200)는 한편, 목표 달성 퍼포먼스가 감소하고, 이탈 가능성이 높게 평가되는 추세인 구성원의 경우에는, 퇴사 희망 여부를 조사하고, 회사 내 다른 분야에 관심이 있는지 등 관련 질문(어젠다) 리스트를 제공할 수도 있다.
컴퓨팅 디바이스(200)는 상기 업무 몰입도, 대인관계, 적응도 등을 파악하여, 최적의 업무 효율을 만들어낼 수 있는 팀 빌딩(Building) 전략을 설계할 수 있도록 관련 정보를 제공할 수 있다.
즉, 컴퓨팅 디바이스(200)는 전술한 업무 몰입도(구성원 각각의 장점/흥미 파악), 대인관계(구성원 간 친밀도 분포 - 누구와 가깝게 지내는지), 번아웃 예상도(번아웃 예상도가 높은 직원은 분배), 적응도(적응도가 높지 않은 직원은 숙련된 직원과의 매칭) 등을 고려하여, 팀 리빌딩(Re-Building) 전략에 대한 정보를 가이드 제공할 수 있다.
컴퓨팅 디바이스(200)는 새로운 단기, 장기 프로젝트 투입 시, 프로젝트 컨셉의 식별하고, 당해 프로젝트 관련 분야의 경력자 등 해당 프로젝트를 잘 수행해낼 수 있는 최적의 구성원 인력(기획, 개발자, 디자이너, 홍보 담당 등)을 조합하여 T/F(태스크 포스) 구성 전략에 대한 정보를 제공할 수 있다. 이 때, 컴퓨팅 디바이스(200)는 전술한 업무 몰입도, 대인관계, 적응도 등의 데이터를 이용하여 상기 최적의 구성원 인력 구성에 대한 정보를 제공할 수 있다.
한편, 본 개시에서 상술한 대인관계, 번아웃 예상도, 적응도 등은 모두 업무 몰입도 또는 업무 몰입 상태 판단의 팩터로 참조될 수 있다.
그 밖에, 상기에서는 주로 대상 구성원에 대해 본 개시를 적용하여 설명하였으나, 팀 단위, 그룹 단위, 부서 단위, 조직 단위 등에 대해서는 유사한 방식이 적용될 수 있다.
도 17에서는 본 개시에 따른 컴퓨팅 디바이스(200)에서 업무 몰입도 관련 결과 데이터로 제공하는 서비스 데이터에 하나로, 구성원/부서/팀과 같이 진단 또는 판단 대상 식별 정보(1710), 업무 몰입도 상태 결과 정보(1720), 판단된 업무 몰입 패턴 결과 및 예상 정보(1730), 행동 패턴/1:1 패턴, 목표 달성 패턴 정보(1740), 대인관계/번아웃 예상도/적응도 정보(1740), 진단 또는 판단에 따른 대응책 즉, 솔루션 정보(1760) 및 기타 정보(1770) 등이 제공될 있다.
상기 도 17에서 개시된 정보들은 모두 제공되거나 일부는 생략될 수도 있다.
한편, 도 17에서 개시된 정보들 중 일부 또는 전부가 대상 구성원 또는 팀 등에 대한 업무 몰입도 판단 근거나 분석에 따른 진단 및 솔루션에 이용될 수 있다.
이상 상술한 본 개시의 다양한 실시 예에 따르면, 조직 및 구성원에 대한 다양한 사항까지 고려된 구성원 평가 및 관리 서비스를 통하여 사용자에 최적의 구성 평가 및 관리 서비스를 제공할 수 있다.
본 개시의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 개시가 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 개시의 실시예를 설명하였지만, 본 개시가 속하는 기술분야의 통상의 기술자는 본 개시가 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.

Claims (10)

  1. 메모리; 및
    수신된 구성원 정보로부터 구성원의 업무 몰입 상태의 학습에 사용되는 제1 정보를 추출하여 인공지능 기반으로 학습하고, 상기 구성원 정보로부터 대상 구성원의 업무 몰입 상태를 판단하는데 사용되는 제2 정보를 추출하고, 상기 제1 정보 및 상기 제2 정보를 이용하여 상기 대상 구성원의 업무 몰입 상태를 판단하고, 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하고, 상기 생성된 서비스 데이터를 제공하도록 제어하는 프로세서;를 포함하고,
    상기 서비스 데이터를 생성 시에 상기 프로세서는,
    1:1 미팅 보드를 생성하고, 어젠다를 설정하여 미팅 데이터 기반 해당 구성원의 몰입도, 대인관계, 번아웃 예상, 및 이탈 가능성에 대한 업무 몰입 상태를 분석하고, 상기 미팅 데이터의 정성 진단에 기초하여 해당 구성원의 성장 희망도를 예측하고, 상기 예측 결과에 기초하여 직무 적합도를 판단하여 직무 변경 제안 또는 직무 변경 루트 정보가 상기 서비스 데이터에 포함되도록 제어하고,
    상기 이탈 가능성이 기 설정값보다 되는 경우에는 퇴사 희망 여부를 조사하고, 회사 내 다른 분야에 관심 여부에 대한 질문 리스트를 상기 서비스 데이터에 포함되도록 제어하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  2. 제1 항에 있어서,
    상기 프로세서는,
    상기 구성원 정보로부터 상기 대상 구성원과 제1 임계치 이상 유사한 유형의 적어도 하나의 기준 구성원을 추출하여 구성원 목록을 생성하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  3. 제2 항에 있어서,
    상기 프로세서는,
    상기 적어도 하나의 기준 구성원에 대한 업무 몰입 상태 및 상기 대상 구성원의 업무 몰입 상태를 비교하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  4. 제3 항에 있어서,
    상기 업무 몰입 상태의 비교는,
    상기 기준 구성원 및 상기 대상 구성원 각각의 업무 몰입 패턴의 비교를 통해 이루어지는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  5. 제4 항에 있어서,
    상기 프로세서는,
    상기 업무 몰입 상태의 비교를 통해 미리 정한 기간 동안의 상기 기준 구성원 및 상기 대상 구성원 각각의 업무 몰입 패턴이 제2 임계치 이상 변화되는지 판단하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  6. 제5 항에 있어서,
    상기 업무 몰입 패턴은,
    상기 기준 구성원 및 상기 대상 구성원 각각의 행동 로그 데이터를 기반으로 하는 행동 패턴, 1:1 패턴 및 목표 달성 패턴을 포함하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  7. 제6 항에 있어서,
    상기 프로세서는,
    상기 행동 로그 데이터 기반으로 산출된 행동 로그를 시퀀스화하여 상기 대상 구성원의 행동 특징을 나타내는 행동 시퀀스 벡터를 작성하고,
    상기 행동 시퀀스 벡터를 기반으로 상기 대상 구성원의 상기 미리 정한 기간 동안의 상기 행동 패턴을 산출하고,
    1:1 미팅 이력을 기반으로 하는 분석을 통해 상기 대상 구성원의 타 구성원 사이의 교류의 정도 및 교류 방식의 패턴을 포함한 상기 1:1 패턴을 산출하며,
    목표 및 성과 체크인 기록 빈도, 주기, 및 기록 시점에 기초하여 상기 목표 달성 패턴을 산출하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  8. 제7 항에 있어서,
    상기 프로세서는,
    상기 업무 몰입 패턴이 제2 임계치 이상 변화된 경우, 상기 행동 패턴, 상기 1:1 패턴 및 상기 목표 달성 패턴에 기초하여 상기 몰입 상태 변화의 원인을 분석하고,
    상기 원인의 분석 결과에 따라, 상기 데이터베이스로부터 몰입 상태 개선을 위한 데이터가 포함된 몰입 상태 관리 정보를 추출하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 장치.
  9. 컴퓨팅 디바이스의 프로세서에 의해 수행되는, 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법에 있어서,
    수신된 구성원 정보로부터 구성원의 업무 몰입 상태의 학습에 사용되는 제1 정보를 추출하여 인공지능 기반으로 학습하는 단계;
    상기 구성원 정보로부터 대상 구성원의 업무 몰입 상태를 판단하는데 사용되는 제2 정보를 추출하는 단계;
    상기 제1 정보 및 상기 제2 정보를 이용하여 상기 대상 구성원의 업무 몰입 상태를 판단하는 단계;
    상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하는 단계;
    상기 생성된 서비스 데이터를 제공하는 단계;를 포함하고,
    상기 서비스 데이터를 생성하는 단계는,
    1:1 미팅 보드를 생성하고, 어젠다를 설정하여 미팅 데이터 기반 해당 구성원의 몰입도, 대인관계, 번아웃 예상, 및 이탈 가능성에 대한 업무 몰입 상태를 분석하고, 상기 미팅 데이터의 정성 진단에 기초하여 해당 구성원의 성장 희망도를 예측하고, 상기 예측 결과에 기초하여 직무 적합도를 판단하여 직무 변경 제안 또는 직무 변경 루트 정보가 상기 서비스 데이터에 포함되도록 제어하고,
    상기 이탈 가능성이 기 설정값보다 되는 경우에는 퇴사 희망 여부를 조사하고, 회사 내 다른 분야에 관심 여부에 대한 질문 리스트를 상기 서비스 데이터에 포함되도록 제어하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법.
  10. 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 시스템에 있어서,
    구성원 정보를 입력하는 적어도 하나의 단말; 및
    상기 입력되는 구성원 정보에 기초하여 업무 몰입 상태 판단 및 관리 서비스를 처리하는 컴퓨팅 디바이스를 포함하고,
    상기 컴퓨팅 디바이스는,
    수신된 구성원 정보로부터 구성원의 업무 몰입 상태의 학습에 사용되는 제1 정보를 추출하여 인공지능 기반으로 학습하고, 상기 구성원 정보로부터 대상 구성원의 업무 몰입 상태를 판단하는데 사용되는 제2 정보를 추출하고, 상기 제1 정보 및 상기 제2 정보를 이용하여 상기 대상 구성원의 업무 몰입 상태를 판단하고, 상기 판단된 대상 구성원의 업무 몰입 상태에 따라 데이터베이스로부터 업무 몰입 상태 관리 정보를 추출하여 서비스 데이터를 생성하고, 상기 생성된 서비스 데이터를 제공하도록 제어하는 프로세서;를 포함하고,
    상기 서비스 데이터를 생성 시에 상기 프로세서는,
    1:1 미팅 보드를 생성하고, 어젠다를 설정하여 미팅 데이터 기반 해당 구성원의 몰입도, 대인관계, 번아웃 예상, 및 이탈 가능성에 대한 업무 몰입 상태를 분석하고, 상기 미팅 데이터의 정성 진단에 기초하여 해당 구성원의 성장 희망도를 예측하고, 상기 예측 결과에 기초하여 직무 적합도를 판단하여 직무 변경 제안 또는 직무 변경 루트 정보가 상기 서비스 데이터에 포함되도록 제어하고,
    상기 이탈 가능성이 기 설정값보다 되는 경우에는 퇴사 희망 여부를 조사하고, 회사 내 다른 분야에 관심 여부에 대한 질문 리스트를 상기 서비스 데이터에 포함되도록 제어하는,
    인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 시스템.
PCT/KR2023/005601 2022-06-27 2023-04-25 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템 WO2024005330A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2022-0078433 2022-06-27
KR1020220078433A KR102467170B1 (ko) 2022-06-27 2022-06-27 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템

Publications (1)

Publication Number Publication Date
WO2024005330A1 true WO2024005330A1 (ko) 2024-01-04

Family

ID=84233273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/005601 WO2024005330A1 (ko) 2022-06-27 2023-04-25 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템

Country Status (2)

Country Link
KR (1) KR102467170B1 (ko)
WO (1) WO2024005330A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467170B1 (ko) * 2022-06-27 2022-11-17 주식회사 레몬베이스 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100045592A (ko) * 2008-10-24 2010-05-04 한국과학기술원 유비쿼터스 컴퓨팅 환경에서 지속적 사용자 태스크 지원을 위한 벡터 모델링 및 행위 패턴 기반의 태스크 예측 시스템및 방법
KR20130143360A (ko) * 2012-06-21 2013-12-31 삼성전자주식회사 모바일 단말 사용자의 몰입 위험 판단 장치 및 방법
JP2016032261A (ja) * 2014-07-30 2016-03-07 Kddi株式会社 集中度推定装置、方法及びプログラム
KR102293234B1 (ko) * 2020-09-24 2021-08-25 월드버텍 주식회사 인공지능 기술을 활용한 화상교육 시스템 및 학습 지원 방법
KR20220069263A (ko) * 2020-11-20 2022-05-27 주식회사 하이터치 인공지능 기반 학습 관리 방법 및 장치
KR102467170B1 (ko) * 2022-06-27 2022-11-17 주식회사 레몬베이스 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090012944A (ko) 2007-07-31 2009-02-04 재단법인서울대학교산학협력재단 평가역량 정보를 고려한 다면평가 방법 및 그 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100045592A (ko) * 2008-10-24 2010-05-04 한국과학기술원 유비쿼터스 컴퓨팅 환경에서 지속적 사용자 태스크 지원을 위한 벡터 모델링 및 행위 패턴 기반의 태스크 예측 시스템및 방법
KR20130143360A (ko) * 2012-06-21 2013-12-31 삼성전자주식회사 모바일 단말 사용자의 몰입 위험 판단 장치 및 방법
JP2016032261A (ja) * 2014-07-30 2016-03-07 Kddi株式会社 集中度推定装置、方法及びプログラム
KR102293234B1 (ko) * 2020-09-24 2021-08-25 월드버텍 주식회사 인공지능 기술을 활용한 화상교육 시스템 및 학습 지원 방법
KR20220069263A (ko) * 2020-11-20 2022-05-27 주식회사 하이터치 인공지능 기반 학습 관리 방법 및 장치
KR102467170B1 (ko) * 2022-06-27 2022-11-17 주식회사 레몬베이스 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템

Also Published As

Publication number Publication date
KR102467170B1 (ko) 2022-11-17

Similar Documents

Publication Publication Date Title
WO2010036012A2 (ko) 인터넷을 이용한 의견 검색 시스템, 의견 검색 및 광고 서비스 시스템과 그 방법
WO2024005330A1 (ko) 인공지능 기반 업무 몰입 상태 판단 및 관리 서비스 제공 방법, 장치 및 시스템
WO2017209564A1 (ko) 앱 리스트 제공 방법 및 그 장치
WO2024005329A1 (ko) 인공지능 기반 구성원 평가 피드백 서비스 제공 방법, 장치 및 시스템
WO2011083924A9 (ko) 온라인 소셜 네트워크에서 개인의 네트워크 경쟁력과 네트워크 효과를 측정하는 방법
WO2022164108A1 (ko) 네트워크를 통한 기업 진단 서비스 제공 방법 및 이에 사용되는 관리 서버
WO2022010255A1 (ko) 기계학습모델을 이용하여 면접영상에 대한 자동화된 평가를 위한 심층질문을 도출하는 방법, 시스템 및 컴퓨터-판독가능 매체
WO2020040482A2 (ko) 전문가 플랫폼의 제어 방법, 장치 및 프로그램
WO2020022611A1 (ko) 재능경력중심 학점인정 학사관리 시스템 및 방법과 이를 이용하는 재능기부은행 서비스 제공 시스템
WO2020001031A1 (zh) 学校及专业推荐方法及系统
WO2021049921A1 (en) Method, apparatus, electronic device and storage medium for predicting user attribute
KR102449661B1 (ko) 인공지능 기반 채용 서비스 제공 방법, 장치 및 시스템
WO2016129865A1 (ko) 위치 기반 정보 제공 시스템 및 그 방법
WO2021215804A1 (ko) 대화형 청중 시뮬레이션을 제공하는 장치 및 방법
WO2023080276A1 (ko) 쿼리 기반 데이터베이스 연동 딥러닝 분산 시스템 및 그 방법
WO2019154305A1 (zh) 进行学校申请的个人竞争力智能评估系统及方法
WO2022265372A1 (ko) 건설 현장 근로자 관리 방법 및 이를 실행하는 서버
Talib et al. Fuzzy decision-making framework for sensitively prioritizing autism patients with moderate emergency level
WO2022265127A1 (ko) 인공 지능 학습 기반의 사용자 이탈율 예측 및 사용자 지식 추적 시스템 및 그것의 동작 방법
WO2020017827A1 (ko) 전자 장치, 및 전자 장치의 제어 방법
WO2009107972A2 (ko) 기술가치 평가 방법 및 시스템과 이를 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체
WO2020209499A1 (ko) 응용 프로그램 설계 방법 및 장치
WO2021033834A1 (ko) 설문 데이터를 기반으로 한 맞춤형 정보 가공 및 제공 시스템 및 그 방법
WO2012121447A1 (ko) 상세정보가 포함된 이미지 파일의 형성 장치 및 방법과 그것을 이용한 운영 시스템 및 방법
WO2018131807A1 (ko) 회원의 출석 및 관리 서비스 제공 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23831696

Country of ref document: EP

Kind code of ref document: A1