KR20160148296A - 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법 - Google Patents

소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법 Download PDF

Info

Publication number
KR20160148296A
KR20160148296A KR1020150085112A KR20150085112A KR20160148296A KR 20160148296 A KR20160148296 A KR 20160148296A KR 1020150085112 A KR1020150085112 A KR 1020150085112A KR 20150085112 A KR20150085112 A KR 20150085112A KR 20160148296 A KR20160148296 A KR 20160148296A
Authority
KR
South Korea
Prior art keywords
evaluation
information
project
peer
server
Prior art date
Application number
KR1020150085112A
Other languages
English (en)
Inventor
박성익
김태철
박경동
안병선
Original Assignee
(주)파인원커뮤니케이션즈
엔트제너스 주식회사
주식회사 다빈치소프트웨어연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)파인원커뮤니케이션즈, 엔트제너스 주식회사, 주식회사 다빈치소프트웨어연구소 filed Critical (주)파인원커뮤니케이션즈
Priority to KR1020150085112A priority Critical patent/KR20160148296A/ko
Publication of KR20160148296A publication Critical patent/KR20160148296A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06398—Performance of employee with respect to a job function
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0639—Performance analysis of employees; Performance analysis of enterprise or organisation operations
    • G06Q10/06395—Quality analysis or management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Theoretical Computer Science (AREA)
  • Strategic Management (AREA)
  • Development Economics (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Software Systems (AREA)
  • Quality & Reliability (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 월드 와이드 요구자를 위한 소셜 앱 제작 플랫폼에서 개발 기여도를 평가할 수 있도록 구현한 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법에 관한 것으로, 연동대상장치가 동료 평가 요청 및 동료 평가 정보 통보를 수행하며, 프로젝트 참여자에 대한 정보, 프로젝트 참여도에 관한 통계 정보, 프로젝트 작업 수행률에 대한 통계 정보, 최종 기여도에 대한 정보를 연동하며; 서버가 연동대상장치와의 연동 정보를 시각화해 주며, 프로젝트 작업 수행률 기반 참여자별 가중치를 계산해 주며, 동료 평가에 대한 일관성 및 공정성을 검증 및 분석해 주며, 동료 평가 정보 및 분석 정보를 저장함과 동시에 제공하며; 클라이언트가 서버로부터 제공되는 통계 정보를 화면에 노출시켜 주며, 동료 평가 입력 화면 및 동료 평가 최종 결과 화면을 제공한다.

Description

소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법{System and method for estimating development contribution in the social app manufacturing platform}
본 발명의 기술 분야는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법에 관한 것으로, 특히 월드 와이드 요구자를 위한 소셜 앱 제작 플랫폼에서 개발 기여도를 평가할 수 있도록 구현한 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법에 관한 것이다.
ICT 기술의 발달은 최근 들어 사용자로 하여금 다양한 소프트웨어 개발을 요구하고 있다. 지금까지의 소프트웨어 개발은 기술 중심의 개발이 주를 이루어져 왔으나 점차 서비스 아이디어 중심으로 변화하고 있다. 또한, 개발의 주체가 대기업 중심에서 개인 사용자 혹은 소규모 사업자 위주로 이동하고 있다.
이러한 다양한 형태의 소프트웨어 출시는 기존 소프트웨어의 생명 주기를 보다 더욱 짧게 가져오는 결과를 가져왔다. 따라서 최근 소프트웨어 개발은 월드 와이드 사용자의 요구사항을 반영하기 위해 소셜 기반의 개발 플랫폼 환경으로 변화하고 있다. 소셜 기반의 개발 환경은, 기존의 소프트웨어 개발 방법과 다르게 사용자의 앱 개발 요구를 반영하여 수요자 중심에서 소프트웨어 개발이 이루어지며, 이에 프로젝트를 수행하기 위한 개발자, 디자이너 등의 참여 구성원은 소셜 네트워크를 통해 구성되고 프로젝트 수행을 목적으로 구성되었기 때문에, 상호간에 연결성이 없다는 특징을 가지고 있으며, 모든 프로젝트 수행과 의견 교환은 온라인을 통해 이루어진다. 이러한 특징은 진행 중인 프로젝트의 수행률, 참여율에 부정적인 영향을 가져오고 프로젝트 성공에 대한 불확실성을 높이는 결과를 가져오고 있다. 하지만, 소셜 개발 플랫폼인 퀄키(Quirky)는 이러한 문제점을 해결하기 위해 소셜 개발 플랫폼을 공급하고 참여 구성원이 프로젝트에서 적극적으로 참여할 수 있는 동기 부여를 제시하고 있다.
소셜 기반 앱 제작 플랫폼은 고급 개발자부터 일반 사용자까지 소프트웨어 개발에 참여할 수 있는 것이 특징이다. 하지만, 다양한 사용자가 참여 가능하다는 장점으로 인해 창의적인 아이디어를 이용한 소프트웨어 개발이 가능한 반면에, 다수 참여자의 적극적인 참여를 유도하기 위한 방법은 부족하다. 참여자가 소극적으로 참여하는 이유는 다양하게 존재하지만, 가장 큰 이유는 참여자의 기여도에 따른 보상이 적절하게 이루어지지 못한 것이 가장 큰 이유라고 볼 수 있다.
한국등록특허 제10-1228969호(2013.01.25 등록)는 특허정보와 관련된 수치를 기술기여도 산출인자로 활용함으로써 기술기여도를 객관적이고 합리적으로 산출할 수 있는 기술기여도 평가방법과 이를 이용한 기술가치평가 방법 및 시스템에 관하여 개시되어 있다. 개시된 기술에 따르면, 평가자의 주관을 최대한 배제하고 개별 특허 상황을 충분히 반영하여 보다 객관적인 데이터에 근거한 기술기여도를 산출할 수 있고, 이에 따라 보다 신뢰성 있는 기술가치를 산출할 수 있다.
한국등록특허 제10-0943920호(2010.02.17 등록)는 군용 에너지 기술 관련 연구개발과제의 평가 시스템 및 그 방법, 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 관하여 개시되어 있다. 개시된 기술에 따르면, 네트워크를 통한 온라인 전자평가를 통해 신속 정확하고 정량화된 평가 결과를 얻을 수 있고, 기술녹색도 갭(GAP) 분석 기능과 포트폴리오 분석 기능을 통해 기술녹색도 수준에 따라 국내외 환경 변화에 신속히 적응할 수 있다.
상술한 바와 같은 소셜 기반의 개발 플랫폼 환경에서 자신의 의견이 반영되어 소프트웨어 개발에서 성과로 연결된다면, 의견을 제시한 참여자에게 적절한 보상으로 연결되어야만 기존의 개발 플랫폼 환경보다 더 많은 참여자가 적극적으로 참여하게 되는 동기를 부여하는 것이 가능할 것이다. 적극적인 참여를 유도하기 위한 보상에 대해서 이에 대응하는 평가 척도가 마련되어야 하는데, 이때 소셜 기반의 개발 플랫폼에서는 개발을 주도하는 소수의 의견을 바탕으로 보상 기준을 마련하는 것은 적절하지 못한 단점을 가지고 있다.
공정한 기여도를 측정하기 위해서 동료 평가 방법을 활용하고, 소프트웨어 개발에 실질적인 참여율을 정량화하여 참가자의 기여도를 평가함으로써 납득할 수 있는 수준의 보상 기준을 마련할 필요가 있다. 그런데, 기존의 동료 평가 방법은 평가 척도를 기준으로 단순하게 점수화시켜 기여도를 산출하게 된다. 이에, 이러한 기여도 산출 방식은 평가자의 주관적인 평가로 인해 공정성과 일관성이 부족한 평가 결과를 도출하게 되는 문제점이 있다. 또한, 평가자 자신의 점수는 높이고 피 평가자의 점수는 낮추는 등과 같이 공정하지 않는 방법으로 평가가 진행될 경우, 기여도 평가의 신뢰성 하락으로 인하여 참여자들의 적극적인 참가를 유도할 수 없는 문제점도 발생한다.
한국등록특허 제10-1228969호 한국등록특허 제10-0943920호
본 발명이 해결하고자 하는 과제는, 전술한 바와 같은 단점, 필요성 내지는 문제점을 해결하기 위한 것으로, 월드 와이드 요구자를 위한 소셜 앱 제작 플랫폼에서 개발 기여도를 평가할 수 있도록 구현한 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법을 제공하는 것이다.
상술한 과제를 해결하는 수단으로는, 본 발명의 한 특징에 따르면, 동료 평가 요청 및 동료 평가 정보 통보를 수행하며, 프로젝트 참여자에 대한 정보, 프로젝트 참여도에 관한 통계 정보, 프로젝트 작업 수행률에 대한 통계 정보, 최종 기여도에 대한 정보를 연동하는 연동대상장치; 상기 연동대상장치와의 연동 정보를 시각화해 주며, 프로젝트 작업 수행률 기반 참여자별 가중치를 계산해 주며, 동료 평가에 대한 일관성 및 공정성을 검증 및 분석해 주며, 동료 평가 정보 및 분석 정보를 저장함과 동시에 제공하는 서버; 및 상기 서버로부터 제공되는 통계 정보를 화면에 노출시켜 주며, 동료 평가 입력 화면 및 동료 평가 최종 결과 화면을 제공하는 클라이언트를 포함하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템을 제공한다.
일 실시 예에서, 상기 연동대상장치는, 프로젝트 참여자에 대한 정보를 상기 서버와 연동하며, 동료 평가를 참여자에게 요청한 후에 참여자로부터 동료 평가 정보를 입력받아 상기 서버로 알려주는 PM(Project Manager); 프로젝트 참여도에 관한 통계 정보를 상기 서버와 연동하는 의견교환장치; 프로젝트 작업 수행률에 대한 통계 정보를 상기 서버와 연동하는 TM(Task Manager); 및 최종 기여도에 대한 정보를 상기 서버와 연동하는 정산장치를 구비하는 것을 특징으로 한다.
일 실시 예에서, 상기 PM은, 프로젝트 진행에 따른 참여자들에게 동료 평가를 주기적으로 요청하여 동료 평가 정보를 입력받아 상기 서버로 제공하는 것을 특징으로 한다.
일 실시 예에서, 상기 의견교환장치는, 객관적인 평가를 유도하기 위한 참여자들의 프로젝트 참여도에 대한 정보로 의견 등록 수 및 비율, 댓글 수 및 비율, 응답 수 및 비율을 상기 서버로 제공하는 것을 특징으로 한다.
일 실시 예에서, 상기 TM은, 객관적인 평가를 유도하기 위한 참여자들의 프로젝트 작업 수행률에 대한 정보로 전체 태스크 수행 통계 정보, 할당 태스크 수, 완료 태스크 수, 미완료 태스크 수, 실패 태스크 수를 포함한 개인별 태스크 수행 통계 정보, 개인별 할당 및 수행한 태스크 상세 정보를 상기 서버로 제공하는 것을 특징으로 한다.
일 실시 예에서, 상기 TM은, 프로젝트 참여 구성원 목록, 참여자의 작업 난이도, 진행률, 완성률, 구성원 간 의견 교환횟수, 피드백 횟수를 바탕으로 참여자의 프로젝트 활동률을 계산하며, 프로젝트의 작업 성격에 따라 참여 구성원을 동일 작업 군에 따라 동일 집단으로 구성하고 향후 동료 평가의 기준으로 적용하도록 하는 것을 특징으로 한다.
일 실시 예에서, 상기 PM은, 참여자로 하여금 동료 평가 우선순위로 동일 작업 군의 참여자들을 대상으로 평가하도록 한 후에 후 순위로 타 집단의 참여자들을 순차적으로 평가하도록 하는 것을 특징으로 한다.
일 실시 예에서, 상기 PM은, 동일 집단의 동료 평가 점수를 타 집단의 평가 점수에 비해 높게 측정하고 타 집단의 평가 점수를 동일 집단의 동료 평가 점수보다 낮게 배정하는 것을 특징으로 한다.
일 실시 예에서, 상기 서버는, 상기 연동대상장치와 연동되는 정보를 시각화해 주는 시각화모듈; 상기 연동대상장치로부터 제공되는 프로젝트 작업 수행률에 대한 통계 정보를 기반으로 하여 참여자별 가중치를 산출하는 가중치계산모듈; 상기 연동대상장치로부터 제공되는 동료 평가 정보에 관한 일관성 및 공정성을 검증 및 분석하는 검증분석모듈; 상기 연동대상장치로부터 제공되는 동료 평가 정보 및 상기 검증분석모듈에서 검증 및 분석한 정보를 저장하는 스토리지; 및 상기 연동대상장치와 통신을 수행하여 상기 연동대상장치와의 데이터를 송수신하며, 상기 클라이언트와 통신을 수행하여 상기 클라이언트와의 데이터를 송수신하는 인터페이스를 구비하는 것을 특징으로 한다.
일 실시 예에서, 상기 시각화모듈은, 구글 차트를 활용하여 연동 정보를 시각화하는 것을 특징으로 한다.
일 실시 예에서, 상기 가중치는, 작업 수행률 기반 기여도에 적용할 가중치인 것을 특징으로 한다.
일 실시 예에서, 상기 검증분석모듈은, 공정성 검증을 위해서 카이제곱 검증 기법을 적용하여 기여도를 보정하도록 하는 것을 특징으로 한다.
일 실시 예에서, 상기 검증분석모듈은, 상기 연동대상장치로부터 제공되는 동료 평가 정보에 대한 통계 계산 시에, 단순 평균 값을 계산하거나, 카이제곱 검증 기법을 적용한 보정된 기여도를 계산하거나, 상기 가중치계산모듈에서 산출한 작업 수행률 기반 가중치를 적용한 기여도를 계산하는 것을 특징으로 한다.
일 실시 예에서, 상기 가중치계산모듈은, 각 집단의 작업 성격에 따라 기 설정해 둔 작업 난이도를 구분하여 가중치 점수를 다르게 적용하는 것을 특징으로 한다.
일 실시 예에서, 상기 클라이언트는, 상기 서버로부터 제공되는 프로젝트 참여도에 관한 통계 정보 및 프로젝트 작업 수행률에 대한 통계 정보를 화면에 노출시켜 주는 통계뷰어; 플렉시-썸 기반 룰이 적용된 동료 평가를 입력하기 위한 화면을 제공하는 입력뷰어; 및 상기 서버로부터 제공되는 동료 평가 최종 결과에 대한 정보를 화면에 제공하는 결과뷰어를 구비하는 것을 특징으로 한다.
일 실시 예에서, 상기 통계뷰어는, 상기 서버로부터 제공되는 시각화 정보를 화면에 노출시켜 주는 것을 특징으로 한다.
일 실시 예에서, 상기 입력뷰어는, 플렉시-썸 기반으로 동료 평가 점수를 입력받아 상기 서버에 등록하는 것을 특징으로 한다.
일 실시 예에서, 상기 플렉시-썸 기반 룰은, 동료 평가 입력 시에 기본 점수를 기준으로 점수를 더하거나 빼는 방식으로 점수를 부여하며, 동료 평가의 총합이 참여자 수에 기본 점수를 곱한 값으로 고정해 주는 것을 특징으로 한다.
일 실시 예에서, 상기 통계뷰어는, 모든 참여자로 하여금 프로젝트 참여 구성원이 수행중인 프로젝트 활동률을 확인하도록 하는 것을 특징으로 한다.
상술한 과제를 해결하는 수단으로는, 본 발명의 다른 한 특징에 따르면, 클라이언트가 자신을 포함한 다른 참여자들에게 태스크를 설정하는 경우에, 서버가 설정한 태스크를 각 참여자들에게 할당하는 태스크할당단계; 클라이언트가 프로젝트 수행을 진행하도록 하며, 서버가 프로젝트의 시작과 완료를 확인하여 통보해 주는 프로젝트진행단계; 반복 수행 통보에 따라 PM에 의해 기 설정된 동표 평가 수행 기간에 참여자 자신을 포함한 동료들에 대한 평가를 수행하도록 한 후에 수행된 동료 평가를 제공하는 동료평가단계; 반복 수행 통보에 따라 서버가 상기 동료 평가를 제공받아, 상기 동료 평가에 대한 공정성을 검증하는 공정성검증단계; 반복 수행 통보에 따라 서버가 작업 수행률에 따른 가중치를 적용해 주는 가중치적용단계; 프로젝트의 시작과 완료 통보에 따라 서버가 기 설정된 주기마다 상기 동료평가단계, 상기 공정성검증단계, 상기 가중치적용단계를 반복적으로 수행하도록 반복 수행 통보해 주는 반복제어단계; 및 서버가 상기 동료 평가, 상기 동료 평가에 대한 공정성 검증, 상기 작업 수행률에 따른 가중치를 기반으로 각 참여자에 대한 최종 기여도를 측정하는 기여도측정단계를 포함하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법을 제공한다.
일 실시 예에서, 상기 동료평가단계는, 동료 평가 수행 시에 객관적 평가를 위한 참여자들의 프로젝트 활동 지표를 참여자에게 제공하는 것을 특징으로 한다.
일 실시 예에서, 상기 동료평가단계는, 연동대상장치가 프로젝트 참여도 및 작업 수행률을 계산하여 참여자에게 제공하는 것을 특징으로 한다.
일 실시 예에서, 상기 동료평가단계는, 의견교환장치가 각 참여자에 대해서 의견 등록 수, 댓글 수, 응답 수를 확인하여 의견 등록 비율, 댓글 비율, 응답 비율을 계산하고, 계산된 의견 등록 비율, 댓글 비율, 응답 비율을 포함한 프로젝트 참여도를 구하는 것을 특징으로 한다.
일 실시 예에서, 상기 동료평가단계는, TM이 각 참여자에 대해서 할당 태스크 수, 완료 태스크 수, 미 완료 태스크 수, 실패 태스크 수를 확인하여 전체 태스크 수행 통계, 개인별 태스크 수행 통계를 계산하고, 계산된 전체 태스크 수행 통계, 개인별 태스크 수행 통계를 포함한 작업 수행률을 구하는 것을 특징으로 한다.
일 실시 예에서, 상기 동료평가단계는, 상대 비교를 위해서 서버가 동료 평가 또는 프로젝트 활동 지표를 시각화하여 참여자에게 제공하는 것을 특징으로 한다.
일 실시 예에서, 상기 동료평가단계는, 클라이언트가 플렉시-썸 기반 룰을 적용하여 동료 평가를 수행하도록 하는 것을 특징으로 한다.
일 실시 예에서, 상기 동료평가단계는, 참여자들에게 기 설정해 둔 기본 점수를 할당해 주고, 기여도에 따라 이에 대응하여 기본 점수를 기 설정된 값만큼 증가 또는 감소시켜 주도록 하며, 할당된 점수의 합이 팀원 수에 기본 점수를 곱한 값과 동일하도록 하는 것을 특징으로 한다.
일 실시 예에서, 상기 공정성검증단계는, 카이제곱 검증 기법을 적용하여 상기 동료 평가에 대한 점수를 보정하는 것을 특징으로 한다.
일 실시 예에서, 상기 공정성검증단계는, 상기 동료 평가에 대한 공정성을 평가하고 평가된 공정성에 따른 가중치를 계산하는 것을 특징으로 한다.
일 실시 예에서, 상기 공정성검증단계는, 참여자(j)가 다른 참여자(i)를 평가한 경우에, 참여자(j)에 대한 카이제곱 값(Xj 2)을
Figure pat00001
의 수학식에 의해 계산하며,
Figure pat00002
이며,
Figure pat00003
는 참여자(j)가 평가한 다른 참여자(i)의 점수인 자기평가점수이며,
Figure pat00004
는 자기평가점수(
Figure pat00005
)를 뺀 다른 참여자(i)의 평가 점수에 대한 평균값인 타평가평균점수인 것을 특징으로 한다.
일 실시 예에서, 상기 공정성검증단계는, 카이제곱 값(Xj 2)이 영가설 또는 귀무가설이 참일 때의 카이제곱 값(Xj 2)의 이론적 분포에서 관찰될 수 있는 확률인 유의확률(p-value)을 공정성 척도(Fj)로 활용하여, 공정성 척도(Fj)를 기반으로 평가자의 공정성 가중치(Wj)를
Figure pat00006
의 수학식에 의해 계산하는 것을 특징으로 한다.
일 실시 예에서, 상기 공정성검증단계는, 공정성 가중치(Wj)를 기반으로 하여 자기평가점수(
Figure pat00007
)를
Figure pat00008
의 수학식에 의해 평가 값(
Figure pat00009
)으로 보정하는 것을 특징으로 한다.
일 실시 예에서, 상기 가중치적용단계는, 작업의 난이도 및 수행 완료율에 따라 작업 수행률에 대한 가중치를 적용하는 것을 특징으로 한다.
일 실시 예에서, 상기 가중치적용단계는, 참여자의 작업 결과에 대한 품질을 추가하여 작업 수행률에 대한 가중치를 적용하는 것을 특징으로 한다.
일 실시 예에서, 상기 가중치적용단계는, 작업의 난이도를 작업의 예상 수행일을 기준으로 측정하는 것을 특징으로 한다.
일 실시 예에서, 상기 가중치적용단계는, 수행 완료율을 작업의 예상 수행일을 기준으로 측정하는 것을 특징으로 한다.
일 실시 예에서, 상기 가중치적용단계는, 가중치 모델로 참여자별 작업 수행률(
Figure pat00010
)을
Figure pat00011
의 수학식에 의해 계산하며, t는 작업별 수행률이며, dt는 프로젝트 전체 작업들에 대비하여 작업에 대한 난이도인 것을 특징으로 한다.
일 실시 예에서, 상기 반복제어단계는, 상기 프로젝트의 시작 시점 통보에 따라 주기적으로 상기 동료평가단계, 상기 공정성검증단계, 상기 가중치적용단계를 반복 수행하도록 반복 수행 통보하며, 상기 프로젝트의 완료 시점 통보에 따라 상기 동료평가단계, 상기 공정성검증단계, 상기 가중치적용단계를 종료하는 것을 특징으로 한다.
일 실시 예에서, 상기 기여도측정단계는, 상기 공정성검증단계에서의 동료 평가 점수와 상기 가중치적용단계에서의 작업 수행률에 따른 가중치를 적용한 값들에 대한 평균으로 최종 기여도(
Figure pat00012
)를
Figure pat00013
의 수학식에 의해 계산하는 것을 특징으로 한다.
일 실시 예에서, 상기 기여도측정단계는, 필요시에 평가 시점 또는 평가 횟수에 따른 가중치 평균을 적용해 주는 것을 특징으로 한다.
본 발명의 효과로는, 월드 와이드 요구자를 위한 소셜 앱 제작 플랫폼에서 개발 기여도를 평가할 수 있도록 구현한 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법을 제공함으로써, 프로젝트 참여도 및 작업 수행률에 대한 객관적인 데이터를 제공하고 참여자들 사이의 동료 평가를 통해 최대한 객관적인 기여도를 측정할 수 있다는 것이다.
본 발명의 효과로는, 프로젝트 수행 기간 동안 여러 번의 동료 평가를 진행하여 평가에 대한 학습 기회를 제공하며, 이러한 학습 기회를 통해 평가에 대한 일관성을 유지해 줌으로써, 일반적인 동료 평가 기법의 문제점인 일관성 및 공정성 문제 중 일관성의 문제를 해결할 수 있다는 것이다.
본 발명의 효과로는, 참여자 사이의 평가 결과를 카이제곱 검증을 이용하여 평가 점수를 보정하여 공정치 못한 평가를 추출하고 이를 보정하여 공정성을 확보함으로써, 일반적인 동료 평가 기법의 문제점인 일관성 및 공정성 문제 중 공정성 문제를 해결할 수 있다는 것이다.
도 1은 본 발명의 실시 예에 따른 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템을 설명하는 도면이다.
도 2는 본 발명의 실시 예에 따른 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법을 설명하는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시 예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시 예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시 예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
이제 본 발명의 실시 예에 따른 소셜 앱 제작 플랫폼(Social App Manufacturing Platform)에서의 개발 기여도 평가 시스템 및 방법에 대하여 도면을 참고로 하여 상세하게 설명한다.
도 1은 본 발명의 실시 예에 따른 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템을 설명하는 도면이다.
도 1을 참조하면, 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 개발 기여도를 측정하기 위한 지원 도구로서, 연동대상장치(110), 서버(120), 클라이언트(130)를 포함한다.
연동대상장치(110)는, 서버(120)와 연동하여 서로 간의 데이터를 송수신하는데, PM(Project Manager)(111), 의견교환장치(112), TM(Task Manager)(113), 정산장치(114)를 구비하여, 동료 평가 요청 및 동료 평가 정보 통보를 수행하며, 프로젝트 참여자에 대한 정보, 프로젝트 참여도에 관한 통계 정보, 프로젝트 작업 수행률에 대한 통계 정보, 최종 기여도에 대한 정보를 연동해 준다.
PM(111)은, 예를 들어 PC, 노트북, 스마트폰 등과 같은 통신 가능한 단말기로서, 서버(120)와의 연동을 통하여 프로젝트 참여자에 대한 정보를 연동할 수 있으며, 동료 평가를 참여자에게 요청한 다음에, 참여자로부터 동료 평가에 대한 결과 정보(즉, 동료 평가 정보)를 수신받아 서버(120)로 알려 준다.
일 실시 예에서, PM(111)은, 프로젝트 진행에 따른 참여자들에게 동료 평가를 주기적으로(즉, 기 설정해 둔 시간 간격마다) 요청하여 동료 평가 정보를 입력받아 서버(120)로 제공해 줄 수 있다.
의견교환장치(112)는, 서버(120)와의 연동을 통하여 프로젝트 참여도에 관한 통계 정보를 연동한다. 이때, 의견교환장치(112)는, 객관적인 평가를 유도하기 위한 참여자들의 프로젝트 참여도에 대한 정보(예를 들어, 의견 등록 수 및 비율, 댓글 수 및 비율, 응답 수 및 비율 등)를 서버(120)로 제공해 줄 수 있다.
TM(113)은, 예를 들어 PC, 노트북, 스마트폰 등과 같은 통신 가능한 단말기로서, 서버(120)와의 연동을 통하여 프로젝트 작업 수행률에 대한 통계 정보를 연동한다. 이때, TM(113)은, 객관적인 평가를 유도하기 위한 참여자들의 프로젝트 작업 수행률에 대한 정보(예를 들어, 전체 태스크(Task) 수행 통계 정보, 개인별 태스크 수행 통계(할당 태스크 수, 완료 태스크 수, 미완료 태스크 수, 실패 태스크 수 등을 포함함) 정보, 개인별 할당 및 수행한 태스크 상세(목록) 정보 등)를 서버(120)로 제공해 줄 수 있다.
정산장치(114)는, 서버(120)와의 연동을 통하여 최종 기여도에 대한 정보를 연동한다.
서버(120)는, 분석 및 데이터 관리 서버로서, 시각화모듈(121), 가중치계산모듈(122), 검증분석모듈(123), 스토리지(124), 인터페이스(125)를 구비하여, 연동대상장치(110)와의 연동 정보를 시각화해 주며, 프로젝트 작업 수행률 기반 참여자별 가중치를 계산해 주며, 동료 평가에 대한 일관성 및 공정성을 검증 및 분석해 주며, 동료 평가 정보 및 분석 정보(즉, 동료 평가 최종 결과 정보)를 저장함과 동시에 클라이언트(130)로 제공해 준다.
시각화모듈(121)은, 통계 뷰어(View)를 위한 시각화 장치로서, 연동대상장치(110)(즉, 의견교환장치(112) 및 TM(113))와 연동되는 정보(즉, 프로젝트 참여도에 관한 통계 정보 및 프로젝트 작업 수행률에 대한 통계 정보)를 시각화해 준다. 이때, 시각화모듈(121)은, 구글 차트를 활용하여 연동 정보를 시각화해 줄 수 있다.
가중치계산모듈(122)은, 수행률 기반 가중치 계산 장치로서, 연동대상장치(110)(즉, TM(113))로부터 제공되는 프로젝트 작업 수행률에 대한 통계 정보를 기반으로 하여 참여자별 가중치(즉, 작업 수행률 기반 기여도에 적용할 가중치)를 계산(즉, 산출)해 준다.
검증분석모듈(123)은, 동료 평가 점수 검증 및 분석 장치로서, 연동대상장치(110)(즉, PM(111))로부터 제공되는 동료 평가 정보에 관한 일관성 및 공정성을 검증 및 분석해 준다. 이때, 검증분석모듈(123)은, 공정성 검증을 위해서 카이제곱 검증 기법을 적용하여 기여도를 보정해 줄 수 있다.
일 실시 예에서, 검증분석모듈(123)은, 연동대상장치(110)(즉, PM(111))로부터 제공되는 동료 평가 정보에 대한 통계 계산 시에, 단순 평균 값을 계산할 수 있으며, 또는 카이제곱 검증 기법을 적용한 보정된 기여도를 계산할 수 있으며, 또는 가중치계산모듈(122)에서 산출한 작업 수행률 기반 가중치를 적용한 기여도를 계산할 수 있다.
스토리지(124)는, 연동대상장치(110)(즉, PM(111))로부터 제공되는 동료 평가 정보 및 검증분석모듈(123)에서 검증 및 분석한 정보를 저장해 준다.
인터페이스(125)는, 연동대상장치(110)(즉, PM(111), 의견교환장치(112), TM(113), 정산장치(114))와 통신을 수행하여 연동대상장치(110)와의 데이터를 송수신해 주며, 또한 클라이언트(130)와 통신을 수행하여 클라이언트(130)와의 데이터를 송수신해 준다.
클라이언트(130)는, 웹 기반 데이터 수집 클라이언트(예를 들어, PC, 노트북, 스마트폰 등과 같은 통신 가능한 단말기)로서, 통계뷰어(131), 입력뷰어(132), 결과뷰어(133)를 구비하여, 서버(120)로부터 제공되는 통계 정보를 화면에 노출시켜 주며, 동료 평가 입력 화면 및 동료 평가 최종 결과 화면을 제공한다.
통계뷰어(131)는, 참여도 및 수행률 통계 화면 제공 장치로서, 서버(120)로부터 제공되는 프로젝트 참여도에 관한 통계 정보 및 프로젝트 작업 수행률에 대한 통계 정보를 화면에 노출시켜 준다. 이때, 통계뷰어(131)는, 서버(120)(즉, 시각화모듈(121))로부터 제공되는 시각화 정보를 화면에 노출시켜 주는데, 즉 프로젝트 참여도에 관한 통계 정보 및 프로젝트 작업 수행률에 대한 통계 정보를 시각화하여 제공해 줄 수 있다.
입력뷰어(132)는, 동료 평가 입력 화면 제공 장치로서, 플렉시-썸(Flexi-sum) 기반 룰(Rule)이 적용된 동료 평가를 입력하기 위한 화면을 제공해 준다. 즉, 입력뷰어(132)는, 플렉시-썸 기반으로 동료 평가 점수를 입력받아 서버(120)에 등록해 줄 수 있다. 여기서, 플렉시-썸 기반 룰은, 동료 평가 입력 시에 활용하기 위한 것으로, 기본 점수(예를 들어, 10점)를 기준으로 점수를 더하거나 빼는 방식으로 점수를 부여하도록 하는데, 이때 동료 평가의 총합은 참여자 수에 기본 점수를 곱한 값으로 고정해 주며, 또한 특정인이 자신을 포함하여 참여자 모두를 평가한 점수의 합의 경우에는 참여자 수에 기본 점수를 곱한 값으로 해 준다.
결과뷰어(133)는, 웹 기반 평가 결과 화면 제공 장치로서, 서버(120)로부터 제공되는 동료 평가 최종 결과에 대한 정보(즉, 최종 기여도 정보)를 화면에 제공해 준다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 소셜 앱 제작 플랫폼을 통한 앱을 개발 완료한 후에 수익 분배를 위한 참여자의 기여도를 측정 지원하는 도구로서, 월드 와이드 요구자를 위한 소셜 앱 제작 플랫폼에서 개발 기여도를 평가할 수 있도록 구현함으로써, 프로젝트 참여도 및 작업 수행률에 대한 객관적인 데이터를 제공하고 참여자들 사이의 동료 평가를 통해 최대한 객관적인 기여도를 측정할 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 프로젝트 수행 기간 동안 여러 번의 동료 평가를 진행하여 평가에 대한 학습 기회를 제공하며, 이러한 학습 기회를 통해 평가에 대한 일관성을 유지해 줌으로써, 일반적인 동료 평가 기법의 문제점인 일관성 및 공정성 문제 중 일관성의 문제를 해결할 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 참여자 사이의 평가 결과를 카이제곱 검증을 이용하여 평가 점수를 보정하여 공정치 못한 평가를 추출하고 이를 보정하여 공정성을 확보함으로써, 일반적인 동료 평가 기법의 문제점인 일관성 및 공정성 문제 중 공정성 문제를 해결할 수 있다.
한편, 상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 월드 와이드 요구자를 위한 소셜 앱 제작 플랫폼에서 개발 기여도를 평가하기 위해서, SDCA(Software Development Contribution Assessment) 모델(Model)을 바탕으로 SDCAS(Software Development Contribution Assessment System)로 설계되며, 프로젝트 진행에 따른 상황 정보를 제공해 줄 수 있다. 이때, 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 연동대상장치(110)의 TM(113)이 프로젝트 참여 구성원 목록, 참여자의 작업 난이도, 진행률, 완성률, 구성원 간 의견 교환횟수, 피드백 횟수 등을 바탕으로 참여자의 프로젝트 활동률을 계산해 줄 수 있으며, 프로젝트의 작업 성격에 따라 참여 구성원을 동일 작업 군(예를 들어, 디자인 등)에 따라 동일 집단으로 구성할 수 있고 향후 동료 평가의 기준으로 적용하도록 할 수 있다. 여기서, SDCA 모델은 동료 평가 점수의 공정성을 확보하기 위해서 프로젝트 활동률을 바탕으로 가중치 점수를 산정하도록 하는데, 형성적 평가 방법을 사용하여, 결과물에 대한 평가보다는 프로젝트 진행 과정에 대한 기여도를 평가하기 때문에, 프로젝트 작업 결과를 반영하지 않고 진행 상황에 따라 기여도 점수를 부여하도록 한다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 서버(120)의 가중치계산모듈(122)이 각 집단의 작업 성격에 따라 기 설정해 둔 작업 난이도를 구분하여 가중치 점수를 달리 적용할 수 있으며, 또한 연동대상장치(110)의 PM(111)이 참여자로 하여금 동료 평가 우선순위로 동일 작업 군의 참여자들을 대상으로 평가하도록 한 후에 후 순위로 타 집단의 참여자들을 순차적으로 평가하도록 할 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 동료 평가에서 참여자의 작업에 대한 이해가 부족할 경우에 동료 평가 시 오류가 발생하기 때문에, 연동대상장치(110)의 PM(111)이 동일 집단의 동료 평가 점수를 타 집단의 평가 점수에 비해 높게 측정하고 타 집단의 평가 점수를 동일 집단의 동료 평가 점수보다 낮게 배정하여 평가 점수의 왜곡을 방지할 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 클라이언트(130)의 통계뷰어(131)가 모든 참여자로 하여금 프로젝트 참여 구성원이 수행중인 프로젝트 활동률을 확인하도록 하여 기여도가 높은 참여자의 작업을 참조할 수 있도록 해 주며, 이에 높은 활동률을 유지하는 참여자의 작업 방식을 통해 타 참여자의 학습효과를 가져오도록 할 수 있으며, 또한 협업으로 진행해야 하는 작업을 수행해야 할 경우 타 집단의 작업에 대한 이해를 높일 수 있게 하기 때문에 프로젝트 결과의 향상을 가져올 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 프로젝트 참여자로 하여금 작업 그룹에서 요구하는 작업을 선택적으로 참여하도록 할 수 있다. 또한, 각각의 그룹에서 진행 중인 작업을 바탕으로 동료 평가 과정을 살펴보면, 우선 TPGA(Task Process Gathering Agent)를 통해 그룹에서 작업을 수행하는 진행률을 TPGA 데이터베이스(즉, 스토리지(124))로 전달할 수 있으며, TPGA가 각 그룹에서 수행하는 작업을 정량화하여 현재 진행 중인 프로젝트에 참여자가 어느 정도 기여하는지 여부를 사전에 설정한 평가 척도를 기준으로 점수로 산정해 줄 수 있으며, 작업률에 따른 기여도 평가 점수 결과를 TPGA 데이터베이스로 전달할 수 있고, 이에 SDCA 노드(Node)가 향후 참여자의 동료 평가 결과 점수와 합산하여 최종 기여도 점수를 산정할 수 있다. 이때, SDCA는 주기적으로 평가를 실시하기 때문에, TPGA 데이터베이스에 평가 완료된 점수는 프로젝트 참여자가 현재까지 완료된 평가 상태를 확인할 수 있도록 제공해 줄 수 있다. 또한 SDCA 노드는 참여자의 동료 평가 결과가 공정하고 일관성 있는지 여부를 파악하는 기능을 수행할 수 있는데, TPGA 데이터베이스로부터 특정 참여자의 평가 점수를 확인하고 평가자의 평가가 공정했는지를 분석할 수 있으며, 무의미한 평가를 실시할 경우 평가자의 점수에 낮은 가중치를 적용하여 평가 비중이 낮도록 설정해 줄 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 프로젝트 참여자의 역할에 따른 가중치 비중을, SDCA 노드에 설정된 프로파일을 기준으로 차등 적용할 수 있다. 여기서, 프로파일이란 프로젝트의 개발 범위, 종류, 분류, 투입 인원, 완료기간 등을 바탕으로 사전에 미리 설정해 둔 분류 기준으로, 프로젝트 기획자의 의도로 작성되며, 참여 구성원의 의견에 따라 기여도 가중치 비율을 변경할 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 프로젝트의 작업 비중에서 개발자의 비중은 낮고 UI/UX 디자이너의 비중이 높을 경우, 프로젝트 기획자로 하여금 SDCA 노드에서 제시한 기준을 바탕으로 가중치 비율을 산정하도록 할 수 있으며, 이에 디자이너의 기여도를 타 그룹의 참여자보다 높은 기여도 점수를 부여받도록 할 수 있다.
상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 집단 협업을 통한 소프트웨어 개발은 참여자의 기여도 평가에 따라 결과물에 많은 영향을 주며, 다수의 참여자가 협업하여 프로젝트를 수행할 경우 동료가 수행하는 작업을 이해하지 못해 예상하지 못한 방향으로 결과물이 도출되는 경우가 발생하는 등의 문제점을 해결하고자, 프로젝트 수행 중 주기적으로 동료 평가를 수행하여 각 동료가 수행하는 작업을 이해하고 평가함으로써, 프로젝트 전체의 흐름을 이해할 수 있는 학습기회를 제공할 수 있다. 다시 말해서, 기존의 동료 평가 방식은 결과를 바탕으로 평가를 실시했기 때문에 평가 결과를 신뢰하지 못하는 문제가 발생하였으며, 또한 동료 평가 측정 방법이 통계적 방법에 의해 신뢰성을 판단하였기 때문에 참여자가 프로젝트에 기여한 정도는 평가 점수에 반영되지 않는 문제가 있었으나, 상술한 바와 같은 구성을 가진 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템(100)은, 동료 평가 방법을 형성적 평가 방법을 적용하여 프로젝트 활동률을 바탕으로 점수를 산정하고 주기적인 동료 평가를 통해 신뢰성 높은 동료 평가를 수행하도록 하며, 또한 동료 평가를 수행하기 이전에 각 참여자의 프로젝트 활동률을 제시하고 평가 대상의 작업을 이해하기 위한 사전 학습을 통해 일관성 있고 공정한 평가가 가능하도록 하며, 또한 동료 평가를 수행하기 위해 학습한 내용이 프로젝트 결과물의 향상을 가져올 수 있다.
도 2는 본 발명의 실시 예에 따른 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법을 설명하는 도면이다.
도 2를 참조하면, 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법은, 참여자에 대한 객관적이고 공정한 기여도를 측정하기 위해서 SDCA 모델에 의해 프로젝트 활동 지표와 주기적 수행되는 동료 평가를 기준으로 진행하도록 하는데, 태스크할당단계(S201), 프로젝트진행단계(S202), 동료평가단계(S203), 공정성검증단계(S204), 가중치적용단계(S205), 반복제어단계(S206), 기여도측정단계(S207)를 포함한다.
태스크할당단계(S201)는, 클라이언트(130)가 참여자(또는, PM)에 의해서 자신을 포함한 다른 참여자들에게 태스크를 설정하는 경우에, 서버(120)가 클라이언트(13)를 통해 설정한 태스크를 각 참여자들에게 할당해 주게 된다.
프로젝트진행단계(S202)는, 클라이언트(130)가 프로젝트 수행을 진행하는데, 이때 반복제어단계(S206)에서의 반복 수행 통보를 수행할 수 있도록 하기 위해서, 서버(120)가 프로젝트의 시작과 완료를 확인하여 해당 확인된 프로젝트의 시작과 완료를 통보해 주게 된다.
동료평가단계(S203)는, 반복제어단계(S206)에서의 반복 수행 통보에 따라 구동하는데, PM(111)에 의해서 기 설정된 동표 평가 수행 기간에 참여자 자신을 포함한 동료들에 대한 평가를 수행하도록 해 준 후에 해당 수행된 동료 평가를 서버(120)로 제공해 준다.
일 실시 예에서, 동료평가단계(S203)는, 동료 평가 수행 시에 객관적 평가를 위한 참여자들의 프로젝트 활동 지표를 참여자에게 제공해 줄 수 있는데, 이때 연동대상장치(110)가 프로젝트 참여도 및 작업 수행률을 계산하여 해당 계산된 프로젝트 참여도 및 작업 수행률을 참여자에게 제공해 줄 수도 있다.
일 실시 예에서, 동료평가단계(S203)는, 의견교환장치(112)가 각 참여자에 대해서 의견 등록 수, 댓글 수, 응답 수를 확인하여 의견 등록 비율, 댓글 비율, 응답 비율을 계산하고, 해당 계산된 의견 등록 비율, 댓글 비율, 응답 비율을 포함한 프로젝트 참여도를 구할 수 있다. 또한, 동료평가단계(S203)는, TM(113)이 각 참여자에 대해서 할당 태스크 수, 완료 태스크 수, 미 완료 태스크 수, 실패 태스크 수를 확인하여 전체 태스크 수행 통계, 개인별 태스크 수행 통계를 계산하고, 해당 계산된 전체 태스크 수행 통계, 개인별 태스크 수행 통계를 포함한 작업 수행률을 구할 수 있다.
일 실시 예에서, 동료평가단계(S203)는, 상대 비교를 위해서 서버(120)가 동료 평가(또는, 프로젝트 활동 지표(예를 들어, 프로젝트 참여도, 작업 수행률 등))를 시각화(예를 들어, 그래프화, 도표화, 분포도화 등)하여 참여자에게 제공할 수도 있다.
일 실시 예에서, 동료평가단계(S203)는, 클라이언트(130)가 플렉시-썸 기반 룰을 적용하여 동료 평가를 수행하도록 할 수 있다.
일 실시 예에서, 동료평가단계(S203)는, 팀원(즉, 참여자)들에게 우선 기 설정해 둔 기본 점수를 할당해 줄 수 있으며, 기여도에 따라 이에 대응하여 기본 점수를 기 설정된 값만큼 증가 또는 감소시켜 줄 수 있으며, 해당 할당된 점수의 합이 팀원 수에 기본 점수를 곱한 값과 동일하도록 할 수 있다.
공정성검증단계(S204)는, 반복제어단계(S206)에서의 반복 수행 통보에 따라 구동하는데, 서버(120)가 동료평가단계(S203)에서 완료된 동료 평가를 제공받아, 해당 제공받은 동료 평가에 대한 공정성을 검증한 후에 해당 검증된 동료 평가를 기여도측정단계(S207)로 제공해 주게 된다.
일 실시 예에서, 공정성검증단계(S204)는, 카이제곱 검증 기법을 적용하여 동료평가단계(S203)에서의 동료 평가에 대한 점수를 보정해 줄 수 있으며, 해당 보정된 동료 평가 점수를 기여도측정단계(S207)로 제공해 줄 수 있다. 여기서, 카이제곱 검증 기법은, 카이제곱 분포에 기초한 통계적 방법으로, 관찰된 빈도가 기대되는 빈도와 의미 있게 다른지의 여부를 검증하기 위해 사용되는 검증방법이며, 자료가 빈도로 주어졌을 때, 특히 명목척도 자료의 분석에 이용된다.
일 실시 예에서, 공정성검증단계(S204)는, 동료평가단계(S203)에서의 동료 평가에 대한 공정성을 평가하고 해당 평가된 공정성에 따른 가중치를 계산해 줄 수 있다.
일 실시 예에서, 공정성검증단계(S204)는, 참여자(j)가 다른 참여자(i)를 평가한 경우에, 참여자(j)에 대한 카이제곱 값(Xj 2)을 아래의 수학식 1과 같이 계산할 수 있다. 여기서,
Figure pat00014
이며,
Figure pat00015
는 참여자(j)가 평가한 다른 참여자(i)의 점수(즉, 자기평가점수)를 말하며,
Figure pat00016
는 참여자(j)가 평가한 다른 참여자(i)의 점수(
Figure pat00017
)를 뺀 다른 참여자(i)의 평가 점수에 대한 평균값(즉, 타평가평균점수)을 말한다. 즉, 참여자(j)에 대한 카이제곱 값(Xj 2)은, 다른 참여자(i)가 1부터 N까지 각각에 대해서 자기평가점수(
Figure pat00018
)에서 타평가평균점수(
Figure pat00019
)를 뺀 값을 제곱한 다음에, 해당 제곱 값에 타평가평균점수(
Figure pat00020
)를 나누어, 해당 나눈 값들을 시그마한 값이다.
Figure pat00021
일 실시 예에서, 공정성검증단계(S204)는, 유의확률(p-value)을 공정성 척도(Fj)로 활용하여, 해당 공정성 척도(Fj)를 기반으로 평가자의 공정성 가중치(Wj)를 아래의 수학식 2와 같이 계산할 수 있다. 여기서, 카이제곱 검증은, 카이제곱 값(Xj 2)이 영가설(또는, 귀무가설)이 참일 때의 카이제곱 값(Xj 2)의 이론적 분포(카이제곱 분포라고 함)에서 관찰될 수 있는 확률(즉, 유의확률)에 근거하여 실시하는 검정으로서, 해당 유의확률이 아주 작으면(예를 들어, 0.05 이하) 영가설을 기각하고 그렇지 않으면 수용하며, 독립적인 표준화 정규분포변수가 v개 있을 때 각각의 제곱의 합이 카이제곱 값(Xj 2)의 통계량으로 정의되며 이때 자유도는 v이다.
Figure pat00022
일 실시 예에서, 공정성검증단계(S204)는, 수학식 2와 같이 계산된 공정성 가중치(Wj)를 기반으로 하여 자기평가점수(
Figure pat00023
)를 아래의 수학식 3과 같이 평가 값(
Figure pat00024
)으로 보정할 수 있다.
Figure pat00025
가중치적용단계(S205)는, 반복제어단계(S206)에서의 반복 수행 통보에 따라 구동하는데, 서버(120)가 동료평가단계(S203)에서의 동료 평가 시점까지에 해당하는 작업 수행률에 따른 가중치를 적용해 주며, 해당 적용해 준 작업 수행률에 따른 가중치를 기여도측정단계(S207)로 제공해 주게 된다.
일 실시 예에서, 가중치적용단계(S205)는, 작업의 난이도 및 수행 완료율에 따라 작업 수행률에 대한 가중치를 적용해 줄 수 있다. 또한, 가중치적용단계(S205)는, 참여자의 작업 결과에 대한 품질을 추가하여 작업 수행률에 대한 가중치를 적용할 수도 있다.
일 실시 예에서, 가중치적용단계(S205)는, 작업의 난이도를 작업의 예상 수행일을 기준으로 측정할 수 있는데, 이때 향후 난이도에 대한 PM(111)(또는, 참여자)의 동의에 의한 난이도 팩터(Factor)를 추가할 수도 있다.
일 실시 예에서, 가중치적용단계(S205)는, 수행 완료율도 작업의 예상 수행일을 기준으로 측정할 수 있는데, 이때 예상 수행일 이내 완료나 예상 수행일 이후 완료로 구분할 수 있다.
일 실시 예에서, 가중치적용단계(S205)는, 가중치 모델로 참여자별 작업 수행률(
Figure pat00026
)을 아래의 수학식 4와 같이 계산할 수 있다. 여기서, t는 작업별 수행률을 말하며, dt는 프로젝트 전체 작업들에 대비하여 해당 작업에 대한 난이도를 말한다.
Figure pat00027
반복제어단계(S206)는, 서버(120)가 프로젝트진행단계(S202)에서의 프로젝트의 시작과 완료 통보에 따라 기 설정된 주기마다 동료평가단계(S203), 공정성검증단계(S204), 가중치적용단계(S205)의 구동을 반복적으로 수행하도록 반복 수행 통보해 준다.
일 실시 예에서, 반복제어단계(S206)는, 프로젝트진행단계(S202)에서의 프로젝트의 시작 시점 통보에서부터 프로젝트진행단계(S202)에서의 프로젝트의 완료 시점 통보까지 주기적으로 동료평가단계(S203), 공정성검증단계(S204), 가중치적용단계(S205)의 구동을 수행하도록 반복 수행 통보할 수 있는데, 즉 프로젝트진행단계(S202)에서의 프로젝트의 시작 시점 통보에 따라 기 설정된 주기마다 동료평가단계(S203), 공정성검증단계(S204), 가중치적용단계(S205)의 구동을 반복 수행하도록 반복 수행 통보할 수 있으며, 그런 후에 프로젝트진행단계(S202)에서의 프로젝트의 완료 시점 통보에 따라 동료평가단계(S203), 공정성검증단계(S204), 가중치적용단계(S205)의 구동을 종료하도록 통보할 수 있다.
기여도측정단계(S207)는, 반복제어단계(S206)에서의 반복 수행 통보에 따라 주기적으로 수행한 동료평가단계(S203)의 동료 평가, 공정성검증단계(S204)의 동료 평가에 대한 공정성 검증, 가중치적용단계(S205)의 작업 수행률에 따른 가중치를 제공받아, 서버(120)가 해당 제공받은 동료 평가 점수 및 작업 수행률에 따른 가중치를 기반으로 각 참여자에 대한 최종 기여도를 측정해 주게 된다.
일 실시 예에서, 기여도측정단계(S207)는, 공정성검증단계(S204)에서의 동료 평가 점수(즉, 보정된 동료 평가 점수)와 가중치적용단계(S205)에서의 작업 수행률에 따른 가중치를 적용한 값들에 대한 평균으로 최종 기여도(
Figure pat00028
)를 아래의 수학식 5와 같이 계산할 수 있다. 다르게는, 기여도측정단계(S207)는, 필요시에 평가 시점(또는, 평가 횟수)에 따른 가중치 평균을 적용해 줄 수도 있다.
Figure pat00029
기존 플랫폼은 프로젝트 참여자가 소프트웨어 개발에서 기여한 정도를 측정하기 위해 작업의 할당량, 난이도, 완료율, 수행률 등을 이용하여 기여도를 산출하였으나, 상술한 바와 같은 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법은, 프로젝트에 참여한 사용자간 동료 평가를 실시한 평가 점수와 프로젝트 기여에 따른 평가 방식을 적용한 SDCA 모델을 이용하도록 한다. 여기서, 소셜 앱 제작 플랫폼은, 월드 와이드 요구자를 위한 플랫폼으로 다수의 사용자 의견을 기반으로 한 소프트웨어 개발 플랫폼을 말하며, 다양한 전문지식을 보유한 참여자간의 의견 교환 및 제시를 통해 새로운 프로젝트를 제안하는 것이 가능하며, 실현 가능성이 높은 프로젝트의 경우 아이디어 제안자와 협업을 위한 참여자로 구성되어 프로젝트가 시작되며, 협업에 참가하는 사용자의 경우에 직접 개발에 참여하거나 진행 과정에서 발생하는 이슈에 대해 피드백을 하는 사용자 등 다양한 형태로 프로젝트에 참여하게 된다.
기존 기여도 평가 기법은 프로젝트 진행이 종료된 이후에 실시하기 때문에 평가에 대한 일관성과 공정성이 확보되기 어려우나, 상술한 바와 같은 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법은, SDCA 모델을 이용하여 신뢰성 높은 동료 평가 점수를 측정하기 위해 주기적인 평가를 실시하여 사용자의 동료 평가에 대한 이해도를 높여 정확한 평가가 가능하도록 유도하며, 또한 주기적인 동료 평가 실시에서 발생할 수 있는 쏠림현상, 무성의한 평가, 악의적 평가 등을 방지하기 위해 매 실시되는 평가 점수에 각각 다른 가중치를 적용하여 평가 점수의 왜곡을 방지하도록 하며, 정상적인 동료 평가를 실시할 수 있도록 판단 근거를 제공하여 참여자가 동료 평가를 객관적으로 판단할 수 있게 프로젝트 활동률에 따른 기여도 평가 점수를 공개해 주며, 프로젝트 참여자의 경우에 개발에 필요한 의견을 제시하거나 제시한 의견에 대한 피드백을 상호 지속적으로 수행하게 되는데, 이때 모든 참여자가 제시한 의견 빈도수와 제시한 의견이 해당 프로젝트에 미치는 영향을 고려하여 기여도 평가에 가중치로 적용해 준다.
이상, 본 발명의 실시 예는 상술한 장치 및/또는 운용방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시 예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시 예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다. 이상에서 본 발명의 실시 예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템
110: 연동대상장치
111: PM(Project Manager)
112: 의견교환장치
113: TM(Task Manager)
114: 정산장치
120: 서버
121: 시각화모듈
122: 가중치계산모듈
123: 검증분석모듈
124: 스토리지
125: 인터페이스
130: 클라이언트
131: 통계뷰어
132: 입력뷰어
133: 결과뷰어

Claims (10)

  1. 동료 평가 요청 및 동료 평가 정보 통보를 수행하며, 프로젝트 참여자에 대한 정보, 프로젝트 참여도에 관한 통계 정보, 프로젝트 작업 수행률에 대한 통계 정보, 최종 기여도에 대한 정보를 연동하는 연동대상장치;
    상기 연동대상장치와의 연동 정보를 시각화해 주며, 프로젝트 작업 수행률 기반 참여자별 가중치를 계산해 주며, 동료 평가에 대한 일관성 및 공정성을 검증 및 분석해 주며, 동료 평가 정보 및 분석 정보를 저장함과 동시에 제공하는 서버; 및
    상기 서버로부터 제공되는 통계 정보를 화면에 노출시켜 주며, 동료 평가 입력 화면 및 동료 평가 최종 결과 화면을 제공하는 클라이언트를 포함하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템.
  2. 제1항에 있어서, 상기 연동대상장치는,
    프로젝트 참여자에 대한 정보를 상기 서버와 연동하며, 동료 평가를 참여자에게 요청한 후에 참여자로부터 동료 평가 정보를 입력받아 상기 서버로 알려주는 PM(Project Manager);
    프로젝트 참여도에 관한 통계 정보를 상기 서버와 연동하는 의견교환장치;
    프로젝트 작업 수행률에 대한 통계 정보를 상기 서버와 연동하는 TM(Task Manager); 및
    최종 기여도에 대한 정보를 상기 서버와 연동하는 정산장치를 구비하는 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템.
  3. 제2항에 있어서, 상기 의견교환장치는,
    객관적인 평가를 유도하기 위한 참여자들의 프로젝트 참여도에 대한 정보로 의견 등록 수 및 비율, 댓글 수 및 비율, 응답 수 및 비율을 상기 서버로 제공하는 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템.
  4. 제2항에 있어서, 상기 TM은,
    객관적인 평가를 유도하기 위한 참여자들의 프로젝트 작업 수행률에 대한 정보로 전체 태스크 수행 통계 정보, 할당 태스크 수, 완료 태스크 수, 미완료 태스크 수, 실패 태스크 수를 포함한 개인별 태스크 수행 통계 정보, 개인별 할당 및 수행한 태스크 상세 정보를 상기 서버로 제공하는 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템.
  5. 제1항에 있어서, 상기 서버는,
    상기 연동대상장치와 연동되는 정보를 시각화해 주는 시각화모듈;
    상기 연동대상장치로부터 제공되는 프로젝트 작업 수행률에 대한 통계 정보를 기반으로 하여 참여자별 가중치를 산출하는 가중치계산모듈;
    상기 연동대상장치로부터 제공되는 동료 평가 정보에 관한 일관성 및 공정성을 검증 및 분석하는 검증분석모듈;
    상기 연동대상장치로부터 제공되는 동료 평가 정보 및 상기 검증분석모듈에서 검증 및 분석한 정보를 저장하는 스토리지; 및
    상기 연동대상장치와 통신을 수행하여 상기 연동대상장치와의 데이터를 송수신하며, 상기 클라이언트와 통신을 수행하여 상기 클라이언트와의 데이터를 송수신하는 인터페이스를 구비하는 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템.
  6. 제1항에 있어서, 상기 클라이언트는,
    상기 서버로부터 제공되는 프로젝트 참여도에 관한 통계 정보 및 프로젝트 작업 수행률에 대한 통계 정보를 화면에 노출시켜 주는 통계뷰어;
    플렉시-썸 기반 룰이 적용된 동료 평가를 입력하기 위한 화면을 제공하는 입력뷰어; 및
    상기 서버로부터 제공되는 동료 평가 최종 결과에 대한 정보를 화면에 제공하는 결과뷰어를 구비하는 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템.
  7. 클라이언트가 자신을 포함한 다른 참여자들에게 태스크를 설정하는 경우에, 서버가 설정한 태스크를 각 참여자들에게 할당하는 태스크할당단계;
    클라이언트가 프로젝트 수행을 진행하도록 하며, 서버가 프로젝트의 시작과 완료를 확인하여 통보해 주는 프로젝트진행단계;
    반복 수행 통보에 따라 PM에 의해 기 설정된 동표 평가 수행 기간에 참여자 자신을 포함한 동료들에 대한 평가를 수행하도록 한 후에 수행된 동료 평가를 제공하는 동료평가단계;
    반복 수행 통보에 따라 서버가 상기 동료 평가를 제공받아, 상기 동료 평가에 대한 공정성을 검증하는 공정성검증단계;
    반복 수행 통보에 따라 서버가 작업 수행률에 따른 가중치를 적용해 주는 가중치적용단계;
    프로젝트의 시작과 완료 통보에 따라 서버가 기 설정된 주기마다 상기 동료평가단계, 상기 공정성검증단계, 상기 가중치적용단계를 반복적으로 수행하도록 반복 수행 통보해 주는 반복제어단계; 및
    서버가 상기 동료 평가, 상기 동료 평가에 대한 공정성 검증, 상기 작업 수행률에 따른 가중치를 기반으로 각 참여자에 대한 최종 기여도를 측정하는 기여도측정단계를 포함하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법.
  8. 제7항에 있어서, 상기 동료평가단계는,
    의견교환장치가 각 참여자에 대해서 의견 등록 수, 댓글 수, 응답 수를 확인하여 의견 등록 비율, 댓글 비율, 응답 비율을 계산하고, 계산된 의견 등록 비율, 댓글 비율, 응답 비율을 포함한 프로젝트 참여도를 구하는 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법.
  9. 제7항에 있어서, 상기 동료평가단계는,
    TM이 각 참여자에 대해서 할당 태스크 수, 완료 태스크 수, 미 완료 태스크 수, 실패 태스크 수를 확인하여 전체 태스크 수행 통계, 개인별 태스크 수행 통계를 계산하고, 계산된 전체 태스크 수행 통계, 개인별 태스크 수행 통계를 포함한 작업 수행률을 구하는 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법.
  10. 제7항에 있어서, 상기 공정성검증단계는,
    참여자(j)가 다른 참여자(i)를 평가한 경우에, 참여자(j)에 대한 카이제곱 값(Xj 2)을
    Figure pat00030
    의 수학식에 의해 계산하며,
    Figure pat00031
    이며,
    Figure pat00032
    는 참여자(j)가 평가한 다른 참여자(i)의 점수인 자기평가점수이며,
    Figure pat00033
    는 자기평가점수(
    Figure pat00034
    )를 뺀 다른 참여자(i)의 평가 점수에 대한 평균값인 타평가평균점수인 것을 특징으로 하는 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 방법.
KR1020150085112A 2015-06-16 2015-06-16 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법 KR20160148296A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150085112A KR20160148296A (ko) 2015-06-16 2015-06-16 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150085112A KR20160148296A (ko) 2015-06-16 2015-06-16 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20160148296A true KR20160148296A (ko) 2016-12-26

Family

ID=57733930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150085112A KR20160148296A (ko) 2015-06-16 2015-06-16 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20160148296A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059677A (ko) 2021-05-05 2021-05-25 황호웅 폐마스크 밀봉 회수기
CN116562947A (zh) * 2023-04-18 2023-08-08 成都银翼穿戴科技有限公司 一种智能发热服用户体验测试方法
WO2023149790A1 (ko) * 2022-02-07 2023-08-10 주식회사 아이디어노트 업무 평가 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943920B1 (ko) 2009-04-29 2010-02-24 국방과학연구소 군용 에너지 기술 관련 연구개발과제의 평가 시스템 및 그 방법, 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
KR101228969B1 (ko) 2011-05-20 2013-02-01 한양대학교 산학협력단 기술기여도 평가방법과 이를 이용한 기술가치평가 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100943920B1 (ko) 2009-04-29 2010-02-24 국방과학연구소 군용 에너지 기술 관련 연구개발과제의 평가 시스템 및 그 방법, 그리고 이를 행하는 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체
KR101228969B1 (ko) 2011-05-20 2013-02-01 한양대학교 산학협력단 기술기여도 평가방법과 이를 이용한 기술가치평가 방법 및 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210059677A (ko) 2021-05-05 2021-05-25 황호웅 폐마스크 밀봉 회수기
WO2023149790A1 (ko) * 2022-02-07 2023-08-10 주식회사 아이디어노트 업무 평가 방법 및 장치
CN116562947A (zh) * 2023-04-18 2023-08-08 成都银翼穿戴科技有限公司 一种智能发热服用户体验测试方法

Similar Documents

Publication Publication Date Title
Al Hattab et al. Simulating the dynamics of social agents and information flows in BIM-based design
Dogan et al. Assessing coordination performance based on centrality in an e-mail communication network
Bjarnason et al. The role of distances in requirements communication: a case study
Kishor Mahato et al. Conflict dynamics in a dam construction project: a case study
US20050080655A1 (en) System and model for performance value based collaborative relationships
US9753839B2 (en) Test script evaluation system and method
JP6923729B2 (ja) 平均差戻し率を用いた作業者熟練度測定方法及び装置
CA2612198A1 (en) Method and system for determining effectiveness of a compliance program
Ellinas et al. Toward project complexity evaluation: A structural perspective
Li et al. QUAC: Quality-aware contract-based incentive mechanisms for crowdsensing
CN112883527B (zh) 一种面向网络体系的仿真评估方法
KR20160148296A (ko) 소셜 앱 제작 플랫폼에서의 개발 기여도 평가 시스템 및 방법
Reddi et al. Simulation of new product development and engineering changes
Basaif et al. Technology awareness of artificial intelligence (AI) application for risk analysis in construction projects
Alam et al. Risk-based testing techniques: a perspective study
US20130262473A1 (en) Systems, methods, and apparatus for reviewing file management
Zou et al. An agent-based model for crowdsourcing systems
Misra et al. A simplified model for software inspection
Adelmeyer et al. Trust Transitivity and Trust Propagation in Cloud Computing Ecosystems.
Zhu A system-of-systems framework for assessment of resilience in complex construction projects
Mileusnić Škrtić et al. Project risk management: comparative analysis of methods for project risks assessment
Symons Software industry performance: What you measure is what you get
Kafalı et al. Trust strategies for ART Testbed
Banti et al. Data quality in mobile crowd sensing systems: Challenges and perspectives
Bai et al. Hybrid modeling and simulation for trustworthy software process management: a stakeholder‐oriented approach

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
NORF Unpaid initial registration fee