KR100700376B1 - 실시간 서지데이터베이스 평가 방법 - Google Patents
실시간 서지데이터베이스 평가 방법 Download PDFInfo
- Publication number
- KR100700376B1 KR100700376B1 KR1020020055089A KR20020055089A KR100700376B1 KR 100700376 B1 KR100700376 B1 KR 100700376B1 KR 1020020055089 A KR1020020055089 A KR 1020020055089A KR 20020055089 A KR20020055089 A KR 20020055089A KR 100700376 B1 KR100700376 B1 KR 100700376B1
- Authority
- KR
- South Korea
- Prior art keywords
- database
- data
- bibliographic
- evaluation
- real
- Prior art date
Links
- 238000000691 measurement method Methods 0.000 title abstract description 9
- 238000011156 evaluation Methods 0.000 claims abstract description 110
- 238000000034 method Methods 0.000 claims abstract description 39
- 238000005259 measurement Methods 0.000 claims abstract description 14
- 230000000694 effects Effects 0.000 claims abstract description 5
- 238000013441 quality evaluation Methods 0.000 claims description 36
- 230000003068 static effect Effects 0.000 claims description 15
- 238000004519 manufacturing process Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 8
- 238000011160 research Methods 0.000 claims description 4
- 238000000605 extraction Methods 0.000 claims description 3
- 230000000877 morphologic effect Effects 0.000 claims 1
- 238000012546 transfer Methods 0.000 claims 1
- 238000012854 evaluation process Methods 0.000 abstract description 5
- 239000000284 extract Substances 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000001303 quality assessment method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 239000013077 target material Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Abstract
본 발명은 실시간 서지데이터베이스 평가 방법에 관한 것으로, 웹기반으로 주제분야별 데이터베이스(DB) 작성자를 모집·선정하여 데이터베이스를 제작한 후 데이터베이스의 품질을 평가할 수 있는 평가기준 및 평가항목을 제시하고, 객관적이고 계량적인 측정방법을 사용하여 데이터베이스의 품질을 평가분석 할 수 있는 실시간 서지데이터베이스 평가 방법에 관한 것이다. 따라서, 본 발명은 데이터베이스 품질측정방법을 이용하여 데이터베이스 평가과정을 시스템화함으로써 실시간으로 신뢰성있는 데이터베이스 및 DB 작성자에 대한 평가분석을 수행하며 데이터베이스(DB) 작성자의 성과측정, 재교육 및 교체여부를 판단할 수 있는 효과가 있다.
Description
도 1은 본 발명에 의한 실시간 서지데이터베이스 평가 시스템을 개략적으로 나타낸 구성도
도 2는 본 발명에 의한 실시간 서지데이터베이스 제작 방법을 설명하기 위한 흐름도
도 3은 본 발명에 의해 데이터베이스 작성자가 서지 데이터베이스를 작성한 예를 나타낸 도면
도 4는 본 발명에 의해 데이터베이스 작성자가 서지 데이터베이스 서비스를 작성한 예를 나타낸 도면
도 5는 본 발명에 의한 실시간 서지데이터베이스 평가 시스템에서 서지 데이터베이스를 품질평가하기 위한 평가기준 및 평가항목을 나타낸 도면
도 6은 본 발명의 실시간 서지데이터베이스 평가 시스템에 의한 실시간 서지데이터베이스 측정방법을 나타낸 도면
본 발명은 실시간 서지데이터베이스 평가 방법에 관한 것으로, 특히 웹기반으로 주제분야별 데이터베이스(DB) 작성자를 모집·선정하여 데이터베이스를 제작한 후 데이터베이스의 품질을 평가할 수 있는 기준 및 항목을 제시하고, 객관적이고 계량적인 측정방법 및 평가지표를 사용하여 데이터베이스의 품질을 평가분석하는 실시간 서지데이터베이스 평가 방법에 관한 것이다.
또한, 본 발명은 데이터베이스 품질평가방법을 이용하여 데이터베이스 평가과정을 시스템화함으로써 실시간으로 신뢰성있는 데이터베이스 및 전문인력에 대한 평가분석을 수행하며 데이터베이스(DB) 작성자의 성과측정, 재교육 및 교체여부를 판단할 수 있는 실시간 서지데이터베이스 평가 방법에 관한 것이다.
종래의 데이터베이스 평가방식은 샘플링, 관찰, 설문조사에 의해 데이터베이스(DB) 서비스 시점에서 데이터베이스(DB) 평가작업이 이루어졌다. 또한, DB제작기관에서 수행하는 종래의 데이터베이스 평가방식은 기 작성된 데이터베이스를 대상으로 분야별 데이터베이스(DB) 담당자가 데이터에 대한 교정·교열을 위한 평가표를 수작업방식(manual method)으로 작성하고 이를 토대로 데이터베이스(DB) 작성자에 대한 평가 및 재교육을 수행하였다. 이로 인해 데이터베이스(DB) 작성자에 대한 이력정보 관리 및 평가작업에 많은 시간을 소모하였다. 따라서 DB 작성자에 대한 체계적인 관리가 이루어지지 않아 시간비용측면에서 저효율화를 초래하였고 데이터베이스의 품질향상에 저해요인이 되었다.
그리고, 종래의 데이터베이스 평가 방법에는 주제전문지식을 지닌 활용가능 인력이 제한되고, 데이터베이스(DB) 관리자가 주제분야별 세부 데이터베이스(DB) 제작 전문가를 관리하고, 제작된 데이터베이스의 품질을 측정평가하는데 한계가 있었다. 따라서, 데이터베이스에 수록된 데이터의 부정확성, 중복레코드 및 오류데이터의 발생, 데이터의 일관성 결여, 데이터베이스(DB) 구축까지 많은 시간이 소요되는 등 여러 가지 문제가 발생하였다.
따라서, 본 발명은 상기 문제점을 해결하기 위하여 이루어진 것으로, 본 발명의 목적은 웹기반으로 주제분야별 데이터베이스(DB) 작성자를 모집·선정하여 데이터베이스를 제작한 후 데이터베이스의 품질을 평가할 수 있는 평가기준 및 평가항목을 제시하고, 객관적이고 계량적인 측정방법을 사용하여 데이터베이스의 품질을 평가분석하는 실시간 서지데이터베이스 평가 방법을 제공하는데 있다.
또한, 본 발명의 다른 목적은 데이터베이스 품질평가방법을 이용하여 데이터베이스 평가과정을 시스템화함으로써 실시간으로 신뢰성있는 데이터베이스 및 전문인력에 대한 평가분석을 수행하며 데이터베이스(DB) 작성자의 성과측정, 재교육 및 교체여부를 판단할 수 있는 실시간 서지데이터베이스 평가 방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은 데이터베이스 품질 평가기준과 측정방법에 의거하여 계량적으로 산출된 품질평가결과를 분석함으로써 객관적이고 신뢰성있는 작업통계를 실시간으로 온라인상에서 산출할 수 있는 실시간 서지데이터베이스 평가 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명에 의한 실시간 서지데이터베이스 평가방법은,
인터넷상에서 주제분야별 데이터베이스(DB) 작성자를 모집·선정하여 데이터베이스를 제작한 후 실시간으로 데이터베이스의 품질을 평가할 수 있는 실시간 서지데이터베이스 평가 방법에 있어서,
전문지식을 지닌 주제전문가가 인터넷을 통해 자신의 전문지식을 제공하는 단계;
필요로 하는 전문지식을 지닌 주제전문가를 공개 모집하는 광고와 함께 DB작성자 신청서를 인터넷상에 게시하는 단계;
상기 주제전문가가 인터넷상에서 자신의 학력정보, 주제분야, 경력정보, 연구활동정보 등을 입력하여 DB 작성자 신청서를 접수하면 이 정보를 상기 DB 관리자의 DB 전문가 인력 풀(Pool) DB에 저장하는 단계;
상기 DB 작성자는 인터넷상에서 로그인 후 인증절차를 거쳐 해당 주제분야의 원시데이터에 접근하거나 또는 입수된 DB 대상자료를 대출하는 단계;
상기 DB 작성자(주제전문가)가 작성한 서지 DB를 상기 DB 관리자의 서지 DB에 저장하는 단계;
상기 DB 작성자가 생성한 서지 DB의 에러정보를 상기 DB 관리자의 에러로그 DB에 저장하는 단계; 및
상기 DB 작성자가 작성한 상기 서지 DB를 온라인상에서 실시간으로 데이터품질을 평가한 데이터품질평가결과를 상기 DB 관리자의 평가 DB에 저장하는 단계를 포함하고,
상기 서지 DB는, 소장정보, 권호정보, 페이지, 발행년, 자료의 유형, 기사유형, 본문수록언어, 논문기사명, 저자명, 수록정보원 등을 작성한 기본 서지정보와, 주제분류코드, 색인어, 초록을 포함하며,
인터넷상에서 주제분야별 데이터베이스(DB) 작성자를 모집·선정하여 데이터베이스를 제작한 후 실시간으로 데이터베이스의 품질을 평가할 수 있는 실시간 서지데이터베이스 평가 방법에 있어서,
전문지식을 지닌 주제전문가가 인터넷을 통해 자신의 전문지식을 제공하는 단계;
필요로 하는 전문지식을 지닌 주제전문가를 공개 모집하는 광고와 함께 DB작성자 신청서를 인터넷상에 게시하는 단계;
상기 주제전문가가 인터넷상에서 자신의 학력정보, 주제분야, 경력정보, 연구활동정보 등을 입력하여 DB 작성자 신청서를 접수하면 이 정보를 상기 DB 관리자의 DB 전문가 인력 풀(Pool) DB에 저장하는 단계;
상기 DB 작성자는 인터넷상에서 로그인 후 인증절차를 거쳐 해당 주제분야의 원시데이터에 접근하거나 또는 입수된 DB 대상자료를 대출하는 단계;
상기 DB 작성자(주제전문가)가 작성한 서지 DB를 상기 DB 관리자의 서지 DB에 저장하는 단계;
상기 DB 작성자가 생성한 서지 DB의 에러정보를 상기 DB 관리자의 에러로그 DB에 저장하는 단계; 및
상기 DB 작성자가 작성한 상기 서지 DB를 온라인상에서 실시간으로 데이터품질을 평가한 데이터품질평가결과를 상기 DB 관리자의 평가 DB에 저장하는 단계를 포함하고,
상기 서지 DB는, 소장정보, 권호정보, 페이지, 발행년, 자료의 유형, 기사유형, 본문수록언어, 논문기사명, 저자명, 수록정보원 등을 작성한 기본 서지정보와, 주제분류코드, 색인어, 초록을 포함하며,
상기 서지 DB의 평가기준은 데이터의 정확성, 완전성, 최신성, 유일성 등으로 설정하고, 각 평가기준에 가중치를 부여하여 데이터에 대한 품질을 측정하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
상기 데이터의 정확성은 철자오류, 분류코드기입오류, 특수문자입력오류, 서지항목 등을 측정하는 것을 특징으로 한다.
상기 데이터의 완전성은 서지 데이터베이스(DB)를 구성하는 각 레코드, 그리고 이 레코드를 구성하는 각 필드를 대상으로 측정하며, 데이터 구조의 완전성, 데이터 값의 완전성, 데이터 표현의 완전성으로 구분하여 측정하는 것을 특징으로 하다.
상기 데이터 값의 완전성은 불완전한 레코드수에 의해, 그리고 불완전한 필드 수를 계량화하여 데이터의 완전성을 산출하는 것을 특징으로 한다.
상기 데이터 표현의 완전성은 데이터가공시 색인/용어, 분류, 초록을 적합하게 부여했는지에 대해 전문가의 판단에 의해 산출하는 것을 특징으로 한다.
상기 데이터의 최신성은 원시데이터의 발생부터 가공제작까지 소요되는 시간의 경과를 측정함으로써 구하는 것을 특징으로 한다.
상기 데이터의 유일성은 상기 서지 DB 내 동일 레코드가 중복되어 있는 지를 검출함으로써 구하는 것을 특징으로 한다.
상기 서지 DB를 품질측정하는 방법은 정적 평가방법과 동적 평가방법을 포함하여 구성하는 것을 특징으로 한다.
상기 정적 평가방법은, 서지항목, 주제분야코드, 특수문자, 데이터중복성, 데이터베이스(DB) 작성소요시간, 데이터의 일관성, 전월대비 개선정도 등을 인적 요소의 중재없이 기계적으로 데이터의 형태적 무결성을 측정하는 것을 특징으로 한다.
상기 서지항목에 대한 오류측정은 정해진 폼에 맞추어 데이터가 정확히 기입되었는지를 측정하며, 학술지목록데이터베이스와 연동하여 ISSN, 권호정보, 소장정보의 정확성을 측정하는 것을 특징으로 한다.
상기 주제분야코드에 대한 오류측정은 주제분야코드테이블에 의거하여 논리오류를 측정하는 것을 특징으로 한다.
상기 특수문자에 대한 오류측정은 특수문자테이블에 의거하여 특수문자의 입력오류를 측정하는 것을 특징으로 한다.
상기 데이터의 일관성은 서지 DB 내에 불필요하게 중복 생성된 레코드의 수 및 레코드내 중복된 데이터 값의 빈도수를 측정하는 것을 특징으로 한다.
상기 전월대비 개선정도는 동일한 서지 DB 작성자에 대해 과거의 데이터베이스(DB) 품질평가분석결과와 현재 품질평가결과를 비교하여 개선된 정도를 수치로 산출하는 것을 특징으로 한다.
상기 정적 평가방법은 필드 값이 오래된 레코드의 수, 새로운 데이터가 발생하는 시점부터 데이터 가공을 거쳐 레코드 생성까지 소요되는 시간의 경과를 측정하여 데이터의 최신성을 평가하는 것을 특징으로 한다.
상기 동적 평가방법은 1차적으로 시스템이 생성한 데이터를 기반으로 DB 작성자에 의해 분류오류가능성이 높은 데이터의 추출, 색인어 및 용어 체크, 입력오류체크가 이루어지는 방법이다. 여기에서, 동적 평가방법에 의한 평가 과정을 통해 시스템측에서 수신하는 정보는 DB 작성자에 의해 평가된 결과정보이다.
상기 분류오류가능성이 높은 데이터의 추출은 학술지분류테이블에 의거하여 ISSN, 학술지 타이틀, 권호정보, 분류코드 및 빈도수치 등을 검출하여 오류데이터를 추출하는 것을 특징으로 한다.
상기 색인어 및 용어 체크는 색인어테이블에 있는 색인어와 다른 색인어를 부여하거나 또는 용어테이블에 존재하지 않는 신조어가 부여된 레코드를 자동추출하는 것을 특징으로 한다.
상기 정적 평가방법과 동적 평가방법에 의해 추출된 에러 데이터는 상기 에러로그 DB에 저장하는 것을 특징으로 한다.
상기 정적 평가방법과 동적 평가방법에 의해 평가를 거친 데이터의 측정값에 평가항목별로 부여된 가중치를 적용하여 데이터품질평가결과를 산출하며, 산출된 상기 데이터품질평가결과를 상기 평가 DB에 저장하는 것을 특징으로 한다.
상기 데이터품질평가결과를 기초로 미리 정한 기준치별로 상기 DB 작성자에 대한 등급을 부여하는 것을 특징으로 한다.
상기 DB 관리자는 주제분야별, DB작성자별, 기간별, 평가항목별로 조회 가능한 것을 특징으로 한다.
먼저, 본 발명은 웹기반으로 주제분야별 DB작성자를 모집·선정하여 데이터베이스를 제작한 후 데이터베이스의 품질을 평가할 수 있는 기준 및 항목을 제시하고, 객관적이고 계량적인 측정방법 및 평가지표를 사용하여 데이터베이스의 품질을 평가분석하는 방법에 관한 것이다. 또한, 본 발명은 데이터베이스 품질평가지표를 이용하여 데이터베이스 평가과정을 시스템화하여 실시간으로 신뢰성있는 데이터베이스 및 전문인력에 대한 평가분석을 수행하며 DB작성자의 성과측정, 재교육 및 교체여부를 판단케 한다.
일반적으로, 데이터베이스 품질평가는 데이터 품질과 서비스 품질로 구성된다.
삭제
이하, 본 발명의 실시예에 대해 첨부도면를 참조하여 보다 상세히 설명하기로 한다.
첨부도면 도 1은 본 발명에 의한 실시간 서지데이터베이스 평가 시스템을 나타낸 구성도이고, 도 2는 본 발명에 의한 실시간 서지데이터베이스 평가 방법을 설명하기 위한 흐름도이다.
본 발명에 의한 실시간 서지데이터베이스 평가 시스템은 도 1에 도시된 바와 같이, 데이터베이스(DB) 전문가 인력풀 데이터베이스(DB)(4), 서지 데이터베이스(DB)(5), 에러로그 데이터베이스(DB)(6) 및 평가 데이터베이스(DB)(7)를 구비한 서지데이터베이스 평가 시스템(3)과, 인터넷망(2)을 통해 상기 서지데이터베이스(DB) 평가 시스템(3)과 접속하는 다수명의 주제전문가(1)를 포함하여 구성된다.
상기 주제전문가(1)는 인터넷상에서 자신의 전문지식을 제공하는 사람을 말한다.
그리고, 상기 서지데이터베이스 평가 시스템(3)은 필요로 하는 전문지식을 지닌 주제전문가를 웹(인터넷)상에서 공개 모집하는 업체이다.
상기 데이터베이스(DB) 전문가 인력 풀(Pool) 데이터베이스(4)는 상기 주제전문가(1)가 인터넷상에서 자신의 학력정보, 주제분야, 경력정보, 연구활동정보 등을 입력하여 DB 작성자 신청서를 접수하면 이 정보를 저장하는 곳이다.
상기 서지데이터베이스(DB)(5)는 DB 작성자(공개 모집된 주제전문가)가 작성한 데이터를 저장하는 곳이다. 상기 DB 작성자는 DB 제작지침에 의거하여 서지레 코드를 작성한다. 이 때, 소장정보, 권호정보, 페이지, 발행년, 자료의 유형, 기사유형, 본문수록언어를 작성하여 기본 서지정보를 생성하며, 논문기사명, 저자명, 수록정보원을 작성한다. 그리고 주제분류코드, 색인어, 초록을 생성한다.
상기 에러로그(Error Log) DB(6)는 상기 DB 작성자가 생성한 데이터의 에러정보를 저장하는 곳이다.
상기 평가 DB(7)는 작성완료된 데이터를 대상으로 본 발명의 서지 DB 평가 시스템을 사용하여 일련의 기준과 방법에 의해 온라인상에서 실시간으로 데이터품질을 평가한 데이터품질평가결과를 저장하는 곳이다.
그러면, 상기 구성을 갖는 본 발명의 실시간 서지데이터베이스 평가 시스템과 그 방법에 대해 도 1 및 도 2를 참조하여 설명하기로 한다.
먼저, 주제전문가를 모집 및 선정하는 방법은 다음과 같다.
전문주제분야별 전문가(주제전문가)들은 자신의 전문지식을 인터넷상을 통해 제공하고, 데이터베이스(DB) 관리자(도시하지 않음)는 필요로 하는 전문지식을 지닌 주제전문가를 인터넷(웹)상에서 공개 모집하는 광고와 함께 DB작성자 신청서를 상기 인터넷 상에 게시한다.
상기 주제전문가(1)가 인터넷상에서 자신의 학력정보, 주제분야, 경력정보, 연구활동정보 입력하여 DB 작성자 신청서를 접수하면, 이 정보는 서지 DB 평가 시스템(3)의 DB 전문가 인력 풀(Pool) DB(4)에 저장된다.
상기 DB 관리자는 DB 작성자 신청서를 접수받은 후 일련의 기준에 의하여 DB 작성자(외주자)를 선정하고, 상기 주제전문가(1)에게 선정결과를 통보한다(단계 S150). 그리고, DB 관리자는 DB 제작지침에 관한 교육을 DB 작성자에게 실시한다.
다음은, 주제분야별로 데이터를 가공 및 제작하는 방법에 대해 설명한다.
상기 DB 작성자는 인터넷상에서 로그인 후 인증절차를 거쳐 해당 주제분야의 원시데이터에 접근하거나 입수된 데이터베이스(DB) 대상자료를 대출한다(단계 S180).
상기 DB 작성자는 DB 제작지침에 의거하여 서지 DB(데이터)를 작성한다(단계 S190). 상기 서지 DB는 소장정보, 권호정보, 페이지, 발행년, 자료의 유형, 기사유형, 본문수록언어를 작성하여 기본 서지정보를 생성하며, 논문기사명, 저자명, 수록정보원을 작성한다. 그리고 주제분류코드, 색인어, 초록을 작성한다. 상기 데이터베이스(DB) 작성자가 작성한 데이터는 상기 서지 DB(5)에 저장된다.
상기 서지 DB의 작성예와 서비스예는 도 3 및 도 4와 같다.
한편, 상기 DB 관리자는 상기 DB 작성자가 작성한 서지 DB를 대상으로 본 발명에 의한 서지 DB 평가 시스템을 사용하여 일련의 기준과 방법에 의해 온라인상에서 실시간으로 데이터품질을 평가한다(단계 S200). 이 때, 데이터품질평가결과는 상기 평가 DB(7)에 저장되며, DB 작성자가 생성한 서지 DB의 에러정보는 상기 에러로그 DB(6)에 저장된다.
상기 DB 관리자는 데이터품질평가를 거친 후 오류데이터를 수정한 다음, DB에 로딩하면(단계 S210) 데이터베이스(DB)가 구축된다(단계 S220).
이 때, 상기 DB 작성자는 상기 평가 DB(7)에 접속하여 데이터베이스 평가결과를 조회할 수 있다(단계 S170).
상기 서지 데이터베이스(DB)에 대한 평가는 제작되는 모든 데이터를 대상으 로 데이터베이스(DB)가 제작되는 전단계에 걸쳐 지속적이고 반복적으로 이루어진다. 상기 서지 데이터베이스(DB)의 평가 시 데이터의 품질을 평가할 수 있는 평가기준과 객관적이고 계량적인 측정방법을 사용하여 데이터의 품질을 향상시켜야 한다.
다음은, 도 5를 참조하여 DB 작성자가 작성한 서지 DB의 품질평가기준과 측정항목에 대해 설명하기로 한다.
먼저, 서지 데이터베이스(DB)의 품질평가는 명확한 평가항목과 평가방법을 제시한 후 이를 자동화하여 공개적이고 객관적으로 서지 데이터베이스(DB)를 품질평가하도록 한다.
상기 DB 작성자가 작성한 서지 데이터베이스(DB)의 평가기준은 도시된 바와 같이, 데이터의 정확성, 완전성, 최신성, 유일성 등으로 설정하고, 각 평가기준에 가중치를 부여하여 데이터에 대한 품질을 측정한다.
상기 데이터의 정확성은 데이터 값의 정확성과 데이터 표현의 정확성을 포함한다. 이 정확성은 데이터의 신뢰성에 직접 영향을 미치는 기준이며, 철자오류나 잘못된 데이터 값을 발견하는 것과 관련된다. 데이터 평가시 측정되는 데이터의 정확성은 구문적(syntax) 차원에서 이루어진다.
상기 데이터의 정확성은 철자오류, 분류코드기입오류, 특수문자입력오류, 서지항목 등을 측정한다.
상기 데이터값의 완전성은 실제 서지 데이터베이스(DB)를 구성하는 각 레코드, 그리고 이 레코드를 구성하는 각 필드를 대상으로 측정된다. 상기 데이터의 완전성은 데이터 구조의 완전성, 데이터 값의 완전성, 데이터 표현의 완전성으로 구분되며, 논리적 무결성과 관련있다.
상기 데이터 구조의 완전성은 데이터베이스 논리구조 설계단계에서 다루어져야 하는 요소이므로 본 발명의 품질평가기준에서는 제외한다.
상기 데이터 값의 완전성은 불완전한 레코드수에 의해, 그리고 불완전한 필드 수를 계량화하여 데이터의 완전성을 산출한다.
상기 데이터 표현의 완전성은 데이터가공시 색인/용어, 분류, 초록을 적합하게 부여했는지에 대한 전문가의 의견(판단)이 반영된다. 시스템은 데이터가공시 색인/용어, 분류, 초록을 적합하게 부여했는지에 대한 전문가의 의견이 입력됨에 따라 해당 의견을 기초로 데이터 표현의 완전성 검출 결과를 산출한다.
상기 데이터의 최신성은 데이터의 시기적절성과 관련되며, 원시데이터의 발생부터 가공제작까지 소요되는 시간의 경과(time lag)를 측정함으로써 구해진다.
상기 데이터의 유일성은 데이터베이스내 동일 레코드가 중복되지 않는 것과 관련있으며, 데이터의 일관성, 무결성과 유사한 의미를 지닌다.
다음은, 도 6을 참조하여 DB 작성자가 작성한 서지 DB의 품질평가방법에 대해 설명하기로 한다.
상기 서지 DB의 품질평가방법은 도시된 바와 같이, 정적 평가방법(단계 S400)과 동적 평가방법(단계 S500)으로 구성된다.
상기 정적 평가방법(단계 S400)은 인적 요소의 중재없이 기계적으로 데이터의 형태적 무결성을 측정하며, 서지항목(단계 S400), 주제분야코드(단계 S420), 특수문자(단계 S430), 데이터중복성(단계 S440), 데이터베이스(DB) 작성소요시간(단 계 S450), 일관성(단계 S460), 전월대비 개선정도(단계 S470)를 포함한다.
상기 서지항목(단계 S410)에 대한 오류측정은 정해진 폼에 맞추어 데이터가 정확히 기입되었는지 측정하는데 학술지목록데이터베이스(단계 S412)와 연동하여 ISSN, 권호정보, 소장정보의 정확성을 측정한다.
상기 주제분야코드(단계 S420)에 대한 오류측정은 주제분야코드테이블(단계 S422)에 의거하여 논리오류를 측정한다. 상기 주제분야코드테이블(단계 S422)에는 코드(code), 이름(name), 기술(description)한 내용 등이 있다.
상기 특수문자(단계 S430)에 대한 오류측정은 특수문자테이블(단계 S432)에 의거하여 특수문자의 입력오류를 측정한다. 상기 특수문자테이블(단계 S432)에는 엔티티(Entity), 디스플레이, 표기법 등이 있다.
상기 데이터의 일관성(단계 S460)은 데이터베이스내 동일 레코드의 중복률이 없는 데이터의 유일성을 의미하며, 불필요하게 중복 생성된 레코드의 수, 레코드내 중복 데이터 값의 빈도를 측정한다(단계 S462).
상기 정적 평가방법(단계 S400)은 필드 값이 오래된 레코드의 수, 새로운 데이터가 발생하는 시점부터 데이터 가공을 거쳐 레코드 생성까지 소요되는 시간의 경과를 측정하여 데이터의 최신성을 평가하며, 데이터의 시기 적절성을 평가할 수 있다(단계 S450).
또한, 동일 데이터베이스(DB) 작성자에 대해 과거의 데이터베이스(DB) 품질평가분석결과와 현재 품질평가결과를 비교하여 개선된 정도를 수치로 산출한다(단계 S470).
상기 동적 평가방법(단계 S500)은 1차적으로 시스템이 생성한 데이터를 기반으로 인적 요소가 투입되어 측정이 이루어지며, 분류오류가능성이 높은 데이터의 추출(단계 S510), 색인어 부여(단계 S520), 용어 체크(단계 S530), 입력오류체크(단계 S540)를 포함한다.
상기 동적 평가방법에 의한 실시간 서지데이터베이스 평가 시스템은 주제분류코드가 정확하게 부여되었는지 여부를 파악하기 위해 오류 가능성이 높은 데이터를 추출한다(단계 S510). 데이터베이스(DB) 구축 대상자료인 각 저널은 대주제분야가 정해져 있으며 세부주제분야로 전개된다.
상기 실시간 서지데이터베이스 평가 시스템은 데이터베이스내 모든 데이터를 대상으로 각 저널마다 주제분류코드와 빈도를 계산한 테이블을 생성한다. 상기 실시간 서지데이터베이스 평가 시스템은 저널마다 가지고 있는 분류코드/빈도수치와 상이한 분류코드가 부여된 데이터가 에러의 가능성이 있다고 추정하여 자동으로 이 데이터를 추출한다(단계 S510).
상기 주제전문가는 주제분야코드의 정확성을 판단하기 위해 지적 분류작업을 수행한다.
상기 색인어 부여(단계 S520) 또는 용어 체크(단계 S530) 작업은 주제전문가의 지적작업으로 내용분석을 통해 중요개념을 추출하고 이를 색인어로 변환하는 과정이다. 상기 실시간 서지데이터베이스 평가 시스템은 에러 가능성이 높은 주제분야코드가 부여된 데이터를 추출하는 것과 유사한 원리를 사용하여 색인어를 대상으로 오류가능성이 있는 레코드를 추출한다. 상기 실시간 서지데이터베이스 평가 시 스템은 특정 저널에 대해 기구축된 색인어와는 다른 색인어가 부여되거나, 용어테이블에 존재하지 않은 신조어가 부여된 레코드를 자동추출한다. 그리고 주제전문가는 이 레코드를 대상으로 지적분석작업을 수행한다.
초록은 문헌내용의 개요를 신속하게 파악할 수 있도록 작성된 문장으로 이용자가 원문헌을 보지 않고도 이를 충분히 이해할 수 있도록 문헌의 중요한 내용을 정확하고 간결하게 그리고 명료하게 전달하도록 작성된다. 초록데이터의 충실도를 주제전문가의 판단을 통해서 측정평가한다.
다음은, 본 발명에 의한 실시간 서지데이터베이스 평가 시스템의 품질평가분석에 대해 설명하기로 한다.
본 발명에 의한 실시간 서지데이터베이스 평가 시스템은 정적 평가와 동적 평가를 거친 데이터의 측정값에 평가기준별로 부여된 가중치를 적용하여 데이터베이스 품질평가지수를 정량적으로 산출하며, 이 품질평가지수를 상기 평가 데이터베이스(DB)(7)에 저장한다.
평가분석결과는 텍스트 및 비쥬얼리제이션(visualization) 형태로 제시되며, 평가내용을 기반으로 미리 정한 기준치별로 데이터베이스(DB) 작성자에 대한 등급이 부여된다.
데이터베이스(DB) 관리자는 주제분야별, 데이터베이스(DB) 작성자별, 기간별, 평가항목별로 데이터베이스의 품질분석결과를 조회할 수 있다.
품질분석결과를 토대로 분석함으로써 데이터베이스뿐만 아니라 데이터베이스(DB) 작성자에 대한 품질등급(quality classification)을 제시하고 품 질관리(quality management)를 수행한다.
본 발명에 의한 실시간 서지데이터베이스 평가 시스템은 품질평가분석결과를 토대로 데이터베이스(DB) 작성자에 대해 등급을 매기며, 데이터베이스(DB) 관리자는 이를 토대로 데이터베이스(DB) 작성자에 대한 평가를 내리고 재교육을 수행한다. 품질평가지표가 높은 등급에 속하는 데이터베이스(DB) 작성자에게는 권위와 인센티브를 부여할 수 있다. 또한, 데이터베이스(DB) 관리자는 품질평가결과가 기준치에 미달하는 데이터베이스(DB) 작성자에 대해 데이터베이스 제작중단결정을 내리고, 그 정보는 인력 데이터베이스(DB)에 저장된다. 또한 데이터베이스(DB) 제작중단에 관한 정보가 데이터베이스(DB) 작성자에게 이메일로 통보된다. 데이터베이스(DB) 작성자는 자신이 제작한 데이터에 대해 평가된 데이터베이스(DB) 품질평가결과 및 성과지표를 조회할 수 있다.
이상에서 설명한 본 발명의 바람직한 실시예들은 예시의 목적을 위해 개시된 것이며, 당업자라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가등이 가능할 것이며, 이러한 수정 변경등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
이상에서 설명한 바와 같이, 본 발명에 의한 실시간 서지데이터베이스 평가 방법에 의하면, 시스템을 사용하여 정적·동적 평가 및 데이터베이스(DB) 담당자에 의한 평가를 결합하여 데이터베이스(DB) 제작의 효율성 및 데이터베이스(DB) 작성자에 대한 평가결과를 온라인상에서 실시간으로 제공함으로써, 데이터베이스(DB) 관리자가 시공간적 제한을 받지 않고 데이터베이스(DB) 작성자에 대한 재교육을 실시하거나 데이터베이스(DB) 작성자의 지속적인 데이터베이스(DB)의 제작여부를 결정하여 데이터베이스(DB)의 품질을 향상시킬 수 있는 매우 뛰어난 효과가 있다.
또한, 데이터베이스 품질평가기준과 방법에 의거하여 계량적으로 산출된 품질평가결과를 분석함으로써 객관적이고 신뢰성있는 작업통계를 실시간으로 온라인상에서 산출할 수 있다.
또한, 데이터베이스 제작과정에 참여하는 주제분야별 전문가들을 차별적으로 등급화함으로써 데이터 품질에 대한 DB작성자의 인식과 책임감을 제고시킬 수 있으며, 이로 인해 제작되는 데이터베이스의 품질을 향상시킬 수 있는 효과가 있다.
Claims (27)
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 인터넷상에서 주제분야별 데이터베이스 작성자를 모집·선정하여 데이터베이스를 제작한 후 실시간으로 데이터베이스의 품질을 평가할 수 있는 서지데이터베이스 평가시스템에서 서지데이터의 품질을 평가하는 방법으로서,전문지식을 지닌 주제전문가로부터 인터넷을 통해 상기 주제전문가의 학력정보, 주제분야, 경력정보, 연구활동정보 등을 포함하는 데이터베이스 작성자 지원 데이터를 수신하고 수신된 데이터를 데이터베이스 전문가 인력 풀(Pool) 데이터베이스에 저장하는 단계;상기 데이터베이스 작성자 지원 데이터를 소정의 기준과 비교하여, 상기 소정의 기준을 만족하는 데이터베이스 작성자 지원 데이터의 해당 주제전문가를 데이터베이스 작성자로 선정하며, 소정의 인증절차를 거친 후 선정된 데이터베이스 작성자에게 해당 주제분야의 원시데이터를 제공하거나 입수된 데이터베이스 대상자료를 제공하는 단계;상기 데이터베이스 작성자가 상기 원시 데이터나 데이터베이스 대상자료를 토대로 작성한 서지 데이터베이스를 상기 데이터베이스 작성자로부터 수신하여 서지 데이터베이스에 저장하는 단계;상기 데이터베이스 작성자에 의해 생성된 서지 데이터베이스의 에러정보를 에러로그 데이터베이스에 저장하는 단계; 및상기 서지 데이터베이스의 데이터 품질을 소정의 기준에 따라 온라인상에서 실시간으로 평가한 데이터품질평가결과를 평가 데이터베이스에 저장하는 단계를 포함하고,상기 서지 데이터베이스는, 소장정보, 권호정보, 페이지, 발행년, 자료의 유형, 기사유형, 본문수록언어, 논문기사명, 저자명, 수록정보원 등을 작성한 기본 서지정보와, 주제분류코드, 색인어, 초록을 포함하며,상기 서지 데이터베이스의 평가기준은철자오류, 분류코드기입오류, 특수문자입력오류, 서지항목 등을 측정하는 데이터의 정확성;서지 데이터베이스를 구성하는 각 레코드, 그리고 이 레코드를 구성하는 각 필드를 대상으로 측정하며, 데이터 구조의 완전성, 데이터 값의 완전성, 데이터 표현의 완전성으로 구분하여 측정하는 완전성;원시데이터의 발생부터 가공제작까지 소요되는 시간의 경과를 측정하는 최신성; 및상기 서지 데이터베이스 내 동일 레코드가 중복되어 있는 지를 검출하는 유일성;으로 설정하고 상기 각 평가기준에 가중치를 부여하여 데이터에 대한 품질을 측정하고,상기 데이터 값의 완전성은 불완전한 레코드수에 의해, 그리고 불완전한 필드 수를 계량화하여 산출하는 것을 특징으로 하고,상기 데이터 표현의 완전성은 데이터가공시 색인/용어, 분류, 초록을 적합하게 부여했는지에 대한 전문가의 의견이 입력됨에 따라 해당 의견을 기초로 산출하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 12 항에 있어서,상기 서지 데이터베이스의 품질을 평가하는 방법은 정적 평가방법과 동적 평가방법을 포함하여 구성하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 13 항에 있어서,상기 정적 평가방법은, 서지항목, 주제분야코드, 특수문자, 데이터중복성, 데이터베이스 작성소요시간, 데이터의 일관성, 전월대비 개선정도 등을 이용하여 기계적으로 데이터의 형태적 무결성을 측정하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 14 항에 있어서,상기 서지항목에 대한 오류측정은 정해진 폼에 맞추어 데이터가 정확히 기입되었는지를 측정하며, 학술지목록데이터베이스와 연동하여 ISSN, 권호정보, 소장정보의 정확성을 측정하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 14 항에 있어서,상기 주제분야코드에 대한 오류측정은 주제분야코드테이블에 의거하여 논리오류를 측정하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 14 항에 있어서,상기 특수문자에 대한 오류측정은 특수문자테이블에 의거하여 특수문자의 입력오류를 측정하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 14 항에 있어서,상기 데이터의 일관성은 서지 데이터베이스 내에 불필요하게 중복 생성된 레코드의 수 및 레코드내 중복된 데이터 값의 빈도수를 측정하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 14 항에 있어서,상기 전월대비 개선정도는 동일한 서지 데이터베이스 작성자에 대해 과거의 데이터베이스 품질평가분석결과와 현재 품질평가결과를 비교하여 개선된 정도를 수치로 산출하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 13 항에 있어서,상기 정적 평가방법은 필드 값이 오래된 레코드의 수, 새로운 데이터가 발생하는 시점부터 데이터 가공을 거쳐 레코드 생성까지 소요되는 시간의 경과를 측정하여 데이터의 최신성을 평가하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 13 항에 있어서,상기 동적 평가방법은 1차적으로 시스템이 생성한 데이터를 기반으로 분류오류가능성이 높은 데이터의 추출, 색인어 및 용어 체크, 입력오류체크를 수행하는 방법인 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 21 항에 있어서,상기 분류오류가능성이 높은 데이터의 추출은 학술지분류테이블에 의거하여 ISSN, 학술지 타이틀, 권호정보, 분류코드 및 빈도수치 등을 검출하여 오류데이터를 추출하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 21 항에 있어서,상기 색인어 및 용어 체크는 색인어테이블에 있는 색인어와 다른 색인어를 부여하거나 또는 용어테이블에 존재하지 않는 신조어가 부여된 레코드를 자동추출하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 13 항에 있어서,상기 정적 평가방법과 동적 평가방법에 의해 추출된 에러 데이터는 상기 에러로그 데이터베이스에 저장하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 13 항에 있어서,상기 정적 평가방법과 동적 평가방법에 의해 평가를 거친 데이터의 측정값에 평가기준별로 부여된 가중치를 적용하여 데이터품질평가결과를 산출하며, 산출된 상기 데이터품질평가결과를 상기 평가 데이터베이스에 저장하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 제 25 항에 있어서,상기 데이터품질평가결과를 기초로 미리 정한 기준치별로 상기 데이터베이스 작성자에 대한 등급을 부여하는 것을 특징으로 하는 실시간 서지데이터베이스 평가 방법.
- 삭제
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020055089A KR100700376B1 (ko) | 2002-09-11 | 2002-09-11 | 실시간 서지데이터베이스 평가 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020020055089A KR100700376B1 (ko) | 2002-09-11 | 2002-09-11 | 실시간 서지데이터베이스 평가 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040023376A KR20040023376A (ko) | 2004-03-18 |
| KR100700376B1 true KR100700376B1 (ko) | 2007-03-27 |
Family
ID=37327028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020020055089A KR100700376B1 (ko) | 2002-09-11 | 2002-09-11 | 실시간 서지데이터베이스 평가 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100700376B1 (ko) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8024285B2 (en) | 2007-12-27 | 2011-09-20 | Microsoft Corporation | Determining quality of tier assignments |
| KR102019207B1 (ko) * | 2018-11-12 | 2019-09-06 | 주식회사 와이즈넛 | 텍스트 분석을 위한 데이터 품질 평가 장치 및 방법 |
| CN111897889B (zh) * | 2020-08-17 | 2023-10-20 | 国网辽宁省电力有限公司信息通信分公司 | 一种面向电力行业业务系统的数据表完整性评价方法 |
| CN111897803B (zh) * | 2020-08-17 | 2023-10-20 | 国网辽宁省电力有限公司信息通信分公司 | 一种面向电力行业业务系统的数据库完整性评价方法 |
| KR102498062B1 (ko) * | 2022-08-03 | 2023-02-10 | 주식회사 티유컨설팅 | 메타데이터 관리 시스템 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981630A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 評価機能付き情報提供システム |
| JPH09171504A (ja) * | 1995-12-20 | 1997-06-30 | Sony Corp | 情報処理装置および情報処理方法 |
| KR20010064773A (ko) * | 1999-12-18 | 2001-07-11 | 이구택 | 기술가치 평가시스템 |
| KR20010109798A (ko) * | 2000-06-02 | 2001-12-12 | 윤종호 | 네트워크상의 정보 평가 시스템 및 방법 |
| KR20020046349A (ko) * | 2000-12-12 | 2002-06-21 | 조정남 | 품질평가 분석 시스템 |
| KR20020069892A (ko) * | 2001-02-28 | 2002-09-05 | 주식회사 인터넷과 꿈 | 인터넷 사이트의 평가정보 제공방법 |
-
2002
- 2002-09-11 KR KR1020020055089A patent/KR100700376B1/ko not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0981630A (ja) * | 1995-09-13 | 1997-03-28 | Toshiba Corp | 評価機能付き情報提供システム |
| JPH09171504A (ja) * | 1995-12-20 | 1997-06-30 | Sony Corp | 情報処理装置および情報処理方法 |
| KR20010064773A (ko) * | 1999-12-18 | 2001-07-11 | 이구택 | 기술가치 평가시스템 |
| KR20010109798A (ko) * | 2000-06-02 | 2001-12-12 | 윤종호 | 네트워크상의 정보 평가 시스템 및 방법 |
| KR20020046349A (ko) * | 2000-12-12 | 2002-06-21 | 조정남 | 품질평가 분석 시스템 |
| KR20020069892A (ko) * | 2001-02-28 | 2002-09-05 | 주식회사 인터넷과 꿈 | 인터넷 사이트의 평가정보 제공방법 |
Non-Patent Citations (2)
| Title |
|---|
| 1020010064773 |
| 1020020046349 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040023376A (ko) | 2004-03-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Delavari et al. | Data mining application in higher learning institutions | |
| CN102160066A (zh) | 特别适用于专利文献的搜索引擎和方法 | |
| Mosher | Collection evaluation in research libraries: The search for quality, consistency, and system in collection development | |
| Smolinsky et al. | Citation rates in mathematics: A study of variation by subdiscipline | |
| Mgala et al. | Data-driven intervention-level prediction modeling for academic performance | |
| Ureña-Cámara et al. | A method for checking the quality of geographic metadata based on ISO 19157 | |
| Bickley et al. | Can the impact of grey literature be assessed? An investigation of UK government publications cited by articles and books | |
| Afzal et al. | Rule based Autonomous Citation Mining with TIERL. | |
| CN112052396A (zh) | 课程匹配方法、系统、计算机设备和存储介质 | |
| Gong et al. | A survey on dataset quality in machine learning | |
| Grinäv | The disadvantages of using scientometric indicators in the digital age | |
| López-Pernas et al. | Scientometrics: a concise introduction and a detailed methodology for mapping the scientific field of computing education research | |
| KR100700376B1 (ko) | 실시간 서지데이터베이스 평가 방법 | |
| Talha et al. | Towards a powerful solution for data accuracy assessment in the big data context | |
| Lidyah et al. | The Evolution of Accounting Information Systems Research: A Bibliometric Analysis of Key Concepts and Influential Authors | |
| Gantman et al. | Research output and impact of the fields of management, economics, and sociology in spain and france: An analysis using google scholar and scopus | |
| Firozjah et al. | Usability Evaluation of Digital Libraries in Tehran Public Universities. | |
| Phillips et al. | Exploring the utility of metadata record graphs and network analysis for metadata quality evaluation and augmentation | |
| Lafia et al. | A natural language processing pipeline for detecting informal data references in academic literature | |
| López-Vázquez et al. | Building a gold standard dataset to identify articles about geographic information science | |
| Sabah et al. | Google Scholar University Ranking Algorithm to Evaluate the Quality of Institutional Research. | |
| Seo et al. | Measuring News Sentiment of Korea Using Transformer | |
| Neely | A Proposed Framework for the Analysis of Source Data in a Data Warehouse. | |
| Pukas et al. | Intelligent Analyzing Module in the Academic Staff Performance Appraisal System | |
| Harman | TREC-style evaluations |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| AMND | Amendment | ||
| J201 | Request for trial against refusal decision | ||
| E801 | Decision on dismissal of amendment | ||
| B601 | Maintenance of original decision after re-examination before a trial | ||
| J301 | Trial decision |
Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20051129 Effective date: 20061129 |
|
| S901 | Examination by remand of revocation | ||
| E902 | Notification of reason for refusal | ||
| GRNO | Decision to grant (after opposition) | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20111229 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20130111 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |