KR20220033026A - 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법 - Google Patents

교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법 Download PDF

Info

Publication number
KR20220033026A
KR20220033026A KR1020210117349A KR20210117349A KR20220033026A KR 20220033026 A KR20220033026 A KR 20220033026A KR 1020210117349 A KR1020210117349 A KR 1020210117349A KR 20210117349 A KR20210117349 A KR 20210117349A KR 20220033026 A KR20220033026 A KR 20220033026A
Authority
KR
South Korea
Prior art keywords
label
teacher data
unit
image
user
Prior art date
Application number
KR1020210117349A
Other languages
English (en)
Inventor
다케시 노구치
도시유키 오카야마
Original Assignee
가부시키가이샤 스크린 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 스크린 홀딩스 filed Critical 가부시키가이샤 스크린 홀딩스
Publication of KR20220033026A publication Critical patent/KR20220033026A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/063—Operations research, analysis or management
    • G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Tourism & Hospitality (AREA)
  • Data Mining & Analysis (AREA)
  • Educational Administration (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Operations Research (AREA)
  • Educational Technology (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Development Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Game Theory and Decision Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

교사 데이터에 부여되어야 할 라벨이 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정부에 의해 추정된다. 추정된 제 1 라벨이 제시부에 의해 제시된다. 교사 데이터에 부여되어야 할 라벨이 제 2 라벨로서 접수부에 의해 접수된다. 혹은, 제 1 라벨과 제 2 라벨이 상이한지 여부가 판정부에 의해 판정된다. 제 1 라벨과 제 2 라벨이 상이하다고 판정된 경우에 알림부에 의해 알림이 실시된다. 사용자에 의한 지시에 응답하여, 제 1 라벨과 상이한 제 2 라벨이 부여부에 의해 교사 데이터에 부여된다.

Description

교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법{TRAINING DATA CREATION ASSISTANCE APPARATUS, TRAINING DATA CREATION ASSISTANCE SYSTEM AND TRAINING DATA CREATION ASSISTANCE METHOD}
본 발명은 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법에 관한 것이다.
교사 학습 (supervised learning) 에 있어서 사용되는 교사 데이터는, 물체 또는 문자 등을 나타내는 화상 데이터에 정답을 나타내는 라벨이 부여됨으로써 생성된다. 부여된 라벨이 정확하지 않은 경우, 교사 학습의 정밀도가 저하된다. 따라서, 정확한 라벨 부여 (라벨링) 를 실시하는 것이 요구된다.
예를 들어, 일본 공개특허공보 2019-96319호에 기재된 데이터 라벨링 작업 검사 방법에 있어서는, 1 개의 이미지 데이터에 관한 라벨링 정보가 복수의 작업자에 의해 제출된다. 각 작업자에 의해 제출된 라벨링 정보가 비교되고, 모든 라벨링 정보가 일치하는 것으로 판단되지 않는 경우, 재작업이 요청된다.
고정밀도의 교사 학습을 실시하기 위해서는, 대량의 교사 데이터를 작성하는 것이 필요해진다. 그러나, 대량의 교사 데이터에 라벨링을 실시하는 경우, 장시간의 작업을 필요로 하기 때문에, 집중력의 저하 또는 피로 등에 의해 작업자의 판단에 흔들림이 생기는 경우가 있다. 그 때문에, 대량의 교사 데이터에 정확한 라벨링을 실시하는 것은 곤란하다.
본 발명의 목적은, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능한 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법을 제공하는 것이다.
(1) 본 발명의 일 국면에 따르는 교사 데이터 작성 지원 장치는, 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 장치로서, 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 추정부와, 추정부에 의해 추정된 제 1 라벨을 제시하는 제시부와, 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 접수부를 구비한다.
이 교사 데이터 작성 지원 장치에 있어서는, 교사 데이터에 부여되어야 할 라벨로서 학습 모델을 사용하여 추정부에 의해 추정된 제 1 라벨이 제시부에 의해 제시된다. 그 때문에, 사용자는, 교사 데이터에 부여되어야 할 제 2 라벨을 접수부에 지정할 때에, 제시부에 의해 제시된 제 1 라벨을 참조할 수 있다. 또, 사용자는, 집중력의 저하 또는 피로 등에 의해 잘못된 지정을 실시한 경우에도, 용이하게 잘못을 깨달을 수 있다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다.
(2) 추정부는, 추정된 제 1 라벨의 신뢰도를 평가하고, 제시부는, 추정부에 의해 평가된 신뢰도를 추가로 제시해도 된다. 이 경우, 사용자는, 제 1 라벨의 신뢰도가 낮은 교사 데이터에 대해서만 지정해야 할 제 2 라벨을 꼼꼼하게 판단하면 된다. 이에 따라, 사용자의 부담을 보다 경감할 수 있다.
(3) 추정부는, 복수의 교사 데이터에 각각 부여되어야 할 복수의 제 1 라벨을 추정함과 함께, 추정된 각 제 1 라벨의 신뢰도를 평가하고, 제시부는, 추정부에 의해 추정된 복수의 제 1 라벨을 신뢰도 순서로 제시해도 된다. 이 경우, 사용자는, 꼼꼼하게 판단하여 제 2 라벨을 지정해야 할 복수의 교사 데이터의 군을 용이하게 인식할 수 있다. 이에 따라, 사용자의 부담을 더욱 저감할 수 있다.
(4) 교사 데이터는 화상을 나타내는 화상 데이터를 포함하고, 제시부는, 제 1 라벨과 대응하도록 교사 데이터에 기초하는 화상을 추가로 제시해도 된다. 이 경우, 사용자는, 화상을 나타내는 교사 데이터와, 교사 데이터에 대해 추정된 제 1 라벨의 대응 관계를 용이하게 인식할 수 있다.
(5) 본 발명의 다른 국면에 따르는 교사 데이터 작성 지원 장치는, 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 장치로서, 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 추정부와, 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 접수부와, 제 1 라벨과 제 2 라벨이 상이한지 여부를 판정하는 판정부와, 판정부에 의해 제 1 라벨과 제 2 라벨이 상이하다고 판정된 경우에 알림을 실시하는 알림부와, 사용자에 의한 지시에 응답하여, 제 1 라벨과 상이한 제 2 라벨을 교사 데이터에 부여하는 부여부를 구비한다.
이 교사 데이터 작성 지원 장치에 있어서는, 교사 데이터에 부여되어야 할 라벨로서 지정된 제 2 라벨이 학습 모델을 사용하여 추정부에 의해 추정된 제 1 라벨과 상이하다고 판정부에 의해 판정된 경우에는, 알림부에 의해 알림이 실시된다. 그 때문에, 사용자는, 집중력의 저하 또는 피로 등에 의해 잘못된 지정을 실시한 경우에도, 용이하게 잘못을 깨달을 수 있다. 또, 사용자가 지정에 잘못이 없다고 판단한 경우에는, 제 1 라벨과 상이한 제 2 라벨이 부여부에 의해 교사 데이터에 부여된다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다.
(6) 교사 데이터 작성 지원 장치는, 판정부에 의해 제 1 라벨과 제 2 라벨이 상이하다고 판정된 경우에 판정의 근거를 나타내는 제시부를 추가로 구비해도 된다. 이 경우, 사용자는, 제시된 근거를 고려하여, 부여해야 할 제 2 라벨에 대해 재차 판단을 실시할 수 있다. 이에 따라, 사용자의 부담을 보다 저감할 수 있다.
(7) 교사 데이터는 화상을 나타내는 화상 데이터를 포함하고, 제시부는, 교사 데이터에 기초하는 화상의 부분을 시인 가능하게 나타냄으로써 판정의 근거를 나타내도 된다. 이 구성에 의하면, 사용자는, 부여해야 할 제 2 라벨에 대해 재차 판단을 실시하는 경우에 있어서, 고려해야 할 화상의 부분을 용이하게 인식할 수 있다.
(8) 제시부는, 교사 데이터에 기초하는 화상을 제시하고, 접수부는, 제시부에 의해 제시된 화상을 나타내는 교사 데이터에 대해 제 2 라벨을 접수해도 된다. 이 경우, 사용자는, 제 2 라벨을 지정해야 할 교사 데이터를 용이하게 인식할 수 있다.
(9) 추정부는 제 1 라벨을 제 1 스코어로서 추정하고, 접수부는, 제 2 라벨을 제 2 스코어로서 접수하고, 판정부는, 제 1 스코어와 제 2 스코어의 차가 미리 정해진 임계값 이상인 경우에 제 1 라벨과 제 2 라벨이 상이하다고 판정해도 된다. 이 구성에 의하면, 학습 모델이 회귀 문제를 학습함으로써 구축된 경우에도, 제 1 라벨과 제 2 라벨이 상이한지 여부를 용이하게 판정할 수 있다.
(10) 교사 데이터 작성 지원 장치는, 사용자에 의한 지시에 응답하여, 제 2 라벨과, 당해 제 2 라벨에 대응하는 교사 데이터에 기초하여 학습 모델을 갱신하는 갱신부를 추가로 구비해도 된다. 이에 따라, 교사 데이터에 부여해야 할 제 1 라벨을 보다 정확하게 추정하는 것이 가능해진다.
(11) 본 발명의 또 다른 국면에 따르는 교사 데이터 작성 지원 시스템은, 제 1 발명에 관련된 교사 데이터 작성 지원 장치와, 교사 데이터 작성 지원 장치의 제시부에 의해 제시되는 제 1 라벨을 표시하는 표시 장치를 구비한다.
이 교사 데이터 작성 지원 시스템에 있어서는, 상기의 교사 데이터 작성 지원 장치의 제시부에 의해 제시된 제 1 라벨이 표시 장치에 표시된다. 그 때문에, 사용자는, 교사 데이터에 부여되어야 할 제 2 라벨을 지정할 때에, 표시 장치에 표시된 제 1 라벨을 참조할 수 있다. 또, 사용자는, 집중력의 저하 또는 피로 등에 의해 잘못된 지정을 실시한 경우에도, 용이하게 잘못을 깨달을 수 있다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다.
(12) 본 발명의 또 다른 국면에 따르는 교사 데이터 작성 지원 시스템은, 제 2 발명에 관련된 교사 데이터 작성 지원 장치와, 교사 데이터 작성 지원 장치의 제시부에 의해 제시되는 판정의 근거를 표시하는 표시 장치를 구비한다.
이 교사 데이터 작성 지원 시스템에 있어서는, 상기의 교사 데이터 작성 지원 장치의 제시부에 의해 제시된 교사 데이터에 기초하는 화상의 부분이 판정의 근거로서 시인 가능하게 표시 장치에 표시된다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다. 또, 사용자는, 부여해야 할 제 2 라벨에 대해 재차 판단을 실시하는 경우에 있어서, 고려해야 할 화상의 부분을 용이하게 인식할 수 있다.
(13) 본 발명의 또 다른 국면에 따르는 교사 데이터 작성 지원 방법은, 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 방법으로서, 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 스텝과, 추정된 제 1 라벨을 제시하는 스텝과, 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 스텝을 포함한다.
이 교사 데이터 작성 지원 방법에 의하면, 교사 데이터에 부여되어야 할 라벨로서 학습 모델을 사용하여 추정된 제 1 라벨이 제시된다. 그 때문에, 사용자는, 교사 데이터에 부여되어야 할 제 2 라벨을 지정할 때에, 제시된 제 1 라벨을 참조할 수 있다. 또, 사용자는, 집중력의 저하 또는 피로 등에 의해 잘못된 지정을 실시한 경우에도, 용이하게 잘못을 깨달을 수 있다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다.
(14) 본 발명의 또 다른 국면에 따르는 교사 데이터 작성 지원 방법은, 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 방법으로서, 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 스텝과, 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 스텝과, 제 1 라벨과 제 2 라벨이 상이한지 여부를 판정하는 스텝과, 제 1 라벨과 제 2 라벨이 상이하다고 판정된 경우에 알림을 실시하는 스텝과, 사용자에 의한 지시에 응답하여, 제 1 라벨과 상이한 제 2 라벨을 교사 데이터에 부여하는 스텝을 포함한다.
이 교사 데이터 작성 지원 방법에 의하면, 교사 데이터에 부여되어야 할 라벨로서 지정된 제 2 라벨이 학습 모델을 사용하여 추정된 제 1 라벨과 상이하다고 판정된 경우에는, 알림이 실시된다. 그 때문에, 사용자는, 집중력의 저하 또는 피로 등에 의해 잘못된 지정을 실시한 경우에도, 용이하게 잘못을 깨달을 수 있다. 또, 사용자가 지정에 잘못이 없다고 판단한 경우에는, 제 1 라벨과 상이한 제 2 라벨이 교사 데이터에 부여된다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다.
도 1 은, 본 발명의 제 1 실시형태에 관련된 지원 시스템의 구성을 나타내는 도면.
도 2 는, 도 1 의 지원 장치의 구성을 나타내는 도면.
도 3 은, 도 2 의 표시 장치에 표시되는 라벨 지정 화면의 일례를 나타내는 도면.
도 4 는, 도 2 의 표시 장치에 표시되는 라벨 지정 화면의 다른 예를 나타내는 도면.
도 5 는, 도 2 의 지원 장치에 의한 지원 처리를 나타내는 플로 차트.
도 6 은, 본 발명의 제 2 실시형태에 관련된 지원 장치의 구성을 나타내는 도면.
도 7 은, 도 6 의 표시 장치에 표시되는 라벨 지정 화면의 일례를 나타내는 도면.
도 8 은, 도 6 의 표시 장치에 표시되는 알림 화면의 일례를 나타내는 도면.
도 9 는, 도 6 의 지원 장치에 의한 지원 처리를 나타내는 플로 차트이다.
이하, 본 발명의 실시형태에 관련된 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법에 대해서 도면을 사용하여 설명한다. 이하의 설명에서는, 교사 데이터 작성 지원 장치를 지원 장치라고 약기하고, 교사 데이터 작성 지원 시스템을 지원 시스템이라고 약기하고, 교사 데이터 작성 지원 방법을 지원 방법이라고 약기한다.
[1] 제 1 실시형태
(1) 지원 시스템의 구성
도 1 은, 본 발명의 제 1 실시형태에 관련된 지원 시스템의 구성을 나타내는 도면이다. 도 1 에 나타내는 바와 같이, 지원 시스템 (100) 은, 처리 장치 (10) 및 검사 장치 (20) 를 포함한다. 처리 장치 (10) 는, CPU (중앙 연산 처리 장치) (11), RAM (랜덤 액세스 메모리) (12), ROM (리드 온리 메모리) (13), 기억 장치 (14), 조작부 (15), 표시 장치 (16) 및 입출력 I/F (인터페이스) (17) 에 의해 구성된다. CPU (11), RAM (12), ROM (13), 기억 장치 (14), 조작부 (15), 표시 장치 (16) 및 입출력 I/F (17) 는 버스 (18) 에 접속된다.
RAM (12) 은, CPU (11) 의 작업 영역으로서 사용된다. ROM (13) 에는 시스템 프로그램이 기억된다. 기억 장치 (14) 는, 하드 디스크 또는 반도체 메모리 등의 기억 매체를 포함하고, 교사 데이터 작성 지원 프로그램 (이하, 지원 프로그램이라고 약기한다.) 을 기억한다. 지원 프로그램은, ROM (13) 또는 다른 외부 기억 장치에 기억되어도 된다. 또, 기억 장치 (14) 는, 미리 준비된 학습 모델을 기억한다.
CPU (11), RAM (12) 및 ROM (13) 에 의해, 교사 데이터 작성 지원 처리 (이하, 지원 처리라고 약기한다.) 를 실행하기 위한 지원 장치 (30) 가 구성된다. 지원 처리에 있어서는, 학습 모델에 기초하여, 교사 데이터에 대한 라벨 부여 (라벨링) 가 지원된다. 지원 장치 (30) 및 지원 처리의 상세한 내용에 대해서는 후술한다.
조작부 (15) 는, 키보드, 마우스 또는 터치 패널 등의 입력 디바이스이다. 사용자는, 조작부 (15) 를 조작함으로써, 후술하는 교사 데이터에 부여해야 할 라벨의 지정을 지원 장치 (30) 에 실시할 수 있다. 표시 장치 (16) 는, 액정 표시 장치 등의 표시 디바이스이며, 교사 데이터에 기초하는 화상 등을 표시한다. 입출력 I/F (17) 는, 검사 장치 (20) 에 접속된다.
검사 장치 (20) 는, 예를 들어 기판 검사 장치이며, 검사 대상의 복수의 기판을 순차 촬상함으로써, 복수의 기판의 화상을 각각 나타내는 복수의 화상 데이터를 생성한다. 생성된 각 화상 데이터에는, 고유의 식별 번호 등이 부여된다. 또, 검사 장치 (20) 는, 생성된 각 화상 데이터를 교사 데이터로서 지원 장치 (30) 에 부여한다. 또한, 기판이란, 반도체 기판, 액정 표시 장치 혹은 유기 EL (Electro Luminescence) 표시 장치 등의 FPD (Flat Panel Display) 용 기판, 광 디스크용 기판, 자기 디스크용 기판, 광 자기 디스크용 기판, 포토마스크용 기판, 세라믹 기판 또는 태양 전지용 기판 등을 말한다.
도 2 는, 도 1 의 지원 장치 (30) 의 구성을 나타내는 도면이다. 도 2 에 나타내는 바와 같이, 지원 장치 (30) 는, 기능부로서, 취득부 (31), 추정부 (32), 제시부 (33), 접수부 (34) 및 부여부 (35) 를 포함한다. 도 1 의 CPU (11) 가 ROM (13) 또는 기억 장치 (14) 등에 기억된 지원 프로그램을 실행함으로써, 지원 장치 (30) 의 기능부가 실현된다. 지원 장치 (30) 의 기능부의 일부 또는 전부가 전자 회로 등의 하드웨어에 의해 실현되어도 된다.
취득부 (31) 는, 복수의 기판의 화상을 나타내는 각각 나타내는 복수의 교사 데이터를 검사 장치 (20) 로부터 순차 취득한다. 추정부 (32) 는, 기억 장치 (14) 에 기억된 학습 모델을 사용하여, 취득부 (31) 에 의해 취득된 복수의 교사 데이터에 각각 부여되어야 할 복수의 라벨을 추정한다. 본 예에서는, 라벨은, 교사 데이터가 나타내는 화상에 있어서의 기판이 정상 또는 이상인 것을 각각 나타내는 「OK」 또는 「NG」 를 포함한다. 또, 추정부 (32) 는, 기억 장치 (14) 에 기억된 학습 모델에 기초하여, 추정된 각 라벨의 신뢰도 (확률) 를 평가한다.
제시부 (33) 는, 추정부 (32) 에 의해 추정된 복수의 라벨과, 교사 데이터에 기초하는 화상을 대응하도록 표시 장치 (16) 에 표시시킨다. 또, 제시부 (33) 는, 추정부 (32) 에 의해 평가된 각 라벨의 신뢰도를 당해 라벨과 대응하도록 표시 장치 (16) 에 표시시킬 수 있다. 또한, 제시부 (33) 는, 조작부 (15) 로부터의 지시에 기초하여, 표시 장치 (16) 에 표시되는 복수 라벨의 순서를 신뢰도의 올림차순 또는 내림차순으로 할 수 있다.
접수부 (34) 는, 취득부 (31) 에 의해 취득된 각 교사 데이터에 부여되어야 할 라벨을 조작부 (15) 로부터 접수한다. 사용자는, 표시 장치 (16) 에 표시되는 라벨 지정 화면에 있어서, 학습 모델에 의한 복수의 라벨 및 신뢰도를 시인하면서, 조작부 (15) 를 조작함으로써 각 교사 데이터에 부여되어야 할 라벨을 접수부 (34) 에 지정할 수 있다. 부여부 (35) 는, 각 교사 데이터에 대해 접수부 (34) 에 의해 접수된 라벨을 당해 교사 데이터에 부여한다.
(2) 표시 장치에 의한 표시
도 3 은, 도 2 의 표시 장치 (16) 에 표시되는 라벨 지정 화면의 일례를 나타내는 도면이다. 도 3 에 나타내는 바와 같이, 라벨 지정 화면 (40) 은, 선택 화상 표시 영역 (41), 화상 선택 영역 (42), 화상 리스트 표시 영역 (43), 기본 정보 표시 영역 (44) 및 라벨 정보 표시 영역 (45) 을 포함한다. 본 예에서는, 선택 화상 표시 영역 (41) 은, 전체 화상 표시부 (41a), 확대 화상 표시부 (41b) 및 추정 라벨 표시부 (41c) 를 포함한다.
전체 화상 표시부 (41a) 에는, 선택 중의 교사 데이터에 기초하여, 도 2 의 검사 장치 (20) 에 의해 촬상된 부분의 전체를 나타내는 전체 화상이 표시된다. 사용자는, 전체 화상 표시부 (41a) 에 표시된 화상을 시인함으로써, 라벨을 지정해야 할 선택 중의 교사 데이터를 용이하게 인식할 수 있다. 확대 화상 표시부 (41b) 에는, 전체 화상의 임의의 부분이 확대된 확대 화상이 표시된다. 본 예에서는, 전체 화상 표시부 (41a) 에 있어서의 점선의 직사각형으로 둘러싸인 화상의 부분이 확대 화상 표시부 (41b) 에 확대 표시된다.
추정 라벨 표시부 (41c) 에는, 선택 중의 교사 데이터에 대해 도 2 의 추정부 (32) 에 의해 추정된 라벨이 표시된다. 사용자는, 선택 화상 표시 영역 (41) 을 시인함으로써, 화상을 나타내는 교사 데이터와, 교사 데이터에 대해 추정된 라벨의 대응 관계를 용이하게 인식할 수 있다. 선택 화상 표시 영역 (41) 에는, 선택 중의 교사 데이터에 대해 추정부 (32) 에 의해 평가된 신뢰도가 추가로 표시되어도 된다.
화상 선택 영역 (42) 에는, 작업 대상의 교사 데이터를 선택하기 위한 조작 버튼 (42a, 42b) 이 표시된다. 사용자는, 도 2 의 조작부 (15) 를 사용하여 조작 버튼 (42a) 또는 조작 버튼 (42b) 을 조작함으로써, 원하는 교사 데이터를 선택할 수 있다. 선택된 교사 데이터에 대응하는 화상이 선택 화상 표시 영역 (41) 에 표시된다. 또, 화상 선택 영역 (42) 에는, 선택된 교사 데이터의 식별 번호 및 작업의 진척도가 추가로 표시된다. 도 3 의 예에서는, 2380 의 교사 데이터 중 식별 번호 「1115」 의 교사 데이터가 선택되어 있고, 작업의 진척도는 47 ％ 이다.
화상 리스트 표시 영역 (43) 에는, 도 2 의 취득부 (31) 에 의해 취득된 복수의 교사 데이터에 각각 기초하는 복수의 섬네일 화상이 식별 번호순으로 늘어서도록 표시된다. 또, 선택 중의 교사 데이터에 대응하는 섬네일 화상은, 커서 (43a) 또는 강조 표시 등에 의해 식별 가능하게 표시된다. 화상 리스트 표시 영역 (43) 에는, 각 교사 데이터에 대해 추정부 (32) 에 의해 평가된 신뢰도가 섬네일 화상에 대응하도록 추가로 표시되어도 된다. 사용자는, 조작부 (15) 를 사용하여 임의의 섬네일 화상을 선택하는 것에 의해서도, 작업 대상의 교사 데이터를 선택할 수 있다.
기본 정보 표시 영역 (44) 에는, 선택 중의 교사 데이터의 작성 일시 등을 나타내는 기본 정보가 표시된다. 라벨 정보 표시 영역 (45) 에는, 라벨 「OK」 및 「NG」 에 각각 대응하는 체크 박스 (45a, 45b) 가 표시된다. 사용자는, 조작부 (15) 를 사용하여 체크 박스 (45a, 45b) 중 어느 것을 조작함으로써, 선택 중의 교사 데이터에 부여해야 할 라벨을 지시할 수 있다. 또한, 라벨 정보 표시 영역 (45) 에는, 체크 박스 (45a, 45b) 대신에, 동일한 기능을 갖는 풀다운 메뉴 등이 표시되어도 된다.
또, 라벨 정보 표시 영역 (45) 에는, 추정부 (32) 에 의해 추정된 각 라벨의 총수를 나타내는 표 (45c) 가 표시된다. 도 3 의 예에서는, 「OK」 라고 추정된 라벨의 총수는 1763 이며, 「NG」 라고 추정된 라벨의 총수는 617 이다. 사용자는, 교사 데이터에 부여해야 할 라벨을 지시할 때에, 표 (45c) 에 표시된 각 라벨의 총수를 참조할 수 있다.
도 4 는, 도 2 의 표시 장치 (16) 에 표시되는 라벨 지정 화면 (40) 의 다른 예를 나타내는 도면이다. 도 4 의 예에서는, 취득부 (31) 에 의해 취득된 복수의 교사 데이터에 각각 기초하는 복수의 섬네일 화상이 추정부 (32) 에 의해 평가된 신뢰도의 내림차순으로 화상 리스트 표시 영역 (43) 에 표시된다. 복수의 섬네일 화상은, 신뢰도의 올림차순으로 화상 리스트 표시 영역 (43) 에 표시되어도 된다. 사용자는, 조작부 (15) 를 사용하여 소정의 조작을 실시함으로써, 화상 리스트 표시 영역 (43) 의 표시 양태를 도 3 의 예와, 도 4 의 예로 전환할 수 있다.
추정된 라벨의 신뢰도가 높은 교사 데이터에 대해서는, 사용자는 용이하게 정확한 라벨을 지정하는 것이 가능하다. 그 때문에, 사용자는 추정된 라벨의 신뢰도가 낮은 교사 데이터에 대해서만 지정해야 할 라벨을 꼼꼼하게 판단하면 된다. 따라서, 도 3 의 예에 있어서도, 사용자는, 신뢰도를 시인함으로써, 꼼꼼하게 판단하여 라벨을 지정해야 할 교사 데이터를 용이하게 인식할 수 있다. 이에 따라, 사용자의 부담을 저감할 수 있다.
또, 도 4 의 예에서는, 복수의 교사 데이터에 각각 대응하는 복수의 섬네일 화상이 신뢰도 순서로 늘어서도록 화상 리스트 표시 영역 (43) 에 표시된다. 그 때문에, 사용자는, 꼼꼼하게 판단하여 라벨을 지정해야 할 복수의 교사 데이터의 군을 용이하게 인식할 수 있다. 따라서, 사용자의 부담을 더욱 저감할 수 있다. 도 4 의 예에서는, 화상 리스트 표시 영역 (43) 에는, 각 섬네일 화상에 대응하는 식별 번호가 추가로 표시되어도 된다.
(3) 지원 처리
도 5 는, 도 2 의 지원 장치 (30) 에 의한 지원 처리를 나타내는 플로 차트이다. 도 5 의 지원 처리는, 도 1 의 CPU (11) 가 ROM (13) 또는 기억 장치 (14) 등에 기억된 지원 프로그램을 RAM (12) 상에서 실행함으로써 실시된다. 이하, 도 2 의 지원 장치 (30), 도 3 또는 도 4 의 라벨 지정 화면 (40), 및 도 5 의 플로 차트를 사용하여 지원 처리를 설명한다.
먼저, 취득부 (31) 는, 복수의 교사 데이터를 검사 장치 (20) 로부터 순차 취득한다 (스텝 S1). 다음으로, 추정부 (32) 는, 스텝 S1 에서 취득된 각 교사 데이터에 부여되어야 할 라벨을 학습 모델에 기초하여 추정한다 (스텝 S2). 또, 추정부 (32) 는, 스텝 S2 에서 추정된 각 라벨의 신뢰도를 학습 모델에 기초하여 평가한다 (스텝 S3). 이에 따라, 표시 장치 (16) 에 라벨 지정 화면 (40) 이 표시된다.
계속해서, 제시부 (33) 는, 스텝 S1 에서 취득된 복수의 교사 데이터에 각각 대응하는 복수의 섬네일 화상을 표시 장치 (16) 에 있어서의 라벨 지정 화면 (40) 의 화상 리스트 표시 영역 (43) 에 표시시킨다 (스텝 S4). 본 예의 초기 설정에서는, 복수의 섬네일 화상은 식별 번호순으로 늘어서도록 표시된다. 화상 리스트 표시 영역 (43) 에는, 식별 번호 및 스텝 S3 에서 평가된 라벨의 신뢰도가 대응하는 섬네일 화상에 대응하도록 추가로 표시되어도 된다.
그 후, 제시부 (33) 는, 섬네일 화상의 배치 순서 변경이 지시되었는지 여부를 판정한다 (스텝 S5). 순서 변경이 지시되지 않는 경우, 제시부 (33) 는 스텝 S7 로 진행한다. 순서 변경이 지시된 경우, 제시부 (33) 는, 섬네일 화상의 배치 순서를 변경하고 (스텝 S6), 스텝 S7 로 진행한다. 스텝 S6 이 실행될 때 마다, 섬네일 화상의 배치 순서가 식별 번호의 순서와 스텝 S3 에서 평가된 신뢰도의 순서로 전환된다.
스텝 S7 에서, 제시부 (33) 는, 어느 것의 교사 데이터가 선택되었는지 여부를 판정한다 (스텝 S7). 교사 데이터가 선택되지 않는 경우, 제시부 (33) 는 스텝 S11 로 진행한다. 교사 데이터가 선택된 경우, 제시부 (33) 는, 선택된 교사 데이터에 기초하는 화상 및 당해 교사 데이터에 대해 스텝 S2 에서 추정된 라벨을 표시 장치 (16) 에 있어서의 라벨 지정 화면 (40) 의 선택 화상 표시 영역 (41) 에 표시시킨다 (스텝 S8). 선택 화상 표시 영역 (41) 에는, 선택된 교사 데이터에 대해 스텝 S3 에서 평가된 라벨의 신뢰도가 추가로 표시되어도 된다.
다음으로, 접수부 (34) 는, 스텝 S7 에서 선택된 교사 데이터에 대해, 라벨 지정이 접수되었는지 여부를 판정한다 (스텝 S9). 라벨 지정이 접수되지 않는 경우, 접수부 (34) 는 스텝 S11 로 진행한다. 라벨 지정이 접수된 경우, 부여부 (35) 는, 접수된 라벨을 스텝 S7 에서 선택된 교사 데이터에 부여하고 (스텝 S10), 스텝 S11 로 진행한다.
스텝 S11 에서, 부여부 (35) 는, 종료가 지시되었는지 여부를 판정한다 (스텝 S11). 사용자는, 조작부 (15) 를 사용하여 소정의 조작을 실시함으로써 종료 또는 속행을 지시할 수 있다. 종료가 지시되어 있지 않은 경우, 부여부 (35) 는 스텝 S5 로 되돌아간다. 따라서, 라벨이 부여되어 있지 않은 교사 데이터가 남아 있는 경우, 또는 한 번 부여된 라벨을 변경하는 경우, 사용자는, 속행을 지시하게 된다. 종료가 지시된 경우, 부여부 (35) 는 지원 처리를 종료한다.
(4) 효과
본 실시형태에 관련된 지원 장치 (30) 에 있어서는, 학습 모델을 사용하여 추정부 (32) 에 의해 추정된 교사 데이터에 부여되어야 할 라벨이 제시부 (33) 에 의해 제시된다. 그 때문에, 사용자는, 교사 데이터에 부여되어야 할 라벨을 접수부 (34) 에 지정할 때에, 제시부 (33) 에 의해 제시된 라벨을 참조할 수 있다. 또, 사용자는, 집중력의 저하 또는 피로 등에 의해 잘못된 지정을 실시한 경우에도, 용이하게 잘못을 깨달을 수 있다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다.
[2] 제 2 실시형태
(1) 지원 시스템의 구성
제 2 실시형태에 관련된 지원 장치 (30) 에 대해, 제 1 실시형태에 관련된 지원 장치 (30) 와 상이한 점을 설명한다. 도 6 은, 본 발명의 제 2 실시형태에 관련된 지원 장치 (30) 의 구성을 나타내는 도면이다. 도 2 에 나타내는 바와 같이, 지원 장치 (30) 는, 취득부 (31), 추정부 (32), 제시부 (33), 접수부 (34) 및 부여부 (35) 에 더하여, 판정부 (36), 알림부 (37) 및 갱신부 (38) 를 기능부로서 추가로 포함한다. 도 1 의 CPU (11) 가 ROM (13) 또는 기억 장치 (14) 등에 기억된 지원 프로그램을 실행함으로써, 지원 장치 (30) 의 기능부가 실현된다. 지원 장치 (30) 의 기능부의 일부 또는 전부가 전자 회로 등의 하드웨어에 의해 실현되어도 된다.
판정부 (36) 는, 추정부 (32) 에 의해 추정된 라벨과, 접수부 (34) 에 의해 접수된 라벨이 상이한지 여부를 판정한다. 알림부 (37) 는, 판정부 (36) 에 의해 라벨이 상이하다고 판정된 경우에 알림을 실시한다. 본 예에서는, 접수부 (34) 에 의해 접수된 라벨이 추정부 (32) 에 의해 추정된 라벨과 상이한 취지의 문장이 표시 장치 (16) 에 표시됨으로써 알림이 실시된다. 사용자는, 알림을 인식함으로써, 지정한 라벨이 올바른지 여부를 재차 판단할 기회를 얻을 수 있다.
알림은 표시 장치 (16) 를 사용하여 실시되지만, 실시형태는 이것에 한정되지 않는다. 예를 들어, 지원 시스템 (100) 이 음성 출력 장치를 포함하는 경우에는, 접수부 (34) 에 의해 접수된 라벨이 추정부 (32) 에 의해 추정된 라벨과 상이한 취지의 내용을 나타내는 음성, 또는 버저 등의 경고음이 출력됨으로써 알림이 실시되어도 된다. 혹은, 지원 시스템 (100) 이 램프 등의 표시등을 포함하는 경우에는, 표시등이 점등, 소등 또는 점멸됨으로써 알림이 실시되어도 된다.
제시부 (33) 는, 판정부 (36) 에 의해 라벨이 상이하다고 판정된 경우에, 판정의 근거를 제시한다. 이 경우, 사용자는, 제시된 근거를 고려하여, 부여해야 할 라벨에 대해 재차 판단을 실시할 수 있다. 본 예에서는, 교사 데이터에 기초하는 화상의 부분이 시인 가능하게 표시 장치 (16) 에 표시됨으로써, 판정부 (36) 에 의한 판정의 근거가 제시된다. 이 구성에 의하면, 사용자는, 부여해야 할 라벨에 대해 재차 판단을 실시하는 경우에 있어서, 고려해야 할 화상의 부분을 용이하게 인식할 수 있다.
알림부 (37) 에 의해 알림이 실시된 경우, 사용자는, 지시한 라벨이 올바른지 여부를 재차 판단한다. 그 결과, 사용자는, 지시한 라벨은 잘못이라고 판단한 경우에는, 교사 데이터에 부여되어야 할 라벨을 접수부 (34) 에 재차 지시할 수 있다. 한편, 사용자는, 지정한 라벨은 올바르다고 판단한 경우에는, 조작부 (15) 를 조작함으로써, 지정한 라벨을 부여하는 것을 부여부 (35) 에 지시할 수 있다.
부여부 (35) 는, 접수부 (34) 에 의해 접수된 라벨이 추정부 (32) 에 의해 추정된 라벨과 상이한 경우에도, 사용자에 의한 지시에 응답하여, 접수부 (34) 에 의해 접수된 라벨을 교사 데이터에 부여한다. 갱신부 (38) 는, 사용자에 의한 지시에 응답하여, 접수부 (34) 에 의해 접수된 라벨과, 당해 라벨에 대응하는 교사 데이터에 기초하여, 기억 장치 (14) 에 기억된 학습 모델을 갱신한다. 이에 따라, 이후의 지원 처리에 있어서, 추정부 (32) 는 교사 데이터에 대해 보다 정확한 라벨을 추정하는 것이 가능해진다.
(2) 표시 장치에 의한 표시
도 7 은, 도 6 의 표시 장치 (16) 에 표시되는 라벨 지정 화면 (40) 의 일례를 나타내는 도면이다. 도 7 의 라벨 지정 화면 (40) 이 도 3 의 라벨 지정 화면 (40) 과 상이한 것은 이하의 점이다. 본 실시형태에 있어서는, 도 6 의 추정부 (32) 에 의해 추정된 라벨 및 평가된 신뢰도가 라벨 지정 화면 (40) 에 표시되지 않는다. 그 때문에, 선택 화상 표시 영역 (41) 에는, 추정 라벨 표시부 (41c) 가 표시되지 않는다. 또, 라벨 정보 표시 영역 (45) 에는, 표 (45c) 가 표시되지 않는다.
라벨 지정 화면 (40) 에 있어서, 사용자는, 각 교사 데이터를 순차 선택하고, 선택된 교사 데이터에 대해 부여해야 할 라벨을 지정한다. 여기서, 지정된 라벨이 추정부 (32) 에 의해 추정된 라벨과 상이하다고 판정된 경우에는, 그 취지를 제시하는 알림 화면이 표시 장치 (16) 에 표시된다.
도 8 은, 도 6 의 표시 장치 (16) 에 표시되는 알림 화면의 일례를 나타내는 도면이다. 도 8 에 나타내는 바와 같이, 알림 화면 (50) 은, 문장 표시 영역 (51), 화상 표시 영역 (52), 재지정 버튼 (53) 및 부여 버튼 (54) 을 포함한다. 문장 표시 영역 (51) 에는, 예를 들어 추정된 라벨과는 상이한 라벨이 지정된 것을 나타내는 문장, 및 사용자에게 재차 판단을 재촉하는 문장이 표시된다.
화상 표시 영역 (52) 에는, 추정된 라벨과는 상이한 라벨이 지정된 교사 데이터에 기초하는 화상이 표시된다. 화상에 있어서는, 지정된 라벨이 추정된 라벨과는 상이하다고 판정된 근거가 되는 부분이 시인 가능하게 나타난다. 본 예에서는, Grad-CAM (Gradient-weighted Class Activation Mapping) 등에 의해 화상의 해당 부분에 마킹 (52a) 이 붙음으로써, 근거가 되는 부분이 시인 가능하게 나타난다. 또, 화상 표시 영역 (52) 에는, 교사 데이터의 식별 번호, 추정된 라벨 및 신뢰도, 그리고 지정된 라벨이 추가로 표시된다.
사용자는, 재차 판단의 결과, 자기의 판단에 잘못이 있다고 생각한 경우에는, 도 6 의 조작부 (15) 를 사용하여 재지정 버튼 (53) 을 조작함으로써 라벨의 재지정을 지시한다. 이 경우, 표시 장치 (16) 에 도 7 의 라벨 지정 화면 (40) 이 재차 표시된다. 이에 따라, 판단 대상의 교사 데이터에 대해, 부여해야 할 라벨을 재차 지정할 수 있다.
한편, 사용자는, 재차 판단의 결과, 자기의 판단에 잘못이 없다고 생각한 경우에는, 조작부 (15) 를 사용하여 부여 버튼 (54) 을 조작함으로써 라벨 부여를 지시한다. 이에 따라, 지정된 라벨이 추정된 라벨과는 상이한 경우에도, 지정된 라벨이 교사 데이터에 부여된다. 또, 지정된 라벨과 교사 데이터와 기초하여, 도 6 의 기억 장치 (14) 에 기억된 학습 모델이 갱신된다.
(3) 지원 처리
도 9 는, 도 6 의 지원 장치 (30) 에 의한 지원 처리를 나타내는 플로 차트이다. 도 9 의 지원 처리는, 도 1 의 CPU (11) 가 ROM (13) 또는 기억 장치 (14) 등에 기억된 지원 프로그램을 RAM (12) 상에서 실행함으로써 실시된다. 이하, 도 6 의 지원 장치 (30), 도 7 의 라벨 지정 화면 (40), 도 8 의 알림 화면 (50) 및 도 9 의 플로 차트를 사용하여 지원 처리를 설명한다.
먼저, 취득부 (31) 는, 복수의 교사 데이터를 검사 장치 (20) 로부터 순차 취득한다 (스텝 S31). 이에 따라, 표시 장치 (16) 에 라벨 지정 화면 (40) 이 표시된다. 다음으로, 추정부 (32) 는, 어느 것의 교사 데이터가 선택되었는지 여부를 판정한다 (스텝 S32). 교사 데이터가 선택되지 않는 경우, 추정부 (32) 는 스텝 S43 으로 진행한다. 교사 데이터가 선택된 경우, 추정부 (32) 는, 선택된 교사 데이터에 부여되어야 할 라벨을 학습 모델에 기초하여 추정한다 (스텝 S33). 또, 추정부 (32) 는, 스텝 S33 에서 추정된 라벨의 신뢰도를 학습 모델에 기초하여 평가한다 (스텝 S34).
계속해서, 접수부 (34) 는, 스텝 S32 에서 선택된 교사 데이터에 대해, 라벨 지정이 접수되었는지 여부를 판정한다 (스텝 S35). 라벨 지정이 접수되지 않는 경우, 접수부 (34) 는 스텝 S43 으로 진행한다. 라벨 지정이 접수된 경우, 판정부 (36) 는, 스텝 S35 에서 접수된 라벨과 스텝 S33 에서 추정된 라벨이 상이한지 여부를 판정한다 (스텝 S36). 또한, 스텝 S33, S34 는, 스텝 S35 와 스텝 S36 의 사이에 실행되어도 된다.
라벨이 상이하지 않을 경우, 부여부 (35) 는, 접수된 라벨을 스텝 S32 에서 선택된 교사 데이터에 부여하고 (스텝 S37), 스텝 S43 으로 진행한다. 라벨이 상이할 경우, 알림부 (37) 는, 표시 장치 (16) 에 알림 화면 (50) 을 표시함으로써 알림을 실시한다 (스텝 S38). 알림 화면 (50) 에는, 스텝 S33 에서 추정된 라벨 및 스텝 S34 에서 평가된 신뢰도가 추가로 표시되어도 된다.
그 후, 접수부 (34) 는, 라벨 재지정이 지시되었는지 여부를 판정한다 (스텝 S39). 라벨 재지정이 지시된 경우, 접수부 (34) 는 스텝 S32 로 되돌아간다. 이 경우, 표시 장치 (16) 에 라벨 지정 화면 (40) 이 재차 표시된다. 이에 따라, 사용자는 임의의 교사 데이터를 선택하고, 선택된 교사 데이터에 대해 라벨 재지정을 실시할 수 있다.
라벨 재지정이 지시되지 않는 경우, 부여부 (35) 는, 라벨 부여가 지시되었는지 여부를 판정한다 (스텝 S40). 라벨 부여가 지시되지 않는 경우, 부여부 (35) 는 스텝 S39 로 되돌아간다. 라벨 재지정이 지시되거나, 라벨 부여가 지시될 때까지 스텝 S39, S40 의 처리가 반복된다.
라벨 부여가 지시된 경우, 부여부 (35) 는, 스텝 S35 에서 접수된 라벨과, 스텝 S33 에서 추정된 라벨이 상이한 경우에도, 스텝 S35 에서 접수된 라벨을 교사 데이터에 부여한다 (스텝 S41). 또, 갱신부 (38) 는, 스텝 S41 에서 라벨이 부여된 교사 데이터와, 당해 라벨에 기초하여 학습 모델을 갱신한다 (스텝 S42).
마지막으로, 부여부 (35) 는, 종료가 지시되었는지 여부를 판정한다 (스텝 S43). 사용자는, 조작부 (15) 를 사용하여 소정의 조작을 실시함으로써 종료 또는 속행을 지시할 수 있다. 종료가 지시되어 있지 않은 경우, 부여부 (35) 는 스텝 S32 로 되돌아간다. 따라서, 라벨이 부여되어 있지 않은 교사 데이터가 남아 있는 경우, 또는 한 번 부여된 라벨을 변경하는 경우, 사용자는, 속행을 지시하게 된다. 종료가 지시된 경우, 부여부 (35) 는 지원 처리를 종료한다.
(4) 효과
본 실시형태에 관련된 지원 장치 (30) 에 있어서는, 사용자에 의해 지정된 라벨이 학습 모델을 사용하여 추정부 (32) 에 의해 추정된 라벨과 상이하다고 판정부 (36) 에 의해 판정된 경우에는, 알림부 (37) 에 의해 알림이 실시된다. 그 때문에, 사용자는, 집중력의 저하 또는 피로 등에 의해 잘못된 지정을 실시한 경우에도, 용이하게 잘못을 깨달을 수 있다. 또, 사용자가 지정에 잘못이 없다고 판단한 경우에는, 추정된 라벨과 상이한 라벨이 부여부 (35) 에 의해 교사 데이터에 부여된다. 이에 따라, 사용자의 부담을 경감하면서 정확한 교사 데이터를 작성하는 것이 가능해진다.
[3] 다른 실시형태
(1) 상기 실시형태에 있어서, 지원 시스템 (100) 은, 기판을 검사하기 위한 검사 장치 (20) 를 포함하고, 기판의 화상을 나타내는 교사 데이터의 작성 지원에 사용되지만, 실시형태는 이것에 한정되지 않는다. 지원 시스템 (100) 은, 다른 교사 데이터의 작성 지원에 이용되어도 된다. 또, 교사 데이터는 화상을 나타내는 화상 데이터를 포함하지만, 실시형태는 이것에 한정되지 않는다. 교사 데이터는, 예를 들어 음성을 재생하는 음성 데이터여도 된다.
(2) 상기 실시형태에 있어서, 교사 데이터가 2 종류로 분류되며, 분류된 교사 데이터의 각각에 라벨 「OK」 또는 「NG」 가 부여되지만, 실시형태는 이것에 한정되지 않는다. 교사 데이터는, 3 종류 이상으로 분류되며, 분류된 교사 데이터 각각에 라벨이 부여되어도 된다.
또, 제 2 실시형태에 있어서, 학습 모델은 분류 문제를 학습함으로써 구축되지만, 실시형태는 이것에 한정되지 않는다. 학습 모델은 회귀 문제를 학습함으로써 구축되어도 된다. 이 경우, 추정부 (32) 는 제 1 라벨을 제 1 스코어로서 추정하고, 접수부 (34) 는 제 2 라벨을 제 2 스코어로서 접수된다. 또, 판정부 (36) 는, 제 1 스코어와 제 2 스코어의 차가 미리 정해진 임계값 이상인 경우에 제 1 라벨과 제 2 라벨이 상이하다고 판정한다.
(3) 상기 실시형태에 있어서, 추정부 (32) 는 추정된 라벨의 신뢰도를 평가하지만, 실시형태는 이것에 한정되지 않는다. 추정부 (32) 는 추정된 라벨의 신뢰도를 평가하지 않아도 되다. 이 경우, 제 1 실시형태에 있어서는, 복수의 섬네일 화상은, 신뢰도 순서가 아니라, 예를 들어 식별 번호 순서로 화상 리스트 표시 영역 (43) 에 표시된다.
(4) 제 2 실시형태에 있어서, 제시부 (33) 는, 라벨이 상이하다고 판정된 경우, 화상의 부분을 제시함으로써 판정의 근거를 제시하지만, 실시형태는 이것에 한정되지 않는다. 제시부 (33) 는, 문장 또는 음성 등에 의해 판정의 근거를 제시해도 된다. 혹은, 제시부 (33) 는, 판정의 근거를 제시하지 않아도 되다.
(5) 제 2 실시형태에 있어서, 사용자에 의해 지정된 라벨과, 당해 라벨이 지정된 라벨에 대응하는 교사 데이터에 기초하여 학습 모델이 갱신되지만, 실시형태는 이것에 한정되지 않는다. 학습 모델은 갱신되지 않아도 된다. 이 경우, 지원 장치 (30) 는 갱신부 (38) 를 포함하지 않는다.
[4] 청구항의 각 구성 요소와 실시형태의 각 부의 대응 관계
이하, 청구항의 각 구성 요소와 실시형태의 각 요소의 대응 예에 대해서 설명하지만, 본 발명은 하기의 예에 한정되지 않는다. 청구항의 각 구성 요소로서, 청구항에 기재되어 있는 구성 또는 기능을 갖는 다른 여러 가지 요소를 사용할 수도 있다.
상기 실시형태에 있어서는, 지원 장치 (30) 가 교사 데이터 작성 지원 장치의 예이고, 추정부 (32) 가 추정부의 예이고, 제시부 (33) 가 제시부의 예이고, 접수부 (34) 가 접수부의 예이고, 판정부 (36) 가 판정부의 예이다. 알림부 (37) 가 알림부의 예이고, 갱신부 (38) 가 갱신부의 예이고, 표시 장치 (16) 가 표시 장치의 예이고, 지원 시스템 (100) 이 교사 데이터 작성 지원 시스템의 예이다.

Claims (14)

  1. 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 장치로서,
    상기 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 추정부와,
    상기 추정부에 의해 추정된 상기 제 1 라벨을 제시하는 제시부와,
    상기 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 접수부를 구비하는, 교사 데이터 작성 지원 장치.
  2. 제 1 항에 있어서,
    상기 추정부는, 추정된 상기 제 1 라벨의 신뢰도를 평가하고,
    상기 제시부는, 상기 추정부에 의해 평가된 상기 신뢰도를 추가로 제시하는, 교사 데이터 작성 지원 장치.
  3. 제 2 항에 있어서,
    상기 추정부는, 복수의 상기 교사 데이터에 각각 부여되어야 할 복수의 상기 제 1 라벨을 추정함과 함께, 추정된 각 제 1 라벨의 상기 신뢰도를 평가하고,
    상기 제시부는, 상기 추정부에 의해 추정된 복수의 상기 제 1 라벨을 상기 신뢰도의 순서로 제시하는, 교사 데이터 작성 지원 장치.
  4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
    상기 교사 데이터는 화상을 나타내는 화상 데이터를 포함하고,
    상기 제시부는, 상기 제 1 라벨과 대응하도록 상기 교사 데이터에 기초하는 화상을 추가로 제시하는, 교사 데이터 작성 지원 장치.
  5. 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 장치로서,
    상기 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 추정부와,
    상기 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 접수부와,
    상기 제 1 라벨과 상기 제 2 라벨이 상이한지 여부를 판정하는 판정부와,
    상기 판정부에 의해 상기 제 1 라벨과 상기 제 2 라벨이 상이하다고 판정된 경우에 알림을 실시하는 알림부와,
    사용자에 의한 지시에 응답하여, 상기 제 1 라벨과 상이한 상기 제 2 라벨을 상기 교사 데이터에 부여하는 부여부를 구비하는, 교사 데이터 작성 지원 장치.
  6. 제 5 항에 있어서,
    상기 판정부에 의해 상기 제 1 라벨과 상기 제 2 라벨이 상이하다고 판정된 경우에 판정의 근거를 나타내는 제시부를 추가로 구비하는, 교사 데이터 작성 지원 장치.
  7. 제 6 항에 있어서,
    상기 교사 데이터는 화상을 나타내는 화상 데이터를 포함하고,
    상기 제시부는, 상기 교사 데이터에 기초하는 화상의 부분을 시인 가능하게 나타냄으로써 상기 판정의 근거를 나타내는, 교사 데이터 작성 지원 장치.
  8. 제 7 항에 있어서,
    상기 제시부는, 상기 교사 데이터에 기초하는 화상을 제시하고,
    상기 접수부는, 상기 제시부에 의해 제시된 화상을 나타내는 상기 교사 데이터에 대해 상기 제 2 라벨을 접수하는, 교사 데이터 작성 지원 장치.
  9. 제 5 항 내지 제 7 항 중 어느 한 항에 있어서,
    상기 추정부는 상기 제 1 라벨을 제 1 스코어로서 추정하고,
    상기 접수부는, 상기 제 2 라벨을 제 2 스코어로서 접수하고,
    상기 판정부는, 상기 제 1 스코어와 상기 제 2 스코어의 차가 미리 정해진 임계값 이상인 경우에 상기 제 1 라벨과 상기 제 2 라벨이 상이하다고 판정하는, 교사 데이터 작성 지원 장치.
  10. 제 1 항 내지 제 3 항 및 제 5 항 내지 제 8 항 중 어느 한 항에 있어서,
    사용자에 의한 지시에 응답하여, 상기 제 2 라벨과, 당해 제 2 라벨에 대응하는 상기 교사 데이터에 기초하여 학습 모델을 갱신하는 갱신부를 추가로 구비하는, 교사 데이터 작성 지원 장치.
  11. 제 1 항 내지 제 3 항 중 어느 한 항에 기재된 교사 데이터 작성 지원 장치와,
    상기 교사 데이터 작성 지원 장치의 상기 제시부에 의해 제시되는 상기 제 1 라벨을 표시하는 표시 장치를 구비하는, 교사 데이터 작성 지원 시스템.
  12. 제 6 항 내지 제 8 항 중 어느 한 항에 기재된 교사 데이터 작성 지원 장치와,
    상기 교사 데이터 작성 지원 장치의 상기 제시부에 의해 제시되는 상기 판정의 근거를 표시하는 표시 장치를 구비하는, 교사 데이터 작성 지원 시스템.
  13. 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 방법으로서,
    상기 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 스텝과,
    추정된 상기 제 1 라벨을 제시하는 스텝과,
    상기 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 스텝을 포함하는, 교사 데이터 작성 지원 방법.
  14. 교사 데이터에 대한 라벨 부여를 지원하는 교사 데이터 작성 지원 방법으로서,
    상기 교사 데이터에 부여되어야 할 라벨을 미리 준비된 학습 모델을 사용하여 제 1 라벨로서 추정하는 스텝과,
    상기 교사 데이터에 부여되어야 할 라벨을 제 2 라벨로서 접수하는 스텝과,
    상기 제 1 라벨과 상기 제 2 라벨이 상이한지 여부를 판정하는 스텝과,
    상기 제 1 라벨과 상기 제 2 라벨이 상이하다고 판정된 경우에 알림을 실시하는 스텝과,
    사용자에 의한 지시에 응답하여, 상기 제 1 라벨과 상이한 상기 제 2 라벨을 상기 교사 데이터에 부여하는 스텝을 포함하는, 교사 데이터 작성 지원 방법.
KR1020210117349A 2020-09-08 2021-09-03 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법 KR20220033026A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2020-150845 2020-09-08
JP2020150845A JP2022045256A (ja) 2020-09-08 2020-09-08 教師データ作成支援装置、教師データ作成支援システムおよび教師データ作成支援方法

Publications (1)

Publication Number Publication Date
KR20220033026A true KR20220033026A (ko) 2022-03-15

Family

ID=80682016

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210117349A KR20220033026A (ko) 2020-09-08 2021-09-03 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법

Country Status (4)

Country Link
JP (1) JP2022045256A (ko)
KR (1) KR20220033026A (ko)
CN (1) CN114239843A (ko)
TW (1) TWI804953B (ko)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4394752B2 (ja) * 1996-10-02 2010-01-06 エスアールアイ インターナショナル 言語教育のために発音をテキスト独立に自動グレード付けする方法及びシステム
TW201013549A (en) * 2008-09-22 2010-04-01 Univ Nat Sun Yat Sen Method of estimation of the examinee's ability on the computerized adaptive testing using adaptive network-based fuzzy inference system
US10118078B2 (en) * 2011-11-02 2018-11-06 Toca Football, Inc. System, apparatus and method for ball throwing machine and intelligent goal
US10198957B2 (en) * 2013-04-12 2019-02-05 Raytheon Company Computer-based virtual trainer
US9931790B2 (en) * 2015-04-16 2018-04-03 Siemens Healthcare Gmbh Method and system for advanced transcatheter aortic valve implantation planning

Also Published As

Publication number Publication date
TWI804953B (zh) 2023-06-11
CN114239843A (zh) 2022-03-25
TW202215387A (zh) 2022-04-16
JP2022045256A (ja) 2022-03-18

Similar Documents

Publication Publication Date Title
AU2013201418B2 (en) Aircrew training system
JP6063756B2 (ja) 教師データ作成支援装置、教師データ作成装置、画像分類装置、教師データ作成支援方法、教師データ作成方法および画像分類方法
KR20070069614A (ko) 소프트웨어 테스트 방법 및 소프트웨어 테스트 장치
US6745140B2 (en) Electronic test system with test results view filter
JP7147185B2 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2011028656A (ja) 表示システム
EP1357389A2 (en) Electronic test program with run selection
US7184906B2 (en) Systems and methods for performing multi-source measurements
KR20220033026A (ko) 교사 데이터 작성 지원 장치, 교사 데이터 작성 지원 시스템 및 교사 데이터 작성 지원 방법
US20170229039A1 (en) Abacus calculation type mental arithmetic learning support device, abacus calculation type mental arithmetic learning support program, and abacus calculation type mental arithmetic learning support method
KR20210078981A (ko) 내준적 인적성 검사 서비스를 제공하는 방법 및 장치
JP2019113860A (ja) 正誤判定ルール設定プログラム、正誤判定ルール設定方法および正誤判定ルール設定装置
JP6831551B2 (ja) 学習支援装置、プログラム、学習支援方法、学習支援システム
JP2015022438A (ja) レポート作成支援装置、その方法、及びプログラム
JPH05342218A (ja) 作業手順作成・評価装置及び作業手順作成・評価方法
JP7180161B2 (ja) 情報処理装置及びプログラム
EP1312931A2 (en) Electronic test system
JP4585703B2 (ja) 学習機能付きタイピング練習装置、問題回答によるタイピング練習方法、及び問題回答によるタイピング練習プログラム
JP5687240B2 (ja) 表示倍率を決定する電化製品、表示倍率決定方法、及び、プログラム
JP7014494B1 (ja) 視力検査装置
JP2022120876A (ja) 学習支援装置、学習システム及び学習支援方法
WO2023112601A1 (ja) グラフ描画プログラム及びサーバ
JPH10221129A (ja) 分析装置
TW202211873A (zh) 認知功能檢測程式以及認知功能檢測系統
JP2020086895A (ja) 入力支援装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application
E902 Notification of reason for refusal