KR20210079497A - 카메라를 이용한 수율 관리 시스템 및 방법 - Google Patents

카메라를 이용한 수율 관리 시스템 및 방법 Download PDF

Info

Publication number
KR20210079497A
KR20210079497A KR1020190171327A KR20190171327A KR20210079497A KR 20210079497 A KR20210079497 A KR 20210079497A KR 1020190171327 A KR1020190171327 A KR 1020190171327A KR 20190171327 A KR20190171327 A KR 20190171327A KR 20210079497 A KR20210079497 A KR 20210079497A
Authority
KR
South Korea
Prior art keywords
camera
image
inspection
inspection result
yield management
Prior art date
Application number
KR1020190171327A
Other languages
English (en)
Other versions
KR102336433B1 (ko
Inventor
이익현
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020190171327A priority Critical patent/KR102336433B1/ko
Publication of KR20210079497A publication Critical patent/KR20210079497A/ko
Application granted granted Critical
Publication of KR102336433B1 publication Critical patent/KR102336433B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06K9/2054—
    • G06K9/3233—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

카메라를 이용한 수율 관리 시스템 및 방법이 개시된다. 본 발명의 일 실시예에 따른 카메라를 이용한 수율 관리 서버는, 하나 이상의 검사설비가 설치된 작업현장을 촬영한 현장 영상을 획득하는 영상 획득부; 상기 현장 영상을 분석하여, 상기 검사설비에 설치된 검사결과 출력창에 표시되는 검사결과를 검출하는 영상 분석부; 및 상기 검사결과에 따라 제품의 양/불을 판정하고, 판정 결과에 따라 수율 관리를 진행하는 수율 관리부를 포함할 수 있다.

Description

카메라를 이용한 수율 관리 시스템 및 방법{Yield management system and method using camera}
본 발명은 카메라를 이용한 수율 관리 시스템 및 방법에 관한 것이다.
공장에서 제품에 대한 양산을 진행하는 과정에서 여러 단계의 검사가 진행된다. 예를 들어, 양산 제품이 여러 개의 부품으로 이루어진 경우, 각 부품 자체에 대한 검사 및 조립 검사, 성능 검사 등이 있을 수 있다.
검사 진행에 따른 결과(양품, 불량 판정)는 검사를 진행한 설비(검사 설비)에 마련된 디스플레이에 표출될 수 있다. 검사 설비와 원격에 위치하는 관리 서버 사이에 네트워크가 마련된 경우에는 관리 서버에서 이러한 검사 결과를 전달받아 수집 및 관리할 수 있다.
하지만, 이러한 네트워크가 설치되지 않은 기존의 공장이 다수 존재하며, 신규 설치되더라도 공장 상황 상 네트워크 설치가 불가능한 경우가 발생한다. 이러한 경우에는 검사 결과를 각 장비마다 개별적으로 확인하여 양/불 검사결과를 확인해야 하는 어려움이 있었다.
더불어 검사 결과를 확인하는 작업자가 즉각적으로 검사 결과를 발견하지 못하거나 작업자의 실수 등으로 불량 제품이 다음 공정으로 넘어가는 등의 문제가 발생할 수 있다. 이를 즉각적으로 대처하지 못한다면 적시에 수율 관리가 이루어지지 않게 되는 문제점이 있었다.
일본등록특허 제4533711호 (2010.06.18. 등록) - 리드 타임-수율 관리 프로그램
본 발명은 카메라를 이용하여 작업현장을 촬영한 영상을 분석하여 검사설비에서 출력되는 양/불 판정 정보를 수집하여 양산 제품에 대한 수율을 관리할 수 있는 카메라를 이용한 수율 관리 시스템 및 방법을 제공하기 위한 것이다.
본 발명은 카메라 특성에 따른 색상 편차, 거리에 따른 색상 편차 등을 보정하여 검사설비에서 출력되는 양/불 판정 정보를 정확하게 인식할 수 있게 하는 카메라를 이용한 수율 관리 시스템 및 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 하나 이상의 검사설비가 설치된 작업현장을 촬영한 현장 영상을 획득하는 영상 획득부; 상기 현장 영상을 분석하여, 상기 검사설비에 설치된 검사결과 출력창에 표시되는 검사결과를 검출하는 영상 분석부; 및 상기 검사결과에 따라 제품의 양/불을 판정하고, 판정 결과에 따라 수율을 확인하는 수율 관리부를 포함하는 카메라를 이용한 수율 관리 서버가 제공된다.
상기 영상 분석부는 상기 현장 영상에서 상기 검사결과 출력창에 상응하는 관심 영역을 설정하는 ROI 설정 모듈을 포함하고, 상기 관심 영역에 대한 표시 상태를 추정하여 상기 검사결과를 출력할 수 있다.
상기 표시 상태는 색상으로 구분되며, 상기 영상 분석부는 상기 영상 획득부에서의 카메라 특성에 따른 색상 편차를 반영한 픽셀테이블을 RGB 채널별로 구성하는 픽셀테이블 구성 모듈을 더 포함할 수 있다.
상기 영상 분석부는 상기 관심 영역의 크기에 따른 색상 편차를 반영한 색역매핑을 구성하는 색역매핑 구성 모듈을 더 포함하되, 상기 색역매핑은 상기 픽셀테이블에 기초하여 구성될 수 있다.
상기 색역매핑 구성 모듈은 상기 관심 영역의 크기에 대응되는 거리를 계산하고, 라그랑주 보간법을 통해 상기 거리에 따른 색상 편차 보간을 수행하여 상기 픽셀테이블에 적용함으로써 상기 색역매핑을 구성할 수 있다.
상기 픽셀테이블 구성 모듈은 상기 카메라에서 광원을 촬영한 컬러 영상을 흑백 영상으로 전환하고, 상기 컬러 영상의 RGB 채널 각각과 상기 흑백 영상의 밝기 값을 비교한 차이를 RGB-Gray 채널별 편차량으로 계산하여 상기 픽셀테이블을 구성할 수 있다.
상기 표시 상태는 문자 또는 기호로 구분되며, 상기 영상 분석부는 OCR 기법에 의해 상기 문자 또는 기호를 식별하여 상기 검사결과를 검출할 수 있다.
상기 검사설비는 검사대상이 되는 제품의 검사결과가 출력되는 상기 검사결과 출력창이 구비되고, 상기 검사결과 출력창은 디스플레이 장치일 수 있다.
또는 상기 검사설비는 검사대상이 되는 제품의 검사결과가 출력되는 상기 검사결과 출력창이 구비되고, 상기 검사결과 출력창은 힌지 회동 가능한 복수의 평판 구조물이며, 상기 복수의 평판 구조물의 전면에는 양/불에 따라 구분되는 색상, 문자 혹은 기호가 표시되거나 상기 복수의 평판 구조물이 양/불에 따라 구분되는 형상을 가질 수 있다.
상기 영상 획득부는 일반 카메라 모듈과 망원 카메라 모듈을 포함하는 멀티 카메라이고, 상기 ROI 설정 모듈은 상기 일반 카메라 모듈에 의해 1차 촬영된 영상에서 제1 관심 영역을 개략 설정하고, 상기 망원 카메라 모듈을 통해 상기 제1 관심 영역을 포함하도록 촬영된 고배율의 영상에서 제2 관심 영역을 정밀 설정할 수 있다.
한편 본 발명의 다른 측면에 따르면, 카메라를 이용한 수율 관리 서버에서 수행되는 수율 관리 방법으로서, 하나 이상의 검사설비가 설치된 작업현장을 촬영한 현장 영상을 획득하는 단계; 상기 현장 영상을 분석하여, 상기 검사설비에 설치된 검사결과 출력창에 표시되는 검사결과를 검출하는 단계; 상기 검사결과에 따라 제품의 양/불을 판정하는 단계; 및 판정 결과에 따라 수율 관리를 진행하는 단계를 포함하는 카메라를 이용한 수율 관리 방법이 제공된다.
상기 검사결과를 검출하는 단계는 상기 현장 영상에서 상기 검사결과 출력창에 상응하는 관심 영역을 설정하는 단계를 포함하되, 상기 관심 영역에 대한 표시 상태를 추정하여 상기 검사결과를 출력할 수 있다.
상기 표시 상태는 색상으로 구분되며, 상기 검사결과를 검출하는 단계는 상기 영상 획득부에서의 카메라 특성에 따른 색상 편차를 반영한 픽셀테이블을 RGB 채널별로 구성하는 단계; 상기 관심 영역의 크기에 따른 색상 편차를 반영한 색역매핑을 구성하는 단계를 포함하되, 상기 색역매핑은 상기 픽셀테이블에 기초하여 구성될 수 있다.
상기 색역매핑을 구성하는 단계는 상기 관심 영역의 크기에 대응되는 거리를 계산하고, 라그랑주 보간법을 통해 상기 거리에 따른 색상 편차 보간을 수행하여 상기 픽셀테이블에 적용함으로써 상기 색역매핑을 구성할 수 있다.
상기 픽셀테이블을 구성하는 단계는 상기 카메라에서 광원을 촬영한 컬러 영상을 흑백 영상으로 전환하고, 상기 컬러 영상의 RGB 채널 각각과 상기 흑백 영상의 밝기 값을 비교한 차이를 RGB-Gray 채널별 편차량으로 계산하여 상기 픽셀테이블을 구성할 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 카메라를 이용하여 작업현장을 촬영한 영상을 분석하여 검사설비에서 출력되는 양/불 판정 정보를 수집하여 양산 제품에 대한 수율을 관리할 수 있는 효과가 있다.
또한, 카메라 특성에 따른 색상 편차, 거리에 따른 색상 편차 등을 보정하여 검사설비에서 출력되는 양/불 판정 정보를 정확하게 인식할 수 있게 하는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 카메라를 이용한 수율 관리 시스템의 구성도,
도 2는 본 발명의 일 실시예에 따른 카메라를 이용한 수율 관리 방법의 순서도,
도 3은 카메라 특성에 따른 편차 보정 방법의 순서도,
도 4는 카메라 특성에 따른 편차 보정 과정을 나타낸 도면,
도 5는 거리에 따른 편차 보정 방법의 순서도,
도 6은 작업현장을 촬영한 카메라 영상 및 검사결과 출력창 화면의 예시도,
도 7은 검사결과 출력창 화면의 다른 예시도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 각 도면을 참조하여 설명하는 실시예의 구성 요소가 해당 실시예에만 제한적으로 적용되는 것은 아니며, 본 발명의 기술적 사상이 유지되는 범위 내에서 다른 실시예에 포함되도록 구현될 수 있으며, 또한 별도의 설명이 생략될지라도 복수의 실시예가 통합된 하나의 실시예로 다시 구현될 수도 있음은 당연하다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일하거나 관련된 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 본 명세서에 첨부된 도면에서는 구성요소의 구분을 돕고자 색상이 부여되어 있다. 하지만, 동일 구성요소라 할지라도 사시도와 단면도에서는 그 색상이 달라질 수 있다. 그리고 다른 구성요소라 할지라도 동일 혹은 유사한 색상이 부여될 수도 있다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈", "…기" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라를 이용한 수율 관리 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 카메라를 이용한 수율 관리 방법의 순서도이며, 도 3은 카메라 특성에 따른 편차 보정 방법의 순서도이고, 도 4는 카메라 특성에 따른 편차 보정 과정을 나타낸 도면이며, 도 5는 거리에 따른 편차 보정 방법의 순서도이고, 도 6은 작업현장을 촬영한 카메라 영상 및 검사결과 출력창 화면의 예시도이다.
본 발명의 일 실시예에 따른 카메라를 이용한 수율 관리 시스템(1)은 검사설비와의 네트워크 구성이 불가능하거나 어려운 경우 다수의 검사설비에서 출력되는 검사결과를 실시간으로 수집하여 전체 작업현장에서 이루어지는 제품 생산에 대한 관리를 가능하게 하여 제품 수율을 향상시키고자 한다.
본 실시예에 따른 카메라를 이용한 수율 관리 시스템(1)은 작업현장에 설치된 검사설비(10)에 마련된 검사결과 출력창(20)과, 작업현장을 촬영한 영상을 분석하여 검사결과 출력창에 표시된 검사결과(양/불 판정)를 추정하고 그에 따라 수율 확인 및/또는 관리를 수행하는 수율 관리 서버(100)를 포함할 수 있다.
작업현장에는 하나 이상의 검사설비(10)가 설치될 수 있다. 검사설비(10)는 검사 대상이 되는 제품 혹은 부품에 따라 다양할 수 있다.
검사설비(10)에는 검사결과를 시각적으로 표출하는 검사결과 출력창(20)이 설치될 수 있다.
검사결과 출력창(20)은 예를 들어 LCD 혹은 LED와 같은 디스플레이 장치일 수 있다. 디스플레이 장치의 화면에는 검사결과에 따라 양품을 나타내는 표시(색상, 문자 혹은 기호)와 불량을 나타내는 표시가 출력될 수 있다.
또는 검사결과 출력창(20)은 검사설비(10)에 힌지 회동 가능하게 평판 구조물일 수 있다. 평판 구조물은 양품용과 불량용으로 2개가 마련될 수 있으며, 평판 구조물의 전면에는 양품 혹은 불량을 나타내는 색상, 문자 혹은 기호가 표시되어 있을 수 있다. 또는 평판 구조물의 형상이 양품과 불량에 따라 상이한 형상을 가질 수도 있다. 예컨대, 양품용은 원형으로, 불량용은 X자형으로 제작될 수 있다.
평판 구조물은 평상시에는 후면이 외부에 보여지게 설치되어 있을 수 있다. 검사결과 양품인 경우에는 양품용 평판 구조물이 힌지 회동하여 그 전면을 외부에 보여지게 하고, 검사결과 불량인 경우에는 불량용 평판 구조물이 힌지 회동하여 그 전면을 외부에 보여지게 할 수 있다.
수율 관리 서버(100)는 검사설비(10)가 설치된 작업현장을 촬영하고, 영상을 분석하여 검사결과 출력창(20)에 상응하는 부분의 표시 상태를 검출하여 현재 검사결과를 추정하고, 그에 따른 수율 관리를 진행한다.
수율 관리 서버(100)는 영상 획득부(110), 영상 분석부(120), 수율 관리부(130)를 포함할 수 있다. 영상 분석부(120)는 픽셀테이블 구성 모듈(121), ROI 설정 모듈(123), 색역매핑 구성 모듈(125)을 포함할 수 있다.
영상 획득부(110)는 원격에서 작업현장에 대한 영상을 획득한다. 영상 획득부(110)는 예를 들어 카메라일 수 있다. 카메라는 컴팩트 카메라, DSLR, CCTV, 스마트폰에 탑재된 카메라 모듈 등 다양한 종류의 카메라가 적용될 수 있다.
영상 획득부(110)에서는 작업현장, 특히 검사설비(10)가 설치된 구역을 포함하는 작업현장에 대한 영상을 획득할 수 있다. 획득 영상은 정지영상 혹은 동영상일 수 있다.
영상 분석부(120)는 영상 획득부(110)에서 획득한 현장 영상에 대해 미리 정해진 방식으로 영상 분석을 수행하여, 검사설비(10), 특히 검사결과 출력창(20)을 인식하고, 검사결과 출력창(20)이 나타내는 검사결과를 검출하여 그 정보를 추출해 낼 수 있다.
영상 분석부(120)에서의 영상 분석 시 현장 영상에서 검사설비(10)의 검사결과 출력창(20)에 대응되는 영역을 관심 영역(ROI)으로 설정하고, 관심 영역에서의 표시 상태로부터 현재 검사결과를 추정할 수 있게 된다.
본 실시예에서 영상 획득부(110)가 멀티 카메라인 경우, 일반 카메라 모듈에서 촬영한 제1 영상에서 개략적으로 제1 관심 영역을 설정하고, 망원 카메라 모듈에서는 개략 설정된 제1 관심 영역이 포함되도록 촬영한 고배율의 제2 영상에서 제2 관심 영역을 보다 정밀하게 설정할 수 있게 한다.
수율 관리부(130)는 영상 분석부(120)에서의 분석 결과에 상응하여 특정 검사설비(10)에 대해 추정된 검사결과를 매칭한다. 검사결과 일정 비율 이상 불량으로 판정된 검사설비(10)에 공급되는 제품 라인에 대해서는 생산을 일시 정지하는 명령 신호를 보낼 수 있다. 정지된 제품 라인에 대해 불량 원인을 탐색하도록 함으로써 불량이 발생되지 않도록 함으로써 이후에는 양품이 생산되게 하여 제품 수율을 향상시킬 수 있게 된다.
또는 검사결과 일정 비율 이상 불량으로 판정된 검사설비(10)가 있는 경우 관리자에게 알람을 출력하거나 알람메시지를 전송함으로써 관리자가 상응하는 조치를 취하게 할 수 있다.
도 2를 참조하면, 수율 관리 시스템(1)에서 수행되는 수율 관리 방법의 순서도가 도시되어 있다.
작업현장에 설치된 검사설비(10)에서는 현재 검사 중인 제품에 대해 양/불 판정을 수행하고, 검사결과를 검사결과 출력창(20)을 이용하여 출력할 수 있다(단계 S200).
수율 관리 서버(100), 특히 영상 획득부(110)에서는 원격에서 작업현장을 촬영하여 현장 영상을 획득한다(단계 S210).
영상 분석부(120)에서는 현장 영상을 분석하여 검사설비(10)마다 출력되는 검사결과를 검출한다(단계 S220). 영상 분석부(120)에서는 현장 영상에서 검사결과 출력창(20)을 인식하고, 인식된 검사결과 출력창이 나타내는 표시 상태를 추정하여 검사결과를 검출한다. 이 경우 표시 상태 추정 시에 카메라 특성 및/또는 설비까지의 거리에 따른 보정이 수행될 수 있다.
수율 관리부(130)에서는 영상 분석부(120)에서의 분석 결과에 따라 검출된 설비별 검사결과에 기초하여 수율 관리를 진행할 수 있다(단계 S230).
이하에서는 영상 분석부(120)에서 수행되는 영상 분석 과정에 대해 보다 상세히 설명하기로 한다.
우선 도 3을 참조하여 카메라 특성에 따른 보정에 관해 설명하기로 한다.
카메라는 제조공정에서의 공차로 인해 다양한 특성을 보일 수 있다. 예를 들면, 동일한 제조공장에서 제조된 카메라라 할지라도 RGB 채널별 색상 테이블이 동일하지 않을 수 있다. 따라서, 현재 수율 관리 서버(100)의 영상 획득부(110)로 사용되는 카메라에 대해서 그 특성을 파악할 필요가 있다.
이를 위해 영상 획득부(110)로 사용되는 카메라를 이용하여 광원을 촬영한다(단계 S300). 광원을 촬영한 영상은 RGB 값을 가지는 컬러 영상일 수 있다(도 4의 (a) 참조).
픽셀테이블 구성 모듈(121)은 컬러 영상에 대해서는 흑백 전환을 수행하여 흑백 영상을 획득한다(단계 S310, 도 4의 (b) 참조).
그리고 픽셀 단위로 RGB 채널과 Gray 스케일 간의 편차를 계산하여 채널별 픽셀테이블(1차 LUT)을 생성한다(단계 S320, 도 4의 (c) 참조). 채널별 픽셀테이블은 해당 카메라가 가지는 Gray-RGB 채널에 따른 편차를 픽셀 단위로 나타낸 룩업 테이블일 수 있다.
이를 통해 해당 카메라가 적색 특성이 강한지 녹색 특성이 강한지 등에 대해 미리 파악하고, 카메라 특성에 따른 색상 보간이 이루어지게 할 수 있다.
도 6을 참조하면, (a)에는 현장 영상(500)이 예시되어 있고, (b)에는 검사결과 출력창(20)에서 색상(녹색과 적색)으로 표시되는 양품과 불량을 나타내는 표시 상태(20a, 20b)가 예시되어 있다.
도 6의 (a)를 참조하면, 작업현장에는 하나 혹은 둘 이상의 검사설비(10-1~10-4)가 설치될 수 있다. 도면에서는 4개의 검사설비(10-1~10-4)가 설치된 경우가 예시되어 있지만, 이는 일 실시예에 불과하며, 현장 상황에 따라 다양한 수의 검사설비(10)가 다양하게 배치될 수 있음은 물론이다.
검사설비(10)의 일면에는 검사결과 출력창(20)이 마련되어 있다. 검사설비(10-1~10-4)가 4개인 경우, 현장 영상(500) 내에 검사결과 출력창(20-1~20-4)도 4개가 포함될 수 있다. 이 경우 4개의 검사결과 출력창(20-1~20-4)이 전술한 것과 같이 관심 영역으로 설정될 필요가 있을 것이다.
하지만, 카메라와 검사설비(10) 사이의 거리는 검사설비마다 모두 동일한 것은 아니다. 즉, 카메라를 기준으로 보다 멀리 위치한 검사설비(10-1, 10-2)도 있고, 보다 가까이 위치한 검사설비(10-3, 10-4)도 있을 수 있다.
각 검사설비에 설치된 검사결과 출력창(20-1~20-4)이 현장 영상(500) 내에서 서로 다른 크기를 가질 수 있다. 이 크기는 카메라와 검사설비 사이의 이격거리에 반비례하는 특성을 가지게 된다.
따라서, 관심 영역(ROI)에 해당하는 검사결과 출력창 영역에 대해서 그 크기를 통해 카메라로부터의 이격거리를 산출하고, 이격거리에 따른 표시 상태의 편차를 반영할 수 있다.
만약 도 6의 (b)에 도시된 것과 같이 색상으로 양/불 판정을 출력하는 경우, 양품일 때에는 녹색(Green)(20a)으로 출력하고 불량일 때에는 적색(Red)(20b)으로 출력할 수 있다. 이 경우 검사설비가 가까이 위치할 때에는 색상 구분이 쉽지만, 멀리 위치할 때에는 색상 구분이 어려울 수 있다. 따라서, 거리에 따른 계수를 반영함으로써 거리가 먼 경우에도 시인성을 향상시키고자 한다.
도 5를 참조하면, 영상 분석부(120)의 ROI 설정 모듈(123)은 현장 영상에 대해 관심 영역을 설정한다(단계 S400). 관심 영역은 검사결과 출력창(20)에 대응되는 영역으로, 색역 매핑이 요구되는 좌표일 수 있다.
관심 영역의 설정은 관리자에 의해 수동적으로 이루어질 수 있다. 또는 영상 분석부(120)에서 자동으로 이루어질 수도 있다. 이 경우 에지 검출 등을 통한 객체 인식을 통해 검사설비 객체를 식별하고, 검사설비 객체에 대해 검사결과 출력창의 좌표를 상대적으로 찾아가는 방식으로 관심 영역을 설정할 수도 있다.
관심 영역이 설정되면, 색역매핑 구성 모듈(125)은 관심 영역의 크기에 따른 거리(d)를 계산한다(단계 S410). 본 실시예에서 거리(d)는 카메라와의 이격거리(D)에 대응되는 값으로, 이격거리(D)와는 증감 패턴이 반대일 수 있다. 즉, 이격거리가 먼 경우에는 관심 영역에 해당하는 검사결과 출력창의 크기가 작고 거리(d)도 작으며, 이격거리가 가까운 경우에는 관심 영역에 해당하는 검사결과 출력창의 크기가 커지고 거리(d)도 커짐을 이용한다.
관심 영역은 도면에 도시된 것과 같이 직사각형으로 설정될 수 있다. 이 경우 직사각형의 대각방향에 있는 두 꼭지점(x1, y1), (x2, y2) 사이의 거리(d)를 해당 관심 영역의 크기로 간주할 수 있다.
Figure pat00001
거리(d)가 큰 경우 카메라와의 이격거리(D)는 작고, 거리(d)가 작은 경우 카메라와의 이격거리(D)는 크게 된다.
거리가 계산되면 거리에 따른 색편차 보간을 수행한다(단계 S420).
거리에 따른 색상 보간률을 계산하기 위해 라그랑주 보간법을 적용하여 거리에 대한 편차를 가산한 결과를 반영하여 색상에 대한 보간 비율을 적용할 수 있다(수학식 2 참조).
Figure pat00002
여기서, X는 임의의 위치 좌표, Y는 X 위치에서의 밝기 값이다.
그리고, Yn은 Xn 위치에 따른 밝기 값이다. Y0~Y2의 경우 X0~X2의 위치에 대응한 밝기 값이다.
Xn (예: X1~X3)은 각 관심 영역 내의 중심점을 기준으로 한 위치이고, dn (예: d0~d2)은 각 관심 영역의 크기이다. 숫자의 경우 작은 숫자(0)부터 최소(Min)에서 최대(Max) 순으로 정의하여 사용할 수 있다.
수학식 2에서는 관심 영역이 0~2까지 3개가 있는 경우를 가정한 것이며, 임의의 X 위치에 대하여 Y 밝기 값을 구하기 위해 3개의 관심 영역의 중심점(Xn), 크기(dn), 밝기(Yn)을 이용하며, 관심 영역의 크기가 가중치로 사용되고 있다.
수학식 2를 통해 색상 보간된 밝기값을 픽셀테이블에 적용하여 색역매핑(2차 LUT)을 구성할 수 있다(단계 S430). 색역매핑에 의해 RGB 채널별 편차량을 상승시켜 현장 영상(500) 중 관심 영역의 색상을 보다 명시성 있게 변경되게 할 수 있다.
그리고 영상 분석부(120)는 채널별 변화량에 따라 출력결과를 판정할 수 있다(단계 S440). 도 6의 (b)와 같은 기준일 경우, G(녹색) 값이 높을 경우에는 양품을 나타낸 검사결과로 판정하고, R(적색) 값이 높을 경우에는 불량을 나타내는 검사결과로 판정할 수 있다.
추가적으로 일정 시간(예를 들어, 1초) 동안 획득된 순차적인 영상 프레임에 대해 전술한 과정을 반복하고 평균 연산을 통해 노이즈를 제거하고, 보다 신뢰성 있는 검사결과를 검출해 낼 수도 있다(단계 S450).
본 실시예에서는 검사설비(10)의 검사결과 출력창(20)에 녹색과 적색으로 양/불 판정이 출력되는 경우에 색역매핑을 통해 시인성이 향상되도록 하여 영상 분석을 통한 검사결과 검출이 이루어지도록 하였다.
따라서, 검사설비(10)와의 통신이 불가능하거나 어려운 경우에도 카메라로 촬영한 현장 영상의 분석을 통해 실시간으로 제품에 대한 양/불 판정이 가능해지며, 기준치 이상의 불량 발생이 있는 경우 적절한 조치가 이루어지게 함으로써 제품 수율을 향상시키는 능동 관리가 가능해 질 수 있다.
다른 실시예에서 영상 획득부(110)는 카메라의 실시간 스트리밍 상태에서 영상의 관심 영역 내의 색상 값으로 초기 취득한 고정 값을 기준 값으로 설정한 후, RGB 색상 값의 변화가 감지될 경우 해당 영상을 현장 영상으로 획득할 수도 있다. 이는 지속적인 모니터링 과정에서 양/불 판정이 변경된 시점을 찾아 비교함으로써 영상 분석에 따른 부하를 절감할 수 있게 한다.
도 6의 (b)에 기초할 때, 고정 값과 비교할 경우 RGB 색상 값의 상대편차가 R 값이 높은 경우에는 불량으로, G 값이 높은 경우에는 양품으로 판정할 수 있다. 다만, 초기 설정한 고정 값에 비해 상당히 많은 오차를 초과할 경우에는 배제 처리를 진행할 수도 있다.
따라서, 신뢰성 있는 현장 영상을 제공받기 위해 변화량이 있을 경우 관심 영역의 데이터에 대해 지정된 시간(예를 들어, 3초 정도)의 영상 데이터를 획득하고, 첫번째 영상과 새롭게 획득한 영상의 RGB 계수 값의 편차가 지정된 오차범위(예를 들어, 5) 이내인 경우에 대해 검사결과를 출력해 줄 수 있다.
획득한 영상을 P, 영상의 개수를 n으로 정의할 경우
Figure pat00003
의 데이터에 대하여
Figure pat00004
를 만족할 경우
Figure pat00005
으로 연산하여 RGB 계수 값의 편차가 큰 구간에 따라 위와 같은 양품, 불량 결과로 반영할 수 있다.
상기에서는 검사결과 출력창에 양/불 판정이 색상으로 표시되는 경우를 중심으로 설명하였지만, 문자 혹은 기호로 표시될 수도 있을 것이다.
도 7은 검사결과 출력창 화면의 다른 예시도이다.
도 7의 (a)에는 PASS(20c), FAIL(20d)과 같이 문자로 양/불 판정이 출력되는 경우가 예시되어 있고, 도 7의 (b)에는 O(20e), X(20f)와 같이 기호로 양/불 판정이 출력되는 경우가 예시되어 있다.
이처럼 문자 혹은 기호로 표시되는 경우, 수율 관리 서버(100)의 영상 분석부(120)에서는 OCR 기법을 통해 문자 혹은 기호를 추출하고, 문자 혹은 기호를 식별함으로써 검사결과를 추정하고, 양/불 판정을 수행할 수도 있을 것이다.
전술한 수율 관리 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 수율 관리 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 수율 관리 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1: 수율 관리 시스템 10, 10-1~10-4: 검사설비
20, 20-1~20-4: 검사결과 출력창
100: 수율 관리 서버 110: 영상 획득부
120: 영상 분석부 121: 픽셀테이블 구성 모듈
123: ROI 설정 모듈 125: 색역매핑 구성 모듈
130: 수율 관리부 500: 현장 영상
20a~20f: 검사결과 출력창 표시상태

Claims (15)

  1. 하나 이상의 검사설비가 설치된 작업현장을 촬영한 현장 영상을 획득하는 영상 획득부;
    상기 현장 영상을 분석하여, 상기 검사설비에 설치된 검사결과 출력창에 표시되는 검사결과를 검출하는 영상 분석부; 및
    상기 검사결과에 따라 제품의 양/불을 판정하고, 판정 결과에 따라 수율을 확인하는 수율 관리부를 포함하는 카메라를 이용한 수율 관리 서버.
  2. 제1항에 있어서,
    상기 영상 분석부는 상기 현장 영상에서 상기 검사결과 출력창에 상응하는 관심 영역을 설정하는 ROI 설정 모듈을 포함하고,
    상기 관심 영역에 대한 표시 상태를 추정하여 상기 검사결과를 출력하는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  3. 제2항에 있어서,
    상기 표시 상태는 색상으로 구분되며,
    상기 영상 분석부는 상기 영상 획득부에서의 카메라 특성에 따른 색상 편차를 반영한 픽셀테이블을 RGB 채널별로 구성하는 픽셀테이블 구성 모듈을 더 포함하는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  4. 제3항에 있어서,
    상기 영상 분석부는 상기 관심 영역의 크기에 따른 색상 편차를 반영한 색역매핑을 구성하는 색역매핑 구성 모듈을 더 포함하되,
    상기 색역매핑은 상기 픽셀테이블에 기초하여 구성되는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  5. 제4항에 있어서,
    상기 색역매핑 구성 모듈은 상기 관심 영역의 크기에 대응되는 거리를 계산하고, 라그랑주 보간법을 통해 상기 거리에 따른 색상 편차 보간을 수행하여 상기 픽셀테이블에 적용함으로써 상기 색역매핑을 구성하는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  6. 제3항에 있어서,
    상기 픽셀테이블 구성 모듈은 상기 카메라에서 광원을 촬영한 컬러 영상을 흑백 영상으로 전환하고, 상기 컬러 영상의 RGB 채널 각각과 상기 흑백 영상의 밝기 값을 비교한 차이를 RGB-Gray 채널별 편차량으로 계산하여 상기 픽셀테이블을 구성하는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  7. 제2항에 있어서,
    상기 표시 상태는 문자 또는 기호로 구분되며,
    상기 영상 분석부는 OCR 기법에 의해 상기 문자 또는 기호를 식별하여 상기 검사결과를 검출하는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  8. 제1항에 있어서,
    상기 검사설비는 검사대상이 되는 제품의 검사결과가 출력되는 상기 검사결과 출력창이 구비되고,
    상기 검사결과 출력창은 디스플레이 장치인 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  9. 제1항에 있어서,
    상기 검사설비는 검사대상이 되는 제품의 검사결과가 출력되는 상기 검사결과 출력창이 구비되고,
    상기 검사결과 출력창은 힌지 회동 가능한 복수의 평판 구조물이며, 상기 복수의 평판 구조물의 전면에는 양/불에 따라 구분되는 색상, 문자 혹은 기호가 표시되거나 상기 복수의 평판 구조물이 양/불에 따라 구분되는 형상을 가지는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  10. 제2항에 있어서,
    상기 영상 획득부는 일반 카메라 모듈과 망원 카메라 모듈을 포함하는 멀티 카메라이고,
    상기 ROI 설정 모듈은 상기 일반 카메라 모듈에 의해 1차 촬영된 영상에서 제1 관심 영역을 개략 설정하고, 상기 망원 카메라 모듈을 통해 상기 제1 관심 영역을 포함하도록 촬영된 고배율의 영상에서 제2 관심 영역을 정밀 설정하는 것을 특징으로 하는 카메라를 이용한 수율 관리 서버.
  11. 카메라를 이용한 수율 관리 서버에서 수행되는 수율 관리 방법으로서,
    하나 이상의 검사설비가 설치된 작업현장을 촬영한 현장 영상을 획득하는 단계;
    상기 현장 영상을 분석하여, 상기 검사설비에 설치된 검사결과 출력창에 표시되는 검사결과를 검출하는 단계;
    상기 검사결과에 따라 제품의 양/불을 판정하는 단계; 및
    판정 결과에 따라 수율 관리를 진행하는 단계를 포함하는 카메라를 이용한 수율 관리 방법.
  12. 제11항에 있어서,
    상기 검사결과를 검출하는 단계는 상기 현장 영상에서 상기 검사결과 출력창에 상응하는 관심 영역을 설정하는 단계를 포함하되,
    상기 관심 영역에 대한 표시 상태를 추정하여 상기 검사결과를 출력하는 것을 특징으로 하는 카메라를 이용한 수율 관리 방법.
  13. 제12항에 있어서,
    상기 표시 상태는 색상으로 구분되며,
    상기 검사결과를 검출하는 단계는 상기 영상 획득부에서의 카메라 특성에 따른 색상 편차를 반영한 픽셀테이블을 RGB 채널별로 구성하는 단계;
    상기 관심 영역의 크기에 따른 색상 편차를 반영한 색역매핑을 구성하는 단계를 포함하되,
    상기 색역매핑은 상기 픽셀테이블에 기초하여 구성되는 것을 특징으로 하는 카메라를 이용한 수율 관리 방법.
  14. 제13항에 있어서,
    상기 색역매핑을 구성하는 단계는 상기 관심 영역의 크기에 대응되는 거리를 계산하고, 라그랑주 보간법을 통해 상기 거리에 따른 색상 편차 보간을 수행하여 상기 픽셀테이블에 적용함으로써 상기 색역매핑을 구성하는 것을 특징으로 하는 카메라를 이용한 수율 관리 방법.
  15. 제13항에 있어서,
    상기 픽셀테이블을 구성하는 단계는 상기 카메라에서 광원을 촬영한 컬러 영상을 흑백 영상으로 전환하고, 상기 컬러 영상의 RGB 채널 각각과 상기 흑백 영상의 밝기 값을 비교한 차이를 RGB-Gray 채널별 편차량으로 계산하여 상기 픽셀테이블을 구성하는 것을 특징으로 하는 카메라를 이용한 수율 관리 방법.
KR1020190171327A 2019-12-20 2019-12-20 카메라를 이용한 수율 관리 시스템 및 방법 KR102336433B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190171327A KR102336433B1 (ko) 2019-12-20 2019-12-20 카메라를 이용한 수율 관리 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190171327A KR102336433B1 (ko) 2019-12-20 2019-12-20 카메라를 이용한 수율 관리 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210079497A true KR20210079497A (ko) 2021-06-30
KR102336433B1 KR102336433B1 (ko) 2021-12-07

Family

ID=76601976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190171327A KR102336433B1 (ko) 2019-12-20 2019-12-20 카메라를 이용한 수율 관리 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102336433B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961224A (ja) * 1995-08-29 1997-03-07 Mitsubishi Heavy Ind Ltd 移動体の油面検知装置
JPH1011579A (ja) * 1996-06-27 1998-01-16 Toshiba Eng Co Ltd 欠陥検査方法及びその装置
JP2017224935A (ja) * 2016-06-14 2017-12-21 株式会社日立ソリューションズ 物体検知評価システム及び物体検知評価方法
KR20200028261A (ko) * 2018-09-06 2020-03-16 (주) 임픽스 네트워크에 연결할 수 없는 공장설비에 적용할 수 있는 스마트 팩토리 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0961224A (ja) * 1995-08-29 1997-03-07 Mitsubishi Heavy Ind Ltd 移動体の油面検知装置
JPH1011579A (ja) * 1996-06-27 1998-01-16 Toshiba Eng Co Ltd 欠陥検査方法及びその装置
JP2017224935A (ja) * 2016-06-14 2017-12-21 株式会社日立ソリューションズ 物体検知評価システム及び物体検知評価方法
KR20200028261A (ko) * 2018-09-06 2020-03-16 (주) 임픽스 네트워크에 연결할 수 없는 공장설비에 적용할 수 있는 스마트 팩토리 시스템

Also Published As

Publication number Publication date
KR102336433B1 (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
CN111626139A (zh) 一种机房it设备故障信息精准检测方法
CN112396999B (zh) 异常显示块检测方法、显示屏故障检测方法及其设备
US8305438B2 (en) Testing surveillance camera installations
CN113660427A (zh) 一种应用于视频监控测试仪的图像分析系统及其分析方法
CN110418124B (zh) 投影图像检测方法、装置、设备及计算机可读存储介质
WO2017057780A1 (ja) 表示盤や操作盤のデータ収集装置、方法およびプログラム
WO2022135539A1 (zh) 设备配置参数处理方法和装置、数据分析方法和装置、计算设备、计算机可读存储介质、以及计算机程序产品
CN106231295A (zh) 一种显示屏画质自动检测系统、检测方法及其应用
US20130182080A1 (en) Camera testing device and method for testing camera
KR102286470B1 (ko) 원본 영상 정보 및 표출 촬상 정보 유사도 분석을 통한 led 디지털 사이니지 불량 감지 시스템
JP3486229B2 (ja) 画像変化検出装置
CN111896549A (zh) 一种基于机器学习的建筑物裂缝监测系统和方法
CN112595936A (zh) 基于无人机巡检的输电线复合绝缘子智能检测系统
CN116337412A (zh) 屏幕检测方法、设备及存储介质
KR102336433B1 (ko) 카메라를 이용한 수율 관리 시스템 및 방법
WO2020135097A1 (zh) 显示终端通道切换检测方法和装置
JP3888528B2 (ja) 液面認識処理装置及び液面監視システム
US20190346566A1 (en) Surface detection method
KR102210571B1 (ko) Gps 좌표와 이동통신시스템을 이용한 교량과 터널의 안전진단 원격감시 경보방법
CN110930362A (zh) 一种螺钉安全检测方法、装置及系统
JP4043280B2 (ja) 投影画面の評価方法、投影画面の評価装置、投影画面の評価プログラム、および投影画面の評価プログラムを記録したコンピュータ読み取り可能な記録媒体
US20240212127A1 (en) Systems and methods for defect detection on displays
JPH09251538A (ja) 物体存否判断装置および物体存否判断方法
CN117058689B (zh) 用于化工生产的离线检测数据处理方法
JP3985891B2 (ja) 画像欠陥検出装置および画像欠陥検出方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant