KR102167781B1 - 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치 - Google Patents

머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치 Download PDF

Info

Publication number
KR102167781B1
KR102167781B1 KR1020180120731A KR20180120731A KR102167781B1 KR 102167781 B1 KR102167781 B1 KR 102167781B1 KR 1020180120731 A KR1020180120731 A KR 1020180120731A KR 20180120731 A KR20180120731 A KR 20180120731A KR 102167781 B1 KR102167781 B1 KR 102167781B1
Authority
KR
South Korea
Prior art keywords
lighting
illumination
light
vision system
machine vision
Prior art date
Application number
KR1020180120731A
Other languages
English (en)
Other versions
KR20200040604A (ko
Inventor
김호배
Original Assignee
김호배
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김호배 filed Critical 김호배
Priority to KR1020180120731A priority Critical patent/KR102167781B1/ko
Publication of KR20200040604A publication Critical patent/KR20200040604A/ko
Application granted granted Critical
Publication of KR102167781B1 publication Critical patent/KR102167781B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • G01N21/8806Specially adapted optical and illumination features
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D25/00Control of light, e.g. intensity, colour or phase
    • G05D25/02Control of light, e.g. intensity, colour or phase characterised by the use of electric means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N2201/00Features of devices classified in G01N21/00
    • G01N2201/06Illumination; Optics
    • G01N2201/061Sources
    • G01N2201/06106Plural sources used for calibration

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

머신 비전 시스템의 조명을 자동으로 제어하는 방법이 제공된다. 상기 방법은 기준 광도 값을 추출하는 단계; 조명 광도 값을 획득하는 단계; 상기 획득된 조명 광도 값을 상기 추출된 기준 광도 값과 비교하는 단계; 상기 비교의 결과로부터 상기 조명의 이득(gain)을 산출하는 단계; 및 상기 산출된 조명의 이득에 기초하여 상기 조명을 교정하는 단계를 포함할 수 있다.

Description

머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치{A METHOD FOR AUTOMATICALLY CONTROLLING AN ILLUMINATION OF MACHINE VISION SYSTEM, AND AN APPARATUS THEREOF}
본 발명은 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치에 관한 발명으로, 보다 구체적으로는 검사 대상물의 불량 여부 판별을 위해 검사 대상물에 조사되는 조명의 광량이 동일한 검사 대상물을 검사하는 복수의 조명에 대해 일정하게 유지되도록 함으로써 검사 대상물에 대한 검사 신뢰도를 높이는 동시에 소비자에게 양질의 제품을 제공할 수 있고, 그에 따라 제품에 대한 신뢰도 및 소비자 만족도를 보다 개선할 수 있는 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치에 관한 발명이다.
일반적으로, 제품의 생산 과정에서 먼지, 얼룩, 스크래치와 같은 다양한 결함(defect)들이 생길 수 있게 되는데, 이러한 결함을 검사하기 위해서 육안 관찰, 광학 검사, 방사선 투과 검사, 전자 유도 검사 등 다양한 검사 방법들이 이용될 수 있다.
이러한 방법들 중에서 광학 검사는 광을 이용하여 검사 대상물에 존재하는 결함을 검사하는 방법으로서, 예를 들어, 디스플레이, 반도체 및 이와 관련된 회로 등의 제조 과정에서 보편적으로 사용되는 방법이다.
특히, 광학 검사는 광학 검사 장치를 이용하여 검사를 수행할 수 있으며, 검사 과정에 있어서 검사 대상물에 광을 조사한 후 화상 취득 장치를 통해 광이 조사된 후의 화상을 취득하여 결함의 여부를 판단하기 때문에 광학 검사 장치의 조명 기구가 제공하는 광원의 품질은 광학 검사에서 상당한 영향력을 가지고 있으며, 광학 검사 장치에서 제공되는 광원의 품질에 따라 오 판정 사례가 발생할 가능성이 높아지게 된다.
특히, 종래의 광학 검사 장치에서의 광원 장치는 실제 검사 결과에 근거하여 출력되는 광을 모두 수작업으로 조정하였다. 이러한 수작업에 의해 광을 조절하는 것은 인력과 시간을 모두 낭비할 뿐만 아니라, 복수의 광학 검사 장치 간에 있어서 검사 기준을 동일하게 하는 데에 한계가 있기 때문에 제품 검사의 품질을 안정적으로 보장할 수 없다는 문제점이 있었다.
또한, 복수의 검사 대상물을 동시에 검사하기 위해 복수의 라인을 구비하는 시스템에 있어 각 라인에 배치된 조명 사이에 광량 차이가 발생하게 되면, 상이한 영상의 밝기로 인해 비전 인식률이 저하될 뿐만 아니라, 비전 검사의 신뢰도 및 정확도가 낮아질 수 있다는 문제점이 존재한다.
따라서, 머신 비전 시스템에서 검사 대상물에 광을 조사하는 조명의 실제 밝기를 카메라를 이용하여 획득하고 그에 기초하여 조명을 자동으로 교정하고 그에 따라 조명의 밝기를 라인 별로 일정하게 유지하도록 함으로써 검사 인식률 및 신뢰도를 향상시킬 수 있는 새로운 타입의 머신 비전 시스템에 대한 필요가 당업계에서 점차 증가하고 있는 상황이다.
본 발명은 상기 문제점을 해결하기 위한 것으로서, 본 발명은 검사 대상물의 불량 여부 판별을 위해 검사 대상물에 출력되는 조명의 광량이 동일한 검사 대상물을 검사하는 복수의 조명에 대해 일정하게 유지되도록 함으로써 검사 대상물에 대한 검사 신뢰도를 높이는 동시에 소비자에게 양질의 제품을 제공할 수 있고, 그에 따라 제품에 대한 신뢰도 및 소비자 만족도를 보다 개선할 수 있는 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
또한, 본 발명은 복수의 검사 대상물의 불량 여부를 보다 효율적으로 검사함으로써 시간과 비용을 절약할 수 있을 뿐만 아니라 검사 대상물의 생산성을 향상시킬 수 있는 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치를 제공하는 것을 목적으로 한다.
상기의 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 머신 비전 시스템의 조명을 자동으로 제어하는 방법은, 기준 광도 값을 추출하는 단계; 조명 광도 값을 획득하는 단계; 상기 획득된 조명 광도 값을 상기 추출된 기준 광도 값과 비교하는 단계; 상기 비교의 결과로부터 상기 조명의 이득을 산출하는 단계; 및 상기 산출된 조명의 이득에 기초하여 상기 조명을 교정하는 단계를 포함할 수 있다.
또한, 보다 바람직하게는, 상기 기준 광도 값을 추출하는 단계는, 동일한 타입의 조명 복수 개 각각으로부터 조사된 광이 표준 시편에 의해 반사되는 광량을 카메라를 통해 획득하는 단계; 및 상기 복수 개의 조명 각각에 대해 획득된 광량에 기초하여 상기 기준 광도 값을 추출하는 단계를 포함할 수 있다.
또한, 보다 바람직하게는, 상기 복수 개의 조명 각각에 대해 획득된 광량에 기초하여 상기 기준 광도 값을 추출하는 단계는, 상기 복수 개의 조명 각각에 대해 획득된 광량을 평균하여 상기 기준 광도 값을 추출하는 단계를 포함할 수 있다.
또한, 보다 바람직하게는, 상기 비교의 결과로부터 상기 조명의 오프셋을 산출하는 단계; 및 상기 산출된 조명의 오프셋에 기초하여 상기 조명을 교정하는 단계를 더 포함할 수 있다.
또한, 상기의 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 컴퓨터 판독 가능한 기록 매체는, 상기의 방법을 수행하기 위한 프로그램이 기록될 수 있다.
또한, 상기의 기술적 과제를 해결하기 위한 본 발명의 추가 실시예에 따른 자동 조명 제어가 가능한 머신 비전 시스템은, 기준 광도 값을 추출하고, 조명 광도 값을 획득하며, 상기 획득된 조명 광도 값을 상기 추출된 기준 광도 값과 비교하고, 그리고 상기 비교의 결과로부터 조명의 이득을 산출하도록 구성되는 연산 장치; 및 상기 연산 장치로부터 출력되는 조명의 이득에 기초하여 상기 조명을 교정하도록 구성되는 조명 제어기를 포함할 수 있다.
또한, 보다 바람직하게는, 상기 연산 장치는, 동일한 타입의 조명 복수 개 각각으로부터 조사된 광이 표준 시편에 의해 반사되는 광량을 카메라를 통해 획득하고; 그리고 상기 복수 개의 조명 각각에 대해 획득된 광량에 기초하여 상기 기준 광도 값을 추출하도록 구성될 수 있다.
또한, 보다 바람직하게는, 상기 연산 장치는, 상기 복수 개의 조명 각각에 대해 획득된 광량을 평균하여 상기 기준 광도 값을 추출하도록 추가로 구성될 수 있다.
또한, 보다 바람직하게는, 상기 연산 장치는 상기 비교의 결과로부터 상기 조명의 오프셋(offset)을 산출하도록 추가로 구성되고, 상기 조명 제어기는 상기 산출된 조명의 오프셋에 기초하여 상기 조명을 교정하도록 추가로 구성될 수 있다.
본 발명의 일 실시예에 따른 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치에 의하면, 검사 대상물의 불량 여부 판별을 위해 검사 대상물에 출력되는 조명의 광량이 동일한 검사 대상물을 검사하는 복수의 조명에 대해 일정하게 유지되도록 함으로써 검사 대상물에 대한 검사 신뢰도를 높이는 동시에 소비자에게 양질의 제품을 제공할 수 있고, 그에 따라 제품에 대한 신뢰도 및 소비자 만족도를 보다 개선할 수 있다.
또한, 본 발명의 일 실시예에 따른 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치에 의하면, 복수의 검사 대상물의 불량 여부를 보다 효율적으로 검사함으로써 시간과 비용을 절약할 수 있을 뿐만 아니라 검사 대상물의 생산성을 향상시킬 수 있다.
본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일반적인 머신 비전 시스템의 개략적인 블록도를 도시한다.
도 2a는 머신 비전 시스템에서 복수의 조명에서 출력되는 광의 세기가 상이함을 설명하기 위한 개략도이고, 도 2b는 도 2a에서 언급된 문제점에 대한 종래의 해소 방안을 설명하기 위한 개략도이다.
도 3은 본 발명의 일 실시예에 따른 자동 조명 제어가 가능한 머신 비전 시스템(1000)의 개략적인 블록도이다.
도 4는 본 발명의 일 실시예에 따른 머신 비전 시스템의 조명을 자동으로 제어하는 방법(S400)의 개략적인 순서도이다.
도 5는 본 발명의 일 실시예에 따라 기준 광도 값을 추출하는 실시예를 설명하기 위한 예시도이다.
도 6은 본 발명의 일 실시예에 따른 머신 미전 시스템(100)의 자동 조명 제어 기법이 적용되어 균일한 광량이 출력되는 구성에 대한 개략도이다.
도 7은 본 발명의 일 실시예에 따른 이득 교정 및 오프셋 교정을 설명하기 위한 개략도이다.
이하, 본 발명에 따른 실시예들은 첨부된 도면들을 참조하여 설명한다. 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면 상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 실시예들을 설명할 것이나, 본 발명의 기술적 사상은 이에 한정되거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.
도 1은 일반적인 머신 비전 시스템(machine vision system)의 개략적인 블록도를 도시한다. 용어 ‘머신 비전 시스템’은 카메라(21)를 이용하여 획득한 영상을 처리함으로써 목적하는 결과를 획득하도록 구성되는 시스템으로서, 기계에 시각을 부여함으로써 기존에 사람에 의해 처리되었던 다양한 작업들을 자동화하여 기계가 처리하는 기술에 해당한다.
일반적으로, 머신 비전 시스템은 프레임 그래버(11, frame grabber)가 구비되는 PC(10)와, 카메라(21)와, 렌즈(22)와, 조명장치(23)와, 조명 제어기(30) 등으로 구성될 수 있다. 조명 제어기(30)의 제어 하에 조명장치(23)로부터 검사 대상물(40)로 소정의 광의 조사되고, 검사 대상물(40)에 의해 반사된 광은 렌즈(22)를 통해 카메라(21)에 이미지로서 획득될 수 있다. 카메라(21)에서 획득된 이미지는 아날로그 영상 신호로 개인용 컴퓨터(PC, 10)로 전달되며, 그 내부에 장착된 프레임 그래버(11)를 통해 샘플 당 정의된 비트로 디지털화되어 PC(10)가 처리할 수 있는 신호로 변환될 수 있다.
머신 비전 시스템을 구성하는 여러가지 구성 중에서 조명장치(23)는 그 품질과 종류에 따라 검사 대상물(40)의 인식률을 결정하고, 따라서 머신 비전 시스템의 검사 품질에 가장 큰 영향을 미치는 구성 요소에 해당한다. 하지만, 일반적인 머신 비전 시스템에서 조명 제어기(30)는 조명장치(23) 구동을 위한 출력인 전류(또는 전압)에 대해서만 하드웨어적인 보상만을 수행할 뿐이어서 실제로 조명장치(23)가 방출하는 광의 밝기에 대한 정보는 전혀 알 수가 없고, 따라서 검사 대상물(40)을 검사하기 위해서 복수의 조명 라인을 구비하는 머신 비전 시스템에서 동일한 조명 제어기(30)와 동일한 조명장치(23)를 배치하여 사용하는 경우에도 조명의 밝기 편차가 발생하게 되어 이를 수동으로 조절하여 사용해야만 하는 불편함이 있다.
도 2a는 머신 비전 시스템에서 복수의 조명에서 출력되는 광의 세기가 상이함을 설명하기 위한 개략도이고, 도 2b는 도 2a의 문제점에 대한 종래의 해소 방안을 설명하기 위한 개략도이다.
도 2a 도시되는 바와 같이 동일한 조명 제어기(30-1, 30-2, 30-3)와 동일한 조명장치(23-1, 23-2, 23-3)가 각 라인에 구비되고 동일한 조명 밝기 설정값(예를 들어, 100)이 조명 제어기(30-1, 30-2, 30-3)에 입력됨에도 불구하고, 조명장치(23)의 밝기 특성, 조명 제어기(30)의 성능 차이, 등의 다양한 요인으로 인해 조명장치(23-1, 23-2, 23-3)에서 상이한 밝기를 갖는 광이 출력되고, 이는 검사 대상물(40)에 대한 비전 인식의 차이(예를 들어, 제1 조명(23-1)에서는 검사 대상물이 정상적으로 인식이 됨에 반해, 제2 조명(23-2)과 제3 조명(23-3)에서는 검사 대상물이 인식되지 않음)를 유발하게 됨으로써 비전 검사에 대한 사용자 신뢰도를 하락시키는 주된 원인이 되고 있다.
도 2a에 도시되는 문제점을 해결하기 위해서 종래에는 도 2b에 도시되는 바와 같이 각 라인의 조명 밝기 설정값을 수동으로 다른 값을 입력함으로써, 예를 들어, 제1 조명(23-1)보다 더 낮은 광량을 출력하는 제2 조명(23-2)에 대해서는 조명 밝기 설정값을 제1 조명(23-1)보다 더 높게 입력하고(예를 들어, 120), 제2 조명(23-2)보다 더 낮은 광량을 출력하는 제3 조명(23-3)에 대해서는 조명 밝기 설정값을 제2 조명(23-2)보다 더 높게 입력함으로써(예를 들어, 150), 조명장치(23-1, 23-2, 23-3)의 출력 광량을 일정하게 맞추는 방식을 사용하였지만, 이러한 방식은 각 라인 별 조명 밝기가 동일한 값으로 호환되지 않으므로 유지 보수에 어려움이 많다는 문제가 있다.
이와 같은 종래의 조명 수동 조절 방식을 보완하기 위해서는 각 라인의 조명에 대해 균일한 밝기(또는 광량)를 유지하도록 조명의 출력 편차 및 광 소자의 편차를 보상하는 것이 바람직하며, 이하에서는 도 3 내지 도 7을 참조하여 본 발명자들이 제안하는 머신 비전 시스템에서의 자동 조명 제어 방법 및 그 장치를 구체적으로 기술하도록 한다.
도 3은 본 발명의 일 실시예에 따른 자동 조명 제어가 가능한 머신 비전 시스템(1000)의 개략적인 블록도이다. 도 3에 도시되는 바와 같이, 본 발명의 일 실시예에 따른 머신 비전 시스템(1000)은 카메라(110)와, 렌즈(120)와, 조명(130)과, 표준 시편(200)과, 연산 장치(300)와, 조명 제어기(400)로 구성될 수 있다. 참고로, 도 3에 도시되는 머신 비전 시스템(1000)의 구성요소(110, 120, 130, 200, 300, 310, 320, 330, 400)은 본 발명에 따른 머신 비전 시스템(1000)의 기능, 동작 등을 설명하기 위한 예시적인 구성요소에 해당하며, 따라서 도시된 구성요소 이외의 추가의 구성요소(예를 들어, 입/출력 유닛, 통신 유닛, 미러, 케이블, 등)가 더 구비될 수 있음은 명백할 것이다.
조명(130)은 조명 제어기(400)로부터의 출력(즉, 조명 제어 신호)에 대응하는 밝기의 광을 출력하도록 구성될 수 있다. 여기서, 조명 제어기(400)가 조명(130)에게 제공하는 출력 신호(iLED.cal)는 연산 장치(300)에서, 보다 구체적으로는 교정 유닛(330)에 의해 산출된 이득(gain) 및/또는 오프셋(offset)이 반영된 신호로서, 종래의 조명 제어기가 단순히 조명 밝기 설정값에 대응하는 제어 신호를 출력하는 것과 명백하게 구별된다. 연산 장치(300)에 의한 이득 및/또는 오프셋의 산출과, 그에 따른 조명 제어기(400)의 출력 보상에 대해서는 이하에서 다시 상술하기로 한다. 참고로, 조명 제어기(400)는 프로세서(processor), 마이크로프로세서(micro-processor), 컨트롤러(controller), 마이크로컨트롤러(micro-controller) 등으로 구현될 수 있으며, 조명(130)과 전기/전자적으로 연결되어 조명(130)의 동작, 출력 등을 제어하도록 구성될 수 있다.
또한, 조명(130)은 복수의 라인에 각각 구비되어 조명 제어기(400)로부터 출력되는 제어 신호(iLED.cal)에 따라 결정되는 밝기를 갖는 광을 조사하도록 구성될 수 있고, 예를 들어 조명(130)은 백열등, 형광등, 나트륨 램프, 세라믹 메탈 등 다양한 종류의 광원으로 구현되는 것이 가능하나, 보다 바람직하게는 상대적으로 에너지 효율이 높은 발광 다이오드(LED)로 구현될 수 있다.
카메라(110)는 조명(130)의 상부에 배치되어 조명(130)에서 방출된 광이 렌즈(120)(예를 들어, 콜리메이션 렌즈 등)를 통해 검사 대상물로부터 반사되는 이미지를 획득하고 획득된 이미지의 광도를 검출할 수 있다. 예를 들어, 카메라(110)는 CCD(Charge Coupled Device; 전자 결합 소자), CMOS(Complementary metal-oxide semiconductor, 상보적 금속-산화물 반도체) 등의 소재로 구현될 수 있으나, 이들에 한정되지는 않는다. 카메라(110)로부터 획득되는 조명(130)의 실제 밝기에 관한 데이터가 연산 장치(300)로 전달될 수 있으며, 그에 따라 연산 장치(300)에서 특정 조명의 조명 광도 값을 획득하는 데에 활용될 수 있다. 이에 대해서는 이하에서 보다 상술하기로 한다.
도 3에 도시되는 바와 같이, 본 발명의 일 실시예에 따른 머신 비전 시스템(1000)은 카메라(110)와 조명 제어기(400) 사이에 배치되어 기능적으로 결합되는 연산 장치(300)를 포함하고, 여기서 연산 장치(300)는 프레임 그래버(310)와, 메모리(320)와, 교정 유닛(330)으로 구성될 수 있다. 참고로, 연산 장치(300)는 개인용 컴퓨터(PC; personal computer) 등으로 구현될 수 있다.
프레임 그래버(310)는 카메라(110)로부터 획득되는 아날로그 이미지 신호를 샘플 당 정의된 비트로 디지털화하여 연산 장치(300)가 처리할 수 있는 신호로 변환하도록 구성되는 장비로서, 이미지 보드(image board), 비전 보드(vision board) 등의 다른 용어로도 지칭될 수 있다. 예를 들어, 프레임 그래버(310)는 카메라(110)가 소정의 주기로(예를 들어, 1/30초) 화면을 주사하는 주사 속도에 맞추어 영상을 수집하고, 입력된 영상을 연산 장치(300)의 메모리(320)에 저장할 수 있다. 즉, 프레임 그래버(310)는 카메라(110)로부터 전송된 영상 데이터를 시스템 메모리로 전달해주는 역할을 수행한다.
메모리(320)는 본 발명에 따른 머신 비전 시스템(1000)에서 필요한 다양한 데이터, 정보, 신호 등을 저장할 수 있다. 예를 들어, 메모리(320)는 프레임 그래버(310)에 의해 디지털 신호로 변환된 이미지 정보, 교정 유닛(330)에 의해 추출된 기준 광도 값, 교정 유닛(330)에 의해 획득된 개별 조명의 조명 광도 값, 교정을 위한 이득 임계치, 교정을 위한 오프셋 임계치, 등을 저장할 수 있다. 참고로, 메모리(320)는 임의의 타입으로 구현될 수 있고, 예를 들어 통상의 기술자에게 알려진 바와 같이, HDD(Hard Disk Drive), ROM(Read Only Memory), RAM(Random Access Memory), EEPROM(Electrically Erasable and Programmable Read Only Memory), 플래시 메모리(flash memory), CF(Compact Flash) 카드, SD(Secure Digital) 카드, SM(Smart Media) 카드, MMC(Multimedia) 카드 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 다양한 형태의 저장 장치로서 구현될 수 있다.
교정 유닛(calibration unit, 330)은 카메라(110)에 의해 획득되고 프레임 그래버(310)에 의해 변환된 이미지 정보에 기초하여, (i) 자동 조명 제어를 위한 기준 광도 값을 추출하고, (ii) 조명 광도 값을 추출하며, (iii) 획득된 조명 광도 값과 산출된 기준 광도 값을 비교하고 비교의 결과로부터 조명의 이득(dgain) 및/또는 오프셋(doffset)을 산출하도록 구성될 수 있다. 교정 유닛(330)의 보다 구체적인 동작, 기능에 대해서는 이하의 도 4와 관련하여 보다 구체적으로 기술하기로 한다.
도 4는 본 발명의 일 실시예에 따른 머신 비전 시스템의 조명을 자동으로 제어하는 방법(S400)의 개략적인 순서도이다.
도 3과 도 4를 함께 참조하면, 교정 유닛(330)은 표준 시편(200)으로부터 반사된 광량에 기초하여 기준 광도 값을 추출할 수 있다(S410). 보다 구체적으로, 조명 제어기(400)가 조명(130)의 밝기 값을 0부터 255까지 5비트 단위로 증가시키면서 표준 시편(200)에서 반사되는 광량을 카메라(110)를 통해 이미지로 획득할 수 있다. 참고로, 본 명세에서는 조명의 광도 값을 추출하기 위한 과정으로서 조명(130)의 밝기 값을 0부터 255까지 5비트 단위로 증가시키는 구성을 예시적으로 기술하지만, 밝기 값의 범위와 증가 폭은 다양한 구현예 또는 실시예에 따라 변경될 수 있음은 명백할 것이다. 또한, 본 발명에서 사용되는 표준 시편(200)은 18%의 표준 반사율을 갖는 그레이 카드(18% Gray Scale Balanced Card)일 수 있으나, 다른 유사한 타입의 표준 시편이 동일 또는 유사하게 본 발명의 다양한 실시예들에 적용될 수 있다.
교정 유닛(330)은 동일한 타입의 조명(130) 복수 개에 대해서 상기의 과정을 반복할 수 있으며, 도 5의 (a)는 본 발명의 일 실시예에 따라 복수의 조명에 대해 표준 시편(200)에 의해 반사되는 이미지를 획득함으로서 각 조명의 실제 광도 값을 획득하는 실시예를 설명하기 위한 예시도에 해당한다. 도 5의 (a)에 도시되는 바와 같이, 복수의 라인에 각각 배치되는 조명(130)이 동일한 타입을 갖는 동일한 조명임에도 불구하고 출력되는 광량에 있어 서로 편차가 존재한다는 것을 그래프를 통해 확인할 수 있다.
교정 유닛(330)은 복수 개의 조명(130) 각각에 획득된 광량에 기초하여 기준 광도 값을 추출하도록 구성될 수 있으며, 도 5의 (b)는 본 발명의 일 실시예에 따른 기준 광도 값의 예시도에 해당한다. 복수의 조명에 대해 기준 광도 값을 추출하는 구성은 다양할 수 있으며, 예를 들어 복수의 조명 중 가장 높은 광량을 갖는 조명의 광도를 기준 광도 값으로 설정할 수 있고, 복수의 조명 중 미리 결정된 특정 조명의 광도를 기준 광도 값으로 설정할 수도 있으며, 복수의 조명에 대한 평균 광도를 기준 광도 값으로 설정할 수도 있다. 후자의 경우, 본 발명의 추가 실시예에 따른 교정 유닛(330)은 복수 개의 조명(130) 각각에 대해 획득된 광량을 평균하여 기준 광도 값을 추출하도록 추가로 구성될 수 있으며, 그러한 예가 도 5의 (b)에 도시된다.
교정 유닛(330)에 의해 기준 광도 값이 추출되면, 기준 광도 값에 관한 정보는 메모리(320)에 저장되어 추후 교정 작업에 활용될 수 있으며, 그 후속 단계로서 교정 유닛(330)은 개별 조명에 대한 조명 광도 값을 획득할 수 있다(S420). 즉, 조명 교정을 위한 기준 광도 값이 추출된 이후에, 각 조명(130)의 교정을 위한 동작이 순차적으로 수행될 수 있다. 예를 들어, 조명 제어기(400)에 의해 0부터 255까지 5 비트 단위로 조명(130)에 제어 신호를 출력하면서 카메라(110)를 통해 표준 시편(200)으로부터 반사되는 이미지를 포착함으로써 특정 조명에 대한 조명 광도 값을 획득할 수 있다.
교정 유닛(330)은 획득된 조명 광도 값과 기준 광도 값을 비교하고(S430), 그 비교의 결과로서 조명의 이득을 산출하거나(S441) 그리고/또는 조명의 오프셋을 산출할 수 있다(S442). 참고로, 이하의 본 명세서에서는 특정 조명의 교정을 위한 이득 데이터를 dgain로 표시하고, 특정 조명의 교정을 위한 오프셋 데이터를 doffset으로 표시하기로 한다.
교정 유닛(330)에 의해 산출된 이득 데이터(dgain) 및/또는 오프셋 데이터(doffset)는 통신부(미도시)를 통해 조명 제어기(400)로 전달될 수 있으며, 조명 제어기(400)는 이득 데이터(dgain) 및/또는 오프셋 데이터(doffset)에 기초하여 교정된 제어 신호(iLED.cal)를 출력함으로써 해당 조명을 교정할 수 있다(S451 및 S452).
참고로, 도 4에는 조명의 이득을 산출하고 그에 따라 조명을 교정하는 단계(S441 및 S451)와 조명의 오프셋을 산출하고 그에 따라 조명을 교정하는 단계(S442 및 S452)가 병렬적인 단계로서 기술되었으나, 본 발명의 추가 실시예에 따르면 조명의 오프셋을 산출하고 그에 따라 조명을 교정하는 단계(S442 및 S452)가 조명의 이득을 산출하고 그에 따라 조명을 교정하는 단계(S441 및 S451)에 후속하여 수행될 수도 있다.
이와 관련하여, 본 발명의 추가 실시예에 따르면 이득 교정을 위한 이득 임계치 및/또는 오프셋 교정을 위한 오프셋 임계치가 추가로 설정될 수 있고, 이득 임계치 및/또는 오프셋 임계치는 메모리(320)에 저장될 수 있으며, 교정 유닛(330)은 기준 광도 값과 조명 광도 값을 비교한 결과 이득 및/또는 오프셋의 차이가 미리 설정된 이득 임계치 및/또는 오프셋 임계치를 초과하는 경우에 해당 조명에 대한 이득(dgain) 및/또는 오프셋(doffset)을 산출하고 이를 조명 제어기(400)에 전달함으로써 해당 조명을 교정하도록 추가로 구성될 수도 있다. 참고로, 조명 제어기(400)는 정전류(또는 정전압) 구동을 위한 LED 드라이버 회로(예를 들어, 정밀 제어가 가능한 LED 드라이버 회로)로서 설계될 수 있고, 교정 알고리즘을 내부에 내장할 수 있으며, 출력 교정을 위한 16비트의 아날로그-디지털 변환 회로(ADC)를 구비할 수 있다.
도 6은 본 발명의 일 실시예에 따른 머신 미전 시스템(100)의 자동 조명 제어 기법이 적용되어 균일한 광량이 출력되는 구성에 대한 개략도이다. 도 6에 도시되는 바와 같이, 조명 밝기 설정값을 동일하게 하고 조명 제어기(400)가 교정 유닛(330)으로부터 산출된 이득 데이터(dgain) 및/또는 오프셋 데이터(doffset)에 기초하여 교정된 제어 신호(iLED#1.cal, iLED#2.cal 및 iLED#3.cal)를 출력하여 각 조명의 밝기를 제어함으로써, 조명의 밝기 특성, 조명 제어기의 성능 차이 등에도 불구하고, 각 조명(130-1, 130-2, 130-3)의 광량을 동일하게 출력되도록 할 수 있으며, 따라서 머신 비전 시스템을 통한 검사 대상물의 검사 신뢰도를 상당히 개선할 수 있을 뿐만 아니라 사용자 편의성을 보다 증대시킬 수 있다.
도 7은 본 발명의 일 실시예에 따른 이득 교정 및 오프셋 교정을 설명하기 위한 개략도이다.
도 7의 (a)는 교정 이전의 각 조명의 광량을 측정하여 기록한 그래프에 해당하고 동일한 타입의 조명임에도 불구하고 각각 상이한 광량 출력을 나타냄을 알 수 있다. 도 7의 (b)는 기준 광도 값에 대한 이득 교정 이후의 각 조명의 광량을 기록한 그래프에 해당하고, 각 조명의 광량에 대한 이득(즉, 기울기)이 균일하게 조정되었음을 확인할 수 있다.
도 7의 (b)에서 각 조명에 대해 이득이 교정되었음에도 불구하고 조명 간에 오프셋(예를 들어, 기준 광도 값을 기준으로 좌측으로는 마이너스 오프셋, 그리고 기준 광도 값을 기준으로 우측으로는 플러스 오프셋)이 존재함을 알 수 있고, 이 오프셋을 교정한 이후의 각 조명의 광량이 도 7의 (c)에 예시적으로 도시된다. 도 7의 (c)에 도시되는 바와 같이 이득 및 오프셋 교정 이후에 복수의 조명에 대한 출력 광량이 모두 기준 광도 값을 따르게 함으로써 동일하게 구현됨을 확인할 수 있다.
상술한 바와 같이, 본 발명의 일 실시예에 따른 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치에 의하면, 검사 대상물의 불량 여부 판별을 위해 검사 대상물에 출력되는 조명의 광량이 동일한 검사 대상물을 검사하는 복수의 조명에 대해 일정하게 유지되도록 함으로써 검사 대상물에 대한 검사 신뢰도를 높이는 동시에 소비자에게 양질의 제품을 제공할 수 있고, 그에 따라 제품에 대한 신뢰도 및 소비자 만족도를 보다 개선할 수 있다.
또한, 본 발명의 일 실시예에 따른 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치에 의하면, 복수의 검사 대상물의 불량 여부를 보다 효율적으로 검사함으로써 시간과 비용을 절약할 수 있을 뿐만 아니라 검사 대상물의 생산성을 향상시킬 수 있다.
한편, 본 명세서에 기재된 다양한 실시예들은 하드웨어, 미들웨어, 마이크로코드, 소프트웨어 및/또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 실시예들은 하나 이상의 주문형 반도체(ASIC)들, 디지털 신호 프로세서(DSP)들, 디지털 신호 프로세싱 디바이스(DSPD)들, 프로그램어블 논리 디바이스(PLD)들, 필드 프로그램어블 게이트 어레이(FPGA)들, 프로세서들, 컨트롤러들, 마이크로컨트롤러들, 마이크로프로세서들, 여기서 제시되는 기능들을 수행하도록 설계되는 다른 전자 유닛들 또는 이들의 조합 내에서 구현될 수 있다.
또한, 예를 들어, 다양한 실시예들은 명령들을 포함하는 컴퓨터-판독가능한 매체에 수록되거나 인코딩될 수 있다. 컴퓨터-판독가능한 매체에 수록 또는 인코딩된 명령들은 프로그램 가능한 프로세서 또는 다른 프로세서로 하여금 예컨대, 명령들이 실행될 때 방법을 수행하게끔 할 수 있다. 컴퓨터-판독가능한 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수도 있다. 예를 들어, 이러한 컴퓨터-판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 기타 광학 디스크 저장 매체, 자기 디스크 저장 매체 또는 기타 자기 저장 디바이스를 포함할 수 있다.
이러한 하드웨어, 소프트웨어, 펌웨어 등은 본 명세서에 기술된 다양한 동작들 및 기능들을 지원하도록 동일한 디바이스 내에서 또는 개별 디바이스들 내에서 구현될 수 있다. 추가적으로, 본 발명에서 "~부"로 기재된 구성요소들, 유닛들, 모듈들, 컴포넌트들 등은 함께 또는 개별적이지만 상호 운용 가능한 로직 디바이스들로서 개별적으로 구현될 수 있다. 모듈들, 유닛들 등에 대한 서로 다른 특징들의 묘사는 서로 다른 기능적 실시예들을 강조하기 위해 의도된 것이며, 이들이 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 실현되어야만 함을 필수적으로 의미하지 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 관련된 기능은 개별 하드웨어 또는 소프트웨어 컴포넌트들에 의해 수행되거나 또는 공통의 또는 개별의 하드웨어 또는 소프트웨어 컴포넌트들 내에 통합될 수 있다.
특정한 순서로 동작들이 도면에 도시되어 있지만, 이러한 동작들이 원하는 결과를 달성하기 위해 도시된 특정한 순서, 또는 순차적인 순서로 수행되거나, 또는 모든 도시된 동작이 수행되어야 할 필요가 있는 것으로 이해되지 말아야 한다. 임의의 환경에서는, 멀티태스킹 및 병렬 프로세싱이 유리할 수 있다. 더욱이, 상술한 실시예에서 다양한 구성요소들의 구분은 모든 실시예에서 이러한 구분을 필요로 하는 것으로 이해되어서는 안되며, 기술된 구성요소들이 일반적으로 단일 소프트웨어 제품으로 함께 통합되거나 다수의 소프트웨어 제품으로 패키징될 수 있다는 것이 이해되어야 한다.
이상에서와 같이 도면과 명세서에서 최적 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
110: 카메라 120: 렌즈
130: 조명 200: 표준 시편
300: 연산 장치 310: 프레임 그래버
320: 메모리 330: 교정 유닛
400: 조명 제어기 1000: 머신 비전 시스템

Claims (9)

  1. 머신 비전 시스템의 조명을 자동으로 제어하는 방법으로서,
    기준 광도 값을 추출하는 단계;
    조명 광도 값을 획득하는 단계;
    상기 획득된 조명 광도 값을 상기 추출된 기준 광도 값과 비교하는 단계;
    상기 비교의 결과로부터 상기 조명의 이득(gain)을 산출하는 단계; 및
    상기 산출된 조명의 이득에 기초하여 상기 조명을 교정하는 단계
    를 포함하고,
    상기 기준 광도 값을 추출하는 단계는,
    복수 개의 조명 각각의 밝기 값을 점차 증가시키는 단계;
    상기 복수 개의 조명 각각에 의하여 표준 시편으로부터 반사되는 이미지에 기초하여 각각의 광량을 획득하는 단계; 및
    상기 획득된 각각의 광량에 기초하여 상기 기준 광도 값을 추출하는 단계
    를 포함하는,
    머신 비전 시스템의 조명을 자동으로 제어하는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 획득된 각각의 광량에 기초하여 상기 기준 광도 값을 추출하는 단계는,
    상기 복수 개의 조명 각각에 대해 획득된 광량을 평균하여 상기 기준 광도 값을 추출하는 단계를 포함하는,
    머신 비전 시스템의 조명을 자동으로 제어하는 방법.
  4. 제 1 항에 있어서,
    상기 비교의 결과로부터 상기 조명의 오프셋(offset)을 산출하는 단계; 및
    상기 산출된 조명의 오프셋에 기초하여 상기 조명을 교정하는 단계를 더 포함하는,
    머신 비전 시스템의 조명을 자동으로 제어하는 방법.
  5. 컴퓨터에 의해 제 1 항, 제 3 항 및 제 4 항 중 어느 한 항에 따른 방법을 수행하기 위한 프로그램이 기록되는,
    컴퓨터 판독 가능한 기록 매체.
  6. 자동 조명 제어가 가능한 머신 비전 시스템으로서,
    기준 광도 값을 추출하고, 조명 광도 값을 획득하며, 상기 획득된 조명 광도 값을 상기 추출된 기준 광도 값과 비교하고, 그리고 상기 비교의 결과로부터 조명의 이득을 산출하도록 구성되는 연산 장치; 및
    상기 연산 장치로부터 출력되는 조명의 이득에 기초하여 상기 조명을 교정하도록 구성되는 조명 제어기
    를 포함하고,
    상기 연산 장치에 의하여 상기 기준 광도 값이 추출됨에 있어서,
    상기 조명 제어기는, 복수 개의 조명 각각의 밝기 값을 점차 증가시키도록 추가로 구성되고,
    상기 연산 장치는, 상기 복수 개의 조명 각각에 의하여 표준 시편으로부터 반사되는 이미지에 기초하여 각각의 광량을 획득하며, 상기 획득된 각각의 광량에 기초하여 상기 기준 광도 값을 추출하도록 추가로 구성되는,
    자동 조명 제어가 가능한 머신 비전 시스템.
  7. 삭제
  8. 제 6 항에 있어서,
    상기 연산 장치는, 상기 복수 개의 조명 각각에 대해 획득된 광량을 평균하여 상기 기준 광도 값을 추출하도록 추가로 구성되는,
    자동 조명 제어가 가능한 머신 비전 시스템.
  9. 제 6 항에 있어서,
    상기 연산 장치는, 상기 비교의 결과로부터 상기 조명의 오프셋(offset)을 산출하도록 추가로 구성되고,
    상기 조명 제어기는, 상기 산출된 조명의 오프셋에 기초하여 상기 조명을 교정하도록 추가로 구성되는,
    자동 조명 제어가 가능한 머신 비전 시스템.
KR1020180120731A 2018-10-10 2018-10-10 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치 KR102167781B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180120731A KR102167781B1 (ko) 2018-10-10 2018-10-10 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180120731A KR102167781B1 (ko) 2018-10-10 2018-10-10 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20200040604A KR20200040604A (ko) 2020-04-20
KR102167781B1 true KR102167781B1 (ko) 2020-10-19

Family

ID=70467464

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180120731A KR102167781B1 (ko) 2018-10-10 2018-10-10 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR102167781B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102667761B1 (ko) 2023-01-11 2024-05-21 심필관 컨트롤러 일체형 머신비전용 조명모듈

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003017899A (ja) 2001-06-28 2003-01-17 Sanyo Electric Co Ltd 電子部品組立装置の認識における照度補正方法、照度補正装置、照明装置の寿命検出方法及び寿命検出装置
JP2004150855A (ja) 2002-10-29 2004-05-27 Nikon Corp 測定機の光量補正方法及び光量補正装置
JP5379932B1 (ja) 2012-04-16 2013-12-25 オリンパスメディカルシステムズ株式会社 撮像システム、撮像方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101412160B1 (ko) * 2008-10-31 2014-06-26 삼성테크윈 주식회사 비전인식장치의 조명부 광량 교정방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003017899A (ja) 2001-06-28 2003-01-17 Sanyo Electric Co Ltd 電子部品組立装置の認識における照度補正方法、照度補正装置、照明装置の寿命検出方法及び寿命検出装置
JP2004150855A (ja) 2002-10-29 2004-05-27 Nikon Corp 測定機の光量補正方法及び光量補正装置
JP5379932B1 (ja) 2012-04-16 2013-12-25 オリンパスメディカルシステムズ株式会社 撮像システム、撮像方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102667761B1 (ko) 2023-01-11 2024-05-21 심필관 컨트롤러 일체형 머신비전용 조명모듈

Also Published As

Publication number Publication date
KR20200040604A (ko) 2020-04-20

Similar Documents

Publication Publication Date Title
AU2007352792B2 (en) Lumber inspection method, device and program
US20160267647A1 (en) Information processing apparatus, information processing method, and storage medium
KR100990641B1 (ko) Led 검사 장치 및 그 방법
KR101284268B1 (ko) 비전시스템의 이미지 품질 향상을 위한 컬러조명 제어방법
JP6303352B2 (ja) 外観検査システム
CN102109412B (zh) 校准光源的方法
JP2007292576A (ja) 電子部品の外観検査装置
KR102167781B1 (ko) 머신 비전 시스템의 조명을 자동으로 제어하는 방법 및 그 장치
JP2020167433A (ja) 検査装置及び検査方法
JP2007309729A (ja) プレス加工品の外観検査方法とそれに用いる外観検査装置
MY196733A (en) Intraocular lens inspection
KR101289826B1 (ko) Led 검사 장치 및 그 방법
KR100773584B1 (ko) 영상을 이용한 조명 제어 방법
JP4695535B2 (ja) 輝度補正付き照明装置を有する画像処理システム
US20210264639A1 (en) Determination of defects in light sources integrated with cameras
KR101993654B1 (ko) 표시패널의 얼룩 검사 장치 및 그 방법
JP2002310939A (ja) 気泡検査装置
US10091443B2 (en) Camera system and method for inspecting and/or measuring objects
TW201928307A (zh) 發光源檢測系統及其檢測方法
JP2015210226A (ja) 外観検査装置及び外観検査方法
US10466179B2 (en) Semiconductor device inspection of metallic discontinuities
KR20150024122A (ko) 차량용 부품 표면 검사 방법
JP2008292398A (ja) 部品電極の浮き不良の検査方法および基板検査装置
JPH10187928A (ja) 画像処理用カラー照明装置と被測定物検出装置
JP6572648B2 (ja) 粒状樹脂検査装置ならびに検査方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant