KR20170050448A - 이미지 상의 객체 검출 방법 및 객체 검출 장치 - Google Patents
이미지 상의 객체 검출 방법 및 객체 검출 장치 Download PDFInfo
- Publication number
- KR20170050448A KR20170050448A KR1020150151982A KR20150151982A KR20170050448A KR 20170050448 A KR20170050448 A KR 20170050448A KR 1020150151982 A KR1020150151982 A KR 1020150151982A KR 20150151982 A KR20150151982 A KR 20150151982A KR 20170050448 A KR20170050448 A KR 20170050448A
- Authority
- KR
- South Korea
- Prior art keywords
- data
- image
- learning
- partial data
- grid
- Prior art date
Links
Images
Classifications
-
- G06K9/627—
-
- G06K9/3233—
-
- G06K9/6278—
-
- G06K9/6284—
Landscapes
- Image Analysis (AREA)
Abstract
이미지 상의 객체 검출 방법 및 객체 검출 장치가 제공된다. 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법은, 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 단계; 상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 단계; 상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계; 타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 단계; 상기 학습 모델을 이용하여 상기 그리드를 탐색하는 단계; 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 단계; 상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 단계; 및 상기 타겟 이미지 상의 마커(marker)를 검출하는 단계를 포함한다.
Description
본 발명은 이미지 상의 객체 검출 방법 및 객체 검출 장치에 관한 것이다. 보다 상세하게는, 이미지 상에 형성된 마커(marker), 반도체 웨이퍼 상에 형성된 반도체 패턴(semiconductor pattern), 정렬 키(alignment key) 등을 검출하기 위한 객체 검출 방법 및 객체 검출 장치에 관한 것이다.
카메라, 비디오 카메라를 비롯한 영상 촬영 장치를 이용하여 실제 제품 또는 장면을 촬영한 후, 그 영상 결과물을 분석하여 결함 검출을 하거나 상황을 인지하는 기술이 제공되고 있다.
예를 들어, 반도체 소자의 제조 시 각 공정 사이에 일부의 웨이퍼를 샘플링하여 공정 이상 유/무를 확인하기 위하여 계측을 실시할 수 있다. 이 경우, 계측에 필요한 기준 좌표(마커)를 정확히 찾아야 하지만, 각 공정에서 발생되는 다양한 요인들, 예컨대 화학 작용들로 인하여 마커의 변형이 일어나기 때문에 해당 마커를 정확하게 찾기에 어려움이 있을 수 있다.
본 발명이 해결하고자 하는 기술적 과제는, 이미지 분석 기법 및 딥 러닝 기법을 이용하여 이미지 상의 객체를 정확하고 신속하게 검출하기 위한 객체 검출 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 기술적 과제는, 이미지 분석 기법 및 딥 러닝 기법을 이용하여 이미지 상의 객체를 정확하고 신속하게 검출하기 위한 객체 검출 장치를 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 기술적 과제는, 이미지 분석 기법 및 딥 러닝 기법을 이용하여 이미지 상의 객체를 정확하고 신속하게 검출하기 위한 컴퓨터 프로그램을 제공하는 것이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명의 기술분야에서의 통상의 기술자에게 명확하게 이해 될 수 있을 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법은, 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 단계; 상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 단계; 상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계; 타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 단계; 상기 학습 모델을 이용하여 상기 그리드를 탐색하는 단계; 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 단계; 상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 단계; 및 상기 타겟 이미지 상의 마커(marker)를 검출하는 단계를 포함한다.
본 발명의 몇몇의 실시예에서, 상기 그리드를 탐색하는 단계는 상기 타겟 이미지를 상기 블록 사이즈 단위로 탐색하는 단계를 포함하고, 상기 관심 영역을 무빙 윈도우 방식으로 탐색하는 단계는 상기 타겟 이미지를 픽셀 단위로 탐색하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역을 정의하는 단계는, 상기 그리드에서 상기 학습 모델로부터 도출된 예측 값(predicted value)이 문턱 값(threshold value)를 초과하는 블록을 상기 관심 영역으로 정의하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 복수의 부분 데이터는 제1 부분 데이터 및 제2 부분 데이터를 포함하고, 상기 예측 값은 상기 제1 부분 데이터에 대응되는 제1 예측 값 및 상기 제2 부분 데이터에 대응되는 제2 예측 값을 포함하고, 상기 그리드에서 상기 학습 모델로부터 도출된 예측 값이 문턱 값를 초과하는 블록을 상기 관심 영역으로 정의하는 단계는, 상기 제1 예측 값 또는 상기 제2 예측 값이 상기 문턱 값을 초과하는지 여부를 모두 판단하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 복수의 증폭 데이터를 생성하는 단계는, 상기 복수의 부분 데이터 중 제1 부분 데이터를 선정하는 단계; 상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계; 및 상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제1 위치와 다른 제2 위치로 변환하여 제2 증폭 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계는, 상기 학습 데이터를 회전 변환하여 제1 증폭 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 복수의 증폭 데이터를 생성하는 단계는, 상기 복수의 부분 데이터 중 상기 제1 부분 데이터와 다른 제2 부분 데이터를 선정하는 단계; 상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제3 위치로 변환하여 제3 증폭 데이터를 생성하는 단계; 및 상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제3 위치와 다른 제4 위치로 변환하여 제4 증폭 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 학습 데이터는 상기 타겟 이미지 상의 마커의 형상에 대응하는 기준 마커(reference marker)를 포함하는 기준 이미지(reference image)를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 복수의 부분 데이터는 상기 학습 데이터가 배치되지 않은 제로 영역을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 복수의 증폭 데이터는 상기 학습 데이터가 배치되지 않은 제로 영역을 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 타겟 이미지는 반도체 웨이퍼 이미지를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 마커는 반도체 웨이퍼 상의 정렬 키(alignment key) 또는 반도체 패턴(semiconductor pattern)를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 이미지 상의 객체 검출 방법은, 반도체 웨이퍼 상에 형성되는 반도체 패턴(semiconductor pattern)들의 형상을 학습하여 학습 모델을 생성하는 단계; 카메라로부터 반도체 웨이퍼 이미지를 제공받고, 상기 반도체 웨이퍼 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 단계; 상기 학습 모델을 이용하여 상기 그리드를 탐색하는 단계; 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 단계; 상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 단계; 및 상기 반도체 웨이퍼 이미지에 포함된 반도체 패턴을 검출하는 단계를 포함한다.
본 발명의 몇몇의 실시예에서, 상기 그리드를 탐색하는 단계는 상기 반도체 웨이퍼 이미지를 상기 블록 사이즈 단위로 탐색하는 단계를 포함하고, 상기 관심 영역을 무빙 윈도우 방식으로 탐색하는 단계는 상기 반도체 웨이퍼 이미지를 픽셀 단위로 탐색하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역을 정의하는 단계는, 상기 그리드에서 상기 학습 모델로부터 도출된 예측 값(predicted value)이 문턱 값(threshold value)를 초과하는 블록을 상기 관심 영역으로 정의하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 학습 모델을 생성하는 단계는, 상기 반도체 패턴에 대한 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 단계; 상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 단계; 및 상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 복수의 증폭 데이터를 생성하는 단계는, 상기 복수의 부분 데이터 중 제1 부분 데이터를 선정하는 단계; 상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계; 및 상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제1 위치와 다른 제2 위치로 변환하여 제2 증폭 데이터를 생성하는 단계를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계는, 상기 학습 데이터를 회전 변환하여 제1 증폭 데이터를 생성하는 단계를 더 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 복수의 증폭 데이터를 생성하는 단계는, 상기 복수의 부분 데이터 중 상기 제1 부분 데이터와 다른 제2 부분 데이터를 선정하는 단계; 상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제3 위치로 변환하여 제3 증폭 데이터를 생성하는 단계; 및 상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제3 위치와 다른 제4 위치로 변환하여 제4 증폭 데이터를 생성하는 단계를 더 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 장치는, 하나 이상의 프로세서; 상기 프로세서에 의하여 수행 되는 컴퓨터 프로그램이 로드(load)된 메모리; 및 타겟 이미지를 제공하는 외부 장치에 연결된 네트워크 인터페이스를 포함하되, 상기 컴퓨터 프로그램은, 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 오퍼레이션; 상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 오퍼레이션; 상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 오퍼레이션; 타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 오퍼레이션; 상기 학습 모델을 이용하여 상기 그리드를 탐색하는 오퍼레이션; 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 오퍼레이션; 상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 오퍼레이션; 및 상기 타겟 이미지 상의 마커(marker)를 검출하는 오퍼레이션을 수행할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 장치는 이미지 센서를 이용하여 상기 타겟 이미지를 생성하는 카메라 장치를 포함할 수 있다.
본 발명의 몇몇의 실시예에서, 상기 외부 장치는 상기 타겟 이미지를 저장하고 있는 스토리지 장치를 포함할 수 있다.
상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따른 컴퓨터 프로그램은, 컴퓨팅 장치와 결합하여, 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 단계; 상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 단계; 상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계; 타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 단계; 상기 학습 모델을 이용하여 상기 그리드를 탐색하는 단계; 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 단계; 상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 단계; 및 상기 타겟 이미지 상의 마커(marker)를 검출하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장될 수 있다.
기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 환경을 설명하기 위한 간략도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 장치를 설명하기 위한 개략도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법을 설명하기 위한 개략도들이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법을 설명하기 위한 순서도들이다.
도 10은 본 발명의 다른 실시예에 따른 이미지 상의 객체 검출 장치를 설명하기 위한 개략도이다.
도 2는 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 장치를 설명하기 위한 개략도이다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법을 설명하기 위한 개략도들이다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법을 설명하기 위한 순서도들이다.
도 10은 본 발명의 다른 실시예에 따른 이미지 상의 객체 검출 장치를 설명하기 위한 개략도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다. 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.
도 1은 본 발명의 일 실시예에 따른 객체 검출 환경을 설명하기 위한 간략도이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 객체 검출 환경(1)에서, 객체 검출 장치(100)는 제품(10) 또는 장면에 포함된 객체를 검출한다. 본 명세서에서는 설명의 편의를 위해 객체를 "마커(20)"라는 용어로 표현할 것이지만, 그 의미는 한정적인 것이 아니고, 객체 검출 장치(100)가 제품(10) 또는 장면으로부터 검출하기 위한 대상이라면 무엇이든 포함할 수 있다. 예를 들어, 마커(20)는 제품(10)이 반도체 웨이퍼인 경우 반도체 웨이퍼 상에 형성된 반도체 패턴, 얼라인먼트 키, 또는 그 밖의 제품(10)에 특유한 임의의 검출 대상을 포함할 수 있다.
객체 검출 장치(100)는 하나 이상의 프로세서를 구비한 컴퓨팅 장치일 수 있다. 본 발명의 몇몇의 실시예에서, 객체 검출 장치(100)는 개인용 컴퓨터, 서버, 범용 컴퓨터, 특수 목적용 컴퓨터, 휴대용 컴퓨터 등 다양한 컴퓨팅 장치로 구현될 수 있으나, 본 발명의 범위가 이에 제한되는 것은 아니다.
본 실시예에서, 제품(10) 또는 장면은 카메라 장치(300)를 통해 촬영될 수 있다. 본 발명의 몇몇의 실시예에서, 카메라 장치(300)는 CCD 이미지 센서, CMOS 이미지 센서 등을 이용하여 제품(10) 또는 장면을 촬영하고, 그 결과물로 정지 영상 또는 동영상 형태의 이미지 데이터를 생성할 수 있다.
본 실시예에서, 객체 검출 장치(100)는 네트워크(200)를 통해 카메라 장치(300)로부터 이미지 데이터를 수신할 수 있다. 본 발명의 몇몇의 실시예에서, 네트워크(200)는 LAN(Local Area Network), WAN(Wide Area Network) 등의 유선 네트워크, 또는 WiFi 네트워크, 셀룰러 네트워크 등의 무선 네트워크를 포함할 뿐 아니라, 컴퓨팅 장치 간 또는 컴퓨터 장치의 구성 요소간에, 예컨대, 케이블을 통해 직접 또는 간접으로 연결되는 임의의 커넥션을 모두 포함할 수 있다.
한편, 도 1과 달리, 본 발명의 몇몇의 실시예에서, 객체 검출 장치(100)는 이미지 데이터를 저장하고 있는 스토리지 장치로부터 이미지 데이터를 제공받을 수도 있다. 또한, 이와 다르게, 객체 검출 장치(100)는 이미지 데이터를 처리 및 저장할 수 있는 다른 컴퓨팅 장치로부터 이미지 데이터를 제공받을 수도 있다.
도 2는 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 장치를 설명하기 위한 개략도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 장치(100)는 학습 데이터 준비부(110), 학습부(120) 및 마커 검출부(130)를 포함한다.
학습 데이터 준비부(110)는 객체 검출 장치(100)가 딥 러닝 기법을 이용하여 제품(10) 또는 장면으로부터 마커를 검출하기 위한 학습에 필요한 데이터를 생성한다.
부분 데이터 생성부(112)는 학습 데이터를 입력받고, 이에 기초하여 복수의 부분 데이터(partial data)를 생성한다. 본 발명의 다양한 실시예에서, 학습 데이터는, 제품(10) 또는 장면으로부터 기인한 타겟 이미지 상의 마커의 형상에 대응하는 기준 마커(reference marker)를 포함하는 기준 이미지(reference image)를 포함한다. 예를 들어, 제품(10)이 반도체 웨이퍼인 경우, 학습 데이터는 손상되지 않은 온전한 반도체 패턴의 이미지를 포함할 수 있다.
부분 데이터 생성부(112)는 이와 같은 학습 데이터로부터 복수의 부분 데이터를 생성한다. 복수의 부분 데이터는 각각 학습 데이터의 일부분을 포함할 수 있다. 예를 들어, 복수의 부분 데이터가 제1 부분 데이터 내지 제4 부분 데이터를 포함하고, 학습 데이터를 4 분할한 이미지를 각각 제1 분할 이미지 내지 제4 분할 이미지라고 한다면, 제1 부분 데이터는 제1 분할 이미지를 포함하고, 제2 부분 데이터는 제2 분할 이미지를 포함하도록 생성된다.
본 발명의 몇몇의 실시예에서, 예컨대, 제1 부분 데이터의 이미지 사이즈가 제1 분할 이미지의 사이즈보다 큰 경우, 제1 부분 데이터는 제1 분할 이미지, 즉, 학습 데이터가 배치되지 않은 제로 영역을 포함할 수 있다. 제로 영역은 해석 상 의미 없는 값, 예컨대 '0' 값으로 채워질 수 있다.
부분 데이터 증폭부(114)는 부분 데이터 생성부(112)로부터 생성된 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성한다. 구체적으로, 부분 데이터 증폭부(114)는 복수의 부분 데이터 중에서 제1 부분 데이터를 선정하고, 제1 부분 데이터 내에 배치된 학습 데이터(즉, 제1 분할 이미지)의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성한 후, 제1 부분 데이터 내에 배치된 학습 데이터(즉, 제1 분할 이미지)의 위치를 제1 위치와 다른 제2 위치로 변환하여 제2 증폭 데이터를 생성하는 방식으로, 제1 부분 데이터에 대해 복수의 증폭 데이터를 생성한다.
부분 데이터 생성부(114)는 이와 같은 과정을 제2 부분 데이터 내지 제4 부분 데이터에 대해 각각 수행하여, 부분 데이터 별로 복수의 증폭 데이터를 생성한다.
제1 부분 데이터와 마찬가지로, 본 발명의 몇몇의 실시예에서, 예컨대, 제1 증폭 데이터의 이미지 사이즈가 제1 분할 이미지의 사이즈보다 큰 경우, 제1 증폭 데이터는 제1 분할 이미지, 즉, 학습 데이터가 배치되지 않은 제로 영역을 포함할 수 있다. 제로 영역은 해석 상 의미 없는 값, 예컨대 '0' 값으로 채워질 수 있다.
본 발명의 몇몇의 실시예에서, 부분 데이터 증폭부(114)는 부분 데이터 생성부(112)로부터 생성된 복수의 부분 데이터 각각을 변환할 때, 위치 변환뿐 아니라 회전 변환을 할 수도 있다. 즉, 부분 데이터 증폭부(114)는 복수의 부분 데이터 중에서 제1 부분 데이터를 선정하고, 제1 부분 데이터 내에 배치된 학습 데이터(즉, 제1 분할 이미지)를 소정의 각도만큼 회전 변환하여 제1 증폭 데이터를 생성할 수도 있다.
이와 같이, 객체 검출 장치(100)가 학습을 위해 학습 데이터를 바로 이용하지 않고 복수의 증폭 데이터를 이용하는 이유는, 제품(10) 또는 장면에 실제로 형성된 마커는 상황에 따라서 온전하지 못한 형태를 갖거나, 변형 또는 변색이 되거나, 그 외 여러 가지 측면에서 변형이 될 수 있기 때문이다. 즉, 복수의 증폭 데이터를 이용하여 보다 많은 경우의 수에 대해 학습을 함으로써, 객체 검출 장치(100)는 제품(10) 또는 장면에 실제로 형성된 마커의 상태와 무관하게 높은 정확도로 마커를 인식할 수 있게 된다.
학습 데이터 준비부(110)(즉, 부분 데이터 생성부(112) 및 부분 데이터 증폭부(114))의 구체적인 동작에 대해서는 도 3 내지 도 4와 관련하여 후술하도록 한다.
다시 도 2를 참조하면, 학습부(120)는 부분 데이터 생성부(112)로부터 생성된 복수의 부분 데이터 및 부분 데이터 증폭부(114)로부터 생성된 복수의 증폭 데이터 중 적어도 하나를 제공 받고, 이에 기반하여 학습 모델을 생성할 수 있다. 객체 검출 장치(100)는 학습부(120)에 의해 생성된 학습 모델을 이용하여 딥 러닝 방식으로 이미지 상의 객체 검출을 위한 학습을 수행할 수 있다.
마커 검출부(130)는 타겟 이미지를 제공받고, 타겟 이미지 상의 객체, 즉, 마커를 검출한다. 마커 검출부(130)는 마커 검출의 정확도 및 속도를 높이기 위해 1차로 타겟 이미지를 제1 사이즈 단위로 탐색하여 관심 영역(Region of interest, ROI)을 정의한 후, 2차로 관심 영역만을 제1 사이즈 단위보다 작은 제2 사이즈 단위로 탐색하여 마커를 검출한다. 이에 관한 구체적인 내용은 도 5 내지 도 7과 관련하여 후술하도록 한다.
도 3 내지 도 7은 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법을 설명하기 위한 개략도들이다.
이하에서는 도 3 내지 도 4를 참조하여, 학습 데이터 준비부(110)(즉, 부분 데이터 생성부(112) 및 부분 데이터 증폭부(114))의 구체적인 동작에 대해 설명하도록 한다.
도 3을 참조하면, 학습 데이터(400)는 별 형상의 마커(20)(즉, 기준 마커)를 포함한다. 부분 데이터 생성부(112)는 학습 데이터(400)로부터 복수의 부분 데이터를 생성한다. 본 실시예에서, 학습 데이터(400)는 4 분할될 수 있고, 이에 따라 좌측 상단의 분할 이미지에 대응하는 제1 분할 이미지, 우측 상단의 분할 이미지에 대응하는 제2 분할 이미지, 좌측 하단의 분할 이미지에 대응하는 제3 분할 이미지, 우측 하단의 분할 이미지에 대응하는 제4 분할 이미지가 생성될 수 있다.
본 실시예에서, 부분 데이터 생성부(112)는 제1 분할 이미지를 포함하는 제1 부분 데이터(410), 제2 분할 이미지를 포함하는 제2 부분 데이터(420), 제3 분할 이미지를 포함하는 제3 부분 데이터(430) 및 제4 분할 이미지를 포함하는 제4 부분 데이터(440)를 생성할 수 있다.
본 실시예에서는, 부분 데이터(410, 420, 430, 440)의 이미지 사이즈가 제1 분할 이미지 내지 제4 분할 이미지 각각의 사이즈보다 크기 때문에, 부분 데이터(410, 420, 430, 440) 각각은 제1 분할 이미지 내지 제4 분할 이미지, 즉 학습 데이터가 배치되지 않은 제로 영역을 포함하고 있다. 앞서 설명한 바와 같이, 제로 영역은 해석 상 의미 없는 값, 예컨대 '0' 값으로 채워질 수 있다.
이와 같이 부분 데이터 생성부(112)에 의해 생성된 부분 데이터(410, 420, 430, 440)는 부분 데이터 증폭부(114)에 전달된다.
도 4를 참조하면, 부분 데이터 증폭부(114)는, 예를 들어 제1 부분 데이터(410)를 변환하여 7 개의 증폭 데이터(411 내지 417)를 생성한다. 각각의 증폭 데이터(411 내지 417)들을 살펴보면, 모두 제1 분할 이미지를 포함하고는 있으나, 그 위치는 증폭 데이터(411 내지 417) 별로 모두 다름을 알 수 있다. 객체 검출 장치(100)가 이와 같은 다양한 상황을 고려한 증폭 데이터로 학습을 하기 때문에, 마커 검출의 정확도 및 속도가 높아질 수 있다.
도 4에 도시되지는 않았지만, 부분 데이터 증폭부(114)는 제1 부분 데이터(410)를 변환할 때, 제1 분할 이미지에 대한 회전 변환을 할 수도 있다. 물론 부분 데이터 증폭부(114)는 제1 부분 데이터(410)를 변환할 때, 제1 분할 이미지에 대한 위치 변환 및 회전 변환을 함께 수행할 수도 있다.
이하에서는 도 5 내지 도 7을 참조하여, 마커 검출부(130)가 타겟 이미지 제품(10) 또는 장면으로부터 촬영된 타겟 이미지에서 마커를 검출하는 구체적인 방법을 설명하도록 한다.
도 5를 참조하면, 마커 검출부(130)는 마커 검출의 정확도 및 속도를 높이기 위해 1차로 타겟 이미지를 제1 사이즈 단위로 탐색하여 관심 영역(ROI)을 정의한다. 구체적으로, 마커 검출부(130)는 마커(20)가 포함된 타겟 이미지를 제공받고, 타겟 이미지 상에 복수의 블록(또는 그리드 셀(grid cell))을 포함하는 그리드(grid)를 형성한다. 여기서 각각의 블록의 사이즈가 곧 제1 사이즈 단위가 되며, 예를 들어 제1 사이즈 단위는 d1일 수 있다. 예를 들어, 타겟 이미지의 사이즈가 256 픽셀 x 256 픽셀이라고 가정하면, 블록 사이즈 d1은 예컨대 16 픽셀로 설정될 수 있다.
다음으로, 마커 검출부(130)는 학습부(120)에 의해 생성된 학습 모델을 이용하여 그리드를 탐색한다. 특히, 마커 검출부(130)는 타겟 이미지를 블록 사이즈 d1 단위로 탐색할 수 있다. 예를 들어, 블록 사이즈 d1 이 16 픽셀로 설정된 경우, 마커 검출부(130)는 타겟 이미지를 16 픽셀 단위로 탐색할 수 있다.
한편, 마커 검출부(130)가 타겟 이미지를 블록 사이즈 단위로 탐색하는 방향 및 순서는 특별히 한정되지 않는다. 즉, 마커 검출부(130)가 타겟 이미지를 블록 사이즈 단위로 탐색하는 방향은 X 축 방향 및 Y 축 방향의 임의의 조합이 될 수 있다. 도 5에서는 마커 검출부(130)가 타겟 이미지를 제1 블록 위치(40)에서 제2 블록 위치(42)로 X 축 방향으로 탐색하는 것을 나타내고 있다.
이어서 도 6을 참조하면, 마커 검출부(130)은 이와 같은 방식으로 그리드를 탐색하면서, 그리드에 하나 이상의 블록을 포함하는 관심 영역(50)을 정의한다. 관심 영역(50)은 마커 검출부(130)가 1차 탐색만으로 마커(20)가 잠재적으로 존재할 수 있는 영역을 선정한 것이다. 따라서 관심 영역(50) 내에는 마커 검출부(130)가 검출하고자 하는 마커(20)가 존재할 확률이 매우 높다.
관심 영역(50)은 복수의 블록을 포함할 수 있다. 예를 들어, 도 6에서 관심 영역(50)에는 부분 데이터 증폭부(114)에 의해 부분 데이터(410)로부터 생성된 증폭 데이터(414)와 일치하는 블록이 포함될 수 있다. 이와 같은 방식을 이용하여 타겟 이미지에 대해 탐색을 수행함으로써 마커 검출까지의 시간을 단축할 수 있다.
본 발명의 몇몇의 실시예에서, 그리드에 관심 영역(50)을 정의하는 것은 그리드에서 학습부(120)에 의해 생성된 학습 모델로부터 도출된 예측 값(predicted value)이 문턱 값(threshold value)를 초과하는 블록을 관심 영역(50)으로 정의할 수 있다. 즉, 관심 영역(50)에 포함된, 예컨대 증폭 데이터(414)와 일치하는 블록은, 증폭 데이터(414)를 학습하여 예측된 값이 소정의 문턱 값을 초과하였기 때문에, 그 유사성이 인정되어 관심 영역(50)에 포함된 것일 수 있다.
이와 같은 예측 값은 부분 데이터(410, 420, 430, 440)의 종류 별로 연산될 수 있다. 즉, 예측 값은 제1 부분 데이터(410)에 대응되는 제1 예측 값, 제2 부분 데이터(420)에 대응되는 제2 예측 값 등을 포함할 수 있고, 그리드에 관심 영역(50)을 정의하는 것은 그리드에서 학습 모델로부터 도출된 제1 예측 값이 문턱 값을 초과하는지 여부를 판단하고, 그렇지 않은 경우라면 제2 예측 값이 문턱 값을 초과하는지 여부를 추가로 판단하는 과정을 포함할 수 있다. 이와 같은 방식으로 타겟 이미지에서 마커 검출의 정확도를 높일 수 있다.
이어서 도 7을 참조하면, 마커 검출부(130)는 2차로 관심 영역(50)만을 제1 사이즈 단위보다 작은 제2 사이즈 단위로 탐색하여 마커(20)를 검출한다.
구체적으로, 마커 검출부(130)는 학습부(120)에 의해 생성된 학습 모델을 이용하여 관심 영역(50)을 무빙 윈도우(moving window) 방식으로 탐색한다. 여기서 제2 사이즈 단위는, 제1 사이즈 단위의 d1보다 작은 d2 또는 d3일 수 있다. 예를 들어, d1이 16 픽셀이라고 가정하면, d2 또는 d3는 1 픽셀, 2픽셀 등으로 설정될 수 있다. 마커 검출부(130)는 이와 같은 방식으로 타겟 이미지 상의 마커(20)를 검출한다.
한편, 마커 검출부(130)가 타겟 이미지를 제2 사이즈 단위로 탐색하는 방향 및 순서는 특별히 한정되지 않는다. 즉, 마커 검출부(130)가 타겟 이미지를 제2 사이즈 단위로 탐색하는 방향은 X 축 방향 및 Y 축 방향의 임의의 조합이 될 수 있다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법을 설명하기 위한 순서도들이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 이미지 상의 객체 검출 방법은 학습 데이터를 입력 받고, 이에 기초하여 각각 학습 데이터의 일부분을 포함하는 복수의 부분 데이터를 생성(S801)한다.
다음으로, 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터를 생성(S803)한다. 이와 같이 생성된 복수의 증폭 데이터에 기반하여 딥 러닝으로 이미지 상의 마커를 검출하기 위한 학습 모델을 생성한 후 학습을 진행(S805)한다.
다음으로, 학습 모델을 이용하여 타겟 이미지 상의 마커를 검출(S807)한다.
도 9를 참조하면, 타겟 이미지 상의 마커를 검출하는 것은, 도 5 및 도 6과 관련하여 앞서 설명한 바와 같이 타겟 이미지 상에 형성된 그리드를 1차로 탐색(S901)하고, 1차 탐색 중 관심 영역(50)을 설정(S903)하고, 관심 영역(50) 내부를 무빙 윈도우 방식으로 2차 탐색(S905)하는 것을 포함한다.
도 10은 본 발명의 다른 실시예에 따른 이미지 상의 객체 검출 장치를 설명하기 위한 개략도이다.
도 10을 참조하면, 본 발명의 다른 실시예에 따른 이미지 상의 객체 검출 장치(2)는 하나 이상의 프로세서(500), 네트워크 인터페이스(520), 스토리지(530), 및 프로세서(500)에 의하여 수행 되는 컴퓨터 프로그램이 로드(load)된 메모리(RAM)(510)를 포함할 수 있다. 프로세서(500), 네트워크 인터페이스(520), 스토리지(530) 및 메모리(510)는 버스(540)를 통하여 데이터를 송수신한다.
스토리지(530)는, 네트워크 인터페이스(520)를 통하여 학습 데이터 또는 타겟 이미지 등의 본 발명의 이미지 상의 객체 검출 방법을 수행하기 위해 요구되는 다양한 데이터들을 일시적으로 저장할 수 있다.
상기 컴퓨터 프로그램은 마커 검출 소프트웨어(512) 및 학습 데이터(514)를 포함한다.
마커 검출 소프트웨어(512)는 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터를 생성하는 오퍼레이션, 상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터를 생성하는 오퍼레이션, 상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 오퍼레이션, 타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드를 형성하는 오퍼레이션, 상기 학습 모델을 이용하여 상기 그리드를 탐색하는 오퍼레이션, 상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역을 정의하는 오퍼레이션, 상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우 방식으로 탐색하는 오퍼레이션 및 상기 타겟 이미지 상의 마커를 검출하는 오퍼레이션을 수행할 수 있다.
본 발명의 다양한 실시예에 따른 이미지 상의 객체 검출 방법 및 객체 검출 장치에 따르면, 복수의 증폭 데이터를 이용하여 보다 많은 경우의 수에 대해 학습을 함으로써, 객체 검출 장치(100)는 제품(10) 또는 장면에 실제로 형성된 마커의 상태와 무관하게 높은 정확도로 마커를 인식할 수 있고, 1차로 타겟 이미지를 제1 사이즈 단위로 탐색하여 관심 영역(50)을 정의한 후, 2차로 관심 영역만을 제1 사이즈 단위보다 작은 제2 사이즈 단위로 탐색하여 마커를 검출함에 따라 마커를 신속하게 검출할 수 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 한다.
Claims (23)
- 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 단계;
상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 단계;
상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계;
타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 단계;
상기 학습 모델을 이용하여 상기 그리드를 탐색하는 단계;
상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 단계;
상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 단계; 및
상기 타겟 이미지 상의 마커(marker)를 검출하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제1항에 있어서,
상기 그리드를 탐색하는 단계는 상기 타겟 이미지를 상기 블록 사이즈 단위로 탐색하는 단계를 포함하고,
상기 관심 영역을 무빙 윈도우 방식으로 탐색하는 단계는 상기 타겟 이미지를 픽셀 단위로 탐색하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제1항에 있어서,
상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역을 정의하는 단계는,
상기 그리드에서 상기 학습 모델로부터 도출된 예측 값(predicted value)이 문턱 값(threshold value)를 초과하는 블록을 상기 관심 영역으로 정의하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제3항에 있어서,
상기 복수의 부분 데이터는 제1 부분 데이터 및 제2 부분 데이터를 포함하고,
상기 예측 값은 상기 제1 부분 데이터에 대응되는 제1 예측 값 및 상기 제2 부분 데이터에 대응되는 제2 예측 값을 포함하고,
상기 그리드에서 상기 학습 모델로부터 도출된 예측 값이 문턱 값를 초과하는 블록을 상기 관심 영역으로 정의하는 단계는,
상기 제1 예측 값 또는 상기 제2 예측 값이 상기 문턱 값을 초과하는지 여부를 모두 판단하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제1항에 있어서,
상기 복수의 증폭 데이터를 생성하는 단계는,
상기 복수의 부분 데이터 중 제1 부분 데이터를 선정하는 단계;
상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계; 및
상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제1 위치와 다른 제2 위치로 변환하여 제2 증폭 데이터를 생성하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제5항에 있어서,
상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계는,
상기 학습 데이터를 회전 변환하여 제1 증폭 데이터를 생성하는 단계를 더 포함하는
이미지 상의 객체 검출 방법. - 제5항에 있어서,
상기 복수의 증폭 데이터를 생성하는 단계는,
상기 복수의 부분 데이터 중 상기 제1 부분 데이터와 다른 제2 부분 데이터를 선정하는 단계;
상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제3 위치로 변환하여 제3 증폭 데이터를 생성하는 단계; 및
상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제3 위치와 다른 제4 위치로 변환하여 제4 증폭 데이터를 생성하는 단계를 더 포함하는
이미지 상의 객체 검출 방법. - 제1항에 있어서,
상기 학습 데이터는 상기 타겟 이미지 상의 마커의 형상에 대응하는 기준 마커(reference marker)를 포함하는 기준 이미지(reference image)를 포함하는
이미지 상의 객체 검출 방법. - 제1항에 있어서,
상기 복수의 부분 데이터는 상기 학습 데이터가 배치되지 않은 제로 영역을 더 포함하는
이미지 상의 객체 검출 방법. - 제9항에 있어서,
상기 복수의 증폭 데이터는 상기 학습 데이터가 배치되지 않은 제로 영역을 더 포함하는
이미지 상의 객체 검출 방법. - 제1항에 있어서,
상기 타겟 이미지는 반도체 웨이퍼 이미지를 포함하는
이미지 상의 객체 검출 방법. - 제11항에 있어서,
상기 마커는 반도체 웨이퍼 상의 정렬 키(alignment key) 또는 반도체 패턴(semiconductor pattern)를 포함하는
이미지 상의 객체 검출 방법. - 반도체 웨이퍼 상에 형성되는 반도체 패턴(semiconductor pattern)들의 형상을 학습하여 학습 모델을 생성하는 단계;
카메라로부터 반도체 웨이퍼 이미지를 제공받고, 상기 반도체 웨이퍼 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 단계;
상기 학습 모델을 이용하여 상기 그리드를 탐색하는 단계;
상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 단계;
상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 단계; 및
상기 반도체 웨이퍼 이미지에 포함된 반도체 패턴을 검출하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제13항에 있어서,
상기 그리드를 탐색하는 단계는 상기 반도체 웨이퍼 이미지를 상기 블록 사이즈 단위로 탐색하는 단계를 포함하고,
상기 관심 영역을 무빙 윈도우 방식으로 탐색하는 단계는 상기 반도체 웨이퍼 이미지를 픽셀 단위로 탐색하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제13항에 있어서,
상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역을 정의하는 단계는,
상기 그리드에서 상기 학습 모델로부터 도출된 예측 값(predicted value)이 문턱 값(threshold value)를 초과하는 블록을 상기 관심 영역으로 정의하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제13항에 있어서,
상기 학습 모델을 생성하는 단계는,
상기 반도체 패턴에 대한 학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 단계;
상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 단계; 및
상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계를 포함하는 이미지 상의 객체 검출 방법. - 제13항에 있어서,
상기 복수의 증폭 데이터를 생성하는 단계는,
상기 복수의 부분 데이터 중 제1 부분 데이터를 선정하는 단계;
상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계; 및
상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제1 위치와 다른 제2 위치로 변환하여 제2 증폭 데이터를 생성하는 단계를 포함하는
이미지 상의 객체 검출 방법. - 제17항에 있어서,
상기 제1 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제1 위치로 변환하여 제1 증폭 데이터를 생성하는 단계는,
상기 학습 데이터를 회전 변환하여 제1 증폭 데이터를 생성하는 단계를 더 포함하는
이미지 상의 객체 검출 방법. - 제17항에 있어서,
상기 복수의 증폭 데이터를 생성하는 단계는,
상기 복수의 부분 데이터 중 상기 제1 부분 데이터와 다른 제2 부분 데이터를 선정하는 단계;
상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 제3 위치로 변환하여 제3 증폭 데이터를 생성하는 단계; 및
상기 제2 부분 데이터 내에 배치된 상기 학습 데이터의 위치를 상기 제3 위치와 다른 제4 위치로 변환하여 제4 증폭 데이터를 생성하는 단계를 더 포함하는
이미지 상의 객체 검출 방법. - 하나 이상의 프로세서;
상기 프로세서에 의하여 수행 되는 컴퓨터 프로그램이 로드(load)된 메모리; 및
타겟 이미지를 제공하는 외부 장치에 연결된 네트워크 인터페이스를 포함하되,
상기 컴퓨터 프로그램은,
학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 오퍼레이션;
상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 오퍼레이션;
상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 오퍼레이션;
타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 오퍼레이션;
상기 학습 모델을 이용하여 상기 그리드를 탐색하는 오퍼레이션;
상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 오퍼레이션;
상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 오퍼레이션; 및
상기 타겟 이미지 상의 마커(marker)를 검출하는 오퍼레이션을 수행하는
이미지 상의 객체 검출 장치. - 제20항에 있어서,
상기 외부 장치는 이미지 센서를 이용하여 상기 타겟 이미지를 생성하는 카메라 장치를 포함하는
이미지 상의 객체 검출 장치. - 제20항에 있어서,
상기 외부 장치는 상기 타겟 이미지를 저장하고 있는 스토리지 장치를 포함하는
이미지 상의 객체 검출 장치. - 컴퓨팅 장치와 결합하여,
학습 데이터를 입력 받고, 각각 상기 학습 데이터의 일부분을 포함하는 복수의 부분 데이터(partial data)를 생성하는 단계;
상기 복수의 부분 데이터 각각을 변환하여, 각각의 부분 데이터 별로 복수의 증폭 데이터(amplified data)를 생성하는 단계;
상기 복수의 증폭 데이터를 학습하여 학습 모델을 생성하는 단계;
타겟 이미지를 제공받고, 상기 타겟 이미지 상에 복수의 블록을 포함하는 그리드(grid)를 형성하는 단계;
상기 학습 모델을 이용하여 상기 그리드를 탐색하는 단계;
상기 그리드에 하나 이상의 상기 블록을 포함하는 관심 영역(Region of interest, ROI)을 정의하는 단계;
상기 학습 모델을 이용하여 상기 관심 영역을 무빙 윈도우(moving window) 방식으로 탐색하는 단계; 및
상기 타겟 이미지 상의 마커(marker)를 검출하는 단계를 실행시키기 위하여 컴퓨터로 판독 가능한 기록 매체에 저장된
컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150151982A KR20170050448A (ko) | 2015-10-30 | 2015-10-30 | 이미지 상의 객체 검출 방법 및 객체 검출 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150151982A KR20170050448A (ko) | 2015-10-30 | 2015-10-30 | 이미지 상의 객체 검출 방법 및 객체 검출 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20170050448A true KR20170050448A (ko) | 2017-05-11 |
Family
ID=58742339
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150151982A KR20170050448A (ko) | 2015-10-30 | 2015-10-30 | 이미지 상의 객체 검출 방법 및 객체 검출 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20170050448A (ko) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101873169B1 (ko) * | 2017-10-26 | 2018-06-29 | 한국항공우주연구원 | 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법 |
| KR20200010683A (ko) * | 2018-07-11 | 2020-01-31 | 한국생산기술연구원 | 금속 3d 프린터의 용융 풀 이미지의 수치화 방법 및 장치 |
| KR20200105500A (ko) * | 2018-05-04 | 2020-09-07 | 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 | 대상물 예측 방법 및 장치, 전자 기기 및 기억 매체 |
| KR20220036803A (ko) * | 2020-09-16 | 2022-03-23 | 주식회사 크래비스 | 인쇄회로기판 인식마크 검출 장치 및 방법 |
| KR20220066633A (ko) | 2020-11-16 | 2022-05-24 | 한국전자통신연구원 | 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법 |
| WO2024158192A1 (en) * | 2023-01-23 | 2024-08-02 | Samsung Electronics Co., Ltd. | System and method for generating astro-lapse video on user device |
| US12112960B2 (en) | 2020-09-18 | 2024-10-08 | Semes Co., Ltd. | Apparatus for processing substrate and method of determining whether substrate treatment process is normal |
-
2015
- 2015-10-30 KR KR1020150151982A patent/KR20170050448A/ko unknown
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101873169B1 (ko) * | 2017-10-26 | 2018-06-29 | 한국항공우주연구원 | 관측 영상에 대한 실시간 훈련 및 객체 탐지하는 통합 모듈 장치 및 방법 |
| KR20200105500A (ko) * | 2018-05-04 | 2020-09-07 | 상하이 센스타임 인텔리전트 테크놀로지 컴퍼니 리미티드 | 대상물 예측 방법 및 장치, 전자 기기 및 기억 매체 |
| KR20200010683A (ko) * | 2018-07-11 | 2020-01-31 | 한국생산기술연구원 | 금속 3d 프린터의 용융 풀 이미지의 수치화 방법 및 장치 |
| KR20220036803A (ko) * | 2020-09-16 | 2022-03-23 | 주식회사 크래비스 | 인쇄회로기판 인식마크 검출 장치 및 방법 |
| US12112960B2 (en) | 2020-09-18 | 2024-10-08 | Semes Co., Ltd. | Apparatus for processing substrate and method of determining whether substrate treatment process is normal |
| KR20220066633A (ko) | 2020-11-16 | 2022-05-24 | 한국전자통신연구원 | 탐지대상 이미지에서의 이상 부분 탐지 방법 및 시스템, 이의 복원 모델 학습 방법 |
| WO2024158192A1 (en) * | 2023-01-23 | 2024-08-02 | Samsung Electronics Co., Ltd. | System and method for generating astro-lapse video on user device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20170050448A (ko) | 이미지 상의 객체 검출 방법 및 객체 검출 장치 | |
| EP2620907B1 (en) | Pupil detection device and pupil detection method | |
| US9652660B2 (en) | Control system, robot system, and control method | |
| JP5919538B2 (ja) | 物体検出装置及び物体検出方法 | |
| KR102199094B1 (ko) | 관심객체 검출을 위한 관심영역 학습장치 및 방법 | |
| JP5262705B2 (ja) | 運動推定装置及びプログラム | |
| JP2008217544A (ja) | 物体検出方法、物体検出装置、及びそれを備えたロボット | |
| US9826158B2 (en) | Translation display device, translation display method, and control program | |
| JP2006226965A (ja) | 画像処理装置、コンピュータプログラム、及び画像処理方法 | |
| US20220366574A1 (en) | Image-capturing apparatus, image processing system, image processing method, and program | |
| JP5704909B2 (ja) | 注目領域検出方法、注目領域検出装置、及びプログラム | |
| US20190313082A1 (en) | Apparatus and method for measuring position of stereo camera | |
| CN107958202B (zh) | 人体检测设备、人体检测设备的控制方法和存储介质 | |
| Lao et al. | Computer Vision‐Based Autonomous Method for Quantitative Detection of Loose Bolts in Bolted Connections of Steel Structures | |
| Shaniya et al. | Yolov4 rgbt human detection on unmanned aerial vehicle perspective | |
| WO2021117363A1 (ja) | オブジェクト検出方法及びオブジェクト検出装置 | |
| JP7081720B2 (ja) | 異物検出装置、異物検出方法、およびプログラム | |
| JP2015045919A (ja) | 画像認識方法及びロボット | |
| US20170006212A1 (en) | Device, system and method for multi-point focus | |
| JP2009266155A (ja) | 移動体追跡装置及びその方法 | |
| JP2010009236A (ja) | 平面領域推定装置及びプログラム | |
| JP6326622B2 (ja) | 人物検出装置 | |
| KR101559338B1 (ko) | 카메라 모듈용 결함 픽셀 평가 시스템 및 이를 사용한 카메라 모듈용 결함 픽셀 평가 방법 | |
| JP5754931B2 (ja) | 画像解析装置、画像解析方法及びプログラム | |
| JP7031570B2 (ja) | 振動検出方法 |