KR102107361B1 - 계층적 구조의 감시 장치 - Google Patents

Abstract

본 발명은 계층적 구조의 감시 장치를 개시한다. 본 발명에 따른 계층적 구조의 감시 장치는 분류대상 객체를 미리 정해진 제1 분류기준에 따라 정상 객체, 비정상 객체 및 보류 객체로 분류하고, 상기 보류 객체가 미리 정해진 횟수 이상으로 발생할 때, 분류된 보류 객체들을 상기 비정상 객체들로 재분류하는 제1 분류기, 및 재분류된 비정상 객체들을 미리 정해진 제2 분류기준에 따라 비정상 종류별로 분류하는 제2 분류기를 포함한다.

Description

계층적 구조의 감시 장치 {Surveillance apparatus of a hierarchical structure}

본 발명은 계층적 구조의 감시 장치에 관한 것으로, 더욱 상세하게는 분류대상 객체(예: 공정 과정의 물품)를 정상 객체 또는 비정상 객체로 분류하는 과정에서, 상기 분류대상 객체(예: 공정 과정의 물품)가 미리 정해진 분류 프로토콜에 속하지 않은 이유로 보류 객체로 분류될 때, 분류된 보류 객체를 보다 효율적으로 최종 분류 처리할 수 있는 계층적 구조의 감시 장치에 관한 것이다.

물품을 생산하는 공정에서, 공정장비의 수율 개선 및 원인 분석을 위한 검사기를 공정 과정 중에 설비한다.

최근에 들어, 공정 과정에 설비된 검사기의 성능으로서, 물품의 정상 또는 불량 판정이 요구될 뿐만 아니라, 불량의 종류를 구분할 것에 대한 요구 또한 증가하고 있다.

이러한 추세적 요구로 인해, 공정 과정에 설비되는 검사 시스템이 불량 검출기 외에, 불량 종류 분류기가 추가되는 구조로 구성되고 있다. 이에 따른 검사 공정은 불량 검출기와 불량 종류 분류기로 구성된 검사 시스템에서 검사 결과가 출력되면, 출력된 검사 결과를 확인하는 검사자가 육안으로 최종적으로 해당 물품의 정상 또는 불량 여부를 판단한다.

검사 시스템에서 각 분류기는 학습이 가능할 정도의 변별력을 가지는 개수의 불량 종류 데이터베이스를 수집하고, 이후 검사자가 육안으로 검증하는 추가 과정을 거쳐 최종 데이터베이스를 결정하며, 결정된 최종 데이터베이스로부터 물품의 정상 또는 불량을 판정하기 위한 특징을 추출한 후, 추출된 특징을 기초로 학습하는 과정을 거쳐 물품의 정상 또는 불량을 판정하기 위한 분류기준을 구비한다.

예컨대, DRAM, 마이크로컴퓨터 등의 반도체 디바이스는 복수의 공정으로 이루어진 제조 프로세스를 거쳐 제조되고, 그 제조 프로세스가 완료한 후의 반도체 디바이스에 대하여, 총체적인 전기적 특성의 양부 테스트를 실행하여, 반도체 디바이스의 수율을 구한다.

한편, 제조 프로세스를 이루는 복수의 공정 중, 하나의 공정인 소정의 공정후에 있어서도 검사 장치에 의해 검사가 실행되어, 결함이 검출하게 되는데, 이러한 검사 장치에서 검출되는 결합 종별은 다음과 같다.

결함 종별로서는 패턴 결함, 이물, 오염 물질(얼룩) 부착, 손상 등이 있다. 패턴 결함으로서는 쇼트(본래 분리되어야할 2개의 배선 또는 층이 쇼트하고 있음), 단선(본래 접속되어야할 배선 또는 층이 분리되어 있음), 형상 이상(패턴의 형상이 이상으로 되어 있음) 등이 있다. 쇼트, 단선에 대해서는 이물을 마스크로 한 패터닝 등이 원인으로서 고려된다. 이물로서는 부착 이물, 에칭 잔사 등이 있고, 오염 물질 부착으로서는 웨트조의 오염물 부착 등이 있고, 손상으로서는 예를 들면, 핸들링 미스에 의해 웨이퍼를 긁은 경우에 생기는 손상을 고려할 수 있다.

하지만, 전술한 바와 같이 검사 장치가 공정 과정, 즉 공정 장비의 문제로 인해 발생할 것이 아닌 공정 외의 세정 장비의 일시적 작동오류 및 고장에 따른 것에 대한 불량 분별을 하지 못하고, 해당 물품을 불량인 것으로 예단하여 불량 종류까지 판별하는 과정을 실시할 수 있다.

즉, 세정 장비의 일시적 작동오류로 인해 공정 과정 중의 물품이 말끔하지 못한 상태에 불과한 것인데, 검사 장치가 이를 분별하지 못하고 해당 물품이 불량 상태인 것으로 판단할 수 있다는 것이다.

더군다나, 세정 장비의 일시적 작동오류가 비교적 장시간 동안 지속된다면, 검사 장치는 지속적으로 진성 불량 물품이 아닌 것을 불량 물품으로 간주한 채로, 해당 물품들의 불량 종류까지 판별함에 따라, 분류 시스템의 성능 저하가 발생하고, 종국적으로 분류 및 검사 시스템에 대한 불량 검출의 신뢰도가 떨어질 수 있다.

이와 같이 종래의 분류 및 검사 시스템은 물품에 대한 오분류를 유발할 수 있으며, 이로 인해 시스템 성능 저하로 이어질 수 있는 바, 이를 개선할 수 있는 방안이 필요하다 하겠다.

대한민국 등록특허공보 제0868418호(2008.11.05)

따라서, 본 발명은 상기의 문제점을 해결하기 위해 창출된 것으로, 본 발명의 과제는 분류대상 객체(예: 공정 과정의 물품)를 정상 객체 또는 비정상 객체로 분류하는 과정에서, 상기 분류대상 객체(예: 공정 과정의 물품)가 미리 정해진 분류 프로토콜에 속하지 않은 이유로 보류 객체로 분류될 때, 분류된 보류 객체를 보다 효율적으로 최종 분류 처리할 수 있는 계층적 구조의 감시 장치를 제공하는 데 있다.

본 발명의 목적은 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 과제를 달성하기 위한 본 발명의 관점에 따른 계층적 구조의 감시 장치는, 분류대상 객체를 미리 정해진 제1 분류기준에 따라 정상 객체, 비정상 객체 및 보류 객체로 분류하고, 상기 보류 객체가 미리 정해진 횟수 이상으로 발생할 때, 분류된 보류 객체들을 상기 비정상 객체들로 재분류하는 제1 분류기, 및 재분류된 비정상 객체들을 미리 정해진 제2 분류기준에 따라 비정상 종류별로 분류하는 제2 분류기를 포함한다.

상기 분류대상 객체는 공정 과정의 물품 또는 감시카메라의 영상을 포함할 수 있다.

상기 제1 분류기는 상기 분류된 보류 객체들을 상기 비정상 객체들로 재분류하는 조건으로서, 미리 정해진 기준 시간 이내에 상기 정해진 횟수 이상이 발생하는 것을 더 포함할 수 있다.

상기 제1 분류기는 상기 분류된 보류 객체들을 상기 비정상 객체들로 재분류할 때, 상기 제1 분류기준의 비정상 분류율을 조정할 수 있다.

상기 제1 분류기는 상기 보류 객체를 분류하고, 분류된 보류 객체를 외부의 보관 영역으로 이동하는 제어를 하며, 상기 외부의 보관 영역으로부터 상기 분류된 보류 객체들을 상기 제2 분류기로 전달하는 제어를 할 수 있다.

상기 분류된 보류 객체들을 보관하는 보관부를 더 포함할 수 있다.

따라서, 본 발명에서는 분류대상 객체(예: 공정 과정의 물품)를 정상 객체 또는 비정상 객체로 분류하는 과정에서, 상기 분류대상 객체(예: 공정 과정의 물품)가 미리 정해진 분류 프로토콜에 속하지 않은 이유로 보류 객체로 분류될 때, 분류된 보류 객체를 보다 효율적으로 최종 분류 처리할 수 있는 이점이 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 일 실시예에 따른 감시 장치를 나타내는 블럭도이다.
도 2는 도 1의 감시 장치를 더 구체적으로 나타내는 블럭도이다.
도 3은 본 발명의 다른 실시예에 따른 감시 장치를 나타내는 블럭도이다.
도 4는 본 발명의 또 다른 실시예에 따른 감시 장치를 나타내는 블럭도이다.
도 5는 본 발명의 또 다른 실시예에 따른 감시 장치를 나타내는 블럭도이다.
도 6은 도 1의 감시 장치를 물품 분류에 적용한 예로 나타내는 예시도이다.
도 7은 도 1의 감시 장치를 감시카메라의 영상 분류에 적용한 예로 나타내는 예시도이다.
그리고, 도 8은 도 1의 감시 장치가 동작하는 과정을 일 실시예로 나타내는 순서도이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

또한, 본 명세서에서 기술하는 실시예들은 본 발명의 이상적인 예시도인 단면도 및/또는 개략도들을 참고하여 설명될 것이다. 따라서, 제조 기술 및/또는 허용 오차 등에 의해 예시도의 형태가 변형될 수 있다. 또한 본 발명에 도시된 각 도면에 있어서 각 구성 요소들은 설명의 편의를 고려하여 다소 확대 또는 축소되어 도시된 것일 수 있다.

이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예에 대하여 다음과 같이 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 감시 장치를 나타내는 블럭도이다.

도 1에 도시된 바와 같이, 감시 장치(100)는 분류대상 객체를 정상 객체 또는 비정상 객체로 분류하는 과정에서, 분류대상 객체가 미리 정해진 분류 프로토콜, 즉 미리 정해진 분류 기준에 의하여 정상 객체인지, 비정상 객체인지 여부를 결정하기 어려운 상황에 놓여질 수 있다.

이러한 상황에서, 감시 장치(100)는 해당 분류대상 객체를 정상 객체 또는 비정상 객체로 구분하는 것이 아닌 보류 객체로서 분류하는 것이 가능하다.

이때, 감시 장치(100)는 보류 객체로서 분류된 것이 미리 정해진 횟수(예: 10회) 이상인 것으로 카운트될 때, 분류된 다수의 보류 객체들을 비정상 객체들인 것으로 재분류한다.

이는, 일회성이 아닌 다회성으로 발생하는 보류 객체들은 임시적 방편으로서, 보류 상태에 있을 것이 아니라 상세 분석 과정을 거쳐 정상 또는 비정상 여부를 가려내야 하는 추가 분석이 요구되는 상태에 있는 객체들이라는 점이 반영된 것이다.

즉, 감시 장치(100)는 계층적 구조로 구성되는 것으로서, 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체로 분류하는 제1 분류기(110)에서 1차 분류를 한 후, 비정상 객체를 비정상 종류별로 분류하는 제2 분류기(120)에서 2차 분류하는 구성이다.

여기서, 제1 분류기(110)는 보류 객체가 미리 정해진 횟수 이상으로 카운트될 때, 분류된 보류 객체들을 비정상 객체들인 것으로 재분류하고, 재분류된 비정상 객체들을 제2 분류기(120)로 전달할 수 있다.

제2 분류기(120)는 재분류된 비정상 객체에 대해서도, 상기 1차 분류에서 분류된 비정상 객체를 비정상 종류별로 분류하는 것과 마찬가지로, 비정상 종류별로 분류한다.

보류 객체는 미리 정해진 분류 기준에 의해 정상 객체인 것인지, 또는 비정상 객체인 것인지에 대한 여부가 명확하지 아니하여, 임시적으로 객체 특정을 보류한 것을 일컫는다.

따라서, 제2 분류기(120)에 상기 재분류된 비정상 객체들을 비정상 종류별로 분류할 때, 보다 상세한 검증을 통해 미리 정해진 비정상 종류들 중 어느 하나인 것으로 특정하여 분류하거나, 미리 정해진 비정상 종류들 중 어느 하나인 것으로 특정하는 것이 불가할 수 있다.

이러한 점을 감안해서, 상기 미리 정해진 비정상 종류들은 제1 비정상, 제2 비정상, 제N 비정상으로 구분하되, 추가로 '분류 불가' 항목을 더 포함하고 있는 것이 바람직하다.

제2 분류기(120)에서 상세한 검증을 거쳤음에도 불구하고, 비정상 여부 및 비정상 종류를 특정하는 것이 불가한 상황에서 시스템 성능의 저하를 방지하기 위하여 상기 '분류 불가' 항목으로 해당 재분류된 비정상 객체를 분류할 수 있다.

차후, '분류 불가' 항목에 쌓여 진 적어도 하나의 객체는 검사자의 육안 식별과정을 거쳐 최종 분류된다.

'분류 불가' 항목에 쌓여 진 적어도 하나의 객체가 반복적이고, 다수 개체로서 발생할 때, '분류 불가' 항목에 쌓여 진 적어도 하나의 객체에 대한 특징 추출 및 추출된 특징을 감시 장치(100)에 학습시키는 과정을 거쳐, 감시 장치(100)에 의해 분류될 수 있도록 하는 시스템 업그레이드를 실시할 수도 있다.

분류기준의 구분에 따라, 감시 장치(100)는 분류대상 객체를 미리 정해진 제1 분류기준에 따라 정상 객체, 비정상 객체 및 보류 객체로 분류하고, 분류된 보류 객체가 미리 정해진 횟수 이상으로 발생할 때에는 분류된 보류 객체들을 비정상 객체들인 것으로 재분류하는 제1 분류기(110), 및 재분류된 비정상 객체들을 미리 정해진 제2 분류기준에 따라 비정상 종류별로 분류하는 제2 분류기(120)를 포함한다.

여기서, 분류대상 객체는 공정 과정의 물품이거나, 감시카메라의 영상을 포함할 수 있다.

이하에서는, 도 2를 참조하여 도 1에 도시된 감시 장치(100)를 더 구체적으로 설명하도록 한다.

감시 장치(100)를 계층적 구조를 위해, 제1 분류기(110) 및 제2 분류기(120)를 포함하는 구성이다.

제1 분류기(110)는 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체로 분류한다. 즉, 제1 분류기(110)는 미리 정해진 제1 분류기준에 따라 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체로 분류하는 것이다.

제1 분류기준이라 함은, 분류대상 객체가 정상 객체인지, 아니면 비정상 객체인지를 분류하는 기준이라 하겠다.

예를 들어, 분류대상 객체가 공정 중인 물품인 경우, 해당 물품이 정상 상태인 것으로 간주할 수 있는 특징(예: 외관 특징)들을 모두 포함하고 있다면 해당 물품을 정상 객체인 것으로 결정할 수 있고, 해당 물품이 정상 상태인 것으로 간주할 수 있는 특징들 중 어느 하나라도 누락된다면 비정상 객체인 것으로 결정할 수 있다.

이와 같은 예에서, 보류 객체는 정상 상태로 간주할 수 있는 특징들 중 어느 하나가 누락되어 비정상 객체인 것으로 분류될 것이지만, 추출된 특징이 다른 패턴의 양상으로 추출되는 경우에 비정상 객체가 아닌 보류 객체로서 분류 가능하다.

상기 추출된 특징이 다른 패턴의 양상으로 추출되는 경우는, 일례를 들어 설명한다.

제1 분류기(110)에서 공정 중인 물품에 대해 추출된 특징이, 물품의 외관 중 한 두 곳에 이물질이 부착된 것으로서 출력되는 경우, 통상의 공정 과정 중에 이물질이 물품의 외관에 부착되어 진성 불량의 비정상 객체가 된 것으로 판단할 수 있다.

하지만, 제1 분류기(110)에서 공정 중인 물품에 대해 추출된 특징이, 물품의 외관 전체에 이물질이 부착된 것으로서 출력되는 경우, 이것은 통상의 공정 과정 중에 이물질이 물품의 외관에 부착된 것으로 판단하기 어렵다. 즉, 공정 과정에서 물품에 이물질이 물품 외관에 부착된 것으로 판단하기 보다, 공정 과정이 아닌 세정 과정에서 세정 장비의 일시적 작동오류 및 고장으로 인하여 물품에 대한 세척이 이루어지지 않음에 따라 물품의 전체 외관에 이물질이 부착된 것으로 판단하는 것이 더 타당하다.

따라서, 제1 분류기(110)에서 공정 중인 물품에 대해 추출된 특징이, 물품의 외관 전체에 이물질이 부착된 것으로서 출력되는 경우에는, 해당 물품을 보류 객체로 분류할 수 있다.

다른 예로서, 분류대상 객체가 공정 중인 물품인 경우, 해당 물품이 비정상 상태인 것으로 간주할 수 있는 특징(예: 깨진 흔적, 일정 범위 이상의 얼룩 등)들 중 적어도 하나를 포함하고 있다면 해당 물품을 비정상 객체인 것으로 결정할 수 있고, 해당 물품이 비정상 상태인 것으로 간주할 수 있는 특징들 중 어느 하나도 포함하고 있지 않다면 정상 객체인 것으로 결정할 수 있다.

이와 같은 예에서, 보류 객체는 비정상 상태로 간주할 수 있는 특징들 중 어느 하나도 명확히 포함하고 있지 않은 이유로, 정상 객체로 분류될 것이지만, 추출된 특징이 비정상에 해당하는 특징과 유사한 부분이 존재하나 비정상에 해당하는 것으로 분류하기 위한 기준에는 미치지 않는 경우, 또는 추출된 특징이 비정상에 해당하는 특징인 것으로 분류가 가능하지만 그 정도가 지나치게 과도하게 드러나는 경우에는 정상 객체 또는 비정상 객체가 아닌 보류 객체로서 분류 가능하다.

또 다른 예로서, 분류대상 객체가 공정 중인 물품인 경우, 해당 물품이 정상 상태인 것으로 간주할 수 있는 특징(예: 외관 특징)들을 포함하고 있다면 해당 물품을 정상 객체인 것으로 결정할 수 있고, 반대로 해당 물품이 비정상 상태인 것으로 간주할 수 있는 특징(예: 깨진 흔적, 일정 범위 이상의 얼룩 등)들 중 적어도 하나를 포함하고 있다면 해당 물품을 비정상 객체인 것으로 결정할 수 있다.

이와 같은 예에서, 보류 객체는 해당 물품이 정상 상태인 것으로 간주할 수 있는 특징 및 해당 물품이 비정상 상태인 것으로 간주할 수 있는 특징을 모두 포함하고 있지 않은 경우, 정상 객체 또는 비정상 객체가 아닌 보류 객체로서 분류될 수 있다.

이와 같은 제1 분류기(110)는 분류대상 객체에 대한 특징 추출을 실시한 후, 추출된 결과를 기초로 미리 정해진 제1 분류기준에 따라 정상 객체, 비정상 객체 및 보류 객체로 분류하는 제어를 하고, 보류 객체가 미리 정해진 횟수 이상으로 발생할 때 분류된 보류 객체들을 비정상 객체들로 재분류 제어하는 제1 제어모듈(111), 및 제1 제어모듈(111)의 제어 명령에 따라 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체 중 분류된 객체와 대응하는 영역으로 이송하는 제1 이송모듈(112)을 포함한다.

여기서, 분류된 보류 객체가 보관되는 영역은 감시 장치(100)의 외부에 위치한 보관 영역이 될 수 있다.

제1 이송모듈(112)은 분류대상 객체가 공정 과정의 물품인 경우, 라인 및 로봇 팔 중 적어도 하나를 적용한 것과 같이 물품을 공간적으로 이동시키기 위한 하드웨어적 모듈로 구비될 수 있다.

한편, 제1 이송모듈(112)은 분류대상 객체가 감시카메라의 영상인 경우, 해당 영상을 알고리즘적인 차후 위치로 이동시키는 소프트웨어적인 모듈 및 하드웨어적인 모듈 중 적어도 하나를 포함하는 구성이다.

제2 분류기(120)는 제1 분류기(110)로부터 재분류된 비정상 객체들을 제공받고, 재분류된 비정상 객체들을 미리 정해진 제2 분류기준에 따라 비정상 종류별로 분류한다.

제2 분류기준이라 함은, 재분류된 비정상 객체가 어떠한 종류의 비정상 객체인지를 분류하는 기준이다.

또한, 제2 분류기(120)는 재분류된 비정상 객체만을 비정상 종류별로 분류하는 것이 아니라, 1차 분류과정에서 분류된 비정상 객체에 대해서도 비정상 종류별로 분류한다. 허나, 본 발명의 포커스가 보류 객체에 대한 분류에 대한 것이라는 점에서, 제2 분류기(120)가 재분류된 비정상 객체를 비정상 종류별로 분류하는 것으로 동작하는 것에 주안점을 두어 이하 설명하기로 한다.

이와 같은 제2 분류기(120)는 재분류된 비정상 객체들에 대한 각 상세 특징 추출을 실시한 후, 각각 추출된 상세 결과를 기초로 미리 정해진 제2 분류기준에 따라 비정상 종류별로 분류 제어하는 제2 제어모듈(121), 및 제2 제어모듈(121)의 제어 명령에 따라 해당 비정상 종류의 영역별로 각 비정상 객체를 이송하는 제2 이송모듈(122)을 포함한다.

제2 이송모듈(122)은 분류대상 객체가 공정 과정의 물품인 경우, 라인 및 로봇 팔 중 적어도 하나를 적용한 것과 같이 물품을 공간적으로 이동시키기 위한 하드웨어적 모듈로 구비될 수 있다.

한편, 제2 이송모듈(122)은 분류대상 객체가 감시카메라의 영상인 경우, 해당 영상을 알고리즘적인 차후 위치로 이동시키는 소프트웨어적인 모듈 및 하드웨어적인 모듈 중 적어도 하나를 포함하는 구성이다.

도 3은 본 발명의 다른 실시예에 따른 감시 장치(200)를 나타내는 블럭도이다.

도 3에 도시된 바와 같이, 감시 장치(200)는 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체로 분류하는 제1 분류기(210)에서 1차 분류를 한 후, 비정상 객체를 비정상 종류별로 분류하는 제2 분류기(220)에서 2차 분류하는 구성이다.

여기서, 제1 분류기(210)는 보류 객체가 미리 정해진 횟수 이상으로 카운트될 때, 분류된 보류 객체들을 비정상 객체들인 것으로 재분류하고, 재분류된 비정상 객체들을 제2 분류기(220)로 전달할 수 있다.

분류기준의 구분에 따라, 감시 장치(200)는 분류대상 객체를 미리 정해진 제1 분류기준에 따라 정상 객체, 비정상 객체 및 보류 객체로 분류하고, 분류된 보류 객체가 미리 정해진 횟수 이상으로 발생할 때에는 분류된 보류 객체들을 비정상 객체들인 것으로 재분류하는 제1 분류기(210), 보류 객체를 보관하는 보관부(230), 및 재분류된 비정상 객체들을 미리 정해진 제2 분류기준에 따라 비정상 종류별로 분류하는 제2 분류기(220)를 포함한다.

제1 분류기(210)에서 분류된 보류 객체가 미리 정해진 횟수 이상으로 발생하여 분류된 보류 객체들을 비정상 객체들인 것으로 재분류하는 경우, 제1 분류기(210)는 보관부(230)에 보관 중인 보류 객체들을 제2 분류기(220)로 이동하는 제어를 한다.

보관부(230)에 보관 중인 보류 객체들을 제2 분류기(220)로 이동하는 시점은 제1 분류기(210)에서 분류된 보류 객체들을 비정상 객체들인 것으로 재분류한 후 보관부(230)에 보관 중인 보류 객체들을 제2 분류기(220)로 이동할 것을 명령한 제어를 출력한 시점이 될 수 있다.

제1 분류기(210)는 분류대상 객체에 대한 특징 추출을 실시한 후, 추출된 결과를 기초로 미리 정해진 제1 분류기준에 따라 정상 객체, 비정상 객체 및 보류 객체로 분류하는 제어를 하고, 보관부(230)에 보관 중인 보류 객체가 미리 정해진 횟수 이상으로 발생할 때 분류된 보류 객체들을 비정상 객체들로 재분류 제어하는 제1 제어모듈(111), 및 제1 제어모듈(111)의 제어 명령에 따라 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체 중 분류된 객체와 대응하는 영역으로 이송하는 제1 이송모듈(112)을 포함한다.

제2 분류기(220)는 보관부(230)로부터 제공된 비정상 객체들에 대한 각 상세 특징 추출을 실시한 후, 각각 추출된 상세 결과를 기초로 미리 정해진 제2 분류기준에 따라 비정상 종류별로 분류 제어하는 제2 제어모듈(121), 및 제2 제어모듈(121)의 제어 명령에 따라 해당 비정상 종류의 영역별로 각 비정상 객체를 이송하는 제2 이송모듈(122)을 포함한다.

이하에서는, 도 4를 참조하여 본 발명의 또 다른 실시예에 따른 분류장치를 설명하도록 한다.

즉, 감시 장치(300)는 계층적 구조로 구성되는 것으로서, 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체로 분류하는 제1 분류기에서 1차 분류를 한 후, 비정상 객체를 비정상 종류별로 분류하는 제2 분류기에서 2차 분류하는 구성이다.

여기서, 제1 분류기는 보류 객체가 미리 정해진 횟수 이상으로 카운트될 때, 분류된 보류 객체들을 비정상 객체들인 것으로 재분류하고, 재분류된 비정상 객체들을 제2 분류기로 전달할 수 있다.

제2 분류기는 재분류된 비정상 객체에 대해서도, 상기 1차 분류에서 분류된 비정상 객체를 비정상 종류별로 분류하는 것과 마찬가지로, 비정상 종류별로 분류한다.

상기 감시 장치(300)의 구체적 구현 형태는, 제1 분류기 및 제2 분류기에서의 제어 구성을 통합형으로 구현하는 제어기(310)와, 제어기(310)로부터 제공되는 제어 명령에 따라 분류대상 객체를 정상 객체, 비정상 객체 및 보류 객체 중 분류된 객체와 대응하는 영역으로 이송하는 제1 이동부(320)와, 제어기(310)로부터 제공되는 제어 명령에 따라 비정상 객체를 해당 비정상 종류의 영역으로 이송하는 제2 이동부(330)를 포함하는 것으로서 구현 가능하다.

제1 이동부(320) 및 제2 이동부(330)는 분류대상 객체가 공정 과정의 물품인 경우, 라인 및 로봇 팔 중 적어도 하나를 적용한 것과 같이 물품을 공간적으로 이동시키기 위한 하드웨어적 모듈로 구비될 수 있다.

한편, 제1 이동부(320) 및 제2 이동부(330)는 분류대상 객체가 감시카메라의 영상인 경우, 해당 영상을 알고리즘적인 차후 위치로 이동시키는 소프트웨어적인 모듈 및 하드웨어적인 모듈 중 적어도 하나를 포함하는 구성이 가능하다.

도 5는 본 발명의 또 다른 실시예에 따른 감시 장치(400)를 나타내는 블럭도이다.

도 5에 도시된 바와 같이, 감시 장치(400)는 제어기(410), 제1 이동부(420), 제2 이동부(430)외에, 보관부(440)를 더 포함할 수도 있다.

여기서, 보관부(440)는 분류대상 객체가 보류 객체로 분류된 후 제1 이동부(420)에 의해 위치 이동된 보류 객체를 보관한다.

이후, 보관부(440)에 보관 중인 보류 객체가 비정상 객체로 재분류된 후, 재분류된 비정상 객체를 비정상 종류별로 분류하는 경우, 제2 이동부(430)는 제어기(410)로부터 제공되는 제어 명령에 따라 보관부(440)에 위치한 해당 비정상 객체를 대응되는 비정상 종류의 영역으로 위치 이동한다.

이하에서는, 도 6을 참조하여 도 1에 도시된 감시 장치(100)를 물품 분류에 적용한 예로서 더 구체적으로 설명하도록 한다.

도 6의 감시 장치(100)는 공정 중인 분류대상 물품(R 그룹 중 어느 하나)을 미리 정해진 제1 분류기준에 따라 정상 물품(Q 그룹 중 어느 하나), 비정상 물품(A,B,C,D 중 어느 하나) 및 보류 물품(K 그룹 어느 하나)으로 분류하고, 분류된 보류 물품(K 그룹 중 어느 하나)이 미리 정해진 횟수 이상으로 발생할 때에는 분류된 보류 물품들(K 그룹 중 다수)을 비정상 물품들(A,B,C,D 중 다수)인 것으로 재분류하는 제1 분류기(110-1), 및 재분류된 비정상 물품들(A,B,C,D 중 다수)을 미리 정해진 제2 분류기준에 따라 비정상 물품별로 분류하는 제2 분류기(120-1))를 포함한다.

제1 분류기(110-1)는 분류된 보류 물품들(K 그룹 중 다수)을 비정상 물품들(A,B,C,D 중 다수)인 것으로 재분류하기 위한 조건으로서, 미리 정해진 기준 시간 이내에 상기 정해진 횟수 이상이 발생하는 것을 더 포함하는 것이 가능하다.

즉, 제1 분류기(110-1)는 미리 정해진 기준 시간(예: 1시간) 이내에 상기 정해진 횟수 이상으로 보류 물품들(K 그룹 중 다수)이 쌓이는 것에 대해 더 가중치를 두어서, 시간 제한 없이 비 주기적으로 상기 정해진 횟수 이상으로 보류 물품들(K 그룹 중 다수)이 쌓이는 것보다, 미리 정해진 기준 시간(예: 1시간) 이내에 상기 정해진 횟수 이상으로 보류 물품들(K 그룹 중 다수)이 쌓이는 것이 더 진성 불량에 해당하는 것으로 해석해서 진성 불량인 비정상 물품들을 분류할 수 있다.

또한, 제1 분류기(110-1)는 분류된 보류 물품들(K 그룹 중 다수)을 비정상 물품들(A,B,C,D 중 다수)인 것으로 재분류할 때, 제1 분류기(110-1)의 분류 기준 중에서 비정상 분류율을 조정할 수 있다.

공정의 수율은 6 시그마와 같이 ppm 값으로 일정하게 관리될 수 있다. 즉, 통상적으로 일정 값의 비율로서 비정상 물품들이 발생하는바, 전술한 보류 물품을 비정상 물품으로 재분류한 것을 상기 비정상 분류율에 반영하여 공정의 수율 또한 조정하는 것이 바람직하다.

그리고, 도 7은 도 1의 감시 장치(100)를 감시카메라의 영상 분류에 적용한 예로 나타내는 예시도이다.

도 7에 도시된 바와 같이, 감시 장치(100)는 감시카메라의 영상(영상제공부 500으로부터 제공된 영상)을 미리 정해진 제1 분류기준에 따라 정상 영상(영상출력부 600로 제공되는 영상), 특정상황의 영상(혹은, 비정상 영상으로도 상정하는 것이 가능함) 및 보류 영상(가 그룹 중 어느 하나)으로 분류하고, 분류된 보류 영상(가 그룹에 속한 영상)이 미리 정해진 횟수 이상으로 발생할 때에는 분류된 보류 영상들(가 그룹 중 다수)을 특정상황의 영상인 것으로 재분류하는 제1 분류기(110-2), 및 재분류된 특정상황의 영상을 미리 정해진 제2 분류기준에 따라 특정상황별로 분류하는 제2 분류기(120-2)를 포함한다.

여기서, 특정상황의 영상이라 함은 감시영상들 중에서 통상적이지 않은 영상을 일컫는 것으로서, 예를 들어, 감사카메라의 영상 중에서 긴급 구호가 필요한 상황(나 상황)을 나타내는 영상, 침입자가 발생한 상황(다 상황)을 나타내는 영상, 및 화제가 발생한 상황(라 상황)을 나타내는 영상이 될 수 있다.

특정상황의 영상은 별도의 영상출력장치를 통해 출력되거나, 상기 영상출력부에 전달되어 상기 영상출력부에서 비상화면으로서 출력되도록 구현될 수 있다.

도 8은 도 1의 감시 장치가 동작하는 과정을 일 실시예로 나타내는 순서도이다.

도 8에 도시된 바와 같이, 감시 장치(100)는 분류대상 객체에 대한 영상 촬영을 실행하고, 실행 결과에 따른 영상을 분석한다. 영상 내 이미지 패턴, 즉 영상 내의 특징들을 추출한다(S100).

S100 단계에서 추출된 특징들을 분석해서 상기 분류대상 객체가 정상 객체, 비정상 객체 및 보류 객체 중 어느 것인지를 특정하고, 이에 따른 결과에 따라 상기 분류대상 객체를 분류 처리한다(S102).

S102 단계에서, 상기 분류대상 객체가 보류 객체인 경우(S104), 해당 보류 객체를 임시적으로 특정 영역에 보관한다(S106).

S106 단계의 특정 영역에 보관되는 보류 객체가 미리 정해진 횟수 이상이 되면(S108), S108 딘계의 미리 정해진 횟수 이상에 해당하는 보류 객체들을 비정상 객체들로 재분류한다(S110).

S110 단계에서 재분류된 비정상 객체들은 비정상 종류별로 분류된 후, 각 비정상 종류에 대응되는 영역에 보관될 수 있다.

상기 S104 단계에서, 상기 분류대상 객체가 보류 객체가 아닌 정상 객체 또는 비정상 객체인 경우(S104-1), 정상 객체를 정상 경로로 이송하고(S104-1-A), 비정상 객체에 대해서는 해당 비정상 객체를 비정상 종류별로 분류해서 해당 비정상 종류의 영역으로 이송하여 보관한다(S104-1-B).

이상과 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

또한, 본 발명은 분류대상 객체(예: 공정 과정의 물품)를 정상 객체 또는 비정상 객체로 분류하는 과정에서, 상기 분류대상 객체(예: 공정 과정의 물품)가 미리 정해진 분류 프로토콜에 속하지 않은 이유로 보류 객체로 분류될 때, 분류된 보류 객체를 보다 효율적으로 최종 분류 처리할 수 있는 계층적 구조의 감시 장치를 제공하기 위한 것임에 따라, 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있는 발명이다.

100, 200, 300: 감시 장치
110, 110-1, 110-2, 210: 제1 분류기
111: 제1 제어모듈 112: 제1 이송모듈
120, 120-1, 120-2, 220: 제2 분류기
121: 제2 제어모듈 122: 제2 이송모듈
230, 440: 보관부 310, 410: 제어기
320, 420: 제1 이동부 330, 430: 제2 이동부
500: 영상제공부 600: 영상출력부

Claims (6)

1. 분류대상 객체를 미리 정해진 제1 분류기준에 따라 정상 객체, 비정상 객체 및 보류 객체로 분류하고, 상기 보류 객체가 미리 정해진 횟수 이상으로 발생할 때, 분류된 보류 객체들을 상기 비정상 객체들로 재분류하는 제1 분류기; 및
   상기 제1 분류기에서 재분류된 비정상 객체들을 분류하되, 어떤 종류의 상기 비정상 객체인지 미리 설정된 제2 분류기준에 따라 상기 제1 분류기에서 재분류된 비정상 객체들을 비정상 종류별로 분류하는 제2 분류기를 포함하고,
   상기 분류대상 객체는 공정 과정의 물품 또는 감시카메라의 영상을 포함하며,
   상기 분류된 보류 객체들을 보관하는 보관부를 더 포함하는 계층적 구조의 감시 장치.
2. 삭제
3. 제1 항에 있어서,
   상기 제1 분류기는 상기 분류된 보류 객체들을 상기 비정상 객체들로 재분류하는 조건으로서, 미리 정해진 기준 시간 이내에 상기 정해진 횟수 이상이 발생하는 것을 더 포함하는 계층적 구조의 감시 장치.
4. 제1 항에 있어서,
   상기 제1 분류기는 상기 분류된 보류 객체들을 상기 비정상 객체들로 재분류할 때, 상기 제1 분류기준의 비정상 분류율을 조정하는 계층적 구조의 감시 장치.
5. 제1 항에 있어서,
   상기 제1 분류기는 상기 보류 객체를 분류하고, 분류된 보류 객체를 외부의 보관 영역으로 이동하는 제어를 하며, 상기 외부의 보관 영역으로부터 상기 분류된 보류 객체들을 상기 제2 분류기로 전달하는 제어를 하는 계층적 구조의 감시 장치.
6. 삭제

Images