KR102101237B1 - 링거수액 이물질 비전검사 장치 및 그 방법 - Google Patents

Abstract

본 발명의 링거수액 이물질 비전검사 장치는 복수개의 렌즈를 구비한 광학계를 포함하는 링거 촬영부; 암실이 구비되고 상기 암실 내부에 광원이 구비된 조명부; 링거수액이 거치되는 투명압착 고정부가 구비된 회전지그부; 및 상기 링거 촬영부와 유무선으로 연결되고 상기 회전지그부를 제어하는 중앙제어 서버; 를 포함한다.

Description

링거수액 이물질 비전검사 장치 및 그 방법{An intravenous drip sap suspended particles vision inspection device and a method thereof}

본 발명은 비전검사 기술분야에 관한 것으로, 보다 상세하게는 주사기 내의 약액을 인체에 투여하기 위한 링거수액의 이물질을 검사하고, 입력영상의 신호처리를 통해 이동물체를 자동으로 감지하는 링거수액 이물질 비전검사 장치 및 그 방법에 관한 것이다.

의료 제품의 경우, 미세한 이물질이 시약에 투입되는 경우에도 의료사고가 발생할 수 있기 때문에, 제조되는 의료 제품 하나 하나마다 양품인지 불량품인지를 선별해 내는 것이 매우 중요하다.

따라서, 제품의 출하 전에, 다양한 정밀검사를 통해 양품인지 불량품인지를 선별하기 위한 과정이 진행된다.

이러한 정밀검사 중 하나인 비전검사(Vision inspection)는, 실러(Sealer) 도포 상태, 프레임(Frame) 결합 상태, 마킹(Marking) 상태, 리드(Lead)나 볼 그리드(Ball Grid)의 파손여부, 크랙(Crack), 스크래치(Scratch) 여부 등과 같은 부품의 외관 상태를 검사하기 위해 주로 사용된다.

최근 제품의 생산 과정은 공정라인을 따라 이동하는 자동화 생산 과정으로 이루어지는 것이 대부분이며, 따라서 비전검사 장치는, 공정라인 상의 곳곳에 설치되어, 공정라인을 따라 이동하는 링거수액에 대해 비전검사를 수행하고 있다.

기존의 비전검사 장치의 비전검사 방식은, 링거수액을 촬영한 촬영영상과 기 저장된 양품영상을 비교하여 양품인지 아니면 불량품인지를 선별해내는 방식 등 매우 단순한 방식을 채용하고 있다.

이러한 기존의 비전검사 방식은, 비전검사 방식 자체의 정확도가 100% 보장되지 않는 한, 검사 결과 양품을 불량품으로 선별하는 경우, 불량품을 양품으로 선별하는 경우 등의 오류가 발생할 수 밖에 없는데, 비전검사 방식 자체의 정확도가 완벽하게 보장되는 것은 사실상 불가능하기 때문에 결국 여러 번의 검사 오류가 발생하게 된다.

그리고, 공정라인에서 비전검사를 수행하는 비전검사 장치의 검사 결과에 잦은 오류가 발생하게 되면, 공정라인의 생산성이 떨어지는 것은 물론이고, 공정라인 상의 곳곳에 설치된 비전검사 장치들을 관리하는 관리자 입장에서도 관리에 어려움이 생길 수 밖에 없다.

링거(Ringer, Intravenous drip)의 주사기는 실린더에 대한 피스톤의 왕복 운동으로 약액을 흡입 또는 배출하는 구조로 이루어지고, 실린더에 대하여 약액의 흡입과 배출이 이루어지는 실린더의 네크 부위에는 주사 바늘을 고정하는 니들 홀더의 탈착이 이루어진다.

약액은, 액상과 분말의 혼합액 또는 액상의 것으로, 주로 유리나 플라스틱 재질의 앰플에 담겨 보관이 이루어지고, 사용시에는 앰플의 네크 부위를 절단하여 개방한 후 주사 바늘을 위치시켜 실린더 내에 약액을 흡입토록 하거나 앰플의 개구를 합성고무로 밀봉한 경우에 있어서는 주사 바늘로 합성고무를 뚫고 앰플 내에 위치시킨 후 실린더 내로 약액을 흡입하게 하는 과정을 거쳐 이루어진다.

이때, 주사기 내부로 유입되는 약액에는 앰플의 개방 과정에서 유리 또는 플라스틱의 파편, 합성고무 조각 등의 이물질들이 함께 혼입될 수 있고, 주사기 내에 혼입된 이물질들은 인체 내에 약액과 함께 주입될 수 있다.

이와 같이 인체 내부로 주입되는 이물질들은 인체의 혈관을 따라 이동하며 혈관 내벽뿐 아니라 인체의 장기를 손상시킬 위험이 있다.

특허문헌 1에는 주사기의 약액을 흡입하고 배출하는 구간에 필터를 내장하여 앰플로부터 약액 충진시와 환자에게 약액 투여시 투여되는 약액에 이물질이 함유되는 것을 방지한 필터 니들이 개시되어 있다.

이러한 의약품의 이물질을 검색하기 위해 입력영상의 신호처리를 통해 이동하는 이물질을 자동으로 감지하고, 감시영역을 벗어나기까지 계속해서 추적할 수 있는 기술을 활용하여, 입력된 영상정보에서 움직이는 이물질을 자동으로 감지하고, 추적할 수 있도록 설계된 이물질 추적 시스템이 국내외적으로 다양하게 제안되어 왔다.

영상정보를 통하여 이동물체를 추적하는 대표적인 방법들로는 두 프레임간의 차신호를 이용한 추적기법, 코릴레이션(Correlation: Block Matching Algorithm)을 이용한 추적기법, 간섭 맵(Disturbance Map)을 이용한 추적기법, 칼라 분포를 이용한 추적기법, 광류(Optical flow)를 이용한 추적기법 등이 있다.

이러한 추적기법들은 입력영상으로부터 이동물체를 추출하는데 각각 그 장단점을 가지고 있으나, 개개의 실험결과를 분석하였을 때, 속도나 정확성면에서 많은 문제점들이 노출되어 상용화에는 다소 어려움이 따르고 있었다.

대한민국 등록특허 제10-1245378호

본 발명의 목적은 공정라인에서 비전검사를 수행하는 비전검사 장치의 검사 결과 신뢰도를 개선하여, 공정라인의 생산성 및 관리 편의성을 효율적으로 증대시킬 수 있는 비전검사 장치 및 비전검사 장치의 동작 방법과, 그 장치가 적용되는 링거수액 이물질 비전검사 장치 및 그 방법을 제공함에 있다.

본 발명의 다른 목적은 링거수액 내에 다양한 이물질을 머신 비전 검사기술을 이용하여 이물질의 유무를 판별하는 링거수액 이물질 비전검사 장치 및 그 방법을 제공함에 있다.

본 발명의 또 다른 목적은 상기와 같은 문제점을 해결하기 위하여 고정된 카메라를 이용한 이물질 추적에 가장 좋은 성능을 가지고 있는 간섭 맵 알고리즘의 장점을 그대로 이용하면서, 카메라 이동에 따른 보정과정이 필요없는 새로운 추적방법을 제공하며, 이물질에 대한 정보를 얻기 위해서 최소한의 영상처리만 함으로서 처리속도를 개선하고, 이물질의 이동 및 환경변화에 따른 적절한 대응으로 추적성능을 향상시킬 수 있는 링거수액 이물질 비전검사 장치 및 그 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명에 따른 링거수액 이물질 비전검사 장치는, 복수개의 렌즈를 구비한 광학계를 포함하는 링거 촬영부; 암실이 구비되고 상기 암실 내부에 광원이 구비된 조명부; 링거수액이 거치되는 투명압착 고정부가 구비된 회전지그부; 및 상기 링거 촬영부와 유무선으로 연결되고 상기 회전지그부를 제어하는 중앙제어 서버; 를 포함할 수 있다.

또한, 상기 회전지그부는 상기 투명압착 고정부가 회전지그 베이스 상에 수평 또는 수직으로 체결부에 의해 고정되어 상기 링거수액의 검사를 수행하는 동안 두께가 변하지 않도록 압착하고, 상기 회전지그 베이스는 상기 체결부에 의해 회동가능하게 체결되고, 상기 체결부의 중앙에 상기 회전지그 베이스의 위치가 이동되게 하는 간격조정부가 연결되고, 상기 간격조정부의 중앙에 회전지그 샤프트가 회동가능하게 체결되고, 상기 회전지그 샤프트의 중앙에 상기 회전지그 샤프트를 회동되게 하는 구동모터가 회전축이 동일하게 연결되고, 상기 구동모터는 이송부에 고정되게 장착될 수 있다.

또한, 상기 중앙제어 서버는 모바일 단말과 PC를 포함하는 단말기와 연동되고, 상기 중앙제어 서버는 복수개의 링거 비전검사 장치를 제어할 수 있다.

또한, 상기 링거 비전검사 장치는 공정라인을 따라 이동하는 상기 링거수액을 상기 공정라인 상의 특정 위치에서 촬영하는 링거 촬영부; 기 설정된 적어도 하나의 링거검사 알고리즘에 따라, 상기 촬영된 촬영영상 및 기 저장된 양품영상을 비교한 비교결과를 출력하는 링거데이터 처리부; 상기 비교결과에 기초하여, 상기 링거수액을 양품 상태로 판단하거나 또는 불량품 상태로 판단하고, 상기 판단 결과에 따라 상기 촬영영상을 양품 상태 또는 불량품 상태 별로 구분된 저장영역에 저장하는 이물질 판단부; 상기 링거수액이 불량품으로 판단되는 경우, 판단 결과를 알리는 메시지를 기 등록된 단말로 전송하는 결과 통신부; 를 더 포함할 수 있다.

또한, 상기 링거데이터 처리부는 상기 링거 촬영부로부터 전달된 영상을 입력받는 링거영상 입력부; 상기 입력된 영상의 잡음성분을 제거하기 위한 링거영상 편집부; 상기 잡음성분을 제거한 영상신호에서 간섭 맵을 이용하여 이물질의 움직임을 검출하는 동작 검출부; 상기 잡음성분을 제거한 영상신호에서 이물질을 분리하기 위한 이물질 추출부; 상기 분리된 이물질의 위치 및 속도 정보를 이용하여 이물질 움직임을 추적하는 이물질 추적부; 및 상기 링거수액의 이동에 따른 입력영상의 보정을 수행하는 이송 보정부; 를 더 포함할 수 있다.

또한, 상기 링거 비전검사 장치는 감시영역을 촬영하는 링거 촬영부; 상기 링거 촬영부를 통해 획득한 입력영상으로부터 이진화된 간섭 영상을 생성하는 간섭영상 생성부; 상기 이진화된 간섭 영상으로부터 미리 설정된 크기의 초기 추적창을 통한 무빙윈도우를 이용하여 이동물체에 대한 정보를 획득하고, 상기 이진화된 간섭 영상 내에서 이동물체를 포함하도록 상기 초기 추적창의 크기를 조정하는 이동 이물질 검출부; 상기 이동물체의 중심에 대한 현재 획득정보와 이전 획득정보를 토대로 후속프레임에서의 상기 이동물체의 중심이 이동될 지점을 예측하고, 상기 이동물체의 중심 이동 예측지점에 상기 추적창의 중심을 위치 이동시키며, 상기 후속프레임의 상기 추적창 내에서 상기 이동물체의 실제 중심과 추적창의 크기정보를 획득하는 이물질 추적부; 및 상기 후속프레임을 통한 상기 이동물체의 실제 획득정보와 상기 이동물체에 대한 예측정보를 비교하고 오차범위에 따라 추적상태의 결과를 판단하는 추적상황 판단부; 를 더 포함할 수 있다.

또한, 상기 촬영을 통해 입력된 영상에 대하여 신호처리속도를 향상시키고, 잡음을 제거하기 위하여 전처리하는 링거데이터 전처리부; 를 더 포함할 수 있다.

또한, 상기 링거데이터 전처리부는, 상기 입력영상의 해상도를 다운시키는 해상도 전처리부; 및 상기 해상도가 다운된 입력영상에서 잡음을 제거하는 필터; 를 더 포함할 수 있다.

또한, 상기 간섭영상 생성부는, 상기 입력영상과 이전 프레임들의 평균영상의 차를 통하여 간섭 필드를 생성하는 간섭필드 생성부; 상기 입력영상과 상기 평균영상을 각각 제2 임계값과 비교하고, 그 비교결과를 논리연산하는 간섭광원 방지부; 및 상기 간섭 필드 각 픽셀의 절대값을 제1 임계값으로 비교한 결과와 상기 논리연산된 결과 값에 따라 각 픽셀의 이진값을 결정하는 영상분할부; 를 더 포함할 수 있다.

또한, 상기 이동 이물질 검출부는 상기 이진화된 간섭 영상에서 초기 추적창 내의 초기좌표로부터 최종좌표까지의 이진값을 합산하여 중심좌표에 해당하는 픽셀에 대한 MDF(Moving Disturbance Function) 값을 계산하는 함수 계산부; 및 상기 계산된 MDF가 가장 큰 픽셀을 중심으로 실제 이동물체의 중심좌표 계산 및 이동물체의 크기를 계산하여 추적창의 크기를 조정하는 타겟창 조정부;를 더 포함할 수 있다.

본 발명의 다른 목적을 달성하기 위한 링거수액 이물질 비전검사 방법은 링거수액 이물질 비전검사 장치를 이용한 링거수액 이물질 비전검사 방법에 있어서, 회전지그부에 링거수액을 거치하고 투명압착 고정부로 상기 링거수액의 검사를 수행하는 동안 두께가 변하지 않도록 압착되는 단계; 상기 투명압착 고정부로 고정된 상기 링거수액이 제1 암실 내부에 투입되는 단계; 상기 제1 암실 내부의 조명부에서 가시광선 또는 적외선이 제공되고 제1 링거 촬영부에서 상기 링거수액의 출구 로브를 검사하는 제1 촬영하는 단계; 상기 제1 암실 내부에서 촬영된 데이터가 중앙제어 서버로 전송되는 단계; 상기 출구 로브의 검사가 완료된 상기 링거수액이 이송부에 의해 이동되어 제2 암실 내부에 투입되는 단계; 상기 제2 암실 내부에서 상기 링거수액이 180도 회전되는 단계; 상기 제2 암실 내부의 제2 조명부에서 가시광선 또는 적외선이 제공되고 제 2 링거 촬영부에서 상기 링거수액 내부를 제2 촬영하는 단계; 상기 제2 암실 내부에서 촬영된 데이터가 상기 중앙제어 서버로 전송되는 단계; 및 상기 중앙제어 서버에서 이물질 판별 알고리즘을 수행하는 단계; 를 포함할 수 있다.

또한, 상기 제2 촬영하는 단계가 완료되면, 상기 회전지그부는 상기 이송부에 의해 제3 암실 내부로 이동되고 상기 회전지그부가 180도 회전되는 단계; 상기 제3 암실 내부의 제3 조명부에서 가시광선 또는 적외선이 제공되고 제 3 링거 촬영부에서 상기 링거수액 내부를 제3 촬영하는 단계; 상기 제3 암실 내부에서 촬영된 데이터가 상기 중앙제어 서버로 전송되는 단계; 및 상기 중앙제어 서버에서 상기 이물질 판별 알고리즘을 수행하는 단계; 를 더 포함할 수 있다.

또한, 상기 제3 촬영하는 단계가 완료되면, 상기 회전지그부는 상기 이송부에 의해 제4 암실 내부로 이동되고 상기 회전지그부가 180도 회전되는 단계; 상기 제4 암실 내부에 제4 조명부에서 가시광선 또는 적외선이 제공되고 제4 링거 촬영부에서 상기 링거수액 내부를 제4 촬영하는 단계; 상기 제4 암실 내부에서 촬영된 데이터가 상기 중앙제어 서버로 전송되는 단계; 및 상기 중앙제어 서버에서 상기 이물질 판별 알고리즘을 수행하는 단계;를 더 포함할 수 있다.

또한, (a) 초기 영상을 획득하는 단계; (b) 상기 획득된 초기 영상을 인가받아 백그라운드 모델링을 실시하는 단계; (c) 타겟 물체들과 후보자 물체들 간 겹침이 있는지 판단하는 단계; (d) 업데이트 된 제1 타겟을 추가하는 단계; (e) 타겟 물체들을 예상 위치로 이동 후 후보자 물체들과 겹침이 있는지 판단하는 단계; (f) 업데이트 된 제2 타겟을 추가하는 단계; (g) 업데이트 되지 않은 타겟의 생명 주기가 끝났는지 판단하는 단계; (h) 업데이트 되지 않은 타겟을 삭제하는 단계; 및 (i) 다음 영상이 있는지 판단하는 단계; 를 더 포함할 수 있다.

또한, 상기 (c) 단계의 결과가 상기 타겟 물체들과 상기 후보자 물체들 간 겹침이 없다고 판단하면, 상기 (e) 단계로 복귀하는 단계; 상기 (e) 단계의 결과가 상기 타겟 물체들을 예상 위치로 이동 후 상기 후보자 물체들과 겹침이 없다고 판단하면, 상기 (g) 단계로 복귀하는 단계; 상기 (g) 단계의 결과가 상기 업데이트 되지 않은 타겟의 생명 주기가 끝나지 않았다고 판단하면, 상기 (i) 단계로 복귀하는 단계; 및 상기 (i) 단계에서 다음 영상이 있으면, 상기 (a) 단계로 회귀되고, 다음 영상이 없으면 종료하는 단계; 를 더 포함할 수 있다.

또한, 상기 (b) 단계는 일정 간격으로 누적 프레임을 학습시키는 단계; 상기 누적 프레임의 평균을 통해 누적 영상을 획득시키는 단계; 및 현재 프레임과 상기 누적 영상의 차영상을 저장시키는 단계; 를 더 포함할 수 있다.

또한, 상기 (b) 단계는 상기 현재 프레임과 상기 누적 영상의 차영상을 임계값 모델로 필터링 한 결과가 최종적인 이진 영상으로 출력되는 단계; 를 더 포함할 수 있다.

기타 실시예의 구체적인 사항은 "발명을 실시하기 위한 구체적인 내용" 및 첨부 "도면"에 포함되어 있다.

본 발명의 이점 및/또는 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 각종 실시예를 참조하면 명확해질 것이다.

그러나, 본 발명은 이하에서 개시되는 각 실시예의 구성만으로 한정되는 것이 아니라 서로 다른 다양한 형태로도 구현될 수도 있으며, 단지 본 명세서에서 개시한 각각의 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구범위의 각 청구항의 범주에 의해 정의될 뿐임을 알아야 한다.

본 발명의 링거수액 이물질 비전검사 장치 및 그 방법은 링거수액내에 다양한 이물질을 머신 비전검사 기술을 이용하여 최소 크기 이상의 이물질을 검출할 수 있는 효과가 있다.

본 발명의 링거수액 이물질 비전검사 장치 및 그 방법은 공정라인에서 비전검사를 수행하는 비전검사 장치의 검사 결과 신뢰도를 개선하여, 공정라인의 생산성 및 관리 편의성을 효율적으로 증대시키는 효과가 있다.

본 발명의 링거수액 이물질 비전검사 장치 및 그 방법은 이동물체 자동 추적시 최소한의 영상크기만을 처리하여 처리속도를 향상시킬 수 있게 되며, 추적을 위하여 촬영방향 이동시 촬영방향제어와 영상신호처리가 서로 시분할적으로 분리되어 수행되므로 카메라 움직임에 대한 영상보정이 요구되지 않아 데이터 처리에 대한 부담을 줄일 수 있고, 간섭 맵 알고리즘의 장점을 그대로 이용할 수 있으므로 추적의 정확성을 높이는 효과가 있다.

도 1a는 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 장치가 X축을 중심으로 회전하는 모습을 도시한 구성도이고, 도 1b는 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 장치가 Y축을 중심으로 회전하는 모습을 도시한 구성도이다.
도 2는 도 1의 일 실시예에 의한 링거수액 이물질 비전검사 방법을 도시한 모식도이다.
도 3은 도 3의 다른 일 실시예에 의한 링거수액 이물질 비전검사 방법을 도시한 모식도이다.
도 4는 도 1은 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 장치의 일 실시예의 구성을 도시한 사진이다.
도 5는 본 발명의 일 실시예에 따른 링거수액 이물질 비전검사 시스템을 보여주는 예시도이다.
도 6은 본 발명의 일 실시예에 따른 비전검사 장치의 구성을 나타내는 구성도이다.
도 7은 본 발명의 일 실시예에 따른 비전검사 장치의 링거데이터 처리부의 구성을 나타내는 구성도이다.
도 8은 본 발명의 다른 일 실시예에 따른 비전검사 장치의 구성을 나타내는 구성도이다.
도 9는 본 발명의 다른 일 실시예에 따른 비전검사 장치의 회로를 도시한 회로도이다.
도 10은 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 방법을 도시한 흐름도이다.
도 11은 본 발명의 일 실시예에서 백그라운드 모델링에서 일정 간격으로 배경을 학습하여 차영상을 누적하는 과정을 도시한 모식도(a)이고, 백그라운드 모델링에서 누적 프레임들의 평균을 통해 누적 영상을 획득하는 과정을 도시한 모식도(b)이다.
도 12는 본 발명의 일 실시예에서 백그라운드 모델링에서 배경 모델과 새로운 프레임의 차영상을 누적하는 과정을 도시한 모식도이다.
도 13은 본 발명의 일 실시예에서 백그라운드 모델링에서 임계값을 적용하는 과정을 도시한 모식도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하면 다음과 같다.

본 발명을 상세하게 설명하기 전에, 본 명세서에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 무조건 한정하여 해석되어서는 아니되며, 본 발명의 발명자가 자신의 발명을 가장 최선의 방법으로 설명하기 위해서 각종 용어의 개념을 적절하게 정의하여 사용할 수 있고, 더 나아가 이들 용어나 단어는 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 함을 알아야 한다.

즉, 본 명세서에서 사용된 용어는 본 발명의 바람직한 실시예를 설명하기 위해서 사용되는 것일 뿐이고, 본 발명의 내용을 구체적으로 한정하려는 의도로 사용된 것이 아니며, 이들 용어는 본 발명의 여러 가지 가능성을 고려하여 정의된 용어임을 알아야 한다.

또한, 본 명세서에 있어서, 단수의 표현은 문맥상 명확하게 다른 의미로 지시하지 않는 이상, 복수의 표현을 포함할 수 있으며, 유사하게 복수로 표현되어 있다고 하더라도 단수의 의미를 포함할 수 있음을 알아야 한다.

본 명세서의 전체에 걸쳐서 어떤 구성 요소가 다른 구성 요소를 "포함"한다고 기재하는 경우에는, 특별히 반대되는 의미의 기재가 없는 한 임의의 다른 구성 요소를 제외하는 것이 아니라 임의의 다른 구성 요소를 더 포함할 수도 있다는 것을 의미할 수 있다.

더 나아가서, 어떤 구성 요소가 다른 구성 요소의 "내부에 존재하거나, 연결되어 설치된다"고 기재한 경우에는, 이 구성 요소가 다른 구성 요소와 직접적으로 연결되어 있거나 접촉하여 설치되어 있을 수 있고, 일정한 거리를 두고 이격되어 설치되어 있을 수도 있으며, 일정한 거리를 두고 이격되어 설치되어 있는 경우에 대해서는 해당 구성 요소를 다른 구성 요소에 고정 내지 연결시키기 위한 제 3의 구성 요소 또는 수단이 존재할 수 있으며, 이 제 3의 구성 요소 또는 수단에 대한 설명은 생략될 수도 있음을 알아야 한다.

반면에, 어떤 구성 요소가 다른 구성 요소에 "직접 연결"되어 있다거나, 또는 "직접 접속"되어 있다고 기재되는 경우에는, 제 3의 구성 요소 또는 수단이 존재하지 않는 것으로 이해하여야 한다.

마찬가지로, 각 구성 요소 간의 관계를 설명하는 다른 표현들, 즉 " ~ 사이에"와 "바로 ~ 사이에", 또는 " ~ 에 이웃하는"과 " ~ 에 직접 이웃하는" 등도 마찬가지의 취지를 가지고 있는 것으로 해석되어야 한다.

또한, 본 명세서에 있어서 "일면", "타면", "일측", "타측", "제 1", "제 2" 등의 용어는, 사용된다면, 하나의 구성 요소에 대해서 이 하나의 구성 요소가 다른 구성 요소로부터 명확하게 구별될 수 있도록 하기 위해서 사용되며, 이와 같은 용어에 의해서 해당 구성 요소의 의미가 제한적으로 사용되는 것은 아님을 알아야 한다.

또한, 본 명세서에서 "상", "하", "좌", "우" 등의 위치와 관련된 용어는, 사용된다면, 해당 구성 요소에 대해서 해당 도면에서의 상대적인 위치를 나타내고 있는 것으로 이해하여야 하며, 이들의 위치에 대해서 절대적인 위치를 특정하지 않는 이상은, 이들 위치 관련 용어가 절대적인 위치를 언급하고 있는 것으로 이해하여서는 아니된다.

더욱이, 본 발명의 명세서에서는, "부", "기", "모듈", "장치" 등의 용어는, 사용된다면, 하나 이상의 기능이나 동작을 처리할 수 있는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어, 또는 하드웨어와 소프트웨어의 결합으로 구현될 수 있음을 알아야 한다.

또한, 본 명세서에서는 각 도면의 각 구성 요소에 대해서 그 도면 부호를 명기함에 있어서, 동일한 구성 요소에 대해서는 이 구성 요소가 비록 다른 도면에 표시되더라도 동일한 도면 부호를 가지고 있도록, 즉 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지시하고 있다.

본 명세서에 첨부된 도면에서 본 발명을 구성하는 각 구성 요소의 크기, 위치, 결합 관계 등은 본 발명의 사상을 충분히 명확하게 전달할 수 있도록 하기 위해서 또는 설명의 편의를 위해서 일부 과장 또는 축소되거나 생략되어 기술되어 있을 수 있고, 따라서 그 비례나 축척은 엄밀하지 않을 수 있다.

또한, 이하에서, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 구성, 예를 들어, 종래 기술을 포함하는 공지 기술에 대한 상세한 설명은 생략될 수도 있다.

도 1a는 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 장치가 X축을 중심으로 회전하는 모습을 도시한 구성도이고, 도 1b는 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 장치가 Y축을 중심으로 회전하는 모습을 도시한 구성도이다.

도 2는 도 1의 일 실시예에 의한 링거수액 이물질 비전검사 방법을 도시한 모식도이다.

도 3은 도 3의 다른 일 실시예에 의한 링거수액 이물질 비전검사 방법을 도시한 모식도이다.

도 4는 도 1은 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 장치의 일 실시예의 구성을 도시한 사진이다.

도 5는 본 발명의 일 실시예에 따른 링거수액 이물질 비전검사 시스템을 보여주는 예시도이다.

도 6은 본 발명의 일 실시예에 따른 비전검사 장치의 구성을 나타내는 구성도이다.

도 7은 본 발명의 일 실시예에 따른 비전검사 장치의 링거데이터 처리부의 구성을 나타내는 구성도이다.

도 8은 본 발명의 다른 일 실시예에 따른 비전검사 장치의 구성을 나타내는 구성도이다.

도 9는 본 발명의 다른 일 실시예에 따른 비전검사 장치의 회로를 도시한 회로도이다.

도 10은 본 발명의 일 실시예에 의한 링거수액 이물질 비전검사 방법을 도시한 흐름도이다.

도 11은 본 발명의 일 실시예에서 백그라운드 모델링에서 일정 간격으로 배경을 학습하여 차영상을 누적하는 과정을 도시한 모식도(a)이고, 백그라운드 모델링에서 누적 프레임들의 평균을 통해 누적 영상을 획득하는 과정을 도시한 모식도(b)이다.

도 12는 본 발명의 일 실시예에서 백그라운드 모델링에서 배경 모델과 새로운 프레임의 차영상을 누적하는 과정을 도시한 모식도이다.

도 13은 본 발명의 일 실시예에서 백그라운드 모델링에서 임계값을 적용하는 과정을 도시한 모식도이다.

본 발명의 링거수액 이물질 비전검사 장치는 복수개의 렌즈를 구비한 광학계로 구성된 링거 촬영부(10); 암실(25)이 구비되고 상기 암실(25) 내부에 광원이 구비된 조명부(20); 링거수액(1)이 거치되는 투명압착 고정부(31)가 구비된 회전지그부(30); 및 상기 링거 촬영부(10)와 유무선으로 연결되고 상기 회전지그부(30)를 제어하는 중앙제어 서버(5000); 를 포함하여 구성된다.

도 1a 및 도 1b를 참조하면, 링거 촬영부(10)는 심도가 균일하게 빛을 보정하는 편광렌즈를 포함한 복수개의 렌즈를 구비한 광학계로 구성된다.

링거 촬영부(10)의 광학계는 링거 촬영부(10)와 링거수액(1) 사이에 구비될 수도 있고, 링거 촬영부(10)와 링거수액(1)이 이루는 연장선상에 링거수액(1)을 사이에 두고 이격되어 구비될 수 있다. 예를 들면, 링거 촬영부(10)와 링거수액(1)이 이루는 연장선상에 링거수액(1)의 전방에는 제1 편광렌즈가 구비되고 링거수액(1)의 후방에는 제2 편광렌즈가 구비될 수 있다.

조명부(20)는 암실(25)내부에 구성되고 가시광선광원 또는 적외선 광원으로 구성된다.

회전지그부(30)는 투명압착 고정부(31), 회전지그 베이스(32), 체결부(33), 간격조정부(35), 회전지그 샤프트(38), 구동모터(39)로 구성된다.

투명압착 고정부(31)는 도 1a에 도시된 바와 같이 하나일 수도 있고, 도 1b에 도시된 바와 같이 복수개일 수도 있으며, 회전지그 베이스(32) 상에 복수개의 투명압착 고정부(31)가 체결부(33)에 의해 고정되고, 복수개의 투명압착 고정부(31)가 형성한 내부 공간에 링거수액(1)의 검사를 수행하는 동안 두께가 변하지 않게 압착되도록 밀접하게 고정되어 거치된다.

회전지그 베이스(32)는 원반형 플레이트이고, 링거수액(1)을 사이에 두고 투명압착 고정부(31)와 체결부(33)에 의해 회동가능하게 체결된다.

체결부(33)는 간격조정부(35)와 연결되고, 간격조정부(35)는 회전지그 샤프트(38)와 연결되고, 회전지그 샤프트(38)는 구동모터(39)와 연결되고, 상기 구동모터(39)는 이송부(40)와 연결된다.

체결부(33)는 투명압착 고정부(31)를 회전지그 베이스(32) 상에 볼트 또는 너트 등의 고정수단으로 체결한다.

간격조정부(35)에 의하여 링거수액(1)이 회전지그 베이스(32) 상에 전자식 제어로 거치되고 이탈되게 작동되어 회전 지그 베이스(32)의 위치가 이동되게 된다.

회전지그 샤프트(38)는 간격조정부(35)와 구동모터(39) 사이에 위치하고 구동모터(39)에 의해 회동되는 회전축이 된다.

구동모터(39)에 의하여 체결부(33), 간격조정부(35), 회전지그 샤프트(38)와 체결된 회전지그 베이스(32)가 일체로 회동되어 회전지그 베이스(32) 상에 거치된 링거수액(1)도 회동되게 된다.

구동모터(39)에 의하여 회전지그 베이스(32) 상에 거치된 링거수액(1)은 도 1a 에 도시된 바와 같이 회전지그 베이스(32)와 하나의 투명압착 고정부(31) 사이에 링거수액(1)이 고정되어 회동될 수도 있고, 도 1b에 도시된 바와 같이 의해 복수개의 투명압착 고정부(31) 사이에 링거수액(1)이 고정되어 회동될 수도 있다.

구동모터(39)에 의하여 링거수액(1)이 회전하는 방향은 도 1a에 도시된 바와 같이 X축을 회전축으로 하여 회전할 수도 있고, 도 1b에 도시된 바와 같이 Y축을 회전축으로 하여 회전할 수도 있다.

이송부(40)에 의하여 링거수액(1)이 거치된 회전지그 베이스(32), 체결부(33), 간격조정부(35), 회전지그 샤프트(38), 구동모터(39)가 이동되어 회전지그 베이스(32) 상에 거치된 링거수액(1)도 이송된다. 이송부(40)에 의하여 회전지그 베이스(32) 상에 거치된 링거수액(1)은 제1 암실(25-1), 제2 암실(25-2), 제3암실(25-3), 제4암실(25-4)로 순차적으로 이송되게 된다.

도 5를 참조하여 본 발명의 일 실시예에 따른 링거수액 이물질 비전검사 시스템을 설명한다.

도 5에 도시된 바와 같이, 본 발명에 따른 링거수액 이물질 비전검사 시스템은, 적어도 하나의 링거 비전검사 장치(1,2...N)와, 적어도 하나의 링거 비전검사 장치(1,2...N)를 중앙에서 제어할 수 있는 중앙제어 서버(5000)를 포함한다.

적어도 하나의 링거 비전검사 장치(1,2...N)는, 부품이 생산되는 공정라인 상의 곳곳에 설치되어, 공정라인을 따라 이동하는 링거수액(1)에 대해 비전검사를 수행하는 장치이다.

이러한 적어도 하나의 링거 비전검사 장치(1,2...N) 각각은, 자신이 설치된 특정 위치에서 링거수액(1)을 촬영한 촬영영상을 기반으로, 실러(Sealer) 도포 상태, 프레임(Frame) 결합 상태, 마킹(Marking) 상태, 리드(Lead)나 볼 그리드(Ball Grid)의 파손여부, 크랙(Crack), 스크래치(Scratch) 여부 등과 같은 부품의 외관 상태를 검사하는 비전검사를 수행할 수 있다.

본 발명에 따른 적어도 하나의 링거 비전검사 장치(1,2...N) 중 링거 비전검사 장치1을 대표적으로 언급하여 설명하면, 링거 비전검사 장치1은, 기 설정된 적어도 하나의 링거검사 알고리즘에 따라, 링거수액(1)을 촬영한 촬영영상 및 기 저장된 양품영상을 비교한 비교결과에 기초하여, 링거수액(1)을 양품 상태로 판단하거나 또는 불량품 상태로 판단함으로써, 본 발명에서 제안하는 방안에 따라서 비전검사를 수행할 수 있다.

중앙제어 서버(5000)는, 적어도 하나의 링거 비전검사 장치(1,2...N)를 중앙에서 제어하는 장치로서, 중앙제어 서버 형태로 구성될 수 있다.

이러한 중앙제어 서버(5000)는, 기 승인된 단말(100)로부터의 요청에 따라, 적어도 하나의 링거 비전검사 장치(1,2...N) 중 특정 비전검사 장치의 판단 결과를 단말(100)로 제공하거나 또는 특정 링거 비전검사 장치의 동작을 제어한다.

여기서, 기 승인된 단말(100)이란, 적어도 하나의 링거 비전검사 장치(1,2...N)에 대한 비전검사 현황 조회 및 동작 제어를 수행할 수 있는 권한이 승인된 단말로서, PC(110)일 수도 있고 모바일 단말(120)일 수도 있다.

예를 들어, 중앙제어 서버(5000)에는, 적어도 하나의 링거 비전검사 장치(1,2...N)에 대한 비전검사 현황 조회 및 동작 제어를 수행할 수 있는 권한이 승인된 모바일 단말의 단말정보(예: 전화번호)가 기 등록되어 있을 수 있다.

이에, 중앙제어 서버(5000)는, 인터넷 등의 통신망을 통해 접속된 모바일 단말(120)로부터 특정 링거 비전검사 장치(예: 비전검사 장치1)의 비전검사 현황 조회가 요청되면, 모바일 단말(120)의 전화번호가 기 등록된 승인 모바일 단말 전화번호에 속해 있는 경우 요청에 따라 링거 비전검사 장치1의 판단 결과를 모바일 단말(120)로 제공함으로써, 모바일 단말(120)을 이용하는 관리자가 원격에서 언제든지 링거 비전검사 장치1의 비전검사 현황 즉 판단 결과(검사 결과)를 조회할 수 있도록 한다.

또한, 중앙제어 서버(5000)는, 모바일 단말(120)로부터 특정 링거 비전검사 장치(예: 비전검사 장치1)의 동작 제어가 요청되면, 모바일 단말(120)의 전화번호가 기 등록된 승인 모바일 단말 전화번호에 속해 있는 경우 요청에 따라 링거 비전검사 장치1의 동작을 제어함으로써, 모바일 단말(120)을 이용하는 관리자가 원격에서 언제든지 비전검사 장치1의 동작을 제어할 수 있도록 한다.

이에, 본 발명의 링거수액 이물질 비전검사 시스템에 따르면, 관리자가 부품이 생산되는 공정라인 상의 곳곳에 설치되어 있는 링거 비전검사 장치(1,2...N)를 현장이 아닌 원격지(예: 사무실, 집 등)에서 장소 제약 없이 실시간으로 비전검사 현황을 조회하거나 동작을 제어하는 등 관리감독할 수 있기 때문에, 링거 비전검사 장치(1,2...N)의 성능 관리 및 유지 보수 등 관리 측면에서 편의성을 효율적으로 증대시킬 수 있다.

도 6을 참조하여 본 발명의 바람직한 실시예에 따른 링거수액 이물질 비전검사 장치에 대해 구체적으로 설명한다.

본 발명의 링거수액 이물질 비전검사 장치는, 도 1에 도시된 적어도 하나의 링거 비전검사 장치(1,2...N) 각각에 해당되며, 이하에서는 설명의 편의를 위해 링거 비전검사 장치(1,2...N) 중 비전검사 장치1을 언급하여 본 발명의 비전검사 장치(1000)를 설명하도록 하겠다.

본 발명에 따른 비전검사 장치(1000)는, 공정라인을 따라 이동하는 링거수액(1)을, 상기 공정라인 상의 특정 위치에서 촬영하는 링거 촬영부(1100)와, 기 설정된 적어도 하나의 링거검사 알고리즘에 따라, 상기 촬영한 촬영영상 및 기 저장된 양품영상을 비교한 비교결과를 출력하는 링거데이터 처리부(1200)와, 상기 비교결과에 기초하여, 상기 링거수액(1)을 양품 상태로 판단하거나 또는 불량품 상태로 판단하는 이물질 판단부(1300)를 포함한다.

본 발명의 링거수액 이물질 비전검사 장치(1000)는, 부품이 생산되는 공정라인 상의 특정 위치에 설치되어, 공정라인을 따라 이동하는 부품 즉 링거수액(1)에 대해 비전검사를 수행하는 장치이다.

이때, 비전검사의 종류는, 실러(Sealer) 도포 상태, 프레임(Frame) 결합 상태, 마킹(Marking) 상태, 리드(Lead)나 볼 그리드(Ball Grid)의 파손여부, 크랙(Crack), 스크래치(Scratch) 여부 등과 같은 부품의 외관 상태를 검사하는 다양한 종류가 있다.

이하에서는, 실러 도포 상태와 내부 이물질 유무에 대한 비전검사를 설명한다.

이 경우, 본 발명의 비전검사 장치(1000)는, 부품이 생산되는 공정라인 상에서 실러 도포가 이루어진 이후의 특정 위치에 설치되어, 공정라인을 따라 이동하는 부품 즉 링거수액(1)에 대해 비전검사 즉 실러 도포 상태와 내부 이물질 유무와 관련된 비전검사를 수행한다.

이에, 링거 촬영부(1100)는, 공정라인을 따라 이동하는 링거수액(1)을, 공정라인 상의 특정 위치 즉 실러 도포가 이루어진 이후의 특정 위치에서 촬영한다.

링거데이터 처리부(1200)는, 기 설정된 적어도 하나의 링거검사 알고리즘에 따라, 링거 촬영부(1100)에서 촬영한 촬영영상 및 기 저장된 양품영상을 비교한 비교결과를 출력한다.

즉, 링거데이터 처리부(1200)는, 비전검사 시 하나의 링거검사 알고리즘을 사용할 수도 있고, 서로 다른 2 이상의 링거검사 알고리즘을 사용할 수도 있다.

먼저, 하나의 링거검사 알고리즘을 사용하는 경우의 제1 실시예를 설명하면 다음과 같다.

제1 실시예의 경우, 링거데이터 처리부(1200)에는 하나의 링거검사 알고리즘(이하, 링거검사 알고리즘 1)이 기 설정되어 있을 것이다.

이에, 링거데이터 처리부(1200)는, 링거검사 알고리즘 1에 따라, 링거 촬영부(1100)에서 촬영한 촬영영상 및 기 저장된 양품영상을 비교한 비교결과를 출력한다.

예를 들면, 링거데이터 처리부(1200)에는 링거검사 알고리즘 1에서 이용하기 위한 양품영상이 기 저장되어 있다.

이때, 양품영상이란 링거수액(1)에 실러가 정상적으로 도포된 상태(양품 상태)일 때 촬영한 영상이며, 양품영상은, 링거수액(1)에 실러가 도포되는 국부 지점에 해당되는 검사면적 및 검사면적 내에 실러가 정상적으로 도포된 상태의 실러면적으로 구분될 수 있다.

그리고, 링거데이터 처리부(1200)는, 촬영부(2100)에서 촬영한 촬영영상이 수신되면, 링거검사 알고리즘 1에 따라, 촬영영상 및 양품영상을 비교한 비교결과 즉 촬영영상 및 양품영상 간의 일치율을 출력한다.

이물질 판단부(1300)는, 링거데이터 처리부(120)의 비교결과 즉 일치율에 기초하여, 링거수액(1)을 양품 상태로 판단하거나 또는 불량품 상태로 판단한다.

즉, 전술한 일 실시예에 따른다면, 이물질 판단부(1300)는, 링거데이터 처리부(1200)의 비교결과 즉 촬영영상 및 양품영상 간의 일치율(R)이, 기 설정된 제1 임계값(th_OK) 이상이면 링거수액(1)을 양품 상태로 판단할 수 있다.

만약, 이물질 판단부(1300)는, 링거데이터 처리부(1200)의 비교결과 즉 촬영영상 및 양품영상 간의 일치율(R)이, 제2 임계값(th_ING) 미만이면 링거수액(1)을 불량품 상태로 판단할 수 있다.

이때, 이물질 판단부(1300)가 전술의 실시예에 따라 링거수액(1)에 대하여 불량품 상태로 판단한 경우, 즉 본 발명의 비전검사 장치(1000)에서 수행한 비전검사의 검사 결과 불량품인 경우, 비전검사 장치(1000)로부터 검사결과 불량품을 인지한 공정라인 제어장치에 의해 해당 링거수액(1)을 이동시키고 있는 공정라인이 정지될 수 있다.

그리고, 이물질 판단부(1300)는, 전술의 실시예에 따라 링거수액(1)에 대하여 판단한 판단 결과로서, 양품 상태인지 또는 불량품 상태인지 뿐만 아니라, 해당 링거수액(1)을 촬영한 촬영영상을 판단한 상태 별로 구분하여 저장하는 것이 바람직하다.

즉, 이물질 판단부(1300)는, 양품 상태로 판단한 링거수액(1)의 촬영영상 들을 양품 저장영역에 저장하고, 불량품 상태로 판단한 링거수액(1)의 촬영영상 들을 불량품 저장영역에 저장할 수 있다.

그리고, 본 발명의 비전검사 장치(1000)는, 결과 통신부(1400)를 더 포함할 수 있다.

결과 통신부(1400)는, 링거수액(1)이 불량품 상태로 판단되는 경우, 판단 결과를 알리는 알람을 출력하거나 또는 판단 결과를 알리는 메시지를 비전검사 장치(1000)와 관련하여 기 등록된 단말로 전송한다.

결과 통신부(1400)는, 전술의 실시예에 따라 이물질 판단부(1300)에서 링거수액(1)이 불량품 상태로 판단되는 경우, 검사 결과 즉 불량품임을 알리는 알람(예: 경보음)을 출력할 수 있고, 또는 검사 결과 즉 불량품임을 알리는 메시지(예: 푸시 메시지)를 비전검사 장치(1000)와 관련하여 기 등록된 단말로 전송할 수 있다.

물론, 결과 통신부(1400)는, 링거수액(1)이 불량품 상태로 판단되는 경우, 알람(예: 경보음)을 출력 및 메시지 전송을 모두 수행할 수도 있다.

이때, 메시지를 비전검사 장치(1000)와 관련하여 기 등록된 단말로 전송하는 방식은, 결과 통신부(1400) 즉 비전검사 장치(1000)가 메시지서비스를 제공하는 메시지서비스서버와 연동하여, 비전검사 장치(1000)와 관련하여 기 등록된 단말로의 메시지 전송을 직접 수행할 수 있다.

이러한 경우에 비전검사 장치(1000)에는, 비전검사 장치(1000)와 관련하여 기 등록된 단말 각각의 단말정보(예: 모바일 단말 전화번호 또는 PC IP주소 등)가 기 등록되어 있고, 결과 통신부(1400)는, 메시지서비스서버와 연동하여, 기 등록되어 있는 단말 각각의 단말정보(예: 모바일 단말 전화번호 또는 PC IP주소 등)를 토대로 메시지 전송을 수행할 수 있다.

한편, 메시지를 비전검사 장치(1000)와 관련하여 기 등록된 단말로 전송하는 다른 방식은, 결과 통신부(1400) 즉 비전검사 장치(1000)가 비전검사 장치(1000)와 관련하여 기 등록된 단말로의 메시지 전송을 중앙제어 서버(5000)에 요청할 수 있다.

이러한 경우에 중앙제어 서버(5000)에는, 비전검사 장치(1000)와 관련하여 기 등록된 단말 각각의 단말정보(예: 모바일 단말 전화번호 또는 PC IP주소 등)가 기 등록되어 있고, 결과 통신부(1400)가 비전검사 장치(1000)와 관련하여 기 등록된 단말로의 메시지 전송을 중앙제어 서버(5000)에 요청하면, 중앙제어 서버(5000)는, 메시지서비스서버와 연동하여, 비전검사 장치(1000)와 관련하여 기 등록되어 있는 단말 각각의 단말정보(예: 모바일 단말 전화번호 또는 PC IP주소 등)를 토대로 메시지 전송을 수행할 수 있다.

여기서, 비전검사 장치(1000)와 관련하여 기 등록된 단말은, 비전검사 장치(1000)에 대한 관리(감독)을 담당하는 사용자(관리자)의 단말로서, 전술한 바와 같이 비전검사 현황 조회 및 동작 제어를 수행할 수 있는 권한이 승인된 단말과 동일할 수 있고 다를 수도 있다.

이상에서 설명한 바와 같이, 본 발명에 따른 비전검사 장치(1000)는, 양품/불량품을 선별하여 비전검사의 검사 결과를 제공하고, 더 나아가 검사 결과가 불량품인 경우 그 사실을 실시간으로 관리자 단말로 알릴 수 있다.

이에, 관리자 입장에서는, 비전검사 장치(1000)에서 수행된 비전검사의 검사 결과 불량품의 링거수액(1)이 있다는 사실을 즉각적으로 인지하게 된다.

도 7은 본 발명의 일실시예에 따른 링거수액 이물질 비전검사 장치의 링거 비전검사 장치를 나타낸 블록도이다.

링거 비전검사 장치(1000)는 링거 촬영부(1100), 링거 촬영부(1100)로부터 전달된 영상을 입력받는 링거영상 입력부(1220), 입력영상의 잡음성분을 제거하기 위한 링거영상 편집부(1230), 보정된 영상신호에서 간섭 맵을 이용하여 이동물체의 움직임을 검출하는 동작 검출부(1240), 영상신호에서 이동물체를 분리하기 위한 이물질 움직임 추출부(1250), 추출된 물체의 위치 및 속도 정보를 이용하여 이물질 움직임을 추적하는 이물질 움직임추적부(1260), 그리고 링거 촬영부(1100)의 이동에 따른 입력영상의 보정을 수행하는 이송 보정부(1270)로 구성된다.

도 8은 본 발명의 일실시예에 따른 링거수액 이물질 비전검사 장치의 이물질 움직임 추정장치의 블록도이다.

이물질 움직임 추정장치(2000)는 촬영부(2100), 링거데이터 전처리부(2200), 간섭영상 생성부(2300), 이동 이물질 검출부(2400), 이물질 추적부(2500), 추적상황 판단부(2600) 및 링거촬영 제어부(2700)를 구비한다.

촬영부(2100)는 감시영역을 촬영하여 아날로그 영상신호를 출력한다.

링거데이터 전처리부(2200)는 전체 입력영상에서 원하는 정보(움직이는 물체의 중심값 및 크기)를 최단시간에 얻기 위하여 입력된 아날로그 영상신호에 대하여 디지털신호로 변환하는 A/D 컨버터(2210)와, 입력영상의 해상도를 조정하는 해상도 전처리부(2220)와, 해상도가 조정된 입력영상에서 각종 잡음을 제거하기 위해 필터링을 수행하는 필터(2230)를 구비한다.

간섭영상 생성부(2300)는 전처리된 입력영상에서 배경과 이동물체의 분리를 수행하기 위하여 간섭 맵 알고리즘을 통해 입력영상을 이진화 영상으로 변환한다.

도 9는 본 발명의 일실시예에 따른 링거수액 이물질 비전검사 장치의 간섭영상 생성부에 대한 상세 블록도이다.

간섭영상 생성부(2300)는 입력영상과 이전까지의 입력 영상의 평균영상을 통해 간섭 필드를 얻는 리커시브필터(2320) 및 리커시브필터(2320)를 통해 획득한 간섭 필드의 절대값과 제1 임계값인 간섭 임계값(threshold)을 비교한 결과에 따라 각 픽셀에 대하여 이진화된 간섭 영상을 출력하는 영상분할부(2360)를 구비한다. 또한, 간섭영상 생성부(2300)는 주위의 다른 광원과 같은 환경변화요소에 의해 이동물체 영역이 오판될 수 있는 것을 방지하기 위하여 각 픽셀의 이진값 결정에 영향을 미치는 간섭광원 방지부(2340)를 더 구비한다.

간섭광원 방지부(2340)는 입력영상과 현재프레임의 간섭 필드를 각각 제 2 임계값과 비교하는 제1 비교기(2340-1) 및 제2 비교기(2340-2)와, 제1 및 제2 비교기(2340-1)(2340-2)의 출력값을 OR연산하는 OR 게이트(2340-3)를 구비한다.

이동 이물질 검출부(2400)는 처음 추적을 시작할 때 또는 추적을 실패한 후 다시 이물질의 움직임을 획득할 경우에 추적창을 이용하여 이물질에 대한 중심값 및 크기 정보를 획득한다. 즉, 이물질의 움직임을 획득시 미리 설정된 크기를 갖는 초기 추적창을 통한 무빙윈도우 개념을 이용하여 설정된 범위 내의 각 픽셀에 대한 MDF(Motion Disturbance Function)를 전체 입력영상에서 병렬적으로 계산하는 MDF계산부(2320)와, MDF가 가장 큰 지점을 찾은 후 그 지점을 중심으로 실제 추적창 내에서의 이물질 중심과 이물질의 크기를 계산하여 추적창의 크기를 조정하는 추적창조정부(2410)를 포함한다. 여기서 MDF계산부(2420)는 초기 추적창 내의 초기좌표로부터 최종좌표까지의 이진값을 합산하여 중심좌표에 해당하는 픽셀의 MDF(Moving Disturbance Function) 값으로 결정한다. 이렇게 이동 이물질 검출부(2400)에서 획득된 이물질의 중심에 대한 정보는 궁극적으로 촬영부(2100)의 팬/틸트를 제어하는데 이용되고, 추적창의 크기정보는 촬영부(2100)의 줌 인/아웃 제어에 이용된다.

이물질 추적부(2500)는 이동 이물질 검출부(2400)에서 이물질의 중심에 대한 현재 획득정보와 이전 획득정보를 토대로 후속프레임에서의 이물질의 중심이 이동될 지점을 예측하고, 이물질의 중심 이동 예측지점에 크기 조정된 추적창의 중심을 위치 이동시키며, 위치 이동된 추적창 내에서 후속프레임의 실제 이동물체의 중심과 추적창의 크기정보를 획득한다. 즉, 후속프레임에서는 크기 조정된 추적창 내의 이진화된 간섭 영상신호만을 처리하게 되므로 전체영상에 대해 영상신호처리 할 필요가 없게 된다.

추적상황 판단부(2600)는 후속프레임을 통한 이동물체의 실제 획득정보와 이물질에 대한 예측정보를 비교하고 오차범위에 따라 추적상태의 결과를 판단한다. 또한, 추적창 내의 이진화된 간섭 화소수를 검사함으로써 추적상태를 판단할 수도 있다. 여기서 추적상태의 오차범위가 설정치 이내이면 계속적으로 이물질 추적부(2500)를 통해 추적창의 영역만 신호처리하면서 이동물체를 추적하며, 설정치 이상이면 이동 이물질 검출부(2400)를 통해 입력영상 전체에 대하여 이물질에 대한 정보를 재획득하게 되고, 다시 자동 추적하는 과정을 반복하게 된다.

링거촬영 제어부(2700)는 입력영상 전체영역에 대하여 추적창의 중심이 설정된 범위 이외에 위치하면 상기 이물질 이동 예측방향으로 링거 촬영부(2100)의 촬영방향을 제어한다. 또한, 예측지점에 위치한 추적창의 크기에 대하여 후속프레임에서 획득한 이물질의 크기가 일정비율로 유지되도록 줌 인/아웃 제어가 수행되도록 촬영부(2100)를 제어한다. 여기서 링거촬영 제어부(2700)의 팬/틸트, 줌 인/아웃 및 촬영방향 제어와 같은 촬영제어와 입력영상에 대한 신호처리는 서로 시분할적으로 수행되도록 한다.

본 발명의 링거수액 이물질 비전검사 방법은, 링거수액 이물질 비전검사 장치를 이용한 링거수액 이물질 비전검사 방법에 있어서, (a) 회전지그부(30)에 링거수액(1)을 거치하고 투명압착 고정부(31)로 상기 링거수액(1)의 검사를 수행하는 동안 두께가 변화하지 않도록 압착되는 단계(S1100); (b) 상기 투명압착 고정부(31)로 고정된 링거수액(1)이 제1 암실(25-1) 내부에 투입되는 단계(S1200); (c) 상기 제1 암실(25-1) 내부의 조명부(20)에서 가시광선 또는 적외선이 제공되고 제1 링거 촬영부(10-1)에서 링거수액(1)의 출구 로브를 검사하는 제1 촬영하는 단계(S1300); (d) 상기 제1 암실(25-1) 내부에서 촬영된 데이터가 중앙제어 서버(5000)로 전송되는 단계(S1400); (e) 상기 출구 로브의 검사가 완료된 링거수액(1)이 이송부(40)에 의해 이동되어 제2 암실(25-2) 내부에 투입되는 단계(S1500); (f) 상기 제2 암실(25-2) 내부에서 상기 링거수액(1)이 180도 회전되는 단계(S1600); (g) 상기 제2 암실(25-2) 내부의 제2 조명부(20-2)에서 가시광선 또는 적외선이 제공되고 제 2 링거 촬영부(10-2)에서 링거수액(1) 내부를 제2 촬영하는 단계(S2000); (h) 상기 제2 암실(25-2) 내부에서 촬영된 데이터가 중앙제어 서버(5000)로 전송되는 단계(S2100); 및 (i) 상기 중앙제어 서버(5000)에서 이물질 판별 알고리즘을 수행하는 단계(S2500); 를 포함한다.

상기 제2 촬영하는 단계(S2000)가 완료되면, 상기 회전지그부(30)는 이송부(40)에 의해 제3 암실(25-3) 내부로 이동되고 상기 회전지그부(30)가 180도 회전되는 단계; 및 상기 제3 암실(25-3) 내부의 제3 조명부(20-3)에서 가시광선 또는 적외선이 제공되고 제3 링거 촬영부(10-3)에서 링거수액(1) 내부를 제3 촬영하는 단계(S3000); 상기 제3 암실(25-3) 내부에서 촬영된 데이터가 중앙제어 서버(5000)로 전송되는 단계(S3100); 및 상기 중앙제어 서버(5000)에서 이물질 판별 알고리즘을 수행하는 단계(S3500); 를 포함한다.

상기 제3 촬영하는 단계(S3000)가 완료되면, 상기 회전지그부(30)는 이송부(40)에 의해 제4 암실(25-4) 내부로 이동되고 회전지그부(30)가 180도 회전되는 단계; 및 상기 제4 암실(25-4) 내부에 제4 조명부(20-4)에서 가시광선 또는 적외선이 제공되고 제4 링거 촬영부(10-4)에서 링거수액(1) 내부를 제4 촬영하는 단계(S4000); 상기 제4 암실(25-4) 내부에서 촬영된 데이터가 중앙제어 서버(5000)로 전송되는 단계(S4100); 및 상기 중앙제어 서버(5000)에서 이물질 판별 알고리즘을 수행하는 단계(S4500); 를 포함한다.

도 10을 참조하여, 본 발명의 일실시예에 따른 링거수액 이물질 비전검사 방법을 설명하면 다음과 같다.

초기 영상을 획득한다(S100).

상기 획득된 초기 영상을 인가받아 백그라운드 모델링을 실시한다(S200).

타겟 물체들과 후보자 물체들 간 겹침이 있는지 판단한다(S300).

업데이트 된 제1 타겟을 추가한다(S400).

타겟 물체들을 예상 위치로 이동 후 후보자 물체들과 겹침이 있는지 판단한다(S500).

업데이트 된 제2 타겟을 추가한다(S600).

업데이트 되지 않은 타겟의 생명 주기가 끝났는지 판단한다(S700).

업데이트 되지 않은 타겟을 삭제한다(S800).

다음 영상이 있는지 판단한다(S900).

만일, 타겟 물체들과 후보자 물체들 간 겹침이 있는지 판단(S300) 결과가 타겟 물체들과 후보자 물체들 간 겹침이 없다고 판단하면, 타겟 물체들을 예상 위치로 이동 후 후보자 물체들과 겹침이 있는지 판단한다(S500).

만일, 타겟 물체들을 예상 위치로 이동 후 후보자 물체들과 겹침이 있는지 판단(S500) 결과가 타겟 물체들을 예상 위치로 이동 후 후보자 물체들과 겹침이 없다고 판단하면, 업데이트 되지 않은 타겟의 생명 주기가 끝났는지 판단한다(S700).

만일, 업데이트 되지 않은 타겟의 생명 주기가 끝났는지 판단(S700) 결과가 업데이트 되지 않은 타겟의 생명 주기가 끝나지 않았다고 판단하면, 다음 영상이 있는지 판단한다(S900).

만일, 다음 영상이 있는지 판단(S900)하여 다음 영상이 있으면, 새로운 영상을 획득하는 단계(S100)가 반복되고, 다음 영상이 없으면 종료한다.

도 11 내지 도 13을 참조하면, 본 발명의 링거수액 이물질 비전검사 방법의 백그라운드 모델링(S200)에 대해 설명한다.

백그라운드 모델링을 실시하는 단계(S200)는 일정 간격으로 누적 프레임을 학습시키는 단계(S210), 누적 프레임의 평균을 통해 누적 영상을 획득시키는 단계(S220), 현재 프레임과 누적 영상의 차영상을 저장시키는 단계(S230)를 포함하여 구성된다.

백그라운드 모델링을 실시하는 단계(S200)는 현재 프레임과 누적 영상의 차영상을 임계값 모델로 필터링 한 결과가 최종적인 이진 영상으로 출력되는 단계(S240)를 더 포함한다.

도 11 내지 도 12를 참조하면, 백그라운드 모델링(S200)은 픽셀의 위치마다 서로 다른 임계값을 적용하기 위한 모델이고, 배경 모델과 새로운 프레임의 차영상인 절대값을 누적시킨다(S210). 누적 프레임의 평균을 통해 누적 영상을 획득시킨다(S220). 현재 프레임에서 누적영상을 뺀 값을 차영상으로 누적시킨다(S230).

도 13을 참조하면, 배경 영상과 입력 영상의 차영상을 임계값 모델로 필터링 한 결과가 최종적인 이진 영상으로 출력된다(S240).

본 발명의 일실시예에 따른 링거수액 이물질 비전검사 장치(1000)의 동작을 설명하면 다음과 같다.

먼저, 링거 촬영부(1100)를 통해 촬영된 영상이 링거영상 입력부(1220)에 입력되면(S1), 입력된 영상신호에 대해 링거영상 편집부(1230)에서 잡음성분을 제거하기 위한 필터링을 수행하고(S2), 이송 보정부(1270)에서 링거 촬영부(1100)의 움직임에 대한 보정을 수행한다(S3). 그 다음 동작 검출부(1240)에서 보정된 영상신호에 대하여 간섭 맵 알고리즘을 통해 물체의 움직임을 검출한다(S4). 이물질 움직임 추출부(1250)에서는 실제 움직임이 있는 물체를 배경으로부터 분리하기 위해 간섭 맵을 통해 추출된 움직임 영역에서 영상분할 및 병합을 이용하여 실제 이동물체를 추출한다(S5). 그 다음 이물질 움직임 추출부(1250)에서는 추출된 이물질 움직임의 위치 및 속도정보를 칼만필터(Kalman Filter)를 이용한 예측 알고리즘에 적용하여 이물질의 다음위치를 예측하고 추적한다(S6). 그리고 추적중인 이물질이 정지하여 움직임이 없어지거나 여러 물체가 교차하여 정확한 추적이 어렵게 되면, 블록정합법을 이용하여 물체를 추적한다(S7). 이렇게 이물질의 움직임이 검출되면 이물질의 움직임에 따라 카메라를 이동시킨다(S8). 이후, 상기 과정을 반복하여 움직이는 이물질을 계속적으로 추적하게 된다.

이러한 이물질 움직임 추적방법은 다양한 알고리즘이 이용되고 있는데, 대표적인 알고리즘으로는 움직이는 이물질을 자동으로 획득 또는 추출하기 위한 간섭 맵 알고리즘과 추적을 위한 블록정합 알고리즘을 사용하고 있다.

이러한 이물질 움직임 추정장치에 있어서는, 이물질의 추출을 위한 간섭 맵 알고리즘이 카메라가 정지해 있을 경우에는 추출성능이 우수하지만, 카메라가 움직이는 경우에는 그에 따른 영상보정이 필수적으로 요구되어 그에 따른 카메라 보정 알고리즘을 이용하고 있는데, 이는 그만큼 시스템에서 처리할 데이터량이 증가하게 되어 처리속도에 부담이 되며 또한 정확한 영상보정이 이루어질 수 없는 이유로 영상보정 오차가 이물질에 대한 추적오차가 되는 단점을 가지고 있다.

또한, 블록정합 알고리즘은 물체가 이동하면서 크기, 모양, 밝기 등이 변할 경우 그 추적성능이 저하되어 블록의 크기가 커질수록 처리속도가 떨어지는 문제점과 추적오차가 매 프레임 축적되어 결국에는 움직이는 물체가 블록정합하는 기준블록에서 벗어나게 되는 문제점을 가지게 된다.

본 발명의 일실시예에 따른 링거수액 이물질 비전검사 장치의 이물질 추적방법을 설명한다.

링거 촬영부(2100)에서 감시영역을 촬영(S10)하여 획득한 입력영상에 대하여 전처리를 수행한다(S20). 전처리과정(S20)은 신호처리속도를 향상시킬 수 있도록 해상도를 조정하고(S21), 해상도 조정된 입력영상에서 잡음을 제거하기 위하여 필터링을 수행한다(S22). 그리고 전처리된 입력영상을 간섭 맵 알고리즘을 통해 이진화된 간섭 영상으로 변환한다(S30).

간섭 맵 알고리즘은 현재 입력영상(It)과 배경영상(이전까지 입력된 영상의 평균영상(At-1))의 차를 이용해 간섭 필드(ㅿt)를 생성하고, 이것을 이용하여 물체의 움직임 영역을 검출한다. 이를 위하여 이전 프레임까지(At-1)의 평균에 시간가중치(historical weight)를 두어 배경영상(At)을 생성한다. 물체가 움직이는 영역에서는 `1`값을 가지며, 움직임이 없는 영역에서는 `0`값을 갖도록 영상분할하게 되는 것이다.

여기서 이진화된 간섭 영상의 화면 출력 형태는 움직임이 발생한 부분에 대해서는 백색으로 표시되며, 배경 영역은 흑색으로 표시된다. 한편, 본 발명에서는 외부광원에 의해 움직임영역이 오판되는 것을 방지할 수 있도록 간섭광원 방지부(2360)의 출력결과가 각 픽셀에 대한 이진값을 결정하는 변수로 동작한다. 이를 통해 이물질의 오인식을 줄일 수 있게 된다.

위와 같이 입력영상이 이진화된 간섭 영상으로 변환되면 이동 이물질 검출부(2400)에서는 이진화된 간섭 영상으로부터 미리 설정된 크기의 초기 추적창을 통해 이물질의 중심 및 크기 정보를 획득한다(S40). 즉, 전체영상의 이물질이 존재하는 부분에서 이물질의 중심값 및 이물질 추적창의 크기정보를 획득한다. 이러한 이물질에 대한 정보를 획득하기 위하여 이진화된 간섭 영상에서 무빙윈도우 개념을 이용하여 각 픽셀에 대한 MDF(Motion Disturbance Function)를 계산한다(S42).

무빙윈도우는 입력영상의 각 픽셀을 탐색하기 위하여 각 픽셀을 중심좌표로 하는 소정크기의 창들을 말한다. 그리고 무빙윈도우 내의 각 픽셀들이 갖는 이진값을 합산하여 중심좌표에 위치한 픽셀의 특정값, 즉 MDF 값으로 결정하게 된다.

본 발명에 적용된 무빙윈도우는 초기 임의의 추적창 크기를 가지며, 전체 픽셀수 미만의 수가 생성된다. 이렇게 생성된 무빙윈도우는 각 픽셀에 대하여 위 초기 추적창 내의 초기좌표부터 최종좌표까지의 이진값을 합산하여 중심좌표에 위치한 픽셀의 MDF 값으로 결정한다. 한편, 실시간 처리를 위하여 각 픽셀에 대한 MDF 탐색은 병렬로 처리한다(S42).

먼저, 이진화된 간섭 영상에 대해서 다수의 초기 추적창을 통해 각 픽셀의 MDF를 계산한다. 이렇게 해서 이물질에 대한 MDF 필드를 검출하고, 그 MDF 값이 최대인 지점이 제3 임계값 이상이면, 그 최대지점에 초기 추적창의 중심이 위치되도록 한다. 그리고 이물질이 포함되도록 초기 추적창의 크기를 조정한 후, 크기 조정된 추적창 내에서 이물질의 중심좌표 및 추적창의 크기를 계산한다. 만일 MDF가 이물질 획득 임계값보다 적으면 이동물체는 존재하지 않는 것으로 판단한다(S43).

한편, 위와 같이 이물질이 검출되어 추적창의 크기가 조정되면, 이물질의 움직임 위치를 예측하여 자동으로 이물질을 추적한다(S50). 즉, 이물질의 중심에 대한 현재 획득정보와 이전까지의 이물질 중심에 대한 획득정보를 토대로 후속프레임에서의 이물질의 중심이 이동될 지점을 예측하고(S51), 그 예측지점에 크기 조정된 추적창의 중심을 위치시킨다(S52). 이후, 추적창 내에서 후속프레임을 통한 이물질의 실제 중심과 추적창의 크기정보를 획득한다(S53). 이렇게 후속프레임을 통한 실제 이물질에 대한 정보가 획득되면 이물질에 대한 예측정보와 비교하고 오차범위에 따라 추적상태의 결과를 판단한다(S60). 여기서 추적상태의 오차범위가 설정치 이내이면 계속적으로 이물질 추적부(2500)를 통해 추적창의 영역만 신호처리하면서 이물질을 추적하며, 만일 추적상태의 오차범위가 설정치 이상이면 이동 이물질 검출부(2400)를 통해 입력영상 전체에 대하여 이물질에 대한 정보를 재획득하도록 한다. 여기서 추적창 내의 화소수가 임계치 이하이면 마찬가지로 이물질에 대한 정보를 재획득을 한다.

한편, 추적상태의 오차범위가 설정치 이내인 경우에는 이물질에 대한 추적이 양호하다고 판단하여 링거 촬영부(2100)의 이동 및 줌 인/아웃 그리고 팬/틸트를 제어한다(S70). 이때, 링거 촬영부(2100)의 이동은 입력영상 전체영역에 대하여 추적창의 중심이 설정된 범위 이외에 위치하면 이물질 이동 예측방향으로 촬영부의 촬영방향을 이동시키게 된다. 또한, 입력영상 전체영역(B)에 대하여 추적창이 중심부의 소정영역(A) 내에 위치하는 경우에는 팬/틸트가 수행되지 않도록 제어한다. 그리고 줌 인/아웃 제어는 추적창 내의 후속프레임에서 획득한 이물질의 실제 크기에 따라 추적창과 이물질의 크기가 일정비율로 유지되도록 자동으로 줌 인/아웃 한다. 이때, 입력영상에서 이물질이 위치하는 영역에 따라 줌 인/아웃 제어를 수행 또는 미수행되도록 할 수 있다. 이를 통해 과다한 팬/틸트 제어 및 줌 인/아웃 제어에 의해 불필요한 영상 흔들림을 방지할 수 있고, 전체적인 추적 시스템의 안정성을 높일 수 있다.

그리고 위와 같은 링거 촬영부(2100)의 제어와 입력영상에 대한 신호처리는 서로 시분할적으로 수행되도록 한다. 이를 통해 카메라 이동에 따른 영상보정의 수행이 필요치 않게 된다. 본 발명의 이물질 자동 추적장치 및 방법은 추적창을 통한 최소한의 영상크기만을 처리하게 된다.

또한, 카메라 이동 및 줌 인/아웃 그리고 팬/틸트와 같은 카메라 제어와 영상신호처리를 시분할적으로 분할하여 수행함으로써 카메라의 움직임에 대한 영상보정 과정을 생략할 수 있게 된다.

본 발명의 링거수액 이물질 비전검사 장치 및 그 방법은 링거수액 내에 다양한 이물질을 머신 비전검사 기술을 이용하여 최소 크기 이상의 이물질을 검출할 수 있는 효과가 있다.

본 발명의 링거수액 이물질 비전검사 장치 및 그 방법은 공정라인에서 비전검사를 수행하는 비전검사 장치의 검사 결과 신뢰도를 개선하여, 공정라인의 생산성 및 관리 편의성을 효율적으로 증대시키는 효과를 달성한다.

본 발명의 링거수액 이물질 비전검사 장치 및 그 방법은 이동물체 자동 추적시 최소한의 영상크기만을 처리하여 처리속도를 향상시킬 수 있게 되며, 추적을 위하여 촬영방향 이동시 촬영방향제어와 영상신호처리가 서로 시분할적으로 분리되어 수행되므로 카메라 움직임에 대한 영상보정이 요구되지 않아 데이터 처리에 대한 부담을 줄일 수 있고, 간섭 맵 알고리즘의 장점을 그대로 이용할 수 있으므로 추적의 정확성을 높일 수 있다.

이상, 일부 예를 들어서 본 발명의 바람직한 여러 가지 실시예에 대해서 설명하였지만, 본 "발명을 실시하기 위한 구체적인 내용" 항목에 기재된 여러 가지 다양한 실시예에 관한 설명은 예시적인 것에 불과한 것이며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이상의 설명으로부터 본 발명을 다양하게 변형하여 실시하거나 본 발명과 균등한 실시를 행할 수 있다는 점을 잘 이해하고 있을 것이다.

또한, 본 발명은 다른 다양한 형태로 구현될 수 있기 때문에 본 발명은 상술한 설명에 의해서 한정되는 것이 아니며, 이상의 설명은 본 발명의 개시 내용이 완전해지도록 하기 위한 것으로 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이며, 본 발명은 청구범위의 각 청구항에 의해서 정의될 뿐임을 알아야 한다.

1 : 링거수액
10, 10-1, 10-2, 10-3, 10-4 : 링거 촬영부
20, 20-1, 20-2, 20-3, 20-4 : 조명부
25, 25-1, 25-2, 25-3, 25-4 : 암실
30 : 회전지그부
31 : 투명압착 고정부
32 : 회전지그 베이스
33 : 체결부
35 : 간격조정부
38 : 회전지그 샤프트
39 : 구동모터
40 : 이송부
100 : 단말기
110 : PC
120 : 모바일 단말
1000, 2000 : 링거 비전검사 장치
1100, 2100 : 링거 촬영부
1200 : 링거데이터 처리부
1220 : 링거영상 입력부
1230 : 링거영상 편집부
1240: 동작 검출부
1250 : 동작 이물질 추출부
1260 : 동작 이물질 추적부
1270 : 이송 보정부
1300 : 이물질 판단부
1400 : 결과 통신부
2200 : 링거데이터 전처리부
2210 : 컨버터
2220 : 해상도 전처리부
2230 : 링거영상 필터부
2300 : 간섭영상 생성부
2320 : 리커시브필터
2340 : 간섭광원 방지부
2340-1 : 제1비교기
2340-2 : 제2비교기
2340-3 : OR 게이트
2360 : 영상분할부
2400 : 이동 이물질 검출부
2410 : 타겟창 조정부
2420 : 함수 계산부
2500 : 이물질 추적부
2600 : 추적상황 판단부
2700 : 링거촬영 제어부
5000 : 중앙제어 서버

Claims (7)

1. 링거수액 이물질 비전검사 장치를 이용한 링거수액 이물질 비전검사 방법에 있어서,
   회전지그부에 링거수액을 거치하고 투명압착 고정부로 상기 링거수액의 검사를 수행하는 동안 두께가 변하지 않도록 압착되는 단계;
   상기 투명압착 고정부로 고정된 상기 링거수액이 제1 암실 내부에 투입되는 단계;
   상기 제1 암실 내부의 조명부에서 가시광선 또는 적외선이 제공되고 제1 링거 촬영부에서 상기 링거수액의 출구 로브를 검사하는 제1 촬영하는 단계;
   상기 제1 암실 내부에서 촬영된 데이터가 중앙제어 서버로 전송되는 단계;
   상기 출구 로브의 검사가 완료된 상기 링거수액이 이송부에 의해 이동되어 제2 암실 내부에 투입되는 단계;
   상기 제2 암실 내부에서 상기 링거수액이 180도 회전되는 단계;
   상기 제2 암실 내부의 제2 조명부에서 가시광선 또는 적외선이 제공되고 제 2 링거 촬영부에서 상기 링거수액 내부를 제2 촬영하는 단계;
   상기 제2 암실 내부에서 촬영된 데이터가 상기 중앙제어 서버로 전송되는 단계; 및
   상기 중앙제어 서버에서 이물질 판별 알고리즘을 수행하는 단계; 를 포함하며,
   상기 제2 촬영하는 단계가 완료되면, 상기 회전지그부는 상기 이송부에 의해 제3 암실 내부로 이동되고 상기 회전지그부가 180도 회전되는 단계;
   상기 제3 암실 내부의 제3 조명부에서 가시광선 또는 적외선이 제공되고 제 3 링거 촬영부에서 상기 링거수액 내부를 제3 촬영하는 단계;
   상기 제3 암실 내부에서 촬영된 데이터가 상기 중앙제어 서버로 전송되는 단계; 및
   상기 중앙제어 서버에서 상기 이물질 판별 알고리즘을 수행하는 단계; 를 더 포함하고,
   상기 제3 촬영하는 단계가 완료되면, 상기 회전지그부는 상기 이송부에 의해 제4 암실 내부로 이동되고 상기 회전지그부가 180도 회전되는 단계;
   상기 제4 암실 내부에 제4 조명부에서 가시광선 또는 적외선이 제공되고 제4 링거 촬영부에서 상기 링거수액 내부를 제4 촬영하는 단계;
   상기 제4 암실 내부에서 촬영된 데이터가 상기 중앙제어 서버로 전송되는 단계; 및
   상기 중앙제어 서버에서 상기 이물질 판별 알고리즘을 수행하는 단계;를 더 포함하며,
   (a) 초기 영상을 획득하는 단계;
   (b) 상기 획득된 초기 영상을 인가받아 백그라운드 모델링을 실시하는 단계;
   (c) 타겟 물체들과 후보자 물체들 간 겹침이 있는지 판단하는 단계;
   (d) 업데이트 된 제1 타겟을 추가하는 단계;
   (e) 타겟 물체들을 예상 위치로 이동 후 후보자 물체들과 겹침이 있는지 판단하는 단계;
   (f) 업데이트 된 제2 타겟을 추가하는 단계;
   (g) 업데이트 되지 않은 타겟의 생명 주기가 끝났는지 판단하는 단계;
   (h) 업데이트 되지 않은 타겟을 삭제하는 단계; 및
   (i) 다음 영상이 있는지 판단하는 단계; 를 더 포함하는 것을 특징으로 하는,
   링거수액 이물질 비전검사 방법.
   
2. 삭제
3. 삭제
4. 삭제
5. 제1항에 있어서,
   상기 (c) 단계의 결과가 상기 타겟 물체들과 상기 후보자 물체들 간 겹침이 없다고 판단하면, 상기 (e) 단계로 복귀하는 단계;
   상기 (e) 단계의 결과가 상기 타겟 물체들을 예상 위치로 이동 후 상기 후보자 물체들과 겹침이 없다고 판단하면, 상기 (g) 단계로 복귀하는 단계;
   상기 (g) 단계의 결과가 상기 업데이트 되지 않은 타겟의 생명 주기가 끝나지 않았다고 판단하면, 상기 (i) 단계로 복귀하는 단계; 및
   상기 (i) 단계에서 다음 영상이 있으면, 상기 (a) 단계로 회귀되고, 다음 영상이 없으면 종료하는 단계; 를 더 포함하는 것을 특징으로 하는,
   링거수액 이물질 비전검사 방법.
   
6. 제1항에 있어서,
   상기 (b) 단계는
   일정 간격으로 누적 프레임을 학습시키는 단계;
   상기 누적 프레임의 평균을 통해 누적 영상을 획득시키는 단계; 및
   현재 프레임과 상기 누적 영상의 차영상을 저장시키는 단계;를 포함하는 것을 특징으로 하는,
   링거수액 이물질 비전검사 방법.
   
7. 제6항에 있어서,
   상기 (b) 단계는
   상기 현재 프레임과 상기 누적 영상의 차영상을 임계값 모델로 필터링 한 결과가 최종적인 이진 영상으로 출력되는 단계; 를 더 포함하는 것을 특징으로 하는,
   링거수액 이물질 비전검사 방법.
   

Images