KR100390854B1 - 컴퓨터 비전 시스템을 이용한 작업시간 측정 방법 - Google Patents

Abstract

본 발명은 컴퓨터 비전 시스템을 이용한 작업시간 측정 방법에 관한 것으로서, 고정된 배경과 움직이는 대상을 분리하는 차 연산 단계; 상기 차 연산 단계에서 추출된 움직이는 대상의 윤곽선 이미지를 얻기 위한 윤곽선 추출 단계; 상기 윤곽선 추출단계에서 얻어진 정보를 이용해 상기 정보의 무게중심 값인 센터값을 계산하는 센터 추정 단계 및 상기 센터값을 분석해 작업의 반복 패턴을 감지하고 작업시간 측정을 위해 사이클 분리 프레임을 선정하는 사이클 분할 단계를 포함하는 것을 특징으로 한다. 본 발명에 의한 방법에 의하면 작업의 측정 및 분석을 컴퓨터를 통해 하므로 시간의 절감이 가능하고 데이터 오류에 대한 염려가 없다. 또한 본 발명에서는 작업지연이나 작업이탈 시에 사이클 분리 프레임 선정을 위한 알고리즘을 제시하여 보다 현실적인 작업 측정이 가능하다.

Description

컴퓨터 비전 시스템을 이용한 작업시간 측정 방법{Method for Measuring Work Time Using Computer Vision System}

본 발명은 산업공학의 전통적 분야인 작업시간측정과 관련된 것으로서 보다 효율적인 작업시간 측정을 위해 컴퓨터 비전 시스템을 이용해 작업시간을 측정하는 방법에 관한 것이다.

기존의 작업시간 측정은 크게 네 가지로 방법으로 분류할 수 있다. 첫째는 스톱 워치법으로 분석가가 직접 초시계를 들고 작업시간을 측정하는 방법이다. 보편적인 방법이기는 하나 분석가가 작업자를 관찰 시 작업자에게 심리적 불편함을 줄 수 있으며 잘못된 데이터 수집의 가능성도 많다. 두 번째는 기정시간표준법으로 작업자가 수행하는 작업을 여러 개의 기본 동작으로 분해하고, 각 기본동작의 성질과 조건에 따라 미리 정해진 시간치를 적용하고 결합함으로써 작업의 실제 표준시간을 설정하는 방법이다. 이 방법을 사용하기 위해서는 일정 기간의 훈련이 필요하며 비반복 작업이나 수작업 동작이 많이 있는 작업에서는 분석이 곤란한 단점이 있고, 작업자를 기초로한 데이터가 부족한 우리 작업 현실 하에서는 사용하기 어려운 방법이다. 셋 째는 워크 샘플링법으로 작업시간을 일정한 시간간격으로 샘플링하여 측정하고 필요에 따라 레이팅하여 정미시간을 결정한다. 분석기간이 짧고 복합작업에 편리하나 정밀도가 떨어진다. 마지막은 메모 모션법으로 0,01분에 1프레임의 속도로 촬영한 필름을 분석하여 프레임 수에 의해 시간을 분석하는 방법이다. 비교적 정확한 측정이 가능하나 비용이 많이 들고 분석시간도 긴 단점이 있다.

본 발명은 상기한 종래의 작업시간 측정 방법들이 가지는 문제점을 보안하고자 컴퓨터 비전 시스템을 작업시간측정 방법에 도입하여, 정확도가 높고 분석시간과 비용을 크게 절감할 수 있는 작업시간측정 방법을 제안하고자 한다.

도1은 본 발명에 의한 작업시간측정 방법의 단계를 도시한 도면,

도2는 작업자의 작업의 주요 프레임을 나타낸 것,

도3은 도2에 대한 차 연산 수행 결과를 나타낸 것,

도4는 작업자의 X좌표와 Y좌표에 대해 센터값을 추정한 결과를 나타낸 것,

도5는 어떠한 작업의 연속적인 프레임에 대해 센터의 위치를 그래프로 나타낸 것,

도6은 작업지연을 고려한 사이클 분리 알고리즘,

도7은 작업지 이탈 감지 알고리즘

도8은 작업지 이탈시의 작업 그래프,

도9는 패러미터 입력 대화상자의 화면을 나타낸 것.

상기한 목적을 달성하기 위하여 본 발명에서 제안하는 컴퓨터 비전 시스템을 이용한 작업시간측정 방법은 고정된 배경과 움직이는 대상을 분리하는 차 연산 단계; 상기 차 연산 단계에서 추출된 움직이는 대상의 윤곽선 이미지를 얻기 위한 윤곽선 추출 단계; 상기 윤곽선 추출단계에서 얻어진 정보를 이용해 상기 정보의 무게중심 값인 센터값을 계산하는 센터 추정 단계 및 상기 센터값을 분석해 작업의 반복 패턴을 감지하고 작업시간 측정을 위해 사이클 분리 프레임을 선정하는 사이클 분할 단계를 포함하는 것을 특징으로 한다.

이하에서는 첨부된 도면을 참조하여, 본 발명에 의한 작업시간 측정 방법을 상세하게 설명하고자 한다.

도 1은 본 발명에 의한 작업시간측정의 단계를 도시한 도면이다.

첫 번째 단계는 차 연산(Difference Operation)단계이다. 차 연산 단계는 작업을 측정하고자 하는 움직이는 작업자의 모습을 담은 작업영상 데이터로부터 움직이는 대상, 예컨대, 작업자를 고정된 배경과 분리하는 단계이다. 현재 CCD 카메라, 캠코더 등과 같은 영상획득장치에 의해 획득 가능한 작업자의 작업영상 데이터로는 예컨대, CCD 카메라를 통한 이미지 시퀀스, 캠코더의 영상 신호, AVI동영상 파일 등이 선택될 수 있다. 도2는 작업측정을 하려는 작업자의 주요 프레임을 도시한 것이고 도3은 상기 주요 프레임에 대해 차 연산을 수행한 결과를 도시한 것이다. 도3에서 알 수 있듯이 차 연산을 수행하게 되면 고정된 배경은 없어지며 움직이는 물체만 주로 나타나게 된다.

두 번째 단계는 윤곽선 추출 단계이다. 이 단계는 상기 차 연산 단계에서 얻어진 움직임에 대한 정보에서 윤곽선을 추출하여 후술할 센터 추정 단계에서 사용하기 간편하고 잡음이 어느 정도 제거된 이미지를 얻기 위해 수행하는 단계이다. 윤곽선 이미지를 얻기 위해 본 발명에서는 이차 미분 연산자인 라플라시안을 사용하고 콘볼루션(Convolution)을 이용하여 구현한다.

세 번째 단계는 센터 추정 단계이다. 이 단계는 상기 윤곽선 추출 단계에서 얻어진 정보를 이용해 하나의 대표값을 생성하는 단계이다. 여기서 사용하는 대표값은 윤곽선 이미지의 센터, 즉 무게중심이다. 센터 추정 단계의 목적은 작업자의 센터값을 추정하여 작업자의 운동 방향에 대한 정보를 얻기 위해서이다. 윤곽선 정보를 이용해 작업자의 센터를 추정하는 식은 수학식 1과 같다.

도4는 작업자의 X좌표와 Y좌표에 대해 센터값을 추정한 결과를 나타낸 것이다. 도4와 같은 경우에는 수직방향에 대해서는 센터값의 변화가 거의 없으므로 작업의 동작은 수평방향에 대해 분석하는 것이 적절하다.

네 번째 단계는 사이클 분할 단계이다. 이 단계에서는 상기 센터값을 추정한 결과를 분석하여 작업의 반복패턴을 감지하고 사이클 분리 프레임을 선정하는 단계이다. 도5는 어떠한 작업의 연속적인 프레임에 대해 센터의 위치를 그래프로 나타낸 것이다. 도5에서 알 수 있듯이 이러한 작업그래프는 유사한 패턴이 반복되고 있음을 알 수 있다. 하지만 이러한 작업 그래프는 일정한 시간 간격으로 사이클이 나타나지 않는다. 이는 연속적인 작업이라 할 지라도 그 작업을 수행하는 사이클 기간이 일정하지 않기 때문이다. 따라서 오토 코럴레이션과 같은 시계열 분석의 기법을 적용하기가 힘들며 수행시간을 알아내기 위해서는 기본적으로 사이클 분리 과정이 선행되어야 한다. 본 발명에서는 사이클 분리를 위해 작업그래프에서 반복적으로 나타나는 특징점 들을 사용한다. 특징점을 찾는 간략한 방법중에 하나는 연속적으로 들어오는 이미지 프레임에서의 최대값 또는 최소값을 찾아내는 것이다. 도5와 같은 작업 그래프에서 유사한 패턴이 일정하지 않은 시간으로 반복되고 있는데 연속적으로 들어오는 이미지 프레임에서 최대값(혹은 최소값)을 갖는 프레임인지 여부를 판단하고 최대값(혹은 최소값)을 갖는 프레임일 경우에는 그 프레임을 사이클 분리 프레임으로 선정한다. 이러한 작업을 반복적으로 하여 작업의 수행시간은 이전 사이클 분리 프레임과의 간격시간을 계산하여 구할 수 있다.

상기한 4단계를 통해 작업자의 작업수행 정보가 데이터로 기록이 되며 이를 통해 작업 수행시간이나 작업효율 등을 계산할 수 있다. 단 지금까지의 설명은 작업자가 작업지연이나 작업지 이탈과 같은 돌발적인 상황이 발생하지 않았을 때 일반적인 작업측정 방법으로서는 의미가 있으나 상기한 바와 같은 예기치 못한 상황이 있는 경우 상기 사이클 분리단계를 그대로 적용해서 작업 측정을 할 수는 없다. 따라서 이러한 상황을 고려한 새로운 사이클 분리 알고리즘이 필요한데 본 발명에서는 작업지연의 경우의 사이클 분리방법과 작업지 이탈의 경우 감지 방법을 제안하고자 한다.

작업지연이 발생할 경우 작업그래프에 변동이 생기게 되고 사이클 분리 시문제점이 생긴다. 이러한 경우 사이클을 분리하는 문제는 두 가지로 분류할 수 있다. 첫 째는 사이클 분리 프레임으로 선정한 작업자의 주된 움직임의 방향이 바뀌는 지점, 즉 작업그래프에서 최대 내지 최소값을 가지는 지점에서의 작업지연의 경우와 둘 째는 사이클 중간에서의 작업지연의 경우이다. 우선 첫 번째의 주된 움직임의 방향이 바뀌는 지점에서의 작업지연은 사이클 분리 프레임의 선정을 변화시키게 되고 이는 인접한 두 사이클 기간 계산을 통한 작업 수행시간 계산에 영향을 미치게 된다. 그러나 사이클을 분리하는 데에는 영향을 미치지 않으므로 개별 사이클 기간에는 영향을 미치나 평균 사이클 기간에는 영향을 미치지 않는다. 두 번째의 사이클 중간에서 작업 지연이 발생하는 경우에는 작업 수행시간이 길어지게 되며, 그로 인해 사이클 분리 프레임을 선정하는데 어려움이 있을 수 있다.

도6은 작업지연을 고려한 사이클 분리 알고리즘의 순서도를 나타낸 것이다. 이 순서도는 작업 지연이 있더라도 작업의 움직임이 한 쪽 방향으로의 특성을 유지하고 있다고 가정하여 센터값의 최대치와 최소치를 미리 정하여놓고 이를 동시에 고려하여 작업지연이 포한된 사이클을 분리해내는 방식을 취한다.

도6의 순서도를 구체적으로 설명하면 다음과 같다. 최대치로 사이클을 분리하는 방법과 최소치로 사이클을 분리하는 방법이 있는데 여기서는 최대치로 사이클을 분리하는 방법을 소개하겠으며 최소치의 경우에도 동일한 과정을 거친다. 우선 최대 또는 최소치로 지속되는 시간을 나타내는 타이머 변수와 최근에 최대 또는 최소치를 갖는 프레임을 통과했는지 여부를 나타내는 태그 변수를 0으로 초기화 한다. 카메라를 통하여 들어오는 프레임을 받아들인 후 센터 값을 추정하여 최대치보다 센터값이 크면 최대치를 현재의 센터 값으로 조정하거 타이머 값을 0으로 리셋하여 새로운 이미지를 받아들이며 센터값이 최대치보다 작거나 같은 경우에는 타이머를 하나 증가시킨다. 타이머 값을 증가시킨 이후에는 현재의 받아들인 프레임을 분리 프레임으로 선정할 지 여부를 결정하는 임계값 T와 타이머를 비교하게 되며 임계값과 같을 경우에는 사이클 분리 프레임후보로 현재의 프레임을 선정하고, 그렇지 않은 경우에는 새로운 이미지를 얻는 과정으로 되돌아간다. 현재의 프레임이 사이클 분리 프레임 후보로 선정되면 최근에 최소치를 통과했는지 여부를 알기위해 최소치 태그 변수값이 1인지 여부를 확인하며 이것이 확인되면 사이클 분리 프레임의 요건을 모두 충족 시키기 때문에 현재의 프레임을 분리 프레임 스택에 저장한다. 이후에는 최대치 태그 변수를 1로 설정하고 다음 분리 프레임 선정을 위해 최소치 태그 변수는 0으로 설정한다.

다음은 작업지 이탈의 경우에 이를 감지하는 알고리즘에 대해 소개하고자 한다. 도7은 작업지 이탈 감지 알고리즘에 대한 도면이다. 작업지 이탈 여부의 감지는 실제로 이탈한 경우에도 발생하지만 작업자가 일시적으로 동작을 멈춘 경우에도 발생할 수 있다. 이 두가지 경우의 분리는 프레임의 지속시간을 이용해서 한다. 우선 픽셀 카운터를 이요해 받아들인 이미지의 의미있는, 즉 동작내용이 있는 픽셀의 개수를 센 후 이를 미리 정한 임계값과 비교하여 픽셀의 수가 더 많으면 이탈로 간주하지 않고 새로운 이미지를 받아들이며 임계값보다 작은 경우에는 작업지 이탈로 간주하고 이때의 시간을 저장하게 된다. 작업지 이탈의 경우의 작업 그래프는 도8과 같이 나타나게 된다.

작업시간을 측정할 때 효과적인 분석을 하려면 작업에 대한 사전지식을 가지고 측정하는 것이 좋다. 예컨데 측정하려는 작업이 빠른속도의 작업인지, 느린속도의 작업인지나 작업의 동작 형태가 큰 작업인지, 그렇지 않은 경우인지 등이다. 본 발명에서는 컴퓨터에 패러미터 입력 대화상자를 나타나게 하여 이러한 사전정보에 따라 작업시간 측정시 각 패러미터를 다르게 하여 보다 효과적인 작업 측정이 가능하도록 하고 있다.

도9는 이러한 패러미터 입력대화 상자의 화면을 나타낸 것이다. 작업시간측정을 효율적으로 하기 위한 패러미터에는 처리/저장 프레임 수, 전체 저장 프레임 수, 로칼 최대 방지계수, 이미지 크기와 색상, 사이클 분리 프레임, 분석범위와 분할 구간이 있다.

처리/저장 프레임 수는 분석의 정밀도를 나타내는 값으로 초당 몇 개 까지의 프레임을 처리할 수 있는가를 의미한다. 빠른 속도의 작업일수록 움직임의 변화가 크므로 초당 프레임 수를 크게 하며, 느린 작업일수록 프레임 수를 작게 설정한다.

전체 저장 프레임수는 영상신호를 AVI파일로 받아들일 때만 사용하는 것으로서 예를 들어 초당 4프레임씩 50초를 저장할 경우 200프레임을 입력하면 된다.

로칼 최대 방지계수는 전술한 사이클 분리 프레임으로 선정되기 위해 최대 또는 최소치로 머물러야 하는 시간을 프레임 단위로 나타낸 것이다. 대략 평균 작업시간의 반정도로 입력하는 것이 좋은 결과를 나타낸다.

이미지 크기와 색상은 320*240, 640*480 두 종류에 대해 가능하며, 사이클 분리 프레임 선정시 센터값의 최대치를 기준으로 할 지 아니면 최소치를 기준으로할지를 설정하는 곳이다.

분석 범위와 분할 구간은 작업의 주된 동작이 수직방향으로 이루어지는 경우와 수평방향으로 이루어지는 경우를 구분하고 그 범위를 설정해주는 곳이다.

본 발명에서는 영상 처리 기능뿐만 아니라 음성 신호를 통해 작업 정보를 입력하는 방법도 소개하고자 한다. 영상 처리중에 음성 신호 처리 기능을 통해 작업자가 작업과 시작과 종료 시 미리 정의된 음성 신호를 보내게 되면 작업 프레임을 보다 효과적으로 구분할 수 있게 된다.

이상에서 설명한 바와 같이, 본 발명에 의한 작업시간 측정 방법에 의하면 작업의 측정 및 요소 작업의 개별 시간 산출을 컴퓨터를 통해 수행하므로 시간을 크게 줄일 수 있으며, 컴퓨터의 저장기능을 이용해 반복적 분석이 가능하고 분석가가 작업시간 측정 시 범할 수 있는 오류에 대한 염려도 없다. 또한 작업지연이나 작업이탈 시에 대처할 수 있는 알고리즘을 제시하여 영상정보에 의한 작업시간분석이 가질 수 있는 단점인 돌발적인 상황 발생에 대한 대처 미비를 보완하였다. 아울러 작업의 종류에 따라 작업시간측정에 대한 패러미터를 정할 수 있게 하여 보다 효과적인 분석을 가능하도록 하였다.

Claims (5)

1. 영상획득장치에 의해 획득된 작업자의 작업영상 데이터를 컴퓨터 비전 시스템이 자동 처리하는 과정으로 이루어지며,

   상기 작업영상 데이터로부터 고정된 배경과 움직이는 대상을 분리하는 차 연산 단계; 상기 차 연산 단계에서 추출된 움직이는 대상의 윤곽선 이미지를 얻기 위한 윤곽선 추출 단계; 상기 윤곽선 추출단계에서 얻어진 정보를 이용해 상기 정보의 무게중심 값인 센터값을 계산하는 센터 추정 단계 및 상기 센터값을 분석해 작업의 반복 패턴을 감지하고 작업시간 측정을 위해 사이클 분리 프레임을 선정하는 사이클 분할 단계를 포함하는 것을 특징으로 하는 컴퓨터 비전 시스템을 이용한 작업시간 측정 방법.
2. 제 1항에 있어서, 상기 사이클 분할 단계에서 작업 지연이 있는 경우, 임의로 정한 최대, 최소치에서 센터값이 머무르는 시간을 나타내는 타이머 변수와 최근 최대 또는 최소치를 갖는 프레임을 통과했는지 여부를 나타내는 태그 변수를 설정하여 각 변수를 0으로 초기화하는 단계; 이미지를 받아들여 센터값을 추정한 후 센터의 위치가 임의로 정한 최대치보다 작으면 상기 타이머 변수의 값을 하나 증가시키고 그렇지 않은 경우 새로운 이미지를 받아들이는 단계로 되돌아가는 단계; 상기 타이머 변수가 임의로 정한 임계값과 같고, 상기 최소 태크값이 1인 경우 사이클 분리 프레임으로 선정하고 그렇지 않은 경우 새로운 이미지를 받아들이는 단계로 되돌아가는 단계에 의해 사이클 분리 프레임을 선정하는 것을 특징으로 하는 컴퓨터 비전 시스템을 이용한 작업시간 측정 방법.
3. 제 1항에 있어서 작업지 이탈이 있는 경우, 받아들인 이미지의 픽셀 개수를 세어 임의로 정한 임계값보다 크면 사이클 분리연산을 계산하나, 상기 임계값보다 작으면 작업지 이탈로 간주하고 그 시간을 저장하는 것을 특징으로 하는 컴퓨터 비전 시스템을 이용한 작업시간 측정 방법.
4. 제 1항에 있어서 효율적 작업 측정을 위해, 작업 측정전 여러 패러미터를 미리 설정하는 것을 특징으로 하는 컴퓨터 비전 시스템을 이용한 작업시간 측정 방법.
5. 제 1항에 있어서, 정보입력 수단으로서 영상 정보와 함께 음성정보도 작업정보 입력수단이 되는 것을 특징으로 하는 컴퓨터 비전 시스템을 이용한 작업시간 측정 방법.