KR101855090B1 - 카메라 영상분석을 통한 조명등 자동 점등 제어방법 - Google Patents

Abstract

본 발명에 따른 카메라 영상분석을 통한 조명등 자동 점등제어방법은 카메라와 PIR센서가 일체화된 휴먼인식장치를 이용하여 PIR센서를 통해 사람의 움직임(모션)이 감지되면 조명등을 점등시키고, 조명등이 점등된 상태에서 카메라를 통해 촬영되고 있는 사람의 위치를 추적 및 분석하여 조명등을 점등 또는 소등하게 결정할 수 있도록 제어하기 위한 것이다.

Description

카메라 영상분석을 통한 조명등 자동 점등 제어방법{AUTOMATIC LIGHT CONTROL METHOD USING ANALYSIS OF CAMERA IMAGE}

본 발명은 카메라 영상분석을 통한 조명등 자동 점등제어방법에 관한 것으로,

좀 더 상세하게는 카메라와 PIR센서가 일체화된 휴먼인식장치를 이용하여 PIR센서를 통해 사람의 움직임(모션)이 감지되면 조명등을 점등시키고, 조명등이 점등된 상태에서 카메라를 통해 촬영되고 있는 사람의 위치를 추적 및 분석하여 조명등을 점등 또는 소등하게 결정할 수 있도록 제어하기 위한 카메라 영상분석을 통한 조명등 자동 점등제어방법에 관한 것이다.

종래에는 칸막이(파티션) 또는 대형 모니터와 같은 구조물에 가려져 사람이 보이지 않는 히든노드(Hidden Node)가 발생한 경우나 사람이 움직임이지 않는 정지체인식인 경우에 있어 공간 내부에 사람이 존재하여도 조명등이 소등되는 문제가 발생하게 되고, 이로 인해 조명등을 다시 점등시키기 위해 사람이 재차 움직여야 되는 번거로움과 불편함이 발생하게 되는 문제가 있는 것이다.

그리고, 특정 공간, 예를 들어 사무실 등에 설치된 조명등을 자동으로 점등 또는 소등하기 위해서 사람을 감지하는 기술들이 개시되고 있다.

즉, 종래의 PIR 센서는 센서의 범위 안의 적외선의 움직을 포착하여 움직임이 있으면 조명등이 점등되고, 움직임이 없으면 소등되도록 결정하는 것으로, 이는 움직임이 있느냐 또는 없느냐에 따라 판단하는 것으로서 특정 공간 내에 움직임이 없는 사람이 존재할 경우에도 조명등이 소등되는 문제가 있는 것이다.

이와 같이, 종래의 PIR 센서는 움직임만을 포착하기 때문에 조명등의 소등(Off) 시기를 설정할 수 밖에 없는 것이고, 조명등의 소등(Off) 시기 설정으로 인해 사람이 없는 경우에도 조명등이 점등(On)될 수 있는 것이어서, 전체적으로 에너지가 절감되지 못하는 문제가 있다.

또한, 적외선 센서(infra-red sensor)를 이용하여 사람을 감지해서 조명등을 자동으로 점등 또는 소등하는 기술이 개시되고 있다. 그러나 적외선 센서를 사용한 조명등 점등 제어기술은 적외선 센서의 짧은 감지거리로 인해서 넓은 공간의 경우 다수개의 적외선 센서를 설치하여야 하는 문제점을 발생한다.

또한, 적외선 센서를 사용한 조명등 점등제어기술은 사람의 모션(motion) 감지를 통해서 점등 또는 소등을 수행한다. 즉 사람의 모션이 감지된 경우 조명등을 점등하고 사람의 모션이 감지되지 않은 경우 조명등을 소등한다. 이로 인해서 거실 등과 같은 공간에서 사람이 움직이다가 정지 상태에 있는 경우 사람이 공간에 존재함에도 불구하고도 조명등이 소등되는 문제점이 발생된다.

이러한 적외선 센서 방식의 조명등 점등 제어기술의 문제점을 개선하기 위해서 공간에 카메라를 설치하여 조명등의 점등을 자동 제어하는 기술이 개시되고 있다. 카메라를 이용한 조명등 점등제어기술은 넓은 공간에 다수의 적외선 센서를 설치해야 하는 적외선 센서 방식의 조명등 점등제어기술과 달리 1대의 카메라만으로도 넓은 공간을 촬영할 수 있어서 설비 및 운영비용을 줄일 수 있다. 또한 카메라를 이용한 조명등 점등제어기술은 적외선 센서 방식의 조명등 점등제어기술의 경우 모션(motion)이 있어야만 감지되는 것과 달리 모션이 없는 정지상태의 경우에도 공간에 사람이 있는지 여부를 영상분석 기술을 통해서 파악할 수 있게 해준다.

이러한 영상분석 기술로 사람 특징(human feature) 추출 및 분류(classification)가 있는데, 이에 대한 대표적인 것으로 HOG(Histogram of Gradient) 특징자 및 피라미드 기반 검출 추적기가 사용되고 있으며 우수한 성능을 보이는 반면 실행속도가 느린 단점 때문에 사람 인식과 관련된 응용분야에서는 사용하는데 어려움이 있다.

이로 인해서 SVM(Support Vector Machine) 또는 에이다부스트(AdaBoost) 알고리즘과 같은 기계학습(machine learning) 기법을 이용하여 사람을 검출한 후, 사람 위치를 획득하는 방법이 효과적일 수 있다.

그러나 이러한 사람 검출 기법에는 많은 제약 사항이 있다. 먼저, 영상에 카메라 렌즈 왜곡이 없어야 하며, 사람의 전체 형상이 영상에 있어야 한다. 또한 기계학습 알고리즘을 적용하기 위해 오프라인에서 오랜 시간의 분류기(classifier)의 훈련(training)을 필요로 하며, 테스트 단계에서 영상 탐색 또한 처리속도가 매우 느리기 때문에 실제 응용을 하기에 적합하지 않다.

본 발명과 관련된 선행문헌으로는 대한민국 공개특허 제10-2012-0012149호(공개일 : 2012년 02월 09일).

상기 종래 기술의 문제점을 해결하기 위한 본 발명은 카메라와 PIR센서가 일체화된 휴먼인식장치를 이용하여 PIR센서를 통해 사람의 움직임(모션)이 감지되면 조명등을 점등시키고, 조명등이 점등된 상태에서 카메라를 통해 촬영되고 있는 사람의 위치를 추적 및 분석하여 조명등을 점등 또는 소등하게 결정할 수 있도록 제어하여 칸막이(파티션) 또는 대형 모니터와 같은 구조물에 가려져 사람이 보이지 않는 히든노드(Hidden Node)가 발생한 경우나 사람이 움직임이지 않는 정지체인식인 경우에도 조명등이 자동으로 소등되지 않도록 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법을 제공함에 있다.

또한, 본 발명은 카메라를 이용한 영상 트레킹 기술의 구현에 의해 특정 공간 내의 움직임에 따른 조명등의 점등 또는 소등되는 것이 아니라 사람이 존재하느냐 또는 존재하지 않느냐에 따른 판단으로 실시되기 때문에 정지체 인식과 히든노드 경우에도 조명등을 용이하게 점등시킬 수 있을 뿐만 아니라 사람이 존재하지 않으면 바로 조명등을 소등시킬 수가 있어 단순히 움직임만으로 감지하는 PIR 센서에 비해 전체적으로 에너지를 절감시키도록 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법을 제공함에 있다.

또한, 본 발명은 카메라를 통하여 촬영된 영상분석을 통한 조명등을 점등 제어하는 데 있어 사람 검출의 속도를 빠르게 하면서도 사람 검출의 정확도를 높이도록 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법을 제공함에 있다.

또한, 본 발명은 카메라 렌즈의 왜곡 없이 영상분석을 수행하여 사람 검출을 정확하게 수행하도록 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법을 제공함에 있다.

또한, SVM(Support Vector Machine) 또는 에이다부스트(AdaBoost) 알고리즘과 같은 기계학습(machine learning) 기법을 이용하여 사람을 검출하는 과정을 거치지 않고서도 사람을 검출할 수 있도록 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법을 제공함에 있다.

본 발명의 해결하고자 하는 과제는 이상에서 언급한 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

본 발명의 실시예에 따른 카메라 영상분석을 통한 조명등 자동 점등제어방법은 영상을 촬영하여 영상 프레임을 제공하는 카메라와 적외선을 통해 사람의 움직임(모션, motion)을 감지하는 PIR센서(PIR, Passive Infrared Sensor)를 일체화시키는 휴먼인식장치로 이루어지되, 상기 휴먼인식장치는 PIR센서를 통해 사람의 움직임(모션)이 감지되면 조명등이 점등되고, 상기 조명등이 점등된 상태에서 카메라를 통해 촬영되고 있는 사람의 위치를 추적(tracking)하여 상기 조명등을 점등 또는 소등하게 결정할 수 있도록 제어하는 것이다.

또한, 상기 휴먼인식장치에 직접 접속하여 온 또는 오프할 수 있도록 제어하거나 또는 전원중첩 통신(E/F2-BUS) 상에 연결되어 제어하거나 또는 지그비(ZigBee) 무선통신 상에 연결되어 제어하는 것중 어느 하나 선택되어 이루어지는 것이다.

이를 위해, 상기의 카메라를 통해 촬영된 영상 프레임의 전경 영상(foreground image) 및 배경 영상(background image)을 각각 추출하도록 하는 기본정보 생성 단계와, 상기 기본정보 생성 단계에서 추출된 영상을 통해 현재 영상에서 이전 영상의 트랙커(tracker)의 새로운 트랙킹 포인트(tracking point, TP)를 찾기 위해 사각형 바운딩 박스(bounding box, BB)기반으로 이동한 트랙킹 포인트(tracking point)의 좌표를 구하도록 하는 트랙킹(Tracking) 단계와, 상기 트랙킹(Tracking) 단계에서 구해진 현재 존재하는 바운딩 박스(BB)중에서 사람이 아닌 바운딩 박스(BB)와, 퇴실한 사람 등 사람이 아닌 바운딩 박스(BB)를 탐색하여 제거하도록 하는 인식(Recognition) 단계와, 상기 인식(Recognition) 단계에서 탐색하여 제거된 후에 현재 트랙커(tracker) 이외에 새로 입실되거나, 또는 내부에서 트랙킹(tracking)의 실패로 제거된 사람(missing people)을 재검출하도록 하는 검출(Detection) 단계와, 상기의 검출(Detection) 단계 이후에 사람 점유 상태를 결정하여 전등을 소등 또는 점등하도록 결정하게 되는 단계를 포함하여 이루어진다.

이에 따른, 상기 기본정보 생성 단계에서는 현재 영상과 이전 영상의 차영상(difference image)을 구하고, 두 연속 영상의 모션을 얻기 위해 MHI(motion history image)를 활용하며, 사람이 없을 때에 저장해둔 장면의 참조 영상(reference image)를 얻고, 참조 영상(reference image) 및 현재 영상과 비교하여 객체 영상(object image)을 생성하며, 객체 영상(object image)과 MHI의 가중치 합으로 최종 MHI 에너지 영상(energy image)을 얻도록 하는 것이다.

또한, 상기 트랙킹(Tracking) 단계에서는 카메라의 종류에 따라 다른 종류의 윈도우를 설정하는 단계를 수행하게 된다.

이에, 상기 카메라의 종류에 따라 다른 종류의 윈도우를 설정하는 단계는 상기 카메라가 어안 렌즈(fish-eye lens) 카메라인 경우 영상이 볼록하게 보이는 현상인 바렐 왜곡(Barrel distortion)에 맞추어 안쪽이 바깥보다 큰 윈도우를 설정하는 것이다.

또한, 상기 카메라의 종류에 따라 다른 종류의 윈도우를 설정하는 단계는 상기 카메라가 왜곡이 없는 영상을 출력하는 일반 렌즈 카메라인 경우 정사각형 윈도우를 설정하는 것이다.

상기의 전등을 소등 또는 점등하도록 결정하게 되는 단계는 공간에 사람이 입장한 상태에서 칸막이(파티션) 또는 대형 모니터와 같은 구조물에 가려져 사람이 보이지 않는 히든노드(Hidden Node) 경우나 사람이 움직임이지 않는 정지체인식 경우에 조명등이 자동으로 소등되지 않도록 제어하는 것이다.

본 발명은 칸막이(파티션) 또는 대형 모니터와 같은 구조물에 가려져 사람이 보이지 않는 히든노드(Hidden Node)가 발생한 경우나 사람이 움직임이지 않는 정지체인식인 경우에도 조명등이 자동으로 소등되지 않게 하여 공간 내부에 있는 사람이 재차 조명등을 점등시키기 위해 움직이지 않아도 되는 번거로움과 불편함이 해소되는 효과가 있다.

또한, 본 발명은 카메라를 이용한 영상 트레킹 기술의 구현에 의해 특정 공간 내의 움직임에 따른 조명등의 점등 또는 소등되는 것이 아니라 사람이 존재하느냐 또는 존재하지 않느냐에 따른 판단으로 실시되기 때문에 정지체 인식과 히든노드 경우에도 조명등을 용이하게 점등시킬 수 있을 뿐만 아니라 사람이 존재하지 않으면 바로 조명등을 소등시킬 수가 있어 단순히 움직임만으로 감지하는 PIR 센서에 비해 전체적으로 에너지가 절감되는 효과가 있다.

또한, 본 발명은 카메라를 통하여 촬영된 영상분석을 통한 조명등을 점등 제어하는 데 있어 사람 검출의 속도를 빠르게 하면서도 사람 검출의 정확도가 향상되는 효과가 있다.

또한, 본 발명은 카메라 렌즈의 왜곡 없이 영상분석을 수행하여 사람 검출이 정확하게 수행되는 효과가 있다.

또한, 본 발명은 SVM(Support Vector Machine) 또는 에이다부스트(AdaBoost) 알고리즘과 같은 기계학습(machine learning) 기법을 이용하여 사람을 검출하는 과정을 거치지 않고서도 사람을 검출할 수 있는 효과가 있다.

도 1은 본 발명에 따른 휴먼인식장치를 설명하기 위해 개략적으로 보여주기 위한 단면 구성 예시도이다.
도 2는 본 발명을 실시하기 위한 실내 공간인 회의실, 휴게실 및 화장실을 보여주는 예시도이다.
도 3은 본 발명의 실시예에 따른 카메라 영상분석을 통한 조명등 자동 점등제어방법에 대한 흐름도이다.
도 4는 본 발명에 따른 수학식 1을 설명하기 위한 그래프이다.
도 5는 본 발명에 의해 실시된 수학식 1을 통해 얻어진 사람 바운딩 박스를 보여주는 예시도이다.
도 6은 본 발명에 따른 표 1에 나타난 속성 1, 2, 3 ,4을 설명하기 위한 예시도이다.
도 7은 본 발명에 따른 표 1에 나타난 속성 7 및 8을 설명하기 위한 예시도이다.
도 8은 본 발명에 따른 표 1에 나타난 속성 10을 설명하기 위한 예시도이다.
도 9는 본 발명에 의해 실시된 참조 영상을 설명하기 위한 예시도이다.
도 10은 본 발명에 의해 실시된 현재영상과 생성된 배경, 전경 및 MHI 데이터를 보여주는 예시도이다.
도 11은 본 발명에 따라 실시되는 트랙킹 단계를 설명하기 위한 흐름도이다.
도 12는 본 발명에 의해 실시되는 정지 트랙커(Static Tracker)의 타임머(Timer)를 설정하기 위한 흐름도이다.
도 13은 본 발명에 따른 바운딩 박스가 있으면 트랙킹 서치 윈도우(Tracking Search Window)를 설정시키는 예시도이다.
도 14는 본 발명에 따른 서치 윈도우(Search window)의 8x8개의 sub-block에서 pixel MHI의 합을 저장한 상태를 설명하기 위한 개략도이다.
도 15는 본 발명에 따른 8x8개의 서브블럭(subblock)에서 3x3 단위로 가장 에너지(Energy) MHI가 큰 곳을 트랙킹 포인트(tracking point)로 설정시키는 예시도이다.
도 16은 실내 공간에서 두 사람이 오버랩된 상태를 보여주는 예시도이다.
도 17은 본 발명에 따른 오버랩이 발생했을 경우 이를 해결하는 방법을 설명하기 위한 실시 예시도이다.
도 18은 본 발명에 따른 리전 아웃코드(Region outcode)의 개념을 보여주는 예시도이다.
도 19는 본 발명에 따른 가려진 사람을 처리시키는 방법을 설명하기 위한 예시도이다.
도 20은 본 발명에 의해 실시되는 정지 트랙커(Static tracker)가 사람인지 아닌지를 인식하기 위한 흐름도이다.
도 21은 본 발명에 따라 실시되는 검출(detection) 단계를 보여주는 흐름도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.　

본 발명의 실시예들은 당해 기술 분야에서 통상의 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위하여 제공되는 것이며, 아래의 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 아래의 실시예들로 한정되는 것은 아니다. 오히려, 이들 실시예는 본 개시를 더욱 충실하고 완전하게 하며 당업자에게 본 발명의 사상을 완전하게 전달하기 위하여 제공되는 것이다.　

본 명세서에서 사용된 용어는 특정 실시예를 설명하기 위하여 사용되며, 본 발명을 제한하기 위한 것이 아니다. 본 명세서에서 사용된 바와 같이 단수 형태는 문맥상 다른 경우를 분명히 지적하는 것이 아니라면, 복수의 형태를 포함할 수 있다. 또한, 본 명세서에서 사용되는 경우 "포함한다(comprise)" 및/또는"포함하는(comprising)"은 언급한 형상들, 숫자, 단계, 동작, 부재, 요소 및/또는 이들 그룹의 존재를 특정하는 것이며, 하나 이상의 다른 형상, 숫자, 동작, 부재, 요소 및/또는 그룹들의 존재 또는 부가를 배제하는 것이 아니다. 본 명세서에서 사용된 바와 같이, 용어 "및/또는"은 해당 열거된 항목 중 어느 하나 및 하나 이상의 모든 조합을 포함한다.　

본 명세서에서 제1, 제2 등의 용어가 다양한 부재, 영역 및/또는 부위들을 설명하기 위하여 사용되지만, 이들 부재, 부품, 영역, 층들 및/또는 부위들은 이들 용어에 의해 한정되어서는 안됨은 자명하다. 이들 용어는 특정 순서나 상하, 또는 우열을 의미하지 않으며, 하나의 부재, 영역 또는 부위를 다른 부재, 영역 또는 부위와 구별하기 위하여만 사용된다. 따라서, 이하 상술할 제1 부재, 영역 또는 부위는 본 발명의 가르침으로부터 벗어나지 않고서도 제2 부재, 영역 또는 부위를 지칭할 수 있다.

이하, 본 발명의 실시예들은 본 발명의 실시예들을 개략적으로 도시하는 도면들을 참조하여 설명한다. 도면들에 있어서, 예를 들면, 제조 기술 및/또는 공차에 따라, 도시된 형상의 변형들이 예상될 수 있다. 따라서, 본 발명의 실시예는 본 명세서에 도시된 영역의 특정 형상에 제한된 것으로 해석되어서는 아니 되며, 예를 들면 제조상 초래되는 형상의 변화를 포함하여야 한다.

본 발명의 실시예에 따른 카메라 영상분석을 통한 조명등 자동 점등제어방법은 실내 공간인 사무실, 회의실, 휴게실, 화장실과 공장 등과 같은 공간에 적어도 하나의 조명등 및 카메라가 설치되고 이 공간에 사람들이 들어오거나 나가는 상황을 카메라를 이용하여 촬영한 후 영상분석을 통해 공간에 사람이 한 명도 없는 경우에 상기 조명등을 자동으로 소등하며 공간에 사람이 한 명이라도 있는 경우에 상기 조명등의 점등 상태를 유지하는 흐름으로 이루어진다.

상기 조명등 자동 점등제어방법은 카메라를 통한 영상분석을 기초로 하여 수행되는데, 카메라의 종류, 예를 들어 CMOS 카메라, CCD 카메라, 어안렌즈 카메라에 따라 영상프레임의 픽셀 위치에 따라 사람의 크기가 달라지기 때문에, 적응적 윈도우(adaptive window)를 설정한다. 적응적 윈도우 크기는 항상 동일한 크기를 가지므로 처음 한번 만 계산되면 이후에 계산할 필요가 없게 된다.

먼저, 첨부도면 도 1에 도시된 바와 같이, 휴먼인식장치(100)는 카메라(200)와 PIR센서(300)가 일체화되어 구성된다.

이에, 본 발명에 따른 카메라 영상분석을 통한 조명등 자동 점등제어방법은 상기 카메라(200)는 영상을 촬영하여 영상 프레임을 제공하고, 상기 PIR센서(300)는 적외선을 통해 사람의 움직임(모션, motion)을 감지하는 것으로서, 상기 PIR센서(300)를 통해 사람의 움직임(모션)이 감지되면 조명등이 점등되게 되고, 상기 조명등이 점등된 상태에서 카메라(200)를 통해 촬영되고 있는 사람의 위치를 추적(tracking)하여 상기 조명등을 점등 또는 소등하게 결정할 수 있도록 제어하게 되는 것이다.

본 발명에 따라 상기에서 실시되는 사람이 검출된 후 공간에 사람이 입장한 상태에서 칸막이(파티션) 또는 대형 모니터와 같은 구조물에 가려져 사람이 보이지 않는 히든노드(Hidden Node) 경우나 사람이 움직임이지 않는 정지체인식 경우에 조명등이 자동으로 소등되지 않도록 제어할 수가 있는 것이다.

즉, 상기 공간에 별도의 출구영역을 지정하여 공간에 마지막으로 존재한 사람이 지정된 출구영역에 위치하지 않으면 히든노드 또는 정지체인식이 발생하더라도 조명등이 소등되지 않도록 하기 위한 것이다.

이에, 종래의 PIR 센서만으로 실시되는 조명등의 점등 또는 소등되는 경우에 있어, 센서의 범위 안의 적외선의 움직을 포착하여 움직임이 있으면 조명등이 점등되고, 움직임이 없으면 소등되도록 결정하는 것으로, 이는 움직임이 있느냐 또는 없느냐에 따라서만 판단하는 것으로서, 이는 특정 공간 내에 움직임이 없는 사람이 존재할 경우에도 조명등이 소등되는 것이기에, 조명등의 소등(Off) 시기를 설정할 수 밖에 없는 것이고, 조명등의 소등(Off) 시기 설정으로 인해 사람이 없는 경우에도 조명등이 점등(On)될 수 밖에 없어 전체적으로 에너지가 효율적으로 절감되지 못하는 문제가 있는 것이다.

이와 같은 문제를 해결하기 위해, 카메라를 이용한 영상 트레킹 기술의 구현에 의해 특정 공간 내의 움직임에 따른 조명등의 점등 또는 소등되는 것이 아니라 사람이 존재하느냐 또는 존재하지 않느냐에 따른 판단으로 실시될 수 있어 정지체 인식과 히든노드 경우에도 조명등을 용이하게 점등시킬 수 있을 뿐만 아니라 사람이 존재하지 않으면 바로 조명등을 소등시킬 수가 있어 단순히 움직임만으로 감지하는 PIR 센서에 비해 전체적으로 에너지를 효율적으로 절감시킬 수가 있는 것이다.

또한, 본 발명에 따라 실시되는 상기 휴먼인식장치는 직접 접점으로 접속하여 온 또는 오프로 제어할 수가 있고, 또한 전원중첩 통신(E/F2-BUS) 상에 연결되거나 지그비(ZigBee) 무선통신 상에 연결되어 제어할 수가 있는 것으로, 이는 공간에 설치되는 장소에 따라 적합하게 선택 및 적용되어 실시할 수가 있는 것이다.

상기 카메라 영상분석을 통한 조명등 자동 점등제어방법에 대해서 좀 더 구체적으로 살펴보기로 한다.

즉, 하드웨어와 센서가 발달함에 따라 내부 환경에서의 실시간 영상 분석 기술 및 시스템이 지속적으로 개발되고 있어, 센서로 카메라를 활용하면 PIP(pyroelectric infra-red) 등의 다른 센서와 달리 사람 추적, 사람 수 파악 등 다양한 스마트 정보의 획득이 가능하고, PIR은 사람의 신체에서 발생하는 열(thermal temperature)을 감지하고, 열의 변화량을 계산하여 움직임을 측정하며, 사람이 정지(static)상태에 있을 때에는 검출 성능이 낮아지고, 모션이 존재할 때에 감지하기 때문에, 움직임이 없으면 PIR 센서의 오동작(false positive 및 false negative)이 발생하는 것이다.

첨부도면 도 2에 도시된 바와 같이, 회의실, 사무실, 화장실 등의 단위 공간에서 사람이 입실하면 점등하고, 모든 사람이 퇴실하면 소등되는 것으로, 카메라의 위치는 오버헤드 카메라(overhead camera)로 하고, 천장에서 수직으로 그라운드 플로어(ground floor)를 촬영하며, 상기 단위공간에는 많은 사람들의 입실, 퇴실이 반복되고, 의자, 소파, 책상 등 다양한 객체들이 공존하고 있다.

또한, 회의실 및 화장실에서는 오랜 시간 동안 정지 상태에 있기 때문에, 움직임이 없는 사람을 계속 트랙킹(tracking)할 수 있어야 하고, 타 비휴먼 객체들은 트랙킹을 중단하거나 제거되어야 하며, 사람의 명수를 계산을 하고(people counting), 명수가 0이 되면 소등(light off)되는 것이고, 아니면 점등(light on)되는 것이다.

이에, 입실하는 사람을 탐색하고, 사람을 퇴실할 때까지 추적하는 것을 기본 방법으로 사용하고, 배경 모델링(background modeling)과 배경 차분화(background subtraction)에서는 지속적인 배경의 업데이트 및 다수의 전경객체(foreground object)를 찾을 수 있어야 하고, 복잡한 영상에서 사람과 객체의 움직임 때문에 모션은 사람 검출 및 추적에 적합한 데이터이며, 모션 정보로 MHI(Motion History Image)를 활용하여 객체 움직임 추적의 성능을 높이는 것이다.

첨부도면 도 3은 본 발명의 실시예에 따른 카메라 영상분석을 통한 조명등 자동 점등제어방법에 대한 흐름도로서, 기본정보 생성 단계에서는 전경 FG (foreground) 및 배경 BG(background)을 추출하고, 정확도를 높이기 위해서 R/G/B에서 각각 구한다.

또한 두 연속 영상인 현재 영상(Y_k)과 이전 영상(Y_k-1)의 차영상(difference image)을 구하고, 두 연속 영상의 모션을 얻기 위해 MHI(motion history image)를 활용하며, 사람이 없을 때에 저장해둔 장면의 참조 영상(reference image)를 얻고, 참조 영상(reference image) 및 현재 영상과 비교하여 객체 영상(object image)을 생성하며, 객체 영상(object image)과 MHI의 가중치 합으로 최종 MHI 에너지 영상(energy image)을 얻고, 여기서 MHI는 모션과 컬러의 합이다.

트랙킹(Tracking) 단계에서는 현재 영상 Y_k에서 이전 영상 Y_k-1의 트랙커(tracker)의 새로운 트랙킹 포인트(tracking point, TP)를 찾는데, 하드웨어의 단순화를 위하여 사각형 바운딩 박스(bounding box, BB)기반으로 이동한 트랙킹 포인트(tracking point)의 좌표를 구하게 된다. 즉, 트랙커(tracker)는 바운딩 박스(bounding box)로 표현되고, 트랙킹(tracking)에는 주로 RGB를 이용하지만, 트랙킹(tracking)하는 물체가 주변의 색과 상이할 때 효과 있고, 만일 주변 사람의 색 및 배경 색과 차이가 크지 않으면 실패하는 경우가 종종 발생하며, 이 경우를 트랙킹 드리프팅(tracking drifting) 현상이라 한다. 따라서 RGB 색 및 모션(motion) 정보를 이용한다.

인식(Recognition) 단계는 현재 존재하는 바운딩 박스(BB)중에서 사람이 아닌 바운딩 박스(BB), 퇴실한 사람 등 사람이 아닌 바운딩 박스(BB)를 탐색하여 제거하게 되는 것이다.

검출(Detection) 단계는 현재 트랙커(tracker) 이외에 새로 입실되거나, 또는 내부에서 트랙킹(tracking)의 실패로 제거된 사람(missing people)을 재검출하게 된다.

상기의 검출(Detection) 단계 이후에는 사람 점유 상태를 결정하여 전등을 소등 또는 점등하도록 결정하게 되는 것이다.

이에, 본 발명은 바운딩 박스(BB) 단위로 사람을 추적하기 때문에 사람의 영역이 넓으면 2개이상의 바운딩 박스(BB)가 발생하고, 각 바운딩 박스(BB)를 독립적으로 트랙킹(tracking) 하며, 내부에 사람이 없으면 소등하게 되고, 반대로 1명이라도 입실하게 되면 점등하게 되는 것이며, 처리 속도 향상을 위해서 최대 검출 인원을 설정할 수가 있는 것으로, 최대 인원을 10으로 설정하면, 내부에 있는 사람의 수에 관계없이 최대 10명만 추적 검출할 수가 있고, 점등 소등 시스템은 최소 1명만 존재하면 조명이 켜지게 되기 때문에 효율적일 수가 있다.

이를 위해, 사람의 크기를 설정하게 되는데, 이는 오버헤드 카메라(Overhead camera)에서 바라 보았을 때 사람 크기(human size)는 중앙에서 가장 작고, 경계로 갈수록 크기가 증가하게 되며, 사람 탐색에 중요한 역할을 하는 사람의 크기를 영상에서 측정하는 방법은 트랙킹 포인트(tracking point) (x,y)가 주어지면 이 위치에서의 사람 수평 및 수직 크기(

) 는 수학식 1과 같이 계산되는 것이다.

여기서 WxH는 영상의 해상도로 720x480이다.

첨부도면 도 4는 수학식 1을 설명하기 위한 그래프로서, x축과 y축은 개념이 같으므로, x축으로만 나타낸 것이다.

즉, W=720이고, 가운데는 360이며, 오버헤드 카메라(overhead camera)는 영상 가운데가 상대적으로 사람의 크기가 가장 작고, 주변으로 갈수록 크기는 커지는 것을 보여주고 있는 것이다.

실험 영상에서는

이고,

,

을 사용하였다. 이 값은 사무실 바닥 (ground floor)에서 오버헤드 카메라( overhead camera)의 높이에 따라 변경이 가능하고,

와 트랙킹 포인트(tracking poin)t가 주어지면 바운딩 박스(Bounding box, BB)의 좌, 우, 위, 아래(left, right, top, bottom)의 각각 좌표값이 구해진다.

첨부도면 도 5는 수학식 1을 통해 얻어진 사람 바운딩 박스(Human BB)를 보여주는 것으로, 사람의 키, 체격, 포즈(standing, sitting, etc)에 따라 다양한 크기(size)를 가지고 있으나, 이 크기에 따라 정확한 바운딩 박스(BB) 크기를 설정하는 것은 어려운 문제가 있기 때문에 수학식 1에 따라 좌표값에 따른 고정된 바운딩 박스(fixed BB) 크기를 사용하게 된다.

하기 표 1은 트랙커 바운딩 박스(tracker BB)의 속성 정보로서, 최초 생성될 때 초기 정보를 할당받으며, 계속 프레임마다 갱신된다.

tracker BB의 속성 및 의미 (BB: bounding box)

속 성		비 고
1	tracking_cX_multi[MAX_PEOPLE] tracking_cY_multi[MAX_PEOPLE]	Tracker의 Tracking point의 (x,y) 좌표값 BB의 중심값임
2	HS_X[MAX_PEOPLE] HS_Y[MAX_PEOPLE]	Tracker BB의 x, y축 크기. 사람의 크기임 (pixel)
3	Area_trbb[MAX_PEOPLE]	tracker BB의 BB의 면적
4	Left_bb[MAX_PEOPLE] Right_bb[MAX_PEOPLE] Top_bb[MAX_PEOPLE] Bottom_bb[MAX_PEOPLE]	Tracker BB의 BB의 left, right, top, bottom 좌표값
5	MHI_sum[MAX_PEOPLE]	Tracker의 MHI 값
6	occupied_multi[MAX_PEOPLE]	제거할 tracker는 NO, 유지하면 YES임
7	Static_Time[MAX_PEOPLE]	Tracker가 static일 때, 연속 static의 프레임 개수
8	Motion_Time[MAX_PEOPLE]	Tracker가 motion일 때, 연속motion인 프레임 개수
9	Static_Tracker[MAX_PEOPLE	정지이면 YES, 아니면 NO
10	OL_State[MAX_PEOPLE]	tracker BB가 타 BB와 overlap되면 255 아니면 0임

상기 표 1에 나타난 MAX_PEOPLE은 처리하는 최대 사람수로서, 정확한 표현은 최대 Bounding box의 개수이고, 현재는 20으로 한다.

첨부도면 도 6 내지 도 8은 표 1에 대한 속성을 설명하기 위한 예시도들로서, 첨부도면 도 6은 표 1에 나타난 속성 1, 2, 3 ,4을 설명하기 위한 예시도이다.

첨부도면 도 7은 표 1에 나타난 속성 7 및 8을 설명하기 위한 예시도로, 여기에서 Motion_Time은 모션이 발생하면 시작부터 정지될 때까지의 프레임 개수이고, Static_Time은 정지된 프레임부터 다시 모션이 발생하는 프레임까지의 프레임 개수이며, Static이면 Motion_time=0이 되고, Motion이면 Static_Time=0이다.

첨부도면 도 8은 표 1에 나타난 속성 10을 설명하기 위한 예시도로, Red tracker BB가 있는데, 다른 black BB에 의해 overlap(겹침)이 발생하면 red tracker BB의 OL_State[]는 YES(255)를 가지고, 아니면 NO(0)을 갖는다(OL = Overlap).

본 발명에 따른, 그림자, 노이즈 등의 영향을 줄이기 위해서 흑백보다는 컬러를 사용하는 것이 더 우수한 성능을 보이는 것으로 확인하였다.

이에 따른, 배경 영상(Background image)에서는 하기의 수학식 2와 같이 전경 객체를 제외한 배경만을 찾는 것으로, 배경 영상의 픽셀값이 현재영상 밝기보다 작으면 1을 더해주고, 반대이면 1을 감소한다.

여기서, i는 픽셀, t는 프레임 번호이다. Y는 grayscale 영상이다. 이 식은 RGB에도 동일하게 적용되고,

는 현재 프레임의 배경영상이고,

은 이전 프레임의 배경영상이다.

초기에 BG 영상은 그레이스케일 영상 Y와 같고, 다음부터는 BG의 pixel값이 현재 grayscale 영상 Y_t의 같은 좌표에 있는 픽셀값보다 작으면 BG pixel값을 1을 증가하고, 크면 1을 감소한다. 즉, BG는 항상 현재영상으로 접근하게 되는데 사람이 이동하다가 정지되면 사람도 배경에 포함되게 된다.

객체 영상(object image)은 사람이 없을 때의 영상과 사람이 존재할 때의 영상의 차이로서, 이 데이타는 사람이 장시간 정지(long-term static)상태일 때에 사람을 계속 트랙킹하는데 효과적으로 사용되는 것으로 수학식 3과 같이 구하게 된다.

기본적으로 RGB와 배경 RGB의 차이에서 최대값을 선택한다.

Red영상 R과 red 배경영상 BG_R의 픽셀 차이값을 구하고, 같은 방법으로 Green, Blue에서도 차이값을 구하면, 3개의 차이값이 얻어지는데, 이 중 최대값을 Obj에 저장한다(Obj는 Object Image로 사람의 영역을 찾기 위해서 사용하고 있음).

다음에 그림자 픽셀(shadow pixel)이 아니면 다음 수학식 4에 의해 갱신된다.

여기서 Ref는 참조 영상(reference image)이다.

참조 영상(reference image)은 사람이 없을 때에(즉, BB가 없을 때에) 저장되는 영상인데, 프레임마다 BB 영역을 고려하여 갱신된다. N개의 tracker가 있으면 N개의 BB가 존재한다. 영상에서 BB에 속하는 픽셀은 α=1을 가지고, 아니면 0을 가진다. 참조영상 Ref는 수학식 5에 의해 구해진다.

사람이 없는 즉, BB가 존재하지 않으면 BG 영상으로 가지고, 아니면 BB 영역은 이전 Ref를 유지한다. α=1이면 Ref는 변화없고,α=0이 되면 Ref=BG 가 된다.

이를 위한, 첨부도면 도 9는 참조 영상을 설명하기 위한 예시도로서, 영상에서 tracker BB의 속하는 픽셀은 α=1이고, 아닌 것은 α=0이다.

그리고, 차영상(Difference Image)은 현재영상과 이전영상의 차로서, 수학식 6을 통해 차영상(D)을 구한다. 0, 255의 binary값을 가진다.

현재영상은 마지막 메모리 버퍼에 저장해 두고, 새로운 영상

가 입력되면 메모리버퍼에 저장된 영상은

가 되며,

를 이전(previous) 영상으로 불리운다. 이 두 영상의 각 픽셀값의 차이값에 절대값을 취한 후에 이 값이 T보다 크면 255, 반대이면 0값을 가진다. 즉 차이가 발생하면 변화가 있다는 것을 의미하는 것이다.

상기에서 구해진 차영상(D)로부터 Motion history image(MHI)는 수학식 7을 통해 구해진다.

여기서

는 decay parameter이고, 최소값은 1이다.

D=255이면 변화가 발생한 것이고, 그러면 MHI=255로 해주며, 반대로 D=0이면 그 픽셀은 변화가 없다는 것이므로,

만큼 값을 빼준다. MHI는 0이 최소이므로 max함수를 사용하여 음수가 안나오도록 해준다.

첨부도면 도 10은 현재영상과 생성된 배경, 전경, 및 MHI의 예를 보여주는 것으로, MHI는 모션 방향을 찾아내는데 효율적인 기술인 것이다.

그림자(shadow)는 조명에 의해서 객체의 그림자로 인해 발생하고, 이는 영상 픽셀값을 변화시키기 때문에 모션으로 판단하는 되는 경우가 발생한다. 이 모션 영역은 사람이 없음에도 객체로 인식하게 된다. 즉, 그림자(shadow)는 픽셀값의 변화로 모션 객체로 오판되는(false alarm) 경우가 발생하고, 이는 사람의 모션이 없는 곳에서도 사람으로 종종 판단하게 된다. 따라서 적절하게 그림자(shadow)의 영향을 줄여야 한다. 하기의 수학식을 통해 그림자(shadow)를 검출한다. 그림자(shadow) 정보는 소프트웨어(software)에서 활용된다.

정규화(normalization) RGB는 수학식 8 내지 수학식 11을 통해 구해진다. 또한 배경 RGB도 정규화로 처리한다.

수학식 10을 통해 RGB와 배경 RGB와 차이값에서 최대값을 구한다.

α값이 임계치 T보다 작으면 변수 w는 +1, 아니면 -1을 가진다.

T=9를 사용하고 있다.

현재 shadow image는 수학식 12 처럼 w을 더해지고, 계속 프레임이 입력되면 갱신된다.

그림자(shadow)의 특성은 그레이스케일(grayscale)값이 지속적으로 증가, 감소하지 않고, 랜덤(random)하게 변화하기 때문에, 특정 값을 초과하지 않게 된다. 즉, 그림자(shadow)는 픽셀값이 계속 낮아지기 때문에(그림자는 컬러를 어둡게 함), 그림자 픽셀(shadow pixel)은 대부분

조건을 만족한다.

이에, shadow가 아닌 정상 픽셀은 노이즈(noise)가 발생하는데, noise는 random하기 ‹š문에, 픽셀값의 노이즈는 0으로 수렴하게 된다. 왜나하면 +1 또는 -1인 w값을 반복적으로 더해주기 때문이다. 반면에 shadow는 급격하게 픽셀값이 작아진다. 대체적으로 color가 어두어지기 때문이다. 따라서 w는 계속 -1값만 더해진다.

트랙킹(Tracking)은 객체가 탐지되면, 이 객체를 계속 추적하는 기술로서, 복잡한 환경에서는 사람들이 중첩되는 오버랩(overlap)이 발생하는데, 이는 트랙킹(tracking)의 성능을 저하시키고, N개의 트랙커(tracker)가 존재하면, 독립적으로 트랙킹(tracking)을 수행한다. 따라서 1개의 트랙커(tracker) 처리가 1 sec이면, N sec가 소비되게 된다.

첨부도면 도 11은 트랙킹 단계에 대한 흐름도로서, BB의 정지 상태 조사를 위해 Y_k와 Y_k-1을 이용하여 해당 BB_n 의 차영상을 구한 후에, 픽셀 차이값이 12보다 작은 pixel의 개수를 구한 후에, BB pixel 개수로 나눈다(수학식 13 참조).

상기 수학식 13을 통해 정수값으로 구한후에, ρ가 400이하 이면 static tracker로 판단한다.

이는, 미세하게 움직이는 사람과 사람이 없는 영역을 구분하기 위해서, 사람이 없는 영역은 전혀 움직임이 없다. 이 두가지 현상을 분리하여 판단하는 것으로, 정확한 수학식은

로 실수값으로 결정해야 한다. 실수연산을 피하는 방법은

로 100을 곱해주어여 하는데, 실험을 해보니 미세한 사람의 움직임을 찾을 수 없었다. 그 이유는 값이 매우 작은 값이기 때문이다. 그래서 10,000을 곱해주었을 때에, 이 움직임을 찾을 수 있었다.

이 경우 BB_n의 tracking point TP_n는 변경하지 않고, 이전 프레임(t-1)값을 그대로 사용한다(수학식 14 참조).

정지 트랙커(Static Tracker)의 타임머(Timer) 설정에 대해 첨부되면 도 12를 참조하면, 정지된 사람과 이동하다가 정지된 의자 등의 가구들을 판단하는 방법은 매우 어렵다. 차이점은 정지된 의자들은 사람의 접촉이 없으면 계속 정지 상태에 있고 사람은 조금이라도 모션 동작이 존재한다는 것을 활용한다.

사람이 정지상태로 있을 수 있는 시간을 최대 3초라고 하면, 3초간 (3x30= 60프레임) 계속 정지이면 이 tracker를 제거하는 방식으로, 빠른 제거를 위해서는 Static Time의 값을 2초마다 1씩 감소할 수 있다. RejeccSec 값은 후에 인식(Recognition) 단계에서 BB의 제거를 결정하는 조건중의 하나로 사용된다.

첨부도면 도 13에 도시된 바와 같이, BB가 있으면 트랙킹 서치 윈도우(Tracking Search Window, 탐색창)를 설정하기 위한 것으로, 윈도우(window)가 작으면 빠른 모션(fast motion)의 추적이 어렵고, 반대로 크면 트랙킹 드리프트(tracking drift)가 발생한다. 윈도우(window)의 크기에 따른 추적 성능의 관계는 어려운 문제로, 정확한 크기를 결정하는 것은 쉽지 않다. 사람의 빠른 움직임은 실제 추적이 불가능하다. 그 이유는 이동한 사람이 서치 윈도우(search window) 외부에서 위치되기 때문이다.

상기 트랙킹(Tracking) 단계에서는 카메라의 종류에 따라 다른 종류의 윈도우를 설정할 수 있다.

이 카메라의 종류에 따라 다른 윈도우의 설정(적응적 윈도우 설정)에 대해서 좀 더 구체적으로 살펴보기로 한다.

공간 내에 설치된 카메라의 FOV(Field of View), 카메라와 바닥의 수직 거리, 광축(optical axis) 방향으로의 카메라와 바닥의 거리, 초점거리 등에 의해서 영상의 각 영역에 있는 사람의 크기를 측정할 수 있다. 이에 따라 각 영상 좌표에 있는 머리(head)의 크기 등도 측정된다. 적응적 윈도우 설정은 사람 형체의 크기에 맞는 윈도우를 설정해주는 것이다.

카메라는 보통 일반 렌즈 카메라와 어안 렌즈(fish-eye lens) 카메라의 두 종류로 구분될 수 있다. 일반 렌즈 카메라는 왜곡이 없는 직사각형으로 영상을 얻을 수 있지만, 어안 렌즈 카메라는 영상의 안쪽 부분이 볼록하게 보이는 바렐 왜곡 (Barrel distortion)을 발생한다. 따라서 카메라의 종류에 관계없이 영상 처리를 하면 사람의 모습이 달라지므로, 사람 검출 성능이 저하되는 현상이 발생한다.

이를 극복하기 위해서 어안 렌즈(fish-eye lens) 카메라인 경우 영상이 볼록하게 보이는 현상인 바렐 왜곡(Barrel distortion)에 맞추어 안쪽이 바깥보다 큰 윈도우를 설정할 수 있고, 왜곡이 없는 영상을 출력하는 일반 렌즈 카메라인 경우 정사각형 윈도우를 설정할 수 있다.

첨부도면 도 14는 서치 윈도우(Search window)의 8x8개의 sub-block에서 pixel MHI의 합을 저장한 상태를 설명하기 위한 개략도로서, 픽셀단위로 Full search를 하면 처리속도가 매우 높다. 속도를 줄이는 방법으로 Search window를 8x8개의 sub-block으로 분할하고 각 sub-block에는 MHI energy의 합을 저장한다. k는 subblock이다(수학식 15 참조).

첨부도면 도 15는 현재 tracker의 BB가 있으면 주변에 search window를 설정하고, 이 search window내에서 3x3 sub-block(총 9개의 sub-block)의 MHI 합이 가장 큰 subblock를 찾고, sub-block의 center가 tracking point TP가 된다(수학식 16 참조).

(i=1,..., 64)

상기 수학식에서 N개의 tracker가 입력되면, 현재 프레임에서의 트랙커(tracker)의 새로운 위치를 구한다. x= argmax(y)는 최대 y값을 얻는 해당 x값을 의미한다.

는 3x3 subblock 내부에 있는 모든 픽셀을 의미한다.

실제 두 명 이상이 오버랩(overlap)되는 경우가 종종 발생하게 되는데, 이는 첨부도면 도 16에 도시된 바와 같이 가려짐이 발생하는 예를 보인 것으로, 보통 더블 트랙커(double tracker), 3명 이상이면 multi-person tracker라고 불리는 이 트랙킹 문제는 트랙킹 성능이 저하하는 큰 원인을 제공한다. BB 내부로 타 사람이 침입되기 때문에, 혼합된 컬러, 혼합된 모션 정보가 발생한다.

이를 해결하기 위해, 첨부도면 도 17에 도시된 바와 같이 F(t-1)에서 BB_A는 다른 BB와 겹침이 없지만, 이동으로 F(t)에서 두 BB간에 오버랩(overlap)이 발생한다. 오버랩(overlap) 발생 영역의 중심점 (x_c,y_c)를 구한다. 이 중심점을 중심으로 해서 BB_A를 반대방향으로 이동시킨다.

여기에서, BB 이동은 위치 정보를 필요로 한다. 교합(occlusion)된 BB의 위치를 구하기 위해서 컴퓨터 그래픽(Computer Graphics)에서 활용하는 9개의 4-bit Region outcode를 이용한다. 첨부도면 도 18에 도시된 바와 같이 윈도우(=BB)가 있으면 다른 BB의 트랙킹 포인트(tracking point)의 위치는 아웃코드(outcode)를 이용하면 신속하게 위치를 알 수 있는 것이다.

또한, 첨부도면 도 19에 도시된 바와 같이 Active BB가 있다. 오버랩(overlap)되는 BB의 트랙킹 포인트(tracking point)의 위치에 따라 outcode 1010가 BB에 할당되고, 이 값으로 BB의 위치를 알 수 있다. 이 위치에 따라 active BB를 반대 방향으로 이동한다.

첨부도면 도 20은 정지 트랙커(Static tracker)가 사람인지 아닌지를 인식하기 위한 흐름도로서, BB의 제거 결정은 정지 상태인 static BB에만 적용한다. 모션 BB는 사람이 이동하거나, 의자의 이동, 책 이동에 의해 발생할 수 있다. 이 경우 사람과 의자를 구별하는 것은 매우 어렵기 때문에, 정지(static) BB일 때만 제거할지 유지할지를 판단하도록 하는 것이다.

즉, 인식(Recognition) 단계는 정지 트랙커(static tracker)가 사람인지 아닌지를 판단하는 것으로, 움직이다가 정지 상태인 의자나, 그림자 등은 사람이 아니라서 제거해야 하고, 반면에 이동하는 사람, 오랜 정지 상태에 있는 사람은 계속 트랙킹(tracking)되어야 한다. 트랙킹(Tracking)의 성공 확률은 100%가 아니기 때문에, 반드시 트랙킹 실패(tracking failure)가 발생한다. 따라서 이 트랙커(tracker)는 드리프팅(drifting)하면서 다른 물체 또는 배경을 따라가게 된다. 이를 해결할 수 있는 방법이 필요하고, 또한 한 사람에게도 2개 이상의 트랙커(tracker)가 발생하기도 한다. 이 경우 1개의 트랙커(tracker)는 정확히 동일 사람을 트랙킹(tracking) 하지만, 다른 트랙커(tracker)에는 드리프팅(drifting)이 발생할 수 있다.

이에, 다음 2가지 방법으로 정지(static) BB를 제거한다.

먼저, 배경과의 차이를 이용하여 제거하는 방법은 그림자, 의자, 또는 배경과 유사한 트랙커(tracker)는 배경영상과 현재영상의 차이가 크지 않기 때문에, MHI energy의 평균이 T보다 작으면 제거한다. 왜냐하면, 배경은 계속 현재 영상으로 수렴하기 때문이다(수학식 17 및 수학식 18 참조).

여기서 N_BB는 BB의 pixel 개수이다.

는 BB내부에 있는 모든 픽셀을 의미한다.

Energy_BB의 값이 T보다 크면 유지하고, 아니면 제거한다.

또한, 정지상태의 시간 조사를 이용하여 제거하는 방법은 상기의 트랙킹(Tracking) 단계에서 정지 트랙커(Static Tracker)의 타이머(timer) 설정을 통한 시간(time) 값에 따라 BB를 제거하는 것으로, 하기 수학식 19처럼 정지시간(StaticTime)이 RejectSec * FPS보다 커지게 되면 해당 BB는 제거한다. FPS는 frame per sec(처리 속도)로 카메라 센서는 USB로 15fps로 입력되기 때문에, FPS = 15이다.

첨부도면 도 21은 검출(detection) 단계를 보여주는 흐름도로서, 새로 입실하는 사람을 탐색하는 경우와, 실내 내부에서 트랙킹 실패(tracking failure)가 발생한 사람을 재탐색하는 역할을 한다.

이에, 검출(Detection) 단계에서는 현재 트랙커(tracker) 외에 다른 영역에서 사람이 있는지를 조사하고, 빠른 검색을 위해서 영상을 서브블럭(subblock)으로 분할한다. 이때 서브블럭(subblock)의 크기는 30x30 pixel이다. 그 이유는 720, 480은 30의 정수 배수이기 때문이다.

각 서브블럭(subblock)에서 BB가 포함되어 있는 픽셀(pixel)의 개수를 계산한 후에, 25% 이상이면 해당 서브블럭(subblock)의 마스크(mask)값을 1로 해두고, 이 서브블럭(subblock)에서는 이미 BB가 존재하므로 새로이 BB를 생성하진 않는다.

마스크(Mask) 데이터 최대치 필터를 적용하여 BB에 가까운 곳에서는 발생하지 않도록 한다. 마스크(Mask)가 0인 서브블럭(subblock)을 찾고, 이 서브블럭(subblock)의 MHI 값이 임계치 이상이면, 이 서브블럭(subblock)을 저장하며, 이 과정을 거치면 N개의 서브블럭(subblock)이 얻어지는데, 이중 가장 MHI 값이 큰 1개의 서브블럭(subblock)를 찾아서 새로운 트랙커(tracker)로 등록한다. 만일 현재 트랙커(tracker)의 개수가 사용자가 설정한 최대 개수와 동일하면, 새로운 트랙커(tracker)를 등록하지 않는다.

이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.

100 : 휴먼인식장치
200 : 카메라
300 : PIR센서

Claims (7)

1. 영상을 촬영하여 영상 프레임을 제공하는 카메라와 적외선을 통해 사람의 움직임(모션, motion)을 감지하는 PIR센서(PIR, Passive Infrared Sensor)를 일체화시키는 휴먼인식장치로 이루어지고, 상기 휴먼인식장치는 PIR센서를 통해 사람의 움직임(모션)이 감지되면 조명등이 점등되며, 상기 조명등이 점등된 상태에서 카메라를 통해 촬영되고 있는 사람의 위치를 추적(tracking)하여 상기 조명등을 점등 또는 소등하게 결정할 수 있도록 제어하되,
   상기의 카메라를 통해 촬영된 영상 프레임의 전경 영상(foreground image) 및 배경 영상(background image)을 각각 추출하도록 하는 기본정보 생성 단계와; 상기 기본정보 생성 단계에서 추출된 영상을 통해 현재 영상에서 이전 영상의 트랙커(tracker)의 새로운 트랙킹 포인트(tracking point, TP)를 찾기 위해 사각형 바운딩 박스(bounding box, BB)기반으로 이동한 트랙킹 포인트(tracking point)의 좌표를 구하도록 하는 트랙킹(Tracking) 단계와; 상기 트랙킹(Tracking) 단계에서 구해진 현재 존재하는 바운딩 박스(BB)중에서 사람이 아닌 바운딩 박스(BB)와, 퇴실한 사람 등 사람이 아닌 바운딩 박스(BB)를 탐색하여 제거하도록 하는 인식(Recognition) 단계와; 상기 인식(Recognition) 단계에서 탐색하여 제거된 후에 현재 트랙커(tracker) 이외에 새로 입실되거나, 또는 내부에서 트랙킹(tracking)의 실패로 제거된 사람(missing people)을 재검출하도록 하는 검출(Detection) 단계와; 상기의 검출(Detection) 단계 이후에 사람 점유 상태를 결정하여 전등을 소등 또는 점등하도록 결정하게 되는 단계를 포함하고,
   상기 상기 트랙킹(Tracking) 단계에서는 카메라의 종류에 따라 다른 종류의 윈도우를 설정하는 단계를 수행하는 것을 특징으로 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법.
   
2. 제1항에 있어서,
   상기 휴먼인식장치에 직접 접속하여 온 또는 오프할 수 있도록 제어하거나 또는 전원중첩 통신(E/F2-BUS) 상에 연결되어 제어하거나 또는 지그비(ZigBee) 무선통신 상에 연결되어 제어하는 것중 어느 하나 선택되어 이루어지는 것을 특징으로 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법.
   
3. 제1항 또는 제2항에 있어서,
   상기 휴먼인식장치는 공간에 사람이 입장한 상태에서 칸막이(파티션) 또는 대형 모니터와 같은 구조물에 가려져 사람이 보이지 않는 히든노드(Hidden Node) 경우나 사람이 움직임이지 않는 정지체인식 경우에 조명등이 자동으로 소등되지 않도록 제어하는 것을 특징으로 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법.
   
4. 삭제
5. 삭제
6. 제1항에 있어서,
   상기 카메라의 종류에 따라 다른 종류의 윈도우를 설정하는 단계는 상기 카메라가 어안 렌즈(fish-eye lens) 카메라인 경우 영상이 볼록하게 보이는 현상인 바렐 왜곡(Barrel distortion)에 맞추어 안쪽이 바깥보다 큰 윈도우를 설정하는 것을 특징으로 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법.
   
7. 제1항에 있어서,
   상기 카메라의 종류에 따라 다른 종류의 윈도우를 설정하는 단계는 상기 카메라가 왜곡이 없는 영상을 출력하는 일반 렌즈 카메라인 경우 정사각형 윈도우를 설정하는 것을 특징으로 하는 카메라 영상분석을 통한 조명등 자동 점등제어방법.

Images