KR102462837B1

KR102462837B1 - 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템 및 그 구동방법

Info

Publication number: KR102462837B1
Application number: KR1020220086646A
Authority: KR
Inventors: 김민정; 전영민; 김준기; 문태웅
Original assignee: 주식회사 에이스엘이디; 한국비전기술 주식회사
Priority date: 2022-07-14
Filing date: 2022-07-14
Publication date: 2022-11-04

Abstract

본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템은 CCTV 영상을 제공하는 영상촬영부; 기 정의된 객체 검출알고리즘을 이용하여 제1 촬영배율의 CCTV 영상 프레임 내의 객체를 검출 후 ID를 부여한 후, ID가 부여된 객체를 사람 및 사물 중 어느 하나로 식별하는 다중 객체 검출 및 식별부; 및 기 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 검출 및 식별부를 통해 인식된 각각의 객체 중 미식별된 객체가 검출되면, 상기 미식별된 객체가 진행하는 방향으로 상기 영상촬영부의 촬영동작(Pan, Tilt)을 제어하는 구동제어부를 포함하고, 상기 구동제어부는 상기 영상촬영부로 상기 미 식별된 객체를 제2 촬영배율(줌)로 촬영하기 위한 동작신호를 생성하여 제공하는 것을 특징으로 한다.

Description

원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템 및 그 구동방법{ARTIFICIAL INTELLIGENCE IMAGE PHOTOGRAPHING SYSTEM FOR AUTOMATIC TRACKING AND RECOGNITION OF DISTANCE AND long distance}

본 발명은 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템 및 그 구동방법에 관한 것이다.

딥러닝(deep learning) 기반 객체검출(object detection) 기술은 이미지에서 객체의 위치를 찾는 기술이다. 구체적으로 객체 검술 기술을 이용하여 객체의 위치를 박스(box)로 표현하고, 박스 내에 위치한 객체의 종류까지 찾을 수 있도록 하며, 나아가 각각의 객체에 고유 번호를 할당하고 연속되는 이미지에서 객체의 이동 경로를 추척할 수 있도록 한다.

이러한 객체 검출 및 추적 방법을 이용하면, CCTV를 이용하여 촬영한 영상을 통해 차로의 교통량이나 차량의 속도 측정이 가능해진다. 구체적으로, CCTV를 통해 촬영한 영상으로부터 획득한 이미지에서 2개의 가상 라인을 설정하고, 임의의 차량 앞 범퍼가 2개의 가상 라인을 침범한 시간을 기준으로 차량 속도를 산출한다. 이렇게 산출된 차량 속도가 기준 속도보다 빠른 경우 과속 차량이라고 판단할 수 있다.

그러나, 이러한 객체 검출 및 방법은 객체의 모션의 방향 값 및 모션 요소들을 이용하기 때문에 카메라의 흔들림이나 비, 눈과 같은 기상환경 변화에 민감하다는 단점이 있다. 이러한 부분들을 줄이기 위해 관심영역을 설정하고 있으나 이 역시 바람과 같은 환경요인에 의해 카메라가 흔들리게 되면 관심영역이 도로를 벗어나기 때문에 객체를 인식하는 데 어려움이 있다.

공개특허공보 제10-2022-0029946{발명의 명칭: 영상에 포함된 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램}

본 발명이 해결하고자 하는 과제는 종래의 문제점을 해결할 수 있는 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템 및 그 구동방법을 제공하는 데 그 목적이 있다.

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템은 CCTV 영상을 제공하는 영상촬영부; 기 정의된 객체 검출알고리즘을 이용하여 제1 촬영배율의 CCTV 영상 프레임 내의 객체를 검출 후 ID를 부여한 후, ID가 부여된 객체를 사람 및 사물 중 어느 하나로 식별하는 다중 객체 검출 및 식별부; 및 기 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 검출 및 식별부를 통해 인식된 각각의 객체 중 미식별된 객체가 검출되면, 상기 미식별된 객체가 진행하는 방향으로 상기 영상촬영부의 촬영동작(Pan, Tilt)을 제어하는 구동제어부를 포함하고, 상기 구동제어부는 상기 영상촬영부로 상기 미 식별된 객체를 제2 촬영배율(줌)로 촬영하기 위한 동작신호를 생성하여 제공하고, 상기 다중 객체 검출 및 식별부는 상기 제2 촬영배율(줌)로 촬영된 CCTV 영상 프레임 내의 미 식별된 객체를 재식별하고, 상기 영상촬영부는 기 설정된 시간동안 촬영배율을 증가시켜 촬영된 복수의 CCTV 영상 프레임을 상기 다중 객체 검출 및 식별부로 제공하고, 상기 다중 객체 검출 및 식별부는 상기 촬영배율이 서로 다른 복수의 CCTV 영상 프레임이 입력되면, 각 프레임 내의 객체 간의 위치를 모션 벡터를 기초로 식별하고, 상기 미 식별된 객체가 검출되면, 상기 복수의 CCTV 영상 프레임 중 상기 미 식별된 객체가 포함된 최고배율의 CCTV 영상 프레임으로 해당 미 식별된 객체를 재식별하는 것을 특징으로 한다.

일 실시예에서, 상기 다중 객체 검출 및 식별부는 상기 CCTV 영상 프레임 내에서 검출된 객체의 형상, 모션 벡터를 기초로 객체를 사람 및 사물로 분류하는 것을 특징으로 한다.

삭제

일 실시예에서, 상기 다중 객체 검출 및 식별부는 외부단말에서 제공된 객체의 형상, 모션벡터의 레퍼런스 값을 기초로 상기 CCTV 영상 프레임 내의 검출할 객체를 선별하는 것을 특징으로 한다.

일 실시예에서, 상기 구동제어부는 상기 영상촬영부의 촬영배율에 따른 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 중 적어도 하나 이상의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작을 제어하는 것을 특징으로 한다.

삭제

상기 과제를 해결하기 위한 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법은 영상촬영부에서 제1 촬영배율로 촬영된 CCTV 영상을 제공하는 단계; 다중 객체 검출 및 식별부에서 기 정의된 객체 검출알고리즘을 이용하여 상기 제1 촬영배율의 CCTV 영상 프레임 내의 객체를 검출 후 ID를 부여한 후, ID가 부여된 객체를 사람 및 사물 중 어느 하나로 식별하는 단계; 구동제어부에서 기 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 검출 및 식별부를 통해 인식된 각각의 객체 중 미식별된 객체가 검출되면, 상기 미식별된 객체가 진행하는 방향으로 상기 영상촬영부의 촬영동작(Pan, Tilt)을 제어하는 단계; 상기 구동제어부에서 상기 영상촬영부로 상기 미 식별된 객체를 제2 촬영배율(줌)로 촬영하기 위한 동작신호를 생성하여 제공하는 단계; 및 상기 다중 객체 검출 및 식별부에서 기 정의된 객체 검출알고리즘을 이용하여 상기 제2 촬영배율의 CCTV 영상 프레임 내에서 미식별된 객체를 사람 및 사물 중 어느 하나로 재식별하는 단계를 포함하고, 상기 식별하는 단계 및 상기 재식별하는 단계는 상기 CCTV 영상 프레임 내에서 검출된 객체의 형상, 모션 벡터를 기초로 객체를 사람 및 사물로 분류하는 단계를 포함하고, 상기 식별하는 단계는 외부단말에서 제공된 객체의 형상, 모션벡터의 레퍼런스 값을 기초로 상기 CCTV 영상 프레임 내의 검출할 객체를 선별하는 단계를 더 포함하고, 상기 다중 객체 검출 및 식별부는 촬영배율이 서로 다른 복수의 CCTV 영상 프레임이 입력되면, 각 프레임 내의 객체 간의 위치를 모션 벡터를 기초로 식별하고, 상기 미 식별된 객체가 검출되면, 상기 복수의 CCTV 영상 프레임 중 상기 미 식별된 객체가 포함된 최고배율의 CCTV 영상 프레임으로 해당 미 식별된 객체를 재식별하는 것을 특징으로 한다.

삭제

일 실시예에서, 상기 동작신호를 생성하여 제공하는 단계는 구동제어부가 상기 영상촬영부의 촬영배율에 따른 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 중 적어도 하나 이상의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작을 제어하는 단계를 포함하는 것을 특징으로 한다.

삭제

따라서, 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템 및 그 구동방법에 따르면, 딥러닝 기반의 객체 검출 알고리즘을 이용함으로써, 객체의 종류를 검출할 수 있고, 특정 도로에서 주행하지 않아야 하는 객체를 검출할 수 있다는 이점이 있고, 이로 인해, 도로 주행의 안전성이 확보될 수 있다는 이점을 제공한다.

또한 검출된 객체의 고유번호를 부여하여 각각의 객체가 혼합되는 것을 방지하여 속도를 산출하고자 하는 타겟 객체의 속도 산출이 명확히 이루어질 수 있다.

본 발명을 활용한 예로, 졸음쉼터에서 원/근거리 객체를 자동추적 및 인식하고 식별하여 현장의 전체적인 상황을 파악할 수 있고, 식별된 객체의 패턴을 분석하여 졸음쉼터의 유고발생 상황을 감지할 수 있다.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템을 설명하기 위한 예시도이다.
도 3은 도 1에 도시된 다중 객체 검출 및 식별부의 세부 구성도이다.
도 4는 도 1에 도시된 다중 객체 검출 및 식별부에 적용되는 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법을 설명한 흐름도이다.
도 6은 본 발명의 다른 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법을 설명한 흐름도이다.

이하, 본 명세서의 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 명세서에 기재된 기술을 특정한 실시 형태에 대해 한정하는 것이 아니며, 본 명세서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

본 명세서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.

본 명세서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 명세서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.

어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.

본 명세서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다.

예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.

본 명세서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 명세서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 명세서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 명세서의 실시예들을 배제하도록 해석될 수 없다.

이하, 첨부된 도면들에 기초하여 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템 및 그 구동방법을 보다 상세하게 설명하도록 한다.

도 1 및 도 2는 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템을 설명하기 위한 예시도이고, 도 3은 도 1에 도시된 다중 객체 검출 및 식별부의 세부 구성도이고, 도 4는 도 1에 도시된 다중 객체 검출 및 식별부에 적용되는 컨볼루션 신경망(Convolution Neural Network, CNN)의 구성을 나타낸 도면이다.

먼저, 도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템(100)은 영상촬영부(110), 다중 객체 검출 및 식별부(120), 구동제어부(130) 및 통신부(140)를 포함한다.

상기 영상촬영부(110)는 CCTV 카메라나 차번호인식 카메라 등 다양한 유현의 카메라를 포함한다.

고정식 카메라뿐만 아니라 PTZ(Pan Tilt Zoom) 카메라를 포함할 수도 있다. 뿐만 아니라, 정부나 자치단체 등에서 운영하는 교통관제를 위한 CCTV 카메라나 방범을 위한 CCTV 카메라 등을 포함할 수 있다.

본 발명의 실시예에 따른 영상촬영부(110)는 제1 유형의 카메라와 제2 유형의 카메라 중 어느 하나일 수 있다. 제1 유형의 카메라는 공영 또는 공공기관에서 운영 및 관리하는 카메라라면, 물론 위탁 운영하는 경우도 포함되며, 제2 유형의 카메라는 사설기관에서 민영으로 운영 및 관리되는 카메라를 포함한다.

상기 영상촬영부(110)는 광학 신호를 집광하는 렌즈, 상기 광학 신호의 양을 조절하는 조리개, 광학 신호의 입력을 제어하는 셔터 등을 포함할 수 있다. 상기 렌즈는 초점 거리(focal length)에 따라 화각이 좁아지거나 또는 넓어지도록 제어하는 줌 렌즈 및 피사체의 초점을 맞추는 포커스 렌즈 등을 포함하며, 이들 렌즈들은 각각 하나의 렌즈로 구성될 수도 있지만, 복수 렌즈들의 군집으로 이루어질 수도 있다. 셔터로 가리개가 위아래로 움직이는 기계식 셔터를 구비할 수 있다. 또는 별도의 셔터 장치 대신 촬상부에 전기 신호의 공급을 제어하여 셔터 역할을 행할 수도 있다.

또한, 상기 영상촬영부(110)는 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 등의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작 등을 구동할 수 있다.

또한, 영상촬영부(110)는 광학 신호를 수광하여 전기 신호로 변환하는 광전 변환 소자를 구비한다.

상기 광전 변환 소자로 CCD(Charge coupled device) 센서 어레이, CMOS(Complementary Metal Oxide Semiconductor) 센서 어레이 등을 사용할 수 있다. 또한, 촬상 소자에서 출력된 전기 신호에 포함된 저주파 노이즈를 제거함과 동시에 전기 신호를 임의의 레벨까지 증폭하는 CDS/AMP(상관 이중 샘플링 회로(correlated double sampling)/증폭기(amplifier))를 구비할 수 있다.

또한, CDS/AMP에서 출력된 전기 신호를 디지털 변환하여 디지털 신호를 생성하는 AD컨버터를 더 구비할 수 있다.

다음으로, 다중 객체 검출 및 식별부(120)는 기 정의된 객체 검출알고리즘을 이용하여 제1 촬영배율의 CCTV 영상 프레임 내의 객체를 검출 후 ID를 부여한 후, ID가 부여된 객체를 사람 및 사물 중 어느 하나로 식별하는 구성일 수 있다.

보다 구체적으로, 상기 다중 객체 검출 및 식별부(120)는 객체 검출부(121), ID 발급부(122), 벡터산출부(123), 형상판단부(124) 및 객체 식별부(125)를 포함한다.

상기 객체 검출부(121)는 미리 정의된 검출 딥러닝 알고리즘을 이용하여 CCTV 영상으로부터 적어도 하나의 객체를 검출할 수 있다.

상기 객체 검출부(100)는, 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 히트 맵(heat map) 생성 방법을 포함한 영역 제안 추출(region proposal extraction)을 이용하는 방법을 통해 다중 객체를 검출할 수 있다. 이러한 CNN 기반의 히트 맵 생성 방법은 CNN 기반의 네트워크를 통해 객체 후보영역에 대한 확률 값을 나타내는 2차원 맵을 의미하는 히트 맵을 생성하고, 이를 이용하여 영역 제안을 추출할 수 있다.

영역 제안 네트워크는 총 5개의 컨볼루션 레이어로 구성된 영역 제안 네트워크로, 첫 번째와 두 번째 컨볼루션 레이어에는 풀링 레이어(pooling layer)와 도시되지 않았으나 정규화 레이어(normalization layer)가 연결될 수 있다. 이때, 다섯 번째 컨볼루션 레이어에서 얻은 확률분포 맵을 얻게 되고, 이를 이용하여 높은 확률 값을 갖는 영 역들을 추출하여 최종적으로 가장 오른쪽에 영역 제안을 획득할 수 있다. 여기서, 확률분포 맵에서 파란색으로 표시된 부분은 확률 값 '0'을 나타내고, 빨간색으로 갈수록 '1'에 가까운 높은 확률 값을 나타내는 것을 의미할 수 있다.

또한, 객체 검출부(110)는, 객체의 속성정보를 이용한 멀티 태스킹 러닝(multi-tasking learning) 방법을 기초로 객체 영역의 추출과 바운딩 박스(bounding box)의 조정을 수행하는 방법을 통해 다중 객체를 검출할 수 있다.

이러한 멀티 태스킹 러닝 방법은 추출된 영역 제안들로부터 실제 CNN 기반의 네트워크(CNN-based feature extraction)를 통해 특성을 추출하고 최종 검출을 수행하는 단계로, CNN 기반의 네트워크는 사람 검출과 관련된 여러 가지 태스크들 예를 들어, 보행자 크기, 보행자 포즈 등을 공통적으로 만족하는 방향으로 학습하여 좀 더 효과적인 특성을 학습할 수 있다.

또한, 객체 검출부(110)는, CCTV 영상에 대해 영역 제안 추출(region proposal extraction)을 수행하고, 추출된 영역 제안들로부터 컨볼루션 신경망(Convolution Neural Network, CNN) 기반의 특성 추출을 통해 해당 영역 제안들 각각의 특성들을 추출하는 방법으로 다중 객체를 검출할 수도 있다.

다음으로, ID 발급부(122)는 객체 검출부(110)에서 검출된 객체 마다 ID를 부여하는 구성일 수 있다.

다음으로, 벡터산출부(123)는 검출된 복수의 객체들 각각의 모션 벡터들 간 또는 합 벡터를 산출한다. 이렇게 산출된 모션 벡터들 간 또는 합 벡터는 해당 객체의 진행방향을 판단하는 근거로 사용되거나 또는 사물과 사물, 사물 중 차량, 자전거 등을 판단하는 요소로 작용한다.

또한, 산출된 객체들 마다의 모션 벡터 합을 통해 객체의 움직임을 추적하며 해당 객체에 대한 이동방향과 이동속도를 각각 산출할 수 있다.

CCTV 영상을 구성하는 다수의 영상 프레임들 내에 검출된 각각의 객체가 이동한 거리를 영상 프레임 수로 나누는 방식으로 각 객체들에 대한 이동속도를 산출할 수 있다.

예를 들어, 영상 프레임 1개당 1/60sec을 대상으로 특정 객체의 이동속도를 계산할 경우, 해당 객체가 포함된 영상 프레임 300개(총 5sec)를 추출한 후 해당 객체가 이동한 거리(5m)를 산출한 후, 해당 이동거리(5m)를 영상 프레임들의 총 시간(5sec)으로 나누어 해당 객체가 대략 1m/s의 속도로 이동하고 있음을 알 수 있다.

다음으로, 형상판단부(124)는 CCTV 영상 내의 검출된 객체 영역을 추출하고, 딥러닝 학습 알고리즘을 이용하여 추출된 객체 영역 내에서 객체의 부위별 이미지 블록(patch)을 분할한 후, 상기 부위별 이미지 블록(patch)의 특징들을 학습하고, 상기 부위별 이미지 블록(patch)의 특징으로 기초로 상기 객체의 형상을 판단하는 구성일 수 있다.

상기 형상판단부(124)에서 사용되는 CNN 모델은 컨볼루션(공진화), 활성화, 풀링, 정규화 및 완전 연결을 포함하는 레이어 스택을 통해 처리 한 후 입력에 대한 결과를 출력한다. 기존의 접근 방식과 비교하여 CNN은 이미지 사전 처리가 덜 필요하고 학습을 통해 기능을 추출하므로 피쳐 추출기의 수동 설계에 대한 전문 지식이 필요하지 않다는 장점이 있다. 또한, 영역 기반 지역 신경망 (R-CNN:Regions with CNN features)는 하나의 이미지에서 주요 객체들을 박스(Bounding box)로 표현하여 정확히 식별(identify) 하기 위한 것이다. 이는 이미지 데이터를 입력으로, 박스로 영역을 표시하고(Bounding box) 각 객체에 대한 라벨링(class label) 한 형태를 출력으로 갖는다. 즉, 이는 이미지 내에 물체가 있을 법한 영역 후보들을 먼저 제안하고 이들의 스코어를 매겨 물체를 인식하는 방법이다.

Faster R-CNN는 RPN(region proposal network)과 빠른 R-CNN 감지기를 포함한다. 오브젝트 감지에 더 빠른 R-CNN을 적용하는 과정에는 세 가지 주요 단계가 있다.

첫째, 컨볼루션 신경망 (convolutional neural network)이 특징 추출을 위해 이용되고, 피쳐 맵 (feature map)이 마지막 층에서 생성된다. 둘째, RPN은 기능 맵을 기반으로 다양한 종횡비와 축척으로 영역 제안(Regional Proposals)을 생성한다. 그리고 세 번째 단계에서 생성 된 영역 제안은 분류 및 바운딩 박스 회귀를 위해 고속 R-CNN 검출기로 공급한다.

보다 구체적으로 CNN을 이용한 특징 추출 과정을 살펴보면, Zeiler-Fergus 네트워크의 CNN 레이어는 5 개의 컨벌루션 레이어와 3개의 최대 풀링 레이어를 포함한다.

컨볼루션 층은 입력 이미지의 픽셀 어레이 위로 슬라이딩하는 필터를 사용하고, 필터와 서브 어레이 사이의 내적이 계산된다. 내적의 값과 바이어스 값이 추가되어 하위 배열에 대한 회선 결과가 얻어진다.

이때 필터 및 바이어스의 초기 가중치는 무작위로 할당되며 SGD (Stochastic Gradient descent) 알고리즘을 통해 교육 중에 계속 조정가능하다. 최대 풀링 계층은 입력 픽셀 배열의 하위 배열에서 최대 값을 가져 와서 입력 데이터의 공간 크기를 줄일 수 있다.

ReLU 함수는 활성화 함수로 사용되며 max (0, x) 함수로 요소 단위 활성화를 적용하여 계산 비용을 줄이고 정확도를 향상시킬 수 있다. 과도한 피팅 문제를 피하기 위해 드롭 아웃 레이어는 두 개의 인접한 레이어에 있는 뉴런 사이의 연결 부분을 특정 드롭아웃 속도로 연결 해제하도록 설계된다.

정규화 레이어는 학습 속도에 영향을 주지 않고 입력 이미지의 화이트닝을 돕기 위해 적용되며 높은 학습 속도와 빠른 수렴 속도로 이어질 수 있다.

또한, 영역 제안 네트워크(RPN)는 보다 빠른 R-CNN(faster R-CNN)에서 앵커를 사용하여 다양한 종횡비 및 비율로 객체 영역을 생성하도록 학습한다. 작은 슬라이딩 윈도우가 피쳐 맵 위로 미끄러지도록 제안 된 다음 더 낮은 차원의 피쳐 (ZF 네트워크의 경우 256 차원)로 투영된다.

2 개의 1×1 필터 및 ReLU 함수와의 컨볼루션 (convolution) 후, 추출 된 피쳐는 경계 박스 회귀 층 및 분류 층으로 각각 공급된다. 비 최대 억제(NMS)는 조합 (IoU)이 높은 제안서를 병합하는 데 사용될 수 있다. 이때 제안서는 객체 점수에 따라 순위가 매겨지며 최상위만 N 개의 순위가 매겨진 제안서가 보관된다.

그리고 RPN을 통해 생성된 영역 제안(Regional Proposals)은 고속 R-CNN 검출기의 입력 관심 영역 (RoI)으로 활용된다. 각 RoI에 대해, 컨볼루션 계층의 특징은 RoI 풀링 계층을 통해 고정 길이 벡터로 변환된다. 각 고정 길이 특징 벡터는 완전히 연결된 레이어의 시퀀스로 공급되고 최종 특징 벡터는 softmax 레이어로 공급되어 5개의 클래스에 대한 확률 점수와 경계 상자의 상대 좌표를 출력하는 회귀 레이어를 생성할 수 있다.

FCN(Fully Convolutional Network)는 Fully-Connected Layer를 그에 상응하는 Convolution Layer로 바꾸고, 그것을 통과시키는 부분까지는 CNN과 차이가 없고, 네트워크의 출력을 다르게 하고자 하는 알고리즘으로, 어떤 클래스에 대한 분류 점수가 아니라,　2차원 이미지 상의 분류 점수 맵을 생성하고자 하는 알고리즘이다.

다음으로, 객체 식별부(125)는 벡터산출부(123)에서 산출된 객체의 모션 벡터 및 형상판단부(124)에서 판단한 객체의 형상을 기초로 객체를 사람 및 사물 중 어느 하나로 식별하는 구성일 수 있다.

즉, 상기 다중 객체 검출 및 식별부(120)는 상기 CCTV 영상 프레임 내에서 검출된 객체의 형상, 모션 벡터를 기초로 객체를 사람 및 사물로 분류할 수 있고, 외부단말에서 제공된 객체의 형상, 모션벡터의 레퍼런스 값을 기초로 상기 CCTV 영상 프레임 내의 검출할 객체를 선별할 수 있다.

또한, 상기 다중 객체 검출 및 식별부(120)는 후술하는 구동제어부의 동작신호에 따라 영상촬영부에서 제2 촬영배율(줌)로 촬영된 CCTV 영상 프레임 내의 미 식별된 객체를 재식별하는 구성일 수 있다.

다음으로, 구동제어부(130)는 기 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 검출 및 식별부를 통해 인식된 각각의 객체 중 미식별된 객체가 검출되면, 상기 미식별된 객체가 진행하는 방향으로 상기 영상촬영부의 촬영동작(Pan, Tilt)을 제어하는 구성일 수 있다.

상기 구동제어부(130)는 상기 영상촬영부(110)로 상기 미 식별된 객체를 제2 촬영배율(줌)로 촬영하기 위한 동작신호를 생성하여 제공하는 구성일 수 있다.

상기 구동제어부(130)는 상기 영상촬영부(110)의 촬영배율에 따른 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 중 적어도 하나 이상의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작을 제어할 수 있다.

다음으로, 상기 통신부(140)는 유무선 통신망으로 외부단말 또는 서버와 통신한다. 가령 통신망으로서 유무선 인터넷망이 이용되거나 연동될 수 있다.

여기서 유선망은 케이블망이나 공중 전화망(PSTN)과 같은 인터넷망을 포함하는 것이고, 무선 통신망은CDMA, WCDMA, GSM, EPC(Evolved Packet Core), LTE(Long Term Evolution), 와이브로(Wibro) 망 등을 포함하는 의미이다. 가령, 도 2a에서의 CCTV망(110')은 유선망이 될 수 있지만, 무선망이 될 수도 있으며, 조합하여 구성될 수도 있다.

물론 본 발명의 실시예에 따른 통신망은 이에 한정되는 것이 아니며, 향후 구현될 차세대 이동통신 시스템의 접속망으로서 가령 클라우드 컴퓨팅 환경하의 클라우드 컴퓨팅망, 5G망 등에 사용될 수 있다. 가령, 통신망(110)이 유선 통신망인 경우 통신망(110) 내의 액세스포인트는 전화국의 교환국 등에 접속할 수 있지만, 무선 통신망인 경우에는 통신사에서 운용하는 SGSN 또는 GGSN(Gateway GPRS Support Node)에 접속하여 데이터를 처리하거나, BTS(Base Transceiver Station), NodeB, e-NodeB 등의 다양한 중계기에 접속하여 데이터를 처리할 수 있다.

통신망은 액세스포인트를 포함할 수 있다. 액세스포인트는 건물 내에 많이 설치되는 펨토(femto) 또는 피코(pico) 기지국과 같은 소형 기지국을 포함한다. 여기서, 펨토 또는 피코 기지국은 소형 기지국의 분류상 영상촬영부(110)를 최대 몇 대까지 접속할 수 있느냐에 따라 구분된다. 물론 액세스포인트는 촬영장치(110)와 지그비 및 와이파이(Wi-Fi) 등의 근거리 통신을 수행하기 위한 근거리 통신 모듈을 포함한다. 액세스포인트는 무선통신을 위하여 TCP/IP 혹은 RTSP(Real-Time Streaming Protocol)를 이용할 수 있다.

여기서, 근거리 통신은 와이파이 이외에 블루투스, 지그비, 적외선(IrDA), UHF(Ultra High Frequency) 및 VHF(Very High Frequency)와 같은 RF(Radio Frequency) 및 초광대역 통신(UWB) 등의 다양한 규격으로 수행될 수 있다.

한편, 본 발명의 영상촬영부(110)는 기 설정된 시간동안 촬영배율을 증가시켜 촬영된 복수의 CCTV 영상 프레임을 상기 다중 객체 검출 및 식별부로 제공할 수 있고, 상기 다중 객체 검출 및 식별부(120)는 상기 촬영배율이 서로 다른 복수의 CCTV 영상 프레임이 입력되면, 각 프레임 내의 객체 간의 위치를 모션 벡터를 기초로 식별할 수 있다. 이때, 구동제어부(130)는 다중 객체 검출 및 식별부(120)에서 미 식별된 객체가 검출되면, 상기 복수의 CCTV 영상 프레임 중 상기 미 식별된 객체가 포함된 최고배율의 CCTV 영상 프레임으로 해당 미 식별된 객체를 재식별하도록 동작을 제어할 수도 있다.

도 5 및 도 6은 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법을 설명한 흐름도이다.

도 5 및 도 6을 참조하면, 본 발명의 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법(S700)은 영상촬영부에서 제1 촬영배율로 촬영된 CCTV 영상을 제공(S710)하면, 다중 객체 검출 및 식별부에서 기 정의된 객체 검출알고리즘을 이용하여 상기 제1 촬영배율의 CCTV 영상 프레임 내의 객체를 검출 후 ID를 부여한 후, ID가 부여된 객체를 사람 및 사물 중 어느 하나로 식별(S720)한다. 상기 S720 과정은 외부단말에서 제공된 객체의 형상, 모션벡터의 레퍼런스 값을 기초로 상기 CCTV 영상 프레임 내의 검출할 객체를 선별하는 단계를 더 포함할 수 있다.

이후, 구동제어부에서 기 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 검출 및 식별부를 통해 인식된 각각의 객체 중 미식별된 객체가 검출되면, 상기 미식별된 객체가 진행하는 방향으로 상기 영상촬영부의 촬영동작(Pan, Tilt)을 제어(S730)하고, 상기 구동제어부에서 상기 영상촬영부로 상기 미 식별된 객체를 제2 촬영배율(줌)로 촬영하기 위한 동작신호를 생성하여 제공(S740)한다.

상기 S740 과정은 구동제어부가 상기 영상촬영부의 촬영배율에 따른 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 중 적어도 하나 이상의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작을 제어하는 과정을 포함할 수 있다.

다음으로, 상기 다중 객체 검출 및 식별부에서 기 정의된 객체 검출알고리즘을 이용하여 상기 제2 촬영배율의 CCTV 영상 프레임 내에서 미식별된 객체를 사람 및 사물 중 어느 하나로 재식별(S750)한다.

여기서, 상기 S720 및 상기 S750 과정의 경우, 상기 CCTV 영상 프레임 내에서 검출된 객체의 형상, 모션 벡터를 기초로 객체를 사람 및 사물로 분류하는 과정을 포함할 수 있다.

도 7은 본 발명의 다른 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법을 설명한 흐름도이다.

도 7를 참조하면, 본 발명의 다른 일 실시예에 따른 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법(S800)은 영상촬영부에서 기 설정된 시간동안 촬영배율을 증가시켜 촬영된 복수의 CCTV 영상 프레임을 다중 객체 검출 및 식별부로 제공(S810)하면, 상기 다중 객체 검출 및 식별부에서 상기 촬영배율이 서로 다른 복수의 CCTV 영상 프레임이 입력되면, 각 프레임 내의 객체 간의 위치를 모션 벡터를 기초로 식별(S820)한다.

이후, 상기 미 식별된 객체가 검출되면, 상기 복수의 CCTV 영상 프레임 중 상기 미 식별된 객체가 포함된 최고배율의 CCTV 영상 프레임으로 해당 미 식별된 객체를 재식별(S830)하는 과정을 포함할 수 있다.

또한 검출된 객체의 고유번호를 부여하여 각각의 객체가 혼합되는 것을 방지하여 속도를 산출하고자 하는 타겟 객체의 속도 산출이 명확히 이루어질 수 있다

본 발명의 일 실시예에서 사용된 “~부”는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다

본 발명의 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템
110: 영상촬영부
120: 대상 객체 검출 및 식별부
121: 객체 검출부
122: ID 발급부
123: 백터 산출부
124: 형상 판단부
125: 객체 식별부
130: 구동제어부
140: 통신부

Claims

CCTV 영상을 제공하는 영상촬영부;
기 정의된 객체 검출알고리즘을 이용하여 제1 촬영배율의 CCTV 영상 프레임 내의 객체를 검출 후 ID를 부여한 후, ID가 부여된 객체를 사람 및 사물 중 어느 하나로 식별하는 다중 객체 검출 및 식별부; 및
기 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 검출 및 식별부를 통해 인식된 각각의 객체 중 미식별된 객체가 검출되면, 상기 미식별된 객체가 진행하는 방향으로 상기 영상촬영부의 촬영동작(Pan, Tilt)을 제어하는 구동제어부를 포함하고,
상기 구동제어부는
상기 영상촬영부로 상기 미 식별된 객체를 제2 촬영배율(줌)로 촬영하기 위한 동작신호를 생성하여 제공하고,
상기 다중 객체 검출 및 식별부는 상기 제2 촬영배율(줌)로 촬영된 CCTV 영상 프레임 내의 미 식별된 객체를 재식별하고,
상기 영상촬영부는
기 설정된 시간동안 촬영배율을 증가시켜 촬영된 복수의 CCTV 영상 프레임을 상기 다중 객체 검출 및 식별부로 제공하고,
상기 다중 객체 검출 및 식별부는
상기 촬영배율이 서로 다른 복수의 CCTV 영상 프레임이 입력되면, 각 프레임 내의 객체 간의 위치를 모션 벡터를 기초로 식별하고, 상기 미 식별된 객체가 검출되면, 상기 복수의 CCTV 영상 프레임 중 상기 미 식별된 객체가 포함된 최고배율의 CCTV 영상 프레임으로 해당 미 식별된 객체를 재식별하는 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템.
삭제
제1항에 있어서,
상기 다중 객체 검출 및 식별부는
상기 CCTV 영상 프레임 내에서 검출된 객체의 형상, 모션 벡터를 기초로 객체를 사람 및 사물로 분류하는 것을 특징으로 하는 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템.
제3항에 있어서,
상기 다중 객체 검출 및 식별부는
외부단말에서 제공된 객체의 형상, 모션벡터의 레퍼런스 값을 기초로 상기 CCTV 영상 프레임 내의 검출할 객체를 선별하는 것을 특징으로 하는 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템.
제4항에 있어서,
상기 구동제어부는
상기 영상촬영부의 촬영배율에 따른 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 중 적어도 하나 이상의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작을 제어하는 것을 특징으로 하는 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템.
삭제
영상촬영부에서 제1 촬영배율로 촬영된 CCTV 영상을 제공하는 단계;
다중 객체 검출 및 식별부에서 기 정의된 객체 검출알고리즘을 이용하여 상기 제1 촬영배율의 CCTV 영상 프레임 내의 객체를 검출 후 ID를 부여한 후, ID가 부여된 객체를 사람 및 사물 중 어느 하나로 식별하는 단계;
구동제어부에서 기 정의된 모션 벡터 알고리즘을 이용하여 상기 다중 객체 검출 및 식별부를 통해 인식된 각각의 객체 중 미식별된 객체가 검출되면, 상기 미식별된 객체가 진행하는 방향으로 상기 영상촬영부의 촬영동작(Pan, Tilt)을 제어하는 단계;
상기 구동제어부에서 상기 영상촬영부로 상기 미 식별된 객체를 제2 촬영배율(줌)로 촬영하기 위한 동작신호를 생성하여 제공하는 단계; 및
상기 다중 객체 검출 및 식별부에서 기 정의된 객체 검출알고리즘을 이용하여 상기 제2 촬영배율의 CCTV 영상 프레임 내에서 미식별된 객체를 사람 및 사물 중 어느 하나로 재식별하는 단계를 포함하고,
상기 식별하는 단계 및 상기 재식별하는 단계는
상기 CCTV 영상 프레임 내에서 검출된 객체의 형상, 모션 벡터를 기초로 객체를 사람 및 사물로 분류하는 단계를 포함하고,
상기 식별하는 단계는
외부단말에서 제공된 객체의 형상, 모션벡터의 레퍼런스 값을 기초로 상기 CCTV 영상 프레임 내의 검출할 객체를 선별하는 단계를 더 포함하고,
상기 다중 객체 검출 및 식별부는
촬영배율이 서로 다른 복수의 CCTV 영상 프레임이 입력되면, 각 프레임 내의 객체 간의 위치를 모션 벡터를 기초로 식별하고, 상기 미 식별된 객체가 검출되면, 상기 복수의 CCTV 영상 프레임 중 상기 미 식별된 객체가 포함된 최고배율의 CCTV 영상 프레임으로 해당 미 식별된 객체를 재식별하는 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법.
삭제
삭제
제7항에 있어서,
상기 동작신호를 생성하여 제공하는 단계는
구동제어부가 상기 영상촬영부의 촬영배율에 따른 자동 초점 조절(auto-focusing), 자동 노출 조정, 조리개 조정, 줌, 초점 변경 중 적어도 하나 이상의 동작을 실행하기 위하여 렌즈의 위치, 조리개의 개폐, 셔터의 동작을 제어하는 단계를 포함하는 것을 특징으로 하는 원/근거리 객체를 자동추적 및 인식하기 위한 인공지능 영상 촬영 시스템의 구동방법.
삭제