KR102560107B1 - 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법 - Google Patents

다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법 Download PDF

Info

Publication number
KR102560107B1
KR102560107B1 KR1020220028743A KR20220028743A KR102560107B1 KR 102560107 B1 KR102560107 B1 KR 102560107B1 KR 1020220028743 A KR1020220028743 A KR 1020220028743A KR 20220028743 A KR20220028743 A KR 20220028743A KR 102560107 B1 KR102560107 B1 KR 102560107B1
Authority
KR
South Korea
Prior art keywords
annotation
unit
information
time
same
Prior art date
Application number
KR1020220028743A
Other languages
English (en)
Other versions
KR20230088208A (ko
Inventor
김승훈
서용혁
이승원
이호영
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Publication of KR20230088208A publication Critical patent/KR20230088208A/ko
Application granted granted Critical
Publication of KR102560107B1 publication Critical patent/KR102560107B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/22—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition
    • G06V10/225—Image preprocessing by selection of a specific region containing or referencing a pattern; Locating or processing of specific regions to guide the detection or recognition based on a marking or identifier characterising the area
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/12—Bounding box

Abstract

본 발명은 인공지능 모델 학습을 위한 어노테이션 작업을 효율적으로 수행할 수 있는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법에 관한 것이다. 이를 위하여, 본 발명은 입력부에 의해 카메라정보 및 동영상정보를 입력받는 단계; 영상로드부에 의해 상기 동영상정보에 해당하는 동영상이 프레임 단위로 분할되어 로딩되는 단계; 객체분석부에 의해 객체를 인식하고 상기 객체의 위치좌표를 검출하며, 해당 객체에 경계상자를 생성하는 단계; 어노테이션정보부에서 촬영시간, 카메라식별부호, 프레임번호 및 상기 프레임번호에 존재하는 객체아이디를 입력받아 저장하는 단계; 어노테이션검증부에 의해 상기 어노테이션정보부를 검색하여 한 프레임에 동일한 아이디가 둘 이상 검출되는 경우 알람을 표시하는 단계를 수행하는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법을 제공한다.
따라서, 본 발명에 의하면, 인공지능 학습데이터를 생성할 때 어노테이션의 오류를 자동으로 찾아내어 수정할 수 있도록 하여 어노테이션 작업을 효율적으로 할 수 있는 이점이 있다.

Description

다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법{System and method for preventing annotation errors using time and spatial information of multiple cameras}
본 발명은 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법에 관한 것이며, 구체적으로 인공지능 모델 학습을 위한 어노테이션 작업을 효율적으로 수행할 수 있는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법에 관한 것이다.
감시 체계 시스템에서는 특정 카메라에서 관측된 특정 인물을 다른 시점 혹은 다른 카메라에서 관측된 해당 인물과 매칭하는 사람 재식별(Person Re-Identification)기술이 요구된다. 이러한 사람 재식별 모델 학습을 위해 비디오 데이터에 대한 주석을 생성할 수 있는 비디오 주석 도구가 필요하다.
일반적으로 비디오 데이터는 초당 수십 프레임의 이미지로 구성되어 있다. 사람이 각 이미지마다 주석 작업을 하는 것은 매우 큰 노동력이 필요하다. 따라서, 종래의 기술은 작업자가 마우스를 이용해 쉽게 경계상자(Bounding box)를 생성하고 내장된 추적(tracking) 알고리즘으로 사용자가 직접 경계 상자를 생성하면 연속된 프레임에서의 해당 경계 상자 위치를 예측한다. 이러한 추적 기능은 일련의 이미지 그룹에서 주석을 생성하는 데에 편리할 수 있다. 그러나 사람 재식별 모델의 학습 데이터 생성을 위해선 여러 대의 카메라로부터 취득한 방대한 데이터에서 출현한 동일 인물을 하나의 ID로 매칭 해야 한다. 이러한 주석 작업을 작업자가 하기 위해선 여러 카메라 뷰에서 동일 인물을 찾아 하나의 ID로 매칭 하는 과정을 수행해야 한다. 이는 기존의 주석 도구에서 제공하는 경계 상자 추적기(tracker)만 가지고는 사실상 해결하기 어려운 문제이다.
종래기술에 의한 특허 제10-1784600호(다중 카메라 환경에서의 배회 인식방법 및 시스템)는 다중 카메라를 이용하여 단일 카메라 환경보다 넓은 범위에서 사람의 움직임을 감시하여 보다 정확하게 배회 행위를 인식할 수 있는 방법 및 시스템을 제공한다. 하지만, 상기 발명은 학습 데이터셋을 생성하는 단계가 아닌 학습된 모델을 이용하여 배회 행위 인식 관련 문제를 해결하려는 방법으로써 학습데이터의 오류를 바로잡을 수 있는 구성은 기재되어 있지 않다.
한편, 종래의 어노테이션 도구는 학습된 인공지능 모델을 이용해 자동으로 어노테이션을 생성하는 등의 기능을 제공한다. 그러나 사전에는 모델이 충분히 학습되지 않을 수 있고, 이에 따라서 자동으로 생성된 어노테이션의 정확도가 떨어지므로 사람이 개입하는 과정이 반드시 필요하다.
사람이 직접 어노테이션 작업을 수행할 때에도 충분히 작업 효율성을 보장하고 데이터의 오류를 최소화하여야 한다. 그러나 현실적으로 어노테이션 작업자가 다른 시간 다른 공간에서 출현한 객체를 매칭하는 작업은 어려울 수 있다. 특히, 여러 작업자가 영상을 분할해서 작업하는 경우 오류의 가능성은 더욱 높아진다.
본 발명은 상기한 문제점을 해결하기 위한 것이며, 구체적으로 인공지능 학습데이터를 생성할 때 어노테이션의 오류를 자동으로 찾아내어 수정할 수 있도록 하여 어노테이션 작업을 효율적으로 할 수 있도록 하기 위한 것이다.
또한, 대규모 영상데이터의 어노테이션 작업시 분할하여 작업하여도 오류를 최소화할 수 있는 어노테이션 도구를 제공하기 위한 것이다.
상기한 문제점을 해결하기 위하여, 본 발명은 입력부에 의해 카메라정보 및 동영상정보를 입력받는 단계; 영상로드부에 의해 상기 동영상정보에 해당하는 동영상이 프레임 단위로 분할되어 로딩되는 단계; 객체분석부에 의해 객체를 인식하고 상기 객체의 위치좌표를 검출하며, 해당 객체에 경계상자를 생성하는 단계; 어노테이션정보부에서 촬영시간, 카메라식별부호, 프레임번호 및 상기 프레임번호에 존재하는 객체아이디를 입력받아 저장하는 단계; 어노테이션검증부에 의해 상기 어노테이션정보부를 검색하여 한 프레임에 동일한 아이디가 둘 이상 검출되는 경우 알람을 표시하는 단계를 수행하는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법을 제공한다.
공간정보부는 카메라식별부호, 중복지역의 공간좌표를 포함하고, 상기 어노테이션검증부에서는 어노테이션정보부에서 동일대역의 촬영시간 및 다른 카메라식별부호에서 동일한 객체아이디가 검출되는 경우 상기 공간정보부를 검색하여 상기 동일한 객체아이디 중 임의의 '갑'객체의 위치좌표가 중복지역의 공간좌표에 해당하는지를 판정하고, 상기 객체의 위치좌표가 중복지역의 공간좌표에 해당하지 않으면 알람을 표시하는 단계를 수행하는 것이 바람직하다.
상기 어노테이션검증부에서는 상기 '갑'객체의 위치좌표가 중복지역의 공간좌표에 해당하면 해당 중복 카메라의 프레임에서 상기 위치좌표에 대응하는 대응위치의 객체아이디를 상기 '갑'객체의 객체아이디와 동일하게 저장하는 것이 바람직하다.
상기 객체분석부에서는 어노테이션정보부를 검색하여 다른 객체아이디를 갖는 객체를 기초로 객체의 동일성 여부를 판단하여 어노테이션검증부로 송신하고, 상기 어노테이션검증부에서는 동일객체로 인식된 객체에 대하여 객체아이디가 서로 다른 경우 알람을 표시하는 단계를 수행하는 것이 바람직하다.
상기 객체분석부에서는 시간대역 순으로 객체를 인식하여 인식된 객체의 특징점 및 객체아이디를 포함한 객체정보를 객체정보부에 저장하며, 상기 어노테이션검증부에서는 시간대역 순으로 어노테이션정보부를 검색하여 새로운 객체아이디가 저장된 경우 객체정보부를 검색하여 상기 새로운 객체아이디의 특징점 및 해당 시간대역 이전에 저장된 객체의 특징점을 비교하여 동일객체 여부를 판단하고, 동일객체로 판단되면 알람을 표시하고 새로운 객체아이디를 동일객체에 해당하는 객체아이디로 변경하는 것이 바람직하다.
본 발명에 의하면, 인공지능 학습데이터를 생성할 때 어노테이션의 오류를 자동으로 찾아내어 수정할 수 있도록 하여 어노테이션 작업을 효율적으로 할 수 있는 이점이 있다.
또한, 대규모 영상데이터의 어노테이션 작업시 분할하여 작업하여도 오류를 최소화할 수 있는 어노테이션 도구를 제공할 수 있는 이점이 있다.
도 1은 본 발명에 의한 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템의 구성을 나타내는 구성도;
도 2는 입력부를 통해 정보를 입력받는 예를 나타내는 예시도;
도 3은 본 발명에 의한 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법의 실시예를 설명하기 위한 예시도;
도 4는 어노테이션검증부에 의한 알람표시의 예를 나타내는 예시도;
도 5는 도 3은 본 발명에 의한 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법을 설명하기 위한 순서도.
본 발명에 의한 구체적인 실시예의 구성 및 작용에 대하여 도면을 참조하여 상세하게 설명한다.
도 1을 참조하면, 본 발명에 의한 다중 카메라의 시간 및 공간정보를 활용한 오류방지시스템(100)은 입력부(110), 영상로드부(120), 공간정보부(130), 객체분석부(140), 객체정보부(150), 어노테이션정보부(160), 어노테이션검증부(170), 디스플레이부(180)를 포함하여 구성된다.
상기 입력부(110)에서는 외부단말기로부터 동영상을 비롯한 각종 데이터를 수신받거나 사용자로부터 데이터를 입력받는 역할을 한다. 즉, 도 2를 참조하면, 상기 입력부(110)로부터 카메라식별부호, 해상도 등을 포함한 카메라정보, 해당 카메라에 저장된 동영상 및 동영상정보 등을 입력받을 수 있으며, 데이터를 입력받으면 입력부(110)에서는 동영상파일을 영상로드부(120)로 전송하여 준다.
상기 영상로드부(120)에서는 상기 동영상파일을 프레임 단위로 분할하여 로딩한다.
상기 공간정보부(130)에는 특정 카메라의 카메라식별부호 및 상기 카메라의 설치 위치, 상기 카메라에 의해 촬영되는 공간의 위치좌표, 상기 카메라와 중복되는 공간을 촬영하는 다른 중복카메라의 식별부호, 상기 중복카메라와 중복되는 공간의 중복위치좌표 등이 저장된다.
예를 들어, 도 3을 참조하면, 공간정보부(130)에는 룸1에 두대의 카메라가 설치되어 있으며, 각각의 카메라식별부호는 CAMERA1, CAMERA2로 저장된다. 또한, ROOM1에서 각각의 카메라가 설치된 위치좌표가 공간정보부(130)에 저장되며, 각각의 카메라에 대하여 동일한 공간을 촬영하는 다른 카메라가 있으면 공간정보부(130)에 그 카메라의 카메라식별부호와 중복되는 공간의 중복위치좌표가 저장된다.
즉, 도 3에서 CAMERA1 및 CAMERA2가 중복해서 촬영하고 있는 공간인 A부분에 대한 공간좌표가 중복위치좌표로 저장된다. 상기 중복위치좌표는 중복되는 공간을 이루는 다각형 A의 각 꼭지점의 좌표들로 이루어질 수 있으며, 3차원공간이 아니라 A부분 중 사람이 발을 딛고 있는 바닥면만을 중복위치좌표로 할 수도 있다.
또한, 상기 공간정보부(130)에는 각 카메라가 촬영하고 있는 공간상의 범위가 저장되며, 카메라 화면상에 나타나는 물체의 위치좌표가 저장될 수 있다.
상기 객체분석부(140)에서는 프레임 별로 지정된 특정 객체를 인식하고, 프레임 상에서 상기 객체의 위치좌표를 검출하며, 해당 객체의 주변을 둘러싸는 경계상자를 생성한다.
상기 객체는 자동차 또는 사람처럼 움직이는 물체가 될 수 있으며, 본 실시예에서는 사람을 의미할 수 있다. 또한, 객체를 인식하는 방법은 옷색깔, 형태, 크기 등의 특징점을 추출하여 비교하거나 CNN, YOLO와 같은 딥러닝 기술을 이용하여 인식할 수 있다.
상기 객체정보부(150)에는 인식된 객체의 객체아이디 및 촬영시간, 카메라식별번호 및 프레임번호, 객체의 특징점 등 객체의 인식 및 판별에 사용된 객체정보가 시간대역순으로 저장된다. 상기 특징점은 옷 색깔, 머리색깔, 모자착용여부, 안경착용여부, 크기, 형상 등의 정보를 포함할 수 있다.
상기 객체분석부(140)에서는 프레임마다 객체를 인식할 수 있으며, 객체의 움직임에 따라 객체의 이동량만큼 경계상자를 이동시킨다. 또한, 객체분석부(140)에서는 객체의 이동방향을 추적하여 다음 프레임에서의 객체의 위치를 예측할 수 있으며, 현재프레임과 이전프레임을 비교하여 동일객체인지 이전 프레임에는 없었던 새로운 객체인지를 판단한다.
상기 어노테이션정보부(160)에는 인식된 객체에 대한 객체아이디를 비롯한 관련정보들이 저장된다. 즉, 상기 어노테이션정보부(160)에는 해당 영상을 촬영한 카메라식별부호, 촬영시간, 프레임번호, 객체아이디, 객체의 위치좌표 등이 저장될 수 있다.
어노테이션정보부(160)에 저장되는 정보들은 딥러닝을 이용한 어노테이션 생성도구들을 이용하여 저장할 수도 있고, 작업자가 수동으로 입력할 수도 있다.
예를 들어, 도 2에서 CAMERA 1을 기준으로 객체분석부(140)에서는 임의의 특정 프레임을 분석하여 세사람의 객체를 인식하고 각각에 대하여 바운딩박스를 생성하여 표시하여 준다.
그러면, 어노테이션정보부(160)에서는 인식된 객체에 대하여 객체아이디를 자동으로 생성하여 부여하여 줄 수 있다. 예를 들어, 객체분석부(140)로부터 이전 프레임에 없던 새로운 객체로 판단된 정보를 수신받으면, 어노테이션정보부(160)에서는 'SARAM1', 'SARAM2', 'SARAM3'과 같은 객체아이디를 순서대로 생성하여 부여하며, 객체분석부(140)로부터 이전 프레임과 동일객체로 판단된 정보를 수신받으면, 어노테이션정보부(160)에서는 새로운 객체아이디를 생성하지 않고 이전과 동일한 객체아이디를 사용한다. 이때, 객체아이디는 이전프레임과 현재프레임을 비교하여 가장 가까운 거리에 있는 객체의 객체아이디를 사용할 수 있다.
상기 어노테이션검증부(170)에서는 어노테이션정보부(160)에 저장된 정보들의 오류를 검출하여 자동으로 수정하거나 사용자에게 알람을 표시하여 알려주는 역할을 한다.
구체적으로, 상기 어노테이션검증부(170)에서는 어노테이션정보부(160)를 검색하여 임의의 하나의 카메라에 의해 촬영된 영상에서 동일한 프레임번호에 동일한 객체아이디가 두개 이상 저장되어 있는지 검출한다.
검출결과, 동일한 프레임번호에 동일한 객체아이디가 두개 이상 저장되어 있으면 중복객체아이디로 판단하고 도 4와 같이 디스플레이부(180)를 통해 알람을 표시하여 줄 수 있다. 이때, 상기 어노테이션검증부(170)에서는 객체정보부(150)를 검색하여 동일한 객체아이디를 가지고 있는 두 객체의 특징점을 검출하고, 시간상으로 나중에 등록된 특징점과 가장 유사한 특징점을 가진 객체를 선택하여 객체아이디를 변경한다. 상기 객체아이디의 변경은 어노테이션검증부(170)에서 새로 생성할 수도 있고, 사용자로부터 새로 입력받을 수도 있다.
그리고, 어노테이션검증부(170)에서는 객체정보부(150)에서 해당 특징점을 가진 객체아이디를 새로운 객체아이디로 변경하고, 객체정보부(150)에 저장된 해당 카메라식별부호 및 프레임번호를 이용하여 어노테이션저장부에서 해당 카메라식별부호 및 프레임번호에 해당하는 중복객체아이디를 새로운 객체아이디로 변경한다. 이러한 어노테이션검증부(170)에 의한 변경은 변경하려는 객체아이디가 해당 프레임에 이미 존재하고 있는 객체아이디와 중복이 되지 않게 하는 것이 바람직하다.
다른 방법으로, 객체분석부(140)에서는 객체의 특징점을 이용하거나 딥러닝 등의 인공지능 모델을 이용하여 동영상에서 동일한 객체를 인식할 수 있으며, 어노테이션검증부에서는 시간흐름에 따른 복수의 프레임을 통해 동일한 객체에 대하여 다른 객체아이디가 부여되었는지를 검색한다. 즉, 객체분석부(140)에서 동일한 객체로 인식된 객체에 대하여 다른 객체아이디가 부여된 경우 어노테이션검증부에서는 알람을 표시하여 어노테이션의 오류를 사용자에게 알려줄 수 있다.
한편, 상기 어노테이션검증부에서는 어노테이션저장부를 검색하여 동일시간대역의 촬영시간 중 다른 카메라식별부호에서 동일한 객체아이디가 검출되는지를 판단하고, 동일한 객체아이디가 검출되면 어노테이션검증부에서는 공간정보부(130)를 검색하여 상기 동일한 객체아이디에 해당하는 객체 중 어느 하나인 '갑'객체의 위치좌표가 해당 카메라들의 중복위치좌표에 해당하는지를 판단한다.
이때, 각 카메라 영상의 상대좌표는 카메라가 설치된 위치를 중심으로 한 좌표이고, 절대좌표는 GPS좌표처럼 카메라의 위치와 상관없이 공간상에 미리 설정해 놓은 좌표이다. 상대좌표는 공간상의 절대좌표로 변환될 수 있으며, 각 카메라에서 객체의 상대좌표를 절대좌표로 변환하였을 때, 동일한 절대좌표를 가지면 동일위치로 판단하고, 상기 중복위치좌표는 절대좌표로 저장될 수 있다.
만약, 어노테이션검증부에서는 '갑'객체의 위치좌표가 중복위치좌표에 해당하면, 해당 중복 카메라의 프레임에서 '갑'객체의 위치좌표에 해당하는 위치좌표의 객체아이디를 '갑'객체의 객체아이디와 동일하게 어노테이션저장부에 저장하고, '갑'객체의 위치좌표가 중복위치좌표에 해당하지 않으면, 어노테이션검증부에서는 오류로 판단하고 알람을 표시할 수 있다.
이때, 어노테이션검증부에서는 객체정보부(150)를 검색하여 동일한 객체아이디를 가지고 있는 두 객체의 특징점을 검출하고, 시간상으로 나중에 등록된 특징점과 가장 유사한 특징점을 가진 객체를 선택하여 객체아이디를 변경한다. 상기 객체아이디의 변경은 어노테이션검증부에서 새로 생성할 수도 있고, 사용자로부터 새로 입력받을 수도 있다.
상기 동일시간대역은 시간단위를 일정구간으로 나눈 것으로서, 예를 들어, 동일시간대역은 5초 단위로 이루어질 수 있으며, 촬영시간이 상기 5초 이내에 속한 경우 동일시간대역에 속한다고 할 수 있다.
만약, 동일시간대역에서 촬영하는 영역 일부가 중복되는 서로 다른 카메라를 통한 영상에서 임의의 '갑' 객체에 동일한 객체아이디가 부여된 경우 어노테이션검증부에서는 '갑' 객체의 위치좌표가 중복위치좌표인지 판단하고, '갑' 객체의 위치좌표가 중복위치좌표가 아니라고 판단되면 알람을 표시하여 어노테이션 오류를 사용자에게 알려줄 수 있다.
또한, 동일시간대역에서 중복위치좌표를 공유하지 않는 서로 다른 카메라에서 임의의 '갑' 객체에 동일한 객체아이디가 부여된 경우에도 어노테이션검증부에서는 알람을 표시하여 어노테이션 오류를 사용자에게 알려줄 수 있다.
한편, 어노테이션검증부에서는 객체분석부(140)를 통해 동일객체판별작업을 수행한다. 구체적으로, 상기 객체분석부(140)에서는 어노테이션검증부로부터 동일객체판별작업수행신호를 전송받으면, 객체정보부(150)를 검색하여 다른 객체아이디를 갖는 객체들에 대하여 특징점을 포함한 객체판별정보를 이용하여 동일객체여부에 대한 1차 판단을 한다. 상기 1차 판단은 옷색깔, 형상정보 및 크기정보 등을 기초로 일정범위 내에 있는지 여부를 기초로 판단할 수 있다.
1차 판단결과 동일객체로 판단된 경우에는 다시 CNN과 같은 딥러닝을 이용하여 동일객체 여부에 대한 2차 판단을 할 수 있다.
2차 판단이 종료되면, 객체분석부(140)에서는 그 결과를 어노테이션검증부로 송신하고 어노테이션검증부에서는 동일객체로 판단된 결과가 나오면 알람을 표시하거나, 해당 객체에 대한 객체아이디를 동일하게 수정할 수 있다.
또한, 어노테이션검증부에서는 시간대역 순으로 어노테이션저장부를 검색하여 새로운 객체아이디가 저장된 경우 객체정보부(150)를 검색하여 상기 새로운 객체아이디의 특징점 및 해당 시간대역 이전에 저장된 객체의 특징점을 비교하여 동일객체 여부를 판단할 수 있으며, 동일객체로 판단되면 알람을 표시하고 새로운 객체아이디를 동일객체에 해당하는 객체아이디로 변경할 수 있다.
한편, 어노테이션검증부에서는 서로 다른 카메라에서 동일한 객체아이디가 부여된 '갑' 객체가 검출되면, 시간 흐름에 따라 복수의 프레임을 이용하여 상기 객체의 이동속도를 추정한다. 이러한 이동속도의 추정은 공간정보부에 저장된 공간좌표를 이용하여 추정할 수 있다.
이렇게 추정된 객체의 이동속도가 미리 설정된 임계속도보다 크면 어노테이션검증부에서는 알람을 표시하여 어노테이션에 오류가 있음을 알려준다.
상기에서는 본 발명의 실시예들을 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
110 : 입력부 120 : 영상로드부
130 : 공간정보부 140 : 객체분석부
150 : 객체정보부 160 : 어노테이션정보부
170 ; 어노테이션검증부 180 : 디스플레이부

Claims (7)

  1. 삭제
  2. 입력부에 의해 카메라정보 및 동영상정보를 입력받는 단계;
    영상로드부에 의해 상기 동영상정보에 해당하는 동영상이 프레임 단위로 분할되어 로딩되는 단계;
    객체분석부에 의해 객체를 인식하고 상기 객체의 위치좌표를 검출하며, 해당 객체에 경계상자를 생성하는 단계;
    객체정보부에 의해 인식된 객체의 객체아이디, 촬영시간, 카메라식별번호, 프레임번호 및 객체의 특징점이 시간대역순으로 저장되는 단계;
    어노테이션정보부에서 촬영시간, 카메라식별부호, 프레임번호 및 상기 프레임번호에 존재하는 객체아이디를 입력받아 저장하는 단계;
    공간정보부에서 카메라식별부호, 카메라가 촬영하는 공간의 공간좌표 및 다른 카메라와 중복해서 촬영하고 있는 공간인 중복위치좌표를 저장하는 단계를 수행하며,
    어노테이션검증부에서는 어노테이션정보부에서 동일대역의 촬영시간 및 촬영 영역이 일부 중복되는 서로 다른 카메라식별부호에서 동일한 객체아이디가 검출되는 경우 상기 공간정보부를 검색하여 상기 동일한 객체아이디 중 임의의 '갑'객체의 위치좌표가 중복위치좌표에 해당하는지를 판정하고, 상기 객체의 위치좌표가 중복위치좌표에 해당하지 않으면 알람을 표시하며,
    객체정보부를 검색하여 동일한 객체아이디를 가지고 있는 두 객체의 특징점을 검출하고 시간상으로 나중에 등록된 특징점과 가장 유사한 특징점을 가진 객체를 선택하여 객체아이디를 변경하는 단계를 수행하는 것을 특징으로 하는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법.
  3. 제2항에 있어서,
    상기 어노테이션검증부에서는 상기 '갑'객체의 위치좌표가 중복지역의 공간좌표에 해당하면 해당 중복 카메라의 프레임에서 상기 위치좌표에 대응하는 대응위치의 객체아이디를 상기 '갑'객체의 객체아이디와 동일하게 저장하는 것을 특징으로 하는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법.
  4. 제2항에 있어서,
    상기 객체분석부에서는 어노테이션정보부를 검색하여 다른 객체아이디를 갖는 객체를 기초로 객체의 동일성 여부를 판단하여 어노테이션검증부로 송신하고, 상기 어노테이션검증부에서는 동일객체로 인식된 객체에 대하여 객체아이디가 서로 다른 경우 알람을 표시하는 단계를 수행하는 것을 특징으로 하는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법.
  5. 제2항에 있어서,
    상기 객체분석부에서는 시간대역 순으로 객체를 인식하여 인식된 객체의 특징점 및 객체아이디를 포함한 객체정보를 객체정보부에 저장하며,
    상기 어노테이션검증부에서는 시간대역 순으로 어노테이션정보부를 검색하여 새로운 객체아이디가 저장된 경우 객체정보부를 검색하여 상기 새로운 객체아이디의 특징점 및 해당 시간대역 이전에 저장된 객체의 특징점을 비교하여 동일객체 여부를 판단하고, 동일객체로 판단되면 알람을 표시하고 새로운 객체아이디를 동일객체에 해당하는 객체아이디로 변경하는 것을 특징으로 하는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법.
  6. 제3항에 있어서,
    상기 어노테이션검증부에서는 서로 다른 카메라에서 동일한 ID가 부여된 임의의 '갑' 객체에 대하여 복수의 프레임을 이용하여 상기 객체의 이동속도를 추정하고, 상기 이동속도가 미리 설정된 임계속도보다 크면 알람을 표시하는 단계를 수행하는 것을 특징으로 하는 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지방법.
  7. 삭제
KR1020220028743A 2021-12-09 2022-03-07 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법 KR102560107B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210175572 2021-12-09
KR20210175572 2021-12-09

Publications (2)

Publication Number Publication Date
KR20230088208A KR20230088208A (ko) 2023-06-19
KR102560107B1 true KR102560107B1 (ko) 2023-07-27

Family

ID=86988687

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220028743A KR102560107B1 (ko) 2021-12-09 2022-03-07 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102560107B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310613B1 (ko) * 2021-05-14 2021-10-12 주식회사 인피닉 연속된 2d 이미지에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313947B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 트래킹 아이디 부여 및 검수 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102310613B1 (ko) * 2021-05-14 2021-10-12 주식회사 인피닉 연속된 2d 이미지에서 객체 추적 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102313947B1 (ko) * 2021-05-14 2021-10-18 주식회사 인피닉 트래킹 아이디 부여 및 검수 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램

Also Published As

Publication number Publication date
KR20230088208A (ko) 2023-06-19

Similar Documents

Publication Publication Date Title
US20230290151A1 (en) Information processing apparatus, information processing method, and information processing program
JP4650669B2 (ja) 動体認識装置
JP5001260B2 (ja) オブジェクト追跡方法及びオブジェクト追跡装置
Porikli Trajectory distance metric using hidden markov model based representation
JP5554726B2 (ja) データ関連付けのための方法と装置
US20220391796A1 (en) System and Method for Mapping Risks in a Warehouse Environment
JP7114885B2 (ja) 作業現場監視装置およびプログラム
JP6503079B2 (ja) 特定人物検知システム、特定人物検知方法および検知装置
CA2650967C (en) Action recognition and interpretation using a precision positioning system
CN112712544A (zh) 人物追踪系统及人物追踪方法
Arsic et al. Applying multi layer homography for multi camera person tracking
EP4071684A1 (en) Warehouse monitoring system
US11544926B2 (en) Image processing apparatus, method of processing image, and storage medium
JP5236607B2 (ja) 異常検知装置
KR102560107B1 (ko) 다중 카메라의 시간 및 공간정보를 활용한 어노테이션 오류방지시스템 및 방법
US11227007B2 (en) System, method, and computer-readable medium for managing image
US11216969B2 (en) System, method, and computer-readable medium for managing position of target
KR20230081016A (ko) 복수의 카메라를 이용하여 객체를 추적하는 장치, 방법 및 컴퓨터 프로그램
US20210166425A1 (en) Mapping multiple views to an identity
Shal’nov et al. Estimation of the people position in the world coordinate system for video surveillance
Torabi et al. Joint detection and activity recognition of construction workers using convolutional neural networks
KR102587427B1 (ko) 이동체 위치 생성 및 이동궤적 생성 시스템
WO2022038702A1 (en) Causal interaction detection apparatus, control method, and computer-readable storage medium
US20210081678A1 (en) Image processing apparatus and image processing method
JPH09107540A (ja) 監視カメラ装置

Legal Events

Date Code Title Description
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)