KR20230076703A - 딥러닝 기반의 상대적 거리 예측을 이용한 접촉 감지 장치 및 방법 - Google Patents

딥러닝 기반의 상대적 거리 예측을 이용한 접촉 감지 장치 및 방법 Download PDF

Info

Publication number
KR20230076703A
KR20230076703A KR1020210193989A KR20210193989A KR20230076703A KR 20230076703 A KR20230076703 A KR 20230076703A KR 1020210193989 A KR1020210193989 A KR 1020210193989A KR 20210193989 A KR20210193989 A KR 20210193989A KR 20230076703 A KR20230076703 A KR 20230076703A
Authority
KR
South Korea
Prior art keywords
relative distance
contact
objects
deep learning
size information
Prior art date
Application number
KR1020210193989A
Other languages
English (en)
Inventor
김광훈
유현
백지원
정경용
Original Assignee
경기대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기대학교 산학협력단 filed Critical 경기대학교 산학협력단
Publication of KR20230076703A publication Critical patent/KR20230076703A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/006—Geometric correction
    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Abstract

본 발명의 일 양상에 따르는 접촉 감지 장치는 영상에서 검출된 객체의 영상 내에서의 크기 정보와 해당 객체에 대하여 정의된 표준 크기 정보의 비율에 기초하여 카메라와 객체 간의 상대적 거리를 산출하고, 객체 간의 상대적 거리를 이용하여 객체들이 영상 내에서 접촉하고 있는지 판단한다.

Description

딥러닝 기반의 상대적 거리 예측을 이용한 접촉 감지 장치 및 방법 { CONTACT DETECTION DEVICE AND METHOD USING DEEP LEARNING-BASED RELATIVE DISTANCE PREDICTION }
본 발명은 컴퓨터 비전 기술에 관한 것으로, 2D 영상에서 검출되는 객체들의 카메라에 대한 상대적 거리를 산출하여 객체 간에 접촉을 감지하는 기술에 관한 것이다.
최근, 딥러닝 기술은 컴퓨터 비전, 음성인식, 자연어 처리 등 다양한 분야에 적용되어 많은 성능 향상을 보이고 있다. 딥러닝 기술은 다층 인공신경망을 이용하여 학습 데이터로부터 특징을 추출하여 학습하는 모델을 생성한다. 딥러닝 기술은 사람이 찾아내지 못한 데이터상의 유용한 특징들을 찾아내 학습함으로 인해 더 좋은 성능을 보여주고 있다. 이러한 딥러닝 기술을 활용하는 영상처리 기술로 인하여 영상 데이터로부터 다양한 분석이 가능해지고 있다. 특히, 2D 영상 데이터 기반의 이미지 분석 기술은 제조 공장의 불량 여부 판별, 공항의 보안 검색대, 무인 스토어, 질병 예측과 분석을 위한 의료 서비스 등 다양한 사회 분야와 결합하여 적용되고 있다.
범용적인 분야의 CCTV 영상 감시 체계는 다수의 감시 요원이 들어오는 영상을 직접 모니터링하여 상황을 파악하는 수작업 형태로 처리되고 있다. 이러한 수작업 형태의 영상 감시 체계는 반복적이고 비효율적인 업무를 발생시켜 긴장도 높은 상황에 대한 지속적인 감시 태세의 유지가 어려워지며, 많은 인적 비용을 발생시킨다. 딥러닝 기술을 사용하여 사람이 육안으로 감시하던 작업을 컴퓨터를 이용하여 처리하고 있으나, 영상에서 나타나는 객체 간의 관계나 동적 상황을 분석하는 연구는 아직 부족한 상황으로 사람의 군집 분석이나 물체 간 거리를 비교하는 연관 관계 분석에 관한 연구도 미비하다. 따라서, 보다 일반적인 분야에서 이미지 분석 기술이 사용되기는 어려운 실정이다.
2차원 영상 이미지 데이터인 CCTV 영상 분석을 통해 사람 간 근접 상황을 기반으로 발생하는 폭력과 납치와 같은 강력 범죄에서부터 객체 간 근접으로 발생하는 차량 접촉이나 이탈 사고 감지 등에 활용 가능한 기반 기술 요소로 객체 간 접촉을 탐지하는 기술이 필요하다.
본 발명은 깊이 정보가 포함되어 있지 않은 2차원 영상에서 검출되는 객체들 간의 카메라에 대한 상대적 거리를 예측하고, 객체들의 상대적 거리에 기초하여 객체들의 접촉을 감지하는 장치 및 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 양상에 따르는 접촉 감지 장치는 프로세서와, 프로세서와 연결되고 프로세서에 의해 실행 가능한 프로그램 명령어들을 포함하는 메모리를 포함하는 장치이며, 프로세서에서 실행되는 명령어들은 객체 검출 동작과, 표준 크기 획득 동작과, 크기 정보 산출 동작과, 상대적 거리 산출 동작과 유사도 산출 동작과, 접촉 감지 판단 동작을 포함한다.
객체 검출 동작은 카메라에 의해 촬영된 영상에서 적어도 둘 이상의 객체를 검출하여 객체의 명칭과 객체의 좌표 정보를 출력하는 동작이고, 표준 크기 획득 동작은 검출된 객체 각각에 대하여 정의된 객체 표준 크기 정보를 참조하여 객체의 표준 크기 정보를 획득하는 동작이고, 크기 정보 산출 동작은 검출된 객체 각각의 좌표 정보로부터 영상 내에서의 객체의 크기 정보를 산출하는 동작이고, 상대적 거리 산출 동작은 검출된 객체 각각에 대하여 객체의 표준 크기 정보와 영상 내에서의 객체의 크기 정보의 비율에 기초하여 카메라와 객체간의 상대적 거리를 산출하는 동작이고, 유사도 산출 동작은 검출된 객체에서 선택된 두 객체에 대한 각각의 상대적 거리에 기초하여 상대적 거리의 유사도를 산출하는 동작이고, 접촉 감지 판단 동작은 두 객체에 대하여 산출된 상대적 거리의 유사도와 정의된 접촉 감도를 비교하여 두 객체의 접촉 여부를 판단하는 동작이다.
본 발명에 의하면 2차원 영상에서 검출되는 객체들 간의 카메라에 대한 상대적 거리를 예측하고, 예측된 상대적 거리에 기초하여 객체들간의 접촉 여부를 판단할 수 있다.
도 1은 본 발명의 일 양상에 따른 접촉 감지 장치의 블록도이다.
도 2는 본 발명의 일 양상에 따른 접촉 감지 장치의 접촉 감지 결과의 예를 도시한 것이다.
도 3은 본 발명의 일 양상에 따른 장치가 점촉을 감지하는 절차를 도시한 것이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.
도 1은 본 발명의 일 양상에 따른 접촉 감지 장치의 블록도이다. 본 발명의 일 양상에 따르는 접촉 감지 장치(10)는 프로세서와, 프로세서와 연결되고 프로세서에 의해 실행 가능한 프로그램 명령어들을 포함하는 메모리를 포함하는 장치이며, 메모리에서 저장되어 프로세서에서 실행되는 명령어들은 객체 검출 동작과, 표준 크기 획득 동작과, 크기 정보 산출 동작과, 상대적 거리 산출 동작과, 유사도 산출 동작과, 접촉 감지 판단 동작을 포함한다.
접촉 감지 장치(10)는 프로세서와, 메모리 외에 추가적으로 저장 장치, 디스플레이, 입력 장치 등을 더 포함하는 컴퓨터 장치일 수 있다. 프로세서는 상대적 거리를 예측하고 접촉을 감지하는 방법을 구현하는 프로그램 명령어들을 실행하는 프로세서이고, 메모리는 프로세서와 연결되고 프로세서에 의해 실행 가능한 프로그램 명령어들과 프로세서가 연산에 사용할 데이터와 프로세서에 의해 처리된 데이터 등을 저장한다.
객체 검출 동작은 도 1에 도시된 객체 검출부(11)의 기능을 구현하는 프로그램 명령어들이 프로세서에서 실행될 때 수행되는 동작이다. 객체 검출 동작은 카메라에 의해 촬영되어 입력된 영상에서 적어도 둘 이상의 객체를 검출하여 객체의 명칭과 객체의 좌표 정보를 출력하는 동작이다. 객체 검출 동작은 입력된 영상에 등장하는 여러 객체를 각각 경계상자로 구분하여 검출한 후 각각의 객체를 분류하고 영상 내에서의 해당 객체를 둘러싸는 경계상자의 좌표 정보와 분류된 객체의 명칭을 출력한다. 객체 검출 동작에 의한 검출된 결과는 접촉 감지 장치(10)의 디스플레이를 통해서도 출력될 수 있다. 객체 검출 동작은 영상의 검출된 객체를 경계상자로 둘러싸고 경계상자 주변에 객체 명칭과 좌표를 표시할 수 있다.
발명의 양상에 따라서는 객체 검출 동작은 딥러닝 모델을 이용하여 영상에서 객체를 검출할 수 있다. 딥러닝 모델은 영상 데이터에서 객체를 검출하여 해당 객체를 경계상자로 구분하여 표시하고, 검출된 객체의 종류 즉, 객체의 명칭을 분류하도록 학습된 모델이다. 딥러닝 모델의 학습을 위하여 사용되는 데이터 셋은 제한이 없으나 마이크로소프트사의 COCO 데이터 셋을 이용할 수 있다. 이 데이터 셋은 총 80개의 객체로 분류되며 20만개의 레이블이 지정된 이미지 데이터로 구성되어 있다.
객체 검출(Object Detection)은 영상 또는 이미지 데이터에서 객체를 배경과 구분하여 식별하는 컴퓨터 비전 기술의 하나이며, 딥러닝을 활용할 수 있다. 딥러닝을 활용하는 객체 검출 알고리즘은 단일 단계 방식 알고리즘과 이단계 방식 알고리즘으로 구분할 수 있다.
본 발명의 또 다른 양상에 따르면, 객체를 검출하는데 사용되는 딥러닝 모델은 YOLO 모델, SSD 모델, RetinaNet 모델 등을 포함하는 단일 단계 방식 알고리즘을 사용할 수 있다. 단일 단계 방식 알고리즘은 속도 측면에서는 이단계 방식 알고리즘보다 좋은 성능을 낸다.
YOLO 모델, SSD 모델, RetinaNet 모델은 공지된 기술로 간단하게 설명한다.
YOLO(You Only Look Once) 모델은 객체 검출 분야에서 가장 대중적으로 사용되는 실시간 객체 검출 모델이다. YOLO 모델은 카메라 영상에서 각 개체의 절대적인 크기와 위치를 좌표의 형태로 추출한다. YOLO 모델은 카메라 영상에서 2차원 이미지 데이터를 입력 받아 컨볼루션 계층(Convolution Layer)을 이용하여 객체의 절대적인 크기와 위치를 좌표의 형태로 추출하고 객체의 종류를 판별할 수 있다. 일반적으로 YOLO는 다수의 컨볼루션 계층과 완전 연결층(Fully Connected Layer)으로 구성되어 이미지의 특징을 추출한다. 완전 연결층은 추출된 결과로부터 객체의 위치와 종류를 판별한다.
SSD(Single Shot Multibox Detector) 모델은 VGG-16을 백본으로 사용하되 일부 컨볼루션 계층만 사용하여 특징을 추출하며 추출된 특징은 여러 보조 검출기들을 거치며 객체 검출을 수행한다. YOLO는 최종 특징맵에만 경계상자와 분류 정보가 있는데 비해 SSD는 여러 히든 레이어에 정보가 분산되어 있다. SSD는 크기가 다른 특징맵에 해당하는 레이어가 6개 있으며 큰 특징맵은 작은 객체를 검출하고 작은 특징맵은 큰 객체를 검출할 수 있다. SSD는 한 개의 객체에 대하여 다양한 크기의 경계상자를 이용하여 예측하는 알고리즘이다.
RetinaNet 모델은 크로스 엔트로피 손실함수에서 변형된 초점 손실(Focal loss) 함수를 사용한다. RetinaNet 모델은 ResNet을 백본으로 사용하며, FPN(Feature Pyramid Networks)을 적용한다. 백본 네트워크인 ResNet은 입력된 전체 이미지에 대해서 특징맵을 계산하는 역할을 수행한다. RetinaNet 모델은 두 개의 서브네트워크를 포함하며, 첫번째 서브네트워크는 ResNet의 결과에서 객체 분류를 수행하며, 두번째 서브네트워크는 경계상자 회귀(bounding box regression)를 수행한다.
본 발명의 또 다른 양상에 따르면, 객체를 검출하는데 사용되는 딥러닝 모델은 Faster R-CNN 모델, R-FCN 모델 등을 포함하는 이단계 방식 알고리즘을 사용할 수 있다. 이단계 방식 알고리즘은 정확도 측면에서는 단일 단계 방식 알고리즘보다 좋은 성능을 낸다.
Faster R-CNN 모델, R-FCN 모델, FPN-FRCN 모델은 공지된 기술로 간단하게 설명한다.
Faster R-CNN 모델은 후보 영역 추출을 위해 사용되는 선택적 검색(Selective Search) 알고리즘으로 인해 발생하는 병목현상을 해결하고자 후보 영역 추출 작업을 수행하는 RPN(Region Proposal Network)을 추가한 구조이다. Faster R-CNN은 RPN과 Fast R-CNN이 합쳐진 모델이다. Faster R-CNN 모델은 원본 이미지를 사전 학습된 CNN 모델에 입력하여 특징 맵을 얻고, 특징 맵을 RPN에 전달되어 적절한 후보 영역을 산출(region proposals)한다. 후보 영역 산출 과정과 CNN 모델을 통해 얻은 특징 맵에 대하여 RoI 풀링(Pooling)을 수행하여 고정된 크기의 특징 맵을 얻은 후 Fast R-CNN 모델에 고정된 크기의 특징 맵을 입력하여 객체 분류와 경계상자 예측을 수행한다.
R-FCN 모델은 RPN을 통해 추출한 관심 영역(RoI)끼리 연산을 공유하며 위치에 대한 정보를 포함하는 특징 맵을 사용하는 구조를 갖는다. R-FCN 모델은 Faster R-CNN 모델에서 RPN 이후 단계의 서브 네트워크를 FCN(Fully Convolutional Network)으로 수정하여 사용한다.
표준 크기 획득 동작은 도 1에 도시된 표준 크기 획득부(12)의 기능을 구현하는 프로그램 명령어들이 프로세서에서 실행될 때 수행되는 동작이다. 표준 크기 획득 동작은 입력된 영상에서 검출된 객체 각각에 대하여 정의된 표준 크기 정보를 획득하는 동작이다. 객체의 표준 크기는 사전 정의된 객체 표준 크기 정보를 참조하여 획득할 수 있다. 아래 <표 1>에 정의된 표준 크기의 예시가 나타나 있다.
No Object Name Width Height
1 person 40 170
2 bicycle 172 101
3 car 186.5 147
4 motorbike 185 108
5 aeroplane 6090 6270
6 bus 350 1100
7 train 38810 290
8 boat 200 500
9 traffic light 1420 355
10 fire hydrant 650 1200
11 stop sign 90 90
12 parking meter 400 1400
… … … …
79 hair drier 28 25.5
80 toothbrush 1.5 18.5
Object Name은 객체의 명칭이며, width는 객체의 외곽을 사각형으로 표현할 때 가로의 크기, Height는 객체의 높이이다.
<표 1>의 객체 별 크기는 각 객체의 평균값으로 구성한다. <표 1>은 사용 목적 및 객체의 세부 분류에 따라 다양한 크기로 확장될 수 있다. 영상 내의 객체 방향에 따라 다양한 크기를 가지는 객체인 경우는 방향에 따라 별도의 이미지 학습과 크기 세분화가 이루어져야 할 수 있다.
<표 1>에 정의된 객체의 크기는 영상 해상도에 따라 다르게 정의될 수 있으며, 위 표에서는 사람의 표준 크기는 40 x 170으로 정의되어 있다.
접촉 감지 장치(10)에는 <표 1>과 같은 형태 데이터가 테이블 형태의 자료 구조로 사전에 정의되어 저장되어 있다.
따라서, 표준 크기 획득부(12) 즉, 표준 크기 동작이 수행되며 영상에서 검출된 객체가 사람인 경우 그 표준 크기를 40 x 170으로 획득한다.
크기 정보 산출 동작은 도 1에 도시된 크기 정보 산출부(13)의 기능을 구현하는 프로그램 명령어들이 프로세서에서 실행될 때 수행되는 동작이다. 크기 정보 산출 동작은 검출된 객체 각각의 좌표 정보로부터 영상 내에서의 객체의 크기 정보를 산출하는 동작이다. 검출된 객체의 좌표 정보는 경계상자에 대한 정보이다. 따라서, 해당 정보는 경계상자의 좌측 상단 꼭지점과 우측 하단 꼭지점의 좌표 정보 또는 경계상자의 우측 상단 꼭지점과 좌측 하단 꼭지점의 좌표 정보일 수 있다. 이때 좌표 정보는 영상에 대하여 정의된 좌표계에 따라 다르며, 일 예로 이미지의 좌측 하단 모서리의 좌표를 (0, 0)으로 하는 좌표계라면 해당 픽셀로부터 얼마만큼 픽셀이 떨어져 있는지에 대한 정보가 좌표가 되므로 좌측 하단 모서리로부터 수평 방향으로 5 픽셀 우측에 위치하는 지점은 (5, 0)이 된다.
크기 정보 산출 동작에서 산출되는 객체의 크기 정보는 검출된 객체의 좌표 정보 즉, 경계상자의 두 개의 좌표에서 x좌표의 차이의 절대값은 가로 크기이고 y좌표의 차이의 절대값은 세로 크기가 된다.
상대적 거리 산출 동작은 도 1에 도시된 상대적 거리 산출부(14)의 기능을 구현하는 프로그램 명령어들이 프로세서에서 실행될 때 수행되는 동작이다. 상대적 거리 산출 동작은 검출된 객체 각각에 대하여 객체의 표준 크기 정보와 영상 내에서의 객체의 크기 정보의 비율에 기초하여 카메라와 객체간의 상대적 거리를 산출하는 동작이다. 상대적 거리는 <수학식 1>의 공식을 이용하여 산출한다.
Figure pat00001
Distance는 상대적 거리, ObjectSizeX는 객체의 가로 크기, ObjectSizeY는 객체의 세로 크기, RealSizeX는 객체의 표준 가로 크기, RealSizeY는 객체의 표준 세로 크기이다.
Distance 값이 클수록 카메라와 객체간 거리가 가까우며, 작을수록 먼 것을 의미한다.
유사도 산출 동작은 도 1에 도시된 유사도 산출부(15)의 기능을 구현하는 프로그램 명령어들이 프로세서에서 실행될 때 수행되는 동작이다. 유사도 산출 동작은 검출된 객체에서 선택된 두 객체에 대한 각각의 상대적 거리에 기초하여 상대적 거리의 유사도를 산출하는 동작이다. 객체의 상대적 거리가 같은 경우에만 두 객체가 접촉하는 것으로 판단하며 각 객체의 두께 값을 완전히 무시하는 것이 되므로 접촉 감지 장치(10)는 두 객체의 상대적 거리의 비율을 구하고 해당 비율이 일정한 유사도를 보이는 경우 접촉되는 것으로 판단하기 위함이다. 상대적 거리의 유사도는 <수학식 2>의 공식을 이용하여 산출한다.
Figure pat00002
DistanceA는 객체 A의 상대적 거리이고, DistanceB는 객체 B의 상대적 거리이다.
상대적 거리의 유사도는 두 객체 간 거리가 가까울수록 0에 가까운 값을 가지며, 멀어지면 큰 값을 가진다.
접촉 감지 판단 동작은 도 1에 도시된 접촉 판단부(16)의 기능을 구현하는 프로그램 명령어들이 프로세서에서 실행될 때 수행되는 동작이다. 접촉 감지 판단 동작은 두 객체에 대하여 산출된 상대적 거리의 유사도와 정의된 접촉 감도(Contact Sensitivity Ratio, CSR)를 비교하여 두 객체의 접촉 여부를 판단하는 동작이다. 접촉 감도는 정의된 일정 유사도이다. 따라서, <수학식 3>의 공식과 같이 객체의 상대적 거리로부터 계산된 유사도가 접촉 감도보다 작은 경우에 두 객체가 접촉한 것으로 판단한다.
Figure pat00003
DistanceA는 객체 A의 상대적 거리이고, DistanceB는 객체 B의 상대적 거리이며, CSR은 정의된 접촉 감도이다.
접촉 감도는 카메라와 객체 간의 거리와, 카메라 렌즈에 따라 발생되는 왜곡을 반영하여 보정될 수 있다. 접촉 감도는 카메라 렌즈의 특성과 객체의 크기 변화에 따라 변화하여야 하므로 왜곡 보정이 필요하다.
객체의 크기 변화가 카메라와 객체 간 거리 변화에 따라 비례적으로 변화하는 경우 접촉 감도는 고정된 값을 가져야 한다. 하지만, 일반적으로 CCTV 등에 사용되는 카레라 렌즈의 경우 넓은 화각을 확보하기 위하여 광각 렌즈를 사용하거나 별도의 접사용 렌즈를 보완하여 사용하므로 카메라와 객체 간 거리 변화보다 객체의 크기 변화가 더 크게 왜곡될 수 있다. 이러한 왜곡은 특히 가까운 객체는 보다 크게 촬영되고 멀리 떨어져 있는 객체는 보다 작게 촬영되거나, 반대의 현상이 일어날 수 있다. 이러한 왜곡 현상은 광각의 형태에 따라 오목 일그러짐(pincushion distortion) 왜곡 또는 볼록 일그러짐(barrel distortion) 왜곡으로 나타난다. 이러한 왜곡으로 인하여 객체의 상대적 거리 예측에 상당한 오차가 발생할 수 있다. 일반적으로 CCTV에서 광각을 사용하면 객체가 카메라에 근접 시 크기가 예상보다 확대되는 경우가 많다. 따라서, 큰 물체일수록 접촉 감도의 값을 크게 하여 접촉을 보다 예민하게 감지하도록 해주고 작은 물체일수록 접촉 감도의 값을 작게 하여 정밀하게 감지하는 방법으로 보완되어야 한다. 따라서 접촉 감도 는 거리에 따른 2차원 함수 곡선과 같은 형태로 나타나며, 곡선의 형태는 렌즈와 카메라의 형태에 따라 다양하게 존재할 수 있다. 따라서 접촉 감도를 보정하는 공식은 <수학식 4>, <수학식 5>와 같다.
Figure pat00004
α는 카메라 렌즈에 따라 근접 객체의 크기가 커지는 비율로 렌즈의 특성에 따라 실측되는 값이며, β는 초기 설정값으로 반복적인 테스트를 통해 결정되는 값이며, OOR은 객체의 화면 점유 비율로 <수학식 5>에 의해 계산되는 값이다.
Figure pat00005
ScreenWidth x ScreenHeight는 카메라 영상의 해상도에 따른 전체 면적이며, ObjectWidth x ObjectHeight는 화면에서 차지하는 객체의 면적이다.
일 예로, 일반적인 CCTV에서 가장 작은 객체의 OOR 값을 5%, 최근접 객체의 OOR 값을 30%라고 가정할 때 α의 값은 0.25, β는 0.05로 설정할 수 있다.
도 2는 본 발명의 일 양상에 따른 접촉 감지 장치의 접촉 감지 결과의 예를 도시한 것이다. 본 발명의 추가적 양상에 따르면, 접촉 감지 장치(10)의 프로세서에서 실행되는 명령어들은 접촉 표시 동작을 더 포함할 수 있다.
접촉 표시 동작은 도 1에 도시된 접촉 표시부(17)의 기능을 구현하는 프로그램 명령어들이 프로세서에서 실행될 때 수행되는 동작이다. 접촉 표시 동작은 접촉으로 판단된 두 객체에 대한 경계상자의 색을 접촉되지 않는 객체의 경계상자의 색과 구분하여 표시할 수 있다. 객체 검출 동작에서 표시된 경계상자 중 접촉으로 판단된 두 객체에 대한 경계상자의 색을 다른 경계상자의 색과 구분하여 표시하여 화면 상으로 접촉된 객체들을 인식할 수 있도록 한다.
도 2에서 빨간색으로 표시된 경계상자 안의 객체들이 접촉으로 판단된 객체이므로 자전거와 자전거에 탑승한 사람이 접촉한 것으로 판단된 것을 알 수 있다.
도 3은 본 발명의 일 양상에 따른 장치가 점촉을 감지하는 절차를 도시한 것이다. 본 발명의 일 양상에 따르는 장치의 접촉 감지 방법은 객체 검출 단계와, 표준 크기 획득 단계와, 크기 정보 산출 단계와, 상대적 거리 산출 단계와, 유사도 산출 단계와, 접촉 감지 판단 단계를 포함한다.
객체 검출 단계는 카메라에 의해 촬영되어 입력된 영상에서 적어도 둘 이상의 객체를 검출하여 객체의 명칭과 객체의 좌표 정보를 출력하는 단계이다(S1000). 객체 검출 단계는 입력된 영상에 등장하는 여러 객체를 각각 경계상자로 구분하여 검출한 후 각각의 객체를 분류하고 영상 내에서의 해당 객체를 둘러싸는 경계상자의 좌표 정보와 분류된 객체의 명칭을 출력한다. 객체 검출 단계에 의한 검출된 결과는 접촉 감지 장치(10)의 디스플레이를 통해서도 출력될 수 있다. 접촉 감지 장치(10)는 객체 검출 단계에서 영상의 검출된 객체를 경계상자로 둘러싸고 경계상자 주변에 객체 명칭과 좌표를 표시할 수 있다.
발명의 양상에 따라서는 객체 검출 단계는 딥러닝 모델을 이용하여 영상에서 객체를 검출할 수 있다. 딥러닝 모델은 영상 데이터에서 객체를 검출하여 해당 객체를 경계상자로 구분하여 표시하고, 검출된 객체의 종류 즉, 객체의 명칭을 분류하도록 학습된 모델이다. 딥러닝 모델의 학습을 위하여 사용되는 데이터 셋은 제한이 없으나 마이크로소프트사의 COCO 데이터 셋을 이용할 수 있다. 이 데이터 셋은 총 80개의 객체로 분류되며 20만개의 레이블이 지정된 이미지 데이터로 구성되어 있다.
객체 검출(Object Detection)은 영상 또는 이미지 데이터에서 객체를 배경과 구분하여 식별하는 컴퓨터 비전 기술의 하나이며, 딥러닝을 활용할 수 있다. 딥러닝을 활용하는 객체 검출 알고리즘은 단일 단계 방식 알고리즘과 이단계 방식 알고리즘으로 구분할 수 있다.
본 발명의 또 다른 양상에 따르면, 객체를 검출하는데 사용되는 딥러닝 모델은 YOLO 모델, SSD 모델, RetinaNet 모델 등을 포함하는 단일 단계 방식 알고리즘을 사용할 수 있다. 단일 단계 방식 알고리즘은 속도 측면에서는 이단계 방식 알고리즘보다 좋은 성능을 낸다.
본 발명의 또 다른 양상에 따르면, 객체를 검출하는데 사용되는 딥러닝 모델은 Faster R-CNN 모델, R-FCN 모델 등을 포함하는 이단계 방식 알고리즘을 사용할 수 있다. 이단계 방식 알고리즘은 정확도 측면에서는 단일 단계 방식 알고리즘보다 좋은 성능을 낸다.
표준 크기 획득 단계는 입력된 영상에서 검출된 객체 각각에 대하여 정의된 표준 크기 정보를 획득하는 단계이다(S1020). 객체의 표준 크기는 사전 정의된 객체 표준 크기 정보를 참조하여 획득할 수 있다. <표 1>에 정의된 표준 크기의 예시가 나타나 있다.
따라서, 표준 크기 획득 단계가 수행되며 영상에서 검출된 객체가 사람인 경우 그 표준 크기를 40 x 170으로 획득한다.
크기 정보 산출 단계는 검출된 객체 각각의 좌표 정보로부터 영상 내에서의 객체의 크기 정보를 산출하는 단계이다(S1040). 검출된 객체의 좌표 정보는 경계상자에 대한 정보이다. 따라서, 해당 정보는 경계상자의 좌측 상단 꼭지점과 우측 하단 꼭지점의 좌표 정보 또는 경계상자의 우측 상단 꼭지점과 좌측 하단 꼭지점의 좌표 정보일 수 있다. 이때 좌표 정보는 영상에 대하여 정의된 좌표계에 따라 다르며, 일 예로 이미지의 좌측 하단 모서리의 좌표를 (0, 0)으로 하는 좌표계라면 해당 픽셀로부터 얼마만큼 픽셀이 떨어져 있는지에 대한 정보가 좌표가 되므로 좌측 하단 모서리로부터 수평 방향으로 5 픽셀 우측에 위치하는 지점은 (5, 0)이 된다.
크기 정보 산출 동작에서 산출되는 객체의 크기 정보는 검출된 객체의 좌표 정보 즉, 경계상자의 두 개의 좌표에서 x좌표의 차이의 절대값은 가로 크기이고 y좌표의 차이의 절대값은 세로 크기가 된다.
상대적 거리 산출 단계는 검출된 객체 각각에 대하여 객체의 표준 크기 정보와 영상 내에서의 객체의 크기 정보의 비율에 기초하여 카메라와 객체간의 상대적 거리를 산출하는 단계이다(S1060). 상대적 거리는 <수학식 1>을 이용하여 산출한다.
상대적 거리는 클수록 카메라와 객체간 거리가 가까우며, 작을수록 먼 것을 의미한다.
유사도 산출 단계는 검출된 객체에서 선택된 두 객체에 대한 각각의 상대적 거리에 기초하여 상대적 거리의 유사도를 산출하는 단계이다(S1080). 객체의 상대적 거리가 같은 경우에만 두 객체가 접촉하는 것으로 판단하며 각 객체의 두께 값을 완전히 무시하는 것이 되므로 접촉 감지 장치(10)는 두 객체의 상대적 거리의 비율을 구하고 해당 비율이 일정한 유사도를 보이는 경우 접촉되는 것으로 판단하기 위함이다. 상대적 거리의 유사도는 <수학식 2>의 공식을 이용하여 산출한다.
상대적 거리의 유사도는 두 객체 간 거리가 가까울수록 0에 가까운 값을 가지며, 멀어지면 큰 값을 가진다.
접촉 감지 판단 단계는 두 객체에 대하여 산출된 상대적 거리의 유사도와 정의된 접촉 감도를 비교하여 두 객체의 접촉 여부를 판단하는 단계이다(S1100). 접촉 감도는 정의된 일정 유사도이다. 따라서, <수학식 3>의 공식과 같이 객체의 상대적 거리로부터 계산된 유사도가 접촉 감도보다 작은 경우에 두 객체가 접촉한 것으로 판단한다.
접촉 감도는 카메라와 객체 간의 거리와, 카메라 렌즈에 따라 발생되는 왜곡을 반영하여 보정될 수 있다. 접촉 감도는 카메라 렌즈의 특성과 객체의 크기 변화에 따라 변화하여야 하므로 왜곡 보정이 필요하다.
객체의 크기 변화가 카메라와 객체 간 거리 변화에 따라 비례적으로 변화하는 경우 접촉 감도는 고정된 값을 가져야 한다. 하지만, 일반적으로 CCTV 등에 사용되는 카레라 렌즈의 경우 넓은 화각을 확보하기 위하여 광각 렌즈를 사용하거나 별도의 접사용 렌즈를 보완하여 사용하므로 카메라와 객체 간 거리 변화보다 객체의 크기 변화가 더 크게 왜곡될 수 있다. 이러한 왜곡은 특히 가까운 객체는 보다 크게 촬영되고 멀리 떨어져 있는 객체는 보다 작게 촬영되거나, 반대의 현상이 일어날 수 있다. 이러한 왜곡 현상은 광각의 형태에 따라 오목 일그러짐(pincushion distortion) 왜곡 또는 볼록 일그러짐(barrel distortion) 왜곡으로 나타난다. 이러한 왜곡으로 인하여 객체의 상대적 거리 예측에 상당한 오차가 발생할 수 있다. 일반적으로 CCTV에서 광각을 사용하면 객체가 카메라에 근접 시 크기가 예상보다 확대되는 경우가 많다. 따라서, 큰 물체일수록 접촉 감도의 값을 크게 하여 접촉을 보다 예민하게 감지하도록 해주고 작은 물체일수록 접촉 감도의 값을 작게 하여 정밀하게 감지하는 방법으로 보완되어야 한다. 따라서 접촉 감도 는 거리에 따른 2차원 함수 곡선과 같은 형태로 나타나며, 곡선의 형태는 렌즈와 카메라의 형태에 따라 다양하게 존재할 수 있다. 따라서 접촉 감도를 보정하는 공식은 <수학식 4>, <수학식 5>와 같다.
일 예로, 일반적인 CCTV에서 가장 작은 객체의 OOR 값을 5%, 최근접 객체의 OOR 값을 30%라고 가정할 때 α의 값은 0.25, β는 0.05로 설정할 수 있다.
본 발명의 추가적 양상에 따르면, 접촉 감지 방법은 접촉 표시 단계를 더 포함할 수 있다.
접촉 표시 단계는 접촉으로 판단된 두 객체에 대한 경계상자의 색을 접촉되지 않는 객체의 경계상자의 색과 구분하여 표시하는 단계이다(S1120). 접촉 표시 단계는 객체 검출 단계에서 표시된 경계상자 중 접촉으로 판단된 두 객체에 대한 경계상자의 색을 다른 경계상자의 색과 구분하여 표시하여 화면 상으로 접촉된 객체들을 인식할 수 있도록 한다.
도 2에서 빨간색으로 표시된 경계상자 안의 객체들이 접촉으로 판단된 객체이므로 자전거와 자전거에 탑승한 사람이 접촉한 것으로 판단된 것을 알 수 있다.
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.
10 : 접촉 감지 장치
11 : 객체 검출부
12 : 표준 크기 획득부
13 : 크기 정보 산출부
14 : 상대적 거리 산출부
15 : 유사도 산출부
16 : 접촉 판단부
17 : 접촉 표시부

Claims (12)

  1. 프로세서; 및
    상기 프로세서와 연결되고 상기 프로세서에 의해 실행 가능한 프로그램 명령어들을 포함하는 메모리;
    를 포함하고,
    상기 명령어들이 상기 프로세서에서 실행되어 상기 프로세서가 수행하는 동작은 :
    카메라에 의해 촬영된 영상에서 적어도 둘 이상의 객체를 검출하여 객체의 명칭과 객체의 좌표 정보를 출력하는 객체 검출 동작과,
    검출된 객체 각각에 대하여 정의된 객체 표준 크기 정보를 참조하여 객체의 표준 크기 정보를 획득하는 표준 크기 획득 동작과,
    검출된 객체 각각의 좌표 정보로부터 영상 내에서의 객체의 크기 정보를 산출하는 크기 정보 산출 동작과,
    검출된 객체 각각에 대하여 객체의 표준 크기 정보와 영상 내에서의 객체의 크기 정보의 비율에 기초하여 카메라와 객체간의 상대적 거리를 산출하는 상대적 거리 산출 동작과,
    검출된 객체에서 선택된 두 객체에 대한 각각의 상대적 거리에 기초하여 상대적 거리의 유사도를 산출하는 유사도 산출 동작과,
    두 객체에 대하여 산출된 상대적 거리의 유사도와 정의된 접촉 감도를 비교하여 두 객체의 접촉 여부를 판단하는 접촉 감지 판단 동작을 포함하는 상대적 거리 예측을 이용한 접촉 감지 장치.
  2. 제 1 항에 있어서,
    접촉 감도는 카메라와 객체 간의 거리와, 카메라 렌즈에 따라 발생되는 왜곡을 반영하여 보정되는 상대적 거리 예측을 이용한 접촉 감지 장치.
  3. 제 1 항에 있어서,
    접촉으로 판단된 두 객체에 대한 경계상자의 색을 접촉되지 않는 객체의 경계상자의 색과 구분하여 표시하는 접촉 표시 동작을 더 포함하는 상대적 거리 예측을 이용한 접촉 감지 장치.
  4. 제 1 항에 있어서,
    객체 검출 동작은 딥러닝 모델을 이용하여 영상에서 객체를 검출하는 상대적 거리 예측을 이용한 접촉 감지 장치.
  5. 제 4 항에 있어서,
    딥러닝 모델은 단일 단계 방식 알고리즘을 사용하는 딥러닝 모델인 상대적 거리 예측을 이용한 접촉 감지 장치.
  6. 제 4 항에 있어서,
    딥러닝 모델은 이단계 방식 알고리즘을 사용하는 딥러닝 모델인 상대적 거리 예측 장치.
  7. 카메라에 의해 촬영된 영상에서 적어도 둘 이상의 객체를 검출하여 객체의 명칭과 객체의 좌표 정보를 출력하는 객체 검출 단계;
    검출된 객체 각각에 대하여 정의된 객체 표준 크기 정보를 참조하여 객체의 표준 크기 정보를 획득하는 표준 크기 획득 단계;
    검출된 객체 각각의 좌표 정보로부터 영상 내에서의 객체의 크기 정보를 산출하는 크기 정보 산출 단계;
    검출된 객체 각각에 대하여 객체의 표준 크기 정보와 영상 내에서의 객체의 크기 정보의 비율에 기초하여 카메라와 객체간의 상대적 거리를 산출하는 상대적 거리 산출 단계;
    검출된 객체에서 선택된 두 객체에 대한 각각의 상대적 거리에 기초하여 상대적 거리의 유사도를 산출하는 유사도 산출 단계;
    두 객체에 대하여 산출된 상대적 거리의 유사도와 정의된 접촉 감도를 비교하여 두 객체의 접촉 여부를 판단하는 접촉 감지 판단 단계;
    를 포함하는 상대적 거리 예측을 이용한 접촉 감지 방법.
  8. 제 7 항에 있어서,
    접촉 감도는 카메라와 객체 간의 거리와, 카메라 렌즈에 따라 발생되는 왜곡을 반영하여 보정되는 상대적 거리 예측을 이용한 접촉 감지 방법.
  9. 제 7 항에 있어서,
    접촉으로 판단된 두 객체에 대한 경계상자의 색을 접촉되지 않는 객체의 경계상자의 색과 구분하여 표시하는 접촉 표시 단계;
    를 더 포함하는 상대적 거리 예측을 이용한 접촉 감지 장치.
  10. 제 7 항에 있어서,
    객체 검출 단계는 딥러닝 모델을 이용하여 영상에서 객체를 검출하는 상대적 거리 예측을 이용한 접촉 감지 방법.
  11. 제 10 항에 있어서,
    딥러닝 모델은 단일 단계 방식 알고리즘을 사용하는 딥러닝 모델인 상대적 거리 예측을 이용한 접촉 감지 방법.
  12. 제 10 항에 있어서,
    딥러닝 모델은 이단계 방식 알고리즘을 사용하는 딥러닝 모델인 상대적 거리 예측 방법.
KR1020210193989A 2021-11-24 2021-12-31 딥러닝 기반의 상대적 거리 예측을 이용한 접촉 감지 장치 및 방법 KR20230076703A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210162887 2021-11-24
KR20210162887 2021-11-24

Publications (1)

Publication Number Publication Date
KR20230076703A true KR20230076703A (ko) 2023-05-31

Family

ID=86543281

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210193989A KR20230076703A (ko) 2021-11-24 2021-12-31 딥러닝 기반의 상대적 거리 예측을 이용한 접촉 감지 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20230076703A (ko)

Similar Documents

Publication Publication Date Title
CN109034047B (zh) 一种车道线检测方法及装置
Hu et al. Moving object detection and tracking from video captured by moving camera
JP6144656B2 (ja) 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法
US5554983A (en) Object recognition system and abnormality detection system using image processing
RU2484531C2 (ru) Устройство обработки видеоинформации системы охранной сигнализации
JP4919036B2 (ja) 移動物体認識装置
JP5297078B2 (ja) 車両の死角における移動物体を検知するための方法、および死角検知装置
JP6650657B2 (ja) フィンガープリントを使用してビデオ内で移動オブジェクトを追跡するため方法及びシステム
JP5136504B2 (ja) 物体識別装置
Khalifa et al. Pedestrian detection using a moving camera: A novel framework for foreground detection
KR101903127B1 (ko) 시선방향 예측 방법 및 장치
JP2014071902A5 (ko)
JP6021689B2 (ja) 車両諸元計測処理装置、車両諸元計測方法及びプログラム
CN108645375B (zh) 一种用于车载双目系统快速车辆测距优化方法
JP6095817B1 (ja) 物体検出装置
KR101704830B1 (ko) 영상에서 물체 검출 장치 및 방법
US20170053172A1 (en) Image processing apparatus, and image processing method
CN112699748B (zh) 基于yolo及rgb图像的人车距离估计方法
WO2011099072A1 (ja) パターン識別装置
Bisht et al. Integration of hough transform and inter-frame clustering for road lane detection and tracking
KR101931220B1 (ko) 인체 부위 측정 장치 및 방법
JP6028972B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Khaliluzzaman et al. Zebra-crossing detection based on geometric feature and vertical vanishing point
US20220129685A1 (en) System and Method for Determining Object Characteristics in Real-time
KR20230076703A (ko) 딥러닝 기반의 상대적 거리 예측을 이용한 접촉 감지 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal