KR102610353B1

KR102610353B1 - 깊이 영상으로부터 객체 검출 방법 및 장치

Info

Publication number: KR102610353B1
Application number: KR1020210131371A
Authority: KR
Inventors: 정진우; 김성제; 이승호; 김명균; 홍민수
Original assignee: 한국전자기술연구원
Priority date: 2021-10-05
Filing date: 2021-10-05
Publication date: 2023-12-06
Also published as: KR20230048658A

Abstract

깊이 영상으로부터 객체 검출 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 객체 검출 장치는, 깊이 영상을 개선하여 출력하는 개선부, 개선부에서 출력되는 깊이 영상으로부터 RGB 영상을 생성하는 생성부, 개선부에서 출력되는 깊이 영상과 생성부에서 생성된 RGB 영상으로부터 객체를 검출하는 검출부를 포함한다. 이에 의해, 깊이 영상만으로 객체를 검출함으로써, RGB 카메라 사용이 어려운 환경에서도 객체 검출을 가능하게 되고, RGB 영상을 사용하지 않아 개인 정보 보호를 가능하게 한다.

Description

깊이 영상으로부터 객체 검출 방법 및 장치{Method and device for detecting objects from depth images}

본 발명은 객체 검출 방법에 관한 것으로, 더욱 상세하게는 딥러닝 기법을 이용하여 깊이 영상에서 RGB 중간 영상을 생성하고 이로부터 객체를 검출하는 방법에 관한 것이다.

1) 객체 검출 기술

객체 검출(object detection)은 컴퓨터 비전과 이미지 처리와 관련된 컴퓨터 기술로서, 디지털 이미지와 비디오로 특정한 계열의 시맨틱 객체 인스턴스(예: 인간, 건물, 자동차)를 감지하는 일을 다룬다. 잘 알려진 객체 탐지 분야로는 얼굴 검출, 보행자 검출이 포함된다. 객체 탐지는 영상 복구, 비디오 감시를 포함한 수많은 컴퓨터 비전 분야에 응용되고 있다. 도 1에는 객체 검출 결과가 예시되어 있다.

2) 종래 객체 검출 기술

객체 탐지를 위한 방식은 일반적으로 기계 학습 기반 접근 또는 딥 러닝 기반 접근으로 분류된다. 기계 학습 접근의 경우 우선 아래의 방식들 가운데 하나를 사용하여 정의한 다음 서포트 벡터 머신(SVM) 등의 기법을 사용하여 분류하는 일이 필요하다. 한편, 딥 러닝 기법은 기능을 구체적으로 정의하지 않고서도 단대단 객체 탐지를 할 수 있으며 합성곱 신경망(CNN)에 기반을 두는 것이 보통이다.

종래는 기계 학습 기반 접근이든 딥러닝 기반 접근이든 주로 RGB 영상 신호에서 객체 검출을 수행하였다. 더불어 최근에는 RGB 영상과 깊이 영상을 동시에 고려한 RGBD 영상을 이용한 객체 검출 기술이 등장하였다.

3) 종래 기술 한계

종래 기술은 RGB가 포함한 영상에서 객체 검출을 수행한다. 그러나 RGB 영상을 이용한 객체 검출은 RGB 영상을 촬영하기 어려운 낮은 조도 상황이나 사생활 침해 문제 등으로 인한 문제로 인해 사용 환경이 제한되어진다. 깊이 영상을 이용하여 얼굴을 생성하는 기술 등은 있었으나 깊이 영상으로만 객체를 검출하려는 시도는 현재 전무하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, RGB 센서가 작동하기 어려운 환경 또는 개인 정보 보호가 요구되는 상황에서 깊이 영상만으로 객체를 검출하는 방법 및 장치를 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 검출 장치는, 깊이 영상을 개선하여 출력하는 개선부; 개선부에서 출력되는 깊이 영상으로부터 RGB 영상을 생성하는 생성부; 개선부에서 출력되는 깊이 영상과 생성부에서 생성된 RGB 영상으로부터 객체를 검출하는 검출부;를 포함한다.

개선부는, 깊이 영상에서 노이즈를 제거하는 제거부;를 포함할 수 있다. 그리고, 개선부는, 깊이 영상의 경계를 선명하게 개선하는 강화부;를 더 포함할 수 있다.

강화부는, 경계가 개성된 깊이 영상에서 객체 부분을 분할(segmentation) 할 수 있다. 강화부는, 분할된 영상에 대해, 동일한 깊이 값을 갖도록 변환 할 수 있다. 동일한 깊이 값은, 분할된 영상에 속한 샘플들의 평균 깊이 값일 수 있다.

개선부는, 분할된 영상 간의 깊이 차이를 늘려주는 늘림부;를 더 포함할 수 있다.

생성부는, 개선부에서 출력되는 깊이 영상을 입력으로 받아 RGB 영상을 생성하는 생성기; 생성기에서 생성된 RGB 영상과 원본 RGB 영상과 유사한지를 판별하는 분류기;를 포함할 수 있다.

검출부는, 개선부에서 출력되는 깊이 영상의 특징을 추출하는 제1 전처리 네트워크; 생성부에서 생성된 RGB 영상의 특징을 추출하는 제2 전처리 네트워크; 제1 전처리 네트워크와 제2 전처리 네트워크에서 추출된 특징을 합성하여, 객체 검출 네트워크부의 입력 형태로 변환하는 합성 네트워크; 합성 네트워크에서 변환된 특징을 입력받아 객체를 검출하는 객체 검출 네트워크부;를 포함할 수 있다.

본 발명의 다른 실시예에 따른, 객체 검출 방법은, 깊이 영상을 개선하는 단계; 개선된 깊이 영상으로부터 RGB 영상을 생성하는 단계; 개선된 깊이 영상과 생성된 RGB 영상으로부터 객체를 검출하는 단계;를 포함한다.

본 발명의 다른 실시예에 따른, 객체 검출 장치는, 깊이 영상을 개선하여 출력하는 개선부; 및 개선부에서 출력되는 깊이 영상으로부터 객체를 검출하는 검출부;를 포함한다.

본 발명의 다른 실시예에 따른, 객체 검출 방법은, 깊이 영상을 개선하는 단계; 및 개선된 깊이 영상으로부터 객체를 검출하는 단계;를 포함한다.

이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 깊이 영상만으로 객체를 검출함으로써, RGB 카메라 사용이 어려운 환경에서도 객체 검출을 가능하게 되고, RGB 영상을 사용하지 않아 개인 정보 보호를 가능하게 한다.

도 1. 객체 검출 기술의 예시
도 2. 객체 검출 장치의 블록도
도 3. 깊이 영상 개선부의 상세 블록도
도 4. 깊이 영상 분할 예시
도 5. GAN 기반 깊이 영상에서 RGB를 생성하는 네트워크
도 6. 객체 검출부의 상세 블록도
도 7. RGB-D 영상을 이용한 객체 검출 네트워크
도 8. 깊이 영상 기반 객체 검출의 간략화된 방법
도 9. 간략확된 방법의 객체 검출부 블록도
도 10. 깊이 영상 기반 객체 검출의 간략화된 네트워크

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

본 발명의 실시예에서는, 딥러닝 기법을 이용하여 깊이 영상으로부터 객체를 검출하는 방법들을 제시한다. 이는 종래의 RGB 또는 RGB-D(RGB-깊이 영상)의 입력에 기반한 객채 검출 기법과는 다르게 깊이(Depth) 영상만을 이용하여 객체 검출을 수행하는 기법이다.

도 2는 본 발명의 일 실시예에 따른 객체 검출 장치의 블록도이다. 본 발명의 실시예에 따른 객체 검출 장치는, 도시된 바와 같이, 깊이 영상 개선부(110), RGB 영상 생성부(120) 및 객체 검출부(130)를 포함하여 구성된다.

깊이 영상 개선부(110)는 깊이 영상을 개선하여 출력하고, RGB 영상 생성부(120)는 깊이 영상 개선부(110)에서 출력되는 깊이 영상으로부터 RGB 영상을 생성한다.

객체 검출부(130)는 깊이 영상 개선부(110)에서 출력되는 깊이 영상과 RGB 영상 생성부(120)에서 생성된 RGB 영상으로부터 객체를 검출한다.

도 3은, 도 2에 도시된 깊이 영상 개선부(110)의 상세 블록도이다. 깊이 영상 개선부(110)는 도 3에 도시된 바와 같이, 노이즈 제거부(111), 경계 강화부(112), 깊이 영상 늘림부(113)를 포함하여 구성된다.

노이즈 제거부(111)는 깊이 영상의 노이즈를 제거하는 부분으로, ToF와 같은 깊이 카메라에서 촬영되거나 또는 스테레오 카메라에서 생성된 깊이 영상의 노이즈를 제거한다. 깊이 영상의 노이즈를 제거하는 방법은 bilateral filtering, Non Local Mean 및 딥러닝 기반 방법 등 특정한 방법에 한정 되지 않는다.

경계 강화부(112)는 깊이 영상의 경계가 블러되어 있는 경우를 방지하기 위해 깊이 영상의 물체 경계를 선명하게 한다. 이를 위해 Total Variation 등의 기법을 사용하여 경계 부분을 선명하게 하도록 한다.

그 다음 경계 강화부(112)는 깊이 영상에서 객체를 분할(segmentation) 한다. 깊이 영상 분할은 딥러닝 기법 등을 사용할 수 있으며 특정 방법에 한정되지 않는다. 분할된 영상은 각각의 객체로 취급하여, 각각의 분할된 영상에 대해서는 동일한 깊이 값을 갖도록 한다.

이를 위해 분할된 영상(객체)에 속한 평균을 산출하고 이를 대표 값으로 하고 다시 그 객체에 적용한다. 도 4는 깊이 영상의 한 객체가 A로 분할되어 있는 영상을 보여준다.

아래의 수식 (1)에서 X는 깊이 영상을 의미하고, X(i,j)는 깊이 영상의 위치를 의미한다. (i,j)∈A는 A로 분할된 객체에 샘플들의 위치를 나타내며, N_A는 A에 속한 샘플들의 수를 나타낸다. 따라서 수식 (1)의 A_m은 A에 속한 샘플들의 깊이 값의 평균을 의미한다. 수식 (2)에서 X_A는 A에 속한 샘플들의 집합을 가리키면 수식(3)은 수식(1)에서 구한 평균으로 X_A의 값을 대체함을 의미한다.

(1)

(2)

(3)

깊이 영상 늘림부(113)는 경계 강화부(112)의 출력을 입력으로 하여 분할된 영상 간의 깊이 차이를 늘려주도록 한다. 이렇게 하기 위해서 깊이 영상 늘림부(113)에서는 히스토그램 평활화(Histogram equalization)을 거쳐 영상의 분할된 영상 간의 깊이 차이를 늘릴 수 있다. 깊이 영상 늘림부(113)는 분할된 영상 간의 깊이 차이를 크게 해줘 후에 객체 검출을 용이하게 하도록 한다.

RGB 영상 생성부(120)에서는 깊이 영상 개선부(110)에서 개선된 깊이 영상을 입력으로 받아 RGB 영상을 생성한다. 깊이 영상으로부터 딥러닝 모델을 이용하여 RGB 영상을 생성하도록 한다.

구체적으로, RGB 영상을 생성하는 방법은 도 5에 도시된 바와 같이, GAN(generative adversarial network)을 이용한 딥러닝 네트워크를 사용한다. 도 5의 생성기(121)에서는 깊이 영상으로 RGB 영상을 만들도록 학습되는 추론(inference) 네트워크다. 분류기(122)는 GAN 기반 학습을 위한 네트워크로 생성된 RGB 영상이 원본 RGB 영상과 유사한지를 판별하도록 학습되는 네트워크이다.

학습을 하기 위해서는 RGB 영상과 깊이 영상의 쌍(pair)이 필요하다. GAN 기반 학습은 종래의 방법을 따른다. 도 5의 생성기(121)와 분류기(122)는 특정 네트워크에 한정하지 않는다.

도 2에 도시된 객체 검출부(130)는 깊이 영상 개선부(110)에서 개선된 깊이 영상과 RGB 영상 생성부(120)에서 생성된 RGB 영상을 입력으로 객체 검출을 수행한다. 즉, RGB-D(epth) 영상을 입력으로 받아 객체 검출을 수행하는데, 도 6은 객체 검출부(130)의 상세 블록도를 보여준다.

도 6에 도시된 바와 같이, 깊이 영상과 RGB 영상은 각각 전처리 네트워크부(131,132)를 통과하여 깊이 특징(feature)과 RGB 특징을 각각 생성하도록 한다. 합성 네트워크부(133)에서는 깊이 특징과 RGB 특징을 합성하여 객체 검출 네트워크부(134)의 입력 형태로 변환을 수행하는 네트워크이다. 객체 검출 네트워크부(134)는 변환된 특징을 입력으로 받아 실제 객체 검출을 수행하는 네트워크이다.

도 7은 도 2에 도시된 객체 검출부(130)의 네트워크 구조로 나타낸 도면이다. 객체 검출부(130)는, 도 7에 도시된 바와 같이, RGB 영상과 깊이 영상을 입력으로 받아 각각의 전처리 네트워크(131,132)에 통과 시켜 각각의 특징들을 생성한다.

각각의 전처리 네트워크(131,132)는 U-Net으로 구현할 수 있으나 특정한 네트워크에 한정하지 않는다. 다만 전처리 네트워크(131,132)의 출력은 입력과의 해상도가 동일해야 한다.

깊이 영상에서 생성된 깊이 특징(feature) 과 RGB 영상에서 생성된 RGB 특징을 연결(concatenation) 하여 새로운 텐서를 만들고 이를 다시 합성(컨볼루션) 네트워크부(133)를 통과시켜 객체 검출 네트워크(134)에 입력한다.

객체 검출 네트워크(134)는 YoloV4 등과 같은 기존의 객체 검출 네트워크를 사용할 수 있으며, 특정한 네트워크에 한정되지 않는다.

도 8은 본 발명의 다른 실시예에 따른 객체 검출 장치의 블럭도이다. 본 발명의 실시예에 따른 객체 검출 장치는, 도 8에 도시된 바와 같이, 깊이 영상 개선부(210)와 객체 검출부(220)를 포함하여 구성된다. 도 2에 제시된 구조에서 중간의 RGB 영상 생성부(120)가 없는 간략화된 구조로, RGB 영상 생성부(120)는 속도를 개선하기 위하여 생략되었다.

깊이 영상 개선부(210)는 도 2에 제시된 깊이 영상 개선부(110)와 기능이 동일하므로 이에 대한 상세한 설명은 생략한다.

도 9는 도 8에 도시된 객체 검출부(220)의 상세 블록도이다. 객체 검출부(220)는 도시된 바와 같이, 전처리 네트워크(221)와 객체 검출 네트워크(222)를 포함하여 구성된다.

깊이 영상만을 입력으로 받으므로, 도 6에 제시한 합성 네트워크부(133)는 생략되었다. 전처리 네트워크(221)와 객체 검출 네트워크(222)는, 도 6의 전처리 네트워크(131)와 객체 검출 네트워크(134)와 기능이 동일하므로, 이들에 대한 상세한 설명은 생략한다.

도 10은 객체 검출부(220)를 위한 네트워크의 예시이다. 객체 검출 네트워크(222)는 YoloV4 와 같은 기존의 네트워크를 사용할 수 있으며 어떤 특정 네트워크에 한정되지 않는다. 객체 검출은 객체 검출 네트워크(222)와 전처리 네트워크(221)를 end-to-end로 학습하도록 한다. 이를 위해 깊이 영상과 이에 해당하는 객체 GT(ground truth)가 필요하다.

지금까지, 딥러닝 기법을 이용하여 깊이 영상으로부터 객체를 검출하는 방법들에 대해 바람직한 실시예들을 들어 상세히 설명하였다.

제시된 객체 검출 장치에 Depth 카메라나 스테레오 카메라와 같은 깊이 영상 생성 수단을 추가하는 것이 가능하며, 이 경우도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.

본 발명의 실시예에 따르면, 깊이 영상만으로 객체를 검출하여 RGB 카메라 사용이 어려운 환경에서도 객체 검출을 가능하게 하고, RGB 영상을 사용하지 않아 개인 정보 보호를 가능하게 한다.

한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110,210 : 깊이 영상 개선부
111 : 노이즈 제거부
112 : 경계 강화부
113 : 깊이 영상 늘림부
120 : RGB 영상 생성부
121 : 생성기
122 : 분류기
130,220 : 객체 검출부
131,132 : 전처리 네트워크부
133 : 합성 네트워크부
134 : 객체 검출 네트워크

Claims

깊이 영상을 개선하여 출력하는 개선부;
개선부에서 출력되는 깊이 영상으로부터 RGB 영상을 생성하는 생성부;
개선부에서 출력되는 깊이 영상과 생성부에서 생성된 RGB 영상으로부터 객체를 검출하는 검출부;를 포함하고,
생성부는,
개선부에서 출력되는 깊이 영상을 입력으로 받아 RGB 영상을 생성하는 생성기;
생성기를 GAN(Generative Adversarial Network) 기반으로 학습시키는 분류기;를 포함하는 것을 특징으로 하는 객체 검출 장치.
청구항 1에 있어서,
개선부는,
깊이 영상에서 노이즈를 제거하는 제거부;를 포함하는 것을 특징으로 하는 객체 검출 장치.
청구항 2에 있어서,
개선부는,
깊이 영상의 경계를 선명하게 개선하는 강화부;를 더 포함하는 것을 특징으로 하는 객체 검출 장치.
청구항 3에 있어서,
강화부는,
경계가 개성된 깊이 영상에서 객체 부분을 분할(segmentation) 하는 것을 특징으로 하는 객체 검출 장치.
청구항 4에 있어서,
강화부는,
분할된 영상에 대해, 동일한 깊이 값을 갖도록 변환 하는 것을 특징으로 하는 객체 검출 장치.
청구항 5에 있어서,
동일한 깊이 값은,
분할된 영상에 속한 샘플들의 평균 깊이 값인 것을 특징으로 하는 객체 검출 장치.
청구항 4에 있어서,
개선부는,
분할된 영상 간의 깊이 차이를 늘려주는 늘림부;를 더 포함하는 것을 특징으로 하는 객체 검출 장치.
삭제
청구항 1에 있어서,
검출부는,
개선부에서 출력되는 깊이 영상의 특징을 추출하는 제1 전처리 네트워크;
생성부에서 생성된 RGB 영상의 특징을 추출하는 제2 전처리 네트워크;
제1 전처리 네트워크와 제2 전처리 네트워크에서 추출된 특징을 합성하여, 객체 검출 네트워크부의 입력 형태로 변환하는 합성 네트워크;
합성 네트워크에서 변환된 특징을 입력받아 객체를 검출하는 객체 검출 네트워크부;를 포함하는 것을 특징으로 하는 객체 검출 장치.
깊이 영상을 개선하는 단계;
개선된 깊이 영상으로부터 RGB 영상을 생성하는 단계;
개선된 깊이 영상과 생성된 RGB 영상으로부터 객체를 검출하는 단계;를 포함하고,
생성 단계는,
개선 단계에서 출력되는 깊이 영상을 입력으로 받아 RGB 영상을 생성하는 생성기에 의해 수행되되, 생성기는 분류기에 의해 GAN(Generative Adversarial Network) 기반으로 학습된 것을 특징으로 하는 객체 검출 방법.
깊이 영상으로부터 RGB 영상을 생성하여 출력하는 생성부; 및
깊이 영상과 출력되는 RGB 영상으로부터 객체를 검출하는 검출부;를 포함하고,
생성부는,
깊이 영상을 입력으로 받아 RGB 영상을 생성하는 생성기;
생성기를 GAN(Generative Adversarial Network) 기반으로 학습시키는 분류기;를 포함하는 것을 특징으로 하는 객체 검출 장치.
깊이 영상으로부터 RGB 영상을 생성하는 단계; 및
깊이 영상과 출력되는 RGB 영상으로부터 객체를 검출하는 단계;를 포함하고,
생성 단계는,
깊이 영상을 입력으로 받아 RGB 영상을 생성하는 생성기에 의해 수행되되, 생성기는 분류기에 의해 GAN(Generative Adversarial Network) 기반으로 학습된 것을 특징으로 하는 객체 검출 방법.