KR102430120B1 - 스테레오 기반의 roi 검출 알고리즘의 성능을 향상시키는 방법 및 장치 - Google Patents

Abstract

일 개시에 의하여 빛 간섭 및 복잡한 배경에서의 물체를 효과적으로 검출하기 위하여 스테레오 카메라를 이용하여 깊이 정보 (depth-map)를 얻고 효과적인 물체 검출을 위하여 깊이 정보에서의 임계치 적용에 의한 이진화, 형태학적 (Morphological) 필터링, ROI의 영역의 크기를 제한하여 1차 적으로 물체와 배경을 분리하고, 2차 적으로 최빈값-ROI(Mode-ROI) 기법을 이용하여 새로운 물체를 검출하는 방법을 제공하며, 본 방법에 의하면 검출되는 물체의 좌표 정보를 누적하고 좌표의 최빈값을 얻어냄으로써 빛 간섭에 의한 잡음과 복잡한 배경에서 물체를 구별 할 수 있개 때문에 ROI 검출 성능을 향상 시킬 수 있다.

Description

스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법 및 장치{Apparatus and method for improving the performance of stereo-based ROI detection algorithm}

일 개시에 의하여 본 발명은 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법 및 장치에 관한 것으로서, 보다 상세하게는 1차적으로 스테레오 카메라를 이용하여 획득한 깊이 정보로 물체와 배경을 분리하고, 2차적으로 최빈값 ROI 기법을 이용하여 물체를 검출하는 기법을 제공한다.

최근, 인공지능 기술이 발달함에 따라 물체 검출에 필요한 연산량을 줄이기 위한 연구가 활발하게 진행되고 있다. 연산량을 줄이는 방법으로는 소프트웨어와 하드웨어에서의 연산량을 줄이는 방법이 있으며, 이를 위하여 많은 비용과 노력이 소모되고 있다.

특히, 인공지능을 이용한 물체 검출에 필요한 소프트웨어에서의 연산량을 줄이기 위한 방법으로서, ROI에 관한 많은 연구가 이루어지고 있다. ROI 검출 법에 대한 연구로는 밝기 차이에 강한 스테레오 정합 기법에 대한 연구, 적외선을 이용한 어두운 상황에서의 물체 검출 향상을 위한 연구, 관심 영역 기반의 정지영상 식별 기술 등 물체를 식별하고 검출하기 위한 연구 등 여러 가지 연구가 진행되고 있다. 대표적으로 ROI 검출 시 문제되는 부분은 빛 간섭에 의한 문제점, 복잡한 배경에서의 물체 분류 방법이 주로 이루진다. 하지만 대부분 정지 영상에서의 ROI 검출 법에 대한 연구가 진행되어 왔으며 움직이는 영상에서의 RIO검출법에 대한 연구는 아직 미미한 편이다.

0001)대한민국 등록특허공보 제10-0762670호(등록일자 2007.09.20) 0002)대한민국 공개특허공보 제10-2014-0120527호(공개일자 2014.10.14)

본 발명의 기술적 과제는 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법 및 장치에 관한 것으로서, 움직이는 동적 영상에서 객체를 효율적으로 검출하기 위한 특징을 포함하고 있다.

제 1 실시예에 의하여 스테레오 카메라 영상으로부터 원본 영상과 컬러 깊이 영상을 획득하는 단계, 컬러 깊이 영상에 대하여 그레이스케일을 적용하여 컬러 깊이 영상에 포함된 픽셀을 구성하기 위하여 사용되는 비트(bit) 수를 감소시키는 단계, 특징점의 데이터를 획득하기 위하여, 그레이스케일이 적용된 영상을 이진화 영상으로 변환하는 단계, 이진화 영상에 대하여 모폴로지(morphology)연산을 통해 이미지에 대한 보상을 수행하는 단계, 이진화 영상에 포함된 같은 픽셀값들을 그룹화하여 번호를 매기는 8방향 라벨링 연산을 수행함으로써 1차적으로 예비 ROI를 검출하는 단계, 라벨링 연산이 수행된 데이터의 위치 좌표들을 스택을 이용하여 저장하는 단계, 저장된 데이터를 하나의 프레임에 표시하는 단계, 하나의 프레임에 무작위로 표시된 데이터에 대하여 피벗을 이용한 퀵 정렬 방법을 반복하여 최빈값을 검출하는 단계 및 최빈값을 기준으로 원본 영상에서 2차적으로 최종 ROI를 검출하는 단계를 포함하는, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법을 제공할 수 있다.

제 2 실시예에 의하여, 이동가능한 이동체에 포함된 스테레오 카메라 모듈, 프로세서 및 실행 가능한 명령어들을 저장하는 메모리를 포함하고, 프로세서는 명령어들을 실행함으로써, 스테레오 카메라 모듈로부터 획득한 스테레오 카메라 영상으로부터 원본 영상과 컬러 깊이 영상을 획득하고, 컬러 깊이 영상에 대하여 그레이스케일을 적용하여 컬러 깊이 영상에 포함된 픽셀을 구성하기 위하여 사용되는 비트(bit) 수를 감소시키고, 특징점의 데이터를 획득하기 위하여, 그레이스케일이 적용된 영상을 이진화 영상으로 변환하고, 이진화 영상에 대하여 모폴로지(morphology)연산을 통해 이미지에 대한 보상을 수행하고, 이진화 영상에 포함된 같은 픽셀값들을 그룹화하여 번호를 매기는 8방향 라벨링 연산을 수행함으로써 1차적으로 예비 ROI를 검출하고, 라벨링 연산이 수행된 데이터의 위치 좌표들을 스택을 이용하여 저장하고, 저장된 데이터를 하나의 프레임에 표시하고, 하나의 프레임에 무작위로 표시된 데이터에 대하여 피벗을 이용한 퀵 정렬 방법을 반복하여 최빈값을 검출하고, 최빈값을 기준으로 원본 영상에서 2차적으로 최종 ROI를 검출하는, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 장치를 제공할 수 있다.

제 3 실시예에 의하여, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체를 제공할 수 있다.

일 개시에 의하여, 움직이는 영상 속에서 이동중인 로봇과 같은 객체를 효과적으로 구분함으로써. 물체 검출률을 향상시킬 수 있다. 본 발명에서는 스테레오 카메라와 물체의 좌표에 대한 최빈값을 이용하여 ROI를 검출하는 Mode-ROI 기법을 이용하여, 이동로봇이 움직이는 상황, 즉, 빛 간섭과 복잡한 배경에서의 낮은 검출률을 향상시킬 수 있다.

본원발명의 Mode-ROI 기법을 적용하였을 경우를 살펴보면, 로봇의 이동속도가 실험 결과 보다 빠르지 않다면 빛 간섭에 의한 방해없이 물체를 용이하게 검출할 수 있다. 보다 구체적으로, 기존의 ROI 기법보다 물체 검출률이 10%~30% 향상시킬 수 있다.

본원발명을 이용하면 향후 임베디드 시스템 기반 딥러닝 플랫폼에서 Mode-ROI 기법 적용 시 기존 딥러닝 물체 검출(object detection) 방법보다 빠르게 검출이 가능하다. 또한 딥러닝 플랫폼에서 물체 인식 (object recognition)을 수행할 때, 불필요한 배경에 대한 연산을 하지 않아 물체 인식에 대한 처리 속도와 정확도를 높임으로써 딥러닝 플랫폼에서 물체 인식의 실시간성과 정확성을 향상시킬 수 있다.

도 1은 일 개시에 의하여 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법을 개략적으로 설명하기 위한 도면이다.
도 2는 일 개시에 의한 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 장치의 구성을 나타내는 도면이다.
도 3은 일 개시에 의한 스테레오 영상으로부터 깊이 정보를 이용하여 ROI를 검출하는 방법을 개략적으로 설명하기 위한 도면이다.
도 4는 일 개시에 의한 모폴로지 연산에 따른 영상 변환을 예시적으로 설명하기 위한 도면이다.
도 5는 일 개시에 의한 ROI를 검출하기 위한 주기를 설정하는 것을 설명하는 도면이다.
도 6은 일 개시에 의하여 스택을 이용한 라벨링 데이터 저장 방법을 설명하기 위한 도면이다.
도 7은 일 개시에 의하여 무작위로 정렬된 데이터를 정렬하는 특징을 설명하기 위한 도면이다.
도 8은 일 개시에 의하여 최빈값을 검출하는 상세 특징을 설명하기 위한 도면이다
도 9는 일 개시에 의한 최빈값을 이용하여 최종 ROI를 검출하는 특징을 설명하기 위한 도면이다.
도 10은 일 개시에 의한 최빈도 ROI(Mode-ROI) 검출 방법을 적용한 경우 객체 검출률을 실험한 결과를 설명하기 위한 도면이다.
도 11은 일 개시에 의한 Mode-ROI와 Mode-ROI를 적용하지 않은 물체 검출률을 그래프로 나타낸 도면이다.

이하, 첨부된 도면을 참조하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 이하에서 개시되는 실시 예에 한정되지 않는다. 또한 도면에서 본 발명을 명확하게 개시하기 위해서 본 발명과 관계없는 부분은 생략하였으며, 도면에서 동일하거나 유사한 부호들은 동일하거나 유사한 구성요소들을 나타낸다.

본 발명의 목적 및 효과는 하기의 설명에 의해서 자연스럽게 이해되거나 보다 분명해질 수 있으며, 하기의 기재만으로 본 발명의 목적 및 효과가 제한되는 것은 아니다.

본 발명의 목적, 특징 및 장점은 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명하기로 한다.

이하에서, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 장치(100)는 ROI 검출 장치(100)로 축약하여 설명하도록 한다.

도 1은 일 개시에 의하여 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법을 개략적으로 설명하기 위한 도면이다.

일 개시에 의하여 스테레오 기반 ROI 검출 방법의 경우 스테레오 카메라가 고정되어 있으며 빛 간섭이 일정하다는 조건이 충족되어야 정확한 물체 검출이 된다. 하지만 이동 로봇의 경우 카메라가 움직이기 때문에, 획득한 영상의 배경이 일정하지 않으며 객체에 투영되는 빛의 반사로 인해 잘못된 깊이 값을 반환하기도 한다. 이러한 문제점으로 스테레오 카메라의 장점인 깊이 정보를 사용할 수 없는 문제점이 있었다.

일 개시에 의하여, ROI 검출 장치(100)는 1차적으로 깊이 정보를 이용한 스테레오 기반으로 ROI를 검출하고, 2차적으로 최빈값을 이용하여 ROI를 검출하는 방법을 제안한다.

일 개시에 의하여, ROI 검출 장치(100)는 스테레오 카메라 모듈에서 원본 영상과 깊이 영상을 받아온다. 일 개시에 의하여, ROI 검출 장치(100)는 컬러 깊이 영상 (color-depth-map)에 대하여 그레이스케일, 이진화, 모폴로지 연산을 이용하여 1차적으로 ROI를 검출할 수 있다.

일 개시에 의하여 ROI 검출 장치(100)는 스테레오 카메라 모듈에서 획득한 영상의 모든 프레임에서, 객체의 좌표에 대하여 라벨링을 수행하고, 라벨링 획득한 라벨링의 모든 위치 좌표 데이터를 프레임 별로 정렬하고, 정렬된 좌표 데이터로부터 최빈값을 획득할 수 있다. 일 개시에 의하여 ROI 검출 장치(100)는 최종적으로 최종 ROI를 결정할 수 있다.

도 2는 일 개시에 의한 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 장치의 구성을 나타내는 도면이다.

일 개시에 의하여, ROI 검출 장치(100)는 이동가능한 이동로봇에 포함된 스테레오 카메라 모듈(1300), 프로세서(1100) 및 실행 가능한 명령어들을 저장하는 메모리(1200)를 포함할 수 있다.

그러나, 도 2에 도시된 구성 요소보다 많은 구성 요소에 의해 ROI 검출 장치(100)가 구현될 수도 있고, 더 적은 구성 요소에 의해 구현될 수도 있다.

일 개시에 의하여 스테레오 카메라 모듈(1300)은 이동이 가능한 로봇과 같은 이동로봇에 설치된 카메라로서, 이동 중인 이동로봇에서 스테레오 영상을 획득할 수 있다.

스테레오 카메라 모듈(1300)을 이용한 영상 속 물체 검출 방법을 이용하면, 초음파센서 및 레이저 센서를 이용한 방법보다 비교적 저렴한 가격으로 높은 성능을 낼 수 있다.

스테레오 비전 시스템의 특징을 이용하여 물체를 분리할 경우 2차원 영상과 깊이 정보를 이용하기 때문에 깊이 정보가 없는 2차원 영상에서의 복잡한 배경에서의 물체 검출과 겹친 물체를 분리하지 못하는 문제점을 해결할 수 있다.

프로세서(1100)는, 통상적으로 ROI 검출 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1100)는, 메모리(1200)에 저장된 프로그램들을 실행함으로써, ROI 검출 장치(100)에 포함된 다른 구성들을 전반적으로 제어할 수 있다. 또한, 프로세서(1100)는 메모리(1200)에 저장된 프로그램들을 실행함으로써, ROI 검출 장치(100)의 기능을 수행할 수 있다. 프로세서(1100)는 적어도 하나의 프로세서를 구비할 수 있다. 프로세서(1100)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 프로세서(1100)는 메모리(1200)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.

프로세서(1100)는 스테레오 카메라 영상으로부터 원본 영상과 컬러 깊이 영상을 획득하는 단계, 컬러 깊이 영상에 대하여 그레이스케일을 적용하여 컬러 깊이 영상에 포함된 픽셀을 구성하기 위하여 사용되는 비트(bit) 수를 감소시키는 단계, 특징점의 데이터를 획득하기 위하여, 그레이스케일이 적용된 영상을 이진화 영상으로 변환하는 단계, 이진화 영상에 대하여 모폴로지(morphology)연산을 통해 이미지에 대한 보상을 수행하는 단계, 이진화 영상에 포함된 같은 픽셀값들을 그룹화하여 번호를 매기는 8방향 라벨링 연산을 수행함으로써 1차적으로 예비 ROI를 검출하는 단계, 라벨링 연산이 수행된 데이터의 위치 좌표들을 스택을 이용하여 저장하는 단계, 저장된 데이터를 하나의 프레임에 표시하는 단계, 하나의 프레임에 무작위로 표시된 데이터에 대하여 피벗을 이용한 퀵 정렬 방법을 반복하여 최빈값을 검출하는 단계 및 최빈값을 기준으로 원본 영상에서 2차적으로 최종 ROI를 검출하는 단계를 수행할 수 있다.

메모리(1200)는, 프로세서(1100)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, ROI 검출 장치(100)로 입력되거나 ROI 검출 장치(100)로부터 출력되는 데이터를 저장할 수도 있다.

메모리(1200)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리(1200) 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(1200)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 여기서, 복수 개의 모듈들은 하드웨어가 아닌 소프트웨어로서, 기능적으로 동작하는 모듈을 의미한다.

일 실시예에 따른 프로세서(1100)는 데이터 학습부(11001) 및 데이터 인식부(1102)를 포함할 수 있다.

데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.

이 경우, 데이터 학습부(1101) 및 데이터 인식부(1102)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1101) 및 데이터 인식부(1102)는 유선 또는 무선으로 통하여, 데이터 학습부(1101)가 구축한 모델 정보를 데이터 인식부(1102)로 제공할 수도 있고, 데이터 인식부(1102)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1101)로 제공될 수도 있다.

한편, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

일 개시에 의하여 프로세서(1100)는 명령어들을 실행함으로써, 스테레오 카메라 모듈로부터 획득한 스테레오 카메라 영상으로부터 원본 영상과 컬러 깊이 영상을 획득하고, 컬러 깊이 영상에 대하여 그레이스케일을 적용하여 컬러 깊이 영상에 포함된 픽셀을 구성하기 위하여 사용되는 비트(bit) 수를 감소시키고, 특징점의 데이터를 획득하기 위하여, 그레이스케일이 적용된 영상을 이진화 영상으로 변환하고, 이진화 영상에 대하여 모폴로지(morphology)연산을 통해 이미지에 대한 보상을 수행하고, 이진화 영상에 포함된 같은 픽셀값들을 그룹화하여 번호를 매기는 8방향 라벨링 연산을 수행함으로써 1차적으로 예비 ROI를 검출하고, 라벨링 연산이 수행된 데이터의 위치 좌표들을 스택을 이용하여 저장하고, 저장된 데이터를 하나의 프레임에 표시하고, 하나의 프레임에 무작위로 표시된 데이터에 대하여 피벗을 이용한 퀵 정렬 방법을 반복하여 최빈값을 검출하고, 최빈값을 기준으로 원본 영상에서 2차적으로 최종 ROI를 검출할 수 있다.

또한, 일 개시에 의하여 ROI 검출 장치(100)는 시계열적으로 획득한 컬러 깊이 영상의 제 1 시점에서 움직이는 제 1 객체에 대한 제 1 ROI 및 움직이는 제 2 객체에 대한 제 2 ROI를 포함하는 제 1 영상을 생성할 수 있다.

일 개시에 의하여 ROI 검출 장치(100)는 제 1 시점에서 제 1 ROI를 추적하는 제 2 영상을 생성할 수 있으며, 제 1 영상에서 제 2 객체가 인식되지 않는 경우, 제 1 시점으로부터 소정의 시간이 경과한 제 2 시점에서 제 2 ROI를 포함하는 제 3 영상을 생성할 수 있다.

일 개시에 의하여 ROI 검출 장치(100)는 제 1 영상에서의 제 2 ROI의 움직임에 기초하여, 제 3 영상에서 제 2 객체를 검출할 수 있다.

도 3은 일 개시에 의한 스테레오 영상으로부터 깊이 정보를 이용하여 ROI를 검출하는 방법을 개략적으로 설명하기 위한 도면이다.

스테레오 기반으로 ROI 검출하는 방법의 경우 스테레오 카메라가 고정되어 있으며, 빛 간섭이 일정하다는 조건이 충족되어야 정확한 물체 검출이 된다는 문제점이 있다. 하지만 이동 로봇의 경우 카메라가 움직이기 때문에 배경이 일정하지 않으며 물체에 빛 반사로 인해 잘못된 깊이 값을 반환하기도 한다. 이러한 문제점으로 스테레오 카메라의 장점인 깊이 정보를 사용할 수 없는 문제점이 있다.

본원에서는 컬러 깊이 영상 (color-depth-map)에 대하여 그레이스케일, 이진화, 모폴로지 연산을 이용하여 깊이 정보를 보다 효과적으로 이용하여 ROI를 검출하는 방법을 제안한다.

도 3을 참조하면, 스테레오 카메라 영상으로부터 원본 영상 및 컬러 깊이 영상을 획득한 후, 컬러 깊이 영상을 그레이 영상, 이진호 영상, 침식 영상, 열림 영상 및 라벨링 영상으로 순차적으로 변환한 후, 최종적으로 원본 영상에 라벨링 영상을 조합함으로써, 최종 라벨링 영상을 이용하여 ROI를 검출하는 특징을 확인할 수 있다.

이하에서 상세하게 설명하도록 한다.

도 4는 일 개시에 의한 모폴로지 연산에 따른 영상 변환을 예시적으로 설명하기 위한 도면이다.

모폴로지 연산의 종류에는 대상 영역이 좁아지는 침식 연산(백(255)값의 화소가 깎임), 대상 영역이 넓어지는 팽창 연산(백 값의 화소가 부풀어서 커짐), 대상 영역에서 세부 영역이 제거되는 열림 연산(침식 후 팽창, 작은 백 점들을 없앤 뒤 큰 덩어리들은 다시 원래 크기로 키움), 빈틈이 채워지는 닫힘 연산(팽창 후 침식, 약간 떨어진 선이나 공간을 잇거나 채우고 난 뒤 전체 크기를 원래대로 줄임)이 있다. 일반적으로 대상 영역은 이진화된 영상에서 백색으로 표시된 영역을, 회색조 영상에서는 밝은 영역을 가리킨다.

예를 들어서 침식은 도 4에서와 같이, 원본 영상에 구조요소를 씌워서 주변 화소를 포함하여 구조요소와 같은 (1,1,1)가 되지 않으면 0을 저장하는 방식이다.

열림 연산을 수행한 후의 열림 영상에서는 객체 주변의 노이즈를 제거하고, 객체의 특징점을 강조시킨 결과물을 획득할 수 있다.

도 5는 일 개시에 의한 ROI를 검출하기 위한 주기를 설정하는 것을 설명하는 도면이다.

-이진화

영상에서 컬러 이미지를 표현 방법으로는 일반적으로 RGB, HSV(HSI), YUV와 같은 방법을 사용한다. 이때 컬러 이미지의 데이터는 한 픽셀에 24 bit로 이루어져 있다. 만일 250 Х 250사이즈의 이미지를 사용하게 된다면 이미지를 불러오는데 필요한 데이터는 250 Х 250 Х 24 bit가 되기 때문에 이동로봇에 사용되는 임베디드 환경에서 상당히 많은 데이터를 처리해야 한다는 단점이 존재한다. 이를 해결하기 위한 방법으로 그레이 스케일을 통해 비트 (bit) 수를 줄여주는 방법이 있다. 일 개시에 의하여 ROI 검출 장치(100)는 컬러 깊이 영상에 대하여 그레이 스케일을 통해 각 픽셀에 사용되는 비트 수를 줄여 컬러 이미지 보다 빠르게 영상을 처리할 수 있다.

보다 구체적으로, ROI 검출 장치(100)는 하기 수학식 1에 의하여 컬러 깊이 영상을 그레이스케일 영상으로 변환할 수 있다.

일 개시에 의하여 ROI 검출 장치(100)는 하기 수학식 2를 이용하여 그레이스케일 영상을 이진화 영상으로 변환할 수 있다. ROI 검출 장치(100)는 이진화 영상으로의 변환을 통해, 검출하고자 하는 객체의 특징점의 데이터를 보다 정확하게 획득할 수 있다.

-모폴로지 연산

일 개시에 의하여 ROI 검출 장치(100)는 하기 수학식 3을 이용하여 이진화 영상을 침식 영상으로 변환할 수 있다. 일 개시에 의한 ROI 검출 장치(100)는 효율적인 물체의 잡음 제거와 물체의 분할을 위해 형태학 (Morphology) 연산을 사용하였다. 형태학 연산을 이용한 영상처리의 경우 영상의 전처리 작업에서 원활한 영상 분할 및 합성 기법으로 주로 사용된다.

일 개시에 의하여 ROI 검출 장치(100)는 하기 수학식 4를 이용하여 침식 영상을 열림 연산으로 변환할 수 있다.

일 개시에 의하여 ROI 검출 장치(100)는 하기 수학식 5에 의하여 라벨링 주기(T)를 결정할 수 있다.

여기서 α는 카메라 성능에 따른 FPS 수치를 나타내며,

를 나타내는 것을 특징으로 한다.

-라벨링 연산

일 개시에 의하여, 검출된 이진화 영상에서 배경은 0의 데이터를 물체는 1의 데이터를 가지게 된다. 물체를 검출하기 위해 같은 픽셀 값들끼리 그룹화하여 번호를 매기는 라벨링 (Labeling) 방법을 이용하여 ROI를 검출하였다.

라벨링 방법은 4방향 탐색 방법과 8방향 탐색 방법으로 나뉜다. 본 개시에서는 8방향 탐색 방법을 이용하였다. 4방향에 비해 연산량이 많지만 8방향 탐색 방법의 경우 물체 검출의 정확도가 높다는 장점을 가지고 있다.

도 6은 일 개시에 의하여 스택을 이용한 라벨링 데이터 저장 방법을 설명하기 위한 도면이다.

일 개시에 의하여 ROI 검출 장치(100)는 도 5에서 획득한 모든 라벨링의 위치 좌표 데이터를 스택(stack)을 이용하여 저장할 수 있다. 스택은 메모리 시스템의 한 종류로서, 데이터 구조의 한 종류를 나타낸다.

일 개시에 의하여 ROI 검출 장치(100)는 X1 data, Y1 data, X2 data, Y2 data 각각에 대하여 라벨링 데이터를 저장할 수 있다. 또한 도 5에서와 같이, 모든 라벨링의 위치 좌표 데이터를 하나의 프레임에 표시할 수 있다.

다른 개시에 의하여 ROI 검출 장치(100)는 라벨링의 위치 데이터를 다른 데이터 구조를 이용하여 저장할 수 있으며, 데이터 구조는 어레이, 리스트, 2개 이상의 링크된 리스트, 스택, 큐, 그래프, 테이블 또는 트리 중 하나 이상을 포함할 수 있다.

도 7은 일 개시에 의하여 무작위로 정렬된 데이터를 정렬하는 특징을 설명하기 위한 도면이다.

도 7에서는 모든 위치 좌표 데이터를 하나의 프레임에 표시하는 라벨링 단계에서, 좌표 데이터의 최빈값을 검출하는 방법을 개시한다.

보다 상세하게는, ROI 검출 장치(100)는 최빈값을 결정하기 위하여, 누적된 모든 위치 좌표 데이터들 중 가장 빈번하게 사용된 데이터 값을 찾아 모든 값을 비교할 수 있다.

도 7의 (a)에서와 같이, 위치 좌표 데이터의 크기가 무작위로 정렬되어 있을 경우, 최빈값을 검출하기 위해서는 일일이 값을 비교하여야 한다. 이 때, 위치 좌표 데이터의 값을 비교하는 경우 O(N²)이라는 시간 복잡도를 가지게 되는 바, 많은 연산량이 소요된다.

ROI 검출 장치(100)는 많은 연산량이 소요되는 데이터 비교 과정을 해결하기 위하여, 픽 정렬 방법을 여러 차례 반복할 수 있다. ROI 검출 장치(100)는 시간 복잡도를 이용하여 계산된 모든 라벨링 데이터를 오름차순으로 정렬할 수 있다. 보다 구체적으로, ROI 검출 장치(100)는 픽 정렬 방법을 수차례 반복하는 경우, 하기 수학식 6의 시간 복잡도를 도출할 수 있다.

보다 구체적으로, ROI 검출 장치(100)는 결정된 라벨링 주기(T) 마다 모든 라벨링 데이터의 위치 좌표 데이터를 정렬하기 위하여 퀵 정렬 방법을 반복하여 하기 수학식 6의 시간 복잡도를 도출하는 단계를 수행할 수 있다.

도 8은 일 개시에 의하여 최빈값을 검출하는 상세 특징을 설명하기 위한 도면이다.

일 개시에 의하여, ROI 검출 장치(100)는 정렬된 모든 라벨링 데이터 중 기 설정된 ±γ 범위의 차이가 나는 값을 같은 그룹값으로 결정할 수 있다. 예를 들어, ROI 검출 장치(100)는 γ값을 3으로 결정한 경우 그룹값을 결정하는 특징을 나타낸다. 이 경우, 167, 169, 170은 동일 그룹값으로 결정되며, 최빈값은 169로 정해진다.

일 개시에 의하여, ROI 검출 장치(100)는 모든 라벨링 데이터로부터 그룹값을 결정하고, 결정된 그룹값으로부터 최빈값을 결정할 수 있다.

도 9는 일 개시에 의한 최빈값을 이용하여 최종 ROI를 검출하는 특징을 설명하기 위한 도면이다.

일 개시에 의하여, ROI 검출 장치(100)는 객체의 특징점에 대한 최빈값을 결정하고, 결정된 최빈값에 기초하여 최종 ROI를 결정할 수 있다. 일 개시에 의하여, 도 9에서의 객체의 특징점에 대한 최빈값이 (A1, B1) 및 (B1, B2)로 결정되는 경우 최빈값을 기초로 최종 ROI를 결정할 수 있다.

따라서, 일 개시에 의하여, ROI 검출 장치(100)는 이동 로봇에서 ROI검출률을 높일 수 있다.

도 10은 일 개시에 의한 최빈도 ROI(Mode-ROI) 검출 방법을 적용한 경우 객체 검출률을 실험한 결과를 설명하기 위한 도면이다.

일 개시에 의하여, Mode-ROI 기법을 적용 시 프레임과 속도에 따른 객체의 검출률을 측정하였다. 또한, 객체 검출률의 경우 최종 ROI의 물체 검출 여부를 바탕으로 측정하였다. 또한, Mode-ROI 비적용 기법의 경우도 Mode-ROI와 같은 조건에서 정확도를 측정하였다.

도 10의 (가)는 Mode-ROI 기법을 적용한 경우이며, (나)는 Mode-ROI를 적용하지 않은 경우의 물체 검출율을 나타낸다. (가)와 (나)를 비교 평가한 결과에 따르면, Mode-ROI 기법을 적용함으로써 객체 검출률이 약 10~30% 향상된 것을 확인하였다.

도 11은 일 개시에 의한 Mode-ROI와 Mode-ROI를 적용하지 않은 물체 검출률을 그래프로 나타낸 도면이다.

도 11의 (b)를 보면, Mode-ROI를 적용하지 않은 방법에서는 프레임과 속도에 상관없이 불규칙적인 검출률을 볼 수 있다. 이러한 이유는 프레임이나 속도에 상관없이 빛 간섭에 의해 생기는 잡음까지 물체로 인식하기 때문에 객체를 검출하는 경우 불규칙적인 정확도를 가지기 때문이다. 반면에 도 11의 (a)를 보면 Mode-ROI를 적용한 방법에서는 프레임과 속도에 비례한 검출률을 볼 수 있다.

따라서, 본원발명에서 제안하는 Mode-ROI 기법을 적용하였을 경우 이동 로봇의 이동속도가 실험 결과 보다 빠르지 않다면 빛 간섭에 의한 방해 없이 물체를 검출하는 것을 실험 결과를 통해 확인할 수 있다. 이러한 실험 결과로 기존의 ROI 기법보다 물체 검출률이 10%~30% 향상된 것을 확인할 수 있다.

본원발명에 따르면 향후 임베디드 시스템 기반 딥러닝 플랫폼에서 Mode-ROI 기법 적용 시 기존 딥러닝 물체 검출(object detection) 방법보다 빠르게 검출이 가능해 질 것으로 판단된다. 또한 딥러닝 플랫폼에서 물체 인식 (object recognition)을 수행할 때, 불필요한 배경에 대한 연산을 하지 않아 물체 인식에 대한 처리 속도와 정확도를 높임으로써 딥러닝 플랫폼에서 물체 인식의 실시간성과 정확성 향상이 이루어질 것으로 기대된다.

일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 장치
1100: 프로세서
1101: 데이터 학습부
1102: 데이터 인식부
1200: 메모리
1300: 스테레오 카메라 모듈

Claims (7)

1. 스테레오 카메라 영상으로부터 원본 영상과 컬러 깊이 영상을 획득하는 단계;
   상기 컬러 깊이 영상에 대하여 그레이스케일을 적용하여 상기 컬러 깊이 영상에 포함된 픽셀을 구성하기 위하여 사용되는 비트(bit) 수를 감소시키는 단계;
   특징점의 데이터를 획득하기 위하여, 상기 그레이스케일이 적용된 영상을 이진화 영상으로 변환하는 단계;
   상기 이진화 영상에 대하여 모폴로지(morphology)연산을 통해 이미지에 대한 보상을 수행하는 단계;
   상기 이진화 영상에 포함된 같은 픽셀값들을 그룹화하여 번호를 매기는 8방향 라벨링 연산을 수행함으로써 1차적으로 예비 ROI를 검출하는 단계;
   상기 라벨링 연산이 수행된 데이터의 위치 좌표들을 스택을 이용하여 저장하는 단계;
   상기 저장된 데이터를 하나의 프레임에 표시하는 단계;
   상기 하나의 프레임에 무작위로 표시된 데이터에 대하여 피벗을 이용한 퀵 정렬 방법을 반복하여 최빈값을 검출하는 단계; 및
   상기 최빈값을 기준으로 상기 원본 영상에서 2차적으로 최종 ROI를 검출하는 단계를 포함하는, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법.
2. 제 1 항에 있어서,
   하기 수학식 1에 의하여 상기 컬러 깊이 영상을 그레이스케일 영상으로 변환하고,
   [수학식 1]
   Y=0.299×R+0.587×G+0.114×B
   하기 수학식 2를 이용하여 상기 그레이스케일 영상을 이진화 영상으로 변환하고,
   [수학식 2]
   

   

   
   하기 수학식 3을 이용하여 상기 이진화 영상을 침식 영상으로 변환하고,
   [수학식 3]
   

   

   
   하기 수학식 4를 이용하여 상기 침식 영상을 열림 연산으로 변환하는 것을 특징으로 하는,
   [수학식 4]
   

   

   
   스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법.
3. 제 1 항에 있어서,
   상기 최빈값을 검출하는 단계는,
   하기 수학식 5에 의하여 라벨링 주기(T)를 결정하는 단계;
   [수학식 5]
   

   

   , 여기서 α는 카메라 성능에 따른 FPS 수치를나타내며,

   

   를 나타내는 것을 특징으로 하며,
   상기 결정된 라벨링 주기(T) 마다 모든 라벨링 데이터의 위치 좌표 데이터를 정렬하기 위하여 퀵 정렬 방법을 반복하여 하기 수학식 6의 시간 복잡도를 도출하는 단계를 포함하는, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법.
   [수학식 6]
   

   

   
   

   
4. 제 1 항에 있어서,
   상기 최빈값을 검출하는 단계는,
   시간 복잡도를 이용하여 계산된 상기 모든 라벨링 데이터를 오름차순으로 정렬하는 단계;
   상기 정렬된 모든 라벨링 데이터 중 기 설정된 ±γ 범위의 차이가 나는 값을 같은 그룹값으로 결정하는 단계;및
   상기 그룹값으로 결정된 데이터의 값을 최빈값으로 결정하는 단계를 포함하는, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 방법.
5. 삭제
6. 이동가능한 이동체에 포함된 스테레오 카메라 모듈;
   프로세서;및
   실행 가능한 명령어들을 저장하는 메모리;를 포함하고,
   상기 프로세서는,
   상기 명령어들을 실행함으로써,
   상기 스테레오 카메라 모듈로부터 획득한 스테레오 카메라 영상으로부터 원본 영상과 컬러 깊이 영상을 획득하고,
   상기 컬러 깊이 영상에 대하여 그레이스케일을 적용하여 상기 컬러 깊이 영상에 포함된 픽셀을 구성하기 위하여 사용되는 비트(bit) 수를 감소시키고,
   특징점의 데이터를 획득하기 위하여, 상기 그레이스케일이 적용된 영상을 이진화 영상으로 변환하고,
   상기 이진화 영상에 대하여 모폴로지(morphology)연산을 통해 이미지에 대한 보상을 수행하고,
   상기 이진화 영상에 포함된 같은 픽셀값들을 그룹화하여 번호를 매기는 8방향 라벨링 연산을 수행함으로써 1차적으로 예비 ROI를 검출하고,
   상기 라벨링 연산이 수행된 데이터의 위치 좌표들을 스택을 이용하여 저장하고,
   상기 저장된 데이터를 하나의 프레임에 표시하고,
   상기 하나의 프레임에 무작위로 표시된 데이터에 대하여 피벗을 이용한 퀵 정렬 방법을 반복하여 최빈값을 검출하고,
   상기 최빈값을 기준으로 상기 원본 영상에서 2차적으로 최종 ROI를 검출하는, 스테레오 기반의 ROI 검출 알고리즘의 성능을 향상시키는 장치.
7. 제 1 항의 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 비일시적 기록 매체.

Images