KR20210136502A - Rgb-d 데이터와 딥러닝을 이용한 3d객체영역분할 방법과 그 시스템 - Google Patents

Abstract

실시예는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법과 그 시스템에 관한 것이다.
구체적으로, 이러한 방법과 시스템은 RGB-D카메라와 최근의 딥러닝 기술을 활용해서 3차원으로 물체의 영역을 분할하여 객체의 xyz값과 RGB값을 찾아낼 수 있도록 한다.
구체적으로, 인식할 물체의 RGB영상과 깊이데이터 및 딥 러닝에 의해 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB컬러 정보를 획득할 수 있도록 하는 것을 특징으로 한다.
따라서, 이를 통해 실시예는 최종적으로 자동화 등의 로봇비전 감시를 할 경우에, 카메라를 이용하면서도 객체의 3D xyz 데이터(즉, 3차원적 정보)와 RGB 컬러 정보를 찾아서 표현함으로써, 3차원으로 물체를 인식하여 구분해낸다.

Description

RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법과 그 시스템{RGB-D Data and Deep Learning Based 3D Instance Segmentation Method and System}

본 명세서에 개시된 내용은 3차원으로 물체를 인식하는 로봇비전 기술을 응용하여 물체를 구분해내기 위한 시스템에 관한 것으로서, 자동화 등에 활용되는 로봇비전 분야에 속하는 기술분야에 관한 것이다.

본 명세서에서 달리 표시되지 않는 한, 이 섹션에 설명되는 내용들은 이 출원의 청구항들에 대한 종래 기술이 아니며, 이 섹션에 포함된다고 하여 종래 기술이라고 인정되는 것은 아니다.

일반적으로, 로봇에 있어서 물체인식이란 로봇이 감지한 물체가 무엇인지를 판단하는 것이며, 로봇은 상기 판단 결과를 통해 프로그램된 대로 적절한 임무를 수행할 수 있게 된다.

한편, 물체를 인식하는 방법으로는, 3차원 물체에 대한 다량의 정보를 데이터베이스에 저장시킨 후, 로봇이 인식하는 물체와 대조하여 해당 물체의 정보를 획득하는, 소위 모델 기반형 물체인식방법이 일반적으로 사용되고 있다. 모델 기반형 물체인식방법은 크게 모델 데이터베이스 내에 모델 물체에 대한 정보의 저장단계와 센서 시

스템으로부터 얻은 입력정보로부터 모델 물체와의 비교를 위한 처리단계, 즉 특징 추출단계 및 인식단계로 나누어진다.

이러한 종래 로봇에 사용된 비전 기반의 물체인식방법은 카메라로 물체를 촬영하여 영상 데이터를 얻고 이 영상 데이터를 처리하여 해당 물체의 특징점을 추출한 후, 데이터베이스에 저장되어 있는 물체들의 특징점과 비교하여 유사도를 판단하는 과정을 통해 물체인식작업을 수행했다.

이러한 배경의 선행기술문헌은 아래의 특허문헌 정도이다.

(특허문헌 1) KR100920457 Y1

참고적으로, 이러한 특허문헌 1의 기술은 로봇에 부착된 카메라를 통해 얻어진 영상이미지로부터 특징점들을 추출하여 물체를 인식하였던 종래 방법들과 달리, 서비스 로봇에 부착된 RFID 리더를 통해 검출된 RFID 코드를 이용하여 물체를 인식하는 것이다.

한편, 특히 본 명세서에 개시된 내용과 관련하여 보다 상세하게는 종래에도 카메라를 이용하여 물체를 인식하기 위한 기술들이 활용되고 있으나 2차원적 정보로서 로봇이 물체를 완전히 인식하기가 어렵다.

그리고, 딥러닝을 이용한 기술에 있어서도 대부분 2차원 영상 내에서의 물체에 대한 영역을 도출해 내는 것으로써 사전에 보정(calibration)과정으로서 영상내의 화소의 크기와 실제 xy의 크기의 상관관계를 수식으로 도출하여 물체가 속한 영역에 대한 xy영역을 찾아 내는 방법을 활용하고 있다.

또한 종래의 기술 중에서는 물체의 z축 정보도 보정과정을 통해 고정된 환경하에서 z정보를 찾아내는 경우도 있다.

그러나 보정 과정을 거치지 않는 경우나 일반적인 물체 인식의 경우 카메라를 가지고 3차원적인 물체 영역 정보를 얻는 것이 종래의 기술로는 해결되지 못하고 있다.

또한 RGB-D 카메라를 활용하는 경우에도 깊이(Depth) 정보를 활용하여 거리감을 느낄 수 있도록 하는 것은 가능할 수 있으나 특정 물체에 대한 구분이 이루어 져서 특정한 물체 영역의 xyz 값을 포함하는 3차원적 정보를 얻어내는 것에 대한 종래의 기술은 아직 없는 상황이다.

개시된 내용은, RGB-D 카메라를 이용하고 최근의 딥러닝 기술을 이용하여 3차원으로 물체의 영역을 분할하여 xyz값과 RGB값을 찾아낼 수 있도록 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법과 그 시스템을 제공하고자 한다.

실시예에 따른 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법과 그 시스템은,

RGB-D카메라와 최근의 딥러닝 기술을 활용해서 3차원으로 물체의 영역을 분할하여 객체의 xyz값과 RGB값을 찾아낼 수 있도록 한다.

구체적으로, 인식할 물체의 RGB영상과 깊이데이터 및 딥 러닝에 의해 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB컬러 정보를 획득할 수 있도록 하는 것을 특징으로 한다.

실시예들에 의하면, 최종적으로 자동화 등의 로봇비전 감시를 할 경우에, 카메라를 이용하면서도 객체의 3D xyz 데이터(즉, 3차원적 정보)와 RGB 컬러 정보를 찾아서 표현함으로써, 3차원으로 물체를 인식하여 구분해낸다.

따라서, 더 나아가 산업적으로는 3차원 물체인식을 위한 비전시스템으로 활용될 수 있는 효과가 있다. 그리고, 기술적으로는 3D 기반 물체인식이 가능하게 됨으로써 로봇비전 감시용 비전시스템 등의 용도로 다양하게 활용될 수 있다.

부가적으로, RGB-D 카메라를 이용하여 3차원으로 물체를 인식하는 로봇 비전 기술을 응용하여 물체를 구분해내기 위한 시스템에 관한 것으로서 일반적인 물체를 인식하는데 있어서 하나 또는 일부의 객체에 해당하는 xyz 정보와 RGB정보를 얻고자하는 비전 시스템으로 작용하는 것이다.

도 1a와 도 1b는 일실시예에 따른 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 시스템을 설명하기 위한 도면
도 2는 도 1a와 도 1b의 3D객체영역분할 시스템에 적용된 객체 분할 학습 과정(즉, 전술한 객체2D영역분할 딥러닝 모델 구축 과정)을 보여주는 도면
도 3과 도 4는 도 1a와 도 1b의 시스템에 적용된 일실시예에 따른 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법을 설명하기 위한 도면
도 5는 도 1a와 도 1b의 시스템에 적용된 RGB컬러 영상과 깊이데이터를 보여주는 도면이
도 6과 도 7은 도 1a와 도 1b의 시스템에 사용된 객체2D영역분할 딥러닝 모델에 의한 딥러닝객체2D영역분할 과정을 보여주는 도면
도 8과 도 9는 도 1a와 도 1b의 시스템에 의해 3D객체영역분할한 결과를 그래픽으로 표현한 도면

도 1a와 도 1b는 일실시예에 따른 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 시스템을 설명하기 위한 도면이다.

구체적으로, 도 1a는 이러한 3D객체영역분할 시스템의 개념을 모식화한 도면이다. 그리고, 도 1b는 상기 3D객체영역분할 시스템의 구성을 도시한 블록도이다.

도 1a와 도 1b에 도시된 바와 같이, 일실시예에 따른 3D객체영역분할 시스템은 자동화 등의 로봇비전 감시를 할 경우에, 비전 데이터에서 3차원으로 물체를 인식함으로써, 로봇비전 감시를 수행할 수 있도록 하는 시스템을 전제로 한다.

이러한 상태에서, 일실시예에 따른 3D객체영역분할 시스템은 RGB-D카메라와 최근의 딥러닝 기술을 활용해서 3차원으로 물체의 영역을 분할하여 객체의 xyz값과 RGB값을 찾아낼 수 있도록 하는 것이다.

구체적으로, 일실시예의 시스템은 인식할 물체의 RGB영상과 깊이데이터를 수집하는 RGB-D카메라(110)와, RGB영상과 깊이데이터 및 딥 러닝에 의해 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB컬러 정보를 획득하는 중앙제어반(120), 그의 디스플레이 장치(130)를 포함하고 있다.

상기 RGB-D카메라(110)는 로봇비전 등을 이용해 물체를 구분하기 위해서, 먼저 인식하고자 하는 물체에 대한 RGB영상과 깊이데이터를 수집하여 이 두 가지의 정보를 중앙제어반에 제공하는 것이다. 이때, 상기 RGB영상과 깊이데이터는 일실시예에 따른 객체의 3D객체영역분할을 위해 사용된다. 부가적으로, 이러한 RGB-D카메라는 Kinect, RealSense 등을 활용한다.

상기 중앙제어반(120)은 상기 RGB영상과 깊이데이터만으로 딥 러닝을 적용해서 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB컬러 정보를 획득할 수 있도록 하는 것이다. 구체적으로는, 이러한 중앙제어반(120)은 a) 우선적으로 미리 다수의 상이한 RGB영상만으로부터의 2D객체 영역분할을 위한 딥러닝 학습을 통해 객체 영역에 관한 딥러닝 파라미터를 산출하여 객체2D영역분할 딥러닝 모델을 구축한다. 그리고, 중앙제어반(120)은 b) 상기 RGB-D카메라로부터의 RGB영상으로부터 객체2D영역분할을 상기 객체2D영역분할 딥러닝 모델에 의해 수행한다. 다음, c) 상기 객체2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득한다. 그리고 나서, 중앙제어반(120)은 d) 상기 객체의 깊이 정보에 원근변환을 적용하여 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB컬러 정보를 획득할 수 있도록 한다. 따라서, 이를 통해 일실시예에 따른 시스템은 RGB-D 카메라와 최근의 딥러닝 기술을 이용하여 3차원으로 물체의 영역을 분할함으로써, 최종적으로 객체의 3D xyz 데이터와 RGB 컬러 정보를 찾아서 표현한다.

상기 디스플레이 장치(130)는 이러한 중앙제어반(120)에 의해 객체의 xyz와 RGB컬러 정보를 포함하는 데이트가 추출된 경우, 이 객체의 3D객체영역분할 결과를 표현해서 제공한다.

그리고, 이러한 경우 상기 중앙제어반(120)은 예를 들어 아래의 구성으로 이루어진다.

즉, 상기 중앙제어반(120)은 상기 RGB-D카메라(110)와 데이터 인터페이스하여 물체의 RGB영상과 깊이데이터를 입력받는 I/O 모듈부(121)와, 상기 물체의 RGB영상과 깊이데이터를 디지털 신호 처리하여 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB컬러 정보를 획득하는 DSP부(122) 및 상기 각 부를 제어하는 CPU(123)를 포함한다. 이때, 상기 디지털 신호 처리는 딥 러닝 동작을 포함한다.

추가적으로, 상기 중앙제어반(120)은 이러한 경우, 상기 CPU(123)를 통해 상기 DSP부(122)에 미리 객체2D영역분할 딥러닝 모델을 저장하여 제공할 수 있도록 하는 저장부(124)를 더 포함한다.

도 2는 도 1a와 도 1b의 3D객체영역분할 시스템에 적용된 객체 분할 학습 과정(즉, 전술한 객체2D영역분할 딥러닝 모델 구축 과정)을 보여주는 도면이다.

도 2에 도시된 바와 같이, 일실시예에 따른 객체 분할 학습 과정은 딥러닝객체2D영역 분할을 위해 RGB 만을 이용하여 딥러닝 객체영역분할의 학습과정을 거친다.

구체적으로는, 일실시예에 따른 객체 분할 학습 과정은 먼저 인식하고자 하는 물체에 대해 RGB-D 카메라를 통해 RGB 영상만을 수집한다.

다음, 이러한 RGB 영상 내의 물체의 영역을 미리 정의하여 표시하고 그 물체의 종류를 지정함으로써, 학습용 데이터를 만든다. 부가적으로, 이 단계는 데이터셋 작성 단계로서 딥러닝 모델에서 학습용 데이터를 만드는 단계이며, 영상내의 물체의 영역을 미리 정의하여 표시하고 그 물체의 종류를 지정하는 단계이다.

그리고 나서, 이러한 학습용 데이터에 미리 설정된 객체분할 딥러닝 모델을 적용해서 객체의 영역만을 분할한다. 예를 들어, 상기 객체분할 딥러닝 모델은 마스크 R-CNN(Mask R-CNN)이 대표적이며 그 외에도 다른 동일한 기능을 가지는 다른 모델을 이용할 수 있다.

한편, 이렇게 분할된 결과를 통해 나온 데이터셋을 미리 설정된 2D객체 영역분할을 위한 딥러닝 모델에 적용해서 학습한다. 부가적으로, 이 단계는 학습단계로서 데이터셋을 이용하여 딥러님모델에 적용하여 학습을 시키는 단계이다. 이 학습 단계에서는 객체분할 딥러닝모델이 S/W나 H/W 적으로 구성되어 있어야 하며 혹은 온라인상으로 학습을 하는 경우도 포함한다.

그리고 나서, 이러한 학습 결과로부터 객체 영역에 관한 딥러닝 파라미터를 산출한다. 부가하여, 이 단계는 파라미터추출단계로서, 딥러닝모델의 학습이 완료됨과 동시에 그 학습의 결과로서 나타나는 파라미터를 구성하는 단계이다. 상기 파라미터는 가중파일(weight file) 이라고도 한다.

그래서, 상기 객체 영역에 관한 딥러닝 파라미터로부터 객체2D영역분할 딥러닝 모델을 구축한다. 이러한 단계는 딥러닝시스템 단계로서 추출된 파라미터를 적용하여 활용하도록 S/W 또는 H/W시스템을 구축하는 단계이다. 이 시스템은 3D 객체 영역분할을 위해 딥러닝객체2D 영역분할에서 활용되는 것이다.

예를 들어, 상기 객체2D영역분할 딥러닝 모델은 미리 다수의 상이한 RGB영상으로부터의 2D객체 영역분할을 위한 마스크 R-CNN형 딥러닝 학습을 통해 2D객체 영역별로 대표 임계값을 추출하여 이진 마스크를 생성함으로써, 마스크 R-CNN 기반의 객체2D영역분할 딥러닝 모델로 이루어진다.

도 3과 도 4는 일실시예에 따른 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법을 설명하기 위한 도면이다.

구체적으로, 도 3은 도 1a와 도 1b의 시스템에 적용된 일실시예에 따른 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법을 순서대로 도시한 플로우 차트이다(도 2 참조). 그리고, 도 4는 이러한 방법에 적용된 원근변환을 설명하기 위한 도면이다.

우선적으로 도 3에 도시된 바와 같이, 일실시예에 따른 3D객체영역분할 방법은 먼저 자동화 등의 로봇비전 감시를 할 경우, 비전 데이터에서 3차원으로 물체를 인식함으로써, 로봇비전 감시를 수행할 수 있도록 하는 것을 전제로 한다.

그리고, 이러한 물체 인식은 전술한 중앙제어반에 의해 전체적으로 수행된다.

이러한 상태에서, 일실시예에 따른 3D객체영역분할 방법은 우선적으로 미리 다수의 상이한 RGB영상만으로부터의 2D객체 영역분할을 위한 딥러닝 학습을 통해 객체 영역에 관한 딥러닝 파라미터를 산출하여 객체2D영역분할 딥러닝 모델을 구축한다(S301). 참고적으로, 상기 구축에 관해서는 도 5를 참조하여 보다 상세히 후술한다.

그리고, 이러한 방법은 상기 RGB-D카메라로부터의(S302) RGB영상으로부터 객체2D영역분할을 상기 객체2D영역분할 딥러닝 모델에 의해 수행한다(S303).

다음, 상기 객체2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득한다(S304). 즉, 깊이데이터와 객체2D영역분할이 겹치는 영역만을 분할한다.

그리고 나서, 상기 객체의 깊이 정보에 원근변환을 적용하여 객체의 3D객체영역분할을 수행함으로써(S405), 객체의 xyz와 RGB컬러 정보를 획득할 수 있도록 한다. 즉, 이러한 원근변환 단계에서는 앞 단계에서 나타난 영역분할된 깊이 정보에 원근변환 (perspective transformation)을 활용하여 xyz 정보를 추출하는 단계이다.

일반적으로 원근변환은 도 4와 같은 도면으로 설명할 수 있다.

RGB-D 데이터의 깊이 데이터는 도 10에서 보는 바와 같이 영상평면 (U,V) 내의 좌표 (u,v)와 그 영상좌표(u,v)와 깊이값(d)를 제공한다. 이 정보로부터 카메라의 원점 (0,0,0)를 기준으로 하는 실제 좌표 (x,y,z)는 다음 식으로부터 얻을 수 있다.

원점(0,0,0)에서 (u,v)까지 거리를 l이라고 하고, f를 초점거리, d를 깊이값이라 할 때 ㅣ은 로 표현된다. 이때 원점을 기준으로 (X, Y, Z) 좌표계에서 물체의 위치 (x,y,z)는 , , 로 계산이 될 수 있다.

이 식으로부터 RGB-D 데이터가 제공하는 (u,v) 및 d정보로부터 카메라를 기준으로 한 좌표계에서(x,y,z)를 구할 수 있다.

이것을 활용하며 물체의 영역인 (u,v)과 d의 집합으로부터 실제 물체의 영역의 (x,y,z)좌표들의 집합을 구할 수 있다.

그래서, 그 단계를 거치게 되면 물체가 존재하는 영역만을 3D 즉 (x,y,z)로 구분하여 낼 수 있다(3D객체분할완료).

그리고, 상기 3D객체영역분할은 이와 같은 과정을 거쳐서 최종적으로 지정한 객체의 3D xyz 데이터와 그 해당 객체의 컬러 정보를 동시에 표현할 수 있다.

따라서, 이를 통해 일실시예에 따른 3D객체영역분할 방법은 RGB-D 카메라와 최근의 딥러닝 기술을 이용하여 3차원으로 물체의 영역을 분할함으로써, 최종적으로 객체의 3D xyz 데이터와 RGB 컬러 정보를 찾아서 표현한다.

이상과 같이, 일실시예는 RGB-D카메라와 최근의 딥러닝 기술을 활용해서 3차원으로 물체의 영역을 분할하여 객체의 xyz값과 RGB값을 찾아낼 수 있도록 한다.

구체적으로, 일실시예는 인식할 물체의 RGB영상과 깊이데이터 및 딥 러닝에 의해 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB컬러 정보를 획득할 수 있도록 한다.

따라서, 이를 통해 최종적으로 자동화 등의 로봇비전 감시를 할 경우에, 카메라를 이용하면서도 객체의 3D xyz 데이터(즉, 3차원적 정보)와 RGB 컬러 정보를 찾아서 표현함으로써, 3차원으로 물체를 인식하여 구분해낸다.

따라서, 더 나아가 산업적으로는 3차원 물체인식을 위한 비전시스템으로 활용될 수 있는 효과가 있다. 그리고, 기술적으로는 3D 기반 물체인식이 가능하게 됨으로써 로봇비전 감시용 비전시스템 등의 용도로 다양하게 활용될 수 있다.

도 5는 도 2의 시스템에 적용된 RGB컬러 영상과 깊이데이터를 보여주는 도면이다.

도 5에 도시된 바와 같이, 이러한 일실시예에 따른 데이터는 RGB-D데이터로서 수집한 결과 즉, RGB영상과 깊이데이터를 흑백으로 표현한 결과의 예이다.

그리고, 이러한 경우 상기 깊이 데이터는 밝기에 따라 깊이(거리)를 나타내주는 데이터로 된다. 이에 더하여, 상기 깊이 데이터는 카메라의 성능에 따라 고해상도를 가지는 경우를 포함한다.

구체적으로는, 이때 일실시예에서는 다수의 상이한 카메라 (성능)사양별로 대응하는 해상도 정보를 매칭한 매칭정보를 미리 설정 등록한다.

그리고 나서, 상기 RGB-D카메라로부터의 깊이데이터를 상기 매칭정보에 따라 현재 사용중인 카메라 (성능)사양에 대응하는 해상도로서 추출한다.

그래서, 상기 객체2D영역분할 결과와, 상기 추출된 RGB-D카메라로부터의 깊이데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득한다.

도 6과 도 7은 도 1a와 도 1b의 시스템에 사용된 객체2D영역분할 딥러닝 모델에 의한 딥러닝객체2D영역분할 과정을 보여주는 도면이다.

구체적으로, 도 6은 이러한 딥러닝객체2D영역분할 과정을 거친 기본적인 영역 표현이고, 도 7은 물체별로 별도로 영역을 표현한 것이다.

도 6과 도 7에 도시된 바와 같이, 일실시예에 따른 딥러닝객체2D영역분할 과정은 전술한 학습 과정에서 완성된 일실시예의 객체2D영역분할 딥러닝 모델에 의해 도 6과 같이 기본적으로 표현되거나, 도 7에서와 같이 물체별로 별도로 영역을 표현한다.

도 8과 도 9는 도 1a와 도 1b의 시스템에 의해 3D객체영역분할한 결과를 그래픽으로 표현한 도면이다.

구체적으로, 도 8은 RGB영상과 깊이데이터를 XYZ좌표계로 표현하고 그래픽으로 표현한 실시의 예이고, 도 9는 3D영역을 분할한 결과를 그래픽으로 표현한 도면이다.

도 8에 도시된 바와 같이, 일실시예에 따른 시스템은 전술한 바대로 3D객체영역을 분할한 경우, 이를 통해 RGB영상과 깊이데이터를 객체의 3D xyz 데이터와 RGB 컬러 정보로 즉, XYZ좌표계와 그래픽으로 표현한다.

그리고, 도 9에 도시된 바와 같이, 일실시예에 따른 3D객체영역분할은 예를 들어, 물체영역과 배경영역만을 나누어 3D영역을 분할한 결과를 그래픽으로 표현한다.

그래서, 일실시예에 따른 3D객체영역분할은 이와 같은 과정을 거쳐서 최종적으로 지정한 객체의 3D xyz 데이터와 그 해당 객체의 컬러 정보를 동시에 표현할 수 있다.

다른 한편으로, 일실시예에 따른 3D객체영역분할 시스템은 예를 들어 전술한 도 2의 중앙제어반을 PLC 컨트롤러의 형태로 구성하는 다른 실시예를 가진다.

구체적으로는, 이러한 다른 실시예는 중앙제어반이 PLC 컨트롤러로 이루어진다.

이러한 경우, 상기 PLC 컨트롤러는 기존과 같이, 기본적으로 전원 모듈과, 상하수도 상태정보 등의 각종 아날로그와 디지털 정보를 통합적으로 입출력하는 I/O 모듈, 데이터를 변환하는 컨버팅 모듈 및 중앙처리부인 CPU 모듈을 포함한다. 그리고, 중앙관제센터 등의 OS를 포함한 각종 제어대상과 통신하는 통신 모듈을 포함한다.

참고적으로, 기존과 같이 상기 I/O 모듈은 A/I 모듈과, A/O 모듈, D/A 모듈, D/O 모듈을 포함하여 이루어지고, 상기 컨버팅 모듈은 A/D 모듈과 D/A 모듈을 포함하여 이루어진다.

이러한 상태에서, 또한 실시예에서 상기 PLC 컨트롤러는 관리자 모바일 단말기와 무선 통신하는 LTE 모듈을 더 포함한다(이러한 LTE 모듈에 대해서는 보다 상세히 후술함).

이상과 같이, 실시예에 따른 PLC 컨트롤러는 아래의 구성을 가진다.

a) PLC 자체에 전원을 공급하는 전원 모듈과;

b) 상기 기반설비의 전기적 아날로그 신호와 상기 센서부의 상하수도 상태 아날로그 정보를 디지털로 변환하는 A/D 모듈;

c) 디지털 유닛의 디지털정보를 아날로그로 변환하는 D/A 모듈;

d) 상기 기반설비의 전기적 디지털 신호와 상기 센서부의 상하수도 상태 디지털정보를 입력받는 D/I 모듈;

e) 상기 센서부의 상하수도 상태에 따른 중앙관제센터의 운전 동작 제어값을 포함한 디지털 정보를 미리 연결된 구동대상으로 출력하는 D/O 모듈;

f) 상기 중앙관제센터 또는 상기 현장제어반의 운전 동작 제어값을 상기 MCU를 포함한 해당되는 미리 등록된 제어대상과 통신하여 제공하는 통신 모듈;

g) 상기 센서부의 상하수도 상태값이 미리 설정된 상태위험레벨인 경우, 미리 등록된 관리자 모바일 단말기로 알림하는 LTE 모듈; 및

h) 상기 각 모듈을 제어하는 CPU 모듈; 을 포함한다.

부가적으로, 이와 관련하여 부연설명을 하면 다양한 환경에서 사용되는 기존의 PLC 시스템에 대해서는 여러 기능을 가진 모듈이 필요하며, 이에 따라서 PLC 제조 업체는 사용자의 요구사항을 만족하는 다양한 모듈을 제공한다. 예를 들어, 디지털 입출력 모듈, 아날로그 입출력모듈, 통신 모듈 등 여러 기능을 가진 모듈이 PLC 시스템에 사용되고, 이러한 다양한 모듈을 통해서 사용자가 원하는 시스템이 구축된다.

예를 들어, 특허문헌 KR101778333 Y1의 기술은 이러한 기술로서 등록받은 발명이며, 구체적으로는 PLC의 출력모듈의 동작상 결함 여부를 진단하기 위한 진단모듈을 구비하는 PLC 시스템에 관한 것이다.

일실시예에 따른 전술한 LTE 모듈은 이러한 점들을 이용해서, 그 LTE 모듈로부터 LTE 기능을 제공하는 PLC를 제공하고, 이를 통해 더 나아가 관리자에 의해 쉽게 감시와 제어 등이 이루어지도록 한 것이다.

따라서, 이를 통해 일실시예에 따른 PLC 컨트롤러는 상기 LTE 모듈을 통해 자체적으로 (무선)인터넷연결부가 구비되어, 실시간으로 감지되는 상하수도 위험상태 데이터를 미리 등록된 관리자 모바일 단말기로 직접 송출할 수 있는 기능을 수행한다.

한편, 이러한 경우 상기 시스템은 상기 LTE 모듈을 통해 관리자 모바일 단말기와 연결할 경우, CPU 모듈에서 관리자 모바일 단말기와의 실시간 연결을 확보함으로써, 상하수도 위험상태시에 즉시 알림을 할 수 있도록 한다.

이를 위해, 상기 시스템은 상기 CPU 모듈이 상기 관리자 모바일 단말기로 알림을 할 시, 관리자 모바일 단말기가 무선통신망으로 연결된 경우 해당하는 무선통신망의 개별 IP 주소로 연결하고, 무선통신망이 연결되지 않은 경우 이동통신데이터 망의 단말기 식별 가입자 번호로 연결하여 실시간 연결확보해서 알람을 한다.

부가적으로, 예를 들어 일실시예에 따른 시스템은 상기 PLC 컨트롤러의 입력모듈 중에서 A/I 모듈이 센서부 예를 들어, 미세먼지감지센서로부터 주변의 미세 먼지 아날로그 정보를 입력받는다. 그리고, D/I 모듈이 센서부 예를 들어, 주변의 태양광 디지털정보를 입력받는다.

이러한 경우, 상기 입력모듈은 PLC의 입력모듈로서 I/O카드를 포함하는 것으로 정의한다.

그리고, 상기 PLC 컨트롤러의 출력모듈은 상기 입력모듈을 통해 감지신호 등이 입력될 경우, CPU 모듈을 통해 구동대상으로 예를 들어, 미세 먼지 저감 장치 등으로 제어신호를 전달한다.

다른 한편으로, 이에 더하여 이러한 시스템은 상기 PLC 컨트롤러의 LTE 모듈이 전술한 바에 더해, 상기한 PLC의 I/O 카드 등으로부터 수집된 데이터와 관련하여 음성 알람을 한다.

이를 위해, 상기 LTE 모듈은 자체 TTS엔진을 구비하여 상기한 주변 환경정보 레벨이 미리 설정된 운전위험레벨인 경우, 음성 알람을 한다.

이러한 경우, 상기 음성멘트는 예를 들어, LTE 모듈 자체에 구비된 플래시 음성메모리에 등록함으로써 이루어진다.

그래서, 이를 통해 PLC의 I/O 카드 등으로부터 수집된 데이터 등과 관련하여 음성 알람을 한다.

이와 관련하여, 추가적으로 상기 LTE 모듈은 관리자 음성을 포함한 외부 음성에 대해 노이즈 캔슬링 기능을 수행한다.

구체적으로, 상기 LTE 모듈은 비전감시와 관련된 관리자 등의 음성을 입력받아 노이즈 캔슬링을 수행하고 오디오 출력을 한다.

예를 들어, 이러한 경우 외부 오디오 입력을 받아 노이즈 캔슬링을 수행하고 LTE 모듈 자체에 구비된 오디오 앰프를 통해 오디오 출력을 한다.

또 다른 한편으로, 전술한 일실시예에 따른 시스템은 위의 PLC 컨트롤러와는 다른 형태로서 아래의 구성으로 된다.

즉, 이러한 시스템은 전술한 PLC와는 다른 형태로서, 외부 입출력 포트, 즉, 디지털 입력(Digital Input), 디지털 출력(Digital Output), 아날로그 입력(Analoge Input:4-20mA입력 등) 통신포트를 RS-485 통신포트, RS-232 통신포트, 랜(LAN)포트, 오디오포트 등을 카메라부에서 직접 처리할 수 있는 시스템을 제공할 수 있도록 한다.

이를 위해, 이러한 시스템은 외부 계측 기기로부터 각각 아날로그 데이터와 디지털 데이터를 수신하는 데이터 수집부와, 이에 따른 상용의 CPU를 포함한다.

상기 데이터 수집부는 아날로그 센서의 신호를 디지털 신호로 변환하는 ADC 컨버터와, 뷰어소프트웨어와 연동되어 전기적 입력을 받거나 출력으로 외부 센서를 제어하기 위한 GPIO 포트와, 상기 외부 계측기기로부터 디지털 데이터를 수신하기 위한 RS485 포트와, 상기 데이터 처리부와의 통신과 상기 뷰어소프트웨어와의 통신을 위한 RS232 포트 및 상기 ADC 컨버터, GPIO 포트, RS485 포트, RS232 포트와 연결되어 데이터를 처리하고 뷰어소프트웨어의 제어 명령을 수행하는 MCU를 포함할 수 있다.

따라서, 이를 통해 외부 입출력 포트, 즉, 디지털 입력, 디지털 출력, 아날로그 입력, RS-485 통신포트, RS232 통신포트, 랜포트, 오디오 포트 등을 시스템에서 직접 처리하도록 하여 NVR회사마다 다른 사양을 협의할 필요가 없는 효과가 있다.

또한, 외부 계측 기기를 제어하기 위한 데이터출력(D/O(data out)), 접점 출력, 알람 등을 제어하기 위한 포트, 데이터 입력(D/I(data in)), 아날로그 입력(Analog Input:4-20mA입력 등)은 MCU에서 전처리하여 CPU에 전달하고, RS-485 통신 포트, 랜포트, 오디오 포트 등을 두고, 다양한 포트에서 받아들인 외부 입력 데이터를 카

메라에서 직접 데이터 트렌드화 하여 관리자가 쉽게 유량과, 압력, 수위, 수질과 같은 데이터를 파악할 수 있으며, 이를 통하여 외부 시스템을 효율적으로 제어하는 방법을 제공하는 효과가 있다.

그리고, 이러한 경우 상기한 시스템은 외부 입출력 포트에 입력된 데이터를 자체 메모리에 직접적으로 데이터베이스화하여 이를 모니터에 영상으로 표출시 그래프 형식의 데이터 트렌드가 함께 표출되도록 한다.

이를 위해, 상기 시스템은 수집된 영상과 함께 처리된 주변 환경정보의 아날로그 또는 디지털 데이터는 SD에 데이터베이스로 저장되어 영상과 함께 데이터베이스가 문자 또는 그래프 형식의 데이터 트렌드로 중앙관제센터의 화면에 표시될 수 있다.

화면에 표시되는 내용은 주변 환경의 각종 상황에 대한 데이터베이

스가 영상과 함께 표출되며, 영상에 문자가 표출 될 시 글자의 문구, 문구 값의 단위, 문구의 화면 상 위치, 폰트, 색상 등으로 설정될 수 있다. 그리고, 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링(flickering)의 경우 중 어느 하나로 표시된다. 또한, 영상에 각종 상황에 대한 데이터베이스를 그래프 형식의 데이터 트렌드로 표출 할 시 데이터의 문구, 단위, 색깔을 관리자가 설정한대로 표출할 수 있다. 또는 영상에 표출된 트렌드의 바를 원하는 시간에 이동하면 이동된 바가 위치한 트렌드의 시간의 값이 나타나고, 데이터의 확인 후 이동바 위에 위치한 데이터 값은 자동으로 사라진다. 그리고, 경고 시, 표출 문구는 지정된 색으로 깜빡 깜빡거리거나, 글자는 지정된 색으로 가만히 있고 화면 전체가 컬러 또는 흑백의 지정된 색으로 깜빡 깜빡거리는 플리커링의 경우 중 어느 하나로 표시되는 기능을 포함한다.

상기 영상에 데이터 문자 및 그래프 형식의 데이터 트렌트를 표출 시 표출 방법을 설정하는 프로그램의 방법은 제너럴, 데이터아날로그(Data Analog), 데이터 디지털 입력, 디지털 출력으로 구성된다.

제너럴에서 일반적인 설정을 하며, 카메라부는 연결된 카메라부의 종류를 선택하는 것이고, 주소(Address)는 선택된 카메라부의 네트워크 주소, 프로토콜(Protocol)은 LS산전, 모드버스(Modbus), 프로피버스(Profibus) 등 카메라부(50)와 맞는 것으로 선택할 수 있으며, 통신(Communication)은 RS-232, RS485, 랜 통신 중 선택을 할 수 있으며 통신포트(Comm. Port)는 통신포트(Common Port) 단자 선택(COM1, COM2, ... , COM10), IP주소는 카메라의 IP 주소, 히스토리(History)의 트렌드(Trend)는 Live 또는 저장된 이전 데이터를 검색할 히스토리(History) 중 선택, 히스토리는 이전 데이터 검색의 날짜 선택, 주기(Period)는 검색 날짜 기간을

선택할 수 있다.

Analog에서는, 인에이블(Enable)은 표출 데이터의 사용 유무, 스트링(String)은 데이터 명칭, 메저(Measure)는 데이터 단위, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈(Size)는 문자의 크기, 컬러(Color)는 문자의 색깔, 디스플레이상태(Display Status)는 Text 또는 트렌드(Trend) 중 선택, 최소범위(Range Min)은 데이터의 최소 수치, 최대범위(Range Max)는 데이터의 최고 수치, 디스플레이시간(Display Time)은 트렌드 표출 시 트렌드 좌표 중 시간 영역 X좌표를 설정한 시간으로 표출한다.

디지털 입력의 인에이블은 표출 데이터의 사용 유무, 스트링은 데이터 명칭, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈는 문자의 크기, 컬러는 문자의 색깔, 이펙트(Effect)는 경보의 방법(글자의 빠른 깜빡임, 느린 깜빡임, 화면 깜빡임)을 설정하고, 디스플레이상태(Display Status)는 Text 또는 트렌드 중 선택, 디스플레이시간은 트렌드 표출 시 트렌드 좌표 중 시간 영역 X좌표를 설정한 시간으로 표출한다.

디지털 출력의 인에이블은 표출 데이터의 사용 유무, 스트링은 데이터 명칭, X축은 화면에 문자를 표시할 X축의 좌표, Y축은 화면에 문자를 표시할 Y축의 좌표, 사이즈는 문자의 크기, 컬러는 문자의 색깔, 이펙트는 경보의 방법을 설정하고, 제어상태(Control Status)는 제어시스템의 제어를 온/오프 중 선택하는 프로그램을 관리자 임의로 설정할 수 있는 기능이다.

한편, 부가적으로 이러한 시스템에 적용된 객체인식은 예를 들어 아래의 구성으로 이루어진다.

이러한 객체인식은 RPN(Region Proposal Network)을 이용하여 객체영역을 특정하고, 특정된 객체영역에서 객체인식 알고리즘을 이용하여 영상에 포함된 객체를 인식한 결과를 저장한다. 즉, 객체를 특정하는 RPN과 R-CNN알고리즘을 컨볼루션하여 객체를 인식한다. 그리고 나서, 상기 인식 결과 즉, 객체의 집적영상을 3차원 입체영상으로 표시한다.

예를 들어, 이때 상기 영상은 각종 단말기 또는 정보처리장치 등으로부터 제공받은 영상 등으로 된다.

다른 한편으로, 이와 다른 실시예에 따른 객체인식은 영상에서 인식하고자 하는 물체에 해당하는 영역을 RPN을 이용하여 지정하고, 지정한 영역내의 물체를 학습된 R-CNN 알고리즘을 객체데이터베이스에 저장된 객체특성을 비교하여 영상속의 객체로 특정한다.

구체적으로는, 영상에 포함되어 있는 물체에 해당하는 영역을 특정하기 위하여 RPN를 이용하여 객체영역을 추출한다.

다음, 상기 추출된 객체영역에 있는 물체를 하나의 객체로 인식하기 위하여 딥러닝 알고리즘인 R-CNN알고리즘을 이용하여 학습하여 저장된 객체데이터베이스의 여러 객체들과 비교한다.

그래서, 상기 비교 결과 영상 속의 물체가 객체데이터베이스의 객체로 인식이 되면 인식된 객체의 명칭 결과를 객체데이터베이스에 저장하여 학습 결과를 업그레이드한다.

즉, 상기 객체인식은 객체영역을 특정하는 RPN과 특정된 객체를 인식하는 알고리즘인 Fast R-CNN을 하나의 네트워크로 컨볼루션 결합을 통해 보다 빠르게 객체인식을 위해 영상내의 물체와 객체데이터베이스에 저장된 다양한 정보와 비교함으로써 발생하는 많은 연산에 따라 소요되는 시간을 줄인다. 그리고, 이에 따라 더 나아가 시스템 성능이 낮은 환경보다 훨씬 빠르게 객체를 인식할 수 있다.

그래서, 이와 같이 종래 시스템의 성능이 낮은 환경에서 3차원 영상 이미지를 구현하기 위하여 많은 부하가 발생하고, 객체 인식을 많은 시간이 소요되는 문제점을 해결하기 위하여 탐색하고자 하는 물체에 대한 객체 인식을 별도의 딥러닝알고리즘에 의해 사전 훈련 된 신경망을 사용하여 수행 한 FAST R-CNN 알고리즘을 이용한다.

따라서, 이를 통해 시스템 성능이 낮은 환경에서도 3차원 영상을 쉽고, 빠르게 실시간으로 구현할 수 있는 효과가 있다.

110 : RGB-D카메라 120 : 중앙제어반
130 : 디스플레이 장치 121 : I/O 모듈부
122 : DSP부 123 : 제어부
124 : 저장부

Claims (10)

1. 로봇비전 감시를 할 경우, 비전 데이터에서 3차원으로 물체를 인식함으로써, 로봇비전 감시를 수행할 수 있도록 하는 방법에 있어서,
   상기 객체의 영역을 분할하기 전에 미리 다수의 상이한 RGB영상만으로부터의 2D객체 영역분할을 위한 딥러닝 학습을 통해 객체 영역에 관한 딥러닝 파라미터를 산출하여 객체2D영역분할 딥러닝 모델을 구축하는 제 1 단계;
   RGB-D카메라로부터의 RGB영상으로부터 객체2D영역분할을 상기 객체2D영역분할 딥러닝 모델에 의해 수행하는 제 2 단계;
   상기 객체2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이(Depth)데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득하는 제 3 단계; 및
   상기 객체의 깊이 정보에 원근변환을 적용하여 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB 정보를 획득할 수 있도록 하는 제 4 단계; 를 포함하는 것을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법.
2. 청구항 1에 있어서,
   상기 제 1 단계는
   상기 객체2D영역분할 딥러닝 모델이 미리 다수의 상이한 RGB영상으로부터의 2D객체 영역분할을 위한 마스크 R-CNN형 딥러닝 학습을 통해 2D객체 영역별로 대표 임계값을 추출하여 이진 마스크를 생성함으로써, 마스크 R-CNN 기반의 객체2D영역분할 딥러닝 모델로 된 것; 을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법.
3. 청구항 1에 있어서,
   상기 제 1 단계는
   인식하고자 하는 물체에 대해 RGB-D 카메라를 통해 RGB 영상만을 수집하는 제 1-1 단계;
   상기 RGB 영상 내의 물체의 영역을 미리 정의하여 표시하고 그 물체의 종류를 지정함으로써, 학습용 데이터를 만드는 제 1-2 단계;
   상기 학습용 데이터에 미리 설정된 객체분할 딥러닝 모델을 적용해서 객체의 영역만을 분할하는 제 1-3 단계;
   상기 분할 결과를 통해 나온 데이터셋을 미리 설정된 2D객체 영역분할을 위한 딥러닝 모델에 적용해서 학습하는 제 1-4 단계;
   상기 학습 결과로부터 객체 영역에 관한 딥러닝 파라미터를 산출하는 제 1-5 단계; 및
   상기 객체 영역에 관한 딥러닝 파라미터로부터 객체2D영역분할 딥러닝 모델을 구축하는 제 1-6 단계; 를 포함하는 것을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법.
4. 청구항 1에 있어서,
   상기 제 3 단계는
   다수의 상이한 카메라 (성능)사양별로 대응하는 해상도 정보를 매칭한 매칭정보를 미리 설정 등록하는 제 3-1 단계;
   상기 RGB-D카메라로부터의 깊이데이터를 상기 매칭정보에 따라 현재 사용중인 카메라 (성능)사양에 대응하는 해상도로서 추출하는 제 3-2 단계; 및
   상기 객체2D영역분할 결과와, 상기 추출된 RGB-D카메라로부터의 깊이데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득하는 제 3-3 단계; 를 포함하는 것을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법.
5. 청구항 1에 있어서,
   상기 제 2 단계는
   상기 RGB-D카메라로부터의 RGB영상으로부터 배경 영상을 생성하는 제 2-1 단계;
   상기 배경 영상과 상기 RGB영상을 비교하여 미리 설정된 값만큼의 차이가 나는 화소를 산출하는 제 2-2 단계;
   상기 산출 결과를 사용하여 차이 값이 임계치 이상인 영역을 전경 영상으로 획득하는 제 2-3 단계;
   상기 전경 영상의 노이즈를 모폴로지 필터를 통해 삭제하는 제 2-4 단계;
   상기 노이즈가 제거된 전경 영상에서 객체의 윤곽을 추출하는 제 2-5 단계;
   상기 객체의 윤곽 결과를 사용하여 미리 설정된 최소 크기 이하의 윤곽을 인접한 윤곽과 결합하여 단일 객체로 처리하는 제 2-6 단계; 및
   상기 단일 객체 결과를 사용하여 객체2D영역분할을 상기 객체2D영역분할 딥러닝 모델에 의해 수행하는 제 2-7 단계; 를 포함하는 것을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 방법.
6. 로봇비전 감시를 할 경우, 비전 데이터에서 3차원으로 물체를 인식함으로써, 로봇비전 감시를 수행할 수 있도록 하는 시스템에 있어서,
   인식하고자 하는 물체에 대한 RGB영상과 깊이데이터를 수집하는 RGB-D카메라;
   상기 RGB영상과 깊이데이터만으로 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB 정보를 획득할 수 있도록 하는 중앙제어반; 및
   상기 객체의 3D객체영역분할 결과를 제공하는 디스플레이 장치; 를 포함하고 있으며,
   상기 중앙제어반은
   a) 상기 객체의 영역을 분할하기 전에 미리 다수의 상이한 RGB영상만으로부터의 2D객체 영역분할을 위한 딥러닝 학습을 통해 객체 영역에 관한 딥러닝 파라미터를 산출하여 객체2D영역분할 딥러닝 모델을 구축하고,
   b) 상기 RGB-D카메라로부터의 RGB영상으로부터 객체2D영역분할을 상기 객체2D영역분할 딥러닝 모델에 의해 수행하고,
   c) 상기 객체2D영역분할 결과와, 상기 RGB-D카메라로부터의 깊이(Depth)데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득하며,
   d) 상기 객체의 깊이 정보에 원근변환을 적용하여 객체의 3D객체영역분할을 수행함으로써, 객체의 xyz와 RGB 정보를 획득할 수 있도록 하는 것; 을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 시스템.
7. 청구항 6에 있어서,
   상기 객체2D영역분할 딥러닝 모델은
   미리 다수의 상이한 RGB영상으로부터의 2D객체 영역분할을 위한 마스크 R-CNN형 딥러닝 학습을 통해 2D객체 영역별로 대표 임계값을 추출하여 이진 마스크를 생성함으로써, 마스크 R-CNN 기반의 객체2D영역분할 딥러닝 모델로 된 것; 을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 시스템.
8. 청구항 6에 있어서,
   상기 객체2D영역분할 딥러닝 모델을 구축하는 것(a))은
   a-1) 인식하고자 하는 물체에 대해 RGB-D 카메라를 통해 RGB 영상을 수집하고,
   a-2) 상기 RGB 영상 내의 물체의 영역을 미리 정의하여 표시하고 그 물체의 종류를 지정함으로써, 학습용 데이터를 만들고,
   a-3) 상기 학습용 데이터에 미리 설정된 객체분할 딥러닝 모델을 적용해서 객체의 영역만을 분할하며,
   a-4) 상기 분할 결과를 통해 나온 데이터셋을 미리 설정된 2D객체 영역분할을 위한 딥러닝 모델에 적용해서 학습하고,
   a-5) 상기 학습 결과로부터 객체 영역에 관한 딥러닝 파라미터를 산출하고,
   a-6) 상기 객체 영역에 관한 딥러닝 파라미터로부터 객체2D영역분할 딥러닝 모델을 구축하는 것; 을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 시스템.
9. 청구항 6에 있어서,
   상기 객체의 깊이 정보를 획득하는 것(c))은
   c-1) 다수의 상이한 카메라 (성능)사양별로 대응하는 해상도 정보를 매칭한 매칭정보를 미리 설정 등록하고,
   c-2) 상기 RGB-D카메라로부터의 깊이데이터를 상기 매칭정보에 따라 현재 사용중인 카메라 (성능)사양에 대응하는 해상도로서 추출하고,
   c-3) 상기 객체2D영역분할 결과와, 상기 추출된 RGB-D카메라로부터의 깊이데이터 간에 논리적 AND를 수행함으로써, 객체의 깊이 정보를 획득하는 것; 을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 시스템.
10. 청구항 6에 있어서,
    상기 객체2D영역분할을 객체2D영역분할 딥러닝 모델에 의해 수행하는 것(b))은
    b-1) 상기 RGB-D카메라로부터의 RGB영상으로부터 배경 영상을 생성하고,
    b-2) 상기 배경 영상과 상기 RGB영상을 비교하여 미리 설정된 값만큼의 차이가 나는 화소를 산출하고,
    b-3) 상기 산출 결과를 사용하여 차이 값이 임계치 이상인 영역을 전경 영상으로 획득하며,
    b-4) 상기 전경 영상의 노이즈를 모폴로지 필터를 통해 삭제하고,
    b-5) 상기 노이즈가 제거된 전경 영상에서 객체의 윤곽을 추출하는 제 2-5 단계;
    상기 객체의 윤곽 결과를 사용하여 미리 설정된 최소 크기 이하의 윤곽을 인접한 윤곽과 결합하여 단일 객체로 처리하고,
    b-6) 상기 단일 객체 결과를 사용하여 객체2D영역분할을 상기 객체2D영역분할 딥러닝 모델에 의해 수행하는 것; 을 특징으로 하는 RGB-D 데이터와 딥러닝을 이용한 3D객체영역분할 시스템.

Images