KR20220111074A - 적재된 객체 인식 장치 및 객체 인식 방법 - Google Patents

적재된 객체 인식 장치 및 객체 인식 방법 Download PDF

Info

Publication number
KR20220111074A
KR20220111074A KR1020210014261A KR20210014261A KR20220111074A KR 20220111074 A KR20220111074 A KR 20220111074A KR 1020210014261 A KR1020210014261 A KR 1020210014261A KR 20210014261 A KR20210014261 A KR 20210014261A KR 20220111074 A KR20220111074 A KR 20220111074A
Authority
KR
South Korea
Prior art keywords
angle
image
camera
coordinate
map
Prior art date
Application number
KR1020210014261A
Other languages
English (en)
Other versions
KR102537295B1 (ko
Inventor
박성호
정의정
박현준
배종호
김민규
조건래
Original Assignee
한국로봇융합연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국로봇융합연구원 filed Critical 한국로봇융합연구원
Priority to KR1020210014261A priority Critical patent/KR102537295B1/ko
Publication of KR20220111074A publication Critical patent/KR20220111074A/ko
Application granted granted Critical
Publication of KR102537295B1 publication Critical patent/KR102537295B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/40—Image enhancement or restoration using histogram techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

객체 인식 장치가 개시된다. 상기 객체 인식 장치는, 적재되어 있는 객체의 컬러 이미지 및 깊이 이미지를 획득하는 카메라와; 상기 깊이 이미지로부터 수집된 포인트 클라우드를 기반으로 상기 객체와 상기 카메라에 사이의 각도에 대한 각도 맵을 생성하는 각도 맵 생성부와; 상기 각도 맵을 기반으로 상기 객체 이외의 배경 공간에 대한 각도를 제거하는 배경 제거부와; 상기 배경 공간이 제거된 각도 맵을 기반으로 상기 객체가 적재된 레이어 별로 깊이 값 히스토그램을 생성하는 히스토그램 생성부와; 상기 깊이 값 히스토그램을 기반으로 상기 레이어 별 마스크를 생성하고, 상기 마스크와 상기 컬러 이미지를 결합하여 상기 레이어 별 객체 이미지를 생성하는 영상 추출부를 포함한다.

Description

적재된 객체 인식 장치 및 객체 인식 방법{LOADED OBJECT RECOGNITION DEVICE AND OBJECT RECOGNITION METHOD}
본 발명은 적재된 객체 인식 장치 및 객체 인식 방법에 관한 것이다.
온라인 시장의 규모가 커짐에 따라 택배 물량 또한 기하급수적으로 늘어나고 있다. 이에 맞춰 물류 자동화 시스템 또한 크게 발전되고 있다.
현재, 이러한 물류 하차 작업은 대부분 수작업으로 이뤄지고 있으며, 이 작업은 지속적인 강한 노동 강도를 요구한다. 이를 해결하기 위하여 자동 하차 시스템이 개발되고 있다. 한편, 자동 하차에서 가장 먼저 수행되어야 될 작업은 물류의 적재 상황을 파악하는 것이다.
상기와 같이, 물류 하차 작업의 자동화를 이루기 위해서 가장 먼저 이루어져야 할 단계는 물류의 적재상황 및 개별 물류를 파악하는 것이다.
현재 화물의 적재 상황을 파악하기 위하여 3D 카메라 혹은 2D 레이저 스케너를 회전하여 물류 적재 상황을 파악하는 방법과, 물류 모양을 학습하여 적재 상황을 파악하는 방법이 있다. 3D 카메라를 이용하여 물류적재 상황을 파악하는 관심영역 이외의 대상을 제외하지 않으며, 2D 레이저 스케너 역시 그러하다.
하지만, 물류의 적재상황 및 개별 물류를 파악하기 위하여 먼저 관심 대상인 최전방 물류를 제외한 부분은 영상에서 제거되어야 한다.
이에 3D 카메라에서 획득한 포인트 클라우드(point cloud) 정보를 활용하여 영상에서 외벽 및 바닥을 제거하는 기술이 필요하다.
한국등록특허공부 제10-2178013호 (2020.11.06)
본 발명이 해결하고자 하는 과제는, 포인트 클라우드 정보를 활용하여 영상에서 외벽 및 바닥을 제거할 수 있는 객체 인식 장치 및 객체 인식 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는, 제거된 깊이 정보를 활용하여 화물의 각 레이어별 마스크 데이터를 생성할 수 있는 객체 인식 장치 및 객체 인식 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는, 생성된 마스크 데이터와 적재된 화물 영상을 합하여 화물 레이어별 영상을 추출 할 수 있는 객체 인식 장치 및 객체 인식 방법을 제공하는 것이다.
본 발명의 실시예에 따르면, 객체 인식 장치가 제공된다. 상기 객체 인식 장치는, 적재되어 있는 객체의 컬러 이미지 및 깊이 이미지를 획득하는 카메라와; 상기 깊이 이미지로부터 수집된 포인트 클라우드를 기반으로 상기 객체와 상기 카메라에 사이의 각도에 대한 각도 맵을 생성하는 각도 맵 생성부와; 상기 각도 맵을 기반으로 상기 객체 이외의 배경 공간에 대한 각도를 제거하는 배경 제거부와; 상기 배경 공간이 제거된 각도 맵을 기반으로 상기 객체가 적재된 레이어 별로 깊이 값 히스토그램을 생성하는 히스토그램 생성부와; 상기 깊이 값 히스토그램을 기반으로 상기 레이어 별 마스크를 생성하고, 상기 마스크와 상기 컬러 이미지를 결합하여 상기 레이어 별 객체 이미지를 생성하는 영상 추출부를 포함한다.
상기 컬러 이미지 및 상기 깊이 이미지의 좌표가 보정될 수 있다.
상기 각도 맵 생성부는 상기 포인트 클라우드 내 하나의 좌표와 상기 좌표와 우측으로 인접한 우측 좌표 및 상기 좌표와 하단으로 인접한 하단 좌표를 기반으로 법선 벡터를 도출할 수 있고, 상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도를 도출할 수 있다.
상기 배경 제거부는 상기 각도 맵에서 기준 각도를 기준으로 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거할 수 있다. 상기 기준 각도는 상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도가 0도 일 수 있다.
상기 배경 제거부는 상기 기준 각도에 대한 상기 카메라의 상대 각도를 보정한 후 상기 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거할 수 있다.
상기 영상 추출부는 상기 레이어의 평균 위치 값과 상기 컬러 이미지를 결합하여 상기 객체 이미지를 생성할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 적재된 객체를 인식하는 방법이 제공된다. 상기 객체 인식 방법은, 카메라로부터 적재되어 있는 객체의 컬러 이미지 및 깊이 이미지를 획득하는 이미지 획득 단계와; 상기 깊이 이미지로부터 수집된 포인트 클라우드를 기반으로 상기 객체와 상기 카메라에 사이의 각도에 대한 각도 맵을 생성하는 각도 맵 생성 단계와; 상기 각도 맵을 기반으로 상기 객체 이외의 배경 공간에 대한 각도를 제거하는 배경 제거 단계와; 상기 배경 공간이 제거된 각도 맵을 기반으로 상기 객체가 적재된 레이어 별로 깊이 값 히스토그램을 생성하는 히스토그램 생성 단계와; 상기 깊이 값 히스토그램을 기반으로 상기 레이어 별 마스크를 생성하고, 상기 마스크와 상기 컬러 이미지를 결합하여 상기 레이어 별 객체 이미지를 생성하는 영상 추출 단계를 포함한다.
상기 각도 맵 생성 단계는, 상기 포인트 클라우드 내 하나의 좌표와 상기 좌표와 우측으로 인접한 우측 좌표 및 상기 좌표와 하단으로 인접한 하단 좌표를 기반으로 법선 벡터를 도출할 수 있고, 상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도를 도출할 수 있다.
상기 배경 제거 단계는 상기 각도 맵에서 기준 각도를 기준으로 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거할 수 있다. 상기 기준 각도는 상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도가 0도 일 수 있다.
상기 배경 제거 단계는 상기 기준 각도에 대한 상기 카메라의 상대 각도를 보정한 후 상기 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거할 수 있다.
본 발명의 실시예에 따르면, 포인트 클라우드 정보를 활용하여 영상에서 외벽 및 바닥을 제거할 수 있는 객체 인식 장치 및 객체 인식 방법이 제공된다.
본 발명의 실시예에 따르면, 제거된 깊이 정보를 활용하여 화물의 각 레이어별 마스크 데이터를 생성할 수 있는 객체 인식 장치 및 객체 인식 방법이 제공된다.
본 발명의 실시예에 따르면, 생성된 마스크 데이터와 적재된 화물 영상을 합하여 화물 레이어별 영상을 추출 할 수 있는 객체 인식 장치 및 객체 인식 방법이 제공된다.
이로써, 후방에 배치된 물류를 정확하고 빠르게 파악하여 물류 하차의 속도를 높일 수 있다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 장치의 제어 블록도이다.
도 2는 본 발명의 일 실시예에 따른 컬러 이미지 및 각도 맵을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 깊이 히스토그램을 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 레이어 별 마스크 및 객체 이미지를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 객체 인식 장치의 객체 인식 방법을 설명하기 위한 제어 흐름도이다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서 및 도면(이하 '본 명세서')에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
도 1은 본 발명의 일 실시예에 따른 객체 인식 장치의 제어 블록도이다.
도시된 바와 같이, 본 실시예에 따른 객체 인식 장치는 카메라(10), 각도 맵 생성부(20), 배경 제거부(30), 히스토그램 생성부(40) 및 영상 추출부(50)를 포함할 수 있다. 객체 인식 장치는 카메라 및 이에 대한 영상을 처리할 수 있는 단일 모듈로 구성될 수 있고, 적재된 화물을 로딩 또는 하차하는 로봇에 부착되거나 이러한 로봇과 통신할 수 있는 컴퓨터로 구현될 수 있다.
객체 인식 장치에 포함된 각 구성 요소는 설명의 편의를 위하여 기능적으로 구분하여 기술한 것으로 물리적인 구별을 의미하는 것은 아니다. 상기 구성 요소들은 적어도 하나의 기능을 수행하는 복수의 모듈로 구성될 수도 있고, 하나의 모듈로 구현될 수도 있다.
카메라(10)는 적재되어 있는 객체의 컬러 이미지 및 깊이 이미지를 획득하고, 객체의 컬러 이미지 및 깊이 이미지를 개별적으로 획득하는 복수의 카메라로 구성될 수도 있고, 객체의 컬러 이미지 및 깊이 이미지를 동시에 촬상하는 3D 센서로 구현될 수도 있다.
도시하지 않았지만, 카메라(10)로부터 획득된 컬러 이미지 및 깊이 이미지의 켈리브레이션을 통하여 이미지 내 픽셀 정보를 통일하는 영상 보정부를 더 포함할 수 있다. 이러한 영상 보정부는 별도의 구성으로 마련될 수 있고, 카메라(10)와 머지된 하나의 모듈로 구현될 수도 있다. 이러한 영상 보정은 각도 맵 생성부(20)에서 수행될 수도 있다.
카메라(10)로부터 획득되는 이러한 이미지를 통하여 적재된 화물에 대한 포인트 클라우드 정보가 도출될 수 있다.
포인트 클라우드는 3차원 이미지를 획득할 수 있는 센서(본 실시예에서는 카메라)에서 수집되는 데이터를 의미하며, 3차원 공간 상에 퍼저 있는 여러 포인트의 집합을 일컫는다. 이러한 포인트 클라우드는 2D 이미지와 달리 깊이, 즉 Z 축에 대한 정보를 포함하고 있다.
각도 맵 생성부(20)는 깊이 이미지로부터 수집된 포인트 클라우드를 기반으로 객체와 카메라(10)에 사이의 각도에 대한 각도 맵을 생성할 수 있다.
각도 맵 생성부(20)는 포인트 클라우드 좌표를 이용하여 2개의 벡터를 구한 다음 법센 벡터를 생성한다. 법선 벡터와 카메라(10)의 좌표계와의 각도가 도출될 수 있고, 이를 활용하여 각도맵이 생성될 수 있다.
Figure pat00001
상기 수학식 1에서, v(i,j)는 해당 각도맵의 법선 벡터를 나타내며, d(i,j)는 해당 픽셀의 좌표, d(i+1,j)는 d(i,j)의 우측에 위치한 우측 픽셀의 좌표, d(i,j+1)은 d(i,j)의 아래쪽에 위치한 하단 픽셀의 좌표를 나타낸다.
이렇게 도출된 법선벡터와 카메라 좌표계 중 z-축과의 각도를 계산하면, 수학식 2와 같다.
Figure pat00002
수학식 2에서 z는 카메라의 정면에 해당하는 카메라 z-축의 단위 벡터를 나타내고, 이렇게 생성된 각도 맵을 이용하여 외벽과 바닥을 제거할 수 있다.
도 2는 본 발명의 일 실시예에 따른 컬러 이미지 및 각도 맵을 도시한 도면이다.
도 2의 (a)는 카메라(10)에 의해 촬상된 객체, 즉 화물의 컬러 이미지를 도시한 것이고, (b)는 각도 맵 생성부(20)에서 생성된 각도 맵을 도시한 것이다.
도 2의 (b)과 같이 각도 맵 생성부(20)에서 생성된 각도 맵에는 외벽 및 바닥 부분이 회색으로 표시되고, 이러한 부분을 제거함으로써 화물에 대한 정확한 관심 영역을 추출할 수 있다.
배경 제거부(30)는 각도 맵을 기반으로 객체 이외의 배경 공간에 대한 각도를 제거할 수 있다. 배경 제거부(30)에 의하여 배경 공간이 제거되면 도 2의 (c)와 같은 각도 맵이 생성될 수 있다.
이를 위하여, 배경 제거부(30)는 각도 맵에서 기준 각도를 기준으로 소정 범위 내의 각도에 대응하는 좌표를 각도 맵에서 제거할 수 있다.
이 때, 기준 각도는 화물에 대한 이미지에서 도출된 법선 벡터와 카메라(10)의 Z 좌표 사이의 각도가 0도인 것으로 설정될 수 있다.
즉, 배경 제거부(30)는 카메라(10)가 화물과 정면으로 위치하여 기준 각도에서 이미지가 획득된 경우라면, 외벽으로 판단될 수 있는 소정 범위, 예컨대 0~10도 또는 170~180 사이의 각도를 제거할 수 있다.
이 때, 배경 제거부(30)는 기준 각도와 카메라의 상대 각도를 반영하여 외벽으로 판단되는 각도를 제거할 수 있다. 예를 들어, 만약 카메라(10)의 회전에 의하여 관심영역인 화물 영역에 대한 상대 각도가 발생되면, 즉 카메라(10)가 기준 각도 위치에 있지 않을 때, 카메라(10)가 틀어진 각도만큼 소정 범위도 변경될 수 있다.
또는, 배경 제거부(30)는 카메라(10)에 부착된 각도 센서를 이용하여 카메라(10)의 위치를 보정하여 각도 맵을 재생성하고, 재생성된 각도 맵에서 화물을 제외한 나머지 배경 부분을 제거할 수 있다.
상술된 바와 같이, 카메라(10)는 움직이는 로봇에 장착될 수도 있기 때문에고정되어 있지 않아 기준 각도를 만족하지 못할 수 있다. 이 경우, 본 실시예에 따르면 기준 각도와 카메라(10)의 틀어진 각도를 보정하고, 이를 기반으로 외벽과 같은 배경 이미지를 제거할 수 있다.
히스토그램 생성부(40)는 배경 공간이 제거된 각도 맵을 기반으로 객체가 적재된 레이어 별로 깊이 값 히스토그램을 생성할 수 있다.
도 3은 본 발명의 일 실시예에 따른 깊이 히스토그램을 도시한 도면이다.
도 3의 (a)는 외벽 제거 전과 후의 깊이 값 히스토그램을 나타내고 있고, 도 3의 (b)는 이렇게 생성된 깊이 갚 데이터를 기반으로 판단된 레이어를 나타낸다.
도 3의 (a)와 같이 외벽 데이터가 제거되면 깊이 데이터에서 레이어를 보다 쉽게 판단할 수 있고, 이를 근거로 레이어 별로 깊이 값을 도출할 수 있다.
이 때, 각 레이어의 평균 위치 값이 연산될 수 있다.
영상 추출부(50)는 깊이 값 히스토그램을 기반으로 레이어 별 마스크를 생성하고, 레이어 별 마스크와 컬러 이미지를 결합하여 레이어 별 객체 이미지를 생성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 레이어 별 마스크 및 객체 이미지를 도시한 도면이다.
도 4의 가장 왼쪽에 나타난 흑백 이미지가 레이어 별 마스크를 나타내고, 가장 오른쪽 이미지가 각 레이어 별로 도출된 객체 이미지를 나타낸다.
영상 추출부(50)는 레이어의 평균 위치 값을 기반으로 레이어 별로 마스크를 생성할 수 있다. 사용자는 자신이 원하는 레이어에 대한 마스크만을 활용할 수도 있고, 레이어 별 마스크를 통하여 적재된 화물을 인식하고 하차의 하역 계획을 세울 수도 있다.
레이어 별로 생성된 마스크와 화물에 대한 컬러 이미지를 합성하면, 도 4와 같은 객체 이미지가 생성된다.
도 4의 가장 마지막 이미지를 통해 현재 화물이 3개의 레이어로 적재된 것으로 판단할 수 있고, 각 레이어 별 화물의 개수, 크기 등이 파악될 수 있다.
이러한 화물에 대한 파악 결과는 화물 하차를 위한 기계적 시스템에 제공될 수 있고, 이를 바탕으로 기계에 의한 자동 하차가 이루어 질 수 있다.
일 예에 따라, 각도 맵에서 제거되는 각도의 조절 또는 제어를 통하여 바닥 또는 천장이 제거될 수 있고, 화물이 차량 또는 실내와 같은 갖힌 공간이 아니더라도 컬러 이미지 및 깊이 값 정보에 기초하여 외부의 배경이 삭제될 수 있다.
도 5는 본 발명의 일 실시예에 따른 객체 인식 장치의 객체 인식 방법을 설명하기 위한 제어 흐름도이다. 도 5를 참조하여 본 실시예에 따른 객체 인식 방법을 정리하면 다음과 같다.
우선, 카메라, 예를 들어, 객체의 3차원 이미지를 촬상할 수 있는 3D 카메라 또는 3D 센서로부터 적재되어 있는 객체의 컬러 이미지 및 깊이 이미지를 획득할 수 있다(S510).
일 예에 따라, 객체는 레이어로, 즉 카메라 정면에서 보았을 때 깊이 방향의 레이어를 이루며 적재되어있는 화물일 수 있고, 카메라는 적재된 화물을 다른 곳으로 이동시키거나 하차하기 위하여 적재된 화물을 꺼내는 방향, 즉 레이어의 수직 방향에 설치될 수 있다.
이러한 카메라는 화물을 하차하는 로봇에 설치되거나 레이어의 수직 방향에임의로 설치될 수 있다.
이렇게 3D 카메라에 의하여 객체의 영상이 촬상되면, 객체의 컬러 이미지 외에 깊이 정보를 포함하는 깊이 이미지가 획득되고, 이러한 깊이 이미지로부터 각 픽셀 별로 좌표값을 갖는 포인트 클라우드 정보가 도출될 수 있다.
컬러 이미지와 깊이 이미지는 하나의 카메라를 통하여 도출될 수도 있고, 서로 다른 카메라를 통하여 획득될 수도 있다.
이미지 획득 단계에서 컬러 이미지 및 깊이 이미지에 대한 좌표 보정, 즉 각 픽셀에 대한 컬러 이미지 및 깊이 이미지의 좌표를 켈리브레이션 하는 과정이 수행될 수 있다.
이 후, 깊이 이미지로부터 수집된 포인트 클라우드를 기반으로 객체와 카메라에 사이의 각도에 대한 각도 맵이 생성될 수 있다(S520).
이는 객체 인식 장치의 각도 맵 생성부에 의하여 이루어 질 수 있으며, 각도 맵 생성부는 포인트 클라우드 내 하나의 좌표와, 이 좌표와 우측으로 인접한 우측 좌표 및 좌표와 하단으로 인접한 하단 좌표를 기반으로 법선 벡터를 도출하고, 법선 벡터와 카메라의 Z 좌표 사이의 각도를 도출함으로써 각도 맵을 생성할 수 있다.
이렇게 카메라가 객체를 바라보는 방향에 대한 각도 맵이 생성되면, 각도 맵을 기반으로 객체 이외의 배경 공간에 대한 각도가 제거될 수 있다(S530).
예를 들어, 화물이 화물 차량이나 창고과 같은 외벽, 천장 및 바닥과 같은 공간 내에 적재되어 있다면, 각도 제거 단계에서 해당 부분에 대응하는 이미지가 제거될 수 있다.
배경 제거부는 각도 맵에서 기준 각도를 기준으로 소정 범위 내의 각도에 대응하는 좌표를 각도 맵에서 제거할 수 있으며, 이때, 기준 각도는 각 좌표에 대한 법선 벡터와 카메라의 Z 좌표 사이의 각도가 0도인 것으로 설정될 수 있다. 즉, 카메라가 적재된 화물의 정면에 위치하고 있을 때의 각도가 기준 각도가 될 수 있다.
이렇게 기준 각도가 정해지면, 배경 제거부는 외벽이라고 판단할 수 있는 0~10, 또는 170~180 사이의 좌표를 각도 맵에서 제거할 수 있다. 즉, 외벽으로 판단된 부분이 제거됨으로써, 적재된 화물을 관심 영역으로 한정할 수 있다.
이 때, 배경 제거부는 기준 각도와 카메라의 상대 각도를 반영하여 특정 각도에 대응하는 좌표를 각도 맵에서 제거할 수 있다. 예를 들어, 카메라가 적재된 화면의 정면이 아닌 약 10도 정도 회전된 방향에서 컬러 이미지 및 깊이 이미지를 획득한 거라면, 배경 제거부는 이러한 상대적인 각도를 반영하여 -10~0 또는 180~190 사이의 좌표를 제거할 수 있다.
또는 다른 예에 따라, 배경 제거부는 기준 각도에 대한 카메라의 상대 각도를 보정한 후 소정 범위 내의 각도에 대응하는 좌표를 각도 맵에서 제거할 수 있다. 예를 들어, 카메라가 적재된 화면의 정면이 아닌 약 10도 정도 회전된 방향에서 컬러 이미지 및 깊이 이미지를 획득한 거라면, 이를 반영하여 깊이 맵의 좌표를 미리 보정하고, 이후, 0~10, 또는 170~180 사이의 좌표를 각도 맵에서 제거할 수 있다.
이렇게 적재된 화물과 카메라의 방향이 기준 각도를 만족하지 않는 경우, 이를 자동으로 보정하고, 외벽과 같은 배경에 제거될 수 있다.
배경 공간이 제거된 각도 맵을 기반으로 레이어 별 깊이 값 히스토그램이 생성될 수 있다(S540).
도 3의 히스토그램을 통해 적재된 화물의 레이어를 구분할 수 있다. 이 때, 각 레이터의 평균 위치값이 계산될 수 있다.
이 후, 깊이 값 히스토그램을 기반으로 레이어 별 마스크가 생성되고, 도 4과 같이 마스크와 컬러 이미지를 결합하여 레이어 별 객체 이미지가 생성될 수 있다(S550).
이 때, 객체 이미지는 레이어에 대한 평균 위치 값과 컬러 이미지를 결합함으로써 도출될 수 있다.
이렇게 생성된 객체 이미지를 통하여 가장 앞에 있는 레이어, 즉 제1 레이어에 있는 화물이 직관적으로 인식되고, 화물의 하차를 수행하는 로봇은 이를 근거로 해당 레이어의 화물을 하차시킬 수 있다.
이렇게 첫 번째 레이어의 하차가 수행되면, 두 번째 레이어에 대한 객체 이미지를 바탕으로 두 번째 레이어의 화물을 하차시킬 수 있다.
이와 같이, 레이어 별 객체 이미지만을 추출할 수 있고, 적재 화물을 레이어 별로 구분할 수 있다.
상술된 바와 같이, 본 발명은 3D 카메라를 활용하여, 영상 인식에 방해가 될 수 있는 적재 공간의 외벽을 제거하며, 깊이 데이터를 이용하여 적재 화물에 대한 레이어별로 적재 상황을 파악할 수 있는 객체 인식 장치 및 방법을 제안한다.
도 6은 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 6의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 객체인식장치 등) 일 수 있다.
도 6의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 적재되어 있는 객체의 컬러 이미지 및 깊이 이미지를 획득하는 카메라와;
    상기 깊이 이미지로부터 수집된 포인트 클라우드를 기반으로 상기 객체와 상기 카메라에 사이의 각도에 대한 각도 맵을 생성하는 각도 맵 생성부와;
    상기 각도 맵을 기반으로 상기 객체 이외의 배경 공간에 대한 각도를 제거하는 배경 제거부와;
    상기 배경 공간이 제거된 각도 맵을 기반으로 상기 객체가 적재된 레이어 별로 깊이 값 히스토그램을 생성하는 히스토그램 생성부와;
    상기 깊이 값 히스토그램을 기반으로 상기 레이어 별 마스크를 생성하고, 상기 마스크와 상기 컬러 이미지를 결합하여 상기 레이어 별 객체 이미지를 생성하는 영상 추출부
    를 포함하는 것을 특징으로 하는 객체 인식 장치.
  2. 제1항에 있어서,
    상기 컬러 이미지 및 상기 깊이 이미지의 좌표가 보정되는 것을 특징으로 하는 객체 인식 장치.
  3. 제1항에 있어서,
    상기 각도 맵 생성부는 상기 포인트 클라우드 내 하나의 좌표와 상기 좌표와 우측으로 인접한 우측 좌표 및 상기 좌표와 하단으로 인접한 하단 좌표를 기반으로 법선 벡터를 도출하고,
    상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도를 도출하는 것을 특징으로 하는 객체 인식 장치.
  4. 제3항에 있어서,
    상기 배경 제거부는 상기 각도 맵에서 기준 각도를 기준으로 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거하고,
    상기 기준 각도는 상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도가 0도인 것을 특징으로 하는 객체 인식 장치.
  5. 제4항에 있어서,
    상기 배경 제거부는 상기 기준 각도에 대한 상기 카메라의 상대 각도를 보정한 후 상기 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거하는 것을 특징으로 하는 객체 인식 장치.
  6. 제3항에 있어서,
    상기 영상 추출부는 상기 레이어의 평균 위치 값과 상기 컬러 이미지를 결합하여 상기 객체 이미지를 생성하는 것을 특징으로 하는 객체 인식 장치.
  7. 적재된 객체를 인식하는 방법에 있어서,
    카메라로부터 적재되어 있는 객체의 컬러 이미지 및 깊이 이미지를 획득하는 이미지 획득 단계와;
    상기 깊이 이미지로부터 수집된 포인트 클라우드를 기반으로 상기 객체와 상기 카메라에 사이의 각도에 대한 각도 맵을 생성하는 각도 맵 생성 단계와;
    상기 각도 맵을 기반으로 상기 객체 이외의 배경 공간에 대한 각도를 제거하는 배경 제거 단계와;
    상기 배경 공간이 제거된 각도 맵을 기반으로 상기 객체가 적재된 레이어 별로 깊이 값 히스토그램을 생성하는 히스토그램 생성 단계와;
    상기 깊이 값 히스토그램을 기반으로 상기 레이어 별 마스크를 생성하고, 상기 마스크와 상기 컬러 이미지를 결합하여 상기 레이어 별 객체 이미지를 생성하는 영상 추출 단계
    를 포함하는 것을 특징으로 하는 객체 인식 방법.
  8. 제7항에 있어서,
    상기 각도 맵 생성 단계는,
    상기 포인트 클라우드 내 하나의 좌표와 상기 좌표와 우측으로 인접한 우측 좌표 및 상기 좌표와 하단으로 인접한 하단 좌표를 기반으로 법선 벡터를 도출하고,
    상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도를 도출하는 것을 특징으로 하는 객체 인식 방법.
  9. 제8항에 있어서,
    상기 배경 제거 단계는 상기 각도 맵에서 기준 각도를 기준으로 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거하고,
    상기 기준 각도는 상기 법선 벡터와 상기 카메라의 Z 좌표 사이의 각도가 0도인 것을 특징으로 하는 객체 인식 방법.
  10. 제9항에 있어서,
    상기 배경 제거 단계는 상기 기준 각도에 대한 상기 카메라의 상대 각도를 보정한 후 상기 소정 범위 내의 각도에 대응하는 좌표를 상기 각도 맵에서 제거하는 것을 특징으로 하는 객체 인식 방법.
KR1020210014261A 2021-02-01 2021-02-01 적재된 객체 인식 장치 및 객체 인식 방법 KR102537295B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210014261A KR102537295B1 (ko) 2021-02-01 2021-02-01 적재된 객체 인식 장치 및 객체 인식 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210014261A KR102537295B1 (ko) 2021-02-01 2021-02-01 적재된 객체 인식 장치 및 객체 인식 방법

Publications (2)

Publication Number Publication Date
KR20220111074A true KR20220111074A (ko) 2022-08-09
KR102537295B1 KR102537295B1 (ko) 2023-05-26

Family

ID=82844624

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210014261A KR102537295B1 (ko) 2021-02-01 2021-02-01 적재된 객체 인식 장치 및 객체 인식 방법

Country Status (1)

Country Link
KR (1) KR102537295B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102556544B1 (ko) * 2022-10-05 2023-07-18 주식회사 넥스인테크놀로지 이미지 히스토그램 분석을 통한 인공지능 모델의 인식률 향상 및 인식률이 향상된 인공지능 모델을 이용한 객체 인식 방법, 장치 및 컴퓨터프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391667B1 (ko) * 2013-01-31 2014-05-07 한국과학기술연구원 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
KR20160083226A (ko) * 2014-12-30 2016-07-12 순천향대학교 산학협력단 차량 번호판 인식 장치 및 방법
KR20200042790A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 3d 모델링 장치 및 방법
JP6782046B1 (ja) * 2019-07-15 2020-11-11 株式会社Ｍｕｊｉｎ 画像データに基づく物体検出システム及び方法
KR102178013B1 (ko) 2019-02-08 2020-11-12 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101391667B1 (ko) * 2013-01-31 2014-05-07 한국과학기술연구원 크기 변화에 강건한 범주 물체 인식을 위한 모델 학습 및 인식 방법
KR20160083226A (ko) * 2014-12-30 2016-07-12 순천향대학교 산학협력단 차량 번호판 인식 장치 및 방법
KR20200042790A (ko) * 2018-10-16 2020-04-24 에스케이텔레콤 주식회사 3d 모델링 장치 및 방법
KR102178013B1 (ko) 2019-02-08 2020-11-12 한양대학교 산학협력단 물체 파지를 위한 훈련 데이터 생성 방법 및 파지 자세 결정 방법
JP6782046B1 (ja) * 2019-07-15 2020-11-11 株式会社Ｍｕｊｉｎ 画像データに基づく物体検出システム及び方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102556544B1 (ko) * 2022-10-05 2023-07-18 주식회사 넥스인테크놀로지 이미지 히스토그램 분석을 통한 인공지능 모델의 인식률 향상 및 인식률이 향상된 인공지능 모델을 이용한 객체 인식 방법, 장치 및 컴퓨터프로그램

Also Published As

Publication number Publication date
KR102537295B1 (ko) 2023-05-26

Similar Documents

Publication Publication Date Title
US20210279444A1 (en) Systems and methods for depth map sampling
US10885398B2 (en) Joint 3D object detection and orientation estimation via multimodal fusion
CN109029253B (zh) 一种包裹体积测量方法、系统、储存介质及移动终端
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
CN111151463B (zh) 一种基于3d视觉的机械臂分拣抓取系统及方法
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
US9576363B2 (en) Object picking system, object detecting device, object detecting method
EP3502958B1 (en) Object recognition processing apparatus, object recognition processing method, and program
CN112639846A (zh) 一种训练深度学习模型的方法和装置
EP4058984A1 (en) Geometry-aware instance segmentation in stereo image capture processes
US10764561B1 (en) Passive stereo depth sensing
US12106516B2 (en) Pose estimation refinement for aerial refueling
JP2019185469A (ja) 画像解析装置、方法およびプログラム
WO2024087962A1 (zh) 车厢姿态识别系统、方法、电子设备及存储介质
KR102537295B1 (ko) 적재된 객체 인식 장치 및 객체 인식 방법
US11457158B2 (en) Location estimation device, location estimation method, and program recording medium
US11715218B2 (en) Information processing apparatus and information processing method
CN110816522A (zh) 车辆姿态的控制方法、设备及计算机可读存储介质
KR102538685B1 (ko) 다시점 정보를 이용하여 3d 정보를 복원하는 방법 및 이를 위한 장치
CN110880003A (zh) 一种图像匹配方法、装置、存储介质及汽车
EP4006829A1 (en) Information processing device, data generation method, and non-transitory computer-readable medium having program stored thereon
WO2021049281A1 (ja) 画像処理装置、ヘッドマウントディスプレイ、および空間情報取得方法
CN113516685A (zh) 目标跟踪方法、装置、设备及存储介质
CN112881994A (zh) 一种自适应激光雷达线束扫描控制方法
CN113661513A (zh) 一种图像处理方法、设备、图像处理系统及存储介质

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant