KR20230046652A - 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법 - Google Patents
포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법 Download PDFInfo
- Publication number
- KR20230046652A KR20230046652A KR1020210129883A KR20210129883A KR20230046652A KR 20230046652 A KR20230046652 A KR 20230046652A KR 1020210129883 A KR1020210129883 A KR 1020210129883A KR 20210129883 A KR20210129883 A KR 20210129883A KR 20230046652 A KR20230046652 A KR 20230046652A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- object recognition
- context
- image data
- features
- Prior art date
Links
- 238000013136 deep learning model Methods 0.000 title abstract description 13
- 238000001514 detection method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 31
- 238000013473 artificial intelligence Methods 0.000 claims description 13
- 239000013598 vector Substances 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000010191 image analysis Methods 0.000 claims description 2
- 238000003703 image analysis method Methods 0.000 claims description 2
- 230000001149 cognitive effect Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법이 제공된다. 본 발명의 실시예에 따른 객체 인지 방법은, 3차원 영상 데이터를 입력받고, 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하며, 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하며, 선택한 객체 인지 모델을 이용하여 3차원 영상의 객체들을 인지한다. 이에 의해, 경량화 딥러닝 모델 기반으로 향상된 성능의 3차원 객체 인지가 가능하므로, 트레이드 오프 관계에 있는 정확도와 인식 속도 모두를 향상시킬 수 있게 된다.
Description
본 발명은 인공지능 기술에 관한 것으로, 더욱 상세하게는 경량화 딥러닝 기반으로 포인트 클라우드 데이터로부터 3차원 객체를 빠르고 정확하게 인지하는 방법에 관한 것이다.
차량이나 로봇의 자율주행을 위해, 3D 센서, 이를 테면, LiDAR를 통해 수집된 포인트 클라우드 데이터에 대해, 도 1에 도시된 바와 같이, 딥러닝 기반으로 3D 객체를 인지하고, 객체의 3D 좌표(position, depth)를 추정하는 기술이 이용된다.
문제는 딥러닝의 높은 복잡도이다. 이는, 대용량의 3차원 포인트 클라우드 데이터를 처리하는 과정에서 과다한 연산시간이 발생한다는 점에서 서비스 제공자 측면에서 비효율적이다. 특히, 연산자원의 제약이 있는 임베디드 및 모바일 기기에서 신속한 서비스 이용에 지연이 발생한다는 점에서 서비스 이용자 측면에서도 비효율적이다.
나아가, 이미지에 비해 객체 인지 정확도가 낮다는 문제도 있다. 작은 객체 (사람 등) 및 멀리 있는 객체의 경우 인지가 어렵다. 3차원 포인트 클라우드 데이터는 인지하려는 객체의 거리가 멀수록, 다른 객체와의 겹침(occlusion)이 높을수록 희미(sparse)해지기 때문이다. 이와 같은 정확도 문제는 임베디드 및 모바일 기기에서 요구되는 경량화 딥러닝 모델의 경우에 더욱 심각하다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 실시간성을 향상시키기 위해 경량화된 딥러닝 모델을 이용하는 경우에도, 향상된 정확도를 갖는 3D 객체 인지 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 객체 인지 방법은, 3차원 영상 데이터를 입력받는 단계; 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계; 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계; 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하는 단계; 선택한 객체 인지 모델을 이용하여, 3차원 영상의 객체들을 인지하는 단계;를 포함한다.
3차원 영상의 특징들은, 3차원 영상에 등장하는 객체들의 기하학적 특징들일 수 있다. 기하학적 특징들은, 객체들의 평균 높이, 평균 강도, 평균 법선 벡터 및 평균 엣지 길이 중 적어도 하나를 포함할 수 있다.
추정 단계는, 3차원 영상에 등장하는 객체들의 기하학적 특징들을 DB에 저장된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들과 비교하여, 하나의 컨텍스트를 선택할 수 있다.
컨텍스트는, 3차원 영상이 촬영된 환경을 나타낼 수 있다.
객체 인지 모델은, 3차원 영상 데이터가 입력되면 3차원 영상의 객체들을 인지하여 출력하도록 학습된 인공지능 모델일 수 있다. 그리고, 객체 인지 모델은, 해당 컨텍스트에서 획득한 3차원 영상 데이터를 이용하여 학습될 수 있다.
인지 단계는, 선택한 객체 인지 모델에 3차원 영상 데이터를 입력하여, 3차원 영상의 객체들을 인지할 수 있다. 그리고, 3차원 영상 데이터는, 포인트 클라우드 데이터일 수 있다.
한편, 본 발명의 다른 실시예에 따른, 객체 인지 시스템은, 3차원 영상 데이터를 입력받는 입력부; 입력부를 통해 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및 추출부에서 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하며, 선택한 객체 인지 모델을 이용하여 3차원 영상의 객체들을 인지하는 프로세서;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 3차원 영상 분석 방법은, 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계; 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계; 추정된 컨텍스트에 매칭된 인공지능 모델을 선택하는 단계; 및 선택한 인공지능 모델을 이용하여, 3차원 영상을 분석하는 단계;를 포함한다.
한편, 본 발명의 다른 실시예에 따른, 3차원 영상 분석 시스템은, 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭된 인공지능 모델을 선택하며, 선택한 인공지능 모델을 이용하여 3차원 영상을 분석하는 프로세서;를 포함한다.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 경량화 딥러닝 모델 기반으로 향상된 성능의 3차원 객체 인지가 가능하므로, 트레이드 오프 관계에 있는 정확도와 인식 속도 모두를 향상시킬 수 있게 된다.
이는, 서비스 제공자 측면에서 데이터 처리시간의 단축(신속한 서비스 제공)과 연산자원과 저장공간의 감소(비용절감)를 기대할 수 있도록 하고, 서비스 이용자 측면에서 모바일/임베디드 기기에서 신속한 서비스를 가능하게 하고 자율주행차 및 로봇의 실시간 객체인식 연산을 가능하게 한다.
도 1은 딥러닝 기반 객체 3D 좌표 인지 기술을 예시한 도면,
도 2는 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 개념도,
도 3은 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 순서도, 그리고,
도 4는 본 발명의 다른 실시예에 따른 3D 객체 인지 시스템의 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 개념도,
도 3은 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 순서도, 그리고,
도 4는 본 발명의 다른 실시예에 따른 3D 객체 인지 시스템의 블럭도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
본 발명의 실시예에서는 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반으로 3차원 객체를 인지하는 방법을 제시한다.
본 발명의 실시예에서는 딥러닝 모델 압축(Compression) 기법을 통해 3D 객체 인지를 위한 딥러닝 모델의 크기 압축을 수행하여, 경량화된 다수의 딥러닝 모델을 생성한다. 구체적으로, 각 영상이 촬영된 환경/장소를 나타내는 컨텍스트 별로 최적의 경량화 딥러닝 모델을 생성한다. 자원이 한정된 임베디드/모바일 기기에서의 인지 속도를 향상시키기 위함이다.
또한, 본 발명의 실시예에서는 다양한 환경/장소, 이를 테면, 공장, 공원, 도로 등에 따라 달라지는 포인트 클라우드의 컨텍스트를 분석하고 이를 포인트 클라우드 컨텍스트 맵 형태로 DB에 저장한다.
그리고, 현재 로봇이 주행중인 환경의 컨텍스트와 DB의 컨텍스트를 매칭하여 환경에 맞는 최적의 경량화된 딥러닝 모델을 선택하고, 선택한 모델을 이용하여 3D 객체 인지를 수행한다.
도 2는 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 개념도이고, 도 3은 본 발명의 일 실시예에 따른 3차원 객체 인지 방법의 순서도이다.
도시된 바와 같이, 먼저, 3차원 객체를 인지하고자 하는 포인트 클라우드 데이터를 입력받는다. 도 2의 (1)과 도 3의 S110단계가 이에 해당한다.
다음, 입력된 포인트 클라우드 데이터로부터 3차원 영상의 특징들을 추출한다. 도 2의 (2)와 도 3의 S120단계가 이에 해당한다. 도 3의 우측 상부에 나타난 바와 같이, 3차원 영상의 특징들은, 3차원 영상에 등장하는 객체들의 기하학적 특징들을 의미한다.
궁극적으로 추출하는 기하학적 특징들은, 3차원 영상에 등장하는 객체들의 평균 높이(Height), 평균 강도(Intensity), 평균 법선 벡터(Normal vector), 평균 엣지 길이(Edge length)를 포함한다.
구체적으로, 평균 높이는 3차원 영상에 등장하는 객체들의 높이들의 평균이고, 평균 강도는 3차원 영상에 등장하는 객체들의 강도들의 평균이며, 평균 법선 벡터는 3차원 영상에 등장하는 객체들의 법선 벡터들의 평균이고, 평균 엣지 길이는 3차원 영상에 등장하는 객체들의 엣지 길이들의 평균이다.
이후, 추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는데, 이를 위해, 먼저, 추출한 특징들을 컨텍스트 맵 DB에 수록된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들에 매칭시키면서, 가장 잘 매칭되는 컨텍스트 하나를 선택한다. 도 2의 (3)와 도 3의 S130단계 및 S140단계가 이에 해당한다.
컨텍스트는 3차원 영상이 촬영된 환경/장소를 나타낸다. 도 2의 우측 상부를 참조하면, 컨텍스트 맵 DB에는 공장, 공원 및 도로의 컨텍스트들이 수록되어 있고, 이들의 3차원 기하학적 특징들이 매핑되어 있다.
이를 테면, 공장 컨텍스트의 경우, 평균 높이는 0.3이고, 평균 강도는 0.2이며, 평균 엣지 길이는 0.07이고, 공원 컨텍스트의 경우, 평균 높이는 0.7이고, 평균 강도는 0.1이며, 평균 엣지 길이는 0.13이며, 도로 컨텍스트의 경우, 평균 높이는 1.2이고, 평균 강도는 0.7이며, 평균 엣지 길이는 0.03임을 확인할 수 있다.
만약, 입력된 포인트 클라우드 데이터로부터 추출한 3차원 기하학적 특징들이, 평균 높이 0.6, 평균 강도 0.1, 평균 엣지 길이 0.15라면, 이와 가장 유사한 기하학적 특징들을 갖는 공원 컨텍스트가 선택될 것이다. 이는, 입력된 포인트 클라우드 데이터의 컨텍스트를 공원 컨텍스트로 추정하는 것을 의미한다고 할 수 있다.
다음, 추정된 컨텍스트에 매칭된 객체 인지 모델을 선택한다. 도 2의 (4)와 도 3의 S150단계 및 S160단계가 이에 해당한다.
객체 인지 모델은, 3차원 포인트 클라우드 데이터가 입력되면, 이를 분석하여 3차원 영상에 존재하는 객체들을 인지하여 출력하도록 학습된 경량화된 딥러닝 모델이다.
객체 인지 모델은 컨텍스트 마다 구비되어 있다. 즉, 공장 컨텍스트를 위한 객체 인지 모델, 공원 컨텍스트를 위한 객체 인지 모델, 도로 컨텍스트를 위한 객체 인지 모델이 각각 구비되어 있다.
각각의 객체 인지 모델은 해당 컨텍스트에서 획득한 3차원 영상 데이터를 이용하여 학습된다. 즉, 공장 컨텍스트를 위한 객체 인지 모델은 공장에서 획득한 3차원 영상 데이터로 학습되고, 공원 컨텍스트를 위한 객체 인지 모델은 공원에서 획득한 3차원 영상 데이터로 학습되며, 도로 컨텍스트를 위한 객체 인지 모델은 도로에서 획득한 3차원 영상 데이터로 학습된다.
추정된 컨텍스트에 매칭된 객체 인지 모델이 선택되므로, 이를 테면, 추정된 컨텍스트가 공장 컨텍스트라면 공장 컨텍스트를 위한 객체 인지 모델이 선택되고, 추정된 컨텍스트가 도로 컨텍스트라면 도로 컨텍스트를 위한 객체 인지 모델이 선택된다.
이후, 선택한 객체 인지 모델에 포인트 클라우드 데이터를 입력하여 3차원 영상의 객체들을 인지한다. 도 2의 (5)와 도 3의 S170단계가 이에 해당한다.
도 4는 본 발명의 다른 실시예에 따른 3D 객체 인지 시스템의 블럭도이다. 본 발명의 실시예에 따른 3D 객체 인지 시스템은, 입력부(210), 특징 추출부(220), 컨텍스트 맵 DB(230), 프로세서(240), 객체 인지 모델 DB(250) 및 출력부(260)를 포함하여 구성된다.
입력부(210)는 3D 센서(라이다, 다시점 카메라, RGB/Depth 카메라 등)로부터 생성된 포인트 클라우드 데이터를 입력받는다.
특징 추출부(220)는 입력부(210)를 통해 입력된 포인트 클라우드 데이터로부터 3차원 영상의 기하학적 특징들을 추출한다.
프로세서(240)는 특징 추출부(220)에 의해 추출된 기하학적 특징들을 컨텍스트 맵 DB(230)에 수록된 컨텍스트들의 기하학적 특징들에 매칭시키면서, 가장 잘 매칭되는 컨텍스트 하나를 선택한다.
그리고, 프로세서(240)는 선택한 컨텍스트를 위한 객체 인지 모델을 객체 인지 모델 DB(250)에서 선택하여, 선택한 객체 인지 모델로 3D 객체 인지를 수행하고, 출력부(260)를 통해 객체 인지 결과를 출력한다.
지금까지, 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.
위 실시예에서는, 다양한 환경에서 수집되는 포인트 클라우드 데이터의 특징 값들을 컨텍스트 맵 형태 DB로 구축하고, 포인트 클라우드 데이터의 컨텍스트를 추정하여 1개의 딥러닝 모델을 적응적으로 선택하여 객체 인지를 수행한다.
본 발명의 실시예에 따르면, 경량화 딥러닝 모델 기반으로 향상된 성능의 3차원 객체 인지가 가능하므로, 트레이드 오프 관계에 있는 정확도와 인식 속도 모두를 향상시킬 수 있게 된다.
이는, 서비스 제공자 측면에서 데이터 처리시간의 단축(신속한 서비스 제공)과 연산자원과 저장공간의 감소(비용절감)를 기대할 수 있도록 하고, 서비스 이용자 측면에서 모바일/임베디드 기기에서 신속한 서비스를 가능하게 하고 자율주행차 및 로봇의 실시간 객체인식 연산을 가능하게 한다.
그리고, 위 실시예에서, 객체 인식 모델은 포인트 클라우드 데이터로부터 객체를 인지하는 것을 상정하였는데, 변형이 가능하다. 예를 들어, 객체 인식 모델이 포인트 클라우드 데이터로부터 추출한 특징들을 입력 받아 객체를 인지하는 것으로 구현하는 것이 가능하다.
또한, 위 실시예에서, 인공지능 모델은 3D 객체 인지를 수행하는 인공지능 모델을 상정하였는데, 그 밖의 다른 모델로 대체하는 것이 가능하며, 이 경우에도 본 발명의 기술적 사상이 적용될 수 있다.
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
210 : 입력부
220 : 특징 추출부
230 : 컨텍스트 맵 DB
240 : 프로세서
250 : 객체 인지 모델 DB
260 : 출력부
220 : 특징 추출부
230 : 컨텍스트 맵 DB
240 : 프로세서
250 : 객체 인지 모델 DB
260 : 출력부
Claims (12)
- 3차원 영상 데이터를 입력받는 단계;
입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계;
추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계;
추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하는 단계;
선택한 객체 인지 모델을 이용하여, 3차원 영상의 객체들을 인지하는 단계;를 포함하는 것을 특징으로 하는 객체 인지 방법.
- 청구항 1에 있어서,
3차원 영상의 특징들은,
3차원 영상에 등장하는 객체들의 기하학적 특징들인 것을 특징으로 하는 객체 인지 방법.
- 청구항 2에 있어서,
기하학적 특징들은,
객체들의 평균 높이, 평균 강도, 평균 법선 벡터 및 평균 엣지 길이 중 적어도 하나를 포함하는 것을 특징으로 하는 객체 인지 방법.
- 청구항 2에 있어서,
추정 단계는,
3차원 영상에 등장하는 객체들의 기하학적 특징들을 DB에 저장된 다수의 컨텍스트들에 각각 매핑되어 있는 3차원 기하학적 특징들과 비교하여, 하나의 컨텍스트를 선택하는 것을 특징으로 하는 객체 인지 방법.
- 청구항 1에 있어서,
컨텍스트는,
3차원 영상이 촬영된 환경을 나타내는 것을 특징으로 하는 객체 인지 방법.
- 청구항 5에 있어서,
객체 인지 모델은,
3차원 영상 데이터가 입력되면 3차원 영상의 객체들을 인지하여 출력하도록 학습된 인공지능 모델인 것을 특징으로 하는 객체 인지 방법.
- 청구항 6에 있어서,
객체 인지 모델은,
해당 컨텍스트에서 획득한 3차원 영상 데이터를 이용하여 학습된 것을 특징으로 하는 객체 인지 방법.
- 청구항 1에 있어서,
인지 단계는,
선택한 객체 인지 모델에 3차원 영상 데이터를 입력하여, 3차원 영상의 객체들을 인지하는 것을 특징으로 하는 객체 인지 방법.
- 청구항 1에 있어서,
3차원 영상 데이터는,
포인트 클라우드 데이터인 것을 특징으로 하는 객체 인지 방법.
- 3차원 영상 데이터를 입력받는 입력부;
입력부를 통해 입력된 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및
추출부에서 추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭되는 객체 인지 모델을 선택하며, 선택한 객체 인지 모델을 이용하여 3차원 영상의 객체들을 인지하는 프로세서;를 포함하는 것을 특징으로 하는 객체 인지 시스템.
- 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 단계;
추출한 특징들을 기초로, 3차원 영상의 컨텍스트를 추정하는 단계;
추정된 컨텍스트에 매칭된 인공지능 모델을 선택하는 단계; 및
선택한 인공지능 모델을 이용하여, 3차원 영상을 분석하는 단계;를 포함하는 것을 특징으로 하는 3차원 영상 분석 방법.
- 3차원 영상 데이터로부터 3차원 영상의 특징들을 추출하는 추출부; 및
추출한 특징들을 기초로 3차원 영상의 컨텍스트를 추정하고, 추정된 컨텍스트에 매칭된 인공지능 모델을 선택하며, 선택한 인공지능 모델을 이용하여 3차원 영상을 분석하는 프로세서;를 포함하는 것을 특징으로 하는 3차원 영상 분석 시스템.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210129883A KR102662130B1 (ko) | 2021-09-30 | 2021-09-30 | 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법 |
PCT/KR2021/013560 WO2023054779A1 (ko) | 2021-09-30 | 2021-10-05 | 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020210129883A KR102662130B1 (ko) | 2021-09-30 | 2021-09-30 | 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20230046652A true KR20230046652A (ko) | 2023-04-06 |
KR102662130B1 KR102662130B1 (ko) | 2024-04-30 |
Family
ID=85783005
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020210129883A KR102662130B1 (ko) | 2021-09-30 | 2021-09-30 | 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법 |
Country Status (2)
Country | Link |
---|---|
KR (1) | KR102662130B1 (ko) |
WO (1) | WO2023054779A1 (ko) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180014676A (ko) * | 2016-08-01 | 2018-02-09 | 코그넥스코오포레이션 | 비전 시스템에서 3d 정렬 알고리즘의 자동 선택을 위한 시스템 및 방법 |
WO2021041921A1 (en) * | 2019-08-29 | 2021-03-04 | Here Global B.V. | Method, apparatus, and system for dynamic model or model parameter switching for object detection |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102029852B1 (ko) * | 2019-04-09 | 2019-10-08 | 세종대학교 산학협력단 | 환경에 따라 신경망 모델을 선택하는 객체 인식 장치 및 그 방법 |
JP7025372B2 (ja) * | 2019-06-11 | 2022-02-24 | Kddi株式会社 | 物体識別装置、方法およびシステム |
JP7071316B2 (ja) * | 2019-07-19 | 2022-05-18 | 株式会社日立製作所 | 車両用情報処理装置 |
JP7209657B2 (ja) * | 2020-02-28 | 2023-01-20 | 株式会社日立製作所 | 情報処理装置及び方法 |
-
2021
- 2021-09-30 KR KR1020210129883A patent/KR102662130B1/ko active IP Right Grant
- 2021-10-05 WO PCT/KR2021/013560 patent/WO2023054779A1/ko unknown
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20180014676A (ko) * | 2016-08-01 | 2018-02-09 | 코그넥스코오포레이션 | 비전 시스템에서 3d 정렬 알고리즘의 자동 선택을 위한 시스템 및 방법 |
WO2021041921A1 (en) * | 2019-08-29 | 2021-03-04 | Here Global B.V. | Method, apparatus, and system for dynamic model or model parameter switching for object detection |
Also Published As
Publication number | Publication date |
---|---|
KR102662130B1 (ko) | 2024-04-30 |
WO2023054779A1 (ko) | 2023-04-06 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20230418389A1 (en) | Information processing device and method, program and recording medium for identifying a gesture of a person from captured image data | |
US20220114750A1 (en) | Map constructing method, positioning method and wireless communication terminal | |
US6853880B2 (en) | Autonomous action robot | |
CN108052624B (zh) | 点云数据处理方法、装置及计算机可读存储介质 | |
US8269722B2 (en) | Gesture recognition system and method thereof | |
US8620024B2 (en) | System and method for dynamic gesture recognition using geometric classification | |
US20110299774A1 (en) | Method and system for detecting and tracking hands in an image | |
CN111062263B (zh) | 手部姿态估计的方法、设备、计算机设备和存储介质 | |
US9280703B2 (en) | Apparatus and method for tracking hand | |
CN112070782B (zh) | 识别场景轮廓的方法、装置、计算机可读介质及电子设备 | |
US20180352213A1 (en) | Learning-based matching for active stereo systems | |
CN112861575A (zh) | 一种行人结构化方法、装置、设备和存储介质 | |
CN112818925A (zh) | 一种城市建筑和树冠识别方法 | |
CN113378641A (zh) | 基于深度神经网络和注意力机制的手势识别方法 | |
US20140328516A1 (en) | Gesture Recognition Method, An Apparatus and a Computer Program for the Same | |
CN112581446A (zh) | 一种图像的显著性物体检测方法、装置、设备及存储介质 | |
Rasouli et al. | Visual saliency improves autonomous visual search | |
Harakeh et al. | Ground segmentation and occupancy grid generation using probability fields | |
CN113496163B (zh) | 障碍物识别方法和装置 | |
KR100526018B1 (ko) | 물체 인식 및 추적방법 | |
CN113409340A (zh) | 语义分割模型训练方法、语义分割方法、装置及电子设备 | |
KR102662130B1 (ko) | 포인트 클라우드 컨텍스트 및 경량화 딥러닝 기반 3차원 객체 인지 방법 | |
CN114758076A (zh) | 一种用于建立三维模型的深度学习模型的训练方法及装置 | |
CN114663810A (zh) | 基于多模态的物体图像增广方法及装置、设备及存储介质 | |
KR20230076644A (ko) | 경량화된 자세 추정 모델 제공 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |