KR20200072157A - 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법 - Google Patents

광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법 Download PDF

Info

Publication number
KR20200072157A
KR20200072157A KR1020180160018A KR20180160018A KR20200072157A KR 20200072157 A KR20200072157 A KR 20200072157A KR 1020180160018 A KR1020180160018 A KR 1020180160018A KR 20180160018 A KR20180160018 A KR 20180160018A KR 20200072157 A KR20200072157 A KR 20200072157A
Authority
KR
South Korea
Prior art keywords
neural network
feature points
learning
hologram
depth
Prior art date
Application number
KR1020180160018A
Other languages
English (en)
Other versions
KR102164395B1 (ko
Inventor
김태근
이응준
Original Assignee
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교산학협력단 filed Critical 세종대학교산학협력단
Priority to KR1020180160018A priority Critical patent/KR102164395B1/ko
Publication of KR20200072157A publication Critical patent/KR20200072157A/ko
Application granted granted Critical
Publication of KR102164395B1 publication Critical patent/KR102164395B1/ko

Links

Images

Classifications

    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06K9/4671—
    • G06K9/6211—
    • G06K9/76—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/88—Image or video recognition using optical means, e.g. reference filters, holographic masks, frequency domain filters or spatial domain filters
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B7/00—Recording or reproducing by optical means, e.g. recording using a thermal beam of optical radiation by modifying optical properties or the physical structure, reproducing using an optical beam at lower power by sensing optical properties; Record carriers therefor
    • G11B7/004—Recording, reproducing or erasing methods; Read, write or erase circuits therefor
    • G11B7/0065—Recording, reproducing or erasing by using optical interference patterns, e.g. holograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 단계와, 상기 홀로그램 데이터를 기 학습된 제1 CNN 신경망에 입력시켜 상기 물체의 깊이 위치를 추출하는 단계와, 상기 깊이 위치를 이용하여 상기 물체의 홀로그램 영상을 복원하는 단계와, 상기 홀로그램 영상을 기 학습된 제2 CNN 신경망에 입력시켜 상기 물체의 종류를 인식하는 단계와, 상기 홀로그램 영상 내에서 추출된 상기 물체의 특징점들과 상기 인식된 종류의 물체에 대응하여 기 저장된 특징점들을 상호 비교하여, 상기 추출된 특징점들의 2차원 위치를 추출하는 단계, 및 상기 깊이 위치 및 상기 특징점들의 2차원 위치를 이용하여 상기 물체의 3차원 위치를 추적하는 단계를 포함하는 3차원 물체 인식 및 추적 방법을 제공한다.
본 발명에 따르면, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 홀로그램 데이터로부터 물체의 깊이 위치를 추출하고 깊이 위치에서 복원된 홀로그램 영상으로부터 물체의 종류를 인식하며 인식된 물체의 특징점들의 2차원 위치를 추출하여 최종적으로 물체의 3차원 위치를 획득 및 추적할 수 있다.

Description

광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법{Apparatus for three-dimensional object recognition and tracking using optical scanning holography and convolutional neural network and method thereof}
본 발명은 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법에 관한 것으로, 보다 상세하게는 홀로그램 데이터와 딥 러닝 기법을 이용하여 물체의 종류 인식 및 3차원 위치 추적을 수행할 수 있는 3차원 물체 인식 및 추적 장치 및 그 방법에 관한 것이다.
최근 딥 러닝 기술은 비약적인 발전과 함께 다양한 응용 분야에 접목되고 있다. 특히, 영상 인식 분야에서는 고도화된 알고리즘의 집합체인 딥 러닝 기술을 이용하여 다양하고 복잡한 비정형 영상 데이터를 효율적으로 분석 및 처리할 수 있어 다양한 용도로 응용되고 있다.
하지만, 일반적인 영상 인식 기술에서 사용되는 영상 데이터는 깊이 정보가 없고 빛의 세기 정보만 가지고 있는 2차원 정보에 해당하므로, 이러한 2차원 영상 정보만으로는 해당 물체에 대한 3차원 공간의 깊이 위치를 인식하기에는 한계가 따른다.
2차원 영상과는 달리 홀로그램 데이터는 깊이 정보를 가지고 있다. 하지만, 이처럼 깊이 정보를 갖고 있는 홀로그램 데이터의 경우 일반적인 2차원 영상보다 데이터량이 많기 때문에 많은 연산량과 시간이 소요된다.
따라서 이러한 문제들을 해결하기 위해서는 3차원 공간에 대한 깊이 정보를 가지고 있는 홀로그램 데이터와 기존의 딥 러닝 기술을 병합한 새로운 3차원 인식 기술이 요구된다.
본 발명의 배경이 되는 기술은 한국공개특허 제2013-0081127호(2013.07.16 공개)에 있다.
본 발명은 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 인식 및 3차원 위치 추적이 가능한 3차원 물체 인식 및 추적 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치에서의 3차원 물체 인식 및 추적 방법에 있어서, 상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 단계와, 상기 홀로그램 데이터를 기 학습된 제1 CNN 신경망에 입력시켜 상기 물체의 깊이 위치를 추출하는 단계와, 상기 홀로그램 데이터와 상기 깊이 위치를 이용하여 상기 깊이 위치에서 물체의 홀로그램 영상을 2차원으로 복원하는 단계와, 상기 홀로그램 영상을 기 학습된 제2 CNN 신경망에 입력시켜 상기 물체의 종류를 인식하는 단계와, 상기 홀로그램 영상에서 추출된 상기 물체의 특징점들과 상기 인식된 종류의 물체에 대응하여 기 저장된 특징점들을 상호 비교하여, 상기 추출된 특징점들의 2차원 위치를 추출하는 단계, 및 상기 깊이 위치 및 상기 특징점들의 2차원 위치를 이용하여 상기 물체의 3차원 위치를 추적하는 단계를 포함하는 3차원 물체 인식 및 추적 방법을 제공한다.
또한, 상기 3차원 물체 인식 및 추적 방법은, 복수의 깊이 위치 별로 학습용 물체에 대해 기 획득한 홀로그램 데이터 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하여 상기 제1 CNN 신경망을 학습시키는 단계를 더 포함할 수 있다.
또한, 상기 제1 CNN 신경망은, 복수의 깊이 위치 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하며, 상기 특징 정보는, 물체 주변에 형성되는 간섭 무늬인 프린지 패턴의 특징일 수 있다.
또한, 상기 3차원 물체 인식 및 추적 방법은, 학습용 물체에 대한 홀로그램 영상 및 그에 대응되는 상기 학습용 물체의 종류를 학습 데이터로 사용하여 상기 제2 CNN 신경망을 학습시키는 단계를 더 포함할 수 있다.
또한, 상기 특징점들의 2차원 위치를 추출하는 단계는, 상기 홀로그램 영상에 SURF(Speed Up Robust Feature) 알고리즘을 적용하여 상기 물체의 특징점들을 추출하고, 상기 추출한 특징점들과 상기 기 저장된 특징점들을 상호 매칭하여, 상기 추출한 특징점들에 대한 2차원 위치를 추출할 수 있다.
그리고, 본 발명은, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치에 있어서, 상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 획득부와, 상기 홀로그램 데이터를 기 학습된 제1 CNN 신경망에 입력시켜 상기 물체의 깊이 위치를 추출하는 제1 추출부와, 상기 홀로그램 데이터와 상기 깊이 위치를 이용하여 상기 깊이 위치에서 물체의 홀로그램 영상을 2차원으로 복원하는 복원부와, 상기 홀로그램 영상을 기 학습된 제2 CNN 신경망에 입력시켜 상기 물체의 종류를 인식하는 인식부와, 상기 홀로그램 영상 내에서 추출된 상기 물체의 특징점들과 상기 인식된 종류의 물체에 대응하여 기 저장된 특징점들을 상호 비교하여, 상기 추출된 특징점들의 2차원 위치를 추출하는 제2 추출부, 및 상기 깊이 위치 및 상기 특징점들의 2차원 위치를 이용하여 상기 물체의 3차원 위치를 추적하는 추적부를 포함하는 3차원 물체 인식 및 추적 장치를 제공한다.
또한, 상기 3차원 물체 인식 및 추적 장치는, 복수의 깊이 위치 별로 학습용 물체에 대해 기 획득한 홀로그램 데이터 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하여 상기 제1 CNN 신경망을 학습시키는 제1 학습부를 더 포함할 수 있다.
또한, 상기 3차원 물체 인식 및 추적 장치는, 학습용 물체에 대한 홀로그램 영상 및 그에 대응되는 상기 학습용 물체의 종류를 학습 데이터로 사용하여 상기 제2 CNN 신경망을 학습시키는 제2 학습부를 더 포함할 수 있다.
또한, 상기 제2 추출부는, 상기 홀로그램 영상에 SURF(Speed Up Robust Feature) 알고리즘을 적용하여 상기 물체의 특징점들을 추출하고, 상기 추출한 특징점들과 상기 기 저장된 특징점들을 상호 매칭하여, 상기 추출한 특징점들에 대한 2차원 위치를 추출할 수 있다.
본 발명에 따르면, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 홀로그램 데이터로부터 물체의 깊이 위치를 추출하고 해당 깊이 위치에서 복원된 홀로그램 영상으로부터 물체의 종류를 인식하며 인식된 물체의 특징점들의 2차원 위치를 추출하여 최종적으로 물체의 3차원 위치를 획득 및 추적할 수 있는 이점을 제공한다.
도 1은 본 발명의 실시예에 따른 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 장치를 이용한 3차원 물체 인식 및 추적 방법을 설명하는 도면이다.
도 3은 홀로그램 데이터에서 물체 주변에 프린지 패턴이 관측된 모습을 예시한 도면이다.
도 4는 CNN 신경망에서 이미지와 필터 간 합성곱을 이용하여 특징 지도를 형성하는 원리를 간략히 나타낸 도면이다.
도 5는 도 4의 이미지에 대해 다양한 필터를 사용하여 특징 지도를 생성하는 모습을 예시한 도면이다.
도 6은 CNN 신경망에서 수행하는 풀링 작업을 나타낸 도면이다.
도 7은 CNN 신경망의 구조를 설명한 도면이다.
도 8은 본 발명의 실시예에서 복원된 홀로그램 영상으로부터 CNN 분석을 이용하여 물체를 인식하는 원리를 설명한 도면이다.
도 9는 본 발명의 실시예에서 SURF 알고리즘을 이용하여 특징점을 추출하는 개념을 간략히 나타낸 도면이다.
도 10은 본 발명의 실시예에서 특징점 추출 이후 특징점 간 매칭 알고리즘을 적용하여 2차원 위치를 획득하는 개념을 나타낸 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치의 구성을 나타낸 도면이다.
도 1에 나타낸 것과 같이, 본 발명의 실시예에 따른 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치(100)는 획득부(110), 제1 추출부(120), 복원부(130), 인식부(140), 제2 추출부(150), 추적부(160), 제1 학습부(170), 제2 학습부(180)를 포함한다.
우선, 획득부(110)는 광 스캐닝 홀로그래피(OSH; Optical Scanning Holography)를 이용하여 물체의 홀로그램 데이터를 획득한다. 광 스캐닝 홀로그래피는 광 스캐닝을 기반으로 물체의 홀로그램을 획득하는 기기로서 기존에 다양하게 공지되어 있다. 광 스캐닝 홀로그래피는 본 발명의 장치에 포함되거나 장치와 유무선 연결되어 동작할 수 있다.
이하의 본 발명의 실시예는 앞서 배경 기술에 언급한 본 출원인에 의한 공개특허 제2013-0081127호에 도시된 도 1의 홀로그램 획득 장치를 이용하여 물체의 홀로그램 데이터를 획득하는 것을 가정한다. 다만, 본 발명이 반드시 이에 한정되는 것은 아니며, 기 공지된 장치 중에서 선택 적용 가능하다.
사용된 홀로그램 획득 장치의 구성은 크게 광학계 및 전자처리부로 구분된다. 광학계는 광원에서 분리된 두 빔을 변조하여 생성한 구면파와 평면파를 간섭 수단을 이용하여 서로 중첩시켜 스캔 빔을 형성한다. 그리고 형성한 스캔 빔을 이용하여 물체(촬영대상물)를 스캐닝한 다음, 물체로부터 반사되는 스캔 빔을 집광하여 광 검출수단에 집속시키고 집속된 빛의 세기에 비례한 전기 신호를 광 검출 수단을 통해 생성하여 전자처리부로 전달한다.
이러한 전기 신호를 각각의 스캐닝 위치에 따라 저장하면 전기 신호는 물체의 홀로그램이 된다. 이때, 쌍 영상 및 배경 잡음이 없는 물체의 복소수 홀로그램을 추출하기 위해, 광학계에서는 상호 중첩되는 두 빔의 주파수를 편위하는 방식을 사용하여 시간에 따라 스캔빔을 변조하여 물체를 스캐닝한다.
전자처리부는 광 검출수단에서 출력된 전기 신호를 수신하여 디지털 신호로 변환하고 변환된 디지털 신호로부터 물체의 홀로그램 데이터를 생성하여 저장부에 저장한다. 여기서, 전자처리부는 디지털 신호를 복소수 합성 방식으로 합성하여 각각의 스캐닝 위치에 따라 저장하는 방법을 통해 물체에 대한 복소수 홀로그램을 생성하여 저장한다. 이하의 본 발명의 실시예는 상술한 방법을 통하여 생성되어 저장부에 저장된 홀로그램 데이터를 사용하는 것을 가정하여 설명한다.
제1 추출부(120)는 획득한 홀로그램 데이터를 기 학습된 제1 CNN 신경망에 입력시켜 물체의 깊이 위치를 추출한다. 여기서, CNN은 기 공지된 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network)를 의미한다.
여기서, 깊이 위치는 홀로그램 데이터를 획득하는 광 스캐닝 홀로그래피의 위치(예를 들어, 기 설정된 기준 깊이 위치 z=0)를 기준으로 물체가 상대적으로 떨어진 거리를 의미할 수 있다. 물론 스캐닝 대상 물체가 전후로 움직일 경우 물체의 깊이 위치는 시간에 따라 달라질 수 있다.
그리고, 본 발명의 실시예에서, 기 학습된 제1 CNN 신경망이란, 학습용 물체를 대상으로 기 알고 있는 다양한 깊이 위치 별로 획득한 학습용 물체의 홀로그램 데이터 및 그에 대응된 깊이 위치를 각각 학습 데이터로 활용하여, 제1 학습부(170)에서 미리 학습시킨 신경망에 해당할 수 있다.
즉, 제1 학습부(170)는 복수의 깊이 위치 별로 학습용 물체에 대해 기 획득한 홀로그램 데이터 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하여 제1 CNN 신경망을 사전에 학습시킨다. 제1 학습부(170)는 홀로그램 데이터에서 추출한 특징 정보와 그에 대응된 깊이 위치를 학습시킨다.
이에 따르면, 학습된 제1 CNN 신경망에 소정의 물체에 대한 홀로그램 데이터를 입력하는 것만으로 해당 물체에 대한 깊이 위치를 빠르고 용이하게 획득할 수 있다.
제1 CNN 신경망의 학습에 사용되는 학습용 물체의 종류는 특별히 제한되지 않으며 다양한 종류의 물체들에 대한 홀로그램 데이터가 깊이 정보 학습에 사용될 수 있음은 물론이다.
홀로그램 데이터는 복원부(130)를 통하여 홀로그램 영상으로 복원된다. 물체를 광 스캐닝하여 획득한 홀로그램 데이터를 영상으로 복원하는 수단에 대해서는 기존에 다양하게 공지되어 있다.
이때, 복원부(130)는 물체의 홀로그램 데이터와 추출된 깊이 위치를 이용하여, 해당 깊이 위치에서 물체의 홀로그램 영상을 2차원으로 복원한다. 이러한 복원부(130)는 해당 깊이 위치에서 2차원 형상으로 맺힌 물체의 홀로그램 영상을 제공하며, 이를 통해 해당 깊이 위치에서 복원된 2차원 홀로그램 영상을 제공한다. 즉, 복원부(130)는 본 발명의 장치 위치를 기준으로 해당 깊이 위치 만큼 떨어진 거리 지점에 2차원 이미지 형태의 홀로그램 영상을 복원한다.
이후, 인식부(140)는 복원된 홀로그램 영상을 기 학습된 제2 CNN 신경망에 입력시켜 물체의 종류를 인식한다.
여기서, 기 학습된 제2 CNN 신경망이란, 학습용 물체에 대한 2차원 홀로그램 영상(이미지) 및 그에 대응되는 학습용 물체의 종류를 사용하여 제2 학습부(180)에서 미리 학습시킨 CNN 신경망에 해당할 수 있다. 제2 학습부(180)는 복원된 홀로그램 영상에서 추출한 특징 정보와 그에 대응된 물체의 종류를 학습시킨다.
이에 따르면, 학습된 제2 CNN 신경망에 물체의 복원된 2차원의 홀로그램 영상을 입력하는 것만으로도 해당 물체가 어떤 종류의 물체인지 구분하고 그 결과를 출력하여 제공할 수 있다. 예를 들어, 복원된 2차원의 홀로그램 영상의 이미지를 제2 CNN 신경망에 입력하는 것을 통해, 현재의 복원 영상 속 물체가 적군기인지 아군기인지 혹은 고양이인지 강아지인지를 빠르고 용이하게 판별할 수 있다.
여기서, 제2 CNN 신경망에 입력되는 홀로그램 영상은 해당 깊이 위치에서 복원된 2차원의 홀로그램 영상의 이미지를 의미한다. 즉, 제2 추출부(150)는 복원된 홀로그램 영상에 해당하는 이미지를 제2 CNN 신경망에 입력하여 그에 대응된 물체의 종류를 판별하여 제공한다. 이때, 이미지는 해당 깊이 위치에서 복원된 홀로그램 영상을 본 발명의 장치에서 촬영하여 얻은 이미지 데이터를 의미할 수 있다.
제2 추출부(150)는 홀로그램 영상에서 추출된 물체의 특징점들과 인식된 종류의 물체에 대응하여 DB에 기 저장된 특징점들을 상호 비교하여, 홀로그램 영상에서 추출된 특징점들의 2차원 위치(수평 위치)를 추출한다.
구체적으로, 제2 추출부(150)는 홀로그램 영상에 SURF(Speed Up Robust Feature) 알고리즘을 적용하여 물체의 특징점들을 추출하고 추출한 특징점들과 기 저장된 특징점들을 상호 매칭하여, 각 특징점들의 2차원 위치를 추출한다.
예를 들어, 홀로그램 영상으로부터 인식된 물체가 고양이로 판별된 경우, 해당 홀로그램 영상에서 추출한 특징점들과 DB에 기 저장된 고양이 객체에 대한 대표 이미지에 설정된 특징점들을 SURF 알고리즘을 통해 상호 비교하고 동일 특징점 간을 매칭하는 방법을 이용하여, 홀로그램 영상 내 각 특징점의 2차원적 위치를 추출한다.
여기서, 특징점의 2차원 위치란, 본 발명의 장치를 기준으로 하는 기준점(Origin point)에 대해 해당 특징점이 2차원적으로 떨어진 상대적인 좌표를 의미할 수 있다. 예를 들어, 기준점의 3차원 좌표 (x0,y0,z0)에 대해, 각 특징점의 2차원 위치는 (xi,yi)에 해당할 수 있다.
이와 같이 특징점 매칭에 기반한 각 특징점의 2차원 위치 추출에는 촬영 각도, 시점 변화 등을 고려하여 기준점으로부터 물체가 떨어진 거리(깊이 위치) 정보가 활용될 수 있다.
상술한 SURF 알고리즘은 영상의 비율, 스케일, 조명, 시점 등의 환경 변화를 고려하여 여러 영상으로부터 환경 변화에 불변하는 특징점들을 탐색하는 기법이다. 이는 기 공지된 알고리즘에 해당하므로 구체적인 설명은 생략한다. 또한, 이러한 특징점 매칭에 기반한 위치 검출에는 SURF 알고리즘과 유사한 SIFT(Scale Invariant Feature Transform) 알고리즘이 활용될 수도 있다.
본 발명의 실시에는 SURF 알고리즘을 사용하여 매칭된 특징점의 위치를 추출하여 홀로그램 복원 영상의 수평 위치를 확인할 수 있으며, 수평 위치와 이전 프로세서에서 추출한 깊이 위치를 실제 공간에서의 수평, 깊이 위치로 전환하면 복원 영상의 3차원 공간 상의 위치를 특정할 수 있다.
추적부(160)는 물체의 깊이 위치 및 특징점들의 2차원 위치를 이용하여 물체의 3차원 위치를 추적한다. 예를 들어, 기준점에 대한 복원 영상(물체)의 깊이 위치(zi), 복원 영상 내 각 특징점의 2차원 위치(xi,yi)를 이용하여 복원 영상에 대한 3차원 공간 상의 위치를 제공할 수 있다. 또한 촬영 대상 체가 움직이는 경우 물체의 3차원 위치를 실시간 획득하고 추적 제공할 수 있다.
이처럼, 본 발명의 실시예는 제2 CNN 신경망을 통해 복원된 홀로그램 영상에서 물체의 종류를 인식한 다음, 인식한 물체의 종류에 대응한 특징점들을 기초로 해당 물체의 각 특징점들에 대한 2차원 위치를 산출함으로써 복원 영상의 수평 위치를 알 수 있다. 또한 특징점의 2차원 위치와 물체의 깊이 위치를 결합하여 물체의 3차원 위치를 제공할 수 있다.
도 2는 도 1의 장치를 이용한 3차원 물체 인식 및 추적 방법을 설명하는 도면이다.
먼저, 제1 학습부(170)와 제2 학습부(180)는 제1 CNN 신경망과 제2 CNN 신경망을 각각 학습시킨다(S210).
이를 위해, 제1 학습부(170)는 복수의 깊이 위치 별로 학습용 물체에 대해 기 획득한 홀로그램 데이터 및 그에 대응된 깊이 위치를 학습 데이터로 구축하고 이러한 학습용 데이터를 이용하여 제1 CNN 신경망을 사전에 학습시킨다.
그리고, 제2 학습부(180)는 학습용 물체에 대한 홀로그램 영상 및 그에 대응되는 학습용 물체의 종류를 학습 데이터로 구축하고 이를 이용하여 제2 CNN 신경망을 사전에 학습시킨다.
각각의 CNN 신경망은 입력된 데이터에 대한 특징을 컨볼루셔널 레이어를 통해 추출하며, 추출한 특징과 그에 대응되는 결과값을 각각 입력과 출력으로 하여 뉴럴 네트워크를 학습시킨다.
제1 학습부(170)는 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 깊이 위치를 학습 데이터로 사용한다. 이에 따라, 학습용 물체의 깊이 위치 별로 홀로그램 데이터의 특징(Feature)이 학습된다. 제2 학습부(180)는 학습용 물체에 대하여 복원한 홀로그램 영상에서 추출된 특징 정보 및 그에 대응되는 객체 종류를 학습 데이터로 사용한다. 이에 따라 학습용 물체의 종류 별로 홀로그램 영상의 특징이 학습된다.
본 발명의 실시예에서 제1 학습부(170)는 홀로그램 데이터에서 물체의 주변에 형성되는 간섭 무늬인 프린지 패턴 부분의 특징을 추출하여 학습에 사용할 수 있다.
도 3은 홀로그램 데이터에서 물체 주변에 프린지 패턴이 관측된 모습을 예시한 도면이다. 도 3의 적색 화살표를 참조하면, 물체의 주변을 따라 형성된 프린지 패턴의 간격은 물체 방향으로 점점 늘어나는 처프 함수 형태를 가진다. 여기서, 광 스캐닝 홀로그래피 장치로부터 떨어진 물체의 깊이에 따라 프린지 간격이나 간격의 증감율, 길이 변화 등이 달라질 수 있다.
이와 같이, 프린지 패턴의 특징을 분석하면 물체의 깊이 위치에 대한 정보를 확인할 수 있다. 또한, 이러한 점을 이용하여, 본 발명의 실시예는 홀로그램 데이터 상의 물체 주변의 프린지 패턴을 특징 정보로 하여 깊이 정보를 학습시킬 수 있다.
CNN 신경망의 학습 원리는 기 공지된 것에 해당하나 이에 관하여 간단히 설명하면 다음과 같다. CNN 신경망은 입력 데이터에 특징 추출을 위한 필터를 적용하여 특징 지도(feature map)를 형성하고, 추출된 특징들의 연산 속도를 높이기 위해 풀링(pooling) 작업을 거친다.
도 4는 CNN 신경망에서 이미지와 필터 간 합성곱을 이용하여 특징 지도를 형성하는 원리를 간략히 나타낸 도면이고, 도 5는 도 4의 이미지에 대해 다양한 필터를 사용하여 특징 지도를 생성하는 모습을 예시한 도면이다.
도 4의 (a)는 입력 이미지와 그에 적용되는 필터를 예시한 것이며, (b)는 입력 이미지에 해당 필터를 적용하여 합성곱(convolution)을 통해 특징 지도(feature map)를 형성한 모습을 나타낸다. 물론 이는 공지된 기법에 해당한다.
제1 CNN 신경망을 예를 들면, 도 4와 같이 CNN 신경망에 입력되는 홀로그램 데이터에 대해 필터를 적용하여 입력 데이터와 필터 간의 합성곱을 통하여 데이터의 특징을 판별하는 특징 지도를 형성한다. 이때, 도 5와 같이 다양한 크기와 종류의 필터를 사용하여 해당 필터를 적용한 채널로 구분 짓고 이를 통해 입력받은 데이터를 더욱 자세히 분류 및 분석할 수 있다. 위의 방법으로 추출된 특징들은 연산 속도를 빠르게 하기 위한 풀링 작업을 거친다.
도 6은 CNN 신경망에서 수행하는 풀링 작업을 나타낸 도면이다. 도 6은 최대값을 이용한 max pooling과 평균값을 이용한 average pooling 방식을 함께 도시하고 있다. 도 6의 좌측에 도시한 특징 지도는 풀링 작업 결과 크기가 축소된 것을 알 수 있다.
이러한 풀링 작업은 데이터가 나열된 특징 지도의 행렬 구조에서 정사각 행렬의 특정 영역 내부의 값들에 대한 최대값 또는 평균값을 구하고 이를 해당 영역 상에 하나의 값으로 치환하여 데이터의 크기를 줄이는 방법이다.
도 7은 CNN 신경망의 구조를 설명한 도면이다. 도 7은 특징 지도 생성 작업과 풀링 작업이 반복되는 구조의 CNN 신경망을 나타낸 것으로, 합성곱을 이용한 필터와 풀링을 반복적으로 조합하여 컨볼루셔널 레이어를 구축하여 특징을 추출할 수 있으며, 추출한 특징은 뉴럴 네트워크에서 깊이 위치와 함께 학습된다.
제2 CNN 신경망의 경우 앞서 제1 CNN 신경망과는 입출력 데이터는 상이하지만 실질적인 학습 원리는 동일하므로, 반복 설명은 생략한다.
학습이 완료된 이후, 획득부(110)는 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램을 획득한다(S220),
제1 추출부(120)는 획득된 홀로그램 데이터를 제1 CNN 신경망에 입력하여 물체의 깊이 위치를 도출하며(S230), 복원부(130)는 도출된 해당 깊이 위치에서 물체의 홀로그램 영상을 2차원 형태로 복원한다(S240).
그리고, 인식부(140)는 복원된 홀로그램 영상을 제2 CNN 신경망에 입력하여 물체의 종류를 인식한다(S250).
도 8은 본 발명의 실시예에서 복원된 홀로그램 영상으로부터 CNN 분석을 이용하여 물체를 인식하는 원리를 설명한 도면이다. 이러한 도 8의 예시는 홀로그램 복원 영상을 CNN에 입력하였을 때 가능한 출력 값 A~D(예를 들어, A=고양이, B=강아지, C=퓨마, D=사자) 중에서 'A'를 출력한 결과를 나타낸다. 즉, 복원 영상 속 물체는 고양이임을 나타낸다.
이후, 제2 추출부(150)는 인식된 해당 종류의 물체에 대응하여 DB에 기 저장된 특징점들을 독출하고 이를 홀로그램 영상에서 추출된 물체의 특징점들과 상호 비교하여, 추출된 특징점들에 대한 2차원 위치를 추출한다(S260).
도 9는 본 발명의 실시예에서 SURF 알고리즘을 이용하여 특징점을 추출하는 개념을 간략히 나타낸 도면이다.
SURF 특징점 검출 알고리즘은 홀로그램 복원 영상에서 점으로 이루어진 영상의 밝기를 면적으로 치환하고, 필터를 적용하여 면적의 밝기를 단순화하며, 헤세 행렬(Hessian Matrix)을 이용하여 특이점을 계산하는 방법으로 특징점을 추출할 수 있다.
도 10은 본 발명의 실시예에서 특징점 추출 이후 특징점 간 매칭 알고리즘을 적용하여 2차원 위치를 획득하는 개념을 나타낸 도면이다.
복원 영상에서 추출한 특징점과 해당 종류의 대표 이미지에 대한 특징점 간을 매칭하고, 매칭된 위치를 추출하여 홀로그램 복원 영상의 수평 위치를 확인한다. 여기서 해당 수평 위치와 이전에 추출한 깊이 위치를 실제 공간에서의 수평 및 깊이 위치로 전환하면 홀로그램 복원 영상에 대한 3차원 공간상의 위치를 특정할 수 있다.
따라서, 추적부(160)는 깊이 위치 및 특징점들의 2차원 위치를 이용하여 물체의 3차원 위치를 확인하고 실시간 추적한다(S270).
이상과 같은 본 발명에 따르면, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 홀로그램 데이터로부터 물체의 깊이 위치를 추출하고 해당 깊이 위치에서 복원된 홀로그램 영상으로부터 물체의 종류를 인식하며 인식된 물체의 특징점들의 2차원 위치를 추출하여 최종적으로 물체의 3차원 위치를 획득 및 추적할 수 있는 이점을 제공한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 3차원 물체 인식 및 추적 장치
110: 획득부 120: 제1 추출부
130: 복원부 140: 인식부
150: 제2 추출부 160: 추적부
170: 제1 학습부 180: 제2 학습부

Claims (10)

  1. 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치에서의 3차원 물체 인식 및 추적 방법에 있어서,
    상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 단계;
    상기 홀로그램 데이터를 기 학습된 제1 CNN 신경망에 입력시켜 상기 물체의 깊이 위치를 추출하는 단계;
    상기 홀로그램 데이터와 상기 깊이 위치를 이용하여 상기 깊이 위치에서 물체의 홀로그램 영상을 2차원으로 복원하는 단계;
    상기 홀로그램 영상을 기 학습된 제2 CNN 신경망에 입력시켜 상기 물체의 종류를 인식하는 단계;
    상기 홀로그램 영상에서 추출된 상기 물체의 특징점들과 상기 인식된 종류의 물체에 대응하여 기 저장된 특징점들을 상호 비교하여, 상기 추출된 특징점들의 2차원 위치를 추출하는 단계; 및
    상기 깊이 위치 및 상기 특징점들의 2차원 위치를 이용하여 상기 물체의 3차원 위치를 추적하는 단계를 포함하는 3차원 물체 인식 및 추적 방법.
  2. 청구항 1에 있어서,
    복수의 깊이 위치 별로 학습용 물체에 대해 기 획득한 홀로그램 데이터 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하여 상기 제1 CNN 신경망을 학습시키는 단계를 더 포함하는 3차원 물체 인식 및 추적 방법.
  3. 청구항 1에 있어서,
    상기 제1 CNN 신경망은,
    복수의 깊이 위치 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하며,
    상기 특징 정보는,
    물체 주변에 형성되는 간섭 무늬인 프린지 패턴의 특징인 3차원 물체 인식 및 추적 방법.
  4. 청구항 1에 있어서,
    학습용 물체에 대한 홀로그램 영상 및 그에 대응되는 상기 학습용 물체의 종류를 학습 데이터로 사용하여 상기 제2 CNN 신경망을 학습시키는 단계를 더 포함하는 3차원 물체 인식 및 추적 방법.
  5. 청구항 1에 있어서,
    상기 특징점들의 2차원 위치를 추출하는 단계는,
    상기 홀로그램 영상에 SURF(Speed Up Robust Feature) 알고리즘을 적용하여 상기 물체의 특징점들을 추출하고, 상기 추출한 특징점들과 상기 기 저장된 특징점들을 상호 매칭하여, 상기 추출한 특징점들에 대한 2차원 위치를 추출하는 3차원 물체 인식 및 추적 방법.
  6. 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치에 있어서,
    상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 획득부;
    상기 홀로그램 데이터를 기 학습된 제1 CNN 신경망에 입력시켜 상기 물체의 깊이 위치를 추출하는 제1 추출부;
    상기 홀로그램 데이터와 상기 깊이 위치를 이용하여 상기 깊이 위치에서 물체의 홀로그램 영상을 2차원으로 복원하는 복원부;
    상기 홀로그램 영상을 기 학습된 제2 CNN 신경망에 입력시켜 상기 물체의 종류를 인식하는 인식부;
    상기 홀로그램 영상에서 추출된 상기 물체의 특징점들과 상기 인식된 종류의 물체에 대응하여 기 저장된 특징점들을 상호 비교하여, 상기 추출된 특징점들의 2차원 위치를 추출하는 제2 추출부; 및
    상기 깊이 위치 및 상기 특징점들의 2차원 위치를 이용하여 상기 물체의 3차원 위치를 추적하는 추적부를 포함하는 3차원 물체 인식 및 추적 장치.
  7. 청구항 6에 있어서,
    복수의 깊이 위치 별로 학습용 물체에 대해 기 획득한 홀로그램 데이터 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하여 상기 제1 CNN 신경망을 학습시키는 제1 학습부를 더 포함하는 3차원 물체 인식 및 추적 장치.
  8. 청구항 6에 있어서,
    상기 제1 CNN 신경망은,
    복수의 깊이 위치 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 깊이 위치를 학습 데이터로 사용하며,
    상기 특징 정보는,
    물체 주변에 형성되는 간섭 무늬인 프린지 패턴의 특징인 3차원 물체 인식 및 추적 장치.
  9. 청구항 6에 있어서,
    학습용 물체에 대한 홀로그램 영상 및 그에 대응되는 상기 학습용 물체의 종류를 학습 데이터로 사용하여 상기 제2 CNN 신경망을 학습시키는 제2 학습부를 더 포함하는 3차원 물체 인식 및 추적 장치.
  10. 청구항 6에 있어서,
    상기 제2 추출부는,
    상기 홀로그램 영상에 SURF(Speed Up Robust Feature) 알고리즘을 적용하여 상기 물체의 특징점들을 추출하고, 상기 추출한 특징점들과 상기 기 저장된 특징점들을 상호 매칭하여, 상기 추출한 특징점들에 대한 2차원 위치를 추출하는 3차원 물체 인식 및 추적 장치.
KR1020180160018A 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법 KR102164395B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160018A KR102164395B1 (ko) 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160018A KR102164395B1 (ko) 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200072157A true KR20200072157A (ko) 2020-06-22
KR102164395B1 KR102164395B1 (ko) 2020-10-12

Family

ID=71142659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160018A KR102164395B1 (ko) 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102164395B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972958A (zh) * 2022-07-27 2022-08-30 北京百度网讯科技有限公司 关键点检测方法、神经网络的训练方法、装置和设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130081127A (ko) * 2012-01-06 2013-07-16 세종대학교산학협력단 홀로그램 레코딩 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130081127A (ko) * 2012-01-06 2013-07-16 세종대학교산학협력단 홀로그램 레코딩 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114972958A (zh) * 2022-07-27 2022-08-30 北京百度网讯科技有限公司 关键点检测方法、神经网络的训练方法、装置和设备

Also Published As

Publication number Publication date
KR102164395B1 (ko) 2020-10-12

Similar Documents

Publication Publication Date Title
KR101362631B1 (ko) 머리 인식 방법
Fatan et al. Underwater cable detection in the images using edge classification based on texture information
KR20170050465A (ko) 얼굴 인식 장치 및 방법
Daniel et al. Side-scan sonar image matching
Kamencay et al. Improved Depth Map Estimation from Stereo Images Based on Hybrid Method.
KR20080056721A (ko) 물체 복원 방법 및 시스템
Khurana et al. A survey on object recognition and segmentation techniques
Sung et al. Crosstalk removal in forward scan sonar image using deep learning for object detection
CN104680158A (zh) 一种基于对尺度块局部多值模式的人脸识别方法
CN110555348A (zh) 一种指纹识别方法、设备及计算机可读存储介质
Shirvaikar et al. Developing texture-based image clutter measures for object detection
KR100958962B1 (ko) 지문 분류 처리 장치 및 방법
KR102164395B1 (ko) 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 3차원 물체 인식 및 추적 장치 및 그 방법
Nambiar et al. A gan-based super resolution model for efficient image enhancement in underwater sonar images
Sung et al. Sonar image translation using generative adversarial network for underwater object recognition
KR102167616B1 (ko) 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법
CN113160210A (zh) 基于深度相机的排水管道缺陷检测方法及装置
Kallasi et al. Object detection and pose estimation algorithms for underwater manipulation
Wang et al. Underwater object detection by fusing features from different representations of sonar data
Meszmer et al. AI surrogate models for error analysis in optical systems
Sagawa et al. Learning-based feature extraction for active 3d scan with reducing color crosstalk of multiple pattern projections
KR102683455B1 (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
KR102488858B1 (ko) 손상된 유형물의 디지털 복원 방법, 장치 및 프로그램
Pramote et al. Improve accuracy of disparity map for stereo images using SIFT and weighted color model
CN118089794B (zh) 一种基于多源信息的自适应多信息组合导航的仿真方法

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant