KR102167616B1 - 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법 - Google Patents

광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법 Download PDF

Info

Publication number
KR102167616B1
KR102167616B1 KR1020180160019A KR20180160019A KR102167616B1 KR 102167616 B1 KR102167616 B1 KR 102167616B1 KR 1020180160019 A KR1020180160019 A KR 1020180160019A KR 20180160019 A KR20180160019 A KR 20180160019A KR 102167616 B1 KR102167616 B1 KR 102167616B1
Authority
KR
South Korea
Prior art keywords
hologram
neural network
extracting
data
dimensional position
Prior art date
Application number
KR1020180160019A
Other languages
English (en)
Other versions
KR20200072158A (ko
Inventor
김태근
이응준
Original Assignee
세종대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 세종대학교 산학협력단 filed Critical 세종대학교 산학협력단
Priority to KR1020180160019A priority Critical patent/KR102167616B1/ko
Publication of KR20200072158A publication Critical patent/KR20200072158A/ko
Application granted granted Critical
Publication of KR102167616B1 publication Critical patent/KR102167616B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0443—Digital holography, i.e. recording holograms with digital recording means
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/18—Particular processing of hologram record carriers, e.g. for obtaining blazed holograms
    • G03H2001/186—Swelling or shrinking the holographic record or compensation thereof, e.g. for controlling the reconstructed wavelength
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/26—Processes or apparatus specially adapted to produce multiple sub- holograms or to obtain images from them, e.g. multicolour technique
    • G03H1/2645—Multiplexing processes, e.g. aperture, shift, or wavefront multiplexing
    • G03H2001/2675—Phase code multiplexing, wherein the sub-holograms are multiplexed according to spatial modulation of the reference beam
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00—Active addressable light modulator
    • G03H2225/30—Modulation
    • G03H2225/32—Phase only

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법에 관한 것이다. 본 발명에 따르면, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치에서의 3차원 위치 추출 방법에 있어서, 상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 단계와, 상기 획득된 홀로그램 데이터를 기 학습된 CNN 신경망에 입력시켜 상기 물체의 깊이 위치 및 수평 위치를 추출하는 단계, 및 상기 추출된 깊이 및 수평 위치를 이용하여 상기 물체의 3차원 위치를 제공하는 단계를 포함하는 물체의 3차원 위치 추출 방법을 제공한다.
본 발명에 따르면, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 홀로그램 데이터로부터 물체의 깊이 및 수평 위치를 추출하여 3차원 위치를 제공할 수 있는 이점을 제공한다.

Description

광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법{Apparatus extracting three-dimensional location of object using optical scanning holography and convolutional neural network and method thereof}
본 발명은 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법에 관한 것으로, 보다 상세하게는 홀로그램 데이터와 딥 러닝 기법을 이용하여 물체의 3차원 위치를 추출할 수 있는 물체의 3차원 위치 추출 장치 및 그 방법에 관한 것이다.
홀로그램은 4차 산업혁명 분야의 미래 핵심기술 중 하나로써 다양한 분야에 접목되고 있다. 현재 홀로그램은 가상현실(VR, Virtual Reality), 증강현실(AR, Augmented Reality), 엔터테인먼트 등에 많이 접목되어 우리 삶속에 친숙하게 인식되어가고 있다.
3차원 공간 감각을 향유할 수 있는 홀로그램은 문화, 예술을 뛰어넘어 의료, 서비스등과 같은 다른 분야에도 접목이 가능하다. 그러나 2차원 정보를 다루는 일반 영상 정보와 달리 홀로그램 정보가 가지는 깊이, 수평 정보를 통한 3차원 정보를 보다 고도화된 다른 산업 분야에 활용하기에는 아직까지는 어려운 단계이다.
그 이유는 정확한 위치 정보를 파악해야 하고, 2차원 정보와 달리 3차원 정보가 가지는 많은 데이터량을 효과적으로 연산할 수 있어야 하기 때문이다. 이러한 문제들을 해결하기 위해서는 홀로그램 정보의 깊이 및 수평 위치를 효율적으로 연산할 수 있는 새로운 기술이 요구된다.
본 발명의 배경이 되는 기술은 한국공개특허 제2013-0081127호(2013.07.16 공개)에 있다.
본 발명은 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 3차원 위치를 추출할 수 있는 물체의 3차원 위치 추출 장치 및 그 방법을 제공하는데 목적이 있다.
본 발명은, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치에서의 3차원 위치 추출 방법에 있어서, 상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 단계와, 상기 획득된 홀로그램 데이터를 기 학습된 CNN 신경망에 입력시켜 상기 물체의 깊이 위치 및 수평 위치를 추출하는 단계, 및 상기 추출된 깊이 및 수평 위치를 이용하여 상기 물체의 3차원 위치를 제공하는 단계를 포함하는 물체의 3차원 위치 추출 방법을 제공한다.
또한, 상기 물체의 3차원 위치 추출 방법은, 복수의 위치 정보 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 위치 정보를 학습 데이터로 사용하여 상기 CNN 신경망을 학습시키는 단계를 더 포함하며, 상기 위치 정보는 깊이 위치 및 수평 위치를 포함할 수 있다.
또한, 상기 홀로그램 데이터는, 상기 광 스캐닝 홀로그래피에서 획득한 복소수 홀로그램, 상기 복소수 홀로그램의 실수 부분에 해당하는 실수 홀로그램, 상기 복소수 홀로그램을 이용하여 획득한 탈 축 홀로그램 중 선택된 하나일 수 있다.
또한, 상기 CNN 신경망은, 상기 홀로그램 데이터에 대한 이미지 전체 영역 또는 일부 영역으로부터 상기 특징 정보를 추출할 수 있다.
또한, 상기 일부 영역은, 상기 이미지의 질량 중심(COM; Center Of Mass)을 기준으로 설정 범위 이내의 영역 또는 상기 이미지 내에서 물체 주변에 형성되는 간섭 무늬인 프린지 패턴의 영역을 의미할 수 있다.
또한, 상기 CNN 신경망은, 상기 홀로그램 데이터에 대한 이미지 전체 영역 또는 일부 영역을 푸리에 변환하여 획득한 주파수 도메인 상의 홀로그램 위상 정보를 상기 특징 정보로 사용할 수 있다.
또한, 상기 CNN 신경망은, 상기 주파수 도메인 상의 주파수 원점으로부터 설정 주파수 반경 이내의 위상 정보만을 추출하여 상기 특징 정보로 사용하며, 상기 설정 주파수는 촬영 대상이 되는 물체의 최대 주파수일 수 있다.
그리고, 본 발명은, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치에 있어서, 상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 획득부와, 상기 획득된 홀로그램 데이터를 기 학습된 CNN 신경망에 입력시켜 상기 물체의 깊이 위치 및 수평 위치를 추출하는 추출부, 및 상기 추출된 깊이 및 수평 위치에 대응된 상기 물체의 3차원 위치를 제공하는 제공부를 포함하는 물체의 3차원 위치 추출 장치를 제공한다.
또한, 상기 물체의 3차원 위치 추출 장치는, 복수의 위치 정보 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 위치 정보를 학습 데이터로 사용하여 상기 CNN 신경망을 학습시키는 학습부를 더 포함하며, 상기 위치 정보는 깊이 위치 및 수평 위치를 포함할 수 있다.
본 발명에 따르면, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 홀로그램 데이터로부터 물체의 깊이 및 수평 위치를 추출하여 3차원 위치를 제공할 수 있는 이점을 제공한다.
도 1은 본 발명의 실시예에 따른 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치의 구성을 나타낸 도면이다.
도 2는 도 1의 장치를 이용한 물체의 3차원 위치 추출 방법을 설명하는 도면이다.
도 3은 본 발명의 실시예에서 홀로그램 데이터에 대한 이미지 전체 또는 일부 영역을 학습에 사용하는 개념을 설명하는 도면이다.
도 4은 홀로그램 데이터에서 물체 주변에 프린지 패턴이 관측된 모습을 예시한 도면이다.
도 5는 소정의 홀로그램 데이터를 푸리에 변환한 결과를 예시한 도면이다.
도 6은 CNN 신경망에서 이미지와 필터 간 합성곱을 이용하여 특징 지도를 형성하는 원리를 간략히 나타낸 도면이다.
도 7은 도 6의 이미지에 대해 다양한 필터를 사용하여 특징 지도를 생성하는 모습을 예시한 도면이다.
도 8은 CNN 신경망에서 수행하는 풀링 작업을 나타낸 도면이다.
도 9는 CNN 신경망의 구조를 설명한 도면이다.
도 10은 본 발명의 실시예에 따른 홀로그램 정보로부터 CNN 분석을 이용하여 물체의 깊이 및 수평 위치를 추출하는 원리를 설명한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치의 구성을 나타낸 도면이다.
도 1에 나타낸 것과 같이, 본 발명의 실시예에 따른 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치(100)는 획득부(110), 추출부(120), 제공부(130), 학습부(140)를 포함한다.
우선, 획득부(110)는 광 스캐닝 홀로그래피(OSH; Optical Scanning Holography)를 이용하여 물체의 홀로그램 데이터를 획득한다. 광 스캐닝 홀로그래피는 광 스캐닝을 기반으로 물체의 홀로그램을 획득하는 기기로서 기존에 다양하게 공지되어 있다. 광 스캐닝 홀로그래피는 본 발명의 장치에 포함되거나 장치와 유무선 연결되어 동작할 수 있다.
이하의 본 발명의 실시예는 앞서 배경 기술에 언급한 본 출원인에 의한 공개특허 제2013-0081127호에 도시된 도 1의 홀로그램 획득 장치를 이용하여 물체의 홀로그램 데이터를 획득하는 것을 가정한다. 다만, 본 발명이 반드시 이에 한정되는 것은 아니며, 기 공지된 장치 중에서 선택 적용 가능하다.
사용된 홀로그램 획득 장치의 구성은 크게 광학계 및 전자처리부로 구분된다. 광학계는 광원에서 분리된 두 빔을 변조하여 생성한 구면파와 평면파를 간섭 수단을 이용하여 서로 중첩시켜 스캔 빔을 형성한다. 그리고 형성한 스캔 빔을 이용하여 물체(촬영대상물)를 스캐닝한 다음, 물체로부터 반사되는 스캔 빔을 집광하여 광 검출수단에 집속시키고 집속된 빛의 세기에 비례한 전기 신호를 광 검출 수단을 통해 생성하여 전자처리부로 전달한다.
이러한 전기 신호를 각각의 스캐닝 위치에 따라 저장하면 전기 신호는 물체의 홀로그램이 된다. 이때, 쌍 영상 및 배경 잡음이 없는 물체의 복소수 홀로그램을 추출하기 위해, 광학계에서는 상호 중첩되는 두 빔의 주파수를 편위하는 방식을 사용하여 시간에 따라 스캔빔을 변조하여 물체를 스캐닝한다.
전자처리부는 광 검출수단에서 출력된 전기 신호를 수신하여 디지털 신호로 변환하고 변환된 디지털 신호로부터 물체의 홀로그램 데이터를 생성하여 저장부에 저장한다. 여기서, 전자처리부는 디지털 신호를 복소수 합성 방식으로 합성하여 각각의 스캐닝 위치에 따라 저장하는 방법을 통해 물체에 대한 복소수 홀로그램을 생성하여 저장한다. 이하의 본 발명의 실시예는 상술한 방법을 통하여 생성되어 저장부에 저장된 홀로그램 데이터를 사용하는 것을 가정하여 설명한다.
또한, 본 발명의 실시예에서 사용되는 홀로그램 데이터는, 광 스캐닝 홀로그래피에서 획득한 복소수 홀로그램일 수도 있고, 복소수 홀로그램의 실수 부분에 해당하는 실수 홀로그램일 수도 있으며, 복소수 홀로그램을 이용하여 합성한 탈 축(off-axis) 홀로그램일 수도 있다.
본 발명의 실시예에서 추출부(120)는 획득된 홀로그램 데이터를 기 학습된 CNN 신경망에 입력시켜 상기 물체의 깊이 위치 및 수평 위치를 추출한다. 여기서, CNN은 기 공지된 컨볼루셔널 뉴럴 네트워크(Convolutional Neural Network)를 의미한다.
여기서, 깊이 위치는 홀로그램 데이터를 획득하는 광 스캐닝 홀로그래피의 위치(예를 들어, 기 설정된 기준 깊이 위치 z=0)를 기준으로 물체가 상대적으로 떨어진 거리를 의미할 수 있다. 물론 스캐닝 대상 물체가 전후로 움직일 경우 물체의 깊이 위치는 달라질 수 있다.
수평 위치는 해당 깊이에서의 2차원 평면 상의 위치를 의미한다. 즉, 수평 위치는 기 설정된 x,y 평면의 기준점(예를 들어, x=0, y=0)에 대한 물체의 2차원 위치를 의미할 수 있으며, 물체가 상하좌우로 움직일 경우 물체의 수평 위치는 달라질 수 있다.
그리고, 본 발명의 실시예에서, 기 학습된 CNN 신경망이란, 학습용 물체를 대상으로 기 알고 있는 다양한 3차원 위치 지점에서 획득한 학습용 물체에 대한 홀로그램 데이터 및 그에 대응된 위치 정보를 각각 학습 데이터로 활용하여, 학습부(140)에서 미리 학습시킨 신경망에 해당할 수 있다. 여기서 물론, 위치 정보는 물체의 깊이 위치 및 수평 위치를 포함하는 정보이다.
학습부(140)는 이러한 복수의 위치 정보 별로 학습용 물체에 대해 기 획득한 홀로그램 데이터 및 그에 대응되는 위치 정보를 학습 데이터로 사용하여 CNN 신경망을 사전에 학습시킨다. 여기서, 학습부(140)는 홀로그램 데이터에서 추출한 특징 정보와 그에 대응된 위치 정보를 학습시킨다.
이에 따르면, 학습된 CNN 신경망에 소정의 물체에 대한 홀로그램 데이터를 입력하는 것만으로 해당 물체에 대한 3차원 위치를 빠르고 용이하게 획득할 수 있다. 본 발명의 실시예에서 CNN 신경망의 학습에 사용되는 학습용 물체의 종류는 특별히 제한되지 않으며 다양한 종류의 물체들에 대한 홀로그램 데이터가 깊이 정보 학습에 사용될 수 있음은 물론이다.
제공부(130)는 추출부(120)에서 추출된 물체의 깊이 및 수평 위치를 이용하여 물체의 3차원 위치를 제공한다. 제공부(130)는 물체의 z 축상의 깊이 및 x,y 평면 상의 수평 위치를 결합하여 물체의 3차원 위치를 확인할 수 있다.
이와 같이, 본 발명의 실시예는 광 스캐닝 홀로그래피로부터 획득된 물체의 홀로그램 데이터를 기 학습된 CNN 신경망에 입력하여 출력되는 결과로부터 물체의 3차원 위치를 추출하여 제공할 수 있다.
도 2는 도 1의 장치를 이용한 물체의 3차원 위치 추출 방법을 설명하는 도면이다.
먼저, 학습부(140)는 복수의 위치 정보 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 위치 정보를 학습 데이터로 사용하여 CNN 신경망을 사전에 학습시킨다(S210).
CNN 신경망은 입력된 데이터에 대한 특징을 컨볼루셔널 레이어를 통해 추출하며, 추출한 특징과 그에 대응되는 결과값을 각각 입력과 출력으로 하여 뉴럴 네트워크를 학습시킨다.
학습부(140)는 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 깊이 및 수평 위치를 학습 데이터로 사용한다. 이에 따라, 학습용 물체의 깊이 및 수평 위치 별로 홀로그램 데이터의 특징(Feature)이 학습된다.
도 3은 본 발명의 실시예에서 홀로그램 데이터에 대한 이미지 전체 또는 일부 영역을 학습에 사용하는 개념을 설명하는 도면이다.
도 3에 나타낸 것과 같이, 본 발명의 실시예에서 CNN 신경망은 홀로그램 데이터에 대한 이미지 전체 영역 또는 일부 영역으로부터 특징 정보를 추출하여 학습할 수 있다. 즉, 홀로그램 데이터의 전체를 기계 학습할 수도 있고 일부 특정 영역을 기계 학습할 수 있다. 이는 전체 홀로그램 데이터를 처리하는 것보다 일부 특정 영역으로 특정하여 처리하는 경우 데이터 연산량 및 데이터 연산 시간을 줄일 수 있기 때문이다.
도 3의 첫 번째 그림은 이미지 전체 영역을 활용하는 경우이고, 두 번째 그림은 물체 주변의 특징이 되는 일부 영역을 학습에 사용하는 경우이며, 세 번째 그림은 전체 영역에 대한 질량 중심(COM; Center Of Mass)으로부터 설정 범위 영역을 학습에 사용하는 경우이다.
이미지의 질량 중심을 구하는 방법은 기 공지되어 있다. 또한, 설정 범위는 임의 반경 또는 임의 사각형 영역일 수 있는데, 특정 반경은 광 스캐닝 홀로그래피의 FZP(Fresnel zone plate)의 크기임이 바람직하다.
이와 같이, 본 발명의 실시예의 경우, 일부 영역으로 홀로그램 데이터에 대한 이미지의 질량 중심을 기준으로 설정 범위 이내의 영역을 사용할 수도 있고, 이미지 내에서 물체 주변에 형성되는 간섭 무늬인 프린지 패턴의 영역을 사용할 수도 있다.
특히, 프린지 패턴에는 광 스캐닝 홀로그래피 장치로부터 떨어진 물체의 깊이 및 수평 위치에 관한 정보가 포함되어 있다. 이와 같이, 학습부(140)는 홀로그램 데이터에서 물체의 주변에 형성되는 간섭 무늬인 프린지 패턴 부분의 특징을 추출하여 학습에 사용할 수 있다.
도 4는 홀로그램 데이터에서 물체 주변에 프린지 패턴이 관측된 모습을 예시한 도면이다.
도 4의 적색 화살표를 참조하면, 물체의 주변을 따라 형성된 프린지 패턴의 간격은 물체 방향으로 점점 늘어나는 처프 함수 형태를 가진다. 여기서, 광 스캐닝 홀로그래피 장치로부터 떨어진 물체의 깊이 및 수평 위치에 따라 프린지 간격이나 간격의 증감율, 길이 변화 등이 달라질 수 있다.
이와 같이, 프린지 패턴의 특징을 분석하면 물체의 깊이 및 수평 위치에 대한 정보를 확인할 수 있다. 또한, 이러한 점을 이용하여, 본 발명의 실시예는 홀로그램 데이터 상의 물체 주변의 프린지 패턴을 특징 정보로 하여 위치 정보를 학습시킬 수 있다.
그 밖에도, 본 발명의 실시예에서 CNN 신경망은 홀로그램 데이터에 대한 이미지 전체 영역 또는 일부 영역을 푸리에 변환(Fourier Transformation)하여 획득한 주파수 도메인 상의 홀로그램 위상 정보를 특징 정보로 사용할 수 있다.
이 경우 학습부(140)는 푸리에 도메인에서의 홀로그램의 위상을 CNN 신경망의 입력으로 하고 물체의 깊이 위치와 수평 위치를 출력으로 하여 CNN 신경망을 기계 학습시킬 수 있다. 물론, 학습부(140)는 푸리에 변환하여 획득한 푸리에 도메인에서 홀로그램 위상 전체를 CNN 신경망의 입력으로 할 수도 있고 일부를 입력으로 할 수도 있다.
도 5는 소정의 홀로그램 데이터를 푸리에 변환한 결과를 예시한 도면이다. 이러한 도 5에서 가로축, 세로축, 높이축의 데이터는 각각 x-방향의 공간주파수, y-방향의 공간주파수 그리고 강도를 의미한다.
도 5의 오른쪽 그림에서 적색 원의 중심은 물체의 최대 공간 주파수를 의미하며, 적색 원 내부에는 홀로그램 정보와 물체 정보가 혼재되어 있다. 해당 영역의 주파수 반경 이내에서의 홀로그램 위상 특징을 이용하여 CNN 신경망을 학습시킬 수 있다.
이와 같이, CNN 신경망은 주파수 도메인 상의 전체 위상 정보를 사용할 수도 있지만, 주파수 도메인 상의 주파수 원점으로부터 설정 주파수 반경 이내의 위상 정보만을 추출하여 특징 정보로 사용할 수 있다. 여기서 물론, 설정 주파수는 촬영 대상이 되는 물체의 최대 주파수를 나타낸다.
본 발명의 실시예에서 사용되는 CNN 신경망의 학습 원리는 기 공지된 것에 해당하나 이에 관하여 간단히 설명하면 다음과 같다. CNN 신경망은 입력 데이터에 특징 추출을 위한 필터를 적용하여 특징 지도(feature map)를 형성하고, 추출된 특징들의 연산 속도를 높이기 위해 풀링(pooling) 작업을 거친다.
도 6은 CNN 신경망에서 이미지와 필터 간 합성곱을 이용하여 특징 지도를 형성하는 원리를 간략히 나타낸 도면이고, 도 7은 도 6의 이미지에 대해 다양한 필터를 사용하여 특징 지도를 생성하는 모습을 예시한 도면이다.
도 6의 (a)는 입력 이미지와 그에 적용되는 필터를 예시한 것이며, (b)는 입력 이미지에 해당 필터를 적용하여 합성곱(convolution)을 통해 특징 지도(feature map)를 형성한 모습을 나타낸다. 물론 이는 공지된 기법에 해당한다.
예를 들면, 도 6과 같이 CNN 신경망에 입력되는 홀로그램 데이터에 대해 필터를 적용하여 입력 데이터와 필터 간의 합성곱을 통하여 데이터의 특징을 판별하는 특징 지도를 형성한다. 이때, 도 7과 같이 다양한 크기와 종류의 필터를 사용하여 해당 필터를 적용한 채널로 구분 짓고 이를 통해 입력받은 데이터를 더욱 자세히 분류 및 분석할 수 있다. 위의 방법으로 추출된 특징들은 연산 속도를 빠르게 하기 위한 풀링 작업을 거친다.
도 8은 CNN 신경망에서 수행하는 풀링 작업을 나타낸 도면이다. 도 8은 최대값을 이용한 max pooling과 평균값을 이용한 average pooling 방식을 함께 도시하고 있다. 도 8의 좌측에 도시한 특징 지도는 풀링 작업 결과 크기가 축소된 것을 알 수 있다.
이러한 풀링 작업은 데이터가 나열된 특징 지도의 행렬 구조에서 정사각 행렬의 특정 영역 내부의 값들에 대한 최대값 또는 평균값을 구하고 이를 해당 영역 상에 하나의 값으로 치환하여 데이터의 크기를 줄이는 방법이다.
도 9는 CNN 신경망의 구조를 설명한 도면이다. 도 9는 특징 지도 생성 작업과 풀링 작업이 반복되는 구조의 CNN 신경망을 나타낸 것으로, 합성곱을 이용한 필터와 풀링을 반복적으로 조합하여 컨볼루셔널 레이어를 구축하여 특징을 추출할 수 있으며, 추출한 특징은 뉴럴 네트워크에서 깊이 위치와 함께 학습된다.
학습이 완료된 이후, 획득부(110)는 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램을 획득한다(S220). 그리고, 추출부(120)는 획득된 홀로그램 데이터를 기 학습된 CNN 신경망에 입력시켜 물체의 깊이 위치 및 수평 위치를 도출하며(S230), 제공부(130)는 추출된 깊이 및 수평 위치를 이용하여 물체의 3차원 위치를 제공한다(S240).
도 10은 본 발명의 실시예에 따른 홀로그램 정보로부터 CNN 분석을 이용하여 물체의 깊이 및 수평 위치를 추출하는 원리를 설명한 도면이다. 이러한 도 10은 물체에 대한 홀로그램 데이터를 CNN에 입력하였을 때 해당 물체의 깊이 및 수평 위치를 출력하는 것을 나타낸다.
이상과 같은 본 발명에 따르면, 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용하여 물체의 홀로그램 데이터로부터 물체의 깊이 및 수평 위치를 추출하여 3차원 위치를 제공할 수 있는 이점을 제공한다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 물체의 3차원 위치 추출 장치
110: 획득부 120: 추출부
130: 제공부 140: 학습부

Claims (14)

  1. 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치에서의 3차원 위치 추출 방법에 있어서,
    복수의 위치 정보 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 깊이 위치와 수평 위치를 포함한 위치 정보를 학습 데이터로 사용하여 CNN 신경망을 학습시키는 단계;
    상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 단계;
    상기 획득된 홀로그램 데이터를 기 학습된 CNN 신경망에 입력시켜 상기 물체의 깊이 위치 및 수평 위치를 추출하는 단계; 및
    상기 추출된 깊이 및 수평 위치를 이용하여 상기 물체의 3차원 위치를 제공하는 단계를 포함하며,
    상기 CNN 신경망은,
    상기 홀로그램 데이터에 대한 이미지 일부 영역으로부터 상기 특징 정보를 추출하며,
    상기 일부 영역은 상기 이미지 내에서 물체 주변에 형성되는 간섭 무늬인 프린지 패턴의 영역을 의미하는 물체의 3차원 위치 추출 방법.
  2. 삭제
  3. 청구항 1에 있어서,
    상기 홀로그램 데이터는,
    상기 광 스캐닝 홀로그래피에서 획득한 복소수 홀로그램, 상기 복소수 홀로그램의 실수 부분에 해당하는 실수 홀로그램, 상기 복소수 홀로그램을 이용하여 획득한 탈 축 홀로그램 중 선택된 하나인 물체의 3차원 위치 추출 방법.
  4. 삭제
  5. 삭제
  6. 청구항 1에 있어서,
    상기 CNN 신경망은,
    상기 홀로그램 데이터에 대한 이미지 전체 영역 또는 일부 영역을 푸리에 변환하여 획득한 주파수 도메인 상의 홀로그램 위상 정보를 상기 특징 정보로 사용하는 물체의 3차원 위치 추출 방법.
  7. 청구항 6에 있어서,
    상기 CNN 신경망은,
    상기 주파수 도메인 상의 주파수 원점으로부터 설정 주파수 반경 이내의 위상 정보만을 추출하여 상기 특징 정보로 사용하며,
    상기 설정 주파수는 촬영 대상이 되는 물체의 최대 주파수인 물체의 3차원 위치 추출 방법.
  8. 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치에 있어서,
    복수의 위치 정보 별로 학습용 물체의 홀로그램 데이터에서 추출된 특징 정보 및 그에 대응되는 깊이 위치와 수평 위치를 포함한 위치 정보를 학습 데이터로 사용하여 CNN 신경망을 학습시키는 학습부;
    상기 광 스캐닝 홀로그래피를 이용하여 물체의 홀로그램 데이터를 획득하는 획득부;
    상기 획득된 홀로그램 데이터를 기 학습된 CNN 신경망에 입력시켜 상기 물체의 깊이 위치 및 수평 위치를 추출하는 추출부; 및
    상기 추출된 깊이 및 수평 위치에 대응된 상기 물체의 3차원 위치를 제공하는 제공부를 포함하며,
    상기 CNN 신경망은,
    상기 홀로그램 데이터에 대한 이미지 일부 영역으로부터 상기 특징 정보를 추출하며,
    상기 일부 영역은 상기 이미지 내에서 물체 주변에 형성되는 간섭 무늬인 프린지 패턴의 영역을 의미하는 물체의 3차원 위치 추출 장치.
  9. 삭제
  10. 청구항 8에 있어서,
    상기 홀로그램 데이터는,
    상기 광 스캐닝 홀로그래피에서 획득한 복소수 홀로그램, 상기 복소수 홀로그램의 실수 부분에 해당하는 실수 홀로그램, 상기 복소수 홀로그램을 이용하여 획득한 탈 축 홀로그램 중 선택된 하나인 물체의 3차원 위치 추출 장치.
  11. 삭제
  12. 삭제
  13. 청구항 8에 있어서,
    상기 CNN 신경망은,
    상기 홀로그램 데이터에 대한 이미지 전체 영역 또는 일부 영역을 푸리에 변환하여 획득한 주파수 도메인 상의 홀로그램 위상 정보를 상기 특징 정보로 사용하는 물체의 3차원 위치 추출 장치.
  14. 청구항 13에 있어서,
    상기 CNN 신경망은,
    상기 주파수 도메인 상의 주파수 원점으로부터 설정 주파수 반경 이내의 위상 정보만을 추출하여 상기 특징 정보로 사용하며,
    상기 설정 주파수는 촬영 대상이 되는 물체의 최대 주파수인 물체의 3차원 위치 추출 장치.
KR1020180160019A 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법 KR102167616B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180160019A KR102167616B1 (ko) 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180160019A KR102167616B1 (ko) 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20200072158A KR20200072158A (ko) 2020-06-22
KR102167616B1 true KR102167616B1 (ko) 2020-10-19

Family

ID=71142728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180160019A KR102167616B1 (ko) 2018-12-12 2018-12-12 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102167616B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102410025B1 (ko) * 2020-07-16 2022-06-20 포항공과대학교 산학협력단 머신 러닝 기반 디지털 홀로그래피 장치 및 이의 동작 방법
KR102501302B1 (ko) * 2020-12-16 2023-02-17 서울대학교산학협력단 다중 심도 표현이 가능한 홀로그램을 생성하는 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180292784A1 (en) * 2017-04-07 2018-10-11 Thanh Nguyen APPARATUS, OPTICAL SYSTEM, AND METHOD FOR DIGITAL Holographic microscopy

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101304695B1 (ko) * 2012-01-06 2013-09-06 세종대학교산학협력단 홀로그램 레코딩 장치
KR101941521B1 (ko) * 2016-12-07 2019-01-23 한국해양과학기술원 해상객체의 자동추적 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180292784A1 (en) * 2017-04-07 2018-10-11 Thanh Nguyen APPARATUS, OPTICAL SYSTEM, AND METHOD FOR DIGITAL Holographic microscopy

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
학술발표 ‘IEEE 27th International Symposium on Industrial Electronics(ISIE)’ pp. 1323 - 1326(2018. 02. 02.)*

Also Published As

Publication number Publication date
KR20200072158A (ko) 2020-06-22

Similar Documents

Publication Publication Date Title
CN104021587B (zh) 基于计算全息技术的大场景真三维显示快速生成方法
US20140211286A1 (en) Apparatus and method for generating digital hologram
KR102167616B1 (ko) 광 스캐닝 홀로그래피와 컨볼루셔널 뉴럴 네트워크를 이용한 물체의 3차원 위치 추출 장치 및 그 방법
CN108182663B (zh) 一种毫米波图像效果增强方法、设备和可读存储介质
JP2017538160A (ja) デジタルホログラフィにおけるオートフォーカスシステムおよびオートフォーカス方法
CN102057397A (zh) 使用结构和均匀照明产生光学截面图像的系统和方法
Anderson Microwave holography
KR101573362B1 (ko) 고속의 신축적인 디지털 홀로그램 생성 방법 및 장치
US9727023B2 (en) Apparatus and method for generating hologram pattern
JP2023172882A (ja) 三次元表現方法及び表現装置
KR102304225B1 (ko) 홀로그램 재현 영상의 공간 해상도를 측정 및 평가하는 방법 및 장치
Sung et al. Realistic sonar image simulation using generative adversarial network
JP5831930B2 (ja) ホログラム生成装置およびホログラム生成方法
Sung et al. Sonar image translation using generative adversarial network for underwater object recognition
WO2018085655A1 (en) System and method for reconstruction of holographic lens-free images by multi-depth sparse phase recovery
Guo 3D underwater topography rebuilding based on single beam sonar
CN104636745B (zh) 尺度不变特征提取方法和装置、对象识别方法和装置
KR102058776B1 (ko) 비가시광 적외선 다점 레이저빔과 적외선 카메라 영상기반 물체의 3차원 미세진동 측정에 의한 음원 진단 방법 및 장치
WO2018034241A1 (ja) 電磁波位相振幅生成装置、電磁波位相振幅生成方法及び電磁波位相振幅生成プログラム
CN110057321B (zh) 基于x-f-k变换快速实现频域解相的三维物体面形测量方法
Ito et al. A 3D reconstruction method with color reproduction from multi-band and multi-view images
Jin et al. Radar and Lidar Deep Fusion: Providing Doppler Contexts to Time-of-Flight Lidar
Cho et al. Depth resolution analysis of axially distributed stereo camera systems under fixed constrained resources
Tekwani et al. Role of pattern characteristics in cross correlation based motion estimation
KR101657373B1 (ko) 집적 영상 디스플레이에서 다중 깊이 정보 추출 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant