KR101432679B1 - 객체의 재질 인식 장치 및 방법 - Google Patents

객체의 재질 인식 장치 및 방법 Download PDF

Info

Publication number
KR101432679B1
KR101432679B1 KR1020120126947A KR20120126947A KR101432679B1 KR 101432679 B1 KR101432679 B1 KR 101432679B1 KR 1020120126947 A KR1020120126947 A KR 1020120126947A KR 20120126947 A KR20120126947 A KR 20120126947A KR 101432679 B1 KR101432679 B1 KR 101432679B1
Authority
KR
South Korea
Prior art keywords
information
objects
wave
unit
image
Prior art date
Application number
KR1020120126947A
Other languages
English (en)
Other versions
KR20130135016A (ko
Inventor
김재완
김익재
현승엽
김세윤
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to US13/800,272 priority Critical patent/US9830523B2/en
Priority to JP2013106327A priority patent/JP5753218B2/ja
Priority to CN201310214419.2A priority patent/CN103454288B/zh
Publication of KR20130135016A publication Critical patent/KR20130135016A/ko
Application granted granted Critical
Publication of KR101432679B1 publication Critical patent/KR101432679B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B17/00—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations
    • G01B17/06—Measuring arrangements characterised by the use of infrasonic, sonic or ultrasonic vibrations for measuring contours or curvatures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/411—Identification of targets based on measurements of radar reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

본 발명에 따른 객체의 재질 인식 장치는 공간 상에 존재하는 다양한 객체들을 포함하는 공간 영상을 촬영하는 영상 카메라부; 상기 객체들에 입사파를 조사하여, 상기 객체들 표면 각각의 표면 반사파 및 상기 객체들의 내부로부터 되돌아 오는 각각의 내부 반사파를 포함하는 공간 레이더 정보를 수신하는 탐사 레이더부; 상기 객체들의 재질에 대응하는 각각의 기준 물성정보를 저장하는 정보 저장부; 및 상기 정보 저장부의 상기 기준 물성정보, 상기 영상 카메라부에서 제공된 상기 공간 영상 및 상기 탐사 레이더부에서 제공된 상기 공간 레이더 정보를 이용하여, 상기 객체들 각각의 재질 정보를 인식하는 재질 인식 처리부를 포함하는 것을 특징으로 한다.

Description

객체의 재질 인식 장치 및 방법{An apparatus and a method for recognizing material of the objects}
본 발명은 카메라의 객체에 대한 새로운 정보를 제공하는 기술에 관한 것으로, 보다 상세하게는 사용자가 촬영한 영상에 포함된 객체들의 재질 정보를 제공하는 재질 인식 기술에 관한 것이다. 본 발명은 하기와 같이 2건의 국가연구개발사업에 의해 지원된 발명에 해당한다.
[과제고유번호] 2N34990
[부처명] 교육과학기술부
[연구관리전문기관] 실감교류인체감응솔루션연구단
[연구사업명] 원천기술개발사업(글로벌프론티어연구개발사업)
연구과제명] 객체 인터랙션이 가능한 4D+ 미러월드 생성 기술 개발
[주관기관] 한국과학기술연구원
[연구기간] 2011.08.23 ~ 2012.08.31
및:
[과제고유번호] 2E22770
[연구사업명] 미래원천연구사업
[연구과제명] Tangible 소셜 미디어 플랫폼 기술개발
[주관기관] 한국과학기술연구원
[연구기간] 2012.01.01 ~ 2012.12.31
최근에는 2차원 영상을 캡쳐하는 일반적인 카메라보다 진보된 다양한 형태의 카메라들이 개발되고 있다. 3차원 정보를 캡쳐하여 이를 게임에 적용하거나, 영상을 캡쳐한 후에 초점이 다른 영상을 생성해내는 등의 기술이 존재한다. 또한, IT기술 트렌드중의 하나는 Microsoft사의 Photo Tourism, Google의 SketchUp, Google Earth와 같이 실 세계를 디지털데이터로 변환하여 현실감있게 보여주는 미러월드(Mirror World) 또는 가상 현실(Virtual Reality) 생성 기술이다. 현재 실 세계와 유사하게 3차원으로 고해상도의 미러월드를 생성하기 위해 인공위성 카메라, Depth or Range Camera, Camera Array등 다양한 카메라 시스템에 활용되고 있다.
그러나, 이러한 카메라에서 얻을 수 있는 정보는 객체들로부터 반사된 빛의 2차원 및 3차원의 세기(Intensity) 및 색상 정보 또는 이를 게임에 적용하거나 다른 영상에서 생성해 내는 정도의 기술에 불과하며, 촬영된 영상의 객체들에 대한 물성(밀도, 유전율 등), 재질, 두께 정보 등을 알 수는 없다.
본 발명이 해결하고자 하는 과제는 일반적인 카메라와 탐사레이더 장치를 사용해 얻어진 정보를 분석하여, 카메라로 찍은 영상 내에 있는 객체들에 대한 물성, 재질, 두께 정보 등을 추출할 수 있도록 하는 객체의 재질 인식 장치 및 방법에 관한 것이다.
상기의 과제를 해결하기 위한 본 발명에 따른 객체의 재질 인식 장치는 공간 상에 존재하는 다양한 객체들을 포함하는 공간 영상을 촬영하는 영상 카메라부; 상기 객체들에 입사파를 조사하여, 상기 객체들 표면 각각의 표면 반사파 및 상기 객체들의 내부로부터 되돌아 오는 각각의 내부 반사파를 포함하는 공간 레이더 정보를 수신하는 탐사 레이더부; 상기 객체들의 재질에 대응하는 각각의 기준 물성정보를 저장하는 정보 저장부; 및 상기 정보 저장부의 상기 기준 물성정보, 상기 영상 카메라부에서 제공된 상기 공간 영상 및 상기 탐사 레이더부에서 제공된 상기 공간 레이더 정보를 이용하여, 상기 객체들 각각의 재질 정보를 인식하는 재질 인식 처리부를 포함하는 것을 특징으로 한다.
상기 입사파는 전자파 및 음파 중 어느 하나에 해당하는 것을 특징으로 한다.
상기 객체의 재질 인식 장치는, 상기 공간 영상과 상기 공간 레이더 정보 간에 서로 대응하는 공간상 영역을 매칭시키는 매칭 처리부를 더 포함하는 것을 특징으로 한다.
상기 객체의 재질 인식 장치는, 상기 공간 영상으로부터 상기 객체들 중 특정 객체의 영역을 설정하는 객체 설정부를 더 포함하는 것을 특징으로 한다.
상기 재질 인식 처리부는, 상기 공간 영상으로부터 상기 객체들의 외형, 색상, 밝기 및 반사도를 포함하는 상기 재질 정보를 각각 검출하는 것을 특징으로 한다.
상기 재질 인식 처리부는, 상기 입사파에 대한 상기 표면 반사파의 제1 지연시간으로부터 상기 객체들까지의 거리정보를 각각 산출하는 것을 특징으로 한다.
상기 재질 인식 처리부는, 상기 표면 반사파와 상기 내부 반사파 사이의 제2 지연시간으로부터 상기 객체들의 두께정보를 각각 산출하는 것을 특징으로 한다.
상기 재질 인식 처리부는, 상기 입사파와 상기 표면 반사파 간의 진폭과 극성 변화로부터 상기 객체들의 물성정보를 검출하고, 상기 검출된 물성정보와 상기 기준 물성정보를 비교하여 상기 객체들의 상기 재질 정보를 각각 인식하는 것을 특징으로 한다.
상기의 과제를 해결하기 위한 본 발명에 따른 객체의 재질 인식 방법은 영상 촬영부가 공간 상에 존재하는 다양한 객체들을 포함하는 공간 영상을 촬영하고, 탐사 레이더부가 상기 객체들에 입사파를 조사하여, 상기 객체들 표면 각각의 표면 반사파 및 상기 객체들의 내부로부터 되돌아 오는 각각의 내부 반사파를 포함하는 공간 레이더 정보를 수신하는 단계; 및 상기 객체들의 재질에 대응하는 각각의 기준 물성정보, 상기 영상 카메라부에서 제공된 상기 공간 영상 및 상기 탐사 레이더부에서 제공된 상기 공간 레이더 정보를 이용하여, 재질 인식 처리부가 상기 객체들 각각의 재질 정보를 인식하는 단계를 포함하는 것을 특징으로 한다.
상기 객체의 재질 인식 방법은, 상기 공간 영상의 촬영 및 상기 공간 레이더 정보의 수신 후에, 매칭 처리부가 상기 공간 영상과 상기 공간 레이더 정보 간에 서로 대응하는 공간상 영역을 매칭시키는 단계를 더 포함하는 것을 특징으로 한다.
상기 객체의 재질 인식 방법은, 상기 공간 영상의 촬영 및 상기 공간 레이더 정보의 수신 후에, 객체 설정부가 상기 공간 영상으로부터 상기 객체들 중 특정 객체의 영역을 설정하는 단계를 더 포함하는 것을 특징으로 한다.
상기 객체들 각각의 재질 정보를 인식하는 단계는, 상기 공간 영상으로부터 상기 객체들의 외형, 색상, 밝기 및 반사도를 포함하는 상기 재질 정보를 각각 검출하는 것을 특징으로 한다.
상기 객체들 각각의 재질 정보를 인식하는 단계는, 상기 입사파에 대한 상기 표면 반사파의 제1 지연시간으로부터 상기 객체들까지의 거리정보를 각각 산출하는 것을 특징으로 한다.
상기 객체들 각각의 재질 정보를 인식하는 단계는, 상기 표면 반사파와 상기 내부 반사파 사이의 제2 지연시간으로부터 상기 객체들의 두께정보를 각각 산출하는 것을 특징으로 한다.
상기 객체들 각각의 재질 정보를 인식하는 단계는, 상기 입사파와 상기 표면 반사파 간의 진폭과 극성 변화로부터 상기 객체들의 물성정보를 검출하고, 상기 검출된 물성정보와 상기 기준 물성정보를 비교하여 상기 객체들 각각의 상기 재질 정보를 인식하는 것을 특징으로 한다.
본 발명에 따르면, 카메라로 찍은 영상 내에 있는 물체들에 대한 물성, 재질, 두께 정보들을 함께 얻을 수 있다. 따라서, 객체들에 대한 재질 정보를 획득함으로써, 이러한 정보들은 미러월드 또는 가상현실 공간내에서 사용자들의 아바타가 더욱 생동감있는 인터랙션을 하는데 필수적으로 사용될 수 있다. 예를 들어, 미러월드에서 아바타가 물체에 힘을 가할 때 변형되는 정도를 사실적으로 묘사하기 위해서는 이러한 재질, 물성, 두께 정보를 알고 있어야 가능한데, 본 발명에 의해 재질정보를 이용하면 이러한 사실적 묘사가 가능하다.
도 1은 본 발명에 따른 객체의 재질 인식 장치를 설명하기 위한 일 실시예의 블록도이다.
도 2는 영상 카메라부(100) 및 탐사 레이더부(110)를 사용해 객체들에 대한 정보를 얻는 것을 설명하기 위하 예시적인 참조도이다.
도 3은 객체에 입사파를 조사한 후, 객체로부터 표면 반사파 및 내부 반사파를 수신하는 것을 설명하기 위한 일 예의 참조도이다.
도 4는 객체에 입사파를 조사한 후, 객체로부터 표면 반사파 및 내부 반사파를 수신하는 것을 설명하기 위한 또 다른 일 예의 참조도이다.
도 5는 공간 영상과 공간 레이더 정보가 불일치한다는 것을 설명하기 위한 일 예의 참조도이다.
도 6은 도 2에 도시된 공간 영상에서 "대리석"에 해당하는 특정 객체의 영역을 설정한 일 예의 참조도이다.
도 7은 본 발명에 따른 객체의 재질 인식 방법을 설명하기 위한 일 실시예의 플로차트이다.
이하 본 발명에 따른 객체의 재질 인식 장치를 첨부된 도면들을 참조하여 상세히 설명한다.
도 1은 본 발명에 따른 객체의 재질 인식 장치를 설명하기 위한 블록도로서영상 카메라부(100), 탐사 레이더부(110), 매칭 처리부(120), 객체 설정부(130), 정보 저장부(140) 및 재질 인식 처리부(150)를 포함한다. 한편, 도 2는 영상 카메라부(100) 및 탐사 레이더부(110)를 사용해 객체들에 대한 정보를 얻는 것을 설명하기 위하 예시적인 참조도이다.
영상 카메라부(100)는 공간 상에 존재하는 다양한 객체들을 포함하는 공간 영상을 촬영한다. 도 2에 도시된 바와 같이, 영상 카메라부(100)는 플라스틱, 고무, 콘크리트, 대리석, 나무, 유리 등의 다양한 객체들이 존재하는 공간에 대한 영상을 촬영한다. 영상 카메라부(100)의 기능은 종래의 일반적인 카메라에 해당하므로 상세한 설명은 생략한다.
탐사 레이더부(110)는 객체들에 입사파를 조사하여, 객체들 표면 각각의 표면 반사파 및 상기 객체들의 내부로부터 되돌아 오는 내부 반사파를 포함하는 공간 레이더 정보를 수신한다. 탐사 레이더부(110)는 입사파로서 전자파, 음파 등을 객체에 조사하며, 전자파 또는 음파를 조사하기 위한 송신기 및 안테나를 구비하며, 또한 반사되는 파를 수신하기 위한 수신기 및 안테나를 구비하고 있다.
도 3은 객체에 입사파를 조사한 후, 객체로부터 표면 반사파 및 내부 반사파를 수신하는 것을 설명하기 위한 일 예의 참조도이다. 도 3은 객체가 배경 매질보다 물성이 높은 경우에 탐사 레이더부(110)의 동작원리를 나타낸다. 예를 들어, 배경 매질이 공기(대기)에 해당하고, 객체가 대리석, 나무, 고무 등에 해당하는 경우이다.
(1) 탐사 레이더부(110)의 송신기(112)에서 발생한 입사파 펄스신호를 송신안테나를 통하여 객체 방향으로 입사시키면, 높은 물성의 객체는 입사파에 비해 진폭이 감소하고, 동일한 위상을 갖는 표면 반사파를 탐사 레이더부(110)로 반사한다. 즉, 이때의 표면 반사파는 입사파 극성인 양(+)극성과 동일한 양(+)극성을 갖는 반사파에 해당하며, 동일 위상을 갖는 표면 반사파가 탐사 레이더부(110)로 반사된다.
(2) 또한, 입사파 중에서 객체 내부에 침투한 파는 객체 내부에서 반사되는데, 이때 객체 내부에서 반사된 내부 반사파는 입사파의 극성과 반대인 음(-)극성을 갖는 반사파로 변환되어 탐사 레이더부(110)로 반사된다.
이에 따라, 객체가 배경 매질보다 물성이 높은 경우에, 탐사 레이더부(110)는 입사파에 비해 진폭이 작으면서 동일한 극성을 갖는 표면 반사파를 수신하며, 또한 입사파에 비해 진폭이 작으면서 반대 극성을 갖는 내부 반사파를 수신한다.
도 4는 객체에 입사파를 조사한 후, 객체로부터 표면 반사파 및 내부 반사파를 수신하는 것을 설명하기 위한 또 다른 일 예의 참조도이다. 도 4는 객체가 배경 매질보다 물성이 낮은 경우에 탐사 레이더부(110)의 동작원리를 나타낸다.
(1) 탐사 레이더부(110)의 송신기(112)에서 발생한 입사파 펄스신호를 송신안테나를 통하여 객체 방향으로 입사시키면, 낮은 물성의 객체는 입사파에 비해 진폭이 감소하고, 반대 위상을 갖는 표면 반사파를 탐사 레이더부(110)로 반사한다. 즉, 이때의 표면 반사파는 입사파 극성인 양(+)극성과 반대인 음(-)극성을 갖는 반사파로 변환되어 탐사 레이더부(110)로 반사된다.
(2) 또한, 입사파 중에서 객체 내부에 침투한 파는 객체 내부에서 반사되는데, 이때 객체 내부에서 반사된 내부 반사파는 다시 표면반사파와는 반대로 양(+) 극성을 갖는 반사파로 변환되어 탐사 레이더부(110)로 반사된다.
이에 따라, 객체가 배경 매질보다 물성이 낮은 경우에, 탐사 레이더부(110)는 입사파에 비해 진폭이 작으면서 반대 극성을 갖는 표면 반사파를 수신하며, 또한 입사파에 비해 진폭이 작으면서 동일한 극성을 갖는 내부 반사파를 수신한다.
매칭 처리부(120)는 영상 카메라부(100)에서 촬영된 공간 영상과 탐사 레이더부(110)에서 수신된 공간 레이더 정보 간에 서로 대응하는 공간상 영역을 매칭시킨다. 영상 카메라부(100)와 탐사 레이더부(110)는 동일한 공간상의 객체들을 촬영하거나 입사파를 조사하여 반사되는 신호를 수신한다고 하더라도, 영상 카메라부(100)와 탐사 레이더부(110)는 기구적으로 이격되어 있으므로, 완전히 동일한 위치에서 동작할 수는 없다. 따라서, 영상 카메라부(100)에서 촬영하는 공간 영상의 영역과 탐사 레이더부(110)에서 수신하는 공간 레이더 정보의 영역이 완전히 일치하지 않는다.
도 5는 공간 영상과 공간 레이더 정보가 불일치한다는 것을 설명하기 위한 일 예의 참조도이다. 도 5에 도시된 바와 같이, 공간 영상과 공간 레이더 정보가 일치하는 영역을 빗금친 부분에 해당한다. 따라서, 매칭 처리부(120)는 공간 영상과 공간 레이더 정보 간의 공통된 영역에 해당하는 공간상의 좌표를 서로 매칭시킴으로써 공통된 영역에 속하는 객체들에 대해 공간 영상과 공간 레이더 정보가 서로 대응 관계를 유지하도록 하는 것이다.
객체 설정부(130)는 공간 영상에 표시된 객체들 중에서 특정 객체의 영역을 설정한다. 특정 객체의 영역을 설정하기 위해, 객체 설정부(130)는 영역 설정을 위한 블록 형성 커서, 블록의 크기 조정 커서, 커서의 이동 등을 제어하는 기능을 담당한다.
도 6은 도 2에 도시된 공간 영상에서 "대리석"에 해당하는 특정 객체의 영역을 설정한 일 예의 참조도이다. 도 6에 도시된 바와 같이, 객체 설정부(130)에 의해 대리석에 해당하는 영역만이 설정되고 나머지 영역에 대해서는 블랙 처리가 되어 있음을 확인할 수 있다.
정보 저장부(140)는 객체들의 재질에 대응하는 각각의 기준 물성정보를 저장하고 있다. 다음의 표 1은 객체들의 재질에 대응하는 기준 물성정보에 대한 테이블 정보를 예시한 것이다.
Dielectric Constant by EM wave Surface Acoustic Wave Velocity(Impedance) Acoustic Wave Velocity (m/s)
나무 1.4 data not found 3300-3600
고무 2.15 1.74 40-150
플라스틱 2.3 2.94 data not found
유리 5 14.5 3962
대리석 6.25 12.4 3200-3600
알루미늄 9-10 43.1 6420
물 76.7 data not found 1433
표 1에 기재된 바와 같이, 각 객체 별로 Dielectric Constant by EM wave, Surface Acoustic Wave Velocity(Impedance), Acoustic Wave Velocity (m/s) 등이 각각 차이가 있음을 확인할 수 있다.
여기서, Dielectric Constant(유전율 또는 유전상수)는 전하 사이의 매질이 전기장에 미치는 영향을 나타내는 물리적 단위를 의미한다. 또한, Surface Acoustic Wave Velocity는 탄성을 지닌 물체의 표면을 따라 이동하는 음파의 속도를 의미한다. 또한, Acoustic Wave Velocity는 음파의 진행 속도를 의미한다.
재질 인식 처리부(150)는 정보 저장부(140)의 기준 물성정보, 영상 카메라부(100)에서 제공된 객체들의 공간 영상 및 탐사 레이더부(110)에서 제공된 공간 레이더정보를 이용하여, 객체들 각각의 재질 정보를 인식한다.
재질 인식 처리부(150)는 영상 카메라부(100)에서 촬영된 공간 영상으로부터 객체들의 외형, 색상, 밝기 및 반사도 등을 포함하는 재질 정보를 검출한다. 촬영된 공간 영상은 객체들에 대한 각각의 색상 정보, 밝기 정보, 반사도 정보 등을 포함하고 있다. 이러한 정보들은 객체의 재질을 결정하는 주요한 영상 정보에 해당한다.
또한, 재질 인식 처리부(130)는 입사파에 대한 표면 반사파의 제1 지연시간으로부터 객체들까지의 거리정보를 각각 산출한다. 예를 들어, 객체 설정부(130)에 의해 대리석이 특정 객체로서 설정되었다면, 재질 인식 처리부(130)는 탐사 레이더부(110)에서 대리석으로 입사파를 조사한 시간을 확인하고, 대리석의 표면에서 반사된 표면 반사파가 탐사 레이더부(110)에 도착하는 시간을 산출한 후에, 표면 반사파의 도착 시간에서 입사파 조사시간을 차감한 시간 즉, 제1 지연시간을 산출한다. 그 후, 재질 인식 처리부(130)는 입사파에 대한 속도와 제1 지연시간으로부터 대리석까지의 거리를 산출할 수 있다.
또한, 재질 인식 처리부(150)는 표면 반사파와 내부 반사파 사이의 제2 지연시간으로부터 객체들의 두께정보를 각각 산출한다. 예를 들어, 객체 설정부(130)에 의해 대리석이 특정 객체로서 설정되었다면, 탐사 레이더부(110)에서 대리석으로 입사파를 조사한 시간을 확인하고, 대리석의 내부에서 반사된 내부 반사파가 탐사 레이더부(110)에 도착하는 시간을 산출한 후에, 내부 반사파의 도착 시간에서 입사파 조사시간을 차감한 시간을 산출한다. 재질 인식 처리부(150)는 내부 반사파의 차감 시간에서 이전에 산출한 제1 지연시간을 차감함으로써, 표면 반사파와 내부 반사파 사이의 제2 지연시간을 산출한다. 그 후, 재질 인식 처리부(130)는 입사파에 대한 속도와 제2 지연시간으로부터 대리석의 두께를 산출할 수 있다.
또한, 재질 인식 처리부(150)는 입사파와 표면 반사파 간의 진폭과 극성 변화로부터 객체들의 물성정보를 검출하고, 검출된 물성정보와 기준 물성정보를 비교하여 객체들의 재질 정보를 각각 인식한다. 도 3에 도시된 바와 같이, 탐사 레이더부(110)의 송신기(112)에서 발생한 입사파를 객체 방향으로 입사시키면, 높은 물성의 객체는 입사파에 비해 진폭이 감소하고, 동일한 위상을 갖는 표면 반사파를 탐사 레이더부(110)로 반사한다. 탐사 레이더부(110)가 진폭이 감소하고, 동일한 위상을 갖는 표면 반사파를 수신하면, 재질 인식 처리부(150)는 해당 객체의 물성정보로서 수신된 표면 반사파의 진폭의 크기 및 위상 변화 여부에 대한 정보를 검출할 수 있다. 재질 인식 처리부(150)는 이렇게 검출된 해당 객체의 물성정보와 정보 저장부(140)에 저장되어 있는 객체들의 재질에 대응하는 각각의 기준 물성정보를 비교하여, 해당 객체의 물성정보와 일치하는 기준 물성정보를 검출한다. 이에 따라, 재질 인식 처리부(150)는 해당 객체의 물성정보와 일치하는 기준 물성정보에 대응하는 객체를 검출함으로써, 해당 객체가 무엇인지를 인식한다.
본 발명에 따른 객체의 재질 인식 장치는 객체의 한 지점에서의 재질정보와 두께 정보를 얻을 수 있으므로, 이러한 객체의 재질 인식 장치를 수평, 수직 방향으로 배열 또는 이동시키면서 동일한 측정을 반복하면 객체에 대한 보다 정확한 재질정보 및 두께 정보를 알아낼 수 있다.
이하 본 발명에 따른 객체의 재질 인식 방법을 첨부된 도면들을 참조하여 설명한다.
도 7은 본 발명에 따른 객체의 재질 인식 방법을 설명하기 위한 일 실시예의 플로차트이다.
영상 촬영부(100)가 공간 상에 존재하는 다양한 객체들을 포함하는 공간 영상을 촬영하고, 탐사 레이더부(110)가 객체들에 입사파를 조사하여, 객체들 표면 각각의 표면 반사파 및 객체들의 내부로부터 되돌아 오는 각각의 내부 반사파를 포함하는 공간 레이더 정보를 수신한다(제200 단계).
도 2에 도시된 바와 같이, 영상 카메라부(100)는 플라스틱, 고무, 콘크리트, 대리석, 나무, 유리 등의 다양한 객체들이 존재하는 공간에 대한 영상을 촬영한다.
도 3에 도시된 바와 같이 객체의 물성이 배경 매질보다 높은 경우에, 탐사 레이더부(110)가 입사파를 객체 방향으로 입사시키면, 높은 물성의 객체는 입사파에 비해 진폭이 감소하고, 동일한 위상을 갖는 표면 반사파를 탐사 레이더부(110)로 반사하게 되며, 탐사 레이더부(110)는 객체로부터 반사되는 표면 반사파를 수신한다. 또한, 입사파 중에서 객체 내부에 침투한 파는 객체 내부에서 반사되는데, 이때 객체 내부에서 반사된 내부 반사파는 입사파의 극성과 반대인 음(-)극성을 갖는 반사파로 변환되어 탐사 레이더부(110)로 반사되며, 탐사 레이더부(110)는 객체 내부로부터 반사되는 내부 반사파를 수신한다.
한편, 도4에 도시된 바와 같이, 객체의 물성이 배경 매질보다 낮은 경우에, 탐사 레이더부(110)가 입사파를 객체 방향으로 입사시키면, 낮은 물성의 객체는 입사파에 비해 진폭이 감소하고, 반대 위상을 갖는 표면 반사파를 탐사 레이더부(110)로 반사하며, 탐사 레이더부(110)는 객체로부터 반사되는 표면 반사파를 수신한다. 또한, 입사파 중에서 객체 내부에 침투한 파는 객체 내부에서 반사되는데, 이때 객체 내부에서 반사된 내부 반사파는 다시 표면 반사파와는 반대로 양(+) 극성을 갖는 반사파로 변환되어 탐사 레이더부(110)로 반사되며, 탐사 레이더부(110)는 객체 내부로부터 반사되는 내부 반사파를 수신한다.
제200 단계 후에, 매칭 처리부(120)가 공간 영상과 공간 레이더 정보 간에 서로 대응하는 공간상 영역을 매칭시킨다(제202 단계). 도 5에 도시된 바와 같이,영상 카메라부(100)에서 촬영하는 공간 영상의 영역과 탐사 레이더부(110)에서 수신하는 공간 레이더 정보의 영역이 완전히 일치하지 않으므로, 매칭 처리부(120)는 공간 영상과 공간 레이더 정보 간의 공통된 영역에 해당하는 공간상의 좌표를 서로 매칭시킴으로써 공통된 영역에 속하는 객체들에 대해 공간 영상과 공간 레이더 정보가 서로 대응 관계를 유지하도록 한다.
제202 단계 후에, 객체 설정부(130)가 공간 영상으로부터 객체들 중 특정 객체의 영역을 설정한다(제204 단계). 객체 설정부(130)는 영역 설정을 위한 블록 형성 커서, 블록의 크기 조정 커서, 커서의 이동 등을 제어하는 기능을 담당한다. 도 6에 도시된 바와 같이, 객체 설정부(130)에 의해 대리석에 해당하는 영역만이 설정되고 나머지 영역에 대해서는 블랙 처리가 되어 있음을 확인할 수 있다.
제204 단계 후에, 정보 저장부(140)에 저장된 객체들의 재질에 대응하는 각각의 기준 물성정보, 영상 카메라부(100)에서 제공된 공간 영상 및 탐사 레이더부(110)에서 제공된 공간 레이더 정보를 이용하여, 재질 인식 처리부(150)가 객체들 각각의 재질 정보를 인식한다(제206 단계).
재질 인식 처리부(150)는 영상 카메라부(100)에서 촬영된 공간 영상으로부터 객체들의 외형, 색상, 밝기 및 반사도 등을 포함하는 재질 정보를 검출한다. 이러한 정보들은 객체의 재질을 결정하는 주요한 영상 정보에 해당한다.
또한, 재질 인식 처리부(130)는 입사파에 대한 표면 반사파의 제1 지연시간으로부터 객체들까지의 거리정보를 각각 산출한다. 재질 인식 처리부(130)는 탐사 레이더부(110)에서 특정 객체로 입사파를 조사한 시간을 확인하고, 특정 객체의 표면에서 반사된 표면 반사파가 탐사 레이더부(110)에 도착하는 시간을 산출한 후에, 표면 반사파의 도착 시간에서 입사파 조사시간을 차감한 시간 즉, 제1 지연시간을 산출한다. 그 후, 재질 인식 처리부(130)는 입사파에 대한 속도와 제1 지연시간으로부터 특정 객체까지의 거리를 산출할 수 있다.
또한, 재질 인식 처리부(150)는 표면 반사파와 내부 반사파 사이의 제2 지연시간으로부터 객체들의 두께정보를 각각 산출한다. 탐사 레이더부(110)에서 특정 객체로 입사파를 조사한 시간을 확인하고, 특정 객체의 내부에서 반사된 내부 반사파가 탐사 레이더부(110)에 도착하는 시간을 산출한 후에, 내부 반사파의 도착 시간에서 입사파 조사시간을 차감한 시간을 산출한다. 재질 인식 처리부(150)는 내부 반사파의 차감 시간에서 이전에 산출한 제1 지연시간을 차감함으로써, 표면 반사파와 내부 반사파 사이의 제2 지연시간을 산출한다. 그 후, 재질 인식 처리부(130)는 입사파에 대한 속도와 제2 지연시간으로부터 특정 객체의 두께를 산출할 수 있다.
또한, 재질 인식 처리부(150)는 입사파와 표면 반사파 간의 진폭과 극성 변화로부터 객체들의 물성정보를 검출하고, 검출된 물성정보와 기준 물성정보를 비교하여 객체들의 재질 정보를 각각 인식한다. 도 3에 도시된 바와 같이, 탐사 레이더부(110)가 진폭이 감소하고, 동일한 위상을 갖는 표면 반사파를 수신하면, 재질 인식 처리부(150)는 해당 객체의 물성정보로서 수신된 표면 반사파의 진폭의 크기 및 위상 변화 여부에 대한 정보를 검출하고, 검출된 해당 객체의 물성정보와 정보 저장부(140)에 저장되어 있는 객체들의 재질에 대응하는 각각의 기준 물성정보를 비교하여, 해당 객체의 물성정보와 일치하는 기준 물성정보를 검출한다. 이에 따라, 재질 인식 처리부(150)는 해당 객체의 물성정보와 일치하는 기준 물성정보에 대응하는 객체를 인식한다.
한편, 상술한 본 발명의 방법 발명은 컴퓨터에서 읽을 수 있는 코드/명령들(instructions)/프로그램으로 구현될 수 있다. 예를 들면, 컴퓨터로 읽을 수 있는 기록 매체를 이용하여 상기 코드/명령들/프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록 매체는 마그네틱 저장 매체(예를 들어, 롬, 플로피 디스크, 하드디스크, 마그네틱 테이프 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 와 같은 저장 매체를 포함한다.
이러한 본원 발명인 객체의 재질 인식 장치 및 방법은 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
100: 영상 카메라부
110: 탐사 레이더부
120: 매칭 처리부
130: 객체 설정부
140: 정보 저장부
150: 재질 인식 처리부

Claims (15)

  1. 공간 상에 존재하는 적어도 하나 이상의 객체를 포함하는 공간 영상을 촬영하는 영상 카메라부;
    객체에 입사파를 조사하여, 상기 객체의 표면에서 반사된 표면 반사파 및 상기 객체의 내부로부터 되돌아 오는 내부 반사파를 포함하는 공간 레이더 정보를 수신하는 탐사 레이더부;
    상기 영상 카메라부에 의해 촬영되는 공간 영상의 영역과 상기 탐사 레이더부에 의해 탐지되는 영역 중 공통된 영역에 해당하는 공간상의 좌표를 서로 매칭시키는 매칭 처리부;
    객체들의 재질에 대응하는 각각의 기준 물성정보를 저장하는 정보 저장부; 및
    상기 영상 카메라부에 의해 촬영된 공간 영상의 적어도 하나 이상의 객체에 대한 반사도, 외형, 색상, 밝기의 영상 정보와, 상기 매칭 처리부에 의해 상기 공간 영상과 대응 관계가 유지된 공통된 영역에 대해 상기 탐사 레이더부가 탐지한 적어도 하나 이상의 객체의 표면 반사파와 내부 반사파의 진폭 및 극성 변화에 따른 정보에 함께 기초하여, 상기 정보 저장부의 기준 물성정보를 검색하여 적어도 하나 이상의 객체의 재질을 인식하는 재질 인식 처리부를 포함하는 것을 특징으로 하는 객체의 재질 인식 장치.
  2. 제1항에 있어서,
    상기 입사파는 전자파 및 음파 중 어느 하나에 해당하는 것을 특징으로 하는 객체의 재질 인식 장치.
  3. 삭제
  4. 제1항에 있어서, 상기 객체의 재질 인식 장치는
    상기 공간 영상으로부터 상기 객체들 중 특정 객체의 영역을 설정하는 객체 설정부를 더 포함하는 것을 특징으로 하는 객체의 재질 인식 장치.
  5. 제1항에 있어서, 상기 재질 인식 처리부는
    상기 공간 영상으로부터 상기 객체들의 외형, 색상, 밝기 및 반사도를 포함하는 상기 재질 정보를 각각 검출하는 것을 특징으로 하는 객체의 재질 인식 장치.
  6. 제1항에 있어서, 상기 재질 인식 처리부는
    상기 입사파에 대한 상기 표면 반사파의 제1 지연시간으로부터 상기 객체들까지의 거리정보를 각각 산출하는 것을 특징으로 하는 객체의 재질 인식 장치.
  7. 제1항에 있어서, 상기 재질 인식 처리부는
    상기 표면 반사파와 상기 내부 반사파 사이의 제2 지연시간으로부터 상기 객체들의 두께정보를 각각 산출하는 것을 특징으로 하는 객체의 재질 인식 장치.
  8. 제1항에 있어서, 상기 재질 인식 처리부는
    상기 입사파와 상기 표면 반사파 간의 진폭과 극성 변화로부터 상기 객체들의 물성정보를 검출하고, 상기 검출된 물성정보와 상기 기준 물성정보를 비교하여 상기 객체들의 상기 재질 정보를 각각 인식하는 것을 특징으로 하는 객체의 재질 인식 장치.
  9. 영상 촬영부가 공간 상에 존재하는 적어도 하나 이상의 객체를 포함하는 공간 영상을 촬영하고, 탐사 레이더부가 객체에 입사파를 조사하여, 상기 객체의 표면에서 반사되는 표면 반사파 및 상기 객체의 내부로부터 되돌아 오는 내부 반사파를 포함하는 공간 레이더 정보를 수신하는 단계; 및
    매칭 처리부가 상기 영상 촬영부에 의해 촬영되는 공간 영상의 영역과 상기 탐사 레이더부에 의해 탐지되는 영역 중 공통된 영역에 해당하는 공간상의 좌표를 서로 매칭시키는 단계;
    재질 인식 처리부가 상기 영상 촬영부에 의해 촬영된 공간 영상의 적어도 하나 이상의 객체에 대한 반사도, 외형, 색상, 밝기의 영상 정보와, 상기 매칭 처리부에 의해 상기 공간 영상과 대응 관계가 유지된 공통된 영역에 대해 상기 탐사 레이더부가 탐지한 적어도 하나 이상의 객체의 표면 반사파와 내부 반사파의 진폭 및 극성 변화에 따른 정보에 함께 기초하여, 미리 저장된 기준 물성정보를 검색하여 적어도 하나 이상의 객체의 재질을 인식하는 단계를 포함하는 것을 특징으로 하는 객체의 재질 인식 방법.
  10. 삭제
  11. 제9항에 있어서, 상기 객체의 재질 인식 방법은
    상기 공간 영상의 촬영 및 상기 공간 레이더 정보의 수신 후에, 객체 설정부가 상기 공간 영상으로부터 상기 객체들 중 특정 객체의 영역을 설정하는 단계를 더 포함하는 것을 특징으로 하는 객체의 재질 인식 방법.
  12. 제9항에 있어서, 상기 객체들 각각의 재질 정보를 인식하는 단계는
    상기 공간 영상으로부터 상기 객체들의 외형, 색상, 밝기 및 반사도를 포함하는 상기 재질 정보를 각각 검출하는 것을 특징으로 하는 객체의 재질 인식 방법.
  13. 제9항에 있어서, 상기 객체들 각각의 재질 정보를 인식하는 단계는
    상기 입사파에 대한 상기 표면 반사파의 제1 지연시간으로부터 상기 객체들까지의 거리정보를 각각 산출하는 것을 특징으로 하는 객체의 재질 인식 방법.
  14. 제9항에 있어서, 상기 객체들 각각의 재질 정보를 인식하는 단계는
    상기 표면 반사파와 상기 내부 반사파 사이의 제2 지연시간으로부터 상기 객체들의 두께정보를 각각 산출하는 것을 특징으로 하는 객체의 재질 인식 방법.
  15. 제9항에 있어서, 상기 객체들 각각의 재질 정보를 인식하는 단계는
    상기 입사파와 상기 표면 반사파 간의 진폭과 극성 변화로부터 상기 객체들의 물성정보를 검출하고, 상기 검출된 물성정보와 상기 기준 물성정보를 비교하여 상기 객체들 각각의 상기 재질 정보를 인식하는 것을 특징으로 하는 객체의 재질 인식 방법.
KR1020120126947A 2012-05-31 2012-11-09 객체의 재질 인식 장치 및 방법 KR101432679B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/800,272 US9830523B2 (en) 2012-05-31 2013-03-13 Method and apparatus for recognizing object material using spatial image and spatial radar information
JP2013106327A JP5753218B2 (ja) 2012-05-31 2013-05-20 客体の材質認識装置及びその方法
CN201310214419.2A CN103454288B (zh) 2012-05-31 2013-05-31 用于识别对象材料的方法和设备

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120058816 2012-05-31
KR20120058816 2012-05-31

Publications (2)

Publication Number Publication Date
KR20130135016A KR20130135016A (ko) 2013-12-10
KR101432679B1 true KR101432679B1 (ko) 2014-08-27

Family

ID=49982542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120126947A KR101432679B1 (ko) 2012-05-31 2012-11-09 객체의 재질 인식 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101432679B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190104485A (ko) 2019-08-21 2019-09-10 엘지전자 주식회사 옷감 식별 방법, 장치 및 시스템
KR20190106924A (ko) 2019-08-30 2019-09-18 엘지전자 주식회사 의류 포질에 따라 의류 처리 코스를 제어하는 방법, 장치 및 시스템
KR102355438B1 (ko) 2019-11-28 2022-01-26 주식회사 씨자인 초음파 센서를 이용한 사물 인식 시스템 및 그 인식 방법
KR102343445B1 (ko) * 2020-01-31 2021-12-27 주식회사 유진로봇 3d 라이다 기반의 대상 물체 인식 방법, 장치 및 그를 이용한 이동체

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007147406A (ja) * 2005-11-25 2007-06-14 Matsushita Electric Works Ltd 物体探知装置
JP2011053197A (ja) * 2009-08-03 2011-03-17 Kansai Electric Power Co Inc:The 物体の自動認識方法及び物体の自動認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007147406A (ja) * 2005-11-25 2007-06-14 Matsushita Electric Works Ltd 物体探知装置
JP2011053197A (ja) * 2009-08-03 2011-03-17 Kansai Electric Power Co Inc:The 物体の自動認識方法及び物体の自動認識装置

Also Published As

Publication number Publication date
KR20130135016A (ko) 2013-12-10

Similar Documents

Publication Publication Date Title
US9830523B2 (en) Method and apparatus for recognizing object material using spatial image and spatial radar information
US9210404B2 (en) Calibration and registration of camera arrays using a single circular grid optical target
US8619122B2 (en) Depth camera compatibility
Kadambi et al. 3d depth cameras in vision: Benefits and limitations of the hardware: With an emphasis on the first-and second-generation kinect models
US8660362B2 (en) Combined depth filtering and super resolution
EP2531979B1 (en) Depth camera compatibility
US20160377712A1 (en) Handheld device, object positioning method and computer-readable recording medium
US20130335535A1 (en) Digital 3d camera using periodic illumination
Ye et al. 3d reconstruction in the presence of glasses by acoustic and stereo fusion
CN107025663A (zh) 视觉系统中用于3d点云匹配的杂波评分系统及方法
JP2014517392A (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
KR100962552B1 (ko) 촬영된 영상에 음원 정보를 표시하는 카메라 시스템
KR101432679B1 (ko) 객체의 재질 인식 장치 및 방법
US10753906B2 (en) System and method using sound signal for material and texture identification for augmented reality
Guidi et al. 3D capturing performances of low-cost range sensors for mass-market applications
Zhang et al. 3D reconstruction in the presence of glass and mirrors by acoustic and visual fusion
US9261974B2 (en) Apparatus and method for processing sensory effect of image data
WO2016152288A1 (ja) 材質検出装置、材質検出方法及びプログラム
Pozo et al. 3D reconstruction technologies for using in dangerous environments with lack of light: a comparative analysis
WO2020235022A1 (ja) 深度推定装置、深度推定方法、及び深度推定プログラム
Sevilla et al. Low-Cost Acoustic Sensor Array for Building Geometry Mapping using Echolocation for Real-Time Building Model Creation
Chmurzyńska et al. Low cost methods used to create 3D models
Mei et al. Compact low-power 3d imaging of simple planar scenes using parametric signal processing
Sinha et al. Analysis of a new paradigm for depth vision application in augmented HCI
Swirski et al. Caustereo: structure from underwater flickering illumination

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170728

Year of fee payment: 4