KR20220004738A - 3d 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법 - Google Patents

3d 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법 Download PDF

Info

Publication number
KR20220004738A
KR20220004738A KR1020217039557A KR20217039557A KR20220004738A KR 20220004738 A KR20220004738 A KR 20220004738A KR 1020217039557 A KR1020217039557 A KR 1020217039557A KR 20217039557 A KR20217039557 A KR 20217039557A KR 20220004738 A KR20220004738 A KR 20220004738A
Authority
KR
South Korea
Prior art keywords
scene
light
light source
specific
luminescence
Prior art date
Application number
KR1020217039557A
Other languages
English (en)
Inventor
유누스 엠레 커토글루
매튜 이안 칠더스
Original Assignee
바스프 코팅스 게엠베하
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바스프 코팅스 게엠베하 filed Critical 바스프 코팅스 게엠베하
Publication of KR20220004738A publication Critical patent/KR20220004738A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/1434—Special illumination such as grating, reflections or deflections, e.g. for characters with relief
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145—Illumination specially adapted for pattern recognition, e.g. using gratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/18124—Extraction of features or characteristics of the image related to illumination properties, e.g. according to a reflectance or lighting model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Image Processing (AREA)
  • Image Generation (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

본 발명은 컴퓨터 비전 응용을 통한 객체 인식을 위한 방법 및 시스템을 언급하며, 여기서, 인식될 적어도 하나의 객체(110)가 광원 특정 방사휘도 값들을 갖는 적어도 하나의 광원(121, 122)에 의해 조명되고, 장면(130)이 광원(121, 122)에 의해 조명될 때, 객체를 포함하는 장면(130)의 방사휘도 데이터가 측정된다. 추가로, 장면은, 장면(130)의 적어도 부분적인 3D 맵을 렌더링하는 장면 맵핑 툴(150)에 의해 맵핑된다. 장면 맵핑 툴(150)로부터 수신되는 데이터는 분석되어 광원 특정 방사휘도 값들과 병합되고, 그에 기반하여, 장면(130) 내의 지점들, 특히, 적어도 하나의 객체(110)에 입사되는 광의 방사휘도가 계산되어, 장면(130) 내의 지점들, 특히, 적어도 하나의 객체(110)로부터 센서(140)에 반환되는 광의 측정된 방사휘도와 결합됨에 따라, 장면(130) 내의 적어도 하나의 객체(110)에서의 광 스펙트럼 분포 및 강도의 모델이 형성된다. 광 스펙트럼 분포 및 강도의 모델로부터 적어도 하나의 객체의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴이 추출되어 데이터 저장 유닛(160)에 저장된 발광 및/또는 반사율 스펙트럼 패턴들과 매칭된다. 그에 따라, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴이 식별된다.

Description

3D 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법
본 개시내용은, 3D 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법을 언급한다.
컴퓨터 비전은, 몇몇 예를 들자면, 센서들, 이를테면, 카메라들, 라이다(LiDAR) 또는 레이더와 같은 거리 센서들, 및 구조화된 광 또는 스테레오 비전에 기반한 심도 카메라 시스템들을 통해 자신 주변들에 관한 정보를 수집할 수 있는 전자 디바이스들의 풍부한 사용에 기인하여 빠르게 발전되고 있는 분야이다. 이러한 전자 디바이스들은, 컴퓨터 처리 유닛에 의해 처리될 미가공 이미지 데이터를 제공하고, 결과적으로, 인공 지능 및/또는 컴퓨터 보조 알고리즘들을 사용하여 환경 또는 장면의 이해를 전개한다. 이러한 환경의 이해가 어떻게 전개될 수 있는지에 대한 다수의 방식들이 존재한다. 일반적으로, 2D 또는 3D 이미지들 및/또는 맵들이 형성되고, 이러한 이미지들 및/또는 맵들은 장면 및 그 장면 내의 객체들의 이해를 전개하기 위해 분석된다. 컴퓨터 비전을 개선하기 위한 하나의 예상은 장면 내의 객체들의 화학적 구성의 성분들을 측정하는 것이다. 2D 또는 3D 이미지들로서 취득된 환경 내의 객체들의 형상 및 외관이 환경의 이해를 전개하기 위해 사용될 수 있지만, 이러한 기법들은 일부 단점들을 갖는다.
컴퓨터 비전 분야에서의 하나의 난제는, 센서들, 컴퓨팅 용량, 광 프로브 등의 리소스들을 최소량으로 사용하여 높은 정확성 및 낮은 레이턴시로 각각의 장면 내에서 가능한 한 많은 객체들을 식별할 수 있는 것이다. 객체 식별 프로세스는 수년에 걸쳐 원격 감지, 객체 식별, 분류, 인증 또는 인식으로 지칭되었 왔다. 본 개시내용의 범위에서, 장면 내의 객체를 식별하는 컴퓨터 비전 시스템의 능력은 "객체 인식"으로 지칭된다. 예컨대, 컴퓨터가 화상을 분석하고, 그 화상에서 공을, 때때로 심지어는 공의 유형(농구공, 축구공, 야구공), 브랜드, 정황(context) 등과 같은 추가 정보와 함께 식별/라벨링하는 것이 "객체 인식"이라는 용어에 속한다.
일반적으로, 컴퓨터 비전 시스템들에서 객체의 인식에 활용되는 기법들은 다음과 같이 분류될 수 있다:
기법 1: 물리적 태그들(이미지 기반): 바코드들, QR 코드들, 일련 번호들, 텍스트, 패턴들, 홀로그램들 등.
기법 2: 물리적 태그들(스캔/밀접 접촉 기반): 시야각 의존 안료들, 상향변환(upconversion) 안료들, 메타크로믹스(metachromics), 색상(적색/녹색), 발광성 물질들.
기법 3: 전자 태그들(수동): RFID 태그들 등. 전력 없이 관심 객체들에 부착된 디바이스들이며, 반드시 가시적이지는 않지만 다른 주파수들 (예컨대, 라디오)에서 동작할 수 있다.
기법 4: 전자 태그들(능동): 무선 통신들, 광, 라디오, 차량 간 통신(vehicle to vehicle), 차량-사물 간 통신(vehicle to anything(X)) 등. 다양한 형태들로 정보를 내보내는, 관심 객체들 상의 전력을 공급받는 디바이스들이다.
기법 5: 특징 검출(이미지 기반): 이미지 분석 및 식별, 즉, 측면 뷰로부터 자동차에 대한 특정 거리에 있는 2개의 바퀴; 얼굴 인식을 위한 2개의 눈, 코 및 입(이 순서로) 등의 분석 및 식별. 이는 알려져 있는 기하학적 구조들/형상들에 의존한다.
기법 6: 심층 학습/CNN 기반(이미지 기반): 자동차들, 얼굴들 등의 라벨링된 이미지들을 갖는 화상들 중 많은 화상들로 컴퓨터를 훈련하고, 컴퓨터는 검출할 특징들을 결정하고 관심 객체들이 새로운 영역들에 존재하는지를 예측한다. 식별될 객체의 각각의 부류에 대한 훈련 절차의 반복이 요구된다.
기법 7: 객체 추적 방법들: 처음에, 장면 내의 물품들을 특정 순서로 조직화하고 순서화된 객체들을 라벨링한다. 그 후, 알려져 있는 색상/기하학적 구조/3D 좌표들을 갖는 장면 내의 객체를 추종한다. 객체가 장면을 벗어났다가 재진입하는 경우, "인식"은 상실된다.
다음에서, 위에 언급된 기법들의 일부 단점들이 제시된다.
기법 1: 이미지 내의 객체가 가려지거나 객체의 작은 부분만이 뷰 내에 있을 때, 바코드들, 로고 등이 판독가능하지 않을 수 있다. 또한, 가요성 물품들 상의 바코드들 등이 왜곡되어 가시성이 제한될 수 있다. 객체의 모든 측부들은 멀리서 가시적이도록 큰 바코드들을 보유해야 할 것이며, 그렇지 않으면, 객체는 가까운 범위에서만 그리고 정확한 배향으로만 인식될 수 있다. 이는, 예컨대, 상점에서 선반 상에 있는 객체 상의 바코드가 스캐닝되어야 할 때 문제가 될 수 있다. 전체 장면에 걸쳐 동작할 때, 기법 1은 변할 수 있는 주변 조명에 의존한다.
기법 2: 상향변환 안료들은 그의 작은 양자 수율들로 인한 낮은 수준의 방출된 광 때문에 시야 거리들의 제한들을 갖는다. 그들은 강한 광 프로브들을 요구한다. 그들은 보통 불투명하고, 코팅들에 대한 옵션들을 제한하는 큰 입자들이다. 그들의 사용을 추가로 복잡하게 하는 것은, 형광 및 광 반사와 비교하여 상향변환 응답이 더 느리다는 사실이다. 일부 응용들은 사용되는 화합물에 따른 이러한 고유한 응답 시간을 이용하지만, 이는, 그 센서/객체 시스템에 대한 비행 시간(time of flight) 거리가 미리 알려져 있을 때에만 가능하다. 이는 컴퓨터 비전 응용들에서는 드문 경우이다. 이러한 이유들로 인해, 위조 방지 센서들은 판독을 위한 커버된/어두운 부분들, 프로브들로서의 부류 1 또는 2 레이저들, 및 정확성을 위한 관심 객체까지의 고정되고 제한된 거리를 갖는다.
유사하게, 시야각 의존 안료 시스템들은 가까운 범위에서만 작동하고, 다수의 각도들에서 보는 것을 요구한다. 또한, 색상은 시각적으로 기분 좋은 효과들을 위해 균일하지 않다. 정확한 측정들을 획득하기 위해 입사 광의 스펙트럼이 관리되어야 한다. 단일 이미지/장면 내에서, 각도 의존 색상 코팅을 갖는 객체는 샘플 치수들을 따라 카메라에 가시적인 다수의 색상들을 가질 것이다.
색상 기반 인식들은, 측정된 색상이 주변 조명 조건들에 부분적으로 의존하기 때문에 어렵다. 따라서, 각각의 장면에 대한 기준 샘플들 및/또는 제어된 조명 조건들이 필요하다. 상이한 센서들은 또한 상이한 색상들을 구별하기 위한 상이한 능력들을 가질 것이고, 센서 유형/제조자마다 상이할 것이어서, 각각의 센서에 대한 교정 파일들을 필요로 한다.
주변 조명 하에서의 발광 기반 인식은 객체의 반사성 및 발광성 성분들이 함께 부가되기 때문에 난제인 작업이다. 전형적으로, 발광 기반 인식은 대신에, 어두운 측정 조건 및 발광성 물질의 여기 구역의 선험적 지식을 활용할 것이므로, 정확한 광 프로브/광원이 사용될 수 있다.
기법 3: 전자 태그들, 이를테면 RFID 태그들은 관심 물품/객체에 대한 회로, 집전 장치(power collector), 및 안테나의 부착을 요구하여, 설계에 비용 및 복잡성을 부가한다. RFID 태그들은 존재 여부 유형 정보를 제공하지만, 장면에 걸쳐 많은 센서들이 사용되지 않는 한 정확한 위치 정보를 제공하지는 않는다.
기법 4: 이러한 능동적인 방법들은 관심 객체가 전원에 연결될 것을 요구하며, 이는, 축구공, 셔츠, 또는 파스타 상자와 같은 간단한 물품들에 대해 엄청난 비용이 들고, 따라서 실용적이지 않다.
기법 5: 예측 정확성은 이미지의 품질 및 장면 내의 카메라의 위치에 크게 의존하는데, 그 이유는, 가려짐(occlusion)들, 상이한 시야각들 등이 결과들을 쉽게 변경할 수 있기 때문이다. 로고 유형 이미지들은 장면 내의 다수의 장소들에 존재할 수 있고(즉, 로고는 공, T-셔츠, 모자, 또는 커피 머그잔 상에 있을 수 있음), 객체 인식은 추론에 의한 것이다. 객체의 시각적 파라미터들은 많은 노력을 들여 수학적 파라미터들로 변환되어야 한다. 각각의 가능한 형상이 데이터베이스에 포함되어야 하기 때문에, 그들의 형상이 변경될 수 있는 가요성 객체들이 문제가 된다. 유사하게 형상화된 객체들이 관심 객체로서 오식별될 수 있기 때문에, 항상 고유의 모호성이 존재한다.
기법 6: 훈련 데이터 세트의 품질이 방법의 성공을 결정한다. 인식/분류될 각각의 객체에 대해 많은 훈련 이미지들이 필요하다. 기법 5에 대한 것과 동일한 가려짐 및 가요성 객체 형상 제한들이 적용된다. 수천 개 이상의 이미지들로 각각의 부류의 물질을 훈련할 필요가 있다.
기법 7: 이러한 기법은 장면이 사전 조직화될 때 효과가 있지만, 이는 거의 실용적이지 않다. 관심 객체가 장면을 벗어나거나 완전히 가려지는 경우, 위의 다른 기법들과 결합되지 않는 한 객체는 인식될 수 없다.
이미 존재하는 기법들의 위에 언급된 단점들 외에도, 언급할 가치가 있는 일부 다른 난제들이 존재한다. 먼 거리를 보는 능력, 작은 객체들을 보는 능력 또는 객체들을 충분히 상세히 보는 능력은 모두 고해상도 이미징 시스템들, 즉, 고해상도 카메라, 라이다, 레이더 등을 요구한다. 고해상도 요구들은 연관된 센서 비용들을 증가시키고 처리될 데이터의 양을 증가시킨다.
자율 주행 또는 보안과 같은 즉각적인 응답들을 요구하는 응용들의 경우, 레이턴시는 또 다른 중요한 양상이다. 처리될 필요가 있는 데이터의 양은 에지 또는 클라우드 컴퓨팅이 응용에 적절한지를 결정하며, 후자는 데이터 로드들이 작은 경우에만 가능하다. 에지 컴퓨팅이 과중한 처리와 함께 사용될 때, 시스템들을 동작시키는 디바이스들은 부피가 더 커지고, 사용의 용이성을 그리고 그에 따라 구현을 제한한다.
그에 따라, 컴퓨터 비전 응용들에 대한 객체 인식 능력들을 개선하기에 적합한 시스템들 및 방법들에 대한 필요성이 존재한다. 색 공간 기반 객체 인식 기법들에 대한 난제들 중 하나는 장면 내의 알려져 있지 않은 조명 조건들이다. 대부분의 관심 환경들은 제어된 조명 조건들, 3D 맵들, 또는 네트워킹 능력들을 갖지 않기 때문에, 장면 내의 조명 조건들의 동적 모델링은 가능하지 않았다. 개선된 처리 능력과 함께 조명 요소들 및 3D 스캐너들을 포함하는 IoT 디바이스들의 발전으로, 그러한 광 모델링 기법들이 화학 기반 객체 인식 시스템 설계들에 활용될 수 있다.
본 개시내용은, 독립항들의 특징들을 갖는 시스템 및 방법을 제공한다. 실시예들은 종속항들 및 설명 및 도면들의 대상이다.
청구항 제1항에 따르면, 컴퓨터 비전 응용을 통한 객체 인식을 위한 시스템이 제공되며, 시스템은, 적어도 다음의 구성요소들:
- 인식될 적어도 하나의 객체 ― 객체는, 객체 특정 반사율 스펙트럼 패턴 및 객체 특정 발광 스펙트럼 패턴을 가짐 ―,
- 주변 광 조건들 하에서 적어도 하나의 객체를 포함하는 장면을 조명하도록 구성되는 적어도 하나의 광원 ― 적어도 하나의 광원은 광원 특정 방사휘도 값들을 가짐―,
- 장면이 광원에 의해 조명될 때 적어도 하나의 객체를 포함하는 장면의 방사휘도 데이터를 측정하도록 구성되는 센서,
- 장면을 맵핑하여 장면의 적어도 부분적인 3D 맵을 렌더링하도록 구성되는 장면 맵핑 툴,
- 발광 및/또는 반사율 스펙트럼 패턴들을 적절히 배정된 개개의 객체들과 함께 포함하는 데이터 저장 유닛,
- 장면 맵핑 툴로부터 수신되는 데이터를 분석하고, 분석된 데이터를 광원 특정 방사휘도 값들과 병합하고, 그에 기반하여, 장면 내의 지점들, 특히, 적어도 하나의 객체 상의 지점들에 입사되는 광의 방사휘도를 계산하고, 장면 내의 지점들에 입사되는 광의 계산된 방사휘도를, 장면 내의 지점들, 특히, 적어도 하나의 객체 상의 지점들로부터 센서에 반환되는 광의 측정된 방사휘도와 결합하여 장면 내의 적어도 하나의 객체에서의 광 스펙트럼 분포 및 강도의 모델을 형성하고, 광 스펙트럼 분포 및 강도의 모델로부터, 인식될 적어도 하나의 객체의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 추출/검출하고, 추출/검출된 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 데이터 저장 유닛에 저장된 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하고, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴, 및 그에 따라, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴의 배정된 객체를 식별하도록 구성되는 데이터 처리 유닛을 포함하며,
적어도, 센서, 장면 맵핑 툴, 데이터 저장 유닛, 및 데이터 처리 유닛은, 기본적으로, 서로 통신가능하게 연결되고, 무선으로 그리고/또는 유선들을 통해 함께 링크되고, 광원과 동기화되어, 통합 시스템을 형성한다.
제안된 시스템의 일부 또는 모든 기술적 구성요소들은 서로 통신가능하게 연결될 수 있다. 구성요소들 중 임의의 구성요소 사이의 통신가능한 연결은 유선 또는 무선 연결일 수 있다. 각각의 적합한 통신 기술이 사용될 수 있다. 개개의 구성요소들 각각은 서로 통신하기 위한 하나 이상의 통신 인터페이스를 포함할 수 있다. 그러한 통신은, 유선 데이터 송신 프로토콜, 이를테면, 광섬유 분산 데이터 인터페이스(FDDI), 디지털 가입자 회선(DSL), 이더넷, 비동기 전송 모드(ATM), 또는 임의의 다른 유선 송신 프로토콜을 사용하여 실행될 수 있다. 대안적으로, 통신은, 다양한 프로토콜들, 이를테면, 일반 패킷 라디오 서비스(GPRS), 범용 모바일 원격통신 시스템(UMTS), 코드 분할 다중 액세스(CDMA), 롱 텀 에볼루션(LTE; Long Term Evolution), 무선 범용 직렬 버스(USB), 및/또는 임의의 다른 무선 프로토콜 중 임의의 프로토콜을 사용하여 무선 통신 네트워크들을 통해 무선으로 이루어질 수 있다. 개개의 통신은 무선 및 유선 통신의 조합일 수 있다.
본 개시내용의 범위 내에서, "형광성" 및 "발광성"이라는 용어들은 동의어로 사용된다. "형광" 및 "발광"이라는 용어들에 대해서도 마찬가지이다.
광 스펙트럼 분포 및 강도의 모델을 형성하기 위해, 고려되는 장면 내의 지점들은, 광원, 센서, 및 3D 맵핑 툴 중 적어도 하나의 시야 또는 가시선 내에 있다. 장면 내의 지점이 3개의 구성요소 중 임의의 구성요소의 가시선 내에 있지 않은 경우, 그 지점은 모델을 형성하는 데 고려되지 않는다.
시스템은 장면 내에 다수의 센서들/카메라들, 광원들, 및/또는 맵핑 툴들을 포함하는 것이 가능하다. 그렇기는 하지만, 그러한 시스템 구성요소들 중 임의의 구성요소에 의한 장면의 부분적인 커버리지로 충분한데, 즉, 장면 내의 모든 지점들이 고려될 필요는 없다. 방사휘도의 추가적인 계산은 장면 맵핑 툴로부터 획득된 적어도 부분적인 3D 맵의 내부에서, 즉, 그의 경계들 내에서 행해질 수 있다고 언급될 것이다. 3D 맵핑 툴, 즉, 장면 맵핑 툴은 장면의 일부를 맵핑하는 데 사용되고, 이어서, 3D 맵은, 부분적으로 맵핑된 장면 내의 지점들에 입사되는 광의 방사휘도를 계산하는 데 사용된다.
광원은, 시스템의 추가적인 구성요소들, 이를테면, 센서, 장면 맵핑 툴, 데이터 저장 유닛, 및/또는 데이터 처리 유닛 중 적어도 하나에 자동으로 연결되도록 설계될 수 있다. 그러나, 광원은 (광원이 미리 정의되고 알려져 있는 파라미터들, 예컨대, 방사휘도 값들, 펄스 레이트들, 및 타이밍 등을 갖는 경우) 시스템의 다른 구성요소들에 링크되고/거나 그와 네트워킹될 필요는 없지만, 다른 구성요소들과 동기화될 필요가 있다. 이러한 동기화는 시스템의 다른 구성요소들, 이를테면 스펙트럼 카메라로부터의 측정들로 달성될 수 있다. 광원의 방사휘도가 적어도 하나의 분광 방사계(spectroradiometer)에 의해 측정되는 것이 또한 가능한데, 즉, 시스템은 분광 방사계로 초기화될 수 있다. 그러나, 일반적으로, 이는 시스템의 설정을 위해서만 행해지고 일반적으로 실시간으로 행해지지 않는데, 즉, 시스템의 동작 모드에서 행해지지 않는다.
광원 특정 방사휘도 값들은, 장면 내의 적어도 하나의 광원의 스펙트럼 특성들, 전력, 및/또는 방출 각도 프로파일(광 출력 프로파일)을 포함한다. 장면 내의 적어도 하나의 객체의 지점들에서의 적어도 하나의 광원의 방사휘도는, 광원 특정 방사휘도 값들, 특히, 장면 내의 적어도 하나의 광원의 스펙트럼 특성들, 전력, 및/또는 방출 각도 프로파일을 사용하고 적어도 하나의 광원으로부터 장면 내의 적어도 하나의 객체까지의 거리를 맵핑함으로써 계산된다.
시스템의 추가적인 실시예에 따르면, 센서는 다중스펙트럼 또는 하이퍼스펙트럼 카메라이다. 센서는 일반적으로 광자 계수 능력들을 갖는 광학 센서이다. 더 구체적으로, 센서는 흑백(monochrome) 카메라, 또는 RGB 카메라, 또는 다중스펙트럼 카메라, 또는 하이퍼스펙트럼 카메라일 수 있다. 센서는 상기된 것 중 임의의 것의 조합, 또는 상기된 것 중 임의의 것과, 예컨대, 특정 필터들을 갖는 흑백 센서와 같은 조정가능하거나 선택가능한 필터 세트의 조합일 수 있다. 센서는 장면의 단일 픽셀을 측정하거나, 한 번에 많은 픽셀들을 측정할 수 있다. 광학 센서는, 특정 범위의 스펙트럼에서, 특히, 3개 초과의 대역에서 광자들을 계수하도록 구성될 수 있다. 광학 센서는, 특히 상이한 시간들에 상이한 대역들을 또는 모든 대역들을 동시에 판독하는, 큰 시야를 위한 다수의 픽셀들을 갖는 카메라일 수 있다.
다중스펙트럼 카메라는 전자기 스펙트럼에 걸쳐 특정 파장 범위들 내에서 이미지 데이터를 포착한다. 파장들은 필터들에 의해 또는 가시 광 범위를 넘는 주파수들, 즉, 적외선 및 자외선으로부터의 광을 포함하는 특정 파장들에 민감한 계기들의 사용에 의해 분리될 수 있다. 스펙트럼 이미징은 인간의 눈이 적색, 녹색, 및 청색에 대해 그의 수용체들로 포착하지 못하는 부가적인 정보의 추출을 허용할 수 있다. 다중스펙트럼 카메라는 적은 수(전형적으로, 3개 내지 15개)의 스펙트럼 대역들에서 광을 측정한다. 하이퍼스펙트럼 카메라는, 종종 수백 개의 인접한 스펙트럼 대역들이 이용가능한, 스펙트럼 카메라의 특수한 경우이다.
제안된 시스템의 추가적인 실시예에 따르면, 장면 맵핑 툴은, 비행 시간(TOF), 스테레오비전(stereovision), 및/또는 구조화된 광에 기반한 기법들을 사용함으로써 장면 맵핑을 수행하도록 구성된다. 장면 맵핑 툴은, 비행 시간 시스템, 이를테면 TOF 카메라들, 스테레오비전 기반 시스템, 구조화된 광을 방출하는 광 프로브, 또는 이들의 임의의 조합 중 적어도 하나를 포함할 수 있다. 구조화된 광은, 예컨대, 적외선 광일 수 있다. 비행 시간 측정들은, 적외선 광, 가시 광, 또는 레이더를 사용할 수 있다. 대안적인 장면 맵핑 툴들은 음향(초음파) 기반 시스템들이다.
또 다른 양상에서, 시스템은, (GPS를 통해 수신된) 물리적 위치, 나침반 방위, 시각(time of day), 및/또는 기상 조건들을 사용하여 장면 내의 적어도 하나의 객체의 조명에 대한 태양 방사선의 영향을 모델링하도록 구성된다. 그러한 영향 인자들이 모델에서 고려되는데, 즉, 모델에 통합된다.
추가적인 양상에서, 시스템은, 장면 전체에 걸친 반사된 및 형광된 광의 상호반사들을 고려하기 위해, 적어도 하나의 객체뿐만 아니라 장면 내의 다른 물품들의 반사성 및 형광 특성들의 정보를 사용하여 양방향 반사율 분포 함수(BRDF)들 및 양방향 형광 분포 함수(BFDF)들을 통해 장면의 방사휘도 맵핑을 개선하도록 구성된다.
제안된 시스템의 다른 실시예에 따르면, 시스템은, 장면 내의 적어도 하나의 지점에 위치된 적어도 하나의 백색 타일을 포함하며, 백색 타일은 장면 내의 적어도 하나의 지점에서 광원의 방사휘도를 측정하는 데 사용되도록 구성되고, 여기서, 장면 내의 적어도 하나의 지점에서의 광원의 측정된 방사휘도는, 장면 내의 다른 지점들에서의 방사휘도를 추정하기 위해 3D 맵 및 광원의 광 출력 프로파일과 함께 사용된다. 장면 내의 고도로 반사성인 백색 타일(들)은 장면 내의 그 지점에서 광원으로부터의 방사휘도를 측정하는 데 사용될 수 있다. 이는 또한 광원의 스펙트럼 특성들을 제공할 것이다. 이어서, 장면의 3D 맵 및 광원의 광 출력 프로파일에 관한 가정들/계산들과 함께, 장면 내의 다른 지점들에서의 방사휘도의 추정들이 행해질 수 있다. 이는, 광원에 관한 정보와 네트워킹되지 않은 시스템들에 대해 가장 유용할 수 있다. 백색 타일(들)은 또한, 설명된 시스템 외부의 광원들로부터의 기여들을 결정하는 것에 부가하여 계산들을 검증하기 위해 광원에 관한 정보와 네트워킹되는 "스마트" 시스템들에 사용될 수 있다.
본 개시내용은 또한, 컴퓨터 비전 응용을 통한 객체 인식을 위한 방법을 언급하며, 방법은 적어도 다음의 단계들:
- 인식될 적어도 하나의 객체를 제공하는 단계 ― 객체는 객체 특정 반사율 및 발광 스펙트럼 패턴들을 가짐 ―,
- 적어도 하나의 광원에 의해, 주변 광 조건들 하에서 적어도 하나의 객체를 포함하는 장면을 조명하는 단계 ― 광원은 광원 특정 방사휘도 값들을 가짐―,
- 센서를 사용하여, 장면이 광원에 의해 조명될 때 적어도 하나의 객체를 포함하는 장면의 방사휘도 데이터를 측정하는 단계,
- 장면 맵핑 툴을 사용하여, 장면을 맵핑하여 장면의 적어도 부분적인 3D 맵을 렌더링하는 단계,
- 발광 및/또는 반사율 스펙트럼 패턴들을 적절히 배정된 개개의 객체들과 함께 포함하는 데이터 저장 유닛을 제공하는 단계,
- 데이터 처리 유닛을 제공하는 단계 ― 데이터 처리 유닛은, 장면 맵핑 툴로부터 수신되는 데이터를 분석하고, 분석된 데이터를 광원 특정 방사휘도 값들과 병합하여, 장면 내의 지점들, 특히, 적어도 하나의 객체의 지점들에 입사되는 광의 방사휘도를 계산하고, 장면 내의 지점들에 입사되는 광의 계산된 방사휘도를, 장면 내의 지점들, 특히, 적어도 하나의 객체로부터 센서에 반환되는 광의 측정된 방사휘도와 결합하여 장면 내의 적어도 하나의 객체에서의 광 스펙트럼 분포 및 강도의 모델을 형성하고, 광 스펙트럼 분포 및 강도의 모델로부터, 인식될 적어도 하나의 객체의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 추출/검출하고, 추출/검출된 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 데이터 저장 유닛에 저장된 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하고, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴, 및 그에 따라, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴의 배정된 객체를 식별하도록 프로그래밍됨 ― 를 포함하며,
센서, 장면 맵핑 툴, 데이터 저장 유닛, 및 데이터 처리 유닛은, 기본적으로, 무선으로 그리고/또는 유선들을 통해 서로 통신하고, 광원과 동기화되어, 통합 시스템을 형성한다.
제안된 방법의 일 실시예에 따르면, 장면 맵핑은, 비행 시간(TOF) 및/또는 구조화된 광 및/또는 스테레오카메라들에 기반한 기법을 사용함으로써 수행되며, 여기서, 비행 시간 시스템, 음향 기반 시스템, 스테레오비전 기반 시스템, 또는 이들의 임의의 조합 중 적어도 하나가 사용된다. 적외선 광, 가시 광, UV 광이 사용될 수 있다. 또한, 레이더, 스테레오비전, 및/또는 초음파가 여기서 사용될 수 있다.
추가적인 양상에서, 장면 내의 적어도 하나의 객체에서의 적어도 하나의 광원의 방사휘도는, 광원 특정 방사휘도 값들, 이를테면, 장면 내의 적어도 하나의 광원의 스펙트럼 특성들, 전력, 및/또는 방출 각도 프로파일을 사용하고 적어도 하나의 광원으로부터 장면 내의 적어도 하나의 객체까지의 거리를 맵핑하여 계산된다.
추가로, 장면의 조명에 대한 태양 방사선의 영향을 모델링하여 모델을 적응시키기 위해 (GPS를 통해 결정된) 물리적 위치, 나침반 방위, 시각, 및/또는 기상 조건들이 사용될 수 있다.
더 추가적인 양상에서, 장면 전체에 걸친 반사된 및 형광된 광의 상호반사들을 고려하기 위해, 장면 내의 (적어도 하나의 객체뿐만 아니라) 다른 물품들의 반사성 및 형광 특성들의 정보가 사용되어 양방향 반사율 분포 함수(BRDF)들 및 양방향 형광 분포 함수(BFDF)들을 통해 장면의 방사휘도 맵핑이 개선된다.
광 스펙트럼 분포 및 강도의 모델은 분석되어 개개의 출력 디바이스, 이를테면, 3D 맵/뷰를 송출하도록 구성되는 디스플레이 또는 스크린을 통해 2D 맵 상에 또는 3D 뷰로서 표시될 수 있다.
본 발명의 실시예들은, 독립형 유닛이거나 예컨대, 인터넷 또는 인트라넷과 같은 네트워크를 통해, 예컨대 클라우드에 위치된 중앙 컴퓨터와 통신하는 하나 이상의 원격 단말기 또는 디바이스를 포함할 수 있는 컴퓨터 시스템과 함께 사용되거나 그에 통합될 수 있다. 그러므로, 본원에 설명된 데이터 처리 유닛 및 관련된 구성요소들은 로컬 컴퓨터 시스템 또는 원격 컴퓨터 또는 온라인 시스템 또는 이들의 조합의 일부분일 수 있다. 데이터베이스, 즉, 본원에 설명된 데이터 저장 유닛 및 소프트웨어는 컴퓨터 내부 메모리에 또는 비-일시적인 컴퓨터 판독가능 매체에 저장될 수 있다. 본 개시내용의 범위 내에서, 데이터베이스는 데이터 저장 유닛의 일부일 수 있거나 데이터 저장 유닛 그 자체를 표현할 수 있다. "데이터베이스" 및 "데이터 저장 유닛"이라는 용어들은 동의어로 사용된다.
본 개시내용은 추가로, 제안된 시스템의 구성요소/일부로서 제공되는 바와 같은 데이터 처리 유닛에 의해 실행가능한 명령어들을 갖는 컴퓨터 프로그램 제품을 언급하며, 명령어들은, 시스템으로 하여금:
- 장면 맵핑 툴로부터 수신되는 데이터를 분석하게 하고,
- 분석된 데이터를 광원 특정 방사휘도 데이터와 병합하게 하고,
- 병합된 데이터에 기반하여, 장면 내의 지점들, 특히, 인식될 적어도 하나의 객체의 지점들에 입사되는 광의 방사휘도를 계산하게 하고,
- 장면 내의 지점들에 입사되는 광의 계산된 방사휘도를, 장면 내의 지점들, 특히, 적어도 하나의 객체의 지점들로부터 센서에 반환되는 광의 측정된 방사휘도와 결합하여, 장면 내의 적어도 하나의 객체에서의 광 스펙트럼 분포 및 강도의 모델을 형성하게 하고,
- 광 스펙트럼 분포 및 강도의 모델로부터, 인식될 적어도 하나의 객체의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 추출하게 하고,
- 추출된 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 데이터 저장 유닛에 저장된 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하게 하고,
- 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴, 및 그에 따라, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴의 배정된 객체를 식별하게 한다.
본 개시내용은 또한, 명령어들을 저장하는 비-일시적인 컴퓨터 판독가능 매체를 언급하며, 명령어들은, 제안된 시스템의 구성요소(들)로서의 하나 이상의 데이터 처리 유닛에 의해 실행될 때, 시스템으로 하여금,
- 장면 맵핑 툴로부터 수신되는 데이터를 분석하게 하고,
- 분석된 데이터를 광원 특정 방사휘도 데이터와 병합하게 하고,
- 병합된 데이터에 기반하여, 장면 내의 지점들, 특히, 인식될 적어도 하나의 객체의 지점들에 입사되는 광의 방사휘도를 계산하게 하고,
- 장면 내의 지점들에 입사되는 광의 계산된 방사휘도를, 장면 내의 지점들, 특히, 적어도 하나의 객체의 지점들로부터 센서에 반환되는 광의 측정된 방사휘도와 결합하여, 장면 내의 적어도 하나의 객체에서의 광 스펙트럼 분포 및 강도의 모델을 형성하게 하고,
- 광 스펙트럼 분포 및 강도의 모델로부터, 인식될 적어도 하나의 객체의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 추출하게 하고,
- 추출된 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 데이터 저장 유닛에 저장된 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하게 하고,
- 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴, 및 그에 따라, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴의 배정된 객체를 식별하게 한다.
본 개시내용은, 광원(들), 센서, 특히 카메라, 상이한 객체들의 발광 및/또는 반사율 스펙트럼 패턴들의 데이터베이스, 및 다양한 알고리즘들, 장면들의 3D 맵, 및 센서의 시야 내의 표적 객체들에서의 광 스펙트럼 분포 및 강도(조도)의 모델을 사용하여 데이터베이스의 그러한 발광성 및/또는 반사성 객체들의 스펙트럼 매치를 계산하도록 구성되는 컴퓨터/데이터 처리 유닛을 포함하는 화학 기반 객체 인식 시스템 및 객체 인식을 위한 방법을 설명한다. 장면들의 3D 맵들 및 개개의 장면들에서의 조도의 간단한 모델들을 네트워크 연결된/동기화된 시스템의 나머지와 통합함으로써, 발광성/화학 기반 객체 인식 기법들이 단순화되고 개선된다.
본 발명은 다음의 예들에서 추가로 정의된다. 이러한 예들은, 본 발명의 바람직한 실시예들을 나타냄으로써, 단지 예시로서 주어진다는 것이 이해되어야 한다. 위의 논의 및 예들로부터, 관련 기술분야의 통상의 기술자는 본 발명의 본질적인 특성들을 확인할 수 있고, 본 발명의 사상 및 범위로부터 벗어나지 않으면서, 다양한 용도들 및 조건들에 본 발명을 적응시키도록 본 발명의 다양한 변경들 및 수정들을 행할 수 있다.
도 1은 본 발명에 따른 시스템의 실시예의 배열을 개략적으로 도시한다.
도 1은 컴퓨터 비전 응용을 통한 객체 인식을 위한 시스템(100)의 실시예를 도시한다. 시스템(100)은 인식될 적어도 하나의 객체(110)를 포함한다. 객체(110)는, 객체 특정 반사율 스펙트럼 패턴 및 객체 특정 발광 스펙트럼 패턴을 갖는다. 객체(110)는 추가로, 장면(130) 내에 위치된다. 시스템(100)은, 제1 광원(121) 및 제2 광원(122)을 더 포함한다. 광원들 둘 모두는, 바람직하게는 주변 광 조건들 하에서, 적어도 하나의 객체(110)를 포함하는 장면(130)을 조명하도록 구성된다. 시스템(100)은, 장면(130)이 광원들(121 및 122) 중 적어도 하나에 의해 조명될 때 적어도 하나의 객체(110)를 포함하는 장면(130)의 방사휘도 데이터를 측정하도록 구성되는 센서(140)를 더 포함한다. 여기서 도시된 경우에서, 센서(140)는 다중스펙트럼 또는 하이퍼스펙트럼 카메라이다. 시스템(100)은, 장면(130)을 맵핑하여 장면(130)의 적어도 부분적인 3D 맵을 렌더링하도록 구성되는 장면 맵핑 툴(150)을 더 포함한다. 추가로, 발광 및/또는 반사율 스펙트럼 패턴들을 적절히 배정된 개개의 객체들과 함께 포함하는 데이터 저장 유닛(160)이 도시된다. 시스템(100)은, 장면 맵핑 툴(150)로부터 수신되는 데이터를 분석하고, 분석된 데이터를 광원 특정 방사휘도 파라미터들/값들과 병합하고, 장면(130) 내의 지점들, 특히, 객체(110)의 지점들에 입사되는 광의 방사휘도를 계산하도록 구성되는 데이터 처리 유닛(170)을 더 포함한다. 장면(130) 내의 특정 지점에 입사되는 광의 방사휘도는, 광 강도의 함수 I(x, y, z)를 통해 공식화될 수 있으며, (x, y, z)는 장면(130) 내의 특정 지점의 공간 좌표들을 지정한다. 함수 I(x, y, z)는, 가장 간단한 경우에, 특정 지점 (x, y, z)에서의 제1 광원(121)의 광 강도(I1)와 제2 광원(122)의 광 강도(I2)의 중첩에 의해 다음과 같이 주어질 수 있다: I(x, y, z)= I1(x, y, z) + I2(x, y, z). 장면(130) 내의 지점들에 입사되는 광의 계산된 방사휘도는, 장면 내의 지점들, 특히, 객체(110)의 지점들로부터 카메라(140)로 반환되는 광의 측정된 방사휘도와 결합된다. 계산된 방사휘도와 측정된 방사휘도의 그러한 결합에 기반하여, 장면 내의 객체(110)에서의 광 스펙트럼 분포 및 강도의 모델이 형성된다. 데이터 처리 유닛(170)은, 광 스펙트럼 분포 및 강도의 모델로부터, 객체(110)의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 계산하고, 객체(110)의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 데이터 저장 유닛(160)에 저장된 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하도록 추가로 구성된다. 그에 의해, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴이 식별될 수 있고, 객체(110)는, 데이터베이스 내에서 이러한 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴에 배정되는 객체로서 식별된다.
카메라(140), 장면 맵핑 툴(150), 데이터베이스(160), 및 데이터 처리 유닛(170)은 서로 통신가능하게 연결되고, 무선으로 그리고/또는 유선들을 통해 함께 링크되어, 통합된 시스템을 형성한다. 광원들(121 및 122)은 시스템의 다른 구성요소들에 링크될 수 있지만, 링크되어야만 하는 것은 아니다. 그러나, 광원들은 다른 구성요소들과 동기화되어야 한다. 광원들(121, 122)은, 예컨대, 데이터 처리 유닛(170) 또는 임의의 다른 제어기에 의해 제어될 수 있다.
광원들(121, 122)의 방사휘도 데이터를 측정하도록 구성되는 추가적인 센서, 이를테면 분광 방사계가 유용할 수 있지만, 필수적인 것은 아니다. 일반적으로, 각각의 광원(121, 122)의 방사휘도에 대해 공장 생산 규격이 이용가능할 것이다. 장면(130) 내의 상이한 지점들에서의 방사휘도를 계산하기 위해, 광원들(121, 122)에 관한 정보, 이를테면, 방출 각도 프로파일, 전력, 또는 스펙트럼 특성들이 장면 맵핑 툴(150)에 의해 제공되는 장면(130)의 부분적인 3D 맵과 결합될 수 있다. 그것은, 장면(130) 내의 관심 지점들, 특히, 객체(110)의 지점들에서의 광 방사휘도가 광원들(121 및 122)의 특성들 및 장면 맵핑 툴(150)(3D 맵핑 툴)에 의해 출력된 장면의 3D 맵에 기반하여 계산된다는 것을 의미한다.
장면(130)의 조명에 대한 태양 방사선의 영향을 모델링하기 위해, 추가적인 정보, 이를테면, 물리적 위치, 나침반 방위, 시각, 및 기상 조건들에 관한 정보가 사용될 수 있다. 장면 맵핑 툴(150)은, 비행 시간 및/또는 예컨대 적외선 광을 사용하는 구조화된 광에 기반한 기법을 사용하여 장면 맵핑을 수행할 수 있다. 그러나, 가시 광, 레이더, 스테레오비전, 및/또는 초음파가 가능한 대안들일 수 있다. 장면 맵핑 툴(150)은, 비행 시간 시스템(예컨대, 라이다 시스템), 음향 기반 시스템, 스테레오비전 기반 시스템, 또는 이들의 임의의 조합 중 적어도 하나를 포함할 수 있다.
장면(130) 전체에 걸친 반사된 및 형광된 광의 상호반사들을 고려하기 위해, 장면(130) 내의 객체들/물품들의 반사성 및 형광성 특성들의 지식이 사용되어 양방향 반사율 분포 함수들 및 양방향 형광 분포 함수들과 같은 기법들을 이용하여 장면 맵핑을 개선할 수 있다. 양방향 반사율 분포 함수는, 광이 장면(130) 내의 불투명 표면에서 어떻게 반사되는지를 표시한다. 그러한 양방향 반사율 분포 함수들 및/또는 양방향 형광 분포 함수들의 지식에 의해, 장면 내의 추가적인 객체들에 의해 방출되는 반사된 및 형광된 광으로 인한 추가적인 영향들이 고려될 수 있으므로, 장면 맵핑 툴에 의해 수행되는 3D 맵핑이 개선될 수 있다. 그에 따라, 일반적으로, 인식될 적어도 하나의 객체만이 아닌 더 많은 객체가 장면 내에 존재하므로, 3D 맵핑이 더 현실적이다.
장면(130) 내의 발광체들, 즉, 광원들(121 및 122)의 스펙트럼 특성들 및 전력의 지식 또는 측정으로 인해, 그리고 광원들(121, 122)로부터 장면(130) 내의 복수의 객체들, 이를테면, 이전에 알려져 있는 책상(131) 및 의자(132)까지의 거리들을 맵핑함으로써, 장면(130) 내의 임의의 지점에서 정확한 방사휘도들이 도출되고 계산될 수 있다. 장면 맵핑은 다양한 상이한 기법들을 사용하여 장면 맵핑 툴(150)에 의해 수행될 수 있다. 가장 통상적인 기법은 비행 시간 측정에 기반한다. 추가적인 가능성은 구조화된 광의 사용이다. 광원들(121 및 122)로부터 장면(130) 내의 객체들(110, 131 및 132)까지의 거리들을 알고 있을 때, 장면의 3D 맵이 형성될 수 있고, 그에 따라, 장면 내의 개개의 객체들의 특정 좌표들에 관한 정보가 제공된다. 인식될 객체(110)의 좌표들의 지식 및 카메라(140)에 의한 객체(110)를 포함하는 장면의 측정된 방사휘도 데이터에 의해, 객체 특정 형광 스펙트럼 패턴이 장면의 계산된 방사휘도 모델로부터 필터링될 수 있다. 위에서 이미 언급된 바와 같이, 장면 전체에 걸친 반사된 및 형광된 광의 상호반사들을 고려하기 위해 양방향 반사율 분포 함수들 및 양방향 형광 분포 함수들을 사용함으로써 장면의 방사휘도 맵핑이 개선될 수 있다.
참조 부호들의 목록
100 시스템
110 객체
121, 122 광원
130 장면
131 책상
132 의자
140 센서/카메라
150 장면 맵핑 툴
160 데이터 저장 유닛/데이터베이스
170 데이터 처리 유닛

Claims (15)

  1. 컴퓨터 비전 응용을 통한 객체 인식을 위한 시스템으로서,
    적어도 다음의 구성요소들:
    - 인식될 적어도 하나의 객체(110) ― 상기 객체(110)는 객체 특정 반사율 스펙트럼 패턴 및 객체 특정 발광 스펙트럼 패턴을 가짐 ―;
    - 주변 광 조건들 하에서 장면(130)을 조명하도록 구성되는 적어도 하나의 광원(121, 122) ― 상기 장면은 상기 적어도 하나의 객체(110)를 포함하고, 상기 적어도 하나의 광원(121, 122)은 광원 특정 방사휘도 값들을 가짐―;
    - 상기 장면(130)이 상기 광원(121, 122)에 의해 조명될 때 상기 장면(130)의 방사휘도 데이터를 측정하도록 구성되는 센서(140);
    - 상기 장면(130)을 맵핑하여 상기 장면(130)의 적어도 부분적인 3D 맵을 렌더링하도록 구성되는 장면 맵핑 툴(150);
    - 발광 및/또는 반사율 스펙트럼 패턴들을 적절히 배정된 개개의 객체들과 함께 포함하는 데이터 저장 유닛(160); 및
    - 상기 장면 맵핑 툴(150)로부터 수신되는 데이터를 분석하고, 분석된 데이터를 상기 광원 특정 방사휘도 값들과 병합하고, 그에 기반하여, 상기 장면(130) 내의 지점들, 특히, 상기 적어도 하나의 객체(110)에 입사되는 광의 방사휘도를 계산하고, 상기 장면(130) 내의 지점들에 입사되는 광의 계산된 방사휘도를, 상기 장면(130) 내의 지점들, 특히, 상기 적어도 하나의 객체(110)로부터 상기 센서(140)에 반환되는 광의 측정된 방사휘도와 결합하여 상기 장면(130) 내의 상기 적어도 하나의 객체(110)에서의 광 스펙트럼 분포 및 강도의 모델을 형성하고, 상기 광 스펙트럼 분포 및 강도의 모델로부터, 상기 인식될 적어도 하나의 객체의 객체 특정 발광 스펙트럼 패턴 및/또는 객체 특정 반사율 스펙트럼 패턴을 추출하고, 추출된 객체 특정 발광 스펙트럼 패턴 및/또는 객체 특정 반사율 스펙트럼 패턴을 상기 데이터 저장 유닛(160)에 저장된 상기 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하고, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴, 및 그에 따라, 상기 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴의 배정된 객체를 식별하도록 구성되는 데이터 처리 유닛(170)을 포함하며,
    적어도, 상기 센서(140), 상기 장면 맵핑 툴(150), 상기 데이터 저장 유닛(160), 및 상기 데이터 처리 유닛(170)은, 기본적으로, 서로 통신가능하게 연결되고, 무선으로 그리고/또는 유선들을 통해 함께 링크되고, 상기 광원(121, 122)과 동기화되어, 통합 시스템을 형성하는, 시스템.
  2. 제1항에 있어서,
    상기 광원 특정 방사휘도 값들, 특히, 상기 장면(130) 내의 상기 적어도 하나의 광원의 스펙트럼 특성들, 전력, 및/또는 방출 각도 프로파일을 사용하고 상기 적어도 하나의 광원(121, 122)으로부터 상기 장면 내의 상기 적어도 하나의 객체(110)까지의 거리를 맵핑함으로써, 상기 장면(130) 내의 상기 적어도 하나의 객체(110)에서의 상기 적어도 하나의 광원(121, 122)의 방사휘도를 계산하도록 구성되는, 시스템.
  3. 제1항 또는 제2항에 있어서,
    상기 광원(121, 122)은, 상기 장면 맵핑 툴(150), 상기 데이터 저장 유닛(160), 및/또는 상기 데이터 처리 유닛(170)과 링크되는, 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 센서(140)는 다중스펙트럼 또는 하이퍼스펙트럼 카메라인, 시스템.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서,
    상기 장면 맵핑 툴(150)은, 비행 시간(TOF; time of flight), 스테레오비전(stereovision), 구조화된 광, 레이더, 및/또는 초음파 중 적어도 하나에 기반한 기법을 사용함으로써 장면 맵핑을 수행하도록 구성되는, 시스템.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 장면(130) 내의 상기 적어도 하나의 객체(110)의 조명에 대한 태양 방사선의 영향을 모델링하기 위해 물리적 위치, 나침반 방위, 시각(time of day), 및/또는 기상 조건들을 사용하도록 구성되는, 시스템.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 장면(130) 전체에 걸친 반사된 및 형광된 광의 상호반사들을 고려하기 위해, 상기 장면(130) 내의 상기 적어도 하나의 객체의 반사성 및 형광 특성들의 정보를 사용하여 양방향 반사율 분포 함수(BRDF)들 및 양방향 형광 분포 함수(BFDF)들을 통해 상기 장면의 방사휘도 맵핑을 개선하도록 구성되는, 시스템.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 장면(130) 내의 적어도 하나의 지점에 위치된 적어도 하나의 백색 타일을 더 포함하며, 상기 백색 타일은 상기 장면(130) 내의 적어도 하나의 지점에서 상기 광원(121, 122)의 방사휘도를 측정하는 데 사용되도록 구성되고, 상기 장면(130) 내의 적어도 하나의 지점에서의 상기 광원의 측정된 방사휘도는, 상기 장면(130) 내의 다른 지점들에서의 방사휘도를 추정하기 위해 상기 3D 맵 및 상기 광원(121, 122)의 광 출력 프로파일과 함께 사용되는, 시스템.
  9. 컴퓨터 비전 응용을 통한 객체 인식을 위한 방법으로서,
    적어도 다음의 단계들:
    - 인식될 적어도 하나의 객체를 제공하는 단계 ― 상기 객체는 객체 특정 반사율 스펙트럼 패턴 및 객체 특정 발광 스펙트럼 패턴을 가짐 ―;
    - 적어도 하나의 광원에 의해, 주변 광 조건들 하에서 상기 적어도 하나의 객체를 포함하는 장면을 조명하는 단계 ― 상기 광원은 광원 특정 방사휘도 값들을 가짐 ―;
    - 센서를 사용하여, 상기 장면이 상기 광원에 의해 조명될 때 상기 적어도 하나의 객체를 포함하는 상기 장면의 방사휘도 데이터를 측정하는 단계;
    - 장면 맵핑 툴을 사용하여, 상기 장면을 맵핑하여 상기 장면의 적어도 부분적인 3D 맵을 렌더링하는 단계;
    - 발광 및/또는 반사율 스펙트럼 패턴들을 적절히 배정된 개개의 객체들과 함께 포함하는 데이터 저장 유닛을 제공하는 단계; 및
    - 데이터 처리 유닛을 제공하는 단계 ― 상기 데이터 처리 유닛은, 상기 장면 맵핑 툴로부터 수신되는 데이터를 분석하고, 분석된 데이터를 상기 광원 특정 방사휘도 값들과 병합하여, 상기 장면 내의 지점들, 특히, 상기 적어도 하나의 객체에 입사되는 광의 방사휘도를 계산하고, 상기 장면 내의 지점들에 입사되는 광의 계산된 방사휘도를, 상기 장면 내의 지점들, 특히, 상기 적어도 하나의 객체로부터 상기 센서에 반환되는 광의 측정된 방사휘도와 결합하여 상기 장면 내의 상기 적어도 하나의 객체에서의 광 스펙트럼 분포 및 강도의 모델을 형성하고, 상기 광 스펙트럼 분포 및 강도의 모델로부터, 상기 인식될 적어도 하나의 객체의 객체 특정 발광 스펙트럼 패턴 및/또는 객체 특정 반사율 스펙트럼 패턴을 추출하고, 추출된 객체 특정 발광 스펙트럼 패턴 및/또는 객체 특정 반사율 스펙트럼 패턴을 상기 데이터 저장 유닛에 저장된 상기 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하고, 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴, 및 그에 따라, 상기 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴의 배정된 객체를 식별하도록 프로그래밍됨 ― 를 포함하며,
    상기 센서, 상기 장면 맵핑 툴, 상기 데이터 저장 유닛, 및 상기 데이터 처리 유닛은, 기본적으로, 무선으로 그리고/또는 유선들을 통해 서로 통신하고, 상기 광원과 동기화되어, 통합 시스템을 형성하는, 방법.
  10. 제9항에 있어서,
    장면 맵핑은, 비행 시간(TOF), 스테레오비전, 구조화된 광, 레이더, 및/또는 초음파 중 적어도 하나에 기반한 기법을 사용함으로써 수행되는, 방법.
  11. 제9항 또는 제10항에 있어서,
    상기 장면 내의 상기 적어도 하나의 객체에서의 상기 적어도 하나의 광원의 방사휘도는, 상기 장면 내의 상기 적어도 하나의 광원의 스펙트럼 특성들, 전력, 및/또는 방출 각도 프로파일을 사용하고 상기 적어도 하나의 광원으로부터 상기 장면 내의 상기 적어도 하나의 객체까지의 거리를 맵핑하여 계산되는, 방법.
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 장면의 조명에 대한 태양 방사선의 영향을 모델링하기 위해 물리적 위치, 나침반 방위, 시각, 및/또는 기상 조건들이 사용되는, 방법.
  13. 제9항 내지 제12항 중 어느 한 항에 있어서,
    상기 장면 전체에 걸친 반사된 및 형광된 광의 상호반사들을 고려하기 위해, 상기 장면 내의 상기 적어도 하나의 객체의 반사성 및 형광 특성들의 정보가 사용되어 양방향 반사율 분포 함수(BRDF)들 및 양방향 형광 분포 함수(BFDF)들을 통해 상기 장면의 방사휘도 맵핑을 개선하는, 방법.
  14. 제9항 내지 제13항 중 어느 한 항에 있어서,
    상기 광 스펙트럼 분포 및 강도의 모델은 분석되어 2D 맵 상에 또는 3D 뷰로서 표시될 수 있는, 방법.
  15. 명령어들을 저장하는 비-일시적인 컴퓨터 판독가능 매체로서,
    상기 명령어들은, 제1항 내지 제8항 중 어느 한 항에 따른 시스템의 구성요소로서 제공되는 바와 같은 하나 이상의 데이터 처리 유닛에 의해 실행될 때, 상기 시스템으로 하여금,
    - 장면 맵핑 툴로부터 수신되는 데이터를 분석하게 하고;
    - 분석된 데이터를 광원 특정 방사휘도 데이터와 병합하게 하고;
    - 병합된 데이터에 기반하여, 장면 내의 지점들, 특히, 인식될 적어도 하나의 객체의 지점들에 입사되는 광의 방사휘도를 계산하게 하고;
    - 상기 장면 내의 지점들에 입사되는 광의 계산된 방사휘도를, 상기 장면 내의 지점들, 특히, 상기 적어도 하나의 객체의 지점들로부터 센서에 반환되는 광의 측정된 방사휘도와 결합하여, 상기 장면 내의 상기 적어도 하나의 객체에서의 광 스펙트럼 분포 및 강도의 모델을 형성하게 하고;
    - 상기 광 스펙트럼 분포 및 강도의 모델로부터, 상기 인식될 적어도 하나의 객체의 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 추출하게 하고;
    - 추출된 객체 특정 발광 및/또는 반사율 스펙트럼 패턴을 데이터 저장 유닛에 저장된 발광 및/또는 반사율 스펙트럼 패턴들과 매칭하게 하고;
    - 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴, 및 그에 따라, 상기 가장 양호하게 매칭되는 발광 및/또는 반사율 스펙트럼 패턴의 배정된 객체를 식별하게 하는, 비-일시적인 컴퓨터 판독가능 매체.
KR1020217039557A 2019-06-07 2020-06-05 3d 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법 KR20220004738A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201962858359P 2019-06-07 2019-06-07
EP19179186.2 2019-06-07
US62/858,359 2019-06-07
EP19179186 2019-06-07
PCT/EP2020/065751 WO2020245444A1 (en) 2019-06-07 2020-06-05 System and method for object recognition using 3d mapping and modeling of light

Publications (1)

Publication Number Publication Date
KR20220004738A true KR20220004738A (ko) 2022-01-11

Family

ID=70977985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020217039557A KR20220004738A (ko) 2019-06-07 2020-06-05 3d 맵핑 및 광의 모델링을 사용하는 객체 인식을 위한 시스템 및 방법

Country Status (11)

Country Link
EP (1) EP3980925A1 (ko)
JP (1) JP7277615B2 (ko)
KR (1) KR20220004738A (ko)
CN (1) CN113811888A (ko)
AU (1) AU2020288708A1 (ko)
BR (1) BR112021019027A2 (ko)
CA (1) CA3140449A1 (ko)
MX (1) MX2021014833A (ko)
SG (1) SG11202113354UA (ko)
TW (1) TW202105330A (ko)
WO (1) WO2020245444A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102649607B1 (ko) 2023-08-28 2024-03-21 (주)다울 3d 센서 기반 실시간 재고 파악 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023180178A1 (en) 2022-03-23 2023-09-28 Basf Coatings Gmbh System and method for object recognition utilizing color identification and/or machine learning

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006105822A (ja) 2004-10-06 2006-04-20 Canon Inc 三次元画像処理システム及び三次元データ処理装置
US9234618B1 (en) * 2012-09-27 2016-01-12 Google Inc. Characterizing optically reflective features via hyper-spectral sensor
JP6364777B2 (ja) 2014-01-10 2018-08-01 凸版印刷株式会社 画像データ取得システム及び画像データ取得方法
JP2018514748A (ja) 2015-02-06 2018-06-07 ザ ユニバーシティ オブ アクロンＴｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ａｋｒｏｎ 光学撮像システムおよびその方法
US9912861B1 (en) * 2016-03-02 2018-03-06 Amazon Technologies, Inc. Systems and methods for determining a depth or reflectance of objects
JP6810167B2 (ja) 2016-05-27 2021-01-06 ヴェリリー ライフ サイエンシズ エルエルシー ４ｄハイパースペクトル撮像のためのシステムおよび方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102649607B1 (ko) 2023-08-28 2024-03-21 (주)다울 3d 센서 기반 실시간 재고 파악 시스템 및 방법

Also Published As

Publication number Publication date
SG11202113354UA (en) 2021-12-30
WO2020245444A1 (en) 2020-12-10
MX2021014833A (es) 2022-01-18
CN113811888A (zh) 2021-12-17
CA3140449A1 (en) 2020-12-10
EP3980925A1 (en) 2022-04-13
JP7277615B2 (ja) 2023-05-19
AU2020288708A1 (en) 2022-01-06
TW202105330A (zh) 2021-02-01
BR112021019027A2 (pt) 2021-12-21
JP2022535888A (ja) 2022-08-10

Similar Documents

Publication Publication Date Title
US20220319205A1 (en) System and method for object recognition using three dimensional mapping tools in a computer vision application
US11295152B2 (en) Method and system for object recognition via a computer vision application
KR20210127951A (ko) 컴퓨터 비전 응용을 통한 객체 인식을 위한 방법 및 시스템
JP7277615B2 (ja) 光の３ｄマッピングとモデリングを使用した物体認識システム及び方法
US20220319149A1 (en) System and method for object recognition under natural and/or artificial light
US20220245842A1 (en) System and method for object recognition using fluorescent and antireflective surface constructs
US20220230340A1 (en) System and method for object recognition using 3d mapping and modeling of light
US20220307981A1 (en) Method and device for detecting a fluid by a computer vision application