KR20220004741A - 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하기 위한 디바이스 및 방법 - Google Patents
객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하기 위한 디바이스 및 방법 Download PDFInfo
- Publication number
- KR20220004741A KR20220004741A KR1020217039561A KR20217039561A KR20220004741A KR 20220004741 A KR20220004741 A KR 20220004741A KR 1020217039561 A KR1020217039561 A KR 1020217039561A KR 20217039561 A KR20217039561 A KR 20217039561A KR 20220004741 A KR20220004741 A KR 20220004741A
- Authority
- KR
- South Korea
- Prior art keywords
- spectra
- database
- color space
- reflectance
- spectrum
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 71
- 238000000985 reflectance spectrum Methods 0.000 claims abstract description 92
- 238000000295 emission spectrum Methods 0.000 claims abstract description 63
- 238000001228 spectrum Methods 0.000 claims abstract description 44
- 238000004020 luminiscence type Methods 0.000 claims abstract description 27
- 238000013473 artificial intelligence Methods 0.000 claims abstract description 25
- 238000013500 data storage Methods 0.000 claims abstract description 23
- 238000004891 communication Methods 0.000 claims abstract description 21
- 238000012544 monitoring process Methods 0.000 claims abstract description 14
- 239000013589 supplement Substances 0.000 claims abstract description 5
- 238000005259 measurement Methods 0.000 claims description 10
- 238000001748 luminescence spectrum Methods 0.000 claims description 7
- 230000003595 spectral effect Effects 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 claims description 2
- 238000002189 fluorescence spectrum Methods 0.000 description 34
- 239000000463 material Substances 0.000 description 16
- 230000015556 catabolic process Effects 0.000 description 5
- 238000006731 degradation reaction Methods 0.000 description 5
- 230000001419 dependent effect Effects 0.000 description 5
- 230000000977 initiatory effect Effects 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 238000000576 coating method Methods 0.000 description 4
- 239000000049 pigment Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 239000011248 coating agent Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009471 action Effects 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 229910052760 oxygen Inorganic materials 0.000 description 2
- 239000001301 oxygen Substances 0.000 description 2
- 238000004064 recycling Methods 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 239000006096 absorbing agent Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 239000003963 antioxidant agent Substances 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 239000012620 biological material Substances 0.000 description 1
- 238000002512 chemotherapy Methods 0.000 description 1
- 238000009500 colour coating Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 238000003618 dip coating Methods 0.000 description 1
- 235000013399 edible fruits Nutrition 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005284 excitation Effects 0.000 description 1
- 238000005562 fading Methods 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 102000034287 fluorescent proteins Human genes 0.000 description 1
- 108091006047 fluorescent proteins Proteins 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010813 municipal solid waste Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 235000015927 pasta Nutrition 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 102000004169 proteins and genes Human genes 0.000 description 1
- 108090000623 proteins and genes Proteins 0.000 description 1
- 238000003908 quality control method Methods 0.000 description 1
- 238000006862 quantum yield reaction Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
- 230000006641 stabilisation Effects 0.000 description 1
- 238000011105 stabilization Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 239000002699 waste material Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10009—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation sensing by radiation using wavelengths larger than 0.1 mm, e.g. radio-waves or microwaves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/12—Details of acquisition arrangements; Constructional details thereof
- G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
- G06V10/143—Sensing or illuminating at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/14—Image acquisition
- G06V30/1429—Identifying or ignoring parts by sensing at different wavelengths
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/55—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
- G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
- G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
- G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/94—Hardware or software architectures specially adapted for image or video understanding
- G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19147—Obtaining sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Library & Information Science (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Toxicology (AREA)
- Electromagnetism (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Alarm Systems (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은, 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하고 적어도 하나의 실측 정보 데이터베이스를 최신으로 유지하기 위한 디바이스 및 방법을 언급한다. 디바이스는 적어도 다음의 구성요소들, 즉: 상이한 객체들의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 저장하도록 구성되는 데이터 저장 유닛; 및 데이터 저장 유닛 및 객체 인식 시스템과 통신하도록 프로그래밍되는 프로세서를 포함하며, 프로세서는, 통신 인터페이스를 통해, 상이한 객체들의 측정된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신하고, - 각각의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 상이한 객체들 중 하나에 태그로서 배정하고, - 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하고 ― 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 데이터 저장 유닛에 각각 배정됨에 따라 적어도 하나의 실측 정보 데이터베이스를 형성함 ―, - 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용함으로써, 촉발 및/또는 인식 이벤트의 발생에 대해, 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하고, - 적어도 하나의 데이터베이스 중 적어도 하나에서, 촉발 및/또는 인식 이벤트가 발생하는 경우에 개개의 적어도 하나의 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 동적으로 업데이트 및/또는 보충하고, - 최신 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들에 대한 즉각적인 액세스를 제공하도록 프로그래밍된다.
Description
본 개시내용은, 객체 인식 시스템을 위한 적어도 하나의 실측 정보(ground truth) 데이터베이스를 형성하고 적어도 하나의 실측 정보 데이터베이스를 최신으로 유지하기 위한 디바이스 및 방법을 언급한다.
컴퓨터 비전은, 몇몇 예를 들자면, 센서들, 이를테면, 카메라들, 라이다(LiDAR) 또는 레이더와 같은 거리 센서들, 및 구조화된 광 또는 스테레오 비전에 기반한 심도 카메라 시스템들을 통해 자신 주변들에 관한 정보를 수집할 수 있는 전자 디바이스들의 풍부한 사용에 기인하여 빠르게 발전되고 있는 분야이다. 이러한 전자 디바이스들은, 컴퓨터 처리 유닛에 의해 처리될 미가공 이미지 데이터를 제공하고, 결과적으로, 인공 지능 및/또는 컴퓨터 보조 알고리즘들을 사용하여 환경 또는 장면의 이해를 전개한다. 이러한 환경의 이해가 어떻게 전개될 수 있는지에 대한 다수의 방식들이 존재한다. 일반적으로, 2D 또는 3D 이미지들 및/또는 맵들이 형성되고, 이러한 이미지들 및/또는 맵들은 장면 및 그 장면 내의 객체들의 이해를 전개하기 위해 분석된다. 컴퓨터 비전을 개선하기 위한 하나의 예상은 장면 내의 객체들의 화학적 구성의 성분들을 측정하는 것이다. 2D 또는 3D 이미지들로서 취득된 환경 내의 객체들의 형상 및 외관이 환경의 이해를 전개하기 위해 사용될 수 있지만, 이러한 기법들은 일부 단점들을 갖는다.
컴퓨터 비전 분야에서의 하나의 난제는, 센서들, 컴퓨팅 용량, 광 프로브 등의 리소스들을 최소량으로 사용하여 높은 정확성 및 낮은 레이턴시로 각각의 장면 내에서 가능한 한 많은 객체들을 식별할 수 있는 것이다. 객체 식별 프로세스는 수년에 걸쳐 원격 감지, 객체 식별, 분류, 인증 또는 인식으로 지칭되었 왔다. 본 개시내용의 범위에서, 장면 내의 객체를 식별하는 컴퓨터 비전 시스템의 능력은 "객체 인식"으로 지칭된다. 예컨대, 컴퓨터가 화상을 분석하고, 그 화상에서 공을, 때때로 심지어는 공의 유형(농구공, 축구공, 야구공), 브랜드, 정황(context) 등과 같은 추가 정보와 함께 식별/라벨링하는 것이 "객체 인식"이라는 용어에 속한다.
일반적으로, 컴퓨터 비전 시스템들에서 객체의 인식에 활용되는 기법들은 다음과 같이 분류될 수 있다:
기법 1: 물리적 태그들(이미지 기반): 바코드들, QR 코드들, 일련 번호들, 텍스트, 패턴들, 홀로그램들 등.
기법 2: 물리적 태그들(스캔/밀접 접촉 기반): 시야각 의존 안료들, 상향변환(upconversion) 안료들, 메타크로믹스(metachromics), 색상(적색/녹색), 발광성 물질들.
기법 3: 전자 태그들(수동): RFID 태그들 등. 전력 없이 관심 객체들에 부착된 디바이스들이며, 반드시 가시적이지는 않지만 다른 주파수들 (예컨대, 라디오)에서 동작할 수 있다.
기법 4: 전자 태그들(능동): 무선 통신들, 광, 라디오, 차량 간 통신(vehicle to vehicle), 차량-사물 간 통신(vehicle to anything(X)) 등. 다양한 형태들로 정보를 내보내는, 관심 객체들 상의 전력을 공급받는 디바이스들이다.
기법 5: 특징 검출(이미지 기반): 이미지 분석 및 식별, 즉, 측면 뷰로부터 자동차에 대한 특정 거리에 있는 2개의 바퀴; 얼굴 인식을 위한 2개의 눈, 코 및 입(이 순서로) 등의 분석 및 식별. 이는 알려져 있는 기하학적 구조들/형상들에 의존한다.
기법 6: 심층 학습/CNN 기반(이미지 기반): 자동차들, 얼굴들 등의 라벨링된 이미지들을 갖는 화상들 중 많은 화상들로 컴퓨터를 훈련하고, 컴퓨터는 검출할 특징들을 결정하고 관심 객체들이 새로운 영역들에 존재하는지를 예측한다. 식별될 객체의 각각의 부류에 대한 훈련 절차의 반복이 요구된다.
기법 7: 객체 추적 방법들: 처음에, 장면 내의 물품들을 특정 순서로 조직화하고 순서화된 객체들을 라벨링한다. 그 후, 알려져 있는 색상/기하학적 구조/3D 좌표들을 갖는 장면 내의 객체를 추종한다. 객체가 장면을 벗어났다가 재진입하는 경우, "인식"은 상실된다.
다음에서, 위에 언급된 기법들의 일부 단점들이 제시된다.
기법 1: 이미지 내의 객체가 가려지거나 객체의 작은 부분만이 뷰 내에 있을 때, 바코드들, 로고 등이 판독가능하지 않을 수 있다. 또한, 가요성 물품들 상의 바코드들 등이 왜곡되어 가시성이 제한될 수 있다. 객체의 모든 측부들은 멀리서 가시적이도록 큰 바코드들을 보유해야 할 것이며, 그렇지 않으면, 객체는 가까운 범위에서만 그리고 정확한 배향으로만 인식될 수 있다. 이는, 예컨대, 상점에서 선반 상에 있는 객체 상의 바코드가 스캐닝되어야 할 때 문제가 될 수 있다. 전체 장면에 걸쳐 동작할 때, 기법 1은 변할 수 있는 주변 조명에 의존한다.
기법 2: 상향변환 안료들은 그의 작은 양자 수율들로 인한 낮은 수준의 방출된 광 때문에 시야 거리들의 제한들을 갖는다. 그들은 강한 광 프로브들을 요구한다. 그들은 보통 불투명하고, 코팅들에 대한 옵션들을 제한하는 큰 입자들이다. 그들의 사용을 추가로 복잡하게 하는 것은, 형광 및 광 반사와 비교하여 상향변환 응답이 더 느리다는 사실이다. 일부 응용들은 사용되는 화합물에 따른 이러한 고유한 응답 시간을 이용하지만, 이는, 그 센서/객체 시스템에 대한 비행 시간(time of flight) 거리가 미리 알려져 있을 때에만 가능하다. 이는 컴퓨터 비전 응용들에서는 드문 경우이다. 이러한 이유들로 인해, 위조 방지 센서들은 판독을 위한 커버된/어두운 부분들, 프로브들로서의 부류 1 또는 2 레이저들, 및 정확성을 위한 관심 객체까지의 고정되고 제한된 거리를 갖는다.
유사하게, 시야각 의존 안료 시스템들은 가까운 범위에서만 작동하고, 다수의 각도들에서 보는 것을 요구한다. 또한, 색상은 시각적으로 기분 좋은 효과들을 위해 균일하지 않다. 정확한 측정들을 획득하기 위해 입사 광의 스펙트럼이 관리되어야 한다. 단일 이미지/장면 내에서, 각도 의존 색상 코팅을 갖는 객체는 샘플 치수들을 따라 카메라에 가시적인 다수의 색상들을 가질 것이다.
색상 기반 인식들은, 측정된 색상이 주변 조명 조건들에 부분적으로 의존하기 때문에 어렵다. 따라서, 각각의 장면에 대한 기준 샘플들 및/또는 제어된 조명 조건들이 필요하다. 상이한 센서들은 또한 상이한 색상들을 구별하기 위한 상이한 능력들을 가질 것이고, 센서 유형/제조자마다 상이할 것이어서, 각각의 센서에 대한 교정 파일들을 필요로 한다.
주변 조명 하에서의 발광 기반 인식은 객체의 반사성 및 발광성 성분들이 함께 부가되기 때문에 난제인 작업이다. 전형적으로, 발광 기반 인식은 대신에, 어두운 측정 조건 및 발광성 물질의 여기 구역의 선험적 지식을 활용할 것이므로, 정확한 광 프로브/광원이 사용될 수 있다.
기법 3: 전자 태그들, 이를테면 RFID 태그들은 관심 물품/객체에 대한 회로, 집전 장치(power collector), 및 안테나의 부착을 요구하여, 설계에 비용 및 복잡성을 부가한다. RFID 태그들은 존재 여부 유형 정보를 제공하지만, 장면에 걸쳐 많은 센서들이 사용되지 않는 한 정확한 위치 정보를 제공하지는 않는다.
기법 4: 이러한 능동적인 방법들은 관심 객체가 전원에 연결될 것을 요구하며, 이는, 축구공, 셔츠, 또는 파스타 상자와 같은 간단한 물품들에 대해 엄청난 비용이 들고, 따라서 실용적이지 않다.
기법 5: 예측 정확성은 이미지의 품질 및 장면 내의 카메라의 위치에 크게 의존하는데, 그 이유는, 가려짐(occlusion)들, 상이한 시야각들 등이 결과들을 쉽게 변경할 수 있기 때문이다. 로고 유형 이미지들은 장면 내의 다수의 장소들에 존재할 수 있고(즉, 로고는 공, T-셔츠, 모자, 또는 커피 머그잔 상에 있을 수 있음), 객체 인식은 추론에 의한 것이다. 객체의 시각적 파라미터들은 많은 노력을 들여 수학적 파라미터들로 변환되어야 한다. 각각의 가능한 형상이 데이터베이스에 포함되어야 하기 때문에, 그들의 형상이 변경될 수 있는 가요성 객체들이 문제가 된다. 유사하게 형상화된 객체들이 관심 객체로서 오식별될 수 있기 때문에, 항상 고유의 모호성이 존재한다.
기법 6: 훈련 데이터 세트의 품질이 방법의 성공을 결정한다. 인식/분류될 각각의 객체에 대해 많은 훈련 이미지들이 필요하다. 기법 5에 대한 것과 동일한 가려짐 및 가요성 객체 형상 제한들이 적용된다. 수천 개 이상의 이미지들로 각각의 부류의 물질을 훈련할 필요가 있다.
기법 7: 이러한 기법은 장면이 사전 조직화될 때 효과가 있지만, 이는 거의 실용적이지 않다. 관심 객체가 장면을 벗어나거나 완전히 가려지는 경우, 위의 다른 기법들과 결합되지 않는 한 객체는 인식될 수 없다.
총 분류 수는, 개개의 최종 용도 사례에 의해 결정된 요구되는 정확성에 의존한다. 범용적이고 일반화된 시스템들은 더 많은 수의 부류들을 인식하는 능력들을 요구하지만, 3D 위치에 기반하여 인식될 객체들을 클러스터링하여, 3D 위치들이 컴퓨터 비전 시스템 그 자체는 사용하지 않지만 추적을 유지할 수 있는 다른 동적 데이터베이스들을 사용하여 그러한 부류 클러스터들로 동적으로 업데이트될 수 있는 경우, 각각의 장면에서 이용가능한 부류 수를 최소화하는 것이 가능하다. 스마트 홈들, 컴퓨터 비전 가능 상점들, 및 제조 환경들 및 유사한 제어된 환경들은, 컴퓨터 비전 기법들을 넘어서는 그러한 정보를 제공하여 필요한 부류 수를 제한할 수 있다.
이미 존재하는 기법들의 위에 언급된 단점들 외에도, 언급할 가치가 있는 일부 다른 난제들이 존재한다. 먼 거리를 보는 능력, 작은 객체들을 보는 능력 또는 객체들을 충분히 상세히 보는 능력은 모두 고해상도 이미징 시스템들, 즉, 고해상도 카메라, 라이다, 레이더 등을 요구한다. 고해상도 요구들은 연관된 센서 비용들을 증가시키고 처리될 데이터의 양을 증가시킨다.
자율 주행 또는 보안과 같은 즉각적인 응답들을 요구하는 응용들의 경우, 레이턴시는 또 다른 중요한 양상이다. 처리될 필요가 있는 데이터의 양은 에지 또는 클라우드 컴퓨팅이 응용에 적절한지를 결정하며, 후자는 데이터 로드들이 작은 경우에만 가능하다. 에지 컴퓨팅이 과중한 처리와 함께 사용될 때, 시스템들을 동작시키는 디바이스들은 부피가 더 커지고, 사용의 용이성을 그리고 그에 따라 구현을 제한한다.
인식/인증 응용들에서 발광성 물질들을 사용하는 것과 연관된 하나의 난제는, 특히 형광성 물질들의, 시간 경과에 따른 그들의 열화에 대한 우려들이다. 그러한 열화에 대한 2개의 잠재적인 결과가 존재하는데, 즉, 시간 경과에 따라 발광이 줄어들거나, 자외선 방사선, 수분, pH, 및 온도 변화들 등과 같은 환경 조건들에 대한 노출 시 스펙트럼 공간이 편이될 수 있다. UV 흡수제들, 산화방지제들, 캡슐화 기법들 등을 이용하여 그러한 환경 조건들에 대한 그러한 시스템들의 안정화는 가능하지만, 각각의 그러한 접근법과 연관된 제한들이 존재한다.
그에 따라, 특히 위에 언급된 단점들의 관점에서, 컴퓨터 비전 응용들에 대한 객체 인식 능력들을 개선하기에 적합한 시스템들 및 방법들에 대한 필요성이 존재한다.
따라서, 본 개시내용의 목적은, 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하고 적어도 하나의 실측 정보 데이터베이스를 최신으로 유지하기 위한 디바이스 및 방법을 제공하는 것이다.
본 개시내용은, 독립항들의 특징들을 갖는 디바이스 및 방법을 제공한다. 실시예들은 종속항들 및 설명 및 도면들의 대상이다.
따라서, 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하고 적어도 하나의 실측 정보 데이터베이스를 최신으로 유지하기 위한 디바이스가 제공되며, 디바이스는 적어도 다음의 구성요소들, 즉:
a) 상이한 객체들의 색 공간 위치들/좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 저장하도록 구성되는 적어도 하나의 데이터 저장 유닛; 및
b) 데이터 저장 유닛과 통신하도록 프로그래밍되는 프로세서를 포함하는데, 즉, 프로세서는, 데이터 저장 유닛 및 객체 인식 시스템과 통신가능하게 연결되고, 프로세서는 다음을 행하도록 프로그래밍된다:
- 통신 인터페이스를 통해, 상이한 객체들의 색 공간 위치들/좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신하는 것,
- 각각의 수신된 색 공간 위치 및/또는 반사율 및/또는 발광 스펙트럼을 상이한 객체들 중 하나에 태그로서 배정하는 것,
- 색 공간 위치들 및/또는 반사율 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하는 것 ― 색 공간 위치들 및/또는 반사율 및/또는 발광 스펙트럼들이 적어도 하나의 데이터 저장 유닛에 각각 배정됨에 따라 적어도 하나의 실측 정보 데이터베이스를 형성함 ―,
- 둘 모두가 프로세서와 연결되거나 프로세서에 통합되는 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용함으로써, 촉발 이벤트 및/또는 인식 이벤트의 발생에 대해, 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하는 것,
- 필요한 경우, 적어도 하나의 실측 정보 데이터베이스 중 적어도 하나에서, 촉발 및/또는 인식 이벤트가 발생하는 경우에 개개의 적어도 하나의 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 및/또는 발광 스펙트럼들을 동적으로 업데이트 및/또는 보충하는 것,
- 최신 색상 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들에 대한 즉각적인 액세스를 제공하는 것.
하기에서, "촉발 이벤트" 및 "촉발 및/또는 인식 이벤트"라는 용어들은 동의어로 사용된다.
디바이스는, 프로세서와 통신가능하게 연결되고 상이한 객체들의 반사율 스펙트럼들 및/또는 발광 스펙트럼들 및/또는 색 공간 위치들을 결정/측정하도록 구성되는 측정 디바이스, 이를테면, 분광 광도계 및/또는 카메라 기반 측정 디바이스를 더 포함하는 것이 가능하다. 카메라는 다중스펙트럼 및/또는 하이퍼스펙트럼 카메라일 수 있다. 측정 디바이스는 객체 인식 시스템의 구성요소일 수 있다.
모니터링 단계를 위해, 디바이스는, 적어도 하나의 센서, 특히 적어도 하나의 비전 센서, 특히 카메라, 및 인공 지능 툴들을 더 포함할 수 있으며, 이들 둘 모두는 프로세서와 통신가능하게 연결되거나 프로세서에 통합되며, 그에 따라, 프로세서가 촉발 이벤트 및/또는 인식 이벤트를 센서 수단에 의해 검출하고 인공 지능 툴들에 의해 식별하는 것이 가능해진다. 인공 지능 툴들은, 촉발 및/또는 인식 이벤트를 추론하기 위해 센서 수단, 즉, 카메라들, 마이크로폰들, 무선 신호들과 같은 적어도 하나의 센서로부터의 입력을 사용하도록 훈련되고 구성된다. 그에 따라, 프로세서는, 촉발 및/또는 인식 이벤트의 직접적 또는 간접적 결과로서 적어도 하나의 실측 정보 데이터베이스 중 적어도 하나에 부가되거나 그로부터 삭제될 적어도 하나의 객체를 고지하도록 구성된다. 인공 지능 툴들은, 이전에 훈련된 촉발 이벤트들 및/또는 인식 이벤트들 또는 적어도 그들에 관한 기본 정보 및 결론들에 대한 규칙들을 포함하거나 그에 액세스할 수 있다. 인공 지능 툴들 및/또는 센서 수단은 프로세서에 통합될 수 있다. 인공 지능 툴들은 그에 따라서 훈련된 신경망을 통해 실현될 수 있다.
그러한 촉발 및/또는 인식 이벤트는, 장면 내에 위치된 상이한 객체들 중 적어도 일부에 대한 새롭게 측정 및 수신된 개개의 색 공간 위치들/좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들일 수 있으며, 이에 따라, 개개의 객체들의 각각의 객체의 작고 연속적인 변화들이 또한 개개의 적어도 하나의 데이터베이스에서 추적될 수 있다. 추가적인 촉발 이벤트는, 개개의 새로운 색 공간 좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들로 장면에 가시적으로 진입하는 새로운 객체들의 발생일 수 있다. 그러한 색 공간 좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 결정, 특히, 측정되고, 개개의 객체들에 배정될 것이다. 추가적인 촉발 이벤트는, 예컨대, 인공 지능 툴들에 의한, 센서 수단에 의해 수신된 상이한 데이터 세트들의 병합일 수 있다. 센서 수단에 의해 검출될 수 있는 임의의 다른 동작이 촉발 이벤트로서 정의될 수 있다. 센서 수단으로서 기능하는 개개의 수신 유닛에 의해 수신된 신용 카드 거래들, 영수증들, 이메일들, 텍스트 메시지들이 또한 적어도 하나의 실측 정보 데이터베이스의 업데이트를 촉발/야기할 수 있으며, 그에 따라, 개개의 촉발 이벤트들로서의 역할을 한다. 위에서 언급된 센서 수단, 이를테면, 각각 장착된 카메라들이 인에이블링된 주방에서 식료품들의 포장을 푸는 것은, 예컨대, 위에서 언급된 인공 지능 툴들을 사용함으로써, 포장을 푸는 동작을 촉발 이벤트로서 인식하도록 프로세서를 유도할 것이다. 그렇다면, 이는 포장을 푼 물품들을 적어도 하나의 실측 정보 데이터베이스에 부가하는 촉발 이벤트일 것이다. 물품들을 쓰레기 통 또는 재활용 통으로 던지는 것은 유사하게, 적어도 하나의 실측 정보 데이터베이스로부터 물품들을 제거하는 것을 촉발할 것이며, 그에 따라, 개개의 촉발 이벤트로서의 역할을 한다. 식료품 상점 영수증들/거래들은 구매된 물품(객체)들을 적어도 하나의 실측 정보 데이터베이스에 직접 부가할 수 있다. 새로운 가정용 물품의 온라인 주문/확인 이메일은 적어도 하나의 실측 정보 데이터베이스에 물품을 부가하는 촉발 이벤트일 수 있다. (센서 수단으로서) 카메라가 인에이블링된 문을 통해 진입하는 것이 가시적인 새로운 물품(객체)은, 진입을 인식하고 적어도 하나의 실측 정보 데이터베이스에 물품을 부가하도록 프로세서를 유도할 것이다. 유사하게, 문을 통해 나가는 물품(객체)은 적어도 하나의 실측 정보 데이터베이스로부터 그 물품을 제거하는 것을 촉발할 것이다. 쇼핑 목록 물품이 스마트 스피커와 같은 인공 지능(AI) 디바이스 상의 목록에 부가될 때, 그 물품은 적어도 하나의 실측 정보 데이터베이스에 부가될 수 있는데, 즉, 쇼핑 목록 물품의 부가는 촉발 이벤트이다. AI 디바이스는, 촉발 및/또는 인식 이벤트를 검출하고 식별하기에 적합한 하나로 된(all-in-one) 디바이스로서 기능한다.
제안된 디바이스는, 표면 화학/색상 기반 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 제공한다. 본 발명은, 컴퓨터 비전 응용들에서 화학/색 공간 기반 객체 인식 시스템들을 위한 실측 정보 데이터베이스 형성에서의 퇴색 또는 색상 편이와 관련된 문제들을 해결한다. 발광성 또는 색 공간 기반 객체 인식 기법들을 활용하고, 구체적으로, 각각의 객체의 원래 색 공간 위치 및 그의 표준 편차뿐만 아니라 연관된 표준 편차를 갖는 열화 경로 및 주변 공간을 포함하도록 색 공간 규격들을 구체적으로 설계함으로써 관심 객체들에 대한 개개의 태그들로서 사용되는 색 공간 또는 반사성/발광성 스펙트럼들을 관리하는 것이 제안된다. 또한, 제안된 디바이스는, 색상/화학 기반 인식 기법들을 활용하는 컴퓨터 비전 시스템이 인식 성능을 증가시키기 위해 실측 정보 데이터베이스를 동적으로 업데이트하는 데 사용될 수 방식을 설명한다.
추가로, 관심 인식 물품(객체)들에서 색상의 임의의 편이들을 연속적으로 모니터링함으로써 객체 인식 예측들의 정확성을 개선하기 위해 관심 객체들의 3D 위치 클러스터들의 사용을 포함하는 것이 가능하다.
본 개시내용의 범위 내에서, "형광성" 및 "발광성"이라는 용어들은 동의어로 사용된다. "형광" 및 "발광"이라는 용어들에 대해서도 마찬가지이다.
하나의 추가적인 실시예에 따르면, 제안된 디바이스는, 적어도 하나의 실측 정보 데이터베이스로서 마스터 데이터베이스 및 로컬 데이터베이스를 제공하도록 프로그래밍되는 프로세서를 포함하며, 로컬 데이터베이스는 마스터 데이터베이스와 결합되는데, 즉, 통신가능하게 연결된다. 추가로, 로컬 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들은, 객체 인식 시스템으로부터 장면 내의 상이한 객체들에 대한 재측정된 개개의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신함으로써 시간 경과에 따라 업데이트 및/또는 보충되며, 그에 따라, 개개의 객체들의 작고 연속적인 변화들이 적어도 로컬 데이터베이스에서 추적된다.
구체적으로, 로컬 데이터베이스는 장면에서 로컬로 또는 클라우드 서버 상에 저장되며, 로컬 데이터베이스는 장면에서 로컬로 사용되는 객체 인식 시스템에 대해서만 액세스가능하다. 마스터 데이터베이스는, 제안된 디바이스에 의해 형성된 실측 정보 데이터베이스들 중 임의의 실측 정보 데이터베이스를 사용하도록 가입한, 즉, 가입에 의해 그 데이터베이스들을 사용하도록 권한부여된 모든 객체 인식 시스템들에 대해 액세스가능하다.
하나의 추가적인 실시예에 따르면, 디바이스는, 개개의 객체들의 형광 방출 크기 및/또는 형광 방출 스펙트럼 형상들의 변화들을 모니터링함으로써 개개의 객체들의 작고 연속적인 변화들을 추적하도록 프로그래밍되는 프로세서를 포함한다.
디바이스는, 객체가 장면에서 새롭고(장면에 새로 진입함) 로컬로 사용되는 객체 인식 시스템에 의해 측정된 새로운 객체의 색 공간 위치 및/또는 반사성 및 발광 스펙트럼이 마스터 데이터베이스에 저장된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼과 매칭될 수 있을 때, 마스터 데이터베이스를 사용함으로써 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼에 의해 로컬 데이터베이스를 보충하도록 프로그래밍되는 프로세서를 더 포함한다.
디바이스는, 미리 정의된 시간 간격들 내에 또는 다수의 미리 정의된 이벤트들 중 하나가 발생할 때 장면 내의 상이한 객체들에 관해 마스터 데이터베이스와 로컬 데이터베이스를 동기화하도록 프로그래밍되는 프로세서를 더 포함한다. 마스터 데이터베이스는, 설정된 간격으로, 마스터 데이터베이스가 업데이트되거나 개선되는 비-설정된 간격으로, 또는 로컬 데이터베이스가 인식되지 않은 객체, 새로운 객체 구매 검출 등과 같은 촉발 이벤트를 경험할 때 로컬 데이터베이스와 동기화할 수 있다.
적어도 로컬 데이터베이스를 업데이트하기 위한 추가적인 촉발 및/또는 인식 이벤트들은 "사용 종료" 인식 이벤트들에 의해 정의된다. 그러한 "사용 종료" 인식 이벤트들의 발생은, 개개의 로컬 데이터베이스로부터의 개개의 객체들의 즉각적인 제거로 이어져, 로컬 데이터베이스 효율이 증가된다. 그러한 "사용 종료" 인식 이벤트들은, 재활용, 폐기, 소모, 또는 인식될 개개의 객체에 적절한 다른 사용 종료 정의들로서 열거될 수 있다. 보통, 자신의 배정된 태그가 있는 객체는 로컬 데이터베이스로부터만 제거되고 마스터 데이터베이스에서는 유지된다. 자신의 설계된 태그가 있는 객체를 마스터 데이터베이스로부터 제거하는 하나의 이유는, 모든 사용자들에 대해 그를 인식하는 능력을 제거하기 위한 것이다.
추가로, 객체들의 레지스트리를 개개의 로컬 데이터베이스에 촉발하기 위해, 개시 인식 이벤트들이, 그러한 개시 인식 이벤트들 중 임의의 개시 인식 이벤트가 발생할 때 그에 따라서 개개의 로컬 데이터베이스를 업데이트하기 위한 개개의 촉발 및/또는 인식 이벤트들로서 정의된다. 그러한 개시 인식 이벤트들은, 포장을 푸는 것, 장면 또는 (센서의) 시야 내로의 진입, (장면을 벗어나는) 체크 아웃 이벤트, 제조 품질 제어, 색상 매칭 측정들 등으로서 열거될 수 있다. 예컨대, 사용자 또는 다른 자동화된 시스템은, 객체가 처음 취득될 때 로컬 데이터베이스에 그 객체를 부가함으로써 그 객체를 "개시"할 수 있다. 유사하게, 객체는, 자신의 유효 수명의 끝에서 처분될 때 로컬 데이터베이스로부터 그를 제거함으로써 "퇴거"될 수 있다. 대안적으로 또는 부가적으로, 재활용 통, 쓰레기 통, 또는 효율적인 처리를 위한 재활용품들 및/또는 상이한 유형들의 폐기물의 분류/분리와 같은 향후의 작업들에서 사용될 수 있는 다른 물리적 공간에 폐기되는 객체들의 색상 위치들을 추적하기 위해 다른 데이터베이스가 형성될 수 있다.
본 발명의 추가적인 실시예에 따르면, 마스터 데이터베이스는, 상이한 객체들 각각에 대해, 원래의 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼, 및 원래의 객체로부터 파생되는 적어도 하나의 열화된/노화된 객체의 적어도 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 포함한다.
객체에는, 다양한 방법들로 발광성 물질들, 특히 형광성 물질들이 부여, 즉, 제공될 수 있다. 형광성 물질들은 방법들, 이를테면, 분무 코팅, 딥 코팅, 코일 코팅, 롤-투-롤 코팅, 및 다른 것들을 통해 적용될 수 있는 코팅에서 분산될 수 있다. 형광성 물질은 객체 상에 인쇄될 수 있다. 형광성 물질은 객체 내로 분산되고 압출, 성형, 또는 주조될 수 있다. 일부 물질들 및 객체들은 자연적으로 형광성이고, 제안된 시스템 및/또는 방법을 이용하여 인식될 수 있다. 일부 생물학적 물질들(채소들, 과일들, 박테리아, 조직, 단백질들 등)은 형광성이 되도록 유전자적으로 공학처리될 수 있다. 일부 객체들은 본원에 언급된 방식들중 임의의 방식으로의 형광성 단백질들의 부가에 의해 형광성이 될 수 있다. 상이한 객체들의 색상 위치들 및/또는 반사율 및 형광 스펙트럼들은 적어도 하나의 카메라 및/또는 적어도 하나의 분광 광도계 또는 이들의 조합에 의해 측정될 수 있고, 적어도 하나의 실측 정보 데이터베이스를 형성하기 위해 프로세서에 제공될 수 있다.
많은 형광성 및 반사성 물질들은, 광(특히 자외선) 또는 산소에 대한 노출에 따른 시간 경과에 따라 열화된다. 이러한 물질들 중 대부분은 그들의 형광 방출의 크기가 감소되지만, 일부는 그들의 형광 방출 스펙트럼 형상들, 즉, 그들의 형광 스펙트럼들의 변화들을 겪을 수 있다. 제1 경우에, 더 적은 양들의 형광 방출 양들을 측정하는 어려움을 넘어서, 상이한 열화율들을 갖는 다수의 형광성 물질들이 장면 내에 존재하는 경우, 데이터베이스에서 알려진 형광 스펙트럼을 매칭하는 것의 어려움들이 발생할 수 있다. 제2 경우에, 변경된 형광 스펙트럼을 원래의 스펙트럼들의 데이터베이스와 매칭하는 것의 문제가 명백하다. 따라서, 마스터 데이터베이스가, 각각의 원래의 객체에 대해 적어도, 원래의 객체로부터 파생되는 적어도 하나의 열화된/노화된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 포함하는 것이 제안된다.
본 발명은, 마스터 데이터베이스와 결합된(통신가능하게 연결된) 로컬 데이터베이스를 포함하는 것을 제안한다. 장면 내의 새로운 객체는 처음에, 객체가 열화되지 않은 스펙트럼을 갖는다는 가정 하에서 마스터 데이터베이스로 분류될 것이다. 일단 검출되면, 객체는 향후의 더 신속한 식별을 위해 로컬 데이터베이스에 포함될 수 있다. 부가적으로, 객체 인식 시스템에 의해 측정된 객체의 스펙트럼들은 시간 경과에 따라 업데이트될 수 있으며, 이에 따라, 객체의 작고 연속적인 변화들이 로컬 데이터베이스에서 추적된다. 객체의 유효 수명의 끝(사용 종료 인식 이벤트)에서, 객체의 현재 방출 스펙트럼들이 마스터 데이터베이스에 있는 다른 객체의 원래의 방출 스펙트럼들과 (그 동안에) 더 양호하게 매칭함에도 불구하고, 객체가 로컬 데이터베이스에 의해 올바르게 식별될 수 있다.
객체가 항상 센서의 시야 내에 있을 필요는 없다. 예컨대, 센서는, 객체가 처음 식별된 주방 식료품 저장소에 위치될 수 있다. 객체는 일정 시간 기간(즉, 석식 준비) 동안 제거된 다음 교체될 수 있다. 객체는, 객체가 센서의 시야 밖에 있는 동안 로컬 데이터베이스로부터 제거되지 않을 것이므로, 복귀될 때 여전히 인식될 것이다. 객체는, 미리 정의된 시간 기간 동안 객체가 (센서의 시야에서 벗어나) 장면에 없을 때에만 로컬 데이터베이스로부터 제거될 것이다. 그러한 시간 기간은 보통의 습관들과 관련하여 정의될 수 있다.
로컬 데이터베이스가 로컬로 저장될 필요는 없고, 로컬 디바이스는 여전히 클라우드 기반일 수 있지만, 로컬 장면, 즉, 로컬로 사용되는 객체 인식 시스템만이 그에 액세스할 수 있을 것임이 언급되어야 한다. 다양한 위치들/영역들에 다수의 로컬 데이터베이스들이 존재할 수 있고, 이러한 로컬 데이터베이스들은 일부 경우들에서 겹칠 수 있다.
위에 언급된 바와 같이, 제안된 디바이스의 다른 가능한 실시예는, 마스터 데이터베이스가 개개의 객체들의 노화된/포함된 샘플들을 포함하는 것이다. 마스터 데이터베이스는 먼저 개개의 객체들의 원래의 샘플들과 매칭할 것이다. 그러나, 시간 경과에 따라, 마스터 데이터베이스는 관측된 객체들과 비슷한 나이인 노화된/열화된 샘플들과 비교할 것이다. 따라서, 로컬 데이터베이스와 마스터 데이터베이스 사이의 교환이 필요하다.
위에 언급된 구성요소들 중 임의의 구성요소 사이, 이를테면, 프로세서와 데이터 저장 유닛 사이, 프로세서와 객체 인식 시스템 사이, 프로세서와 측정 디바이스 사이, 프로세서와 센서 수단 사이, 및 로컬 데이터베이스와 마스터 데이터베이스 사이의 각각의 통신가능한 연결은 유선 또는 무선 연결일 수 있다. 각각의 적합한 통신 기술이 사용될 수 있다. 개개의 구성요소, 이를테면, 로컬 데이터베이스 및 마스터 데이터베이스 각각은 서로 통신하기 위한 하나 이상의 통신 인터페이스를 포함할 수 있다. 그러한 통신은, 유선 데이터 송신 프로토콜, 이를테면, 광섬유 분산 데이터 인터페이스(FDDI), 디지털 가입자 회선(DSL), 이더넷, 비동기 전송 모드(ATM), 또는 임의의 다른 유선 송신 프로토콜을 사용하여 실행될 수 있다. 대안적으로, 통신은, 다양한 프로토콜들, 이를테면, 일반 패킷 라디오 서비스(GPRS), 범용 모바일 원격통신 시스템(UMTS), 코드 분할 다중 액세스(CDMA), 롱 텀 에볼루션(LTE; Long Term Evolution), 무선 범용 직렬 버스(USB), 및/또는 임의의 다른 무선 프로토콜 중 임의의 프로토콜을 사용하여 무선 통신 네트워크들을 통해 무선으로 이루어질 수 있다. 개개의 통신은 무선 및 유선 통신의 조합일 수 있다.
장면에서 관측된 스펙트럼과 로컬 데이터베이스 및/또는 마스터 데이터베이스에 있는 스펙트럼 사이의 그러한 매칭 알고리즘을 실현하기 위해, 신뢰 임계치 및 오차 임계치들이 요구된다. 예컨대, 장면에서 관측된 스펙트럼과 로컬 데이터베이스 및/또는 마스터 데이터베이스에 있는 스펙트럼 사이의 매치는, 측정된 스펙트럼과 연관된 객체의 식별을 가능하게 하기 위해서는 신뢰 임계치를 충족시켜야 한다. 그러나, 하나의 동일한 객체에 대한 측정된/관측된 스펙트럼과 배정된/저장된 스펙트럼 사이에 약간의 오차가 여전히 존재할 수 있다. 이러한 오차가 오차 임계치보다 큰 경우, 로컬 데이터베이스 및/또는 마스터 데이터베이스에 있는 스펙트럼들은 업데이트될 필요가 있을 수 있다.
프로세서와 결합된 사용자 인터페이스를 통해 (로컬 데이터베이스 및/또는 마스터 데이터베이스에서) 가능한 객체 인식들/식별들로부터 선택할 것을 사용자에게 요청함으로써 디바이스에 다른 개선들이 부가될 수도 있다. 사용자 인터페이스는, 입력 및 출력 디바이스, 예컨대, 그래픽 사용자 인터페이스 또는 음향 인터페이스에 의해 실현될 수 있다. 개개의 질의들을 표시하기 위한 디스플레이가 존재할 수 있다. 대안적으로, 라우드스피커가, 가능한 식별들 중 하나 이상을 선택할 것을 사용자가 요청받는 임의의 선택을 출력할 수 있다. 개개의 사용자 입력은 GUI 및/또는 마이크로폰을 통해 실현될 수 있다. 사용자 피드백은, 데이터베이스 내에서의, 특히, 로컬 데이터베이스 내에서의 향후의 식별들의 정확성을 개선하는 데 사용된다. 대안적으로, 디바이스는, 특정 선택된 식별이 올바른지를 사용자 인터페이스를 통해 사용자에게 문의하고, 피드백을 사용하여 로컬 데이터베이스에 대한 향후의 식별들을 개선할 수 있다.
본 개시내용은 추가로, 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하고 적어도 하나의 실측 정보 데이터베이스를 최신으로 유지하기 위한, 컴퓨터에 의해 구현되는 방법을 언급하며, 방법은 적어도 다음의 단계들을 포함한다:
- 통신 인터페이스를 통해, 예컨대 적어도 하나의 분광 광도계에 의해, 상이한 객체들의 색 공간 위치들/좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 제공하는 단계,
- 프로세서에 의해, 각각의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 상이한 객체들 중 하나에 태그로서 배정하는 단계,
- 프로세서에 의해, 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하는 단계 ― 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 데이터 저장 유닛에 각각 배정됨에 따라 적어도 하나의 실측 정보 데이터베이스를 형성함 ―,
- 둘 모두가 프로세서와 통신가능하게 연결되는 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용함으로써, 촉발 및/또는 인식 이벤트의 발생에 대해, 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하는 단계,
- 프로세서에 의해, 필요한 경우, 적어도 하나의 데이터베이스 중 적어도 하나에서, 촉발 및/또는 인식 이벤트가 발생하는 경우에 적어도 하나의 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 동적으로 업데이트 및/또는 보충함에 따라 적어도 하나의 데이터베이스 중 적어도 하나에서 개개의 객체들의 작고 연속적인 변화들을 추적하는 단계, 및
- 최신 색상 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들에 대한 즉각적인 액세스를 제공하는 단계.
제안된 방법은, 적어도 하나의 분광 광도계에 의해, 상이한 객체들의 색 공간 위치들/좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 측정하는 단계를 더 포함할 수 있다. 적어도 하나의 분광 광도계는 객체 인식 시스템의 구성요소일 수 있다. 추가로, 제안된 방법은, 상이한 객체들에 형광성 물질들을 각각 제공하는 단계를 포함할 수 있다.
촉발 및/또는 인식 이벤트는, 장면에 가시적으로 진입하는 하나 이상의 새로운 객체에 의해 그리고/또는 객체 인식 시스템에 의해 재측정된 장면에 위치된 상이한 객체들 중 하나 이상에 대한 변경된 개개의 색 공간 위치들 및/또는 스펙트럼들에 의해 실현될 수 있다.
모니터링 단계를 위해, 센서 수단, 특히 카메라, 및 인공 지능 툴들이 제공될 수 있으며, 센서 수단 및 인공 지능 툴들 둘 모두는 프로세서와 통신가능하게 연결되거나 프로세서에 통합되며, 그에 따라, 프로세서가 촉발 이벤트를 센서 수단에 의해 검출하고 개개의 인공 지능 툴들에 의해 식별하는 것이 가능해진다. 인공 지능 툴들은, 촉발 및/또는 인식 이벤트를 추론하기 위해 센서 수단, 이를테면, 카메라들, 마이크로폰들, 무선 신호들로부터의 입력을 사용하도록 훈련되고 구성된다. 그에 따라, 프로세서는, 촉발 및/또는 인식 이벤트의 직접적 또는 간접적 결과로서 적어도 하나의 실측 정보 데이터베이스 중 적어도 하나에 부가되거나 그로부터 삭제될 적어도 하나의 객체를 고지하도록 구성된다. 인공 지능 툴들은, 이전에 훈련된 촉발 및/또는 인식 이벤트들 또는 적어도 그들에 관한 기본 정보 및 결론들에 대한 규칙들을 포함하거나 그에 액세스할 수 있다. 인공 지능 툴들 및/또는 센서 수단은 프로세서에 통합될 수 있다. 인공 지능 툴들은 그에 따라서 훈련된 신경망을 통해 실현될 수 있다.
제안된 방법의 실시예에 따르면, 방법은, 적어도 하나의 실측 정보 데이터베이스로서 마스터 데이터베이스 및 로컬 데이터베이스를 제공하는 단계를 더 포함하며, 로컬 데이터베이스는 마스터 데이터베이스와 결합(통신가능하게 연결)된다. 로컬 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들은, 객체 인식 시스템에 의해, 장면 내의 상이한 객체들에 대한 개개의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 재측정함으로써, 또는 장면에 진입하는 새로운 객체들에 대해 장면을 모니터링함으로써, 또는 추가적인 촉발 및/또는 인식 이벤트의 발생을 인식함으로써 시간 경과에 따라 업데이트 및/또는 보충되며, 그에 따라, 장면에서의 작고 연속적인 변화들이 적어도 로컬 데이터베이스에서 추적된다.
로컬 데이터베이스는 장면에서 로컬로 또는 클라우드 서버 상에 저장될 수 있으며, 로컬 데이터베이스는 장면에서 로컬로 사용되는 객체 인식 시스템에 대해서만 액세스가능하다.
제안된 방법의 추가적인 실시예에 따르면, 개개의 객체들의 작고 연속적인 변화들은, 개개의 객체들의 형광 스펙트럼의 형광 방출 크기/진폭 및/또는 형광 방출 스펙트럼 형상의 변화들을 모니터링함으로써 추적된다.
로컬 데이터베이스는, 객체가 장면에서 새롭고 로컬로 사용되는 객체 인식 시스템에 의해 측정된 새로운 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼이 마스터 데이터베이스에 저장된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼과 매칭될 수 있을 때, 마스터 데이터베이스를 사용함으로써 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼에 의해 보충될 수 있다.
마스터 데이터베이스 및 로컬 데이터베이스는, 미리 정의된 시간 간격들 내에 또는 다수의 미리 정의된 이벤트들 중 적어도 하나가 발생할 때 장면 내의 상이한 객체들에 관해 동기화된다. 업데이트들을 위한 그러한 시간 간격들은 객체에 따라 수 시간, 수 일, 수 주, 또는 수 개월일 수 있다.
마스터 데이터베이스는, 상이한 객체들 각각에 대해, 원래의 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼, 및 원래의 객체로부터 파생되는 적어도 하나의 열화된/노화된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 포함한다.
본 개시내용은 추가로, 명령어들을 저장하는 비-일시적인 컴퓨터 판독가능 매체를 언급하며, 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 기계로 하여금:
- 통신 인터페이스를 통해, 상이한 객체들의 색 공간 위치들/좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신하게 하고,
- 각각의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 상이한 객체들 중 하나에 태그로서 배정하게 하고,
- 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하게 하고 ― 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 데이터 저장 유닛에 각각 배정됨에 따라 적어도 하나의 실측 정보 데이터베이스를 형성함 ―,
- 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용함으로써, 촉발 및/또는 인식 이벤트의 발생에 대해, 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하게 하고,
- 필요한 경우, 적어도 하나의 데이터베이스 중 적어도 하나에서, 촉발 및/또는 인식 이벤트가 발생하는 경우에 적어도 하나의 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 동적으로 업데이트 및/또는 보충함에 따라 적어도 하나의 데이터베이스 중 적어도 하나에서 장면에서의 작고 연속적인 변화들을 추적하게 하고,
- 최신 색상 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들에 대한 즉각적인 액세스를 제공하게 한다.
그러한 촉발 및/또는 인식 이벤트는, 장면에 가시적으로 진입하는 새로운 객체들에 의해 그리고/또는 장면 내에 위치된 상이한 객체들에 대한 개개의 재측정된 색상 위치들 및/또는 스펙트럼들을 수신함으로써 주어질 수 있다.
추가로, 하나 이상의 프로세서에 의해 실행가능한 명령어들을 갖는 개개의 컴퓨터 프로그램 제품이 제공되며, 명령어들은 기계로 하여금 위에 언급된 방법 단계들을 수행하게 한다.
프로세서는, 하나 이상의 입력 유닛, 이를테면, 터치 스크린, 오디오 입력, 움직임 입력, 마우스, 키패드 입력 등을 포함할 수 있거나 그와 통신할 수 있는데, 즉, 통신가능하게 연결될 수 있다. 추가로, 프로세서는, 하나 이상의 출력 유닛, 이를테면, 오디오 출력, 비디오 출력, 스크린/디스플레이 출력 등을 포함할 수 있거나 그와 통신할 수 있다.
본 발명의 실시예들은, 독립형 유닛이거나 예컨대, 인터넷 또는 인트라넷과 같은 네트워크를 통해, 예컨대 클라우드에 위치된 중앙 컴퓨터와 통신하는 하나 이상의 원격 단말기 또는 디바이스를 포함할 수 있는 컴퓨터 시스템과 함께 사용되거나 그에 통합될 수 있다. 그러므로, 본원에 설명된 데이터 처리 유닛/프로세서 및 관련된 구성요소들은 로컬 컴퓨터 시스템 또는 원격 컴퓨터 또는 온라인 시스템 또는 이들의 조합의 일부분일 수 있다. 데이터베이스, 즉, 본원에 설명된 데이터 저장 유닛 및 소프트웨어는 컴퓨터 내부 메모리에 또는 비-일시적인 컴퓨터 판독가능 매체에 저장될 수 있다.
본 발명은 다음의 예들에서 추가로 정의된다. 이러한 예들은, 본 발명의 바람직한 실시예들을 나타냄으로써, 단지 예시로서 주어진다는 것이 이해되어야 한다. 위의 논의 및 예들로부터, 관련 기술분야의 통상의 기술자는 본 발명의 본질적인 특성들을 확인할 수 있고, 본 발명의 사상 및 범위로부터 벗어나지 않으면서, 다양한 용도들 및 조건들에 본 발명을 적응시키도록 본 발명의 다양한 변경들 및 수정들을 행할 수 있다.
도 1은 제안된 디바이스 및/또는 제안된 방법의 일 실시예를 사용하여 형성되고 업데이트되는 적어도 하나의 실측 정보 데이터베이스를 사용하는 객체 인식을 위한 방법의 흐름도를 개략적으로 도시한다.
도 2는 제안된 컴퓨터 판독가능 매체의 실시예의 명령어들의 흐름도를 개략적으로 도시한다.
도 2는 제안된 컴퓨터 판독가능 매체의 실시예의 명령어들의 흐름도를 개략적으로 도시한다.
도 1은 본 개시내용에 의해 제안된 방법의 실시예를 사용하여 형성되고 최신으로 유지되는 실측 정보 데이터베이스를 사용하여 장면 내의 객체를 객체 인식 시스템을 통해 인식하기 위한 방법의 흐름도를 개략적으로 도시한다.
본원에 설명된 예에서, 센서, 예컨대, 분광 광도계를 통해 장면 내에 존재하는 객체들의 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 감지/측정하고, 측정된 형광 스펙트럼에 의해, 객체 인식 시스템에 의해 액세스될 수 있는 개개의 실측 정보 데이터베이스에 태그로서 특정 형광 스펙트럼이 저장된 특정 객체를 식별함으로써 장면 내의 객체들을 인식하는 데 사용되는 객체 인식 시스템이 제공된다.
장면 내의 객체들을 인식하는 데 사용되는 객체 인식 시스템은, 적어도 데이터 저장 유닛에 저장된 로컬 데이터베이스에 액세스할 수 있으며, 로컬 데이터베이스는 개개의 장면 내에 로컬로 위치하거나 위치해 있던 객체들의 형광 스펙트럼들을 저장한다. 그러한 로컬 데이터베이스 외에도, 데이터 저장 유닛은 또한, 로컬 데이터베이스와 통신가능하게 연결되지만 로컬로만 측정된 객체들보다 많은 객체들의 형광 스펙트럼들을 저장하는 마스터 데이터베이스를 호스팅할 수 있다. 따라서, 마스터 데이터베이스는, 단지 장면에서 로컬로 객체들을 인식하기 위해 로컬로 사용되는 객체 인식 시스템보다 많은 객체 인식 시스템에 대해 액세스가능하다. 마스터 데이터베이스는 또한, 로컬 데이터베이스를 저장하는 데이터 저장 유닛과 통신가능하게 연결되는 추가적인 데이터 저장 유닛에 저장될 수 있다.
로컬 데이터베이스를 저장하는 데이터 저장 유닛뿐만 아니라 마스터 데이터베이스를 저장하는 데이터 저장 유닛은, 단일 독립형 서버들에 의해 그리고/또는 클라우드 서버에 의해 실현될 수 있다. 로컬 데이터베이스뿐만 아니라 마스터 데이터베이스 둘 모두는 클라우드에 저장될 수 있다.
객체 인식 시스템을 위한 로컬 데이터베이스 및 마스터 데이터베이스를 또한 형성하고 로컬 데이터베이스 및 마스터 데이터베이스를 최신으로 유지하기 위한 제안된 디바이스는, 이미 언급된 적어도 하나의 데이터 저장 유닛 외에도, 데이터 저장 유닛 및 객체 인식 시스템과의 통신하도록 프로그래밍되는 프로세서를 포함한다. 프로세서는 다음을 행하도록 프로그래밍된다:
- 통신 인터페이스를 통해, 상이한 객체들의 색 공간 위치들/좌표들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신하는 것,
- 각각의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 상이한 객체들 중 하나에 태그로서 배정하는 것,
- 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하는 것 ― 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 데이터 저장 유닛에 각각 배정됨에 따라 적어도 하나의 실측 정보 데이터베이스, 즉, 로컬 데이터베이스 및/또는 마스터 데이터베이스를 형성함 ―,
- 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용함으로써, 촉발 및/또는 인식 이벤트의 발생에 대해, 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하는 것,
- 촉발 및/또는 인식 이벤트의 발생에 대해 장면을 연속적으로 모니터링함에 따라 개개의 데이터베이스에 있는 장면 내의 작고 연속적인 변화들을 추적함으로써, 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 로컬 데이터베이스 및 마스터 데이터베이스 중 적어도 하나에서 동적으로 업데이트 및/또는 보충하는 것.
그러한 방법 단계들은, 도 2에 도시된 바와 같은 명령어들을 포함하는 제안된 비-일시적인 컴퓨터 판독가능 매체의 실시예가 사용/로딩될 때 프로세서에 의해 실행될 수 있다.
촉발 및/또는 인식 이벤트는 장면에 진입하는 새로운 객체일 수 있으며, 그에 따라, 장면 내의 새로운 반사율 스펙트럼 및/또는 발광 스펙트럼의 측정을 유발/개시할 수 있다. 장면 내에 이미 존재했지만 시간 경과에 따라 열화된 객체들의 새롭게 측정된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신함으로써 추가적인 촉발 및/또는 인식 이벤트가 주어질 수 있다.
단계(101)에서, 장면 내의 객체들을 인식하기 위해 로컬로 사용되는 객체 인식 시스템에 의해 반사율 스펙트럼 및 형광 스펙트럼이 감지/측정된다. 객체 인식 시스템은, 예컨대, 인식/식별될 객체에 대한 특정 형광 스펙트럼을 제공한다. 따라서, 지금까지 장면에서 식별된 모든 객체들의 형광 스펙트럼들을 저장하는 로컬 데이터베이스가 매칭하는 형광 스펙트럼에 대해 검색된다. 방법 단계(102)에서 매치가 발견되는 경우에, 식별된 형광 스펙트럼이 저장된 형광 스펙트럼으로부터 벗어나지만 여전히 신뢰 임계치를 충족시켜 측정된 형광 스펙트럼에 기반한 식별을 가능하게 하기 때문에, 로컬 데이터베이스에서 발견된 스펙트럼이 업데이트될 필요가 있는지 여부가 추가로 검사된다. 일반적으로, 로컬 데이터베이스를 구현하기 위해, 신뢰 임계치들 및 오차 임계치들이 요구된다. 예컨대, 장면에서 관측된 형광 스펙트럼과 로컬 데이터베이스에 있는 형광 스펙트럼 사이의 매치는 식별을 가능하게 하기 위해 신뢰 임계치를 충족시켜야 한다. 그러나, 관측된 형광 스펙트럼과 배정된 형광 스펙트럼 사이에 여전히 약간의 오차가 존재할 수 있다. 이러한 오차가 화살표(103)로 표시된 바와 같이 오차 임계치보다 큰 경우, 단계(104)에서, 로컬 데이터베이스에 있는 저장된 형광 스펙트럼이 업데이트된다. 단계(105)에서, 관측된 형광 스펙트럼 및 로컬 데이터베이스에 저장된 형광 스펙트럼이 오차 임계치를 충족시킨다고 언급되는 경우, 단계(106)에서, 객체는, 로컬 데이터베이스를 업데이트함이 없이 식별된다. 단계(107)에서, 측정된 형광 스펙트럼에 대해 로컬 데이터베이스에서 어떠한 매칭 결과도 발견되지 않은 경우, 단계(108)에서, 감지된/측정된 형광 스펙트럼과 매칭하는 형광 스펙트럼에 대해 마스터 데이터베이스가 검색된다. 단계(109)에서, 매치가 마스터 데이터베이스에서 발견되는 경우, 단계(110)에서, 객체는 식별될 수 있고, 식별된 객체의 매칭하는 형광 스펙트럼이 자신의 배정된 객체와 함께 로컬 데이터베이스에 부가되어, 개개의 객체가 장면에 현재 위치되어 있음을 표시하며, 그에 따라, 개개의 장면에 배정될 수 있는 로컬 데이터베이스가 그에 따라서 업데이트된다. 단계(111)에서, 마스터 데이터베이스에서 어떠한 매치도 발견될 수 없는 경우, 단계(112)에서, 어떠한 매치도 검출될 수 없고 어떠한 객체도 인식될 수 없다고 언급될 것이다.
추가로, 출력 유닛, 이를테면 디스플레이를 통해, 가능한 객체들의 선택을 출력하고, 사용자에게, 사용자 인터페이스, 이를테면 터치 스크린을 통해 로컬 데이터베이스 또는 마스터 데이터베이스에 있는 가능한 객체 식별들의 그러한 선택으로부터 선택할 것을 요청하고, 사용자 피드백을 사용하여 로컬 데이터베이스 내에서의 향후의 식별들의 정확성을 개선하는 것이 가능하다. 그것은, 객체 인식 시스템이 또한 사용자 피드백에 의해 동적으로 훈련됨에 따라 예측이 동적으로 개선될 수 있다는 것을 의미한다. 또한, 식별이 올바른지를 통신 인터페이스를 통해 사용자에게 문의하고 피드백을 사용하여 로컬 데이터베이스 내에서의 향후의 식별들을 개선하는 것이 가능하다. 부가적으로, 로컬 데이터베이스 또는 마스터 데이터베이스 중 어느 것에서도 어떠한 매치도 발견될 수 없는 경우, 객체는 사용자에 의해 수동으로 식별되어야 하고, 이어서, 그의 새롭게 측정된 형광 스펙트럼이 개개의 객체와 함께 로컬 데이터베이스 및 마스터 데이터베이스 둘 모두에 저장될 수 있다. 사용자뿐만 아니라 다른 자동화된 시스템이 또한, 객체가 처음 취득될 때 로컬 데이터베이스에 그 객체를 부가함으로써 그러한 객체를 "개시"할 수 있다. 유사하게, 객체는, 자신의 유효 수명의 끝에서 처분될 때 로컬 데이터베이스로부터(그리고 또한, 필요한 경우 마스터 데이터베이스로부터) 그를 제거함으로써 "퇴거"될 수 있다.
특정 객체의 형광 스펙트럼의 예를 사용하여 객체 인식 절차가 설명되었으며, 개개의 실측 정보 데이터베이스들이 객체들의 반사율 스펙트럼들 및/또는 색상 좌표들을 포함한다면, 인식될 객체의 반사율 스펙트럼 및/또는 색상 좌표들을 사용하여 동일한 절차가 수행될 수 있다.
일반적으로, 객체 인식 시스템은, 변별적 형광 방출 및 반사성 스펙트럼들을 객체 식별 방법으로서 사용함으로써 동작할 수 있다. 이는, 알려져 있지 않은 객체가 비교되는 알려져 있거나 측정된 형광 스펙트럼들 및/또는 반사율 스펙트럼들의 데이터베이스를 갖고 개개의 데이터베이스로부터 가장 양호한 매치를 선택하는 것을 필요로 한다. 본 개시내용은, 객체 인식을 위해 사용되는 많은 형광성 및/또는 반사성 물질들이 광 또는 산소에 대한 노출에 따른 시간 경과에 따라 열화되는 것을 고려한다. 이러한 물질들 중 대부분은 그들의 형광 방출의 크기가 감소되지만, 일부는 그들의 형광 방출 스펙트럼 형상들, 즉, 그들의 형광 스펙트럼들의 변화들을 겪을 수 있다. 본 개시내용은 이제, 마스터 데이터베이스와 결합된 로컬 데이터베이스를 포함하는 것을 제안한다. 장면에 진입하는 새로운 객체는 처음에, 객체가 열화되지 않은 반사율 스펙트럼 및/또는 발광 스펙트럼을 갖는다는 가정 하에서 마스터 데이터베이스로 분류될 것이다. 일단 검출되면, 객체는 향후의 더 신속한 식별을 위해 로컬 데이터베이스에 포함될 수 있다. 로컬 데이터베이스는 개개의 장면에서 로컬로 사용되는 객체 인식 시스템에 의해서만 액세스가능하다. 부가적으로, 객체 인식 시스템에 의해 측정된 객체의 형광 스펙트럼들 및 반사율 스펙트럼들은 시간 경과에 따라 업데이트될 수 있으며, 이에 따라, 객체의 작고 연속적인 변화들이 로컬 데이터베이스에서 추적된다. 객체의 유효 수명의 끝에서, 객체의 현재 방출 스펙트럼들이 마스터 데이터베이스에 있는 다른 객체의 원래의 방출 스펙트럼들과 더 양호하게 매칭함에도 불구하고, 객체가 로컬 데이터베이스에 의해 올바르게 식별될 수 있다. 신뢰 임계치들 및 오차 임계치들이 정의된다. 장면에서 관측된 스펙트럼과 로컬 데이터베이스에 있는 스펙트럼 사이의 매치는 식별을 가능하게 하기 위해 신뢰 임계치를 충족시켜야 한다. 그러나, 시간 경과에 따른 기본 형광성 및 반사성 물질의 가능한 열화로 인해, 관측되고 배정된 반사율 스펙트럼 및/또는 형광 스펙트럼 사이에 여전히 약간의 오차가 존재할 수 있다. 이러한 오차가 오차 임계치보다 큰 경우, 로컬 데이터베이스에 있는 객체의 개개의 스펙트럼이 업데이트될 필요가 있을 수 있으며, 그에 따라, 로컬 데이터베이스에 있는 객체의 연속적으로 작은 변화들이 확인된다. 이는, 객체의 형광성 및/또는 반사성 물질이 시간 경과에 따라 변하더라도 객체를 식별하는 것을 가능하게 한다. 어떠한 매치도 발견될 수 없는 경우, 스펙트럼들이 신뢰 임계치를 넘지만 여전히 가능한 식별 영역 내에 있는, 로컬 데이터베이스 또는 마스터 데이터베이스에 있는 가능한 객체 식별들의 선택을 통신 인터페이스를 통해 사용자에게 제공하고, 그러한 제공된 선택으로부터 선택할 것을 사용자에게 요청하고, 그러한 사용자 피드백을 사용하여 로컬 데이터베이스 내에서의 향후의 식별들의 정확성을 개선하는 것이 가능하다. 대안적으로, 사용자는 또한 식별이 올바른지 그리고 그러한 피드백을 또한 사용하여 로컬 데이터베이스 내에서의 향후의 식별들을 개선할 것인지를 문의받을 수 있다. 그러한 사용자 상호작용을 개시하기 위해, 제안된 디바이스는 사용자 인터페이스, 즉, 사용자가 일부 입력들을 행할 수 있게 하기 위한 통신 인터페이스를 제공한다. 그러한 사용자 인터페이스는 프로세서와 직접 연결되고, 프로세서를 통해 또한 개개의 데이터베이스들과 연결된다. 사용자 인터페이스는 또한, 사용자를 위한 입력 디바이스를 제공하는 독립형 컴퓨팅 디바이스에 의해 실현될 수 있다. 모든 적합한 알려져 있는 기술들이 가능하다.
Claims (15)
- 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하고 상기 적어도 하나의 실측 정보 데이터베이스를 최신으로 유지하기 위한 디바이스로서,
적어도 다음의 구성요소들:
a) 상이한 객체들의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 저장하도록 구성되는 데이터 저장 유닛; 및
b) 상기 데이터 저장 유닛 및 상기 객체 인식 시스템과 통신하도록 프로그래밍되는 프로세서를 포함하며,
상기 프로세서는,
- 통신 인터페이스를 통해, 상기 상이한 객체들의 측정된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신하고,
- 각각의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 상기 상이한 객체들 중 하나에 태그로서 배정하고,
- 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하고 ― 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 상기 데이터 저장 유닛에 각각 배정됨에 따라 상기 적어도 하나의 실측 정보 데이터베이스를 형성함 ―,
- 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용함으로써, 촉발 및/또는 인식 이벤트의 발생에 대해, 상기 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하고,
- 적어도 하나의 데이터베이스 중 적어도 하나에서, 상기 촉발 및/또는 인식 이벤트가 발생하는 경우에 개개의 상기 적어도 하나의 데이터베이스에 저장된 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 동적으로 업데이트 및/또는 보충하고,
- 최신 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들에 대한 즉각적인 액세스를 제공하도록 프로그래밍되는, 디바이스. - 제1항에 있어서,
상기 프로세서가, 상기 적어도 하나의 실측 정보 데이터베이스로서 마스터 데이터베이스 및 로컬 데이터베이스를 제공하도록 프로그래밍되는 것을 더 포함하며, 상기 로컬 데이터베이스는 상기 마스터 데이터베이스와 결합되고, 상기 로컬 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들은, 상기 객체 인식 시스템으로부터 상기 장면 내의 상기 상이한 객체들 중 적어도 일부에 대한 재측정된 개개의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신함으로써 시간 경과에 따라 업데이트 및/또는 보충됨에 따라, 개개의 객체들의 작고 연속적인 변화들이 적어도 상기 로컬 데이터베이스에서 추적되는, 디바이스. - 제2항에 있어서,
상기 로컬 데이터베이스는 상기 장면에서 로컬로 또는 클라우드 서버 상에 저장되며, 상기 로컬 데이터베이스는 상기 장면에서 로컬로 사용되는 객체 인식 시스템에 대해서만 액세스가능한, 디바이스. - 제1항 내지 제3항 중 어느 한 항에 있어서,
상기 프로세서가, 개개의 객체들의 형광 방출 크기 및/또는 형광 방출 스펙트럼 형상들의 변화들을 모니터링함으로써 상기 상이한 객체들의 작고 연속적인 변화들을 추적하도록 프로그래밍되는 것을 더 포함하는, 디바이스. - 제2항 내지 제4항 중 어느 한 항에 있어서,
상기 프로세서가, 객체가 상기 장면에서 새롭고 로컬로 사용되는 객체 인식 시스템에 의해 측정된 새로운 객체의 색 공간 위치 및/또는 반사성 및 발광 스펙트럼이 마스터 데이터베이스에 저장된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼과 매칭될 수 있을 때, 상기 마스터 데이터베이스를 사용함으로써 상기 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼에 의해 로컬 데이터베이스를 보충하도록 프로그래밍되는 것을 더 포함하는, 디바이스. - 제2항 내지 제5항 중 어느 한 항에 있어서,
상기 프로세서가, 상기 장면 내의 상기 상이한 객체들에 관해 마스터 데이터베이스 및 로컬 데이터베이스를 동기화하도록 프로그래밍되는 것을 더 포함하는, 디바이스. - 제2항 내지 제6항 중 어느 한 항에 있어서,
상기 마스터 데이터베이스는, 상기 상이한 객체들 각각에 대해, 원래의 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼, 및 원래의 객체로부터 파생되는 적어도 하나의 열화된/노화된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 포함하는, 디바이스. - 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하고 상기 적어도 하나의 실측 정보 데이터베이스를 최신으로 유지하기 위한, 컴퓨터에 의해 구현되는 방법으로서,
적어도 다음의 단계들:
- 통신 인터페이스를 통해, 상이한 객체들의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 제공하는 단계;
- 프로세서에 의해, 각각의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 상기 상이한 객체들 중 하나에 태그로서 배정하는 단계;
- 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하는 단계 ― 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 데이터 저장소에 각각 배정됨에 따라 상기 적어도 하나의 실측 정보 데이터베이스를 형성함 ―;
- 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용함으로써, 촉발 및/또는 인식 이벤트의 발생에 대해, 상기 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하는 단계;
- 적어도 하나의 데이터베이스 중 적어도 하나에서, 상기 촉발 및/또는 인식 이벤트가 발생하는 경우에 상기 적어도 하나의 데이터베이스에 저장된 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 동적으로 업데이트 및/또는 보충하는 단계; 및
- 최신 색상 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들에 대한 즉각적인 액세스를 제공하는 단계를 포함하는, 방법. - 제8항에 있어서,
마스터 데이터베이스 및 로컬 데이터베이스를 제공하는 단계를 더 포함하며, 상기 로컬 데이터베이스는 상기 마스터 데이터베이스와 결합되고, 상기 로컬 데이터베이스에 저장된 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들은, 상기 객체 인식 시스템에 의해 상기 상이한 객체들에 대한 개개의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 재측정함으로써 시간 경과에 따라 업데이트 및/또는 보충됨에 따라, 개개의 객체들의 작고 연속적인 변화들이 적어도 상기 로컬 데이터베이스에서 추적되는, 방법. - 제9항에 있어서,
상기 로컬 데이터베이스는 상기 장면에서 로컬로 또는 클라우드 서버 상에 저장되며, 상기 로컬 데이터베이스는 상기 장면에서 로컬로 사용되는 객체 인식 시스템에 대해서만 액세스가능한, 방법. - 제8항 내지 제10항 중 어느 한 항에 있어서,
상기 상이한 객체들의 작고 연속적인 변화들은, 개개의 객체들의 형광 방출 크기 및/또는 형광 방출 스펙트럼 형상들의 변화들을 모니터링함으로써 추적되는, 방법. - 제9항 내지 제11항 중 어느 한 항에 있어서,
로컬 데이터베이스는, 객체가 상기 장면에서 새롭고 로컬로 사용되는 객체 인식 시스템에 의해 측정된 새로운 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼이 마스터 데이터베이스에 저장된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼과 매칭될 수 있을 때, 상기 마스터 데이터베이스를 사용함으로써 상기 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼에 의해 보충되는, 방법. - 제9항 내지 제12항 중 어느 한 항에 있어서,
마스터 데이터베이스 및 로컬 데이터베이스는, 다수의 미리 정의된 이벤트들 중 적어도 하나가 발생할 때 상기 장면 내의 상기 상이한 객체들에 관해 동기화되는, 방법. - 제13항에 있어서,
상기 마스터 데이터베이스는, 상기 상이한 객체들 각각에 대해, 원래의 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼, 및 원래의 객체로부터 파생되는 적어도 하나의 열화된/노화된 객체의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 포함하는, 방법. - 명령어들을 저장하는 비-일시적인 컴퓨터 판독가능 매체로서,
상기 명령어들은, 하나 이상의 프로세서에 의해 실행될 때, 기계로 하여금,
- 통신 인터페이스를 통해, 상이한 객체들의 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 수신하게 하고;
- 각각의 색 공간 위치 및/또는 반사율 스펙트럼 및/또는 발광 스펙트럼을 상기 상이한 객체들 중 하나에 태그로서 배정하게 하고;
- 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 개개의 상이한 객체들과 함께 저장하게 하고 ― 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들이 데이터 저장소에 각각 배정됨에 따라 적어도 하나의 실측 정보 데이터베이스를 형성함 ―;
- 적어도 하나의 센서 및/또는 인공 지능 툴들을 사용하여, 촉발 및/또는 인식 이벤트의 발생에 대해, 상기 상이한 객체들 중 적어도 일부를 포함하는 장면을 모니터링하게 하고;
- 적어도 하나의 데이터베이스 중 적어도 하나에서, 상기 촉발 및/또는 인식 이벤트가 발생하는 경우에 상기 적어도 하나의 데이터베이스에 저장된 상기 색 공간 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들을 동적으로 업데이트 및/또는 보충하게 하고;
- 최신 색상 위치들 및/또는 반사율 스펙트럼들 및/또는 발광 스펙트럼들에 대한 즉각적인 액세스를 제공하게 하는, 비-일시적인 컴퓨터 판독가능 매체.
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201962858354P | 2019-06-07 | 2019-06-07 | |
| EP19179166.4 | 2019-06-07 | ||
| US62/858,354 | 2019-06-07 | ||
| EP19179166 | 2019-06-07 | ||
| PCT/EP2020/065747 WO2020245440A1 (en) | 2019-06-07 | 2020-06-05 | Device and method for forming at least one ground truth database for an object recognition system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220004741A true KR20220004741A (ko) | 2022-01-11 |
Family
ID=70977981
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020217039561A KR20220004741A (ko) | 2019-06-07 | 2020-06-05 | 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하기 위한 디바이스 및 방법 |
Country Status (12)
| Country | Link |
|---|---|
| US (1) | US20220309766A1 (ko) |
| EP (1) | EP3980940A1 (ko) |
| JP (1) | JP7402898B2 (ko) |
| KR (1) | KR20220004741A (ko) |
| CN (1) | CN113811880A (ko) |
| AU (1) | AU2020286660A1 (ko) |
| BR (1) | BR112021019024A2 (ko) |
| CA (1) | CA3140446A1 (ko) |
| MX (1) | MX2021014924A (ko) |
| SG (1) | SG11202113368YA (ko) |
| TW (1) | TW202113681A (ko) |
| WO (1) | WO2020245440A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023180178A1 (en) * | 2022-03-23 | 2023-09-28 | Basf Coatings Gmbh | System and method for object recognition utilizing color identification and/or machine learning |
Family Cites Families (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4156084B2 (ja) | 1998-07-31 | 2008-09-24 | 松下電器産業株式会社 | 移動物体追跡装置 |
| US6633043B2 (en) * | 2002-01-30 | 2003-10-14 | Ezzat M. Hegazi | Method for characterization of petroleum oils using normalized time-resolved fluorescence spectra |
| US7496228B2 (en) * | 2003-06-13 | 2009-02-24 | Landwehr Val R | Method and system for detecting and classifying objects in images, such as insects and other arthropods |
| US8428310B2 (en) | 2008-02-28 | 2013-04-23 | Adt Services Gmbh | Pattern classification system and method for collective learning |
| JP4730431B2 (ja) | 2008-12-16 | 2011-07-20 | 日本ビクター株式会社 | 目標追尾装置 |
| JP5177068B2 (ja) | 2009-04-10 | 2013-04-03 | 株式会社Ｊｖｃケンウッド | 目標追尾装置、目標追尾方法 |
| JP5290865B2 (ja) | 2009-05-18 | 2013-09-18 | キヤノン株式会社 | 位置姿勢推定方法および装置 |
| KR102033159B1 (ko) | 2011-03-21 | 2019-10-16 | 콜로라이트 리미티드 | 케리틴 섬유의 트리트먼트 결과를 예측하는 방법 |
| US9122929B2 (en) * | 2012-08-17 | 2015-09-01 | Ge Aviation Systems, Llc | Method of identifying a tracked object for use in processing hyperspectral data |
| US8825371B2 (en) | 2012-12-19 | 2014-09-02 | Toyota Motor Engineering & Manufacturing North America, Inc. | Navigation of on-road vehicle based on vertical elements |
| US9212996B2 (en) | 2013-08-05 | 2015-12-15 | Tellspec, Inc. | Analyzing and correlating spectra, identifying samples and their ingredients, and displaying related personalized information |
| JP6043706B2 (ja) | 2013-09-25 | 2016-12-14 | 日本電信電話株式会社 | マッチング処理装置およびマッチング方法 |
| JP2015127910A (ja) | 2013-12-27 | 2015-07-09 | 株式会社Ｊｖｃケンウッド | 色変化検出装置、色変化検出方法及び色変化検出プログラム |
| US10113910B2 (en) * | 2014-08-26 | 2018-10-30 | Digimarc Corporation | Sensor-synchronized spectrally-structured-light imaging |
| DE102014222331B4 (de) * | 2014-10-31 | 2021-01-28 | Hochschule Für Angewandte Wissenschaften Coburg | Verfahren zur Quantifizierung der Oxidationsstabilität und/oder des Alterungsgrades eines Kraftstoffes |
| GB2532075A (en) * | 2014-11-10 | 2016-05-11 | Lego As | System and method for toy recognition and detection based on convolutional neural networks |
| JP5901824B1 (ja) | 2015-06-01 | 2016-04-13 | ナレッジスイート株式会社 | 顔認証システム及び顔認証プログラム |
| CN105136742A (zh) * | 2015-08-21 | 2015-12-09 | 董海萍 | 基于云端光谱数据库的微型光谱仪及光谱检测方法 |
| US10664722B1 (en) * | 2016-10-05 | 2020-05-26 | Digimarc Corporation | Image processing arrangements |
| CN108254351B (zh) * | 2016-12-29 | 2023-08-01 | 同方威视技术股份有限公司 | 用于物品查验的拉曼光谱检测方法 |
| US20180232689A1 (en) * | 2017-02-13 | 2018-08-16 | Iceberg Luxembourg S.A.R.L. | Computer Vision Based Food System And Method |
| CN108662842A (zh) * | 2017-03-27 | 2018-10-16 | 青岛海尔智能技术研发有限公司 | 冰箱内食物的检测系统与冰箱 |
-
2020
- 2020-06-05 TW TW109119099A patent/TW202113681A/zh unknown
- 2020-06-05 JP JP2021572402A patent/JP7402898B2/ja active Active
- 2020-06-05 US US17/616,792 patent/US20220309766A1/en active Pending
- 2020-06-05 MX MX2021014924A patent/MX2021014924A/es unknown
- 2020-06-05 WO PCT/EP2020/065747 patent/WO2020245440A1/en active Application Filing
- 2020-06-05 AU AU2020286660A patent/AU2020286660A1/en not_active Abandoned
- 2020-06-05 SG SG11202113368YA patent/SG11202113368YA/en unknown
- 2020-06-05 CN CN202080034863.4A patent/CN113811880A/zh active Pending
- 2020-06-05 EP EP20730646.5A patent/EP3980940A1/en active Pending
- 2020-06-05 CA CA3140446A patent/CA3140446A1/en active Pending
- 2020-06-05 BR BR112021019024A patent/BR112021019024A2/pt unknown
- 2020-06-05 KR KR1020217039561A patent/KR20220004741A/ko unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP3980940A1 (en) | 2022-04-13 |
| CA3140446A1 (en) | 2020-12-10 |
| AU2020286660A1 (en) | 2022-01-06 |
| CN113811880A (zh) | 2021-12-17 |
| WO2020245440A1 (en) | 2020-12-10 |
| MX2021014924A (es) | 2022-01-24 |
| JP2022535887A (ja) | 2022-08-10 |
| BR112021019024A2 (pt) | 2021-12-21 |
| JP7402898B2 (ja) | 2023-12-21 |
| TW202113681A (zh) | 2021-04-01 |
| US20220309766A1 (en) | 2022-09-29 |
| SG11202113368YA (en) | 2021-12-30 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11087130B2 (en) | Simultaneous object localization and attribute classification using multitask deep neural networks | |
| CN109414119B (zh) | 用于在环境内计算机视觉驱动应用的系统和方法 | |
| US9594979B1 (en) | Probabilistic registration of interactions, actions or activities from multiple views | |
| US20190303684A1 (en) | Object detection in edge devices for barrier operation and parcel delivery | |
| US11861927B1 (en) | Generating tracklets from digital imagery | |
| US9720934B1 (en) | Object recognition of feature-sparse or texture-limited subject matter | |
| CN112400174A (zh) | 非接触式生物特征标识系统 | |
| US11244165B2 (en) | Context-awareness | |
| US10769812B2 (en) | Location tracking | |
| US11922486B2 (en) | Identifying items using cascading algorithms | |
| US20200202091A1 (en) | System and method to enhance image input for object recognition system | |
| John et al. | Fusion of thermal and visible cameras for the application of pedestrian detection | |
| US20220319205A1 (en) | System and method for object recognition using three dimensional mapping tools in a computer vision application | |
| US10997420B2 (en) | Context-awareness | |
| Becker et al. | Mad for visual tracker fusion | |
| KR20220004741A (ko) | 객체 인식 시스템을 위한 적어도 하나의 실측 정보 데이터베이스를 형성하기 위한 디바이스 및 방법 | |
| US11599737B1 (en) | System for generating tags | |
| WO2023039677A1 (en) | Contactless checkout system with theft detection | |
| CN117523273A (zh) | 一种确定物品空间位置的方法、装置及电子设备 | |
| KR20210041795A (ko) | 빅데이터 및 사물인터넷을 기반으로 한 무인키오스크를 활용한 무인편의점 운영방법 |