KR102454562B1 - 측정된 물체의 측정 이미지를 포착하는 시스템 및 방법 - Google Patents
측정된 물체의 측정 이미지를 포착하는 시스템 및 방법 Download PDFInfo
- Publication number
- KR102454562B1 KR102454562B1 KR1020197021539A KR20197021539A KR102454562B1 KR 102454562 B1 KR102454562 B1 KR 102454562B1 KR 1020197021539 A KR1020197021539 A KR 1020197021539A KR 20197021539 A KR20197021539 A KR 20197021539A KR 102454562 B1 KR102454562 B1 KR 102454562B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- measurement
- screen
- lighting
- images
- Prior art date
Links
- 238000005259 measurement Methods 0.000 title claims abstract description 353
- 238000000034 method Methods 0.000 title claims abstract description 124
- 238000004590 computer program Methods 0.000 claims abstract description 42
- 230000003595 spectral effect Effects 0.000 claims description 82
- 230000015654 memory Effects 0.000 claims description 81
- 238000011156 evaluation Methods 0.000 claims description 78
- 238000005286 illumination Methods 0.000 claims description 75
- 230000003213 activating effect Effects 0.000 claims description 52
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000035945 sensitivity Effects 0.000 claims description 20
- 238000013528 artificial neural network Methods 0.000 claims description 13
- 239000000203 mixture Substances 0.000 claims description 12
- 230000003287 optical effect Effects 0.000 claims description 8
- 238000010801 machine learning Methods 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims 2
- 239000013598 vector Substances 0.000 description 17
- 230000001419 dependent effect Effects 0.000 description 12
- 238000003860 storage Methods 0.000 description 11
- 239000003086 colorant Substances 0.000 description 9
- 238000001228 spectrum Methods 0.000 description 9
- 210000004209 hair Anatomy 0.000 description 8
- 238000012545 processing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 239000000047 product Substances 0.000 description 6
- 238000004519 manufacturing process Methods 0.000 description 5
- 241000196324 Embryophyta Species 0.000 description 4
- 241001465754 Metazoa Species 0.000 description 4
- 230000004913 activation Effects 0.000 description 4
- 238000013145 classification model Methods 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 239000000126 substance Substances 0.000 description 4
- 238000012546 transfer Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000006399 behavior Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003306 harvesting Methods 0.000 description 3
- 230000036541 health Effects 0.000 description 3
- 238000000691 measurement method Methods 0.000 description 3
- 239000007787 solid Substances 0.000 description 3
- 229910000530 Gallium indium arsenide Inorganic materials 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 239000002537 cosmetic Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000007599 discharging Methods 0.000 description 2
- 239000003814 drug Substances 0.000 description 2
- 235000013399 edible fruits Nutrition 0.000 description 2
- 238000004146 energy storage Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 239000004744 fabric Substances 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 230000037308 hair color Effects 0.000 description 2
- 230000001795 light effect Effects 0.000 description 2
- 230000009021 linear effect Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 235000016709 nutrition Nutrition 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 230000009897 systematic effect Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 238000001429 visible spectrum Methods 0.000 description 2
- 241000251468 Actinopterygii Species 0.000 description 1
- 235000001674 Agaricus brunnescens Nutrition 0.000 description 1
- 206010020751 Hypersensitivity Diseases 0.000 description 1
- 206010061217 Infestation Diseases 0.000 description 1
- 239000004809 Teflon Substances 0.000 description 1
- 229920006362 Teflon® Polymers 0.000 description 1
- 241000607479 Yersinia pestis Species 0.000 description 1
- 230000036579 abiotic stress Effects 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 230000007815 allergy Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000004790 biotic stress Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 235000013365 dairy product Nutrition 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 235000015872 dietary supplement Nutrition 0.000 description 1
- 238000002845 discoloration Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 235000019688 fish Nutrition 0.000 description 1
- 235000012041 food component Nutrition 0.000 description 1
- 239000005417 food ingredient Substances 0.000 description 1
- 235000013376 functional food Nutrition 0.000 description 1
- 230000003806 hair structure Effects 0.000 description 1
- 238000001727 in vivo Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000002757 inflammatory effect Effects 0.000 description 1
- 229910052500 inorganic mineral Inorganic materials 0.000 description 1
- 238000011545 laboratory measurement Methods 0.000 description 1
- 239000010985 leather Substances 0.000 description 1
- 244000144972 livestock Species 0.000 description 1
- 239000006210 lotion Substances 0.000 description 1
- 239000002932 luster Substances 0.000 description 1
- 235000013372 meat Nutrition 0.000 description 1
- 201000001441 melanoma Diseases 0.000 description 1
- 208000030159 metabolic disease Diseases 0.000 description 1
- 238000000386 microscopy Methods 0.000 description 1
- 239000011707 mineral Substances 0.000 description 1
- 230000009022 nonlinear effect Effects 0.000 description 1
- 230000035764 nutrition Effects 0.000 description 1
- 235000003715 nutritional status Nutrition 0.000 description 1
- 229920001343 polytetrafluoroethylene Polymers 0.000 description 1
- 239000004810 polytetrafluoroethylene Substances 0.000 description 1
- 238000000275 quality assurance Methods 0.000 description 1
- 239000002994 raw material Substances 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
- 235000021067 refined food Nutrition 0.000 description 1
- 238000002310 reflectometry Methods 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000002453 shampoo Substances 0.000 description 1
- 230000001954 sterilising effect Effects 0.000 description 1
- 238000004659 sterilization and disinfection Methods 0.000 description 1
- 230000037072 sun protection Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 235000013311 vegetables Nutrition 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 229940088594 vitamin Drugs 0.000 description 1
- 229930003231 vitamin Natural products 0.000 description 1
- 235000013343 vitamin Nutrition 0.000 description 1
- 239000011782 vitamin Substances 0.000 description 1
- 230000029663 wound healing Effects 0.000 description 1
Images
Classifications
-
- H04N5/2257—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/72—Combination of two or more compensation controls
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/30—Measuring arrangements characterised by the use of optical techniques for measuring roughness or irregularity of surfaces
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/255—Details, e.g. use of specially adapted sources, lighting or optical systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
- G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
- G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
-
- H04N5/2256—
-
- H04N5/23216—
-
- H04N5/23264—
-
- H04N5/335—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/247—Telephone sets including user guidance or feature selection means facilitating their use
- H04M1/2477—Telephone sets including user guidance or feature selection means facilitating their use for selecting a function from a menu display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- General Physics & Mathematics (AREA)
- Immunology (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Pathology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Studio Devices (AREA)
- Investigating Or Analysing Materials By Optical Means (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
- Spectrometry And Color Measurement (AREA)
- Stroboscope Apparatuses (AREA)
- Indication In Cameras, And Counting Of Exposures (AREA)
Abstract
본 발명이 모바일 전자 장치를 포함함으로써, 측정되기 위해 물체의 측정 이미지를 캡처하기 위한 시스템(1)에 관한 것이며, 여기에서 모바일 전자 장치(2)는: -하우징(5)과, -하우징(5) 내에 일체화된 카메라(6)의 관찰 영역(5) 내에 측정 물체(38)의 측정 이미지(39)를 기록하는 카메라(6), -상기 카메라(6)의 관찰 영역(20)과 대면하는 스크린(7)을 하우징(5)과 일체로하여 발광 방식으로 이미지를 표시하는 스크린(7),- 상기 하우징(5) 내에 통합된 제어 유닛(8)을 포함하고, 상기 제어 유닛은 상기 이동 전자 장치 (2)의 스크린(7)을 작동시켜 미리 정의된 조명 영상 순서에 기초하여 복수의 상이한 조명 이미지(23)를 디스플레이하도록 구성되고 상기 제어 유닛 (8)은 각각의 조명 이미지 (23)를 디스플레이하는 것과 동시에 각각의 경우에 측정 대상의 하나의 측정 이미지 (39)를 캡처하도록 상기 이동 전자 디바이스(2)의 카메라 (6)를 제어한다. 또한, 본 발명은 이에 대응하는 방법 및 컴퓨터 프로그램 제품에 관한 것이다.
Description
본 발명은 측정된 물체의 측정 이미지를 포착하는 시스템에 관한 것뿐만 아니라, 시스템에 의하여 측정된 물체의 측정 이미지를 포착하는 방법, 및 이에 대응하는 컴퓨터 프로그램 제품에 관한 것이다.
많은 기술적 및 비기술적 응용분야에서, 관심이 되는 물체의 특성은 무체의 (바이오) 화학 조성에 따라 달라진다. 표면에 근접하고 육안으로 보이지 않는 물체의 표면 또는 층의 구조는 그 스펙트럼 영역의 투명도에 따라서 물체의 특정 특성이 영향을 받을 수 있다. 이러한 이유로, 물체의 크기, 모양 및 색상의 광학 검출 또는 물체의 육안으로 보이는(여전히 육안으로 식별 가능한) 표면 질감의 광학 검출은 일반적으로 이러한 특성의 만족할만한 평가에 적합하지 않다. 신선도 및 처리되지 않은 상태에 관한 식품 상태의 렌즈 검출, 사고 후 손상된 자동차 도장의 은닉 수리뿐만 아니라, 문서, 의약품 및 고품질의 섬유 가복의 인식이 예로서 언급된다.
물체의 초분광(hyperspectral) 이미지 포착은 상업적 응용 및 연구에 많은 경우 적용된다. 여기서, 초분광 측정 이미지는 물체로부터 측정되고 이는 공간적으로 해석된 방식으로 물체의 분광 반사 특성을 나타낸다. 관심 대상인 물체의 각 특성은 이 측정 이미지를 기반으로 평가될 수 있다. 초분광 스펙트럴 측정 이미지 포착에는 두가지 방법이 알려져 있다. 첫번째 접근법과 관련하여, 물체가 광대역 광원으로 조명되고, 반사된 광은 협대역 주파수 필터, 프리즘 또는 격자를 통해 스펙트럼 구성부분으로 분리되고, 스펙트럼 카메라를 통하여 개별적으로 이미지화한다. 광대역 균일 조명은 넓은 표면에서 인위적으로 구현되 수 있거나 또는 자연광을 주광으로 활용할 수 있다. 두번째 접근법과 관련하여, 이 원리는 반대로 되어 광대역 그레이스케일(greyscale)카메라가 이미지 캡쳐에 사용되고, 물체는 협대역 광원으로 순차적으로 조명된다. 이러한 변형은 특히 실험실 또는 현미경 분야의 작은 표면을 가진 물체에 사용된다. 예를 들어 스펙트럼에 따라 분류된 LED 또는 필터 휠은 조명으로 사용된다.
특히 물체의 초분광 측정 이미지를 포착하기 위한 공지된 방법의 단점은, 복잡한 실험실 측정 장치 및 특정 경우에 맞게 구성되고 최적화된 장치와 같은 요구되는 장치에 대한 높은 비용이다. 조사할 물체의 측정 이미지를 포착하는 많은 다른 방법도 이러한 단점을 가지고 있다. 많은 기술적으로 적합한 실용적인 방법은 경제적으로 실행 가능한 방법으로, 소비자의 분야에서 실행될 수 없다. 뿐만 아니라, 조사할 물체의 측정 이미지를 포착하는 많은 알려진 방법의 또 다른 단점은 장치를 조작하거나 방법을 수행하는 것에 관한 특별한 기술적 지식의 필요성뿐만 아니라 시간이 많이 들 수 있다.
그러므로 조사된 물체의 측정 이미지를 포착하는 시스템을 제안하기 위한 것이 목적이고, 가능한 비싸지 않고, 운영하기가 심플하고, 가능한 자유롭게 적용될 수 있는 측정 대상이라고 불리는 측정 물체의 측정 화상을 포착하는 시스템을 제안하는 것이 목적이다. 그럼에도 불구하고, 측정 이미지는 관심 있는 물체의 특성에 대한 가능한 평가를 가능하게 해야 한다. 뿐만 아니라, 제안된 측정 이미지를 포착하는 대응된 방법은, 간단하고, 최대한 비싸지 않고, 및 자유로운 방법으로 적용될 수 있다. 마지막으로, 대응하는 컴퓨터 프로그램 제품이 제안될 것이며, 소프트웨어 코드를 포함하고, 상기 시스템에서 상기 컴퓨터 프로그램 제품이 동작할 때 제안된 방법의 단계가 실행될 수 있다.
이 목적은 다른 독립항들에 따른 방법 및 컴퓨터 프로그램 제품뿐만 아니라 주 청구항에 따른 시스템에 의해 달성된다. 추가의 전개 및 특정 실시 예는 종속항, 후속하는 설명 및 도면으로부터 설명한다.
여기서 측정 물체의 측정 이미지를 포착하는 제안된 시스템은 예를 들어 스마트폰 이나 태블릿 컴퓨터 또는 다른 (디지털) 컴퓨터)와 같은 적어도 하나의 모바일 전자 장치를 포함할 수 있다. 이후 간단하게 종종 "장치"로 지칭되는 (적어도 하나의) 모바일 전자 장치는:
- 하우징,
- 카메라의 관찰 영역 내의 측정된 물체의 측정 이미지를 포착하기 위하여, 상기 하우징에 통합된 카메라,
- 이미지들의 조명 디스플레이를 위하여, 상기 스크린은 상기 카메라의 상기 관찰 영역과 대면하고, 상기 하우징에 통합된 스크린,
- 미리 정의된 조명 이미지 순서의 각 조명 이미지를 디스플레이함과 동시에 상기 측정 물체의 측정 이미지를 포착하기 위하여 상기 모바일 전자 장치의 상기 카메라를 활성화하고, 상기 하우징에 통합되고 미리 정의된 조명 이미지 순서의 몇몇의 다른 조명 이미지를 연속적으로 디스플레이 하도록 상기 모바일 전자 장치의 상기 스크린을 활성화하는 제어 유닛을 포함한다.
측정 물체의 측정 이미지를 포착하는 제안된 방법은 여기서 제안된 시스템에 의하여 실행되고 하기
-상기 제어 유닛에 의하여, 상기 모바일 전자 장치의 상기 스크린이 상기 미리 정의된 조명 이미지 순서의 여러 다른 조명 이미지들을 연속적으로 디스플레이 하고,
-상기 모바일 전자 장치의 상기 카메라가 상기 미리 정의된 조명 이미지 순서의 각 조명 이미지를 표시함과 동시에 측정된 물체의 측정 물체를 포착하는 것을 활성화하는 단계를 포함한다.
전자식 모바일 장치는 통상적으로 상기 장치의 하우징에 통합된 적어도 하나의 내부 데이터 메모리를 포함한다. 내부 데이터 메모리는 통상적으로 휘발성 또는 비-휘발성 메모리이거나 이들의 조합으로, 예를 들어, 램(RAM), 롬(ROM), 하드 디스크 드라이브 또는 솔리드 스테이트 드라이브(Solid State Drive) 또는 이들의 조합을 포함할 수 있다.
제안된 컴퓨터 프로그램 제품은 장치의 내부 데이터 메모리에 직접적으로 로딩될 수 있다. 컴퓨터 프로그램 제품은 모바일 전자식 장치에 컴퓨터 프로그램 제품이 로딩되어 동작할 때, 적어도 하나의 제안된 방법(및 아마도 방법의 추가 단계)의 전술한 단계가 수행되는 소프트웨어 코드 섹션을 포함한다.
컴퓨터 프로그램 제품은 예를 들어, 데이터 메모리("캐리어")에 저장된 컴퓨터 프로그램이다. 데이터 메모리는 예를 들어, 휘발성 또는 비 휘발성 데이터 메모리와 같은 컴퓨터 하드웨어, 예를 들어, 장치의 언급된 내부 데이터 메모리 또는 모바일 전자 장치 외부의 시스템의 추가 데이터 메모리, 예를 들어, 컴퓨터 서버와 같은 컴퓨터, 또는 예를 들어 인터넷 또는 (컴퓨터) 클라우드와 같은 컴퓨터 네트워크의 일부이거나 컴퓨터 네트워크 (예를 들어, 인터넷 또는 클라우드)에 의해 생성되는 데이터 메모리일 수 있다. 컴퓨터 또는 컴퓨터 서버, 컴퓨터 네트워크 (예를 들어, 인터넷 또는 클라우드)는 예를 들어 시스템의 추가 구성 요소일 수 있다. 램(RAM), 롬(ROM), 하드 디스크 드라이브 또는 솔리드 스테이트 드라이브(Solid State Drive) 또는 이들의 조합 또는 CD, DVD 또는 USB 스틱이 가능한 (추가의) 데이터 메모리로 고려될 수 있다.
장치는 통상적으로 적어도 하나의 (디지털) 프로세서, 예를 들어 적어도 하나의 메인 프로세서 (CPU), 그 자체는 예를 들어 그래픽 프로세서와 같은 하나 또는 그 이상의 통합된 유닛(코-프로세서)를 포함할 수 있다. 프로세서는 예를 들어, 반도체 칩과 같은 전자 회로를 예로 실행될 수 있다. 상기 장치의 제어 유닛은 프로세서의 (논리적인 또는 통합된) 유닛일 수 있다. 프로세서는, 예를 들어, 특히 내부 데이터 메모리 또는 로딩된 소프트웨어 코드 섹션에 로딩되는 컴퓨터 프로그램 제품을 검색하기 위해, 데이터 메모리에 액세스하기 위해 그리고 장치의 내부 데이터 메모리에 연결되고, (장치의 제어 장치로서) 상기 방법의 단계 (스크린과 카메라의 동기 활성화)를 수행한다. 제안된 방법의 각각의 단계는 예를 들어 장치의 프로세서에서 실행되는 명령의 형태로 소프트웨어 코드 섹션에 코드화 될 수 있다. 이러한 명령을 실행할 때에 언급된 장치의 제어 유닛이 예로서 프로세서가 작용할 수 있다.
상기 제안 된 방법은 이후 더 자세히 설명되는 추가 단계들을 포함 할 수 있다. 장치의 제어 유닛은 이러한 추가 방법 단계를 수행하도록 구성 될 수 있다. 따라서, 컴퓨터 프로그램 제품은 또한 장치의 프로세서에 의해 수행 될 수 있는 대응하는 추가 명령이 코딩 될 수 있는 추가 소프트웨어 코드 섹션을 포함 할 수 있다. 이러한 추가 명령을 수행 할 때, 프로세서는 다시 예를 들어 장치의 언급 된 제어 장치 또는 장치의 추가 장치, 예를 들어 장치의 평가 장치로서 기능한다.
대안적으로, 추가적인 방법의 단계들은 시스템의 다른 요소에 의하여 실행될 수 있다. 예를 들어, 평가 유닛은 모바일 전자 장치의 외부에 배치될 수 있다. 평가 유닛은 따라서 또한 예를 들어 구성된 컴퓨터에 대응될 수 있고, 예를 들어, 컴퓨터 네트워크의 컴퓨터 서버 또는 (논리적 또는 통합된) 컴퓨터의 프로세서의 유닛일 수 있다. 평가 유닛이 시스템의 여러 요소에 분산되고 예를 들어, 장치의 프로세서 또는 언급된 컴퓨터 프로세서와 같은 여러 프로세서의 (논리적 또는 통합된) 유닛을 통해 형성되는 혼합 양식 또는 컴퓨터 서버가 가능하다.
몇몇의 실시 예에서, 상기 방법은 모바일 전자 장치만은 사용하여 완전히 실행될 수 있다. 다른 실시 예에서, 상기 방법은 또한 부분적으로 상기 시스템의 다른 요소, 예컨대 하나 이상의 컴퓨터 (예를 들어, 인터넷 또는 클라우드)에 의하여 실행되고, 여기서 장치와 다른 요소 사이의 통신 및 데이터 전송은 예를 들어 인터넷 또는 클라우드를 통하여 영향을 받을 수 있다.
데이터 또는 다른 애플리케이션 관련 정보를 외부 메모리 시스템 (예 : 클라우드 메모리)에 저장하는 것은 기능이나 보안 관련 이유로 필요하지 않지만 여기에 설명된 개념에 반대되지는 않는다. 예를 들어, 외부 데이터 메모리의 사용은 모바일 장치의 내부 데이터 메모리 상의 특정 데이터의 저장이 라이센스 이유 및/또는 보안을 위해 대량의 데이터량 때문에 특정 이유로 인해 가능하지 않은 것으로 예상될 수 있다.
모바일 장치를 통한 데이터의 주로 또는 독점적인 로컬 처리 및/또는 저장은 일반적으로 특정 경우에 제공되거나 제공될 수 있다. 예를 들어,
(1) 모바일 장치로부터 외부 서버/메모리로 전달(전송)되는 데이터 용량을 줄이기 위하여
(2) 모바일 데이터 연결의 대역폭이 충분하지 않거나 측정의 각 위치(예를 들어 농업분야 또는 강철 콘크리트 건물)에 대역폭이 부족한 경우
(3) 특히, 만약 이동 장치에 GPS 모듈이 장착되어 있는 경우, 측정된 물체의 측정 위치 또는 사용자 자신과 관련된 민감한 데이터가 주어진 경우. 예를 들어, 비밀 물체 또는 비밀 화학적 표면 조성물의 측정물 뿐만 아니라 비밀이 지켜져야하는 위치의 측정, 예를 들어 그 위치가 측정된 물체 각각을 저장하고 있는 위치이거나 측정 또는 데이터의 측정이 사용자의 원하지 않ㅇ는 추론을 허용하는 경우, 예를 들어 사용자의 건강 상태, 그의 거주지 또는 그의 소비 습관과 같은 것, 예로서 언급되어야 한다.
예를 들어, 모바일 장치의 제어 유닛 및/또는, 모바일 장치의 평가 유닛이 존재하는 한, 일반적으로 또는 적어도 정의된 애플리케이션이 이것 스스로 측정 데이터를 완전히 평가하고 내부 데이터 메모리에서 독점적으로 발생하는 모든 데이터를 저장할 수 있다. 제어 유닛은 측정 데이터를 전송하는 것 및/또는 외부 장치로 데이터가 유래되는 것(특히 GPS 데이터)를 차단하거나 피할 수 있다.
아래 및 청구 범위에서 제어 장치 또는 평가 장치가 추가 작업을 수행하기 위한 "구성 중"으로 설명 될 때마다 이러한 작업은 제안 된 방법의 가능한 (선택적) 단계로 이해 해야 한다. 따라서, 컴퓨터 프로그램 제품은, 예를 들어 장치의 프로세서 또는 시슴템의 다른 구성 요소에 의하여 실행되도록, 이들 추가 동작을 수행하기 위한 명령이 코딩되는 스프트웨어 코드 섹션을 포함할 수 있다. 역으로, 예를 들어 제어 유닛, 평가 유닛 또는 다른 구성 요소에 의해 시스템의 각 구성 요소에 의해 방법 단계가 수행 될 수 있을 때마다 구성 요소의 "구성된다"는 의미가 된다. 이러한 "구성된다"는 차례로 예를 들어 적절하게 설계된 컴퓨터 프로그램 제품을 예를 들어 장치 또는 언급된 다른 추가적인 시스템의 컴퓨터에 로딩함으로써 가능할 수 있다.
미리 정의된 조명 이미지 순서는 보통 부분적으로 또는 선호적으로 완전하게 조명 파라미터에 의해 정의된다. 조명 파라미터들에 대한 구체적인 예시가 아래 기술된다. 조명 파라미터는 통상적으로 시스템의 적어도 하나의 데이터 메모리, 예를 들어 모바일 전자 장치의 내부 데이터 메모리 및/또는 시스템의 다른 요소의 데이터 메모리, 예를 들어 언급된 컴퓨터에 저장된다. 예를 들어, 장치의 내부 메모리 상에 조명 파라미터의 자동 저장은 장치 상에 컴퓨터 프로그램 제품을 로딩함으로써 수행될 수 있다. 예를 들어, 컴퓨터 프로그램 제품의 소프트웨어 코드는 조명 파라미터 정의 및/또는 값들을 포함할 수 있다. 모바일 전자 장치의 제어 유닛은 데이터 메모리로부터 적어도 하나의 데이터 메모리에 저장된 조명 파라미터를 검색하고 검색된 조명 파라미터에 기초하여 미리 정의된 조명 이미지 순서를 결정하도록 구성될 수 있다. 통상적으로, 제어 유닛이 이렇게 결정된 미리 정의된 조명 이미지 순서의 조명 영상을 표시하기 위하여 스크린을 활성화하고, 이와 동시에, 측정 이미지를 포착하기 위하여 할 때까지는 아니다.
모바일 전자 장치는, 예를 들어 제안된 방법을 실행하기 위하여 장치의 동작을 돕는 유저 인터페이스를 구성한다. 예를 들어, 미리 정의된 조명 이미지 순서는 보정되거나 또는 예를 들어, 유저 인터페이스를 통해 적어도 하나의 조명 파라미터를 보정하거나 바꾸는 방법으로, 영향을 줄 수 있다. 추가적으로, 또는 대안적으로, 다른 (저장된) 미리 정의된 조명 이미지 순서 사이의 선택은 사용자 인터페이스에 의해 가능해질 수 있고, 조명 이미지 순서는 예를 들어 하나 또는 그 이상의 조명 파라미터에 의해 서로 다를 수 있다. 추가적으로, 또는 대안적으로, 측정 물체의 유형이 유저 인터페이스에 의하여 입력될 수 있다. 이러한 입력과는 별도로 추가적인 입력, 예를 들어 관심 있는 각 선택된 측정 물체의 특성의 선택이 사용자 인터페이스를 통해 가능해질 수 있다. 조명 이미지 순서의 정의와 별개로, 사용자 인터페이스를 통한 입력에 측정 이미지의 후속 평가가 의존할 수 잇다. 예를 들어, 시스템의 평가 유닛에 의하여 입력이, 후술하는 기술로서, 설명된다.
예를 들어, 미리 정의된 여러 측정 이미지 중 하나를 각각 정의하고 전술한 바와 같이, 하나 또는 그 이상의 언급된 데이터 메모리에 저장되는 여러 개의 서로 다른 조명 이미지 순서 또는 몇 개의 서로 다른 미리 정의된 조명 이미지 순서 세트를 예상할 수 있다. 서로 다른 미리 정의된 조명 이미지 순서 또는 조명 파라미터 세트는 예를 들어 몇몇의 서로 다른 미리 정의된 (측정) 어플리케이션 (예를 들어 각 측정 물체에 정의된, 관심 및/또는 행동 추천의 특성)에 할당될 수 있다. (서로 다른 애플리케이션에 대한 예시는 추가적으로 아래에서 구체화된다). 예를 들어, (예를 들어, 모바일 장치의 사용자 인터페이스를 통해) (예를 들어, 사용자 인터페이스의 방식으로 표시되는 적어도 하나의 애플리케이션 리스트로부터) 특정 애플리케이션을 선택하는 사용자를 상상할 수 있고, 상기 제어 유닛은 상기 선택된 애플리케이션에 따라 상기 선택된 애플리케이션에 속하는 미리 정의 된 조명 이미지 시퀀스 (또는 조명 파라미터)를 데이터 메모리로부터 판독하고, 이어서 상기 판독 된 조명 이미지 시퀀스를 이용하여 상기 측정을 수행한다. 추가적으로, 또는 대안적으로 측정 이미지의 평ㅇ가는 선택된 어플리케이션에 의존한다.
스크린은 터치스크린으로 디자인될 수 있고, 따라서, 예를 들어 터치스크린 상에 표시된 입력 필드를 갖는 그래픽 사용자 표면의 표현을 통하여 언급된 장치의 유저 인터페이스로서의 역할을 수행한다.
사용자 인터페이스는 게다가, 예를 들어 사용자 행동 또는 물체 특성에 대한 설명과 같은, 예를 들어 주위 광 영향이 너무 심하다고 평가되거나 또는 측정 이미지의 구현된 이미지 등록 또는 물체의 인식이 성공적으로 실행되지 못할 경우, 경고 통지의 출력을 하도록 구성될 수 있다.
사용자 인터페이스는 예를 들어 언급된 경고 통지를 생성할 수 있는 장치의 음향 출력을 포함할 수 있다. 사용자 인터페이스는 예를 들어, 언급된 경고 통지를 생산하는 장치의 진동 모듈을 포함할 수 있다. 추가적으로, 예를 들어 스마트 워치 및 헤드 장착 디스플레이(Head-mounted display)와 같은 디스플레이와 디바이스를 더 통신하는 방법으로, 다른 사용자 인터페이스가 실현될 수 있다. 이러한 다양한 모듈은 본원에서 조합하여 사용될 수 있다.
적어도 하나의 장치의 내부 데이터 메모리 또는 외부 데이터 메모리, 예를 들어 언급된 추가적인 컴퓨터,는 (즉각적인) 포착된 측정 이미지의 저장을 위하여 제공될 수 있다. 따라서, 제어 유닛은 이러한 적어도 하나의 데이터 메모리로 포착한 측정 이미지의 전송을 시작하거나 실행하도록 구성될 수 있다.
추가적으로, 제어 유닛은 포착한 측정 이미지를 표시하기 위하여, 예를 들어, 측정 이미지를 포착한 이후 자동적으로, 스크린을 활성화할 수 있다. 예를 들어, 측정 결과는 측정 이후 동안 또는 즉시 스크린에 표시될 수 있고, 그리고, 예를 들어, 포착된 측정된 물체의 이미지 또는 카메라의 순간 라이브 이미지가, 예를 들어 증강 현실 기법에 의하여 스크린 상에 중첩되어 구현될 수 있다.
예를 들어, iOS, 안드로이드, 윈도우, 리눅스, 블랙 베리 OS 또는 다른 운영 체제와 같은 장치의 운영 시스템은 물론, 전형적으로 예를 들어 인터넷 브라우저 및/또는 App Store 애플리케이션 장치의 적어도 하나의 내부 데이터 메모리 상에 설치될 수 있다. 예를 들어, 앱 스토어, 즉 애플의 앱 스토어 또는 구글의 플레이스토어와 같은 애플리케이션 소프트웨어를 위한 인터넷 기반의 디지털 마케팅 플랫폼에 대한 장치의 (인터넷) 연결은 앱스토어 애플리케이션을 통해 생성될 수 있다. 일 실시 예에 따르면, 컴퓨터 프로그램 제품은 이 앱스토어 애플리케이션을 통해 장치의 내부 데이터 메모리 상에 앱으로서 로딩될 수 있고, 예를 들어, (예를 들어 사용자에 의해 개시 및/또는 확인되는 삭제 절차까지) 영구적으로 주정될 수 있다. 또 다른 가능성은 컴퓨터 프로그램 제품 또는 앱을 장치(예를 들어 USB 케이블 당), 특히 스마트 폰에, 직접 복사하는 것고, 이는 해당 운영 체제에서 차단하지 않기 때문이다. 추가적인 실시 예에서, 장치의 인터넷 브라우저를 통하여 제공자의 인터넷 페이지로부터 웹 앱이 장치의 내부 메모리에 컴퓨터 프로그램 제품이 로딩될 수 있다. 웹 앱, 예를 들어 (예를 들어 오로지 미리 정의된 시간 기간 또는 오로지 미리 정의된 방법읠 실행 횟수) 내부 메모리에 저장되고 이후 장치의 내부 메모리로부터 삭제된다. 그러나, 모든 경우에 있어서, 컴퓨터 프로그램 제품은 장치 상에서 실행될 수 있으며, 바람직하게는 장치의 내부 메모리에 로딩된 직후에, 방법을 수행하기 위해 사용자에 의해 사용될 수 있다.
장치는 전형적으로 예를 들어 인터넷 또는 장치의 가능한 추가 구성 요소에 장치를 연결할 수 있도록 예를 들어 하나 이상의 컴퓨터 서버, 예를 들어 인터넷을 통하여 적어도 하나의 무선 인터페이스와 같은 하나 이상의 케이블 연결형 또는 선호되는 무선 인터넷 인터페이스를 포함한다.
모바일 (휴대용의) 전자 장치는 사용자에 의하여 두 손 또는 바람직하게는 오로지 한 손으로 (특히 앞서 말한 방법의 단계에서, 예를 들어 조명 이미지를 표시하고 측정 이미지를 포착하는 동안) 편안하게 잡기 위하여 측정 물체의 적절한 위치에 정렬되어, 가볍다. 장치는 그러므로 바람직하게는 3kg 보다 가볍고, 2kg보다 가볍거나 1kg 보다 가벼울 수 있다. 하우징의 최대 모서리 길이는 전형적으로 30cm 를 넘지 않고, 25cm 보다 작거나 또는 20cm 보다 작다. 예를 들어, 하우징은 본질적으로 직육면체 방식으로 디자인될 수 있다. 최소 모서리 길이는 일반적으로 5cm 미만, 바람직하게는 2cm 미만이다.
카메라는 일반적으로 케이싱의 전면에 배치되고 카메라의 관찰 영역을 정의하는 렌즈를 포함한다. 스크린은 이후 전형적으로 하우징의 전면에 배치될 수 있다. 카메라 (적어도 카메라의 물체)와 스크린은 전형적으로 하우징의 동일한 면에 배치되고, 이는 하우징의 동일한 면에서 보일 수 잇다. 카메라는 전형적으로, 예를 들어 광 민감 반도체 칩, 예를 들어 CCD, 또는 CMOS 또는 InGaAs 센서와 같은 이미지 센서를 포함한다.
장치는 예를 들어 모바일 라디오 전화 네트워크 또는 인터넷을 통해 전화 대화를 허용하기 위하여 내부 메모리에 설치되는 전화 애플리케이션에 의해 라우드 스피커 또는 마이크로폰을 더 포함할 수 있다. 장치는 특히, 장치의 스크린, 카메라 및 제어 유닛 안에 (재충전 가능한) 전기 에너지를 장치에 공급하기 위하여 에너지 저장부를 더 포함할 수 있다.
시스템의 동작 방법을 실행하기 위하여 장치의 스크린은 조명 이미지를 표시하는 동안 광을 발산한다. 카메라의 관칠 영역에 배치된 측정 물체는 따라서 카메라의 관찰 영역을 스크린이 마주한다는 사실 때문에 스크린에 의하여 조명된다. 이렇게 함으로써, 조명 이미지를 표시할 때 방출된 스크린으로부터의 광은 측정 물체에 도달하고, 측정 물체로부터 반사되어 카메라에 의해 포착된다. 여기서, 반사된 광은 전형적으로 카메라 안의 카메라의 렌즈를 통과하고, 카메라의 이미지 센서 상에 이미지화된다.
카메라의 이미지 센서는 일반적으로 전체 그리드에 배열된 다수의 센서 유닛을 포함한다. 센서 유닛 각각은 하나 또는 그 이상의 이미지 센서의 센서 요소를 포함한다. 예를 들어, 각 센서 유닛은 카메라를 통해 포착된 측정 이미지의 이미지 포인트(픽셀)에 해당한다. 센서 유닛의 위치와 이미지 센서 안의 그들의 센서 요소는 각 센서 유닛의 두개의 센서 축(XY)에 의하여 정의된다.
그러므로, 각각의 측정 이미지는 전체 그리드에 배치되고 이미지 센서의 센서 유닛에 할당되는 다수의 이미지 포인트(픽셀)을 포함하고, 각각의 측정 이미지 안의 위치는 통상적으로 각각의 센서 유닛의 센서 좌표에 대응하는 2개의 이미지 좌표(XY)에 의해 정의된다. 측정 이미지는 이미지 정보가 코드화된 이미지 데이터를 더 포함할 수 있다. 예를 들어, 이미지 데이터 안에는 측정 이미지의 각각의 이미지 포인트의 밝기값이 코드화될 수 있다. 측정 이미지의 이미지 포인트의 밝기값은 전형적으로 각각의 측정 이미지를 포착할 때 센서 유닛의 광 민감 센서의 충전 또는 방전 상태에 의존한다.
다른 측정 이미지들은 조명 이미지들의 차이로 인하여 측정 이미지에 관하여 다른 정보를 포함한다. 예를 들어 조명 이미지는 그들이 표시될 때 스크린에 의하여 방출되는 광의 스펙트럼 조성에 따라서 서로 다를 수 있다. 대안적으로, 또는 추가적으로, 스크린의 다른 영역에 배치되는 조명 이미지는 카메라로부터 상이한 방향에서 조명될 수 있다.
따라서, 각각의 포착된 측정 이미지로부터 측정 물체의 반사 특성 또는 다른 특성에 대한 다른 정보를 얻는 것이 유리할 수 있다. 추가적으로, 측정 이미지의 정보 내용은 매우 간략하게 조명 이미지 순서를 바꿈으로써 영향 받을 수 있다.
또 다른 중요한 이점은 모바일 전자 장치가 예를 들어, 스마트 폰, 태블릿 컴퓨터(태블릿), 랩탑 또는 유사하게 널리 퍼진 모바일 전자 장치일 수 있다는 사실이다. 유리하게는, 사용자/소비자가 제안된 방법을 수행하기 위해 상업적으로 이용 가능한 장치를 구성하는 것은 매우 간단하며, 예를 들어 사용자/소비자가 제안된 컴퓨터 프로그램 제품을 장치 상으로 로딩하는 것만으로, 예를 들어 앱 스토어 또는 컴퓨터 프로그렘 제품의 제공자의 웹사이트로부터 제공될 수 있다. 따라서 시스템 및 방법은 많은 기존의 측정 장치와 비교하여 비싸지 않고 조명 이미지 순서를 통한 다양한 방법과 모바일 장치, 아래 기술된 바와 같이, 데이터 평가를 위하여 통합된 평가 유닛을 통한 다양한 방법을 통하여 많은 사용자가 직관적인 방법으로 적용하거나 실행할 수 있다. 공지된 시스템에 대한 또 다른 이점은 모바일 전자 장치가 추가의 (외부) 광학 하드웨어로 개조될 필요가 없다는 사실이며, 분산 광학 효과를 생성하거나, 조명 및/또는 이미지 포착의 특정 파라미터를 제어하는데 사용되지 않는다. 여기서 기술된 방법은 따라서 유리하게는 장치를 광학적으로 또는 전자식 요소를 개조할 필요 없이 실행될 수 있다. 특히, 이 방법은, 예를 들어 필터, 렌즈, 거울, 개구부, 스크린, 광 출처, 센서 등과 같은 추가적인 요소와 함께 모바일 장치를 개조하거나 이러한 요소를 모바일 장치와 측정 물체 사이에 방법을 실행하는 동안 배치시킬 필요가 없다.
측정 이미지를 포착하기 이전에, 카메라가 꺼지거나 비활성화될 때 자동으로 수행할 수 있는 전처리 단계를 구상할 수 있다. 예를 들어, 카메라가 꺼질 때 자동적으로 수행되는 포착된 이미지의 색상 온도의 조정 또는 예를 들어 고정된 값으로 색상 온도를 설정하고, 이후 측정 이미지를 평가할 때 고려할 수 있다. 이것은 각각의 민감도, 노출 시간 및 화이트 밸런스와 같은 카메라의 다른 포착/레코딩 자동 조정에 적용된다.
따라서, (제어부에 의한)스크린의 자동 밝기 규제가 꺼지고, 예를 들어 가능한 최상의 밝기로 조명되는 것을 예상할 수 있다.
모바일 전자 장치의 스크린은 원칙적으로 가시 스펙트럼 영역, 즉 400nm와 800mn 사이의 파장을 갖는 광에서 주로 또는 독점적으로 광을 방출한다. 스크린은 전형적으로 칼라 스크린이며 그러므로 색상 이미지를 표시할 수 있다. 스크린은 예를 들어 여러 색상 채널을 구성할 수 있다. 스크린은 각 색상 채널 마다, 이후 Dd(
)로 일컬어지는 색상-특정 스펙트럼 방출 특성을 가질 수 있다. 따라서, 색상 채널에서 방출되는 광은 이 색상 채널에 대해 미리 정의된 스펙트럼 강도 분포를 가지며 스크린에서 표현될 수 있는 스크린의 기본 색상에 대응된다. 예를 들어, 스크린은 적색 색상 채널, 청색 색상 채널, 및 녹색 색상 채널을 포함한다. 색상 채널들의 색상들은, 따라서, 예를 들어 스크린의 기본 색상을 표현하는 적색, 녹색 및 청색이다. 스크린과 카메라는 전형적으로 인간의 시각 시스템에 적응된다. 가시광선의 최대 485nm 파장은 청색으로 인식되고, 대략 500nm 에서 550 nm 는 녹색으로 인식되며, 630nm 그 이상은 적색으로 인식된다. 따라서, 적색 색상 채널은 (주로) 적색 파장 영역에서, 녹색 채널은 (주로) 녹색 파장 영역에서, 청색 색상 채널은 (주로) 녹색 파장 영역에서 방출한다.
스크린은 전형적으로 스크린의 전체 그리드 내에 배치되어 스크린의 이미지 포인트들(픽셀들)을 형성하고 스크린의 전체 이미지 영역을 채우는 다수의 광 요소를 포함한다. 각각의 색상 채널은 스크린의 광 요소의 서브셋을 형성하고, 상기 광 요소의 스펙트럼 방출 특성은 각 색상 채널의 채널-특정 스펙트럼 방출 특성에 대응한다. 스크린의 각각의 이미지 포인트는 예를 들어 다른 색상 채널에 포함된 근접한 광 요소의 그룹에 의하여 형성된다. 유사한 이미지 포인트에 속하는 상이한 색상 채널의 광 요소는 스크린의 서브픽셀로 칭한다. 각 색성 채널의 광 요소는 각각 그리드형태로 배열된다. 색상 채널의 그리드는 공간적으로 서로 중첩되어 스크린의 이미지 포인트의 전체 그리드를 형성한다.
모바일 전자 장치의 카메라는 전형적으로 대략 400nm 에서 800nm 사이의 파장의 광에 반응하고 여러 다른 색상 채널을 가지는 색상 카메라이다. 카메라는 전형적으로 각 색상 채널에 대한 채널-특성 민감도를 가지고, 여기서 민감도는 앞으로 Cc(
)로 칭한다. 예를 들어, 카메라는 적색 색상 채널, 청색 색상 채널, 및 녹색 색상 채널을 포함한다. 많은 경우에, 쌍으로 된 카메라의 색상 채널의 파장 영역(대개 그러나 완전히는 아닌) 스크린의 색상 채널에 대응한다.
카메라의 컬러 채널 각각은 이미지 센서의 센서 요소의 서브 세트에 의해 형성되며, 그 스펙트럼 민감도는 카메라의 각 컬러 채널의 채널 특정 스펙트럼 민감도에 대응한다. 각 색상 체널의 센서 요소는 그러므로 이미지 센서에 펼쳐진 서브 그리드 각각에 배열된다. 상이한 색상 채널의 센서 요소의 서브 그리드는 상호적으로 공간적으로 중첩되고 그러므로써 이미지 센서의 센서 요소의 전체 그리드를 형성한다. 예를 들어, 적색 색상 채널의 센서 요소가 가장 적색 광에 민감하며, 녹색 색상 채널의 센서 요소가 녹색 광에 가장 민감하고, 청색 색상 채널의 센서 요소가 청색광에 가장 민감하다. 예를 들어, 적색광은 605nm 또는 그 이상의 파장을 가지고, 녹색광은 대략 555nm 및 청색광은 450nm 또는 그 이상의 파장을 가진다. 상이한 컬러에 대한 파장 영역의 다른 예가 상술되어 있다.
예를 들어, 모바일 전자 장치의 제어 유닛은 미리 정의된 조명 이미지 순서의 하나 또는 그 이상의 조명 이미지 각각을 표시하기 위한 모바일 전자 장치의 스크린을 활성화하도록 구성될 수 있다.
- 상기 스크린의 단일 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 이 색상 채널에 미리 정의된 균일한 밝기 값으로 이 색상 채널의 모든 활성화된 광 요소를 활성화하는 방법에 의하여
- 몇몇의 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 상기 각 색상 채널에 대해 미리 정의된 균일한 밝기값을 갖는 모든 활성화된 광 요소를 활성화하는 방법에 의하여,
- 전술한 균일한 밝기 값을 그래디언트(Gradient)로 대체하는 방법에 의하여. 균일한 밝기값으로 활성화되는 대신에, 주어진 색상 채널의 활성화 된 조명 요소는 예를 들어, 이 색상 채널에 대해 정의된 그래디언트에 따라 서로 다른 상이한 밝기 값으로 활성화 될 수 있다. 각각의 컬러 채널의 그래디언트는 예를 들어, 전체 스크린을 가로 질러 균일 (즉, 일정) 할 수 있는 소정의 벡터 일 수 있다. 이 색상 채널의 조명 요소의 밝기 값은 그래디언트 벡터의 크기에 따라 (또는 균일하게 감소하여) 그래디언트 벡터의 방향을 따라 균일하게 증가한다.
색상 채널의 광 요소의 활성화는 예를 들어 광 요소의 스위칭 방법 또는 광 요소의 최소 가능한 밝기값보다 큰 균일한 밝기 값을 활성화하는 방법에 의하여 가능하다. 활성화된 광 요소에 의하여 측정 물체의 가능한 밝기의 조명을 성취하기 위하여, 각각의 균일한 밝기 값은 선호적으로 광 요소의 가능한 최대의 밝기 값에 대응된다.
따라서 남은 색상 채널의 활성화되지 않은 광 요소 각각은 스위치 오프 되거나 스위치 오프된 상태로 남거나 또는 가장 작은 가능한 밝기 값으로 활성화된다.
균일한 밝기값으로의 활성화는 각 조명 이미지를 균일한 색상 이미지를 가지도록 하고, 따라서 균일한 색상으로 조명하는 스크린의 각각의 이"G 포인트, 또는 조명 이미지과 전체 스크린, 즉 스크린 전체 이미지를 채우지 않으면 가능한 한 가장 작은 가능한 밝기로 스위치 오프되거나 조명된다. 이러한 방법으로 측정된 물체는 스크린에 의해 일정한 방식으로 미리 정의된 스펙트럼 세기의 광으로 공간적으로 조명될 수 있다.
만일, 예를 들어, 스크린의 단일 색상 채널만이 활성화되면, 에를 들어, 적색, 녹색 또는 청색의 스크린의 기본 색상 각각으로 균일하게 스크린이 조명될 수 있다. 예를 들어, 조명 순서는 적색 조명 이미지, 녹색 조명 이미지, 및 청색 조명 이미지 또는 그들 조명 이미지들의 오로지 하나 또는 두 개의 이미지들을 포함할 수 있다. 제어 유닛은 예를 들어, 스크린이
-상기 스크린의 상기 적색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 적색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 적색 조명 이미지를 표시하고,
-상기 스크린의 상기 녹색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 녹색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 녹색 조명 이미지를 표시하고,
- 상기 스크린의 상기 청색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 청색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 청색 조명 이미지를 표시하게 활성화하도록 구성될 수 있다. 조명 이미지들의 순서는 임의적이다.
스크린의 기본 색상의 균일한 혼합물은 여러 색상 채널을 활성화하는 방법에 의하여 생산될 수 있다. 조명 이미지 중 하나는 예를 들어, 가능한 가장 밝은 밝기로 활성화되고 스크린의 모든 광 요소가 활성화된 경우 백색 조명 이미지 (이하 백색 이미지로 부른다) 일 수 있다. 다른 조명 이미지는 예를 들어 스크린의 모든 조명 요소가 스위치 오프 또는 비활성화되거나 가장 작은 가능한 밝기값으로 활성화되는 흑색 조명 이미지 (이하, 블랙 이미지라고도 함) 일 수 있다. 백색 조명 이미지와 흑색 조명 이미지는 예를 들어 남은 측정 이미지들을 조정하거나 주변 광 영향을 측정하기 위하여 사용될 수 있다. 특정 최대 또는 최소 밝기에 의존하는 조정은 예를 들어 선형 함수 (시프팅 및 스케일링)을 통해 이루어질 수 있고, 예를 들어 이미지의 어두운 영역을 강조하거나 이미지의 밝은 영역을 줄이기 위하여 비선형 함수를 통하여 수행할 수도 있다.
조명 이미지를 정의하기 위하여 후술하는 하나 또는 그 이상의 조명 파라미터가 예를 들어 사용될 수 있다:
- 각각의 조명 이미지를 디스플레이 할 때 스크린(7)에 의하여 방출되는 광의 스펙트럼 구성, 및/또는
- 스크린의 각 색상 채널에 대하여, 균일한 밝기 값, 및/또는
- 각 조명 이미지에 의하여 채워진 스크린 영역, 특히 스크린 영역의 사이즈 및 모양, 및/또는
- 스크린의 전체 이미지 영역 내에서 각 조명 이미지들에 의하여 채워지는 스크린 영역의 배열.
조명 이미지들 각각은 전형적으로 연속적이다. 예를 들어, 하나, 여럿, 또는 각 조명 이미지들은 스크린의 전체 이미지 영역을 채울 수 잇다. 그러나, 하나, 그 이상 또는 조명 이미지 각각은 오로지 스크린의 전체 이미지 영역에서 일부-영역만을 채우는 것이 가능하고, 조명 이미지에 의하여 채워진 일부 영역 밖 (예를 들어 광 요소가 스위치 오프되거나 비활성화되어 조명되지 않거나 또는 가능한 한 최소 밝기로 조명된다)은 검정색인 것이 전형적이다. 조명 이미지에 의하여 각각 채워지는 스크린 영역은 예를 들어 적어도 1/6, 1/5, 1/4, 1/3, 1/2, 또는 그 이상에 대응한다. 예를 들어, 조명 이미지 순서는 스크린의 전체 이미지 영역의 대략 1/R만을 각각 채우는 R 개의 조명 이미지들로 구성될 수 있고, 여기서 R은 2보다 크고, 20보다 작은 자연수이다. 전형적으로, 이는 3 과 10 사이에 해당한다. 예를 들어, R= 3, 4, 5, 또는 6이다. 전형적으로, 조명 이미지들의 각각의 채워진 일부 영역은 스크린 상에서 상호적으로 겹치지 않는다.
조명 이미지들의 각각의 채워진 일부 영역은 스크린의 전체 이미지 영역 안에서 동일한 위치에 배열된다. 조명 이미지들은 이후 그러나 전형적으로 서로 적어도 하나의 그들의 색상으로 차이가 있다. 대안적으로, 조명 이미지들이 단지 그들의 색상에서 차이가 있는 것만 가능한 것이 아니라 스크린에서의 배열 상의 차이가 있는 것도 가능하다. 게다가, 조명 이미지들은 색상에서는 차이가 없고 스크린 상에서의 배열에서만 차이가 있을 수 있다.
예를 들어, 조명 이미지 각각의 이미지 내용은 단일 색상 방식으로 채워지는 영역 (일반적으로 언급 된 부분 영역을 완전히 채운) 일 수 있으며, 여기서 색상은 예를 들어 스크린의 기본 색상 (예: 적색, 녹색 또는 청색) 또는 흰색 (동일한, 바람직하게는 최대 밝기를 갖는 모든 색상 채널) 일 수 있다.
만일 조명 이미지들이 동일한 색상을 가지고 그들의 스크린 상의 위치만 다르면, 조명 이미지는 전형적으로 단일 색상 방식 (완전히 각 일부-영역이 채워진)으로 채워지고, 색상, 예를 들어 각 경우 스크린의 동일한 기본 색상 (예를 들어, 적색, 녹색 또는 청색)이거나 흰색(동일한, 바람직하게는 최대 밝기를 갖는 모든 색상 채널)일 수 있다.
예를 들어, 스크린의 전체 이미지 영역은 상단 가장자리, 하단 가장자리, 좌측 가장자리, 및 우측 가장자리를 포함할 수 있고, 조명 이미지의 채워진 부분-영역은 스크린의 전체 이미지 영역의 상단 가장자리부터의 거리가 서로 다르고, 렌즈는 스크린의 전체 이미지 영역의 상단 가장자리 위에 배치될 수 있다.
예를 들어, 조명 이미지 순서는 후술하는 하나 또는 여러 개의 추가적인 조명 파라미터들에 의하여 정의될 수 있다:
-조명 이미지들의 총 개수,
- 조명 이미지들의 순서,
- 조명 이미지들의 디스플레이 지속 시간,
- 개별 조명 이미지의 디스플레이 사이의 시간 간격.
조명 이미지 결과의 총 개수는 예를 들어 카메라 및 스크린의 색상 채널의 수에 따라 달라진다. 만약, 예를 들어, 후자 둘 모두가 서로 대응하는 세 개의 색상 채널 (예를 들어, 적색, 녹색 및 청색)을 가지면, 조명 이미지 순서는 적어도 세 개의 조명 이미지들을 구성하고, 구체적으로 이는 각 색상 채널 (적색, 녹색 및 청색)이다. 추가적으로, 조명 이미지 순서는 앞서 기술된 흰색 이미지 및 블랙 이미지를 구성하고, 따라서 조명 이미지 순서는 예를 들어 (적어도) 다섯 개의 조명 이미지들을 구성한다. 순서는 예를 들어 임의적인 방식으로 구성될 수 있다. 디스플레이 지속 기간은 이미지 센서가 측정 이미지를 포착하는 동안 적절하게 조명하기에 적어도 충분할 만큼 선택되어야 한다. 디스플레이 지속 기간은 전형적으로 10ms 에서 500ms 범위에 놓인고, 선호되게는 100ms 내지 200ms 범위에 놓인다. 조명 이미지들은 통상적으로 시간적으로 연속적인 방식으로 디스플레이되고 동시에는 디스플레이 되지 않는다. 개별 조명 이미지의 디스플레이 사이의 시간 간격은 전형적으로 1ms 내지 20ms 사이의 범위, 바람직하게는 5ms 와 10ms 사이의 범위에 있다. 따라서 측정 이미지 포착을 위한 총 지속 시간은 일반적으로 60ms 에서 3000ms 사이이다.
기록된 측정 이미지 각각은 각 이미지 포인트들이 할당된 이미지 데이터 뿐만 아니라 복수의 이미지 포인트를 가진다. 앞서 기술된 바와 같이, 시스템은 장치의 부분(예를 들어 장치의 프로세서의 논리적 또는 통합된 유닛)일 수 있는 평가 유닛 또는 시스템의 다른 요소의 일부 (예를 들어 나머지 요소의 프로세서의 논리적 또는 통합된 유닛)을, 예를 들어 컴퓨터 서버, 포함할 수 있다.
예를 들어, 평가 유닛은, 예를 들어, 컴퓨터 프로그램 제품에 의하여, 측정 이미지의 이미지 포인트들을 병합하고, 병합된 이미지 포인트들의 이미지 데이터를 각 병합된 이미지 포인트의 측정 데이터 세트로 그룹화한다. 이미지 포인트들의 병합은 통상적으로 측정 이미지의 이미지 등록 방법에 의하여 수행된다. 병합된 이미지 포인트는 단일의 등록된 측정 이미지를 형성하고, 등록된 측정 이미지의 이미지 포인트는 각각 할당된 측정 데이터 세트를 포함한다.
기록된 이미지 데이터의 추가 프로세싱은 측정 데이터 세트를 사용하여 수행되는 것이 바람직하다. 개별을 대신하여 순차적인 개별 측정 이미지의 평가, 평가는 모든 측정 이미지에 의하여 수행되고 여기서 기술되는 측정 데이터 세트의 사용 바업ㅂ에 의하여 모든 측정 이미지가 순차적으로 이루어진다. 측정 이미지들의 이미지 데이터로부터 얻어지는 측정 데이터 세트들은 예를 들어 측정 이미지들의 공통 위치에 각각 할당되고 (또한 스펙트럼 지문들이라고도 불리는) (초)분광 데이터 세트들을 나타내며, 조명 이미지 시퀀스 동안 포착된 여러 측정 이미지 또는 모든 측정 이미지의 측정 데이터를 포함한다. 제안된 측정 데이터 세트를 사용하여 (개별적으로 처리되는 병합된 이미지 포인트이 측정 데이터 세트를 통해) 공간적으로 해결된 방식으로 측정 데이터를 처리하는 것이 가능하다.
여기서, 각 측정 데이터는 다른 측정 데이터 세트와 독립적인 측정으로서 이해될 수 있고, 측정된 데이터 세트에 의해 각 이미지화되는 물체 영역안의 물체의 국부적인 특성에 의존한 측정으로 이해될 수 있다. 카메라의 해상도에 따라서, 측정 데이터 세트 중 하나에 의해 각각 표현되는 다수의 독립적인 측정이 제안된 측정 방법의 일회적인 실현에 의하여 생성될 수 있다. 각각의 측정으로 생성 된 다수의 측정 데이터 세트 때문에, 측정 데이터 세트는 예를 들어, 인공 신경망과 같은 분류 방법과 같은 기계 학습의 훈련 알고리즘에 대한 학습 데이터로서 특히 적합하다. 따라서, 측정 데이터 세트는 단지 그러한 알고리즘 방법에 의한 측정에 적합하다. 측정 유닛은 바람직하게는 훈련되거나 또는 훈련가능한 기계 학습 방법에 의한 알고리즘, 예를 들어 인공 신경망과 같은 예를 들어, 분류 방법에 의하여 측정 데이터를 평가하도록 구성될 수 있다. 측정 데이터 세트의 데이터 포맷은 조명 이미지 순서가 미리 정의된 사실에 따른 방법에 대응될 수 있다. 특히, 조명 이미지 순서의 정의에 따라, 어떤 측정 이미지 세트의 요소가 어떤 조명 이미지 (그리고 따라서 예를 들어 어떤 파장 영역)인지를 미리 결정할 수 있다. 이러한 미리 정의된 평가 알고리즘 또는 통상적으로 특정 데이터 포맷을 요구하거나 특정 데이터 포맷을 위해 프로그램화 된 조정 모델에 따른 고정된 할당은 추가적인 측정 데이터 세트의 프로세싱을 심플화한다.
통상적으로, 측정 이미지들의 이미지 변환, 예를 들어, 측정 이미지의 포착 중에 측정된 물체와 장치 사이의 상대적인 움직임을 보상하거나 감하기 위해 측정 이미지의 이미지 정렬에 (국부) 좌표 변환 (회전, 병진, 기울이기 및/또는 (국부) 재조정, 서브 픽셀 보간)이 필요하다. 동일한 경우에, 전형적으로 X≠1인 1: X 대응인 측정 이미지들의 이미지 포인트들 사이에 1:1 대응이 존재한다. X ≠1일 때, 병합된 이미지 포인트의 측정 값은 일반적으로 측정 이미지 데이터 세트를 결정하기 위하여 보간되거나 평균된다.
예를 들어, 물체 인식 알고리즘은, 바람직하게는 측정 이미지 안의 측정 포인트를 인식하거나 또는 측정 물체의 이미지인 등록된 측정 이미지 안에서 인식하기 위하여 측정 이미지를 기초로 실행된다. 이러한 이미지 포인트를 앞으로 물체 이미지 포인트라 칭한다. 각 인식된 물체 이미지 포인트들은 측정 이미지 내 또는 등록된 측정 이미지 내의 물체 표면 위의 부분-영역을 이미지화한다. 이러한 부분 영역은 앞으로 물체 포인트라 칭한다. 예를 들어, 물체 인식 알고리즘은 "영역 확장" 알고리즘을 포함할 수 있다. 첫 번째 이미지 포인트는 알고리즘의 시작 부분에 정의되며 이미지 포인트는 물체 이미지 포인트라고 가정한다. 예를 들어 측정 이미지들 중 하나 또는 등록된 측정 이미지의 중간에 이미지 포인트가 제 1 이미지 포인트로 정의될 수 있다. 대안적으로, 제 1 이미지 포인트는 사용자 인터페이스를 통하여, 예를 들어, 특히 터치 스크린으로 디자인된 스크린에, 표시된 측정 이미지의 영역에 마킹하거나, 또는 등록된 측정 이미지를 마킹함으로써, 사용자에 의하여 정의될 수 있다. 이후, 인접하는 이미지 포인트의 측정 데이터 세트가 제 1 이미지 포인트의 측정 데이터 세트와 얼마나 크게 다른지를 조사한다. 인접한 이미지 포인트가 마찬가지로 물체 이미지 포인트로 분류되는 것은 적절하게 낮은 편차만 주어진다. 이러한 알고리즘 (각각 새로운 물체로 분류되는 물체 포인트에서 시작되는) 은 더 이상의 이미지 포인트가 물체 포인트로 분류되지 않을 때까지 계속되거나 반복된다.
만일 스크린과 카메라가 여러 색상 채널을 가지고 조명 이미지들이 앞서 기술한 바와 같이, 색상이 서로 다르면, 예를 들어, 측정 물체의 관련된 물체 포인트 내 측정 물체의 "스펙트럼 지문"이라고 불리우는 각각의 측정 데이터 세트일 수 있다. 만일 스크린이 예를 들어 M개의 색상 채널을 가지고 카메라는 예를 들어 N개의 색상 채널을 가지면, 각 측정 데이터 세트는 예를 들어 M x N 개 또는 그 이상의 측정 값을 포함할 수 있다. 예를 들어, 조명 이미지는 스크린의 각 색상 채널에 표시될 수 있고, 각각의 조명 이미지에 대해 포착된 측정 이미지가 있을 수 있으며, 카메라의 개별 색상 채널에서 측정된 밝기 값은 측정 데이터 세트에서 개별 측정 값으로 포함할 수 있다. 여기서 물체 포인트의 측정 데이터 세트의 (제 1) M x N 측정 값은 예를 들어, 카메라와 색상 채널의 상이한 조합에 대응한다. 예를 들어, 만일 카메라와 스크린에 각각 적색, 녹색, 및 청색 색상 채널을 포함하면, M=3, 및 N=3 일 수 있다. 만일 앞서 설명한 흰색 이미지와 블랙 이미지가 추가적으로 표시되고 측정 이미지가 포착이 되면, 각 측정 데이터 세트는 (M+2) x N 개의 측정 값을 포함할 수 있다.
카메라와 스크린이 각각 수 개의 색상 채널을 포함하는 경우, 측정 물체의 물체 포인트 또는 그 물체 상에 속하는 측정 데이터 세트는 이후 F (d, c)라고도 불린다. 인덱스 d는 조명 이미지 (또는 스크린의 색상 채널)의 색상을 설명하고, 예를 들어 수치적으로 정의 될 수 있고, 상기 예들에 따르면, 예를 들어 1
d≤M 또는 1
d≤M+2를 만족 시키며, 또한, 인덱스 d는 대응하는 문자에 의해 정의 될 수 있고, 상기 예들에 따라, 예를 들어, d = {r, g, b} 또는 d = {r, g, b, w, s} 여기서, r, g, b는 스크린의 적색, 녹색 및 청색 채널 또는 각각 적색, 녹색 및 청색 조명 이미지를 나타내고, w 는 백색 이미지 및 s 는 검정 이미지를 나타낸다. 따라서, 카메라의 색상 채널을 나타내는 인덱스 c는 수치적으로 정의 될 수 있고, 예를 들어 위의 예에 따르면, 예를 들어 N = 3과 같이 1
c≤N을 만족한다. 대안적으로, 인덱스 c는 또한 대응하는 문자에 의해 정의 될 수 있고, 예를 들어 c = {r, g, b}를 수행하며, 여기서 r, g, b는 각각 카메라의 적색, 녹색, 및 청색 색상 채널을 의미한다. 예를 들어, 측정 데이터 세트에 포함 된 측정 데이터는 표 형태로 나타낼 수 있습니다. 예를 들어, d = {r, g, b, w, s} 및 c = {r, g, b} 이고 아래의 표처럼,
|
조명 이미지의 색상,
d
(스크린의 색상 채널) |
||||||
| r | g | B | s | w | ||
| 카메라의 색상 채널 | r | F( r,r ) | F( g,r ) | F( b,r ) | F( s,r ) | F( w,r ) |
| g | F( r,g ) | F( g,g ) | F( b,g ) | F( s,g ) | F( w,g ) | |
| b | F( r,b ) | F( g,b ) | F( b,b ) | F( s,b ) | F( w,b ) | |
표 1: 측정 물체의 측정 포인트에 대한 측정 데이터 세트 F(d, c) 구성 요소에 대한 예시.
예를 들어, F(d, c)는 측정 물체의 각 물체 포인트에 대한 밝기값을 포함하고, 상기 밝기 값은 카메라의 색상 채널 c의 센서 요소에 의하여 기본 색상 d의 조명 이미지로 조명 하에 측정된다.
개별 이미지 포인트의 측정 데이터 세트는 그러나 색상 정보 없는 전체 밝기 값일 수 있다. 예를 들어, 측정 데이터 세트는 이후 G(a)로도 지칭되는, 소위 "광도 측정 벡터"일 수 있으며, 여기서 인덱스 a는 조명 이미지 순서의 개별 조명 이미지를 나타낸다.
예를 들어, 앞서 기술된 바와 같이, R 개의 조명 이미지가 제공되고, 앞서 기술된 바와 같이, 각각은 전체 스크린 영역의 1/R을 커버하고, 통상적으로는 서로 오버랩 되지 않는다. 그들은 스크린 상에서 그들의 위치가 다르고 전체 스크린을 함께(만일 동시에 표시되면) 커버한다. 조명 이미지의 채워진 부분 영역은 스크린의 총 이미지 영역의 상부 가장자리까지의 거리가 서로 상이하며, 렌즈는 스크린의 전체 이미지 영역의 상부 가장자리 상에 배치된다. 또한, 조명 이미지 순서는 이미 상술한 백색 이미지 및 흑색 이미지를 포함 할 수 있다. 인덱스 a는 예를 들어 수치적으로 정의 될 수 있으며 예를 들어 1
a≤R 또는 1
a≤R+2 (백색 이미지 및 검정 이미지)와 같이 수행될 수 있다. 예를 들어 R = 3에 대한 "광도 측정 벡터" G (a)는 다음과 같은 구성 요소를 갖는다.
| 조명 이미지, a | |||||
| 1 | 2 | 3 | 4 | 5 | |
| 총 밝기값 | G(1) | G(2) | G(3) | G(4) | G(5) |
표 2: 측정 물체의 측정 포인트에 대한 측정 데이터 세트 G(a)의 구성요소에 대한 예시.
통상적으로 각 부분 영역에 있는 스크린의 모든 색상 채널은 가능한 한 가장 큰 밝기 값으로 활성화되어 조명 이미지가 백색으로 보인다. 예를 들어, 광도 측정 벡터 G(a)는 각각의 물체 이미지 포인트에서 카메라의 모든 센서 요소를 갖는 인덱스 a를 갖는 조명 이미지로 조명 하에서 측정된 각각의 인덱스 a에 대한 총 밝기값을 포함한다.
원칙적으로, 그러나, 조명 이미지 순서는, 스펙트럼 구성 또는 색상이 서로 상이하고, 전술한 바와 같이, 각각 채워진 부분 영역의 위치 a에 의해 서로 다른 조명 이미지를 포함하는 것도 가능하다. 예를 들어, 위에서 설명된 스펙트럼 지문 F(c, d)는 각 위치 a에 대해 획득 될 수 있으며, 색상 조명 이미지는 이 위치 a에서 설명한 부분 영역만 채운다. 이러한 방식으로, 각각의 물체 포인트에서의 스펙트럼 반사 특성 및 측정 물체의 광택에 관한 정보를 포함하는 측정 데이터 세트 가 각각의 물체 포인트에 대해 생성 될 수 있다.
예를 들어, 측정 데이터 세트 H (c, d, a) 뿐만 아니라 광도 측정 벡터 G(a)의 평가를 통해 측정 물체의 광도 특성에 관한 정보를 얻을 수 있다. 다른 가능한 많은 예시들을 두고서, 예를 들어 (인간 또는 동물)의 머리카락이나 서로 옆에 놓인 많은 (인간) 모발로 형성된 표면이 측정 물체로 간주될 수 있다.
측정 이미지 안의 물체 측정 포인트 또는 이미지 포인트의 개수에 의존하여, 조명 이미지 순서 동안 측정 이미지를 포착하는 방법에 의하여 측정 물체의 수백, 수천, 또는 수만 개의 측정 데이터 세트가 생산될 수 있다.
예를 들어, 평가 유닛은 예를 들어, 앞서 기술된 스펙트럼 지문 F(c,d), 광도 측정 벡터 G(a) 및/또는 측정 데이터 세트 H(c,d,a)를 적어도 하나의 미리 정의된 측정 데이터 세트와 함께 하나, 여러 또는 각 측정 데이터 세트를 비교하도록 구성될 수 있다. 이러한 비교의 결과는 예를 들어, 각 각의 참조 데이터 세트로부터 각각의 측정 데이터 세트가 얼마나 다른지를 측정하는 차원 값일 수 있다. 예를 들어, 적어도 하나의 참조 데이터 세트는 특징 공간에서 정의될 수 있고, 측정 데이터 세트는 먼저 비교 이전에 평가 유닛을 통해 측정 데이터 세트와 참조데이터 세트를 이러한 특징 공간 안에서 비교를 수행하기 위해 이 특징 공간으로 변환될 수 있다.
몇개의 참조 데이터 세트가 주어지면, 하나의 결과는 각각의 측정 데이터 세트가 가장 다른 참조 데이터 세트의 식별일 수 있다. 예를 들어, 각각의 측정 데이터 세트가 기준 데이터 세트와 다르지 않을수록 이 기준 데이터 세트가 얻는 랭크가 커지는 랭킹이 생성 될 수 있다. 각각의 측정 데이터 세트의 분류는 가장 높은 랭크를 갖는 기준 데이터 세트를 식별함으로써 평가 유닛을 통해 영향을 받을 수 있다.
여러 또는 모든 측정 데이터 세트를 (여러) 참조 데이터 세트와 비교한 이후, 설명 된 순위 위에 나온 데이터 세트를 참조하고, 예를 들어, 최상위 순위를 가장 자주 얻었으므로 가장 높은 총 순위 ("다수결 결정"당)를 얻을 수 있다. 측정된 물체 전체의 분류는 이를 고려하여 평가 단위를 통해 영향을 받을 수 있다.
최상위 순위를 가진 식별된 참조 데이터 세트는 예를 들어, 사용자 인터페이스, 예를 들어 장치의 스크린을 통하여, 측정 결과가 출력될 수 있따. 최상위 순위를 가진 식별된 참조 데이터를 대신하여, 이러한 참조 데이터 세트 또는 대응 방법의 측정 물체의 분류에 대응하여 측정 물체의 특징을 출력할 수도 있다.
발명의 몇 실시예는 기록된 측정 값을 모으고 저장하는 유형뿐만 아니라 애플리케이션 적용-특정 참조 값과 비교하는 것과도 관련된다. 일부 실시 예에서, 예를 들어 개별 측정 데이터 또는 측정 데이터 세트 (스펙트럼 서명)의 수집 및 저장 그리고 데이터 은행으로부터 대응하는 각각의 기준 값 (스펙트럼 서명)과의 직접 비교가 평가 유닛의 애플리케이션-특정 구체화의 과정에서 실행된다. 예를 들어, 모든 측정 값에 대해 수행 된 기록 된 측정 값의 특성 모형의 집합적 수집 및 저장이 수행 될 수 있고, 예를 들어, 동일한 방식으로 결정된 기준의 특징 모형과 이들 모형의 비교가 수행 될 수 있고, 인공 신경망의 시냅스 요소 또는 예를 들어 분류 방법과 같은 다른 기계 학습 방법의 유사한 모듈에서 응용 특정 가중을 통해 수행 될 수 있다. 모델 기반 분석은 참조 패턴과의 단순 비교와 비교 할 만하지만 특정 적용 사례에 대해 수행되고 응용 영역에서 측정 신호의 예상되는 일반적인 변동을 다루는 체계적이고 포괄적인 측정 캠페인 결과 측정 값으로부터 결정을 도출하는 암시적 모델을 구성한다.
평가 유닛은 앞서 기술한 측정 데이터 세트와 참조 데이터 세트 사이의 훈련된 또는 최적화된 인공 신경망 방법에 기초한 비교에 의하여 실행될 수 있다. 전체로서 측정 물체의 그리고 측정 데이터 세트의 기술된 분류는 이 경우에 인공 신경망을 기반으로 수학적인 분류 모델을 일 예로서 적용될 수 있다. 인공 신경망은 예를 들어 특히 숨은(내부) 층의, 두층 또는 두 층 이상의 다층 페셉트론(peceptrom)일 수 있다.
예를 들어, 기록 된 측정 데이터와 애플리케이션 관련 정보 사이의 수학적 관계의 맵핑(mapping)(상기 맵핑은 측정 태스크를 해결하는데 필요함)은 미리 정의된 방정식 시스템의 해에 기초하여 고정된 방식으로 영향을 받지 않으며, 바람직하게는 기계 학습 분야에서 자유롭게 구성할 수 있고 매개 변수화 된 알고리즘을 기반으로 애플리케이션 별 방식으로 구현할 수 있다.
인공 신경망은 훈련 사례들을 통해 훈련될 수 있다. 예를 들어, 모니터링된 학습 방법이 주어지면, 다수의 훈련 사례는 입력 벡터와 출력 벡터로 제공될 수 있다. 제안 된 방법으로 생성되고, 예를 들어 전술한 접근법에 따라 특성 특성이 결정된, 공지된 측정 대상의 측정 이미지의 전술한 측정 데이터 세트는 입력 벡터로서 작용할 수 있다. 전형적으로, 특성 특성은 단일 측정 데이터 세트로부터 도출 될 수 없지만, 많은 측정 데이터 세트의 특성의 일반화로서 결정되며, 이는 암시적으로 결정된다. 측정 이미지와 독립적으로 획득되고 관심 물체인 측정 물체의 특정 특성 (예 : 화학 조성, 성숙도, 광도 특성 또는 관심 물체인 측정 물체의 기타 특성)을 특성화하는 측정값 출력 벡터로 결정될 수 있다. 인공 신경망 (즉, 그의 파라미터)는 예를 들어 에러 피드백 (역 전파)에 의해 이러한 훈련 경우에 대해 후속적으로 최적화된다. 그러한 기술에 관한 더 자세한 내용은 예를 들어 다음 학술지에서 얻을 수 있다.
R. Rojas: Theory of neural networks: A systematic introduction, Springer, 1996
R. Brause: Neuronal networks: An introduction into neuroinformatics, Teubner, 1995
J. Lunze Artificial intelligence for engineers, Oldenbourg 2010
미리 정의된 적어도 하나의 참조 데이터는 예를 들어 데이터 메모리, 예를 들어 모바일 전자 장치의 내부 데이터 메모리 또는 시스템의 다른 구성 요소, 예를 들어 컴퓨터 서버 또는 클라우드에 저장될 수 있다. 평가 유닛은 설명된 비교를 수행할 수 있도록 데이터 메모리에 자동으로 접근하고 참조 데이터 세트를 데이터 메모리에서 검색하도록 구성될 수 있다. 예{를 들어 평가 유닛은 사용자 인터페이스를 통한 입력에 의존하여 참조 데이터 세트를 요청하도록 실행하는 것을 구성할 수 있다. 예를 들어, 조사될 측정 물체의 유형 및 이 측정 물체의 어떤 특성이 사용자 인터페이스에 의하여 조사되는지를 검사할 수 있다.
평가 유닛은 측정 데이터 세트를 평가할 때, 카메라의 스펙트럼 민감도 Cc (
) 또는 스크린의 스펙트럼 방출 특성 Dd (
) 또는 양쪽을 고려하여 구성 될 수 있다. (지표 c와 d는 위에 설명된대로 정의된다.) 이러한 방법으로, 예를 들어 특히 전술한 스펙트럼 지문 F (d, c)의 비교 가능성 또는 광도 측정 벡터 G (a)과 같이 상이한 스크린 및 카메라에 의해 얻어진 측정 데이터 세트의 비교 가능성이 있다. 카메라의 스펙트럼 민감도 Cc (
) 및 스크린의 스펙트럼 방출 특성 Dd (
)는 예를 들어 분광계를 통해 또는 각각의 제조자 사양으로부터 유도되어 측정될 수 있다.
추가적으로, 또는 전술한 평가의 대안으로서, 평가 유닛은 카메라의 스펙트럼 민감도 Cc (
) 및 스크린의 스펙트럼 방출 특성 Dd (
)를 고려하여 측정 데이터 세트로부터 측정 물체의 반사 특성을 결정하도록 구성될 수 있다. 언급된 반사 특성과 관련하여, 이는 예를 들어 (각각의 물체 포인트들에서) 각 측정된 물체의 반사 정도의 의존성을 측정하는 측정된 물체의 (각각의 물체 포인트들에서) 반사 스펙트럼 일 수 있다. 많은 경우에서의 겨정된 반사 스펙트럼은 측정된 물체 (적어도 그 표면)의 (생)화학 조성무에 대한 정보 또는 이와 관련된 측정된 물체의 특성에 관한 정보를 허락한다.
보편적으로, 관심이 있는 물체 포인트에서의 측정 물체의 측정된 "스펙트럼 지문" F(d, c)와 측정 물체의 실제 (알려지지 않은) 반사 스펙트럼 S(λ)는, 측정 포인트에서, 수학적으로 전체 파장 영역에서의 적분으로 나타낼 수 있다.
스크린의 d = {r, g, b, w, s} 인 스펙트럼 방출 특성 Dd (
)과 카메라 c = {r, g, b}의 스펙트럼 민감도 Cc (
)는 상기 한 바와 같이 정의된다.
각각의 파장 영역 Ak와 Ak + 1 사이의 각 파장 영역 [Ak, Ak + 1]에 대한 평균값으로 스펙트럼 채널 SK 는 ΔA = Ak + 1-AK 로 정의될 수 있다.
스펙트럼 지문 F(d, c)의 구성요소는 대략적으로 스펙트럼 채널 Sk의 합산으로 보여질 수 있고, 따라서:
각 장치에 따라서 특정한 계수
스펙트럼 채널 Sk는 장치-특정 변수 Dd (
) 및 Cc (
)에 의존하지 않고 (또는 단지 비교적 약하게), 따라서 모든 유형의 장치에 걸친 응용에 특히 적합하다. 스펙트럼 채널 Sk는 통상적으로 디스플레이와 카메라의 전체 스펙트럼 파장 영역을 동반한다. 알려진 장치-특정 변수 Dd (
) 및 Cc (
)와 주어진 스펙트럼 지문 F(d, c)의 측정이 주어지면 스펙트럼 채널 나의 알려지지 않은 수식 시스템 (수식 3)이 얻어진다. 만일 수식 시스템이 선형 독립에 적합하면, 이는 스펙트럼 채널 Sk를 얻을 수 있다. 스펙트럼 채널 SK의 개수와 위치는 이를 위해 적절하게 선택될 수 있다. 만일 스펙트럼 채널 SK의 개수가 너무 높게 선택되면, 수식 시스템은 그러나 더 이상 선형 독립에 적합하지 않다. 몇몇의 적용에 있어서, 예를 들어, 상업적으로 가능한 스마트폰에 있어서, 수식 시스템은 SK가 예를 들어 5 내지 6개의 채널로 주어진다. 많은 경우에 비선형 효과를 이용하면서 더 많은 채널 수 Sk를 달성할 수 있다. 규칙에 따라 계산된 각 장치의 채널 Sk에 대한 가능한 개수 및 위치는 장치- 측정 변수 Dd (
) 및 Cc (
)와 노이즈 영향 사이의 차이에 의존한다. 몇몇의 경우에, 예를 들어 15 개의 채널 Sk도 실현 될 수 있다.
앞서 설명된 방식으로 결정된 반사 스펙트럼 S(λ) 는 제한된 정확도를 가진 근사값이다. 이럼에도 불구하고, 유용한 적용이 이러한 방법으로 실행된다.
스펙트럼 채널 Sk 의 대안으로, 또는 추가적으로 언급된 반사 특성은 예를 들어 (측정 물체 포인트에서) 측정 물체로의 광의 입사각에 대한 (각각의 물체 포인트에서) 측정 물체의 반사각의 의존성을 포함하거나 포함할 수 있다. 각-의존도 반사각은 많은 경우에 표면의 광도에 대한 객관적인 추론을 허용하여 (확산되게 반사되는 광과 반대로) 측정 물체의 표면에 지시된 방식으로 반사되는 광의 방향으로 반사되는 광의 몫에 의존한다. 예를 들어, 이러한 각-의존 반사 각은 앞서 언급한 각 물체 포인트 또는 정량적으로 측정되는 광도 측정 벡터 G(a) 또는 측정 데이터 세트 H(c,d,a)에 기존하여 결정된다. 매우 빛나는 표면에 대하여, 표면의 각-의존 반사는 통상적으로 측정된 반사 빔 경로의 사출각도가 입사 빔의 입사각에 정확하게 일치할 때 특히 높고 좁은 강도 최대치를 표시한다. 예를 들어, 각 픽셀에 대한 밝기 히스토그램은 계산될 수 있다. 예를 들어, 각도 (스크린의 현재 조명되는 부분에 대응하는 반사)에 차원 값은 히스토그램 또는 이러한 특성, 예를 들어 임계값 또는 히스토그램의 분석에 기존하여 계산될 수 있다.
측정 데이터 세트의 맥락에서, 특히 스펙트럼 지문 F (c, d), 광도 요인 G (a) 및 측정 데이터 세트 H (c, d, a)의 맥락에서 이미 기술 된 바와 같이, 스펙트럼 지문 평가 유닛은 추가로 또는 대안적으로, 측정된 물체의 결정된 반사 특성, 예를 들어 스펙트럼 채널 Sk 또는 각도 의존 반사도에 대한 결정된 값을 적어도 하나의 소정의 기준 반사 특성과 비교하도록 구성 될 수 있다.
특히 모바일 장치 (예를 들어 스마트 폰)의 스크린 및 카메라의 특성에 대한 장치 종속 변형의 배경에 비추어 볼 때 매우 낮지만 이러한 변형은 완전히 제외될 수 없고, 예를 들어 측정 정확도를 높이기 위해 교정을 수행할 수 있다. 재료의 가능한 한 낮은 변형 및 스펙트럼 특성으로 바람직하게는 특징화된 알려진 교정 표준의 일회 또는 반복된 측정은 모바일 장치 (예를 들어 스마트폰)으로 수행될 수 있다. 이러한 측정을 위하여, 여기서 제안된 측정 방법은 모바일 장치와 이러한 방식으로 생산된 교정 표준의 기술된 측정 이미지에 의하여 실행될 수 있다. 상술한 반사 특성 또는 스펙트럼 채널 Sk의 측정에 의해, 예를 들어 전술한 측정 데이터 세트의 형태로 얻어진 측정 데이터와 이 교정 표준에 대응하는 기준 데이터 세트의 비교는, 예를 들어 평가 유닛에 저장되거나 모바일 장치의 내부 데이터 메모리에 저장 될 수 있다. 이러한 기준 데이터 세트는 예를 들어 하나 또는 그 이상의 교정 표준을 이용한 매우 정확한 방법에 의하여 미리 결정될 수 있다. 예를 들어, 장치-특정 변수 Dd (
) 및 Cc (
)에 대한 값은 스펙트럼 채널 Sk에 대한 측정 데이터와 스펙트럼 채널 Sk의 대응 기준 값의 비교에 기초하여 새롭게 계산 될 수 있고 미래의 측정에서의 사용을 위해 저장 될 수 있다. 예를 들어, 모바일 장치의 제어 유닛 및/또는 평가 유닛은 자동적으로 교정을 위하여 예를 들어, 장치의 교정 모드에서 이전에 활성화된 (예를 들어 사용자 인터페이스를 통한 사용자에 의하여) 필요한 특정 변수 Dd (
) 및 Cc (
)의 새로운 계산을 실행할 수 있도록 포함할 수 있다.
상업적으로 이용 가능하고 특별히 교정된 / 특성 교정 표준, 예를 들어 스펙트럼이 특히 일정한 재료 (PTFE, Teflon)는 상기 보정 표준의 설계에 사용될 수 있다. 추가적인 설계 가능성, 특히 소비자에 의한 선호된 사용과 이에 의해 야기되는 비용으로 추가 하드웨어를 의도적으로 회피하는 것과 관련하여, 일반적으로 용이하게 액세스 가능하고 덜 가변적인 물체를 실제로 또 다른 애플리케이션 목적으로 사용하는데, 지폐와 같은 정보를 보정 표준으로 사용할 수 있다.
모바일 기기 (예를 들어 스마트폰)의 특성, 특히 스크린과 카메라의 전술 한 장치-의존적인 변화가 장치의 정상적인 수명 및 서비스 수명 동안 변경되지 않는다고 가정하면, 이 장치-특정 교정은 일반적으로 한 번만 필요하다. 특성의 장치-의존적인 변화가 커지면, (예를 들어, 과도한 마모에 의한) 모바일 장치의, 스크린과 카메라의 특정 부분, 이러한 교정은 기본적으로 발생하는 변화를 고려하기 위하여 원하는 만큼 자주 반복될 수 있다. 이러한 변화는 제안된 교정으로 감소될 수 있다. 이러한 장치는 종종 색상 카메라의 필터 특성뿐만 아니라 디스플레이의 방출 행동이 다ㅡ므로, 이러한 특성은 종종 많은 노력의 측정 기술로 직접 획득할 수 있기 때문에, 특히 소비자를 위한 스마트폰 및 이와 비교할만한 모바일 장치의 경우에 유리하다.
시스템, 방법, 및 컴퓨터 프로그램에 대해 상이한 애플리케이션이 발생하며, 이들 중 일부는 예시로 나열되고 애플리케이션 콤플렉스(application complex)에 따라 분류된다.
적용 복합물 1:
인간-제약:
-스킨 타입
-머리 타입
-머리 색상
-변색(점, 흑색종)
- 상처 치유, 염증 색상
- (예를 들어 대사성 질환, 감염, 알레르기) 및 / 또는 모발이나 피부 (또는 동물과 함께 모피)의 특정 변화에 근거한 결함의 발생을 객관적으로 평가 및 / 또는 문서화하는 것. 자동적 또는 반자동적 (보조 시스템의 맥락에서), 예를 들어 각각의 질병의 치료, 결핍 증상의 치료, 영양 최적화 또는 치료의 최적화, 피부 및 / 또는 모발 (또는 동물의 경우에는 모피)의 관리를 위한 행동 권고를 공제한다. 예를 들어, 케어 제품 (예 : 로션, 샴푸 등) 또는 특정 식품 (예 : 소위 "기능성 식품", 과일, 인위적으로 제조 된 식품 보조 식품 등) 또는 특정 식품 성분 (예. 비타민, 미네랄 등)은 예를 들어 자동 또는 반자동 방식으로 권장하여 영양 또는 간병을 최적화 할 수 있다.
인간- 화장품 (케어 제품 및 행동 추천):
-스킨 타입, 스킨 색상(일반)
-화장품 선택
-태양 보호 선택
-염료 선택
-케어 제품 선택
-스킨 색상(현재)
-태닝도
-머리 색상 (현재)
-새 채색, 착색 필요?
애완 동물 및 가축
- 스킨, 모피
- 케어 제품
- 건강
적용 복합물 2:
식물성 제품 생산 및 가공:
- 작물, 온실 및 실험실 (모든 유형의 생물학적 및 비 생물 적 스트레스)에서 생체 내 경작 된 식물의 건강 및 영양 상태를 인식
- 농작물의 농업 생산 체계 내에서 잡초와 바람직하지 않은 식물을 인식
- 수확 직후의 수확 품질 매개 변수 결정, 보관, 판매 및 추가 처리 결정
- 바람직하지 않은 제품 인식 | 객체 | 오염 | 수확 직후 / 수확 후 살균 및 해충 침입뿐만 아니라 저장, 판매 및 추가 처리
- 식물 재배 (선택) 또는 종자 생산 (품질 보증)의 틀 내에서 종자의 양 매개 변수 결정
적용 복합물 3:
가죽, 모피, 천연 또는 인공 원재료의 직물 특성 결정 :
-색상
- 질감
-구성
- 원산지
- 나이
- 청결
- 색상 뉘앙스, 스타일 상담 (언제 일치하는 직물인지)
적용 복합물 4:
식료품 (과일, 채소, 생선, 육류, 버섯, 유제품, 가공 식품)의 특성 결정
- 유효 기간
- 신선도, 나이, 성숙도
- 순도, 구성
-다양성
- 가공 정도
- 치료(treatment) 또는 비치료(non-treatment)
기술된 적용 예시에 관하여, 각 측정 물체의 측정 이미지는 예를 들어 시스템의 방법에 의하여 이후 평가되고 제안된 시스템에 의하여 포착된다. 예를 들어 이로부터 유래 가능한 정보 또는 물체의 특정 특성과 같은 각 경우에서 관심 있는 정보는, 예를 들어 모바일 장치의 평가 유닛, 즉 시스템으로부터 결정된다. 예를 들어, 각 행동 추천은 (물체의 결정된 특성 및/또는 이로부터 유래된 정보로부터) 따라서 결정된 정보에 기초하여 이후 결정될 수 있다. 결정된 정보 및/또는 결정된 행동 추천은 예를 들어 모바일 장치의 디스플레이에 의해 및/또는 모바일 장치의 라우드 스피커를 통해 음향적으로 모바일 장치를 통해 사용자에게 출력될 수 있다. 예를 들어, 측정을 실행하기 전에 모바일 장치의 사용자 인터페이스를 통하여 사용자가 입력을 시도하는 것을 예상할 수 있고, 측정된 물체의 유형, 관심 있는 정보의 유형 및/또는 동작 추천의 유형이 지정된다. 앞서 이미 기술한 바와 같이, 조명 이미지 순서의 조명 파라미터 뿐만 아니라 측정 이미지의 평가 역시 이러한 입력에 의존할 수 있다.
여기서 제안된 시스템 및 방법에 의하여, 사용자는 일반적으로 이용 가능한 모바일 장치, 예를 들어 스마트폰을 통해 간단한 방식으로, 사용자는 물체에 대한 측정을 수행하고 관심 있는 물체의 특성 정보 및 잠재적으로 행동 추천을 얻을 수 있다. 여기에 설명딘 많은 실시예에서, 시스템 또는 방법은 모바일 장치, 시스템적인 데이터 수집, 기계 학습 및 모델 기반 애플리케이션 특정 인식의 조합이다. 이러한 조합에 의하여, 시스템은 예를 들어 이러한 특성으로부터 유래된 특정 동작 추천을 학습하는 시스템의 전문적인 지식 (예를 들어 의사의 지식)의 위치에 있다. 이런 방식으로, 시스템은 어떤 경우 사용자를 전문가와 독립적으로 렌더링 할 수 있으며 이전에는 존재하지 않은 별자리에서도 사용할 수 있다.
본 발명은 이후의 도 1 내지 도 8에서 개략적으로 도시된 특별한 실시예에 의해 보다 상세히 설명된다.
도 1 여기서 제안된 유형의 시스템,
도 2 도 1에서 보여진 시스템의 모바일 전자 장치,
도 3 A 내지 3 E 정면에서 볼 때, 제 1 조명 이미지 순서의 상이한 조명 이미지를 표시하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 4 측면에서 볼 때, 제 1 조명 이미지 순서의 조명 이미지 및 측정 물체를 표시하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 5A 내지 도 5E 정면에서 볼 때, 제 2 조명 이미지 순서의 상이한 조명 이미지를 표시하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 6A 내지 도 6E 측면에서 볼 때, 제 1 조명 이미지 순서의 상이한 조명 이미지 및 측정 물체를 각각 디스플레이하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 7 도 1에 도시된 시스템의 장치에 의해 측정 물체로부터 포착된 몇몇의 측정 이미지의 개략적인 표현, 및
도 8 여기서 제안된 유형의 방법의 단계의 순서도.
도 1 여기서 제안된 유형의 시스템,
도 2 도 1에서 보여진 시스템의 모바일 전자 장치,
도 3 A 내지 3 E 정면에서 볼 때, 제 1 조명 이미지 순서의 상이한 조명 이미지를 표시하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 4 측면에서 볼 때, 제 1 조명 이미지 순서의 조명 이미지 및 측정 물체를 표시하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 5A 내지 도 5E 정면에서 볼 때, 제 2 조명 이미지 순서의 상이한 조명 이미지를 표시하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 6A 내지 도 6E 측면에서 볼 때, 제 1 조명 이미지 순서의 상이한 조명 이미지 및 측정 물체를 각각 디스플레이하는 도 1에 도시된 시스템의 모바일 전자 장치,
도 7 도 1에 도시된 시스템의 장치에 의해 측정 물체로부터 포착된 몇몇의 측정 이미지의 개략적인 표현, 및
도 8 여기서 제안된 유형의 방법의 단계의 순서도.
서로 대응하는 동일한 특징 또는 특징들은 도면에서 동일한 참조 번호로 제공된다.
도 1은 측정 물체를 포착하고 평가하는 측정 이미지 여기서 제안된 유형의, 시스템(1)을 보여준다. 시스템(1)은 몇 개의 모바일 장치(2)르 포함하며, 그 중 단지 하나 만이 더 나은 개관(overview)을 위해 도 1에 도시되어 있다. 예시된 시스템(1)은 컴퓨터 서버 또는 PC 또는 클라우드와 같은 여러 컴퓨터(3)를 포함하고, 역시 이중 단지 하나만이 표시되어 있다. 후술하는 설명은 장치(2) 또는 컴퓨터(3)와 각각 관련되며, 비록 단지 언급된 장치(2) 및 컴퓨터(3)에 대해서면 말한다.
앞선 예시에서, 장치(2) 및 컴퓨터(3)는 서로, 예를 들어 인터넷 및/또는 클라우드를 통하여, 컴퓨터 네트워크(4)를 통해 연결된다. 다른 실시예에서, 시스템은 추가적인 컴퓨터(3)를 포함하지 않는다.
장치(2)는 예를 들어, 스마트폰, 예를 들어 애플 제조업자의 아이폰이 될 수 있다. 그러나 장치(2)는 다른 제조업자의 스마트폰 또는 예를 들어, 태블릿 컴퓨터와 같은 다른 모바일 전자 장치가 될 수 있다.
장치는 하우징(5)과, 카메라(6)의 관찰 영역 안에 측정 물체의 측정 이미지를 포착하는, 하우징(5)에 통합된 카메라(6)를 포함한다. 장치는 이미지를 발광 디스플레이하기 위해, 하우징(4)에 통합된 스크린(7)을 더 포함한다. 스크린(7)은 카메라(6)의 관찰 영역을 마주한다.
도 2는 장치(2)의 구성 요소의 일부가 도시된 장치(2)의 추가적인 도식화된 표현을 도시한다. 장치(2)는 미리 정의된 조명 이미지 순서의 여러 상이한 조명 이미지를 연속적으로 디스플레이하도록 스크린(6)을 활성화하는 하우징에 통합된 제어 유닛(8)을 포함한다. 제어 유닛(8)은 미리 정의된 조명 이미지 순서의 각 조명 이미지를 표시함과 동시에 측정 물체의 측정 이미지를 포착하는 카메라(6)를 활성화하는 구성을 더 포함한다.
장치(2)는 장치(2)의 하우징(4)에 통합된 인터넷 데이터 메모리(9)를 포함한다. 인터넷 데이터 메모리(9)는 예를 들어, 휘발성 및 비휘발성 데이터 메모리, 예를 들어, RAM 및 ROM, 예를 들어, 하나 또는 그 이상의 솔리드 스테이트 드라이브(solid state drives)의 형태로 포함한다.
컴퓨터 소프트웨어 코드 섹션을 포함하는 컴퓨터 프로그램 제품(10)은 장치(2)에 로딩된다. 제어 유닛에 의하여 실행되는 지시사항(instructions)는 소프트웨어 코드 섹션에 포함될 수 있다. 이러한 지시사항을 실행할 때, 제어 유닛은 컴퓨터 프로그램 제품이 장치(2)에서 실행될 때, 후술하는 추가 단계뿐만 아니라 스크린(6) 및 카메라(5)의 전술한 제어를 수행한다.
컴퓨터 프로그램 제품(9)은 데이터 메모리(9)에 저장된 컴퓨터 프로그램이다. 이러한 컴퓨터 프로그램은 컴퓨터(3)의 데이터 메모리(11)에 또한 저장되는데, 예를 들어, 컴퓨터 네트워크(4)를 통하여 장치(2)의 컴퓨터(3)로부터 로딩된 예를 들어 클라우드 메모리나 컴퓨터(3)의 하드디스크에 역시 저장된다.
제어 유닛(8)은 예를 들어, 반도체 칩으로 시현되는 전자 회로의 형태 내 장치(2)의 메인 프로세서(CPU)와 같이 (디지털)프로세서의 (논리적인 또는 통합된) 유닛 이다. 프로세서(12)는 데이터 메모리(9)에 액세스하고, 특히 데이터 메모리(9) 또는 그 로딩된 소프트웨어 코드 섹션에 로딩된 컴퓨터 프로그램 제품을 검색하고 이어서 (다음과 같이) 장치(2)의 데이터 메모리(7) 및 카메라(6)의 동기 활성화) 및 이후에 설명되는 단계들을 수행한다.
장치(2)는 (디지털) 프로세서의 (논리적인 또는 통합된) 유닛과 같은 평가 유닛(13)을 더 포함한다. 평가 유닛(13)은 측정 이미지르 평가하기 위한 단계의 방법을 실행한다. 컴퓨터 프로그램은 지시사항이 코딩에 대응되는 소프트웨어 코드 섹션을 더 포함하고, 이는 장치의 프로세서(12)에 의하여 실행되며, 이로부터 프로세서(12)는 이러한 추가적인 지시사항을 실행하기 위한 장치(2)의 언급된 평가 유닛(13)으로서 기능한다.
예를 들어, 방법은 장치(2)에 의하여 데이터 연결에 의존하지 않고 및/또는 민감한 데이터를 보존하기 위하여 전송된 데이터 용량을 최소화하기 위하여 완전히 실행된다. 원칙적으로, 이는 추가적으로 또는 대체적으로 예를 들어 컴퓨터(3)에 의하여 대응하는 평가 스텝을 수행함으로써 가능하다. 이를 위해, 컴퓨터는 (마찬가지로) 컴퓨터 (3)의 프로세서 (15)의 (논리적인 또는 통합된) 유닛 일 수 있는 적절하게 구성된 평가 유닛 (14)을 포함 할 수 있다. 측정 이미지의 평가는 장치의 평가 유닛 (13) 및 컴퓨터 (3)의 평가 유닛 (14)에 의해 부분적으로 수행 될 수도 있다.
이 예시에서의 미리 정의된 조명 이미지 순서는 후술하는 디테일에서 조명 파라미터의 세트에 의하여 완전히 정의된다. 조명 파라미터는 모바일 전자 장치(2)의 데이터 메모리(9)뿐만 아니라 컴퓨터(3)의 데이터 메모리(11)에도 저장된다. 예를 들어, 컴퓨터 프로그램 제품(10)의 소프트웨어 코드는 정의 및 조명 파라미터 값을 포함한다. 예를 들어, 장치(2)의 데이터 메모리 (9)상의 조명 파라미터의 자동 저장은 컴퓨터 프로그램 제품(10)을 장치(2)상에 로딩함으로써 수행된다. 전술 한 방법 단계를 수행 할 때, 제어 유닛(8)은 장치 (2)의 데이터 메모리(9) (또는 컴퓨터의 데이터 메모리 (11))로부터 저장된 조명 파라미터를 검색하고, 후속하여, 검색된 조명 파라미터들에 기초하여 사전 정의 된 조명 이미지 시퀀스를 결정하고, 이어서 스크린(7)을 활성화하여 이러한 방식으로 결정된 사전 정의 된 조명 순서의 조명 이미지를 디스플레이하고, 이것과 동시에 카메라(6)에 측정 이미지를 기록시킨다.
장치(2)의 스크린(7)은 장치의 사용자 인터페이스(16)로서 작동할 수 있는 터치스크린이다. 사용자 인터페이스(16)는 특히, 제안된 방법을 실행하기 위한 장치의 동작을 허락한다. 예를 들어, 미리 정의된 조명 이미지 순서는 사용자 인터페이스(16)를 통하여 직접 또는 비직접적인 방식으로 세팅 될 수 있다. 예를 들어, 상이한 (저장된) 미리 정의된 조명 이미지 순서 사이의 선택은 사용자 인터페이스(16)에 의하여 만들어지는 것이 가능하다. 이는 예를 들어, 조사될 측정 물체가 입력된 유형 및 하나 또는 그 이상의 선택된 측정 물체가 만들어진 관심 특징과 같이, 사용자 인터페이스(16)에 의하여 작동할 수 있다. 이러한 입력에 의존하여, 제어 유닛(8)은 예를 들어, 조명 이미지 순서의 조명 이미지를 결정하고, 평가 유닛(13)은 예를 들어, 평가의 유형을 결정한다. 사용자 인터페이스는 추가적으로 예를 들어, 장치(2)의 음향 결과를 구성하고, 예를 들어, i 환경적 광 영향이 지나치게 크게 평가되거나 또는 만약 측정 이미지의 이미지 등록이 실행되거나 또는 물체 인식이 성공적으로 실행되지 못할 때, 예를 들어 사용자 행동 또는 물체 특성으로 인하여, 예를 들어, 설치된 라우드 스피커 및/또는 진동 모듈의 형태로, 예를 들어, 경고 신호를 생산할 수 있다.
장치(2)의 데이터 메모리(9)는 포착된 측정 이미지를 저장하도록 구성할 수 있다. 이를 위하여, 제어 유닛(8)은 데이터 메모리(9)에 포착한 측정 이미지를 전송하고 저장을 시작한다. 예를 들어, 장치의 평가 유닛(13)은 평가를 실행하기 위하여 데이터 메모리(9)에 저장된 측정 이미지에 접근할 수 있다. 또한, 제어 유닛(8)은 예를 들어, 자동적으로 하나 또는 그 이상의 포착된 측정 이미지를 측정 이미지를 포착한 이후에 디스플레이하기 위하여 스크린(7)을 활성화 할 수 있다. 기본적으로, 이는 추가적으로 또는 대안적으로 평가 유닛(14)의 평가를 위하여 및 데이터 메모리(11)에 저장하기 위하여 컴퓨터(3)에 측정 이미지를 전송하는 것이 가능하다.
게다가, 장치(2)의 iOS와 같은, 동작 시스템뿐만 아니라추가적인 애플리케이션 프로그램은, 특히, 장치(2)의 데이터 메모리(9)에 인터넷 브라우저 및 앱스토어 애플리케이션이 설치된다. 앱 스토어로의 장치(2)의 (인터넷) 연결은 앱스토어 애플리케이션을 통하여 생성된다. 예를 들어 앱과 같은, 컴퓨터 프로그램 제품(10)은 앱스토어 애플리케이션을 통하여 장치(2)의 데이터 메모리(11)위에 컴퓨터(3)의 데이터 메모리(11)로부터 로딩되고 영원히 거기에 저장된다. 그러나, 대안적으로, 인터넷 페이지 제공자로부터 장치(2)의 인터넷 브라우저를 통해 웹-앱으로서 장치의 데이터 메모리(9)에 컴퓨터(3)의 데이터 메모리(11)로부터 컴퓨터 프로그램 제품(10)을 로딩하는 것도 가능하다. 컴퓨터 프로그램은 이후 예를 들어, 데이터 메모리(9)에 방법을 시행하기 위하여 일시적으로 저장되거나 이후 자동적으로 제거될 수 있다.
장치는 인터넷에 장치를 접속하기 위하여, 예를 들어, 라디오 인터페이스와 같은, 여러 (무선) 데이터 인터페이스 위치(17)를 포함한다.
모바일 (휴대용의) 전자 장치(2)는 작고 가벼워서, 조명 이미지를 디스플레이하고 측정 이미지를 포착하는 동안 사용자에 의하여 오로지 한 손으로 측정 물체를 비교적 알맞은 위치에서 잡고 정렬할 수 있다. 장치는 그러므로 바람직하게는 예를 들어, 대략 200g이고, 1kg 보다 적게 무게가 나간다. 대략 입방형 하우징(5)의 최대 에지 길이는 예를 들어 20cm 미만, 예를 들어 약 16cm이고, 최소 에지 길이는 예를 들어 1cm 미만이다. 예를 들어, 8mm이다.
장치의 카메라(6)는 하우징(5)의 전면 측(19)에 배치되고 카메라(6)의 관찰 영역(20)을 정의하는 렌즈(18)를 포함한다. 카메라(5)는 예를 들어, 예를 들어 CCD 센서 또는 CMOS 센서 또는 InGaAs 센서와 같은 광 민감 반도체 칩인 이미지 센서(21)를 포함한다. 이미지 센서(21)는 전체 그리드에 배치된 다수의 센서 유닛(도시 생략)을 포함하낟. 각 센서 유닛은 카메라(6)의 상이한 색상 채널에 속하는 이미지 센서(21)의 몇 개의 광-민감 센서 요소 (도시되지 않음)을 포함한다. 각 센서 유닛은 카메라(6)에 의하여 포착된 측정 물체의 이미지 포인트 (픽셀)에 대응한다. 센서 유닛의 위치와 이미지 센서 내의 그들의 센서 요소는 각 센서 유닛의 두개의 센서 좌표(XY)에 의하여 정의된다.
카메라(5)는 파장이 400nm 에서 800nm 인 광에 민감하고, 적색, 녹색, 및 청색 채널을 포함한다. 카메라는 각 색상 채널이 채널-특정 스펙트럼 민감도 Cc(
)을 가진다. 이미지 센서(21)의 센서 요소의 서브셋에 의해 카메라의 각 색상 채널이 형성되고, 이 때 카메라의 각 색상 채널의 채널-특정 스펙트럼 민감도에 스펙트럼 민감도가 대응한다. 각 색상 채널의 센서 요소는 그러므로 이미지 센서(21) 위로 연장되는 서브 그리드에 각각 배치된다. 상이한 색상 채널의 센서 요소의 서브 그리드는 공간적으로 중첩되어 이미지 센서(21)의 센서 유닛의 전체 그리드를 형성한다.
스크린(7)은 마찬가지로 하우징(5)의 전면 부에 배치되고 400nm 내지 800nm의 가시 스펙트럼 영역의 광을 발산한다. 카메라(6)의 스크린(7)은 적색, 녹색, 및 청색 색상 채널을 포함한다. 스크린(7)은 각 색상 채널에서 스펙트럼 방출 특성 Dd(
)를 가지며, 상기 특성은 스크린(7)의 기본 컬러 인 적색, 녹색 및 청색에 대응한다. 스크린(7)은 스크린(7)의 전체 격자 내에 배열되고 스크린 (7)의 이미지 포인트 (픽셀)를 형성하고 스크린(7)의 전체 이미지 영역(22)을 함께 채우는 다수의 조명 요소 (나타내지 않음)를 포함한다. 각 색상 채널은 스크린의 조명 요소의 서브 세트에 의해 형성되며, 그 스펙트럼 방출 특성은 각 색상 채널의 채널 특정 스펙트럼 방출 특성에 대응한다. 스크린의 각 이미지 포인트는 서로 다른 색상 채널에 속하는 인접한 조명 요소의 그룹에 의해 형성된다.
라우드스피커 또는 마이크로폰 (둘다 나타내지 않음)과 별개로, 예를 들어, 전화 어플리케이션, 장치는 추가적으로 전기 에너지를 장치(2)의 요소에 공급하기 위한 재충전가능한 에너지 스토어(45)를 더 포함한다.
도 1에 도시된 시스템(1)의 전자 장치는 도 3a 내지도 3e의 정면에서 볼 때, 제 1 미리 정의된 조명 이미지 순서의 조명 이미지가 각각의 경우에 스크린 (7)을 통해 디스플레이 된다. 보여진 예시에서, 제 1 조명 이미지 순서는: 적색 조명 이미지(23), 녹색 조명 이미지(24), 청색 조명 이미지(25), 및 흰색 조명 이미지(26)(흰색 이미지)를 포함한다. 추가적으로, 흑색 조명 이미지(27)(검정 이미지)가 표시된다.
모바일 전자 장치(2)의 제어 유닛(8)은:
-상기 스크린(7)의 상기 적색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 적색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 적색 조명 이미지(23)를 표시하고,
-상기 스크린(7)의 상기 녹색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 녹색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 녹색 조명 이미지(24)를 표시하고,
- 상기 스크린(7)의 상기 청색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 청색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 청색 조명 이미지(25)를 표시하게, 모바일 전자 장치(2)의 스크린(7)을 활성화하도록 구성한다.
균일한 밝기값 대신에, 각각의 색상 채널의 활성화된 조명 요소는 예를 들어 (스크린을 가로 지르는) 그래디언트에 따라 서로 다른 상이한 밝기값으로 활성화 될 수 있다.
각각의 남은 색상 채널의 활성화되지 않은 광 요소는 스위치 오프 되거나 가능한 한 가장 작은 밝기값으로 활성화된다.
흰색 이미지(26)는 제어 유닛(8)이 스크린의 모든 광 요소를 활성화하고 가능한 한 가장 큰 밝기값으로 활성화하는 방법으로 생성된다. 흑색 이미지(27)는 제어 유닛(8)이 스크린(7)의 모든 광 요소를 스위치 오프하거나 가능한 한 가장 작은 밝기값으로 활성화하는 방법으로 생성된다. 흰색 조명 이미지 및 흑색 조명 이미지는 평가 유닛(13)에 의하여 남은 측정 이미지를 조정하고 주변 광 영향을 측정하기 위하여 사용된다.
제 1 조명 이미지 순서의 각 조명 이미지(23, 24, 25, 26, 27)은 스크린(7)의 전체 이미지 영역(22)을 완전히 채운다. 앞서 언급된 밝기값과 달리, 제 1 조명 이미지 순서는 다음의 조명 파라미터들로 정의된다:
- 이 경우 3개의 색상 이미지, 흰색 이미지 및 흑색 이미지의 전체 조명 이미지의 개수,
- 이 경우에 예를 들어, 적색, 녹색, 청색, 흰색 흑색 (또는 기본적으로 다른 미리 정의된 순서), 조명 이미지의 순서,
- 예를 들어, 100ms 내지 200ms의 범위, 예를 들어 150ms, 조명 이미지 디스플레이 시간(duration),
- 이 예시에서, 5ms와 10ms 사이의 범위, 예를 들어 7ms의 개별 조명 이미지의 디스플레이 사이의 시간 간격.
도 4의 경우에, 모바일 전자 장치(2)는, 측면도로 도시되어 있고, 미리 정의된 제 1 조명 이미지 순서의 조명 이미지들 중 하나, 예를 들어 적색 조명 이미지(23)가 스크린(7)을 통해 디스플레이 된다. 게다가, 카메라(6)의 관찰 영역(20)에 배치된 측정 물체의 부분은 추가적으로 표시된다. 조명 이미지(23)를 표시하는 동안, 장치(2)의 스크린(7)은 적색 광을 발산하고(도 4에 점선으로 표시된) 적색 광으로 측정 물체(38)를 조명한다. 조명 이미지(23)에 속하는 측정 이미지를 동시에 포착할 때, 측정 물체(23) (도 4에서 점선으로 표시된)에 의해 반사 된 광은 카메라 (6)에 의해 포착되어 이미지 센서 (21)를 조명한다. 이는 제 1 조명 이미지 순서의 다른 조명 이미지에 대하여도 반복된다.
도 1에 도시된 시스템(1)의 전자 장치는 제 2의 미리 정의된 조명 이미지 순서의 조명 이미지가 스크린(7)을 통해 디스플레이되는 도 5a 내지 도 5e의 정면도에 다시 한번 도시된다. 이 보여진 예시에서, 제 2 조명 이미지 순서는: 제 1 조명 이미지(28), 제 2 조명 이미지(29), 제 3 조명 이미지(30), 및 흰색 조명 이미지(31)(흰색 이미지)를 포함한다. 추가적으로, 흑색 조명 이미지(32)(흑색 이미지)가 디스플레이된다. 흰색 이미지(31)은 제 1 조명 이미지 순서의 흰색 이미지(26)아 차이가 없다. 마찬가지로, 흑색 이미지(32)는 제 1 조명 이미지 순서의 흑색 이미지(27)와 차이가 없다.
제 1, 제 2, 제 3 조명 이미지 (29, 29, 30)은 각각 연속적이고, 각각은 스크린(7)의 전체 이미지 영역(22)의 부분-영역 (33) 만을 오로지 채운다. 예를 들어, 각각의 채워진 부분-영역(33) 내의 스크린(7)의 조명 요소는 각 색상 채널에서 가능한 최대 밝기 값으로 활성화된다. 각 채워진 부분-영역의 발ㄲ에서, 광 요소는 스위치 오프 되거나 활성화되고, 따라서 조명되지 않거나 또는 가능한 한 제일 작은 밝기로 활성화된다. 조명 이미지의 각각의 채워진 부분-영역은 스크린(7)을 상호적으로 중첩되지 않는다. 조명 이미지에 의해 각각 채워지는 부분-영역(33)은 이 예에서 스크린(7)의 전체 이미지 영역(22)의 1/3에 대응한다. 대안적으로, 조명 이미지 순서는 또한 예를 들어 스크린의 전체 이미지 영역의 단지 1 / R을 채우는 R개의 조명 이미지와 같은 수의 그러한 조명 이미지를 포함할 수 있으며, 여기서 R은 3보다 크고 20보다 작은 자연수이다.
제1, 제2, 및 제 3 조명 이미지(28, 29, 30)의 채워진 부분-영역(33)은 스크린(7) 상의 배열이 서로 상이하다. 보여진 바와 같이, 스크린(7)의 전체 이미지 영역(23)은 상부 가장자리(34), 하부 가장자리(35), 왼쪽 가장자리(36), 및 오른쪽 가장자리(37)를 가진다. 조명 이미지(28,29,30)의 채워진 부분-영역(33)은 상부 가장자리(34)로부터 거리가 서로 다르며 그러므로, 스크린(7)의 전체 이미지 영역(23)의 상부 가장자리(34) 위에 배치된 카메라(5)의 렌즈로부터(18) 거리가 다르다.
앞서 정의된 밝기값과 달리, 제 2 조명 이미지 순서는 아래와 같이 추가적인 조명 파라미터에 의해 정의된다:
- 이 경우에 스크린(7)의 오로지 부분-영역(33)만을 각각 채우는 3개의 흰색 조명 이미지, 뿐만 아니라, 흰색 이미지 및 흑색 이미지의 조명 이미지의 총 개수,
- 이 경우에 예를 들어, 순서 1, 2, 3 조명 이미지, 흰색 이미지(31), 흑색 이미지(32)(또는 기본적으로 다른 미리 정의된 순서)의 조명 이미지 순서,
- 예를 들어 100ms 내지 200ms 사이의, 예를 들어 150ms 인 조명 이미지의 디스플레이 시간(duration),
- 이 예시에서, 5ms와 10ms 사이의 범위, 예를 들어 7ms의 개별 조명 이미지의 디스플레이 사이의 시간 간격.
따라서, 모바일 전자 장치(2)의 제어 유닛(8)은 제 1 조명 이미지 순서와 과년하여 이미 설명된 바와 같이, 모바일 전자 장치(2)의 스크린(7)을 활성화시켜 제 2 조명 이미지 순서의 조명 이미지를 디스플레이하고 이것과 동시에 측정 이미지를 포착하도록 구성된다.
도 6A 및 도 6C에서, 모바일 전자 장치(2)는 각각 측면도로 도시되어 있으며, 여기서 제 2 조명 이미지 순서의 제 1, 제 2 및 제 3 조명 이미지 (28, 29, 30)는 스크린 (7)을 통해 디스플레이된다. 또한, 카메라(6)의 관찰 영역(20)에 배치된 측정된 물체(38)의 일부는 다시 표시된다. 조명 이미지(23)를 표시하는 동안, 장치(2)의 스크린(7)은 광(도 4에서 점선으로 표시된)을 발산하고, 각 경우에 다른 방향으로 측정된 물체(38)를 조명한다. 조명 이미지 (23)에 속하는 측정 이미지를 동시에 포착할 때, 측정 물체(23) (도 4에서 점선으로 표시됨)에 의해 반사 된 광은 카메라(6)에 의해 포착되어 이미지 센서 (21)를 조명한다.
예를 들어, 장치(2)의 사용자 인터페이스(16)를 통하여 제 1 및 제 2 조명 이미지 순서를 선택하는 것이 가능하다. 또한, 예를 들어 측정 물체(38)의 유형에 따라 또는 검사될 측정 물체(38)의 특성에 따라 제 1 및 제 2 조명 이미지 순서 사이에서 제어 유닛(8)이 자동으로 선택할 수 있다. 예를 들어, 사용자 인터페이스(16)를 통하여 측정 물체(38)의 유형이나 특성이 입력될 수 있다. 평가 유닛(13)은 이러한 입력에 의존하여 측정 이미지를 평가를 시행하도록 구성할 수 있다.
평가는 원칙적으로 장치에 의해 결정된 추가적인 변수에 의존하고, 예를 들어 측정 이미지가 포착되는 동안의 장치(2)의 현재 시간, 현재 위치 좌표와 같은 변수에 의존한다. 시간은 예를 들어, 장치(2)의 GPS 모듈(4)의 위치 좌표 및 장치의 시스템 시간에 의해 결정된다. 예를 들어, 각 측정 이미지는 시간 서명 및 위치 서명에 의하여 시행되는. 이러한 방법으로, 위치-의존 영향 변수가 결정되며, 이러한 조사되고 영향 받는 영향 변수는 측정된 물체의 특성에 연관된다. 이것은 예를 들어 검사 될 측정 물체가 인간의 모발이고 검사될 특성이 예를 들어 공기의 광택 인 경우인 것으로, 왜냐하면 각각의 지배적인 모발 구조는 지구의 다른 영역에서 상이하기 때문이다. 게다가, 시스템의 기능성은 GPS 데이터의 기본에 의해 제어되고, 제한되거나, 완전히 방지될 수 있다. 예를 들어, 제어 유닛(8)은 오로지 특정 나라 또는 더 작은 지역적인 영역 (예를 들어, 생산 위치, 쇼핑 중심)에서만 제한되지 않은 방식의 방법만을 실행하고, 다른 나라 또는 더 작은 지역적인 영역 (예를 들어, 생산 위치 , 쇼핑 위치)에서는 제한된 또는 변경된 방식으로 실행하고, 다른 나라 또는 더 작은 지역적인 영역( 예를 들어, 생산 위치, 쇼핑 위치)에서는 완전히 방법의 실행을 차단하도록 구성할 수 있다.
도 7은 도 1에 도시된 시스템(1)의 장치에 의해 측정된 대상(238)으로부터 포착된 몇몇 측정 이미지(39)의 개략도를 도시한다. 예르 들어, 보여진 측정 이미지(39)는 제 1 조명 이미지 순서의 조명 이미지 (23 내지 27)를 표시함과 동시에 측정 이미지를 포착하거나, 제 2 조명 이미지 순서의 조명 이미지 (28 내지 32)를 표시함과 동시에 측정 이미지를 동시에 포착하는 측정 이미지 일 수 있다.
카메라(6)를 통해 기록된 측정 이미지들(39) 각각은 전체 그리드로 배열되고 이미지 센서의 센서 유닛들에 할당되고 이미지 센서의 센서 유닛들에 할당되는 다수의 이미지 포인트들(40) 각각의 측정 이미지는 각각의 센서 유닛의 센서 좌표에 의존하거나 또는 이들에 대응하는 2 개의 이미지 좌표 (XY)에 의해 정의된다. 이미지 정보가 코딩된 이미지 데이터, 특히 측정 이미지들의 각 이미지 포인트들의 밝기 값, 을 측정 이미지들(39)은 포함한다. 측정 이미지들(39)의 이미지 포인트들(40)의 밝기 값은 예를 들어, 각각의 측정 이미지(39)를 포착할 때, 이미지 센서의 센서 유닛에 각각 할당된 센서 요소의 충전 또는 방전 상태에 의존한다.
도 6에 도시된 바와 마찬가지로, 예를 들어, 등록된 측정 이미지(41)의 병합된 이미지 포인트들(40)의 측정 데이터 세트로 병합된 이미지 포인트(40)의 이미지 데이터를 병합하는 이미지 등록 방법과 같이, 측정 이미지(39)의 이미지 포인트(40)는 장치의 평가 유닛(13)(대체적으로는 컴퓨터(3)의 평가 유닛(14)에 의하여)의 등록된 측정 이미지(41)로 전달한다. 측정 이미지(38)의 이미지 등록을 위하여, 만일 필요하면, 측정 이미지(39)의 이미지 변환이 실행된다, 예를 들어 (국부) 좌표 변환 (회전, 트랜스레이션(translation), 틸팅 및/또는 (국부) 재스케일링, 서브픽셀 인터폴레이션).
추가적으로, 물체 인식 알고리즘이, 예를 들어 장치의 평가 유닛(13)(대안적으로는 컴퓨터(3)의 평가 유닛(14))에 의하여 등록된 측정 이미지(40)를 기초로 예를 들어, 측정된 물체(38)의 물체 포인트를 나타내는 이미지 포인트, 등록된 측정 이미지(41) 내 물체 이미지 포인트(42)를 식별하기 위하여 실행된다. 물체 인식 알고리즘은 예를 들어, 앞서 설명된 바와 같은 영역 그로잉(growing)알고리즘에 의한다.
만일 측정 이미지(39)가 제 1 조명 이미지 순서의 조명 이미지(23 내지 27)을 표시하는 것 과 동시에 포착된 측정 이미지이면, 각각의 측정 데이터 세트는 예를 들어, 앞서 설명된 측정된 물체(38)의 각 측정 포인트(43)와 결부된 측정된 물체의 앞선 표1에서 구체화되어 요소가 정의된"스펙트럼 지문" F(d,c) 일 수 있다. 색인 d는 r,g,b가 조명 이미지 (23 내지 25)의 적색, 녹색 및 청색 각각을 의미하고, w는 흰색 이미지(26), s 는 흑색 이미지(27)를 의미하는 d={r,g,b,w,s}로 정의된다. 따라서, 색인 c는 카메라(6)의 색상 채널을 의미하고, 카메라(6)의 각각의 적색, 녹색, 및 청색 채널을 의미하는 c={r,g,b}로 정의된다.
만일 측정 이미지(39)가 제 2 조명 이미지 순서의 조명 이미지(28 내지 32)를 표시함과 동시에 포착된 측정 이미지이면, 개별적인 물체 이미지 포인트(52)의 그룹화된 측정 이미지 세트는 색인 a가 제 1 조명 이미지 순서의 개별적인 조명 이미지를 의미하는 예를 들어 앞서 기술된 "글로우 측정 벡터" G(a)이다. 앞서 설명된 바와 같이, 제 2 조명 이미지 순서의 제 1, 제 2, 및 제 3 조명 이미지(28,29,30)에 대하여 스크린(7)의 모든 색상 채널이 각 부분-영역(33)에서 가능한 한 가장 큰 밝기값으로 활성화되어, 이는 조명 이미지가 흰색으로 보인다. 예를 들어, 글로우 측정 벡터 G(a)는, 각각 색인 a 인 카메라(6)의 모든 센서 요소에 의하여 측정된 총 밝기값 (물체의 이미지 포인트(42) 내)을 포함한다.
원칙적으로, 조명 이미지 순서의 어느 추가적인 개수는 정의될 수 있고, 개별적인 적용 예, 예를 들어 개별적인 측정 물체 및 개별적인 조사된 측정 물체의 특성에 매칭될 수 있다. 앞서 설명된 바와 같이, 조명 이미지 순서는, 그들의 색상뿐만 아니라, 스크린에서의 그들의 위치 a가 서로 상이한 조명 이미지를 포함한다. 예를 들어, 앞서 설명한 스펙트럼 지문 F(c, d)는 각 위치 a에서 각 위치의 설명된 부분-영역(33)만으 오로지 채운 색상 있는 조명 이미지로부터 획득될 수 있다. 이러한 방식으로, 예를 들어 앞서-기술된 측정 데이터 세트 H(c, d)는 측정 데이터 세트가 각 물체 포인트의 측정된 물체의 글로우 뿐만 아니라 스펙트럼 반사 특성에서의 정보를 포함하는 각 물체 포인트에서 생산될 수 있다.
평가 유닛(13)은 여러 밀리 정의된 참조 데이터 세트와 예를 들어 물체 이미지 포인트(42)에 속한 각 측정 데이터 세트 F(c,d)(또는 대체적으로 G(a) 또는 H(c,d,a))를 비교하는 구성을 포함할 수 있다. 이러한 참조 데이터 세트는 모바일 전자 자치(2)의 데이터 메모리(9)에 저장된다. 이러한 비교는 예를 들어, 따라서 훈련된- 인공 신경망을 기본으로 한 수학적 분류 모델에 기초하여 동작할 수 있다. 랭킹은, 예를 들어 분류 시 생성되며, 여기서 각각의 측정 데이터 세트가 기준 데이터 세트와 다른 것보다 순위가 낮을수록 기준 데이터 세트가 얻는 랭크가 커진다. 모든 측정 데이터 세트를 이 참조 데이터 세트와 비교한 이후, 평가 유닛(12)은 가장 많은 횟수로 높은 랭크를 얻은 참조 데이터 세트를 식별한다. 이후, 이 평가는 식별된 참조 데이터 세트에 속하는 측정된 물체의 특성의 평가, 또는 측정된 물체의 분류가 사용자 인터페이스(16)를 통하여 출력된다.
또한, 카메라의 스펙트럼 민감도 Cc(
)와 스크린의 스펙트럼 방출 특성 Dd(
)를 고려하여, 측정 데이터로부터 측정 물체의 반사 특성을 결정하는 평가 유닛이 구성된다.
예를 들어 사용자 인터페이스 (16)를 통해 특정 될 수 있는 적용의 경우에 따라, 결정되어야 할 반사 특성은 예를 들어 (각각의 물체 포인트들에서) 측정된 물체의 반사 스펙트럼 S(
)이다. 예를 들어, 평가 유닛(13)은 앞서 설명한 수식 1 내지 수식 4를 사용하여 측정된 "스펙트럼 지문" F(d,c) 로부터 반사 스펙트럼 S(
)를 결정하거나 스펙트럼 채널 Sk 반사 스펙트럼 S(
)에 대한 근사로서 계산된다.
대체적으로, 결정되어야 할 반사 특성은 예를 들어 측정된 물체(각 물체 포인트에서의)로 입사되는 광의 각도에서의 측정된 물체(각 물체 포인트에서의)의 반사 각의 의존도이다. 예를 들어, 평가 유닛은 각 물체 포인트에서의 앞서 설명한 글로우 측정 벡터 G(a)(또는 측정 데이터 세트 H(c,d,a))에 기초하여 각도적 의존 반사 정도를 추정하도록 구성할 수 있다.
평가 유닛(13)은 예를 들어 스펙트럼 채널 Sk 또는 결정된 각도적 의존 반사 정도와 같은 측정된 물체의 결정된 반사 특성을 적어도 하나의 미리 정의된 참조 반사 특성과 비교하고, 측정된 물체를 예를 들어, 앞서 설명한 바와 같이, 인공 신경 망과 같은 분류 모델에 따라 분류하는 구성을 포함할 수 있다.
평가 결과는 이후 스크린(7)에 디스플레이 되고 장치의 데이터 메모리(11)에 저장된다.
시스템과 함께 수행될 수 있는 방법은 도 7의 흐름도의 형태로 포현된다.
스텝 1:
- 모바일 전자 장치(2)의 스크린(7)을 제어 유닛(8)에 의하여, 미리 정의된 조명 이미지 순서의 여러 상이한 조명 이미지를 연속적으로 디스플레이하도록 활성화하고,
- 모바일 전자 장치(2)의 카메라(6)를 미리 정의된 조명 이미지 순서의 각 조명 이미지를 표시함과 동시에 측정된 물체(38)의 측정 이미지를 포착하도록 활성화하는 단계.
스텝 2:
- 등록된 측정 이미지(41)로 측정 이미지들(39)를 등록하는 단계.
스텝 S3:
- 예를 들어 주변 광 영향의 고려와 같은, 특히 흑색 조명 이미지를 디스플레이하는 동안 또는 스위치오프된 디스프레이가 주어지면 기록된 측정 대상의 하나 또는 그 이상의 측정 이미지를 이용하는 스펙트럼 전처리를 포함한다. 주어진 환경 광 영향이 너무 심하면, 예를 들어 스크린(7)을 통해 또는 사운드 또는 진동 알람에 의하여, 사용자에게 경고가 출력될 수 있다.
스텝 S4:
- 등록된 측정 이미지(41)의 물체 이미지 포인트 또는 이미지 포인트에 속한 측정 데이터 세트는 예를 들어 인공 신경망에 기초한 수학적 분류 모델을 통해 분류되는 픽셀 단위의 패턴 분류이다.
스텝 S5:
- 예를 들어, 랭킹 및/또는 다수 의견에 의한 결과 집계.
스텝 6:
- 예를 들어, 스크린(7)을 통해 결과를 디스플레이하고, 예를 들어 장치의 데이터 메모리(9) 및/또는 컴퓨터(3)의 데이터 메모리(11)를 통해 결과를 저장한다.
원칙적으로, 장치(2)의 평가 유닛(13)에서 스텝 S2 내지 S6는 단독적으로 실행되고, 또는, 컴퓨터(3)의 평가 유닛(14)과 함께 측정 이미지들(39)의 전송 후에 수행될 수 있다.
측정 물체(38)는 인간 (또는 대안적으로 동물)의 모발로 형성 될 수 있다. 조사되는 특성은 예를 들어 모발의 광택(Glow) 일 수 있다. 측정 물체 (38)에 대한 다른 가능한 예 및 검사될 특성은 상기에 특정된 적용 복합물 1 내지 4에서 특정된다.
다른 것들 중에서도, 다음의 실시 예가 제안 된 방법에 대해 설명된다:
1. 여기서 제안된 타입의 시스템과 함께 측정된 물체의 측정 이미지를 포착하는 방법은,
-상기 제어 유닛에 의하여, 상기 모바일 전자 장치의 상기 스크린이 상기 미리 정의된 조명 이미지 순서의 여러 다른 조명 이미지들을 연속적으로 디스플레이하고,
-상기 모바일 전자 장치의 상기 카메라가 상기 미리 정의된 조명 이미지 순서의 각 조명 이미지를 표시함과 동시에 측정된 물체의 측정 물체를 포착하는 것을 활성화하는, 단계로 구성된다.
2. 예시 1의 방법에 따르면, 상기 모바일 전자 장치(2)의 상기 스크린(7)은 몇몇의 색상 채널을 구성하고, 상기 스크린(7)은 상기 색상 채널 각각 채널-특정 스펙트럼 방출 특성을 가지며, 상기 스크린(7)은 그리드 형태로 배열된 복수의 광 요소를 포함하며, 각 색상 채널은 상기 스크린(7)의 광 요소의 서브셋에 의해 형성되고, 그 스펙트럼 방출 특성은 각 색상 채널의 채널-특정 스펙트럼 방출 특성에 대응된다.
3. 예시 2의 방법에 따르면, 상기 모바일 전자 장치(2)의 상기 제어 유닛(8)은 상기 미리 정의된 조명 이미지 순서의 하나 또는 그 이상의 조명 이미지(23)를 디스플레이하도록 상기 모바일 전자 장치(2)의 상기 스크린(7)을 활성화하는 것은,
- 상기 스크린(7)의 단일 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 이 색상 채널에 미리 정의된 균일한 밝기값으로 이 색상 채널의 모든 활성화된 광 요소를 활성화하는 방법에 의하여
- 몇몇의 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 상기 각 색상 채널에 대해 미리 정의된 균일한 밝기값을 갖는 모든 활성화된 광 요소를 활성화하는 방법에 의하여,
- 하나 또는 그 이상의 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 각 색상 채널에 대해 미리 정의된 그래디언트로 모든 활성 광 요소를 활성화하는 방법에 의하여,
더 구성한다.
4. 예시 2 또는 예시 3 중 어느 하나의 방법에 있어서,
상기 모바일 전자 장치(2)의 상기 스크린(7)은 적색 색상 채널, 녹색 색상 채널, 및 청색 색상 채널을 포함하고, 상기 조명 순서는 적색 조명 이미지(23), 녹색 조명 이미지(24), 및 청색 조명 이미지(25)를 포함하고, 상기 모바일 전자 장치(2)의 상기 제어 유닛(8)은
-상기 스크린(7)의 상기 적색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 적색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 적색 조명 이미지(23)를 표시하고,
-상기 스크린(7)의 상기 녹색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 녹색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 녹색 조명 이미지(24)를 표시하고,
- 상기 스크린(7)의 상기 청색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 청색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 청색 조명 이미지(25)를 표시하여, 상기 스크린(7)을 활성화할 수 있다.
5. 앞선 예시 중 어느 하나에 따른 방법에 있어서, 상기 지정된 조명 이미지 순서의 각 조명 이미지(23)의 후술하는 이미지 특성들 중 하나 또는 그 이상이 미리 지정되는, 방법에 관한 것이다.
- 각각의 조명 이미지를 디스플레이 할 때 스크린(7)에 의하여 방출되는 광의 스펙트럼 구성 및/또는
- 상기 제2항 내지 제 4항 중 어느 한 항이 다시 관련되어 있기 때문에, 상기 스크린(7)의 각 색상 채널에 대하여, 균일한 밝기 값, 및/또는
- 각 조명 이미지(28, 29, 30)에 의하여 채워지는 스크린 영역 및/또는
-상기 스크린(7)의 전체 이미지 영역(22) 내에서 상기 각 조명 이미지(28, 29, 30)에 의하여 채워지는 스크린 영역의 배열.
6. 앞선 예시들 중 어느 한 방법에 있어서, 상기 각 조명 이미지들은 상기 스크린(7)의 전체 이미지 영역의 부분-영역(33)만 오로지 채우는 것을 특징으로 하고, 상기 조명 이미지들의 상기 채워진 부분-영역(33)은 상기 스크린(7)의 전체 이미지 영역에서 그들의 배치가 서로 상이할 수 있다.
7. 앞선 예시들 중 어느 한 방법에 있어서, 상기 스크린(7)의 상기 전체 이미지 영역은 상부 가장자리(34)를 포함하고, 상기 조명 이미지들의 상기 채워진 부분-영역(33)은 상기 스크린(7)의 전체 이미지 영역에서 그들의 거리가 서로 상이하고, 상기 스크린(7)의 상기 전체 이미지 영역의 상기 상부 가장자리(34) 위에 렌즈가 배치될 수 있다.
8. 앞선 예시들 중 어느 한 방법에 있어서, 상기 시스템은 미리 정의된 조명 이미지 순서가 부분적으로 또는 완전하게 정의된 조명 파라미터가 저장된 적어도 하나의 데이터 메모리(9, 11)을 포함하는 것을 특징으로 하고, 상기 방법은,
상기 데이터 메모리(9, 11)로부터 적어도 하나의 데이터 메모리(9, 11)에 저장된 상기 조명 파라미터를 검색하는 단계, 및
상기 검색된 조명 파라미터를 기초로 미리 정의된 조명 이미지 순서를 결정하는 단계를 구성할 수 있다.
9. 앞선 예시들 중 어느 한 방법에 있어서, 상기 모바일 전자 장치(2)의 상기 카메라(6)는 몇몇의 다른 색상 채널을 포함하고, 상기 카메라(6)는 상기 색상 채널 각각을 위한 채널-특정 스펙트럼 민감도을 가지고, 상기 카메라(6)는 그리드 형태로 배열된 복수의 센서 요소를 포함하고, 상기 카메라(6)의 상기 색상 채널 각각은 상기 이미지 센서의 상기 센서 요소의 서브셋을 형성하고, 그 스펙트럼 민감도는 상기 카메라(6)의 상기 각각의 색상 채널의 채널-특정 민감도에 대응할 수 있다.
10. 예시 9에 따른 방법에 있어서, 상기 모바일 전자 장치(2)의 상기 카메라(6)는 적색 색상 채널, 녹색 색상 채널, 및 청색 색상 채널을 포함할 수 있다.
11. 앞선 예시들 중 어느 한 방법에 있어서, 상기 측정 이미지들(39) 각각은 이미지 포인트들(40)에 할당된 이미지 데이터뿐만 아니라 복수의 이미지 포인트들(40)을 포함하며, 상기 방법은,
-상기 측정 이미지들(39)의 상기 이미지 포인트(40)를 병합하는 단계와,
-상기 병합된 이미지 포인트의 이미지 데이터를 상기 각각의 병합된 이미지 포인트들(40)의 측정 데이터 세트로 그룹화하는 단계를 포함한다.
12. 예시 11에 따른 방법에 있어서, 상기 측정 이미지들(39)의 상기 이미지 포인트들(40)은 상기 측정 이미지들(39)의 이미지 정합(registration)을 통해 모아질 수 있다.
13. 예시 11 및 예시 12 중 어느 한 방법에 있어서, 상기 측정 데이터 세트는 머신 러닝 방법에 의하여 교정되거나 훈련된 알고리즘에 의하여 평가할 수 있다.
14. 예시 13에 따른 방법에 있어서, 상기 알고리즘은 감시된 학습 방법 또는 비 감시 학습 방법에 의해 훈련될 수 있다.
15. 예시 11 내지 14 중 어느 한 방법에 있어서, 상기 측정 데이터 세트를 분류 방법에 의하여 평가할 수 있다.
16. 예시 11 내지 15 중 어느 한 방법에 있어서, 상기 측정 데이터 세트를 인공 신경망에 의하여 평가할 수 있다.
17. 예시 11 내지 16 중 어느 한 방법에 있어서, 상기 측정 데이터 세트 각각을 적어도 하나의 미리 정의된 참조 데이터 세트와 비교할 수 있다.
18. 예시 11 내지 17 중 어느 한 방법에 있어서, 상기 측정 데이터 세트들로부터 상기 측정된 물체(38)의 적어도 하나의 반사 특성을 결정하고, 바람직하게는 상기 카메라(6)의 스펙트럼 민감도 및 상기 스크린의 스펙트럼 방출 특성을 고려하는 단계를 포함할 수 있다.
19. 예시 11 내지 18 중 어느 한 방법에 있어서, 상기 측정된 물체의 상기 적어도 하나의 결정된 반사 특성을 적어도 하나의 미리 정의된 참조 반사 특정과 비교하는 단계를 포함할 수 있다.
20. 예시 11 내지 19 중 어느 한 방법에 있어서, 예시 2 내지 예시 5 중 어느 한 예시와 예시 9 또는 예시 10 중 어느 한 예시와 결합된 예시 11 내지 예시 19 중 어느 한 방법에 있어서, 상기 스크린(7)은 M개 색상 채널을 포함하고, 상기 카메라(6)는 N개 색상 채널을 포함하고, M> 1 및 N> 1 인 경우, 각각의 측정 데이터 세트는 1
d≤M 및 1
c≤N을 갖는 적어도 M Х N 개의 측정 값 (F (d, c))을 포함하고, 상기 M Х N 측정 값은 상기 스크린의 컬러 채널과 카메라 (6)의 컬러 채널의 M Х N 상이한 조합에 대응할 수 있다.
21. 앞선 예시들 중 어느 한 방법에 있어서, 상기 모바일 전자 장치는 유저 인터페이스를 포함하고, 상기 방법은,
- 상기 유저 인터페이스(16) 통하여 상기 미리 정의된 조명 이미지 순서가 정해지거나 구체화되는 단계 및/또는
- 상기 유저 인터페이스(16)에 의하여 서로 다른 미리 정의된 조명 이미지 순서들의 선택이 되는 단계 및/또는
- 서로 다른 측정 물체간의 선택 및/또는 관심이 있는 측정 물체의 서로 다른 특성들 간의 선택은 상기 유저 인터페이스(16)에 의해 가능해지고, 상기 제어 장치는 측정된 물체 및/또는 관심 특징의 선택에 따라 여러 저장된 미리 정의된 조명 이미지 순서들 사이에서 특정 미리 정의된 조명 이미지 순서를 선택(예를 들어 자동적으로 상기 모바일 장치의 제어 유닛에 의하여)하는 단계 더 포함할 수 있다.
22. 앞선 예시들 중 어느 한 방법에 있어서,
- 교정 표준의 측정 이미지를 포착하는 단계
- 상기 교정 표준의 측정 이미지들 및 저장된 상기 교정 표준에 속하는 참조 데이터를 이용하여, 상기 교정 표준의 상기 언급한 측정 이미지들을 포착하고, 상기 모바일 장치(2)의 교정을 수행하는, 특히 상기 스크린(7)의 교정 및/또는 상기 카메라(6)의 교정, 단계를 포함할 수 있다.
23. 상기 예시들 중 어느 한 방법에 있어서, 상기 스크린은 터치 스크린으로 디자인될 수 있다.
24. 상기 예시들 중 어느 한 방법에 있어서, 상기 모바일 장치는 스마트폰이거나 태블릿 컴퓨터일 수 있다.
앞선 예시 1 내지 예시 24 중 어느 한 예시에 따른 방법은 상기 모바일 전자 장치에서 컴퓨터 프로그램 제품이 실행되는 방법인 것으로, 제안된 컴퓨터 프로그램 제품은 상기 모바일 전자 장치(2)의 내부 데이터 메모리(11)에 예를 들어 소프트웨어 코드 섹션을 포함하여 로딩이 될 수 있다.
추가적으로, 장치(2)의 교정 모드는 모바일 장치(2)의 유저 인터페이스(16)를 통하여 활성화될 수 있다. 모바일 장치(2)의 제어 유닛(8)과 평가 유닛(13)은 교정 모드에서 교정 표준의 기술된 측정 이미지를 포착하고 평가하도록 구성될 수 있다. 이러한 포착을 위하여, 교정 표준은 사용자에 의해 카메라(6)의 관찰 영역(20) 안에 유지된다. 기술 된 바와 같이, 스펙트럼 채널들 (Sk)에 대한 값들은 평가 유닛 (13)을 통해 측정 이미지들로부터 계산되고 이어서 이 교정 표준에 속하고 모바일 장치(2)의 데이터 메모리 (9)에 저장된 참조 데이터 세트와 비교된다. 변수 Dd (
) 및 Cc (
)의 값은 이러한 비교에 기초하여 자동적으로 재 계산되고 추가 측정을 위해 데이터 메모리 (9)에 저장된다.
1 : 시스템
2 : 장치
3 : 컴퓨터
4 : 컴퓨터 네트워크
5 : 하우징
6 : 카메라
7 : 스크린
8 : 제어 유닛
9 : 데이터 메모리
10 : 컴퓨터 프로그램 제품
11 : 데이터 메모리
12 : 프로세서
13 : 평가 유닛
14 : 평가 유닛
15 : 프로세서
16 : 유저 인터페이스
17 : 데이터 인터페이스
18: 렌즈
19: 전면 측
20: 관찰 영역
21: 이미지 센서
22: 전체 이미지 영역
23 내지 32: 조명 이미지
33: 부분-영역
34: 상부 가장자리
35: 하부 가장자리
36: 왼쪽 가장자리
37: 오른쪽 가장자리
38: 측정(된) 물체
39: 측정 이미지들
40: 이미지 포인트
41: 측정 이미지
42: 물체 이미지 포인트
43: 물체 포인트
44: GPS 모듈
45: 에너지 저장
2 : 장치
3 : 컴퓨터
4 : 컴퓨터 네트워크
5 : 하우징
6 : 카메라
7 : 스크린
8 : 제어 유닛
9 : 데이터 메모리
10 : 컴퓨터 프로그램 제품
11 : 데이터 메모리
12 : 프로세서
13 : 평가 유닛
14 : 평가 유닛
15 : 프로세서
16 : 유저 인터페이스
17 : 데이터 인터페이스
18: 렌즈
19: 전면 측
20: 관찰 영역
21: 이미지 센서
22: 전체 이미지 영역
23 내지 32: 조명 이미지
33: 부분-영역
34: 상부 가장자리
35: 하부 가장자리
36: 왼쪽 가장자리
37: 오른쪽 가장자리
38: 측정(된) 물체
39: 측정 이미지들
40: 이미지 포인트
41: 측정 이미지
42: 물체 이미지 포인트
43: 물체 포인트
44: GPS 모듈
45: 에너지 저장
Claims (26)
- 측정된 물체의 측정 이미지를 포착하는 시스템(1)에 있어서, 모바일 전자 장치를 포함하고, 상기 모바일 전자 장치(2)는,
- 하우징(5),
- 카메라(6)의 관찰 영역(20) 내의 측정된 물체(38)의 측정 이미지(39)를 포착하기 위하여, 상기 하우징(5)에 통합된 카메라(6),
- 상기 스크린(7)은 이미지들의 발광(light-emitting) 디스플레이를 위하여, 상기 스크린(7)은 상기 카메라(6)의 상기 관찰 영역(20)과 대면하고, 상기 하우징(5)에 통합된 스크린(7),
- 상기 하우징(5)에 통합되고 미리 정의된 조명 이미지 순서의 여러 상이한 조명 이미지(23)를 연속적으로 디스플레이 하도록 상기 모바일 전자 장치(2)의 상기 스크린(7)을 활성화하는 제어 유닛(8)을 포함하고, 상기 제어유닛(8)은 미리 정의된 조명 이미지 순서의 각 조명 이미지(23)를 디스플레이함과 동시에 상기 측정 물체의 측정 이미지를 포착하기 위하여 상기 모바일 전자 장치(2)의 상기 카메라(6)를 활성화하고,
상기 측정 이미지들(39) 각각은 이미지 포인트들(40)에 할당된 이미지 데이터뿐만 아니라 복수의 이미지 포인트들(40)을 포함하며, 상기 시스템(1)은 상기 측정 이미지들(39)의 상기 이미지 포인트들(40)을 상기 측정 이미지들(39)의 이미지 정합(registration)을 통해 병합하고 병합된 이미지 포인트(43)의 상기 이미지 데이터를 측정 데이터 세트로 그룹화도록 구성된 평가 유닛(13, 14)를 포함하고, 상기 병합된 이미지 포인트(40)는 등록된 측정 이미지(41)를 형성하고, 상기 등록된 측정 이미지의 상기 이미지 포인트(43)는 각각 할당된 측정 데이터 세트를 포함하며, 상기 평가 유닛(13, 15)은 물체 인식 알고리즘에 의해 상기 등록된 이미지(41) 내 물체 이미지 포인트(42)를 검출하도록 구성되고 상기 물체 이미지 포인트의 각각은 상기 측정된 물체(38)의 물체 포인트(43)를 이미징하며, 상기 평가 유닛(13, 15)은 가정된 물체 이미지 포인트로서 정의된 제1 이미지 포인트로부터 시작하여 인접한 이미지 포인트의 상기 측정 데이터 세트가 상기 제1 이미지 포인트의 상기 측정 데이터 세트와 얼마나 다른지 결정하고, 상기 측정 데이터 세트가 상기 제1 이미지 포인트의 상기 측정 데이터 세트로부터 충분히 낮은 편차를 갖는 물체 이미지 포인트로서 상기 인접한 이미지 포인트만을 분류하고, 더 이상 이미지 포인트가 물체 이미지 포인트로서 분류될 수 없을 때까지 각각 검출된 물체 포인트에서 시작하여 상기 물체 인식 알고리즘을 계속하도록 구성되는 시스템(1). - 제1항에 있어서,
상기 모바일 전자 장치(2)의 상기 스크린(7)은 몇몇의 색상 채널을 구성하고, 상기 스크린(7)은 상기 색상 채널 각각 채널-특정 스펙트럼 방출 특성을 가지며, 상기 스크린(7)은 그리드 형태로 배열된 복수의 광 요소를 포함하며, 각 색상 채널은 상기 스크린(7)의 광 요소의 서브셋에 의해 형성되고, 그 스펙트럼 방출 특성은 각 색상 채널의 채널-특정 스펙트럼 방출 특성에 대응되는 것을 특징으로 하는 시스템(1). - 제2항에 있어서,
상기 모바일 전자 장치(2)의 상기 제어 유닛(8)은 상기 미리 정의된 조명 이미지 순서의 하나 또는 그 이상의 조명 이미지(23)를 디스플레이하도록 상기 모바일 전자 장치(2)의 상기 스크린(7)을 활성화하는 것을,
- 상기 스크린(7)의 단일 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 이 색상 채널에 미리 정의된 균일한 밝기값으로 이 색상 채널의 모든 활성화된 광 요소를 활성화하는 방법에 의하여
- 몇몇의 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 상기 각 색상 채널에 대해 미리 정의된 균일한 밝기값을 갖는 모든 활성화된 광 요소를 활성화하는 방법에 의하여,
- 하나 또는 그 이상의 색상 채널의 광 요소를 활성화하는 방법에 의하여 그리고 각 색상 채널에 대해 미리 정의된 그래디언트로 모든 활성 광 요소를 활성화하는 방법에 의하여,
특징으로 하는 시스템(1). - 제2항 또는 제3항에 있어서,
상기 모바일 전자 장치(2)의 상기 스크린(7)은 적색 색상 채널, 녹색 색상 채널, 및 청색 색상 채널을 포함하고, 상기 조명 순서는 적색 조명 이미지(23), 녹색 조명 이미지(24), 및 청색 조명 이미지(25)를 포함하고, 상기 모바일 전자 장치(2)의 상기 제어 유닛(8)은
-상기 스크린(7)의 상기 적색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 적색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 적색 조명 이미지(23)를 표시하고,
-상기 스크린(7)의 상기 녹색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 녹색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 녹색 조명 이미지(24)를 표시하고,
- 상기 스크린(7)의 상기 청색 색상 채널의 광 요소만을 활성화시킴으로써 및 상기 청색 색상 채널의 모든 활성화된 광 요소를 미리 정의된 균일한 밝기 값으로 활성화시킴으로써 상기 청색 조명 이미지(25)를 표시하여,
상기 스크린(7)을 활성화하는 시스템(1). - 제 1항에 있어서,
상기 지정된 조명 이미지 순서의 각 조명 이미지(23)의 후술하는 이미지 특성들 중 하나 또는 그 이상이 미리 지정되는, 시스템(1)
- 각각의 조명 이미지를 디스플레이 할 때 스크린(7)에 의하여 방출되는 광의 스펙트럼 구성 및/또는
- 상기 제2항 내지 제 4항 중 어느 한 항이 다시 관련되어 있기 때문에, 상기 스크린(7)의 각 색상 채널에 대하여, 균일한 밝기 값, 및/또는
- 각 조명 이미지(28, 29, 30)에 의하여 채워지는 스크린 영역 및/또는
-상기 스크린(7)의 전체 이미지 영역(22) 내에서 상기 각 조명 이미지(28, 29, 30)에 의하여 채워지는 스크린 영역의 배열. - 제 1항에 있어서,
상기 각 조명 이미지들은 상기 스크린(7)의 전체 이미지 영역의 부분-영역(33)만 오로지 채우는 것을 특징으로 하고, 상기 조명 이미지들의 상기 채워진 부분-영역(33)은 상기 스크린(7)의 전체 이미지 영역에서 그들의 배치가 서로 상이한 시스템(1). - 제 6항에 있어서,
상기 스크린(7)의 상기 전체 이미지 영역은 상부 가장자리(34)를 포함하고, 상기 조명 이미지들의 상기 채워진 부분-영역(33)은 상기 스크린(7)의 전체 이미지 영역에서 그들의 거리가 서로 상이하고, 상기 스크린(7)의 상기 전체 이미지 영역의 상기 상부 가장자리(34) 위에 렌즈가 배치되는 시스템(1). - 제 1항에 있어서,
상기 시스템은 미리 정의된 조명 이미지 순서가 부분적으로 또는 완전하게 정의된 조명 파라미터가 저장된 적어도 하나의 데이터 메모리(9, 11)을 포함하는 것을 특징으로 하고, 상기 모바일 전자 장치(2)의 상기 제어 유닛(8)은 상기 데이터 메모리(9, 11)로부터 적어도 하나의 데이터 메모리(9, 11)에 저장된 상기 조명 파라미터를 검색하고, 상기 검색된 조명 파라미터를 기초로 미리 정의된 조명 이미지 순서를 결정하는 시스템(1). - 제 1항에 있어서,
상기 모바일 전자 장치(2)의 상기 카메라(6)는 몇몇의 다른 색상 채널을 포함하고, 상기 카메라(6)는 상기 색상 채널 각각을 위한 채널-특정 스펙트럼 민감도을 가지고, 상기 카메라(6)는 그리드 형태로 배열된 복수의 센서 요소를 포함하고, 상기 카메라(6)의 상기 색상 채널 각각은 상기 이미지 센서의 상기 센서 요소의 서브셋을 형성하고, 그 스펙트럼 민감도는 상기 카메라(6)의 상기 각각의 색상 채널의 채널-특정 민감도에 대응하는 것을 특징으로 하는 시스템(1). - 제9항에 있어서,
상기 모바일 전자 장치(2)의 상기 카메라(6)는 적색 색상 채널, 녹색 색상 채널, 및 청색 색상 채널을 포함하는 것을 특징으로 하는 시스템(1) - 삭제
- 삭제
- 제1항에 있어서,
상기 평가 유닛(13, 14)는 머신 러닝 방법에 의하여 교정되거나 훈련된 알고리즘에 의하여 상기 측정 데이터 세트를 평가하도록 구성된 것을 특징으로 하는 시스템. - 제13항에 있어서,
상기 알고리즘은 감시된 학습 방법 또는 비 감시 학습 방법에 의해 훈련하도록 구성된 것을 특징으로 하는 시스템(1). - 제1항에 있어서,
상기 평가 유닛(13, 14)은 분류 방법에 의하여 상기 측정 데이터 세트를 평가하도록 구성된 것을 특징으로 하는 시스템(1). - 제1항에 있어서,
상기 평가 유닛(13, 14)은 인공 신경망에 의하여 상기 측정 데이터 세트를 평가하도록 구성된 것을 특징으로 하는 시스템(1). - 제1항에 있어서,
상기 평가 유닛(13, 14)은 적어도 하나의 미리 정의된 참조 데이터 세트와 상기 측정 데이터 세트들 각각을 비교하도록 구성된 것을 특징으로 하는 시스템(1). - 제1항에 있어서,
상기 평가 유닛(13, 14)은 상기 측정 데이터 세트들로부터 상기 측정된 물체(38)의 적어도 하나의 반사 특성을 결정하고, 바람직하게는 상기 카메라(6)의 스펙트럼 민감도 및 상기 스크린의 스펙트럼 방출 특성을 고려하도록 구성된 것을 특징으로 하는 시스템(1). - 제18항에 있어서,
상기 평가 유닛(13, 14)는 상기 측정된 물체의 상기 적어도 하나의 결정된 반사 특성을 적어도 하나의 미리 정의된 참조 반사 특정과 비교하도록 구성된 것을 특징으로 하는 시스템(1). - 제1항에 있어서,
상기 스크린(7)은 M개 색상 채널을 포함하고, 상기 카메라(6)는 N개 색상 채널을 포함하고, M> 1 및 N> 1 인 경우, 각각의 측정 데이터 세트는 1d≤M 및 1
c≤N을 갖는 적어도 M Х N 개의 측정 값 (F (d, c))을 포함하고, 상기 M Х N 측정 값은 상기 스크린의 컬러 채널과 카메라 (6)의 컬러 채널의 M Х N 상이한 조합에 대응하는 것을 특징으로 하는 시스템(1).
- 제1항에 있어서, 상기 모바일 전자 장치(2)는 유저 인터페이스(16)를 포함하고,
- 상기 유저 인터페이스(16) 통하여 상기 미리 정의된 조명 이미지 순서가 정해지거나 및/또는
- 상기 유저 인터페이스(16)에 의하여 서로 다른 미리 정의된 조명 이미지 순서들의 선택이 되거나 및/또는
- 서로 다른 측정 물체간의 선택 및/또는 관심이 있는 측정 물체의 서로 다른 특성들 간의 선택은 상기 유저 인터페이스(16)에 의해 가능해지고, 상기 제어 장치는 측정된 물체 및/또는 관심 특징의 선택에 따라 여러 저장된 미리 정의된 조명 이미지 순서들 사이에서 특정 미리 정의된 조명 이미지 순서를 선택하도록 구성된 것을 특징으로 하는 시스템(1). - 제1항에 있어서, 상기 모바일 전자 장치(2)는 교정 모드로 스위칭 가능하고, 상기 모바일 장치(2)는, 상기 언급한 측정 이미지들 상기 교정 모드에서, 상기 교정 표준의 측정 이미지들 및 저장된 상기 교정 표준에 속하는 참조 데이터를 이용하여, 상기 교정 표준의 상기 언급한 측정 이미지들을 포착하고, 상기 모바일 장치(2)의 교정을 수행하는, 특히 상기 스크린(7)의 교정 및/또는 상기 카메라(6)의 교정, 구성을 포함하는 시스템(1).
- 제1항에 있어서, 상기 스크린(7)은 터치스크린으로 디자인된 것을 특징으로 하는 시스템(1).
- 제1항에 있어서, 상기 모바일 장치는 스마트폰이나 태블릿 컴퓨터인 것을 특징으로 하는 시스템(1).
- 제1항 내지 제10항 및 제13항 내지 제24항 중 어느 한 항에 따른 시스템을 통한 측정 물체의 측정 이미지를 포착하는 방법으로서,
상기 제어 유닛(8)에 의하여, 상기 미리 정의된 조명 이미지 순서의 여러 다른 조명 이미지를 연속적으로 표시하기 위하여 상기 모바일 전자 장치(2)의 상기 스크린(7)을 활성화하는 단계,
상기 미리 정의된 조명 이미지 순서의 각 조명 이미지와 함께 동시에 상기 측정 물체의 측정 이미지를 포착하기 위하여 상기 모바일 전자 장치의 상기 카메라(6)를 활성화하는 단계를 포함하고,
상기 측정 이미지들(39)의 이미지 포인트들(40)을 병합하고 병합된 이미지 포인트(40)에 할당된 이미지 데이터를 측정 데이터 세트로 그룹화하는 단계를 포함하고, 상기 병합된 이미지 포인트(40)는 등록된 측정 이미지(41)을 형성하며, 상기 등록된 측정 이미지의 상기 이미지 포인트(43)는 각각 할당된 상기 측정 데이터 세트를 포함하고,
물체 인식 알고리즘을 수행하여 상기 등록된 이미지(41) 내 물체 이미지 포인트(42)를 검출하는 단계를 포함하고, 상기 물체 이미지 포인트의 각각은 상기 측정된 물체(38)의 물체 포인트(43)를 이미징하며, 상기 물체 인식 알고리즘을 수행 하는 단계는 가정된 물체 이미지 포인트로서 정의된 제1 이미지 포인트로부터 시작하여 인접한 이미지 포인트의 상기 측정 데이터 세트가 상기 제1 이미지 포인트의 상기 측정 데이터 세트와 얼마나 다른지 결정하는 단계, 상기 측정 데이터 세트가 상기 제1 이미지 포인트의 상기 측정 데이터 세트로부터 충분히 낮은 편차를 갖는 물체 이미지 포인트로서 상기 인접한 이미지 포인트만을 분류하는 단계, 더 이상 이미지 포인트가 물체 이미지 포인트로서 분류될 수 없을 때까지 각각 검출된 물체 포인트에서 시작하여 상기 물체 인식 알고리즘을 계속하는 단계를 포함하는 방법. - 제1항 내지 제10항 및 제13항 내지 제24항 중 어느 한 항에 따른 상기 시스템의 상기 모바일 전자 장치(2)의 내부 데이터 메모리(11)에 직접 로딩될 수 있는 컴퓨터 프로그램 제품(10)은 제25항에 따른 방법의 단계들은 상기 모바일 전자 장치(2)에서 상기 컴퓨터 프로그램 제품(10)이 실행될 때 실행되는 소프트웨어 코드 섹션을 포함하도록 구성된 컴퓨터 프로그램 제품(10).
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102016226206.8 | 2016-12-23 | ||
| DE102016226206.8A DE102016226206A1 (de) | 2016-12-23 | 2016-12-23 | System und Verfahren zum Erfassen von Messbildern eines Messobjekts |
| PCT/EP2017/084212 WO2018115346A1 (de) | 2016-12-23 | 2017-12-21 | System und verfahren zum erfassen von messbildern eines messobjekts |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190118562A KR20190118562A (ko) | 2019-10-18 |
| KR102454562B1 true KR102454562B1 (ko) | 2022-10-17 |
Family
ID=60915526
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020197021539A KR102454562B1 (ko) | 2016-12-23 | 2017-12-21 | 측정된 물체의 측정 이미지를 포착하는 시스템 및 방법 |
Country Status (10)
| Country | Link |
|---|---|
| US (2) | US10951831B2 (ko) |
| EP (1) | EP3560185B1 (ko) |
| JP (1) | JP2020507103A (ko) |
| KR (1) | KR102454562B1 (ko) |
| CN (1) | CN110383805B (ko) |
| AU (1) | AU2017383047B2 (ko) |
| CA (1) | CA3048123A1 (ko) |
| DE (1) | DE102016226206A1 (ko) |
| RU (1) | RU2758914C2 (ko) |
| WO (1) | WO2018115346A1 (ko) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150163410A1 (en) * | 2013-12-10 | 2015-06-11 | Semiconductor Energy Laboratory Co., Ltd. | Display Device and Electronic Device |
| DE102016226206A1 (de) | 2016-12-23 | 2018-06-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System und Verfahren zum Erfassen von Messbildern eines Messobjekts |
| WO2019014147A2 (en) | 2017-07-09 | 2019-01-17 | Lumenetix, Inc. | TECHNIQUES FOR CREATING CHARACTERIZATION MATRICES FOR REFLECTANCE, LIGHTING OR SENSOR RESPONSE |
| US11436858B2 (en) | 2017-07-09 | 2022-09-06 | Ringo Ai, Inc. | Characterizing reflectance, illuminance, and sensor response for electromagnetic radiation |
| US11263428B2 (en) | 2017-07-09 | 2022-03-01 | Ringo Ai, Inc. | Electromagnetic emitters and detectors for electronic devices |
| DE102018114005A1 (de) | 2018-06-12 | 2019-12-12 | Carl Zeiss Jena Gmbh | Materialprüfung von optischen Prüflingen |
| US11113826B2 (en) * | 2018-06-20 | 2021-09-07 | Centric Software, Inc. | Assisted material data collection |
| CN109269643B (zh) * | 2018-11-02 | 2021-05-11 | 天津津航技术物理研究所 | 基于移动设备屏幕光源的光谱解调系统及方法 |
| EP3939256A4 (en) | 2019-03-13 | 2024-01-10 | Ringo AI, Inc. | WHITE BALANCE WITH REFERENCE LIGHTS |
| GB2583905A (en) * | 2019-04-24 | 2020-11-18 | Univ Ulster | Method and system for generating optical spectra |
| US11533417B2 (en) | 2019-06-20 | 2022-12-20 | Cilag Gmbh International | Laser scanning and tool tracking imaging in a light deficient environment |
| US11012599B2 (en) | 2019-06-20 | 2021-05-18 | Ethicon Llc | Hyperspectral imaging in a light deficient environment |
| US11937784B2 (en) | 2019-06-20 | 2024-03-26 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
| US12126887B2 (en) * | 2019-06-20 | 2024-10-22 | Cilag Gmbh International | Hyperspectral and fluorescence imaging with topology laser scanning in a light deficient environment |
| US11758256B2 (en) | 2019-06-20 | 2023-09-12 | Cilag Gmbh International | Fluorescence imaging in a light deficient environment |
| US11348334B1 (en) * | 2019-06-30 | 2022-05-31 | George Douglas MacEwen | Methods and systems for skin color matching using an imaging device and a controlled light source |
| DE102019210405A1 (de) | 2019-07-15 | 2021-01-21 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Verfahren zur Untersuchung von Substanzen, Computerprogrammprodukt zur Verwendung in diesem Verfahren, sowie mobiles elektronisches Gerät |
| WO2021105223A1 (en) | 2019-11-26 | 2021-06-03 | F. Hoffmann-La Roche Ag | Methods and devices for performing an analytical measurement |
| US11887088B2 (en) * | 2020-01-22 | 2024-01-30 | Salesforce, Inc. | Smart moderation and/or validation of product and/or service details in database systems |
| CA3205486A1 (en) * | 2020-12-18 | 2022-06-23 | Terramera, Inc. | Systems and methods for hyperspectral imaging of plants |
| JP7602195B2 (ja) * | 2021-01-27 | 2024-12-18 | オムロン株式会社 | 撮影条件設定システム、撮影条件設定方法及びプログラム |
| CN112837299B (zh) * | 2021-02-09 | 2024-02-27 | 浙江工业大学 | 一种纺织品图像指纹检索方法 |
| DE102021117494A1 (de) | 2021-07-07 | 2023-01-12 | Schneider Electric Industries Sas | Anzeigevorrichtung, Verfahren und mobiles Endgerät zur optischen Ausgabe eines internen Betriebszustands eines elektrischen Geräts |
| DE102021207924A1 (de) * | 2021-07-23 | 2023-01-26 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung eingetragener Verein | Verfahren zur Überwachung und/oder Kalibrierung einer Einrichtung, die zur dreidimensionalen röntgenoptischen Überprüfung von Keimlingen in ver-schiedenen Wachstumsphasen ausgebildet ist |
| CN118397021B (zh) * | 2024-06-24 | 2024-08-20 | 吉林建筑大学 | 一种考虑视觉特性的屏幕区域划分方法 |
Family Cites Families (28)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1472913B1 (en) | 2002-02-07 | 2012-04-11 | RGB Technologies AB | Analysis method |
| JP4899424B2 (ja) * | 2005-11-04 | 2012-03-21 | トヨタ自動車株式会社 | 物体検出装置 |
| JP2011106931A (ja) * | 2009-11-16 | 2011-06-02 | Roland Dg Corp | ３次元形状測定システムおよび携帯電話機 |
| US10230880B2 (en) * | 2011-11-14 | 2019-03-12 | Tseng-Lu Chien | LED light has built-in camera-assembly for colorful digital-data under dark environment |
| AU2011383785B2 (en) * | 2011-12-21 | 2015-11-12 | Sca Hygiene Products Ab | Method for measuring the absorption of fluid in an absorbent product |
| FR2987118A1 (fr) * | 2012-02-17 | 2013-08-23 | Franck Hennebelle | Procede et dispositif de mesure de la couleur d'un objet |
| US20140028799A1 (en) * | 2012-07-25 | 2014-01-30 | James Kuffner | Use of Color and Intensity Modulation of a Display for Three-Dimensional Object Information |
| US20150363481A1 (en) * | 2012-09-06 | 2015-12-17 | Michael N. Haynes | Systems, Devices, and/or Methods for Managing Information |
| US9445749B2 (en) * | 2013-01-21 | 2016-09-20 | Cornell University | Smartphone-based apparatus and method for obtaining repeatable, quantitative colorimetric measurement |
| US20140378810A1 (en) * | 2013-04-18 | 2014-12-25 | Digimarc Corporation | Physiologic data acquisition and analysis |
| JP6506507B2 (ja) * | 2013-05-15 | 2019-04-24 | キヤノン株式会社 | 測定装置およびその制御方法 |
| US9525811B2 (en) * | 2013-07-01 | 2016-12-20 | Qualcomm Incorporated | Display device configured as an illumination source |
| EP2821762A1 (en) * | 2013-07-03 | 2015-01-07 | Akzo Nobel Coatings International B.V. | Process of measuring color properties of an object using a mobile device |
| JP2015127680A (ja) * | 2013-12-27 | 2015-07-09 | スリーエム イノベイティブ プロパティズ カンパニー | 計測装置、システムおよびプログラム |
| US10478127B2 (en) * | 2014-06-23 | 2019-11-19 | Sherlock Solutions, LLC | Apparatuses, methods, processes, and systems related to significant detrimental changes in health parameters and activating lifesaving measures |
| US9897434B2 (en) * | 2014-10-21 | 2018-02-20 | Hand Held Products, Inc. | Handheld dimensioning system with measurement-conformance feedback |
| RU2601678C2 (ru) * | 2014-12-15 | 2016-11-10 | Самсунг Электроникс Ко., Лтд. | Портативное устройство для измерения хромофоров в коже и способ применения устройства |
| US9230140B1 (en) * | 2014-12-30 | 2016-01-05 | Hand Held Products, Inc. | System and method for detecting barcode printing errors |
| US10475361B2 (en) * | 2015-02-02 | 2019-11-12 | Apple Inc. | Adjustable display illumination |
| US9521331B2 (en) * | 2015-04-21 | 2016-12-13 | Hand Held Products, Inc. | Capturing a graphic information presentation |
| US9786101B2 (en) * | 2015-05-19 | 2017-10-10 | Hand Held Products, Inc. | Evaluating image values |
| US9507974B1 (en) * | 2015-06-10 | 2016-11-29 | Hand Held Products, Inc. | Indicia-reading systems having an interface with a user's nervous system |
| US20160377414A1 (en) * | 2015-06-23 | 2016-12-29 | Hand Held Products, Inc. | Optical pattern projector |
| US9835486B2 (en) * | 2015-07-07 | 2017-12-05 | Hand Held Products, Inc. | Mobile dimensioner apparatus for use in commerce |
| EP3118576B1 (en) * | 2015-07-15 | 2018-09-12 | Hand Held Products, Inc. | Mobile dimensioning device with dynamic accuracy compatible with nist standard |
| EP3356800B1 (fr) * | 2015-09-30 | 2021-07-28 | Color Grail Research | Procédé de détermination de la réflectance d'un objet et dispositif associé |
| EP3184977B1 (en) * | 2015-12-23 | 2024-09-25 | Spectricity | User device |
| DE102016226206A1 (de) | 2016-12-23 | 2018-06-28 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | System und Verfahren zum Erfassen von Messbildern eines Messobjekts |
-
2016
- 2016-12-23 DE DE102016226206.8A patent/DE102016226206A1/de not_active Withdrawn
-
2017
- 2017-12-21 RU RU2019121249A patent/RU2758914C2/ru active
- 2017-12-21 JP JP2019534173A patent/JP2020507103A/ja active Pending
- 2017-12-21 WO PCT/EP2017/084212 patent/WO2018115346A1/de unknown
- 2017-12-21 US US16/472,023 patent/US10951831B2/en active Active
- 2017-12-21 CA CA3048123A patent/CA3048123A1/en active Pending
- 2017-12-21 KR KR1020197021539A patent/KR102454562B1/ko active IP Right Grant
- 2017-12-21 AU AU2017383047A patent/AU2017383047B2/en active Active
- 2017-12-21 EP EP17823141.1A patent/EP3560185B1/de active Active
- 2017-12-21 CN CN201780087346.1A patent/CN110383805B/zh active Active
-
2021
- 2021-02-05 US US17/248,759 patent/US11588979B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| DE102016226206A1 (de) | 2018-06-28 |
| US10951831B2 (en) | 2021-03-16 |
| RU2019121249A3 (ko) | 2021-03-04 |
| RU2758914C2 (ru) | 2021-11-03 |
| AU2017383047A1 (en) | 2019-07-11 |
| CA3048123A1 (en) | 2018-06-28 |
| JP2020507103A (ja) | 2020-03-05 |
| EP3560185B1 (de) | 2021-07-21 |
| RU2019121249A (ru) | 2021-01-26 |
| WO2018115346A1 (de) | 2018-06-28 |
| KR20190118562A (ko) | 2019-10-18 |
| AU2017383047B2 (en) | 2022-06-02 |
| EP3560185A1 (de) | 2019-10-30 |
| US20200195826A1 (en) | 2020-06-18 |
| US11588979B2 (en) | 2023-02-21 |
| US20210185212A1 (en) | 2021-06-17 |
| CN110383805B (zh) | 2021-08-24 |
| CN110383805A (zh) | 2019-10-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102454562B1 (ko) | 측정된 물체의 측정 이미지를 포착하는 시스템 및 방법 | |
| Yin et al. | Application of near-infrared hyperspectral imaging to discriminate different geographical origins of Chinese wolfberries | |
| Vesali et al. | Development of an android app to estimate chlorophyll content of corn leaves based on contact imaging | |
| US11010894B1 (en) | Deriving a skin profile from an image | |
| Müller-Linow et al. | Plant Screen Mobile: an open-source mobile device app for plant trait analysis | |
| Song et al. | Evaluation of machine learning methods for organic apple authentication based on diffraction grating and image processing | |
| TWI718142B (zh) | 顯示裝置及非暫時性電腦可讀媒體 | |
| US11995567B2 (en) | Apparatuses and methods for color matching and recommendations | |
| Hadimani et al. | Development of a computer vision system to estimate the colour indices of Kinnow mandarins | |
| Lopez-Ruiz et al. | Portable multispectral imaging system based on Raspberry Pi | |
| CN110637224A (zh) | 信息搜索系统及程序 | |
| Mendoza et al. | Automated prediction of sensory scores for color and appearance in canned black beans (Phaseolus vulgaris L.) using machine vision | |
| Mollazade et al. | Data mining-based wavelength selection for monitoring quality of tomato fruit by backscattering and multispectral imaging | |
| CN108184286A (zh) | 灯具的控制方法和控制系统以及电子设备 | |
| Arunachalam et al. | Real-time plant phenomics under robotic farming setup: A vision-based platform for complex plant phenotyping tasks | |
| EP3649459A1 (de) | System zum verwalten von haarzustandsinformation und verfahren zum optimieren eines kosmetischen beratungssystems | |
| Muñoz-Postigo et al. | Band selection pipeline for maturity stage classification in bell peppers: From full spectrum to simulated camera data | |
| Concepcion II et al. | A novel artificial bee colony-optimized visible oblique dipyramid greenness index for vision-based aquaponic lettuce biophysical signatures estimation | |
| Yang et al. | Machine learning based framework for the detection of mushroom browning using a portable hyperspectral imaging system | |
| Balasundaram et al. | An Improved Normalized Difference Vegetation Index (NDVI) Estimation using Grounded Dino and Segment Anything Model for Plant Health Classification | |
| Mollazade et al. | Spatial mapping of moisture content in tomato fruits using hyperspectral imaging and artificial neural networks | |
| De Silva et al. | Tomato Disease Detection Using Multispectral Imaging with Deep Learning Models | |
| Sarker et al. | Feasibility of Smartphone-Based Color Matching in Fabrics for Smart Textiles Based on Color Modeling and Machine Learning | |
| DEL NOTARIO | Study of system trade-offs in “on-chip” hyperspectral imaging for industrial applications | |
| LOCKWOOD-GECK | DEVELOPMENT OF A NOVEL METHODOLOGY FOR THE MEASUREMENT OF RED19 KIWIFRUIT COLOUR QUALITY |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0105 | International application |
Patent event date: 20190723 Patent event code: PA01051R01D Comment text: International Patent Application |
|
| PG1501 | Laying open of application | ||
| A201 | Request for examination | ||
| PA0201 | Request for examination |
Patent event code: PA02012R01D Patent event date: 20201209 Comment text: Request for Examination of Application |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
Comment text: Notification of reason for refusal Patent event date: 20220222 Patent event code: PE09021S01D |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
Patent event code: PE07011S01D Comment text: Decision to Grant Registration Patent event date: 20220811 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
Comment text: Registration of Establishment Patent event date: 20221011 Patent event code: PR07011E01D |
|
| PR1002 | Payment of registration fee |
Payment date: 20221012 End annual number: 3 Start annual number: 1 |
|
| PG1601 | Publication of registration |