KR102138100B1

KR102138100B1 - Electronic device and method for displaying synthesized image of object image and state information

Info

Publication number: KR102138100B1
Application number: KR1020180102686A
Authority: KR
Inventors: 신성철
Original assignee: 한국과학기술연구원
Priority date: 2018-08-30
Filing date: 2018-08-30
Publication date: 2020-07-27
Also published as: KR20200025403A

Abstract

물체 이미지와 상태 정보의 합성 이미지를 표시하는 전자기기 및 방법에 관한 것으로, 물체의 표면에서 반사된 빛으로부터 물체의 이미지를 나타내는 신호를 생성하고 물체 속을 침투한 후에 물체의 표면으로부터 방출된 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성하고, 물체의 이미지를 나타내는 신호로부터 물체의 이미지를 생성하고 물체의 스펙트럼을 나타내는 신호로부터 물체의 상태 정보를 추정하고, 물체의 이미지와 상태 정보를 합성한 이미지를 표시함으로써 사용자가 이러한 합성 이미지를 관찰하는 것만으로 물체의 상태를 직관적으로 알 수 있도록 할 수 있다. An electronic device and method for displaying a composite image of an object image and state information, which generates a signal representing an image of an object from light reflected from the object's surface and from light emitted from the object's surface after penetrating into the object Generates a signal representing the spectrum of the object, generates an image of the object from the signal representing the image of the object, estimates the state information of the object from the signal representing the spectrum of the object, and displays an image combining the image and the state information of the object By doing so, the user can intuitively know the state of the object simply by observing the composite image.

Description

Electronic device and method for displaying synthesized image of object image and state information}

물체에서 반사된 빛으로부터 이미지를 생성하여 표시하는 전자기기 및 방법에 관한 것이다.An electronic device and method for generating and displaying an image from light reflected from an object.

최근 들어, 스마트폰이 현대인의 필수품으로 자리 잡으면서 현대인의 생활 양식이 변화되고 있다. 예를 들면, 스마트폰을 통한 모바일 채팅이나 SNS(Social Networking Service) 활동이 늘어나면서 다른 사람과의 대화나 음성 통화가 급격하게 줄어들고 있다. 또한, 어떤 물품의 구매 여부를 결정하거나 음식점, 숙박업소 등을 선택할 때에도 대부분의 사람이 스마트폰의 모바일 인터넷에서 검색한 관련 정보를 이용하고 있다. 그러나, 이와 같이 검색된 정보는 그 물품에 관한 일반적인 정보로서 스마트폰 사용자의 앞에 있는 물품의 상태에 관한 정보를 제공해주지는 않는다. 사용자가 물품의 상태를 알기 위해서는 일반적으로 별도의 측정 장비가 필요하다. 예를 들어, 사용자가 사과의 당도를 알아보고 사과를 구매하고자 할 때에 스마트폰으로는 사과의 당도를 알 수 없으며, 별도의 당도 측정기가 필요하다. 그러나, 이러한 당도 측정기는 그 특수 용도로 인해 일반적인 스마트폰 사용자가 당도 측정만을 목적으로 구매하기는 쉽지 않다. In recent years, as smartphones have become a necessity for modern people, the lifestyle of modern people is changing. For example, as mobile chat through a smartphone or social networking service (SNS) activity increases, conversations with other people or voice calls are rapidly decreasing. In addition, when deciding whether to purchase a certain item or selecting a restaurant or a lodging facility, most people use related information searched on the mobile Internet of a smartphone. However, the searched information is general information about the product and does not provide information on the state of the product in front of the user of the smartphone. In order for the user to know the condition of the item, a separate measuring device is generally required. For example, when a user wants to know the sugar content of an apple and purchase an apple, the smartphone cannot know the sugar content of the apple, and a separate sugar meter is required. However, such a sugar meter is not easy for a general smartphone user to purchase for the purpose of measuring sugar only due to its special purpose.

스마트폰 사용에 따른 생활 양식의 변화 및 스마트폰 소비자의 요구에 따라 스마트폰에 제공하는 기능들이 점점 더 증가하고 있다. 대표적으로, 모바일 헬스 분야를 들 수 있다. 모바일 헬스 분야는 사용자가 스마트폰을 이용하여 사용자의 피부 상태, 혈압, 심전도 등을 측정함으로써 사용자가 스스로 건강 관리를 할 수 있도록 하는 분야를 말한다. 그러나, 사용자의 피부 상태, 혈압, 심전도 등의 측정을 위해서는 대부분 스마트폰 외에 별도의 센서 액세서리가 요구된다. 사용자는 별도의 센서 액세서리를 구매해야 할 뿐만 아니라 이것을 자신의 생체에 부착하고 스마트폰에서 실행 중인 어플리케이션을 모니터링해야 한다는 점에서 매우 불편하다는 문제점이 있었다. 스마트폰의 카메라에 의해 촬영된 피부 이미지를 이용하여 사용자의 피부 상태를 알려주는 어플리케이션이 등장하였으나 피부 이미지로부터 파악될 수 있는 정보만 제공할 수 있을 뿐, 피부 내부의 조직 등을 통해 알 수 있는 정보를 제공할 수 없다는 한계가 있다.With the change of lifestyle according to the use of smartphones and the demands of smartphone consumers, functions provided to smartphones are increasing. Representatively, the mobile health field is mentioned. The mobile health field refers to a field in which the user can manage his/her own health by measuring the user's skin condition, blood pressure, and electrocardiogram using a smartphone. However, in order to measure a user's skin condition, blood pressure, and electrocardiogram, a separate sensor accessory is required in addition to a smartphone. The user had a problem in that it was very inconvenient in that he had to purchase a separate sensor accessory as well as attach it to his body and monitor the application running on the smartphone. An application that informs the user's skin condition using a skin image taken by the camera of a smartphone has appeared, but it can only provide information that can be grasped from the skin image, and information that can be known through tissues inside the skin. There is a limit that can not be provided.

별도의 측정 장비 없이도 사용자가 물체의 상태를 직관적으로 알 수 있도록 물체 이미지와 상태 정보의 합성 이미지를 표시하는 전자기기를 제공하는 데에 있다. 또한, 물체 이미지와 상태 정보의 합성 이미지를 표시하는 방법을 제공하는 데에 있다. 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 설명으로부터 또 다른 기술적 과제가 도출될 수도 있다. It is to provide an electronic device that displays a composite image of an object image and state information so that the user can intuitively know the state of the object without requiring separate measurement equipment. It is also to provide a method of displaying a composite image of an object image and state information. It is not limited to the technical problems as described above, and another technical problem may be derived from the following description.

본 발명의 일 측면에 따른 전자기기는 물체의 표면에서 반사된 빛으로부터 상기 물체의 이미지를 나타내는 신호를 생성하고, 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성하는 복합센서; 상기 물체의 이미지를 나타내는 신호로부터 상기 물체의 이미지를 생성하고, 상기 물체의 스펙트럼을 나타내는 신호로부터 상기 물체의 상태 정보를 추정하는 프로세서; 및 상기 생성된 물체의 이미지와 상기 추정된 물체의 상태 정보를 합성한 이미지를 표시하는 디스플레이패널을 포함한다.An electronic device according to an aspect of the present invention generates a signal representing an image of the object from light reflected from the surface of the object, and after the penetration into the object, the spectrum of the object from the light emitted from the surface of the object A composite sensor that generates a signal to indicate; A processor generating an image of the object from a signal representing the image of the object, and estimating the state information of the object from a signal representing the spectrum of the object; And a display panel displaying an image obtained by synthesizing the image of the generated object and state information of the estimated object.

상기 전자기기는 상기 물체의 표면에 적외선을 조사하는 발광모듈을 더 포함하고, 상기 복합센서는 상기 물체의 표면에 조사된 가시광선이 상기 물체의 표면에서 반사된 빛으로부터 상기 물체의 이미지를 나타내는 신호를 생성하고, 상기 물체의 표면에 조사된 적외선이 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성할 수 있다.The electronic device further includes a light emitting module that irradiates infrared light on the surface of the object, and the composite sensor signals a visible light irradiated on the surface of the object to reflect the image of the object from light reflected from the surface of the object. And generate a signal representing the spectrum of the object from light emitted from the surface of the object after the infrared light irradiated on the surface of the object penetrates into the object.

상기 복합센서는 복수 개의 분광필터를 이용하여 상기 물체의 표면에 조사된 적외선이 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성하고, 상기 복수 개의 분광필터는 상기 발광모듈로부터 조사된 적외선의 파장대역 중 과일 또는 사람의 피부 속을 침투한 후에 상기 과일 또는 피부의 표면으로부터 방출되는 과정에서 흡수되는 파장대역에 속하는 복수의 파장대역을 투과시키거나 차단할 수 있다.The composite sensor generates a signal representing the spectrum of the object from light emitted from the surface of the object after the infrared light irradiated on the surface of the object penetrates the object using a plurality of spectroscopic filters, and the plurality of The spectroscopic filter transmits or blocks a plurality of wavelength bands belonging to a wavelength band absorbed in the process of being emitted from the surface of the fruit or skin after penetrating into the skin of a fruit or a person among the wavelength bands of infrared rays emitted from the light emitting module. Can be.

상기 프로세서는 상기 물체의 스펙트럼을 나타내는 신호로부터 상기 물체의 스펙트럼을 생성하고, 상기 생성된 물체의 스펙트럼과 다수의 샘플 스펙트럼을 비교함으로써 상기 물체의 상태 정보를 추정할 수 있다.The processor may estimate the state information of the object by generating a spectrum of the object from a signal representing the spectrum of the object and comparing the spectrum of the generated object with a plurality of sample spectra.

상기 프로세서는 상기 물체의 스펙트럼을 나타내는 신호로부터 상기 물체의 스펙트럼을 생성하고, 상기 생성된 물체의 스펙트럼을 컨볼루션 신경망에 입력함으로써 상기 컨볼루션 신경망의 출력 데이터로부터 상기 물체의 상태 정보를 추정할 수 있다.The processor may estimate the state information of the object from the output data of the convolutional neural network by generating the spectrum of the object from a signal representing the spectrum of the object and inputting the spectrum of the generated object into a convolutional neural network. .

상기 복합센서는 복수 개의 컬러필터를 이용하여 상기 물체의 표면에서 반사된 빛으로부터 상기 물체의 이미지를 나타내는 신호를 생성하는 이미지센서; 및 복수 개의 분광필터를 이용하여 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성하는 분광센서를 포함할 수 있다.The composite sensor includes an image sensor that generates a signal representing an image of the object from light reflected from the surface of the object using a plurality of color filters; And a spectroscopic sensor that generates a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object using a plurality of spectral filters.

상기 복수 개의 컬러필터와 상기 복수 개의 분광필터는 2차원 평면의 매트릭스 구조로 배열되어 상기 복수 개의 컬러필터와 상기 복수 개의 분광필터의 배열면은 수광면을 형성할 수 있다. The plurality of color filters and the plurality of spectral filters may be arranged in a matrix structure of a two-dimensional plane, and the array surfaces of the plurality of color filters and the plurality of spectral filters may form a light receiving surface.

상기 이미지센서는 상기 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열된 복수 개의 컬러필터를 이용하여 상기 물체의 표면에서 반사된 빛으로부터 상기 물체의 이미지를 나타내는 신호를 생성하고, 상기 분광센서는 상기 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열된 복수 개의 분광필터를 이용하여 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성할 수 있다.The image sensor generates a signal representing the image of the object from the light reflected from the surface of the object by using a plurality of color filters arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane, and the spectroscopy The sensor signals the spectrum of the object from light emitted from the surface of the object after penetrating into the object using a plurality of spectral filters arranged in a matrix structure corresponding to different parts of the matrix structure of the two-dimensional plane You can create

상기 이미지센서는 상기 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열되어 상기 물체의 표면에서 반사된 빛을 필터링하는 복수 개의 컬러필터; 및 상기 복수 개의 컬러필터 아래에 배치되어 상기 복수 개의 컬러필터에 의해 필터링된 빛을 전기적 신호로 변환하는 복수 개의 광전소자를 포함할 수 있다.The image sensor includes a plurality of color filters arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane to filter light reflected from the surface of the object; And a plurality of photoelectric elements disposed under the plurality of color filters to convert light filtered by the plurality of color filters into electrical signals.

상기 분광센서는 상기 2차원 평면의 매트릭스의 다른 부분에 해당하는 매트릭스 구조로 배열되어 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛을 필터링하는 복수 개의 분광필터; 및 상기 복수 개의 분광필터 아래에 배치되어 상기 복수 개의 분광필터에 의해 필터링된 빛을 전기적 신호로 변환하는 복수 개의 광전소자를 포함할 수 있다.The spectroscopic sensor includes a plurality of spectroscopic filters arranged in a matrix structure corresponding to different parts of the matrix of the two-dimensional plane and filtering light emitted from the surface of the object after penetrating into the object; And a plurality of photoelectric elements disposed under the plurality of spectroscopic filters to convert light filtered by the plurality of spectroscopic filters into electrical signals.

상기 각 분광필터는 일정한 형상을 갖는 금속패턴들이 주기적으로 배열된 형태로 형성되어 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛에서 상기 주기에 따라 결정되는 파장대역을 차단할 수 있다.Each of the spectroscopic filters may be formed in a form in which metal patterns having a certain shape are periodically arranged to block a wavelength band determined according to the period in light emitted from the surface of the object after penetrating into the object.

상기 복수 개의 분광필터 중 어느 하나의 분광필터의 금속패턴들과 다른 하나의 분광필터의 금속패턴들은 서로 다른 주기로 배열되고, 상기 어느 하나의 분광필터와 상기 다른 하나의 분광필터는 서로 다른 파장대역을 차단할 수 있다.The metal patterns of one of the plurality of spectroscopic filters and the metal patterns of the other of the spectroscopic filters are arranged at different periods, and the one and the other of the spectroscopic filters have different wavelength bands. Can be blocked.

상기 각 분광필터는 서로 이격 분리된 상반사층과 하반사층; 상기 상반사층과 하반사층 사이에 삽입되며 굴절률이 서로 상이한 적어도 두 개의 물질이 교대로 배치되는 유전체층; 및 상기 상반사층 및 하반사층 중 적어도 하나와 상기 유전체층 사이에 배치되는 버퍼층을 포함하고, 상기 각 분광필터는 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛에서 상기 두 개의 물질간의 상대적인 부피 비율에 따라 결정되는 파장대역을 통과시킬 수 있다.Each spectroscopic filter includes an upper reflection layer and a lower reflection layer separated from each other; A dielectric layer interposed between the upper reflection layer and the lower reflection layer and at least two materials having different refractive indices are alternately disposed; And a buffer layer disposed between at least one of the upper reflection layer and the lower reflection layer and the dielectric layer, wherein each spectral filter has a relative volume between the two materials in light emitted from the surface of the object after penetrating into the object. The wavelength band determined by the ratio can be passed.

상기 유전체층에는 상기 두 개의 물질간의 상대적인 부피 비율이 서로 다른 영역이 적어도 두 곳 존재하고, 상기 유전체층의 상대적인 부피 비율이 서로 다른 영역은 서로 다른 파장대역을 통과시킬 수 있다.In the dielectric layer, at least two regions having different relative volume ratios between the two materials may exist, and regions having different relative volume ratios of the dielectric layer may pass different wavelength bands.

상기 분광센서는 상기 복수 개의 분광필터; 상기 복수 개의 분광필터에 일대다 대응되어 상기 복수 개의 분광필터 아래에 배치되는 복수 개의 대역투과필터; 및 상기 복수 개의 대역투과필터에 일대일 대응되어 상기 복수 개의 대역투과필터 아래에 배치되는 복수 개의 광전소자를 포함하고, 상기 각 분광필터에 대응되는 복수 개의 대역투과필터는 상기 각 분광필터의 필터링 파장대역에서 서로 다른 파장대역을 투과시키고, 상기 복수 개의 컬러필터는 상기 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열되고, 상기 복수 개의 대역투과필터는 상기 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열될 수 있다.The spectroscopic sensor includes the plurality of spectroscopic filters; A plurality of band-pass filters disposed one-to-many to the plurality of spectral filters and disposed under the plurality of spectral filters; And a plurality of photoelectric elements disposed one-to-one corresponding to the plurality of band-pass filters and disposed under the plurality of band-pass filters, wherein the plurality of band-pass filters corresponding to the respective spectral filters are filtered wavelength bands of the respective spectral filters. Transmitting different wavelength bands in the, the plurality of color filters are arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane, the plurality of band-pass filters are different parts of the matrix structure of the two-dimensional plane It can be arranged in a matrix structure corresponding to.

상기 복수 개의 대역투과필터는 상기 복수 개의 컬러필터 중 적어도 두 종류의 컬러필터와 동종의 컬러필터들일 수 있다. The plurality of band-pass filters may be at least two types of color filters and color filters of the same type.

상기 전자기기는 상기 디스플레이패널 아래에 배치되며 적어도 하나의 광통과홀이 형성되어 있는 후면패널을 더 포함하고, 상기 복합센서는 상기 디스플레이패널을 통과하여 상기 후면패널의 적어도 하나의 광통과홀을 통해 입사된 빛으로부터 상기 물체의 이미지를 나타내는 신호와 상기 물체의 스펙트럼을 나타내는 신호를 생성할 수 있다.The electronic device further includes a rear panel disposed under the display panel and having at least one light passing hole, and the composite sensor passes through the display panel and passes through at least one light passing hole of the rear panel. A signal representing the image of the object and a signal representing the spectrum of the object may be generated from the incident light.

상기 전자기기는 상기 디스플레이패널 아래에 배치되어 상기 디스플레이패널을 통과한 빛을 평행광으로 변환하는 적어도 하나의 콜리메이터렌즈를 더 포함하고, 상기 복합센서는 상기 디스플레이패널을 통과하여 상기 적어도 하나의 콜리메이터렌즈를 통해 입사된 빛으로부터 상기 물체의 이미지를 나타내는 신호와 상기 물체의 스펙트럼을 나타내는 신호를 생성할 수 있다.The electronic device further includes at least one collimator lens disposed under the display panel to convert light passing through the display panel to parallel light, and the composite sensor passes through the display panel to pass through the at least one collimator lens. Through it, a signal representing the image of the object and a signal representing the spectrum of the object may be generated from the incident light.

상기 복합센서는 상기 디스플레이패널 아래에 배치되고, 상기 복합센서는 상기 물체의 표면에 조사된 가시광선이 상기 물체의 표면에서 반사되어 상기 디스플레이패널을 통과한 빛으로부터 상기 물체의 이미지를 나타내는 신호를 생성하고, 상기 물체의 표면에 조사된 적외선이 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출되어 상기 디스플레이패널을 통과한 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성할 수 있다.The composite sensor is disposed under the display panel, and the composite sensor generates a signal representing an image of the object from light passing through the display panel when visible light irradiated on the surface of the object is reflected from the surface of the object. In addition, after the infrared ray irradiated on the surface of the object penetrates into the object, it is emitted from the surface of the object to generate a signal representing the spectrum of the object from light passing through the display panel.

본 발명의 다른 측면에 따른 물체 이미지와 상태 정보의 합성 이미지를 표시하는 방법은 물체의 표면에서 반사된 빛으로부터 상기 물체의 이미지를 나타내는 신호를 생성하는 단계; 상기 물체의 이미지를 나타내는 신호로부터 상기 물체의 이미지를 생성하는 단계; 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성하는 단계; 상기 물체의 스펙트럼을 나타내는 신호로부터 상기 물체의 상태 정보를 추정하는 단계; 상기 물체의 이미지와 상기 물체의 상태 정보를 합성함으로써 상기 물체의 이미지와 상태 정보의 합성 이미지를 생성하는 단계; 및 상기 생성된 합성 이미지를 표시하는 단계를 포함한다. A method of displaying a composite image of an object image and state information according to another aspect of the present invention includes generating a signal representing the image of the object from light reflected from the surface of the object; Generating an image of the object from a signal representing the image of the object; Generating a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object; Estimating the state information of the object from a signal representing the spectrum of the object; Generating a composite image of the image of the object and state information by synthesizing the image of the object and state information of the object; And displaying the generated composite image.

상기 물체의 스펙트럼을 나타내는 신호를 생성하는 단계는 복수 개의 분광필터를 이용하여 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성하고, 상기 합성 이미지 표시 방법은 상기 물체의 표면에 적외선을 조사하는 단계를 더 포함하고, 상기 복수 개의 분광필터는 상기 조사된 적외선의 파장대역 중 과일 또는 사람의 피부 속을 침투한 후에 상기 과일 또는 피부의 표면으로부터 방출되는 과정에서 흡수되는 파장대역에 속하는 복수의 파장대역을 투과시키거나 차단할 수 있다. Generating a signal representing the spectrum of the object generates a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating the object using a plurality of spectroscopic filters, and displaying the composite image The method further includes irradiating infrared light on the surface of the object, and the plurality of spectroscopic filters are emitted from the fruit or the surface of the skin after penetrating into the skin of a fruit or a person in the wavelength band of the irradiated infrared light. A plurality of wavelength bands belonging to the wavelength band absorbed in the process may be transmitted or blocked.

상기 물체의 상태 정보를 추정하는 단계는 상기 물체의 스펙트럼을 나타내는 신호로부터 상기 물체의 스펙트럼을 생성하는 단계; 상기 생성된 스펙트럼의 형태와 다수의 샘플 스펙트럼 각각의 형태를 비교하는 단계; 상기 비교 결과에 따라 상기 다수의 샘플 스펙트럼 중에서 상기 생성된 스펙트럼의 형태와 가장 유사한 형태를 갖는 두 개의 스펙트럼을 선정하는 단계; 및 상기 선정된 두 개의 스펙트럼을 갖는 두 개의 샘플 물체 각각의 상태 정보로부터 상기 물체의 상태 정보를 추정하는 단계를 포함한다. The estimating the state information of the object may include generating a spectrum of the object from a signal representing the spectrum of the object; Comparing the shape of the generated spectrum with the shape of each of a plurality of sample spectra; Selecting two spectra having a shape most similar to the shape of the generated spectrum among the plurality of sample spectra according to the comparison result; And estimating the state information of the object from the state information of each of the two sample objects having the two selected spectra.

상기 합성 이미지 표시 방법은 상기 선정된 두 개의 샘플 스펙트럼 각각에 대한 상기 물체의 스펙트럼의 유사도로부터 상기 선정된 두 개의 샘플 스펙트럼 각각의 가중치를 산출하는 단계를 더 포함하고, 상기 두 개의 샘플 물체 각각의 상태 정보로부터 상기 물체의 상태 정보를 추정하는 단계는 상기 두 개의 샘플 물체 각각의 상태 정보와 상기 두 개의 샘플 스펙트럼 각각의 가중치로부터 상기 물체의 상태 정보를 추정할 수 있다.The composite image display method further includes calculating a weight of each of the two selected sample spectra from a similarity of the spectrum of the object to each of the two selected sample spectra, and the state of each of the two sample objects The estimating the state information of the object from the information may estimate the state information of the object from the state information of each of the two sample objects and the weight of each of the two sample spectra.

상기 두 개의 샘플 물체 각각의 상태 정보로부터 상기 물체의 상태 정보를 추정하는 단계는 상기 선정된 두 개의 샘플 스펙트럼 중 제 1 샘플 스펙트럼을 갖는 제 1 샘플 물체의 상태 정보의 값에 상기 제 1 샘플 스펙트럼의 가중치를 곱한 값과 상기 선정된 두 개의 샘플 스펙트럼 중 제 2 샘플 스펙트럼을 갖는 제 2 샘플 물체의 상태 정보의 값에 상기 제 2 샘플 스펙트럼의 가중치를 곱한 값을 합산함으로써 상기 물체의 상태 정보의 값을 산출할 수 있다.The step of estimating the state information of the object from the state information of each of the two sample objects may include determining the state information of the first sample spectrum to the value of the state information of the first sample object having the first sample spectrum among the two selected sample spectra. The value of the state information of the object is added by summing the product of the weight of the second sample spectrum with the value of the second sample spectrum having the second sample spectrum among the two sample spectra multiplied by the weight. Can be calculated.

상기 물체의 상태 정보를 추정하는 단계는 상기 물체의 스펙트럼을 나타내는 신호로부터 상기 물체의 스펙트럼을 생성하는 단계; 상기 생성된 스펙트럼의 형태를 컨볼루션 신경망에 입력하는 단계; 상기 입력에 대한 응답으로서 상기 컨볼루션 신경망으로부터 출력된 상태 정보를 상기 물체의 상태 정보로 추정하는 단계를 포함하고, 상기 컨볼루션 신경망은 다수의 샘플 물체 각각의 스펙트럼의 형태와 상태 정보를 이용하여 학습된 것일 수 있다.The estimating the state information of the object may include generating a spectrum of the object from a signal representing the spectrum of the object; Inputting the shape of the generated spectrum into a convolutional neural network; And estimating the state information output from the convolutional neural network as the state information of the object in response to the input, wherein the convolutional neural network learns using the shape and state information of each spectrum of each sample object. It may have been done.

상기 합성 이미지 표시 방법은 사용자의 입력에 따라 물체의 종류 및 속성을 선택하는 단계; 및 상기 물체의 표면에 상기 선택된 물체의 종류 및 속성에 대응되는 파장대역의 빛을 조사하는 단계를 더 포함하고, 상기 물체의 이미지를 나타내는 신호를 생성하는 단계는 상기 조사된 빛이 상기 물체의 표면에서 반사된 빛으로부터 상기 물체의 이미지를 나타내는 신호를 생성하고, 상기 물체의 스펙트럼을 나타내는 신호를 생성하는 단계는 상기 조사된 빛이 상기 물체 속을 침투한 후에 상기 물체의 표면으로부터 방출된 빛으로부터 상기 물체의 스펙트럼을 나타내는 신호를 생성할 수 있다.The method for displaying a composite image includes selecting a type and property of an object according to a user input; And irradiating light of a wavelength band corresponding to the type and property of the selected object to the surface of the object, and generating a signal representing an image of the object comprises: irradiating the surface of the object with the irradiated light. Generating a signal representing the image of the object from the light reflected from the, and generating a signal representing the spectrum of the object is the light emitted from the surface of the object after the irradiated light penetrates into the object You can generate a signal that represents the spectrum of an object.

상기 합성 이미지 표시 방법은 상기 선택된 종류의 물체가 정확하게 위치될 수 있도록 가이드하기 위한 그래픽을 표시하는 단계; 및 상기 표시된 그래픽 상에 상기 물체의 이미지를 표시하는 단계를 더 포함할 수 있다.The composite image display method includes displaying a graphic for guiding the selected type of object to be accurately positioned; And displaying an image of the object on the displayed graphic.

상기 합성 이미지 표시 방법은 상기 그래픽을 표시하는 단계의 시작 시점부터 일정 시간이 경과하였는가를 확인하는 단계를 더 포함하고, 상기 물체의 표면에 빛을 조사하는 단계는 상기 일정 시간이 경과된 것으로 확인된 경우에 상기 물체의 표면에 빛을 조사할 수 있다.The method of displaying the composite image further includes checking whether a certain period of time has elapsed since the start of the step of displaying the graphic, and irradiating light to the surface of the object has been confirmed to have passed. In this case, light can be irradiated to the surface of the object.

상기 합성 이미지를 생성하는 단계는 상기 생성된 물체의 이미지의 화소들 중 일부의 값을 상기 물체의 상태 정보를 나타내는 화소들의 값으로 교체함으로써 상기 물체의 이미지와 상기 물체의 상태 정보를 합성할 수 있다.In the generating of the composite image, the image of the object and the state information of the object may be synthesized by replacing some of the pixels of the image of the object with the values of pixels representing the state information of the object. .

상기 물체의 상태 정보는 상기 물체의 복수의 속성 각각의 상태를 나타내는 정보일 수 있다.The state information of the object may be information indicating the state of each of a plurality of attributes of the object.

본 발명의 또 다른 측면에 따라 상기 합성 이미지 표시 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공된다. According to another aspect of the present invention, there is provided a computer-readable recording medium recording a program for executing the composite image display method on a computer.

전자기기는 물체의 표면에서 반사된 빛으로부터 물체의 이미지를 나타내는 신호를 생성하고 물체 속을 침투한 후에 물체의 표면으로부터 방출된 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성하고, 물체의 이미지를 나타내는 신호로부터 물체의 이미지를 생성하고 물체의 스펙트럼을 나타내는 신호로부터 물체의 상태 정보를 추정하고, 물체의 이미지와 상태 정보를 합성한 이미지를 표시함으로써 사용자가 이러한 합성 이미지를 관찰하는 것만으로 물체의 상태를 직관적으로 알 수 있도록 할 수 있다. 이에 따라, 전자기기의 사용자가 과일의 구매 여부 결정, 사용자의 피부 상태 관리 등 물체의 구매 여부를 결정하거나 물체 상태를 관리하는 데에 도움을 줄 수 있다.The electronic device generates a signal representing the image of the object from light reflected from the surface of the object, and generates a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object, and a signal representing the image of the object. By generating an image of an object from, and estimating the state information of the object from a signal representing the spectrum of the object, and displaying an image combining the object's image and the state information, the user's state of the object is intuitive by simply observing the composite image. You can make it know. Accordingly, the user of the electronic device can help determine whether to purchase the object, such as determining whether to purchase fruit, managing the skin condition of the user, or managing the state of the object.

특히, 전자기기의 사용자로 하여금 과일을 촬영하는 행위만으로 과일의 당도 등 상태를 알 수 있도록 함으로써 스마트폰 등과 같은 전자기기 외에 별도의 측정 장비 없이도 매우 편리하게 과일의 당도 등 상태를 알 수 있도록 할 수 있다. 또한, 전자기기의 사용자로 하여금 자신의 얼굴 피부를 촬영하는 행위만으로 얼굴 피부의 멜라닌 농도 등 상태를 알 수 있도록 함으로써 스마트폰 등과 같은 전자기기 외에 별도의 측정 장비 없이도 매우 편리하게 자신의 얼굴 피부의 멜라닌 농도 등 상태를 알 수 있도록 할 수 있다. 즉, 전자기기의 사용자로 하여금 물체를 촬영하는 행위만으로 물체의 상태를 알 수 있도록 함으로써 스마트폰 등과 같은 전자기기 외에 별도의 측정 장비 없이도 매우 편리하게 물체의 상태를 알 수 있도록 할 수 있다.In particular, by allowing the user of the electronic device to know the state of the sugar content of the fruit by simply photographing the fruit, it is possible to conveniently know the state of the sugar content of the fruit without additional measuring equipment in addition to electronic devices such as a smartphone. have. In addition, by allowing the user of the electronic device to know the state, such as the melanin concentration of the facial skin, by simply photographing the skin of his or her face, it is very convenient for the melanin of his or her facial skin without additional measuring equipment in addition to electronic devices such as a smartphone. It is possible to know the state such as concentration. That is, by allowing the user of the electronic device to know the state of the object only by photographing the object, it is possible to know the state of the object very conveniently without additional measuring equipment in addition to electronic devices such as a smartphone.

본 발명의 복합센서는 프리즘, 회절격자 대신에 CMOS(Complementary Metal Oxide Semiconductor) 이미지센서의 컬러필터의 크기보다 작은 나노 구조체로 구현될 수 있는 복수 개의 분광필터를 이용하여 물체의 표면에 조사된 적외선이 물체 속을 침투한 후에 물체의 표면으로부터 방출된 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성함으로써 스마트폰과 같은 소형의 전자기기에 적용이 매우 용이하며, CMOS 이미지센서 등 기존의 이미지센서와의 집적을 통해 매우 용이하게 복합센서의 구현이 가능하게 된다. 이에 따라, 스마트폰과 같은 소형의 전자기기의 종전 사이즈를 그대로 유지하면서도 제작단가의 큰 상승 없이 사용자가 물체를 촬영하는 것만으로 사용자가 물체의 상태를 알 수 있도록 할 수 있는 소형의 전자기기를 제공할 수 있다.The composite sensor of the present invention uses infrared rays irradiated on the surface of an object using a plurality of spectral filters that can be implemented as nanostructures smaller than the size of a color filter of a complementary metal oxide semiconductor (CMOS) image sensor instead of a prism or diffraction grating. It is very easy to apply to small electronic devices such as smartphones by generating a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object, and it can be integrated with existing image sensors such as CMOS image sensors. Through this, it is possible to implement a complex sensor very easily. Accordingly, while maintaining the previous size of a small electronic device such as a smartphone, a small electronic device capable of allowing the user to know the state of the object by simply photographing the object without significantly increasing the production cost can do.

도 1은 본 발명의 일 실시예에 따른 전자기기의 일례를 도시한 도면이다.
도 2는 도 1에 도시된 전자기기의 적외선 조사 예시도이다.
도 3은 도 1, 2에 도시된 전자기기의 분해도이다.
도 4는 도 2에 도시된 전자기기의 단면의 일례를 도시한 도면이다.
도 5는 도 3에 도시된 전자기기의 단면의 다른 예를 도시한 도면이다.
도 6은 도 4에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다.
도 7은 도 3에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다.
도 8은 도 2에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다.
도 9는 도 3에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다.
도 10은 도 4에 도시된 단면 일부와 물체를 도시한 도면이다.
도 11은 도 3-7에 도시된 복합센서(5)의 구조의 일례를 개략적으로 도시한 도면이다.
도 12는 도 3-7에 도시된 복합센서(5)의 구조의 다른 예를 개략적으로 도시한 도면이다.
도 13은 도 3-7에 도시된 복합센서(5)의 구조의 또 다른 예를 개략적으로 도시한 도면이다.
도 14는 도 11에 도시된 복합센서(5)의 일 구현예의 단면도이다.
도 15는 도 14에 도시된 분광필터(521)의 일례를 도시한 도면이다.
도 16은 도 15에 도시된 분광필터(521)의 투과 특성의 시뮬레이션 결과를 나타내는 그래프이다.
도 17은 도 14에 도시된 분광필터(521)의 다른 예를 도시한 도면이다.
도 18은 도 17에 도시된 분광필터(521)의 투과 특성의 시뮬레이션 결과를 나타내는 그래프이다.
도 19는 도 3-7에 도시된 분광센서(52)의 구조의 또 다른 예를 개략적으로 도시한 도면이다.
도 20은 도 11에 도시된 복합센서(5)의 다른 구현예의 단면도이다.
도 21은 도 3에 도시된 전자기기의 전자회로 구성도이다.
도 22는 본 발명의 일 실시예에 따른 합성 이미지 표시 방법의 흐름도이다.
도 23은 도 22에 도시된 2211 단계의 상세 흐름도의 일례이다.
도 24는 도 22에 도시된 2211 단계에서 사용되는 스펙트럼의 일례를 도시한 도면이다.
도 25는 도 22에 도시된 2211 단계에서 사용되는 스펙트럼의 다른 예를 도시한 도면이다.
도 26은 도 24에 도시된 2411 단계의 상세 흐름도의 다른 예이다.
도 27은 도 3-10, 21에 도시된 디스플레이패널(3)에 표시되는 합성 이미지의 일례를 도시한 도면이다.
도 28은 도 3-10, 21에 도시된 디스플레이패널(3)에 표시되는 합성 이미지의 다른 예를 도시한 도면이다.1 is a view showing an example of an electronic device according to an embodiment of the present invention.
FIG. 2 is an example of infrared irradiation of the electronic device shown in FIG. 1.
3 is an exploded view of the electronic devices shown in FIGS. 1 and 2.
4 is a view showing an example of a cross-section of the electronic device shown in FIG. 2.
5 is a view showing another example of a cross-section of the electronic device shown in FIG. 3.
6 is a view showing another example of a cross-section of the electronic device shown in FIG. 4.
7 is a view showing another example of a cross-section of the electronic device shown in FIG. 3.
8 is a view showing another example of a cross-section of the electronic device shown in FIG. 2.
9 is a view showing another example of a cross-section of the electronic device shown in FIG. 3.
FIG. 10 is a view showing a part and an object of a cross section shown in FIG. 4.
FIG. 11 is a diagram schematically showing an example of the structure of the composite sensor 5 shown in FIGS. 3-7.
12 is a view schematically showing another example of the structure of the composite sensor 5 shown in FIGS. 3-7.
13 is a diagram schematically showing another example of the structure of the composite sensor 5 shown in FIGS. 3-7.
14 is a cross-sectional view of one embodiment of the composite sensor 5 shown in FIG. 11.
15 is a view showing an example of the spectral filter 521 shown in FIG. 14.
16 is a graph showing simulation results of transmission characteristics of the spectral filter 521 shown in FIG. 15.
17 is a view showing another example of the spectral filter 521 shown in FIG. 14.
18 is a graph showing simulation results of transmission characteristics of the spectral filter 521 shown in FIG. 17.
19 is a diagram schematically showing another example of the structure of the spectroscopic sensor 52 shown in FIGS. 3-7.
20 is a cross-sectional view of another embodiment of the composite sensor 5 shown in FIG. 11.
21 is a block diagram of an electronic circuit of the electronic device shown in FIG. 3.
22 is a flowchart of a composite image display method according to an embodiment of the present invention.
23 is an example of a detailed flowchart of step 2211 illustrated in FIG. 22.
24 is a diagram showing an example of a spectrum used in step 2211 shown in FIG. 22.
FIG. 25 is a diagram showing another example of the spectrum used in step 2211 shown in FIG. 22.
26 is another example of a detailed flowchart of step 2411 illustrated in FIG. 24.
27 is a view showing an example of a composite image displayed on the display panel 3 shown in FIGS. 3-10 and 21.
28 is a view showing another example of a composite image displayed on the display panel 3 shown in FIGS. 3-10 and 21.

이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다. 이하에서 설명될 본 발명의 실시예들은 별도의 측정 장비 없이도 사용자가 물체의 상태를 직관적으로 알 수 있도록 물체 이미지와 상태 정보의 합성 이미지를 표시하는 전자기기 및 물체 이미지와 상태 정보의 합성 이미지를 표시하는 방법에 관한 것이다. 이하에서는 이러한 전자기기를 간략하게 "전자기기"로 호칭할 수도 있고, 이러한 방법을 간략하게 "합성 이미지 표시 방법"으로 호칭할 수도 있다. 특히, 이하에서는 주로 사과 또는 사용자의 얼굴 피부를 물체의 예로 들어 본 발명의 실시예들을 설명하기로 한다. 그러나, 본 발명의 실시예의 물체는 배 등 다른 종류의 과일이 될 수 있고, 얼굴 피부 외에 다른 부위의 사람 피부가 될 수 있다. 나아가, 본 발명의 실시예의 물체는 상기된 과일 또는 사람 피부 외에 다른 종류의 물체가 될 수도 있다. Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. Embodiments of the present invention, which will be described below, display a composite image of an object image and state information and an electronic device displaying a composite image of the object image and state information so that the user can intuitively know the state of the object without additional measurement equipment. How to do. Hereinafter, such an electronic device may be simply referred to as an “electronic device”, and such a method may also be referred to simply as a “composite image display method”. Particularly, hereinafter, embodiments of the present invention will be described mainly using an apple or a user's face skin as an object. However, the object of the embodiment of the present invention may be other kinds of fruits such as pears, and may be human skin in other parts besides facial skin. Furthermore, the objects of the embodiments of the present invention may be other types of objects other than the fruit or human skin described above.

도 1은 본 발명의 일 실시예에 따른 전자기기의 일례를 도시한 도면이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 전자기기의 대표적인 예로는 스마트폰을 들 수 있다. 대부분의 스마트폰은 무선 통화 기능, 무선 인터넷 기능, 각종 어플리케이션의 실행 기능 등 주요 기능 외에 사진이나 영상 촬영 기능을 제공하고 있다. 도 1의 (a)에는 과일가게나 시장을 방문한 사용자가 스마트폰을 이용하여 사과를 촬영하고 있는 모습이 도시되어 있다. 도 1의 (b)에는 사용자가 자신의 얼굴을 촬영하고 있는 모습이 도시되어 있다. 이하에 상세하게 설명된 바와 같이, 본 실시예에 따른 전자기기는 물체 이미지와 상태 정보의 합성 이미지를 표시하는 기능을 제공한다. 도 1의 (a)에 도시된 바와 같이, 사용자가 스마트폰을 이용하여 사과를 촬영하면, 본 실시예에 따른 전자기기는 사과의 이미지와 당도의 합성 이미지를 표시할 수 있다. 도 1의 (b)에 도시된 바와 같이, 사용자가 스마트폰을 이용하여 자신의 얼굴 피부를 촬영하면, 본 실시예에 따른 전자기기는 사과의 이미지와 당도의 합성 이미지를 표시할 수 있다.1 is a view showing an example of an electronic device according to an embodiment of the present invention. Referring to Figure 1, a typical example of an electronic device according to an embodiment of the present invention is a smart phone. Most smartphones provide a picture or video taking function in addition to the main functions such as wireless call function, wireless Internet function, and execution function of various applications. FIG. 1(a) shows that a user visiting a fruit shop or market is photographing an apple using a smartphone. FIG. 1(b) shows how the user is photographing his or her face. As described in detail below, the electronic device according to the present embodiment provides a function of displaying a composite image of an object image and state information. As shown in (a) of FIG. 1, when a user photographs an apple using a smartphone, the electronic device according to the present embodiment may display a composite image of the image of the apple and the sugar content. As shown in (b) of FIG. 1, when a user photographs his or her facial skin using a smartphone, the electronic device according to the present embodiment may display a composite image of an apple image and a sugar content.

도 2는 도 1에 도시된 전자기기의 적외선 조사 예시도이다. 도 2의 (a)에는 본 실시예에 따른 전자기기가 그것의 후방에 위치한 사과에 적외선을 조사하는 모습이 도시되어 있고, 도 2의 (b)에는 그것의 전방에 위치한 사용자의 얼굴 피부에 적외선을 조사하는 모습이 도시되어 있다. 대부분의 화합물은 공유 결합을 가지며 화합물의 종류에 따라 특정 대역의 적외선을 흡수하는 성질을 갖고 있다. 본 실시예에 따른 전자기기는 물체에 적외선을 조사하고, 그 물체로부터 되돌아오는 빛의 스펙트럼 특성으로부터 물체의 상태 정보를 추정한다. 도 2의 (a)를 참조하면, 본 실시예에 따른 전자기기는 사과에 적외선을 조사하고, 사과로부터 되돌아오는 빛의 스펙트럼 특성으로부터 사과의 상태 정보를 추정한다. 도 2의 (b)를 참조하면, 본 실시예에 따른 전자기기는 사용자의 얼굴 피부에 적외선을 조사하고, 얼굴 피부로부터 되돌아오는 빛의 스펙트럼 특성으로부터 얼굴 피부의 상태 정보를 추정한다. 본 실시예에 따른 상태 분석이 되는 물체의 종류 및 속성에 따라 물체의 표면에 조사되는 빛은 가시광선이 될 수도 있고, 적외선과 가선광선이 될 수도 있다. FIG. 2 is an example of infrared irradiation of the electronic device shown in FIG. 1. FIG. 2(a) shows the electronic device according to the present embodiment irradiating infrared light to an apple located at the rear thereof, and FIG. 2(b) shows infrared light at the user's face skin located in front of it. The figure of investigating is shown. Most of the compounds have a covalent bond and have properties of absorbing infrared rays in a specific band depending on the type of the compound. The electronic device according to the present embodiment irradiates infrared light to an object and estimates the state information of the object from the spectral characteristics of light returning from the object. Referring to (a) of FIG. 2, the electronic device according to the present embodiment irradiates infrared light to an apple and estimates the state information of the apple from the spectral characteristics of light returning from the apple. Referring to (b) of FIG. 2, the electronic device according to the present embodiment irradiates infrared light to the user's face skin and estimates the state information of the face skin from the spectral characteristics of light returning from the face skin. The light irradiated on the surface of the object may be visible light or infrared light and false light depending on the type and properties of the object to be analyzed according to the present embodiment.

도 3은 도 1, 2에 도시된 전자기기의 분해도이다. 도 3을 참조하면, 도 1에 도시된 전자기기는 커버글래스(1), 터치패널(2), 디스플레이패널(3), 후면패널(4), 복합센서(5), 브래킷(6), 인쇄회로기판(7), 발광모듈(8), 배터리(9), 및 하우징(10)으로 구성된다. 도 3에는 본 실시예에 따른 전자기기의 대표적인 예에 해당하는 스마트폰의 분해도가 도시되어 있다. 도 3에 도시된 실시예에 따르면, 종래의 카메라의 역할과 함께 분광기 역할을 하는 복합센서가 디스플레이패널(3) 아래에 설치된다. 최근 들어, 스마트폰의 사이즈를 증가시키지 않으면서 스마트폰 화면을 최대로 하기 위해 베젤을 최소화하여 전면 대부분이 화면으로 되어 있는 풀스크린(full screen) 타입의 스마트폰이 일반화되고 있다. 종래에 전면 상단에 설치되었던 카메라를 전면 상단으로부터 사라지게 됨에 따라 전자기기의 전면에서 화면이 차지하는 비율이 높아질 수 있다. 도 3에 도시된 실시예와는 달리, 복합센서(5)는 전자기기의 전면 상단에 설치될 수도 있다. 3 is an exploded view of the electronic devices shown in FIGS. 1 and 2. Referring to FIG. 3, the electronic device shown in FIG. 1 includes a cover glass 1, a touch panel 2, a display panel 3, a rear panel 4, a composite sensor 5, a bracket 6, printing It is composed of a circuit board 7, a light emitting module 8, a battery 9, and a housing 10. 3 is an exploded view of a smart phone corresponding to a typical example of an electronic device according to the present embodiment. According to the embodiment shown in FIG. 3, a composite sensor serving as a spectrometer together with the role of a conventional camera is installed under the display panel 3. In recent years, a full screen type of smartphone has been generalized in that most of the front screen is minimized by minimizing the bezel to maximize the smartphone screen without increasing the size of the smartphone. As the camera, which was conventionally installed on the front top, disappears from the front top, the proportion of the screen on the front of the electronic device may increase. Unlike the embodiment shown in Figure 3, the composite sensor 5 may be installed on the front top of the electronic device.

본 실시예가 쉽게 이해될 수 있도록 하면서 본 실시예의 특징이 흐려짐을 방지하기 위해, 도 3에는 본 실시예의 이해에 필요한 스마트폰의 주요 구성이 도시되어 있다. 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 도 3에 도시된 구성 외에 또 다른 구성이 추가될 수 있음을 이해할 수 있다. 예를 들어, 커버글래스(1)와 터치패널(2) 사이에는 이것들간의 접착을 위한 PSA(Pressure Sensitive Adhesive) 층이 삽입될 수 있다. 커버글래스(1), 터치패널(2), 디스플레이패널(3), 후면패널(4) 등은 도면의 복잡도를 낮추기 위해서 단순한 사각판형으로 도시되어 있으나 곡면판형 등 다양한 형태로 형성될 수 있다. 한편, 도 2에 도시된 전자기기의 구성요소들 중에서 일부는 일체형으로 제조될 수도 있다. 예를 들어, 터치패널(2)과 디스플레이패널(3)은 일체형으로 제조될 수 있다. 이 경우, 커버글래스(1)와 디스플레이패널(3)의 편광판 사이에는 PSA(Pressure Sensitive Adhesive) 층이 삽입될 수 있다. In order to prevent this embodiment from being easily understood and to prevent blurring of the features of this embodiment, FIG. 3 shows a main configuration of a smartphone necessary for understanding the present embodiment. Those of ordinary skill in the art to which this embodiment belongs may understand that another configuration may be added in addition to the configuration illustrated in FIG. 3. For example, a pressure sensitive adhesive (PSA) layer for adhesion between the cover glass 1 and the touch panel 2 may be inserted. The cover glass 1, the touch panel 2, the display panel 3, and the rear panel 4 are shown in a simple square plate shape in order to reduce the complexity of the drawings, but may be formed in various shapes such as a curved plate shape. Meanwhile, some of the components of the electronic device shown in FIG. 2 may be integrally manufactured. For example, the touch panel 2 and the display panel 3 may be integrally manufactured. In this case, a pressure sensitive adhesive (PSA) layer may be inserted between the cover glass 1 and the polarizing plate of the display panel 3.

커버글래스(1)는 유리, 폴리머 등 투명재질의 평판으로서 그 내측에 위치하는 터치패널(2) 등을 보호하는 역할을 한다. 터치패널(2)은 커버글래스(1) 아래에 배치되어 매트릭스 형태로 배치된 복수 개의 터치센서를 이용하여 사용자의 터치 위치를 감지한다. 터치패널(2)은 복수 개의 터치센서, 이것들을 구동하기 위한 TDI(Touch Driver IC) 등으로 구성될 수 있다. 터치패널은 그것의 터치 감지 방식에 따라 정전용량식, 저항식, 광학식, 적외선식, SAW(Surface Acoustic Wave) 등으로 분류되는데, 스마트폰이나 태블릿 PC(Personal Computer)에는 주로 정전용량식 터치패널이 사용되고 있다. 정전용량 방식의 터치패널은 다시 부착형, 커버윈도우 일체형, 디스플레이 일체형 등으로 분류된다. 터치패널(2)은 그 아래의 디스플레이패널(3)의 화면이 이것을 통하여 선명하게 보여질 수 있도록 매우 높은 투명도를 갖는다. The cover glass 1 is a flat plate made of transparent material such as glass and polymer, and serves to protect the touch panel 2 and the like located therein. The touch panel 2 is disposed under the cover glass 1 to detect a user's touch position using a plurality of touch sensors arranged in a matrix form. The touch panel 2 may be composed of a plurality of touch sensors, a touch driver IC (TDI) for driving them, and the like. Touch panels are categorized into capacitive, resistive, optical, infrared, and SAW (Surface Acoustic Wave) according to their touch detection method. Capacitive touch panels are mainly used in smartphones or tablet PCs (Personal Computers). Is being used. The capacitive touch panel is further classified into an attachment type, an integrated cover window, and an integrated display. The touch panel 2 has a very high transparency so that the screen of the display panel 3 below it can be clearly seen through it.

디스플레이패널(3)은 터치패널(2) 아래에 배치되어 매트릭스 형태로 배치된 복수 개의 픽셀을 이용하여 화면을 표시한다. 디스플레이패널(3)의 픽셀의 예로는 OLED(Organic Light Emitting Diode)를 들 수 있다. 디스플레이패널(3)은 매트릭스 형태로 배치된 복수 개의 OLED, 복수 개의 OLED 위에 배치되어 각 OLED에서 발생된 빛을 편광시키는 편광판(polarizer), 복수 개의 OLED를 구동하기 위한 DDI(Display Driver IC), 복수 개의 OLED와 DDI를 전기적으로 연결하는 와이어들, 복수 개의 OLED와 와이어들이 놓여지는 기판 등으로 구성될 수 있다. 복수 개의 OLED로부터 외부로 조사된 빛이 커버글래스(1)에 접촉된 물체에 의해 반사되어 디스플레이패널(3)을 통과하여 복합센서(5)에 도달할 수 있도록 디스플레이패널(3)의 픽셀들 사이의 영역은 투명하게 형성될 수 있다. The display panel 3 is disposed under the touch panel 2 to display a screen using a plurality of pixels arranged in a matrix form. An example of a pixel of the display panel 3 is an OLED (Organic Light Emitting Diode). The display panel 3 includes a plurality of OLEDs arranged in a matrix form, a polarizer disposed on a plurality of OLEDs to polarize light generated from each OLED, a display driver IC (DDI) for driving the plurality of OLEDs, and a plurality of It may be composed of wires that electrically connect the two OLEDs and the DDI, a substrate on which a plurality of OLEDs and wires are placed, and the like. Between the pixels of the display panel 3 so that light irradiated to the outside from the plurality of OLEDs is reflected by an object contacting the cover glass 1 and passes through the display panel 3 to reach the composite sensor 5. The region of can be formed transparently.

후면패널(4)은 디스플레이패널(3) 아래에 배치되어 디스플레이패널(3)을 보호하고 디스플레이패널(3)의 열을 발산하는 역할을 한다. 이와 같이, 후면패널(4)은 디스플레이패널(3)을 보호하고 디스플레이패널(3)의 열을 발산하는 역할을 하기 때문에 금속재 등 불투명한 재료로 제조됨이 일반적이다. 아래에 설명된 바와 같이, 후면패널(4)에는 디스플레이패널(3)을 통과한 빛을 복합센서(5)에 전달하기 위한 적어도 하나의 광통과홀이 형성되어 있을 수 있다. 외부로부터 커버글래스(1)에 조사된 빛은 투명한 커버글래스(1)와 터치패널(2)을 통과한 후에 디스플레이패널(3)의 픽셀들 사이의 투명 영역과 후면패널(4)의 적어도 하나의 광통과홀을 차례대로 통과함으로써 복합센서(5)에 도달할 수 있다. 후면패널(4)이 투명한 소재로 제조될 경우, 이러한 광통과홀이 필요 없을 수도 있다.The rear panel 4 is disposed under the display panel 3 to protect the display panel 3 and to dissipate heat of the display panel 3. As such, since the rear panel 4 serves to protect the display panel 3 and dissipate heat of the display panel 3, it is generally made of an opaque material such as a metal material. As described below, at least one light-passing hole for transmitting light passing through the display panel 3 to the composite sensor 5 may be formed on the rear panel 4. The light irradiated from the outside to the cover glass 1 passes through the transparent cover glass 1 and the touch panel 2, and then the transparent area between the pixels of the display panel 3 and at least one of the back panel 4 The composite sensor 5 can be reached by sequentially passing through the light passing hole. When the rear panel 4 is made of a transparent material, such a light passing hole may not be necessary.

복합센서(5)는 디스플레이패널(3) 아래에 배치되어 커버글래스(1), 터치패널(2), 및 디스플레이패널(3)을 차례대로 통과한 빛으로부터 물체의 이미지를 나타내는 신호와 물체의 스펙트럼을 나타내는 신호를 생성한다. 복합센서(5)의 감지영역에 사과를 위치시킨 경우라면 물체는 사과가 될 것이다. 마찬가지로, 복합센서(5)의 감지영역에 사용자의 얼굴을 위치시킨 경우라면 물체는 사용자의 얼굴이 될 것이다. 도 2에 도시된 바와 같이, 복합센서(5)의 감지영역은 복합센서(5)가 사용자의 눈 또는 얼굴을 정확하게 감지할 수 있도록 하기 위해 사용자가 눈 또는 얼굴 부위를 위치시켜야 하는 전자기기의 앞쪽 영역을 의미한다. The composite sensor 5 is disposed under the display panel 3 and the spectrum of the signal and the object representing the image of the object from light passing through the cover glass 1, the touch panel 2, and the display panel 3 in sequence. To generate a signal. If an apple is placed in the sensing area of the composite sensor 5, the object will become an apple. Likewise, if the user's face is placed in the sensing area of the composite sensor 5, the object will be the user's face. As shown in FIG. 2, the detection area of the composite sensor 5 is the front side of the electronic device in which the user has to position the eye or face area so that the composite sensor 5 can accurately detect the user's eyes or face. It means the realm.

디스플레이패널(3)은 물체가 복합센서(5)의 감지영역에 정확하게 위치되었는가를 확인할 수 있도록 물체의 이미지를 표시할 수 있다. 예를 들어, 디스플레이패널(3)은 사용자가 눈을 복합센서(5)의 감지영역에 정확하게 위치시켰는가를 확인할 수 있도록 사용자의 눈 이미지를 표시할 수 있다. 예를 들어, 디스플레이패널(3)은 사용자가 얼굴을 복합센서(5)의 감지영역에 정확하게 위치시켰는가를 확인할 수 있도록 사용자의 얼굴 이미지를 표시할 수 있다. 아래에 설명된 바와 같이, 복합센서(5)는 후면패널(4)에 삽입되는 구조로 디스플레이패널(3) 아래에 배치될 수도 있고, 브래킷(6)에 삽입되는 구조로 디스플레이패널(3) 아래에 배치될 수도 있다. The display panel 3 may display an image of the object so that it can be confirmed whether the object is accurately positioned in the sensing area of the composite sensor 5. For example, the display panel 3 may display the user's eye image so that the user can confirm whether the eye is accurately positioned in the sensing area of the composite sensor 5. For example, the display panel 3 may display the user's face image so that the user can confirm whether the face is accurately positioned in the sensing area of the composite sensor 5. As described below, the composite sensor 5 may be disposed under the display panel 3 in a structure that is inserted into the rear panel 4, or under the display panel 3 in a structure that is inserted into the bracket 6. It can also be placed on.

브래킷(6)은 후면패널(4) 아래에 배치되어 그 위에 위치하는 후면패널(4)을 지지하면서 그 아래에 위치하는 인쇄회로기판(7), 배터리(9) 등을 고정시키는 역할을 한다. 브래킷(6)은 금속재로 제조될 수 있고 합성수지재로 제조될 수도 있고, 일부는 금속재로 제조되고 나머지는 합성수지재로 제조될 수도 있다. 도 2에는 단순한 형태로 도시되어 있으나 스마트폰의 외형 및 내부 구조에 따라 여러 형태로 형성될 수 있으며 하우징(10)과 일체형으로 형성될 수도 있다. 아래에 설명된 바와 같이, 브래킷(6)에는 복합센서(5)가 안착될 수 있는 홈이 형성되어 있을 수 있다. The bracket 6 is disposed under the rear panel 4 and supports the rear panel 4 positioned thereon, and serves to fix the printed circuit board 7, battery 9, and the like. The bracket 6 may be made of a metal material, or may be made of a synthetic resin material, and some may be made of a metal material and the rest may be made of a synthetic resin material. Although shown in FIG. 2 in a simple form, it may be formed in various forms according to the external shape and internal structure of the smartphone, or may be integrally formed with the housing 10. As described below, the bracket 6 may be formed with a groove on which the composite sensor 5 can be seated.

인쇄회로기판(7)은 브래킷(6) 아래에 배치되며 그 위에는 프로세서, 메모리 등과 같은 수많은 전자부품들이 실장되어 있다. 인쇄회로기판(7)은 복수 개로 분할되어 형성될 수도 있다. 인쇄회로기판(7)의 전자부품들의 물리적 형태는 본 실시예의 특징과는 관련이 없으므로 이것들의 도시는 생략된다. 인쇄회로기판(7)의 프로세서는 물체의 이미지를 나타내는 신호로부터 물체의 이미지를 생성하고, 물체의 스펙트럼을 나타내는 신호로부터 물체의 상태 정보를 추정한다. 이러한 프로세서는 스마트폰의 AP(Application Processor) 또는 CPU(Central Processing Unit)일 수도 있고 물체의 이미지 생성과 물체의 상태 정보 추정을 위한 전용 프로세서일수도 있다. 이하에서 설명되는 이미지 생성과 스펙트럼 생성은 GPU(Graphics Processing Unit)라는 별도 프로세서에 의해 처리될 수도 있다. 본 실시예의 프로세서는 상기된 프로세서들이 하나로 통합된 구조의 프로세서일 수도 있고, 상기된 프로세서들의 집합을 의미할 수도 있다. The printed circuit board 7 is disposed under the bracket 6, and a number of electronic components such as a processor and a memory are mounted thereon. The printed circuit board 7 may be divided into a plurality and formed. The physical shapes of the electronic components of the printed circuit board 7 are not related to the features of the present embodiment, and thus their illustration is omitted. The processor of the printed circuit board 7 generates an image of the object from a signal representing the image of the object, and estimates the state information of the object from the signal representing the spectrum of the object. Such a processor may be an application processor (AP) or a central processing unit (CPU) of a smartphone, or may be a dedicated processor for generating an image of an object and estimating the state information of the object. The image generation and spectrum generation described below may be processed by a separate processor called a graphics processing unit (GPU). The processor of the present embodiment may be a processor in which the above-described processors are integrated into one, or may mean a set of the above-described processors.

발광모듈(8)은 LED와 이것의 밝기 등을 조절하기 위한 전자소자들로 구성되며, 물체의 표면에 적외선, 가시광선 또는 적외선과 가시광선을 조사한다. 발광모듈(8)은 물체의 표면에 가시광선만을 조사하는 경우, 기존의 카메라 플래시일 수도 있다. 발광모듈(8)은 인쇄회로기판(7)에 실장될 수도 있고 인쇄회로기판(7)과 전선으로 연결될 수도 있다. 브래킷(6)에는 발광모듈(8)이 삽입되는 홀이 형성되어 있을 수 있다. 발광모듈(8)에서 발생된 적외선이 커버글래스(1)를 통과하여 물체의 표면에 조사될 수 있도록 터치패널(2), 디스플레이패널(3), 후면패널(4)의 면적은 커버글래스(1)보다 약간 작을 수 있다. 도 3에는 전자기기의 전방에 위치한 물체에 빛을 조사하는 구조로 배치된 발광모듈(8)이 도시되어 있으나, 발광모듈(8)은 전자기기의 후방에 위치한 물체에 빛을 조사하는 구조로 배치될 수도 있다. 배터리(9)는 터치패널(2), 디스플레이패널(3), 복합센서(5), 인쇄회로기판(7) 등에 전원을 공급한다. 하우징(10)은 그 내부에 커버글래스(1), 터치패널(2), 디스플레이패널(3), 후면패널(4), 복합센서(5), 브래킷(6), 인쇄회로기판(7), 배터리(9)의 전부 또는 일부를 수용함으로써 이것들간의 결합 구조를 유지하면서 보호하는 역할을 한다. The light emitting module 8 is composed of LEDs and electronic devices for controlling the brightness, etc., and irradiates infrared light, visible light or infrared light and visible light on the surface of the object. The light emitting module 8 may be a conventional camera flash when irradiating only visible light on the surface of an object. The light emitting module 8 may be mounted on the printed circuit board 7 or may be connected to the printed circuit board 7 by wires. A hole in which the light emitting module 8 is inserted may be formed in the bracket 6. The area of the touch panel 2, the display panel 3, and the rear panel 4 so that the infrared light generated from the light emitting module 8 passes through the cover glass 1 and can be irradiated to the surface of the object is the cover glass 1 ). 3, the light emitting module 8 is arranged in a structure that irradiates light to an object located in front of the electronic device, but the light emitting module 8 is arranged in a structure that irradiates light to an object located behind the electronic device. It may be. The battery 9 supplies power to the touch panel 2, the display panel 3, the composite sensor 5, the printed circuit board 7, and the like. The housing 10 includes a cover glass 1, a touch panel 2, a display panel 3, a rear panel 4, a composite sensor 5, a bracket 6, a printed circuit board 7, By accommodating all or part of the battery 9, it serves to protect while maintaining the coupling structure between them.

복합센서(5)가 디스플레이패널(3) 아래에 배치된 경우, 복합센서(5)는 물체의 표면에 조사된 가시광선이 물체의 표면에서 반사되어 커버글래스(1), 터치패널(2), 및 디스플레이패널(3)을 차례대로 통과한 빛으로부터 물체의 이미지를 나타내는 신호를 생성하고, 물체에 조사된 적외선이 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 커버글래스(1), 터치패널(2), 및 디스플레이패널(3)을 차례대로 통과한 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다. 상술한 바와 같이, 복합센서(5)는 전자기기의 전면 상단에 설치될 수도 있다. 이 경우, 물체에 조사된 가시광선 중 물체의 표면에서 반사된 빛은 복합센서(5)로 바로 입사되며, 복합센서(5)는 이와 같이 입사된 빛으로부터 물체의 이미지를 나타내는 신호를 생성한다. 마찬가지로, 물체에 조사된 적외선 중 물체 속을 침투한 후에 물체의 표면으로부터 방출된 빛은 복합센서(5)로 바로 입사되며, 복합센서(5)는 이와 같이 입사된 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다. 이하에서는 복합센서(5)가 디스플레이패널(3) 아래에 배치된 예를 기준으로 본 발명의 실시예들을 설명하기로 한다. 이하의 설명은 전자기기의 전면 상단에 설치된 복합센서(5)에도 그대로 적용될 수 있다. When the composite sensor 5 is disposed under the display panel 3, the composite sensor 5 is a visible light irradiated on the surface of the object is reflected from the surface of the object, the cover glass (1), the touch panel (2), And a signal representing an image of the object from the light that has passed through the display panel 3 in sequence, and after the infrared light irradiated on the object penetrates into the object and is emitted from the surface of the object, the cover glass 1 and the touch panel ( 2), and a signal representing the spectrum of the object is generated from light passing through the display panel 3 in sequence. As described above, the composite sensor 5 may be installed on the front top of the electronic device. In this case, the light reflected from the surface of the object among visible light irradiated to the object is directly incident on the composite sensor 5, and the composite sensor 5 generates a signal representing the image of the object from the incident light. Similarly, the light emitted from the surface of the object after penetrating into the object among infrared rays irradiated to the object is directly incident on the composite sensor 5, and the composite sensor 5 is a signal representing the spectrum of the object from the incident light Produces Hereinafter, embodiments of the present invention will be described based on an example in which the composite sensor 5 is disposed under the display panel 3. The following description can also be applied to the composite sensor 5 installed on the front top of the electronic device.

도 4는 도 2에 도시된 전자기기의 단면의 일례를 도시한 도면이다. 도 3을 참조하면, 후면패널(4)은 디스플레이패널(3)을 보호하는 보호층(41)과 디스플레이패널(3)의 열을 발산하는 방열층(42)으로 구성된다. 보호층(41)은 디스플레이패널(3)을 보호하기 위해 스펀지, 고무 등의 탄성소재로 제조될 수 있다. 방열층(42)은 디스플레이패널(3)의 열을 발산하기 위해 열전도율이 높은 알루미늄, 구리 등의 금속재로 제조될 수 있다. 이와 같이, 보호층(41)은 일반적으로 불투명 소재로 이루어져 있기 때문에 디스플레이패널(3)을 통과한 빛이 복합센서(5)에 도달할 수 있도록 복합센서(5)의 상측 영역에 해당하는 보호층(41)의 일부 영역에 광통과홀이 형성되어 있다. 보호층(41)의 광통과홀은 비어 있을 수도 있고 투명한 물질로 채워질 수도 있다. 이러한 광통과홀은 복합센서의 복합센서(5)의 수광면, 즉 상면 형태와 동일한 형태를 가질 수 있으며, 복합센서(5)의 고정을 위해 광통과홀의 개구 면적은 복합센서(5)의 상면 면적보다 약간 작을 수 있다. 방열층(42)에는 복합센서(5)가 삽입되는 홀이 형성되어 있다. 복합센서(5)는 방열층(42)의 홀에 삽입되어 브래킷(6)의 상면에 안착됨으로써 고정될 수 있다. 4 is a view showing an example of a cross-section of the electronic device shown in FIG. 2. Referring to FIG. 3, the rear panel 4 includes a protective layer 41 protecting the display panel 3 and a heat dissipation layer 42 dissipating heat of the display panel 3. The protective layer 41 may be made of an elastic material such as a sponge or rubber to protect the display panel 3. The heat dissipation layer 42 may be made of a metal material such as aluminum or copper having high thermal conductivity in order to dissipate heat of the display panel 3. As such, since the protective layer 41 is generally made of an opaque material, the protective layer corresponding to the upper region of the composite sensor 5 so that light passing through the display panel 3 can reach the composite sensor 5 A light-passing hole is formed in a partial region of (41). The light-passing hole of the protective layer 41 may be empty or may be filled with a transparent material. The light-passing hole may have the same shape as the light-receiving surface of the composite sensor 5 of the composite sensor, that is, the top surface shape, and for fixing the composite sensor 5, the opening area of the light-passing hole is the top surface of the composite sensor 5 It may be slightly smaller than the area. A hole into which the composite sensor 5 is inserted is formed in the heat dissipation layer 42. The composite sensor 5 can be fixed by being inserted into the hole of the heat dissipation layer 42 and seated on the upper surface of the bracket 6.

도 5는 도 3에 도시된 전자기기의 단면의 다른 예를 도시한 도면이다. 도 5를 참조하면, 도 4에 도시된 예와는 달리, 후면패널(4)에는 그 두께 전체, 즉 보호층(41)과 방열층(42)에 광통과홀이 형성되어 있고, 브래킷(6)에 복합센서(5)가 안착되어 고정될 수 있는 홈이 형성되어 있다. 도 5에 도시된 바와 같이, 복합센서(5)는 브래킷(6)의 홈에 삽입되어 홈 바닥면에 안착됨으로써 고정될 수 있다. 도 6은 도 4에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다. 도 6을 참조하면, 도 4에 도시된 예와는 달리, 후면패널(4)의 보호층(41)에는 디스플레이패널(3)의 픽셀과 픽셀 사이의 투명 영역 복수 개에 상하로 일대일 대응되는 다공 형태의 복수 개의 광통과홀이 형성되어 있다. 5 is a view showing another example of a cross-section of the electronic device shown in FIG. 3. Referring to FIG. 5, unlike the example shown in FIG. 4, the rear panel 4 is formed with a light passing hole in the entire thickness, that is, the protective layer 41 and the heat dissipation layer 42, and the bracket 6 ) Is formed with a groove in which the composite sensor 5 can be seated and fixed. As shown in FIG. 5, the composite sensor 5 can be fixed by being inserted into the groove of the bracket 6 and seated on the bottom surface of the groove. 6 is a view showing another example of a cross-section of the electronic device shown in FIG. 4. Referring to FIG. 6, unlike the example illustrated in FIG. 4, the protective layer 41 of the rear panel 4 has pores corresponding to the pixels of the display panel 3 and a plurality of transparent areas between pixels vertically one to one. A plurality of light passing holes having a shape are formed.

전자기기는 물체 이미지와 상태 정보의 합성 이미지를 표시하는 어플리케이션이 실행되면, 그 물체에 적외선을 조사한다. 예를 들어, 전자기기는 물체 이미지와 상태 정보의 합성 이미지를 표시하는 어플리케이션이 실행되면, 사과 또는 사용자 얼굴에 적외선을 조사한다. 이때, 사과 또는 사용자 얼굴에는 적외선 외에도 자연광, 인공광 등에 의한 가시광선도 함께 조사된다. 사과 또는 사용자 얼굴에 조사된 빛 중 일부는 반사되어 커버글래스(1)를 다시 향하게 되고, 커버글래스(1), 터치패널(2), 디스플레이패널(3)을 차례대로 통과하게 된다. 디스플레이패널(3)을 통과한 빛은 후면패널(4)의 광통과홀을 통해 복합센서(5)에 도달하게 된다. 도 3-5에 도시된 예에 따르면, 복합센서(5)는 커버글래스(1), 터치패널(2), 디스플레이패널(3)을 차례대로 통과하여 후면패널(4)의 적어도 하나의 광통과홀을 통해 입사된 빛으로부터 물체의 이미지를 나타내는 신호와 물체의 스펙트럼을 나타내는 신호를 생성한다.The electronic device irradiates infrared rays to the object when an application that displays a composite image of the object image and status information is executed. For example, when an application that displays a composite image of an object image and status information is executed, the electronic device irradiates infrared light to the apple or the user's face. At this time, the apple or the user's face is irradiated with visible light by natural light or artificial light in addition to infrared light. A part of the light irradiated on the apple or the user's face is reflected and is directed toward the cover glass 1 again, and passes through the cover glass 1, the touch panel 2, and the display panel 3 in sequence. The light passing through the display panel 3 reaches the composite sensor 5 through the light passing hole of the rear panel 4. According to the example shown in FIGS. 3-5, the composite sensor 5 passes through at least one light passing through the cover glass 1, the touch panel 2, and the display panel 3 in sequence. From the light incident through the hole, a signal representing the image of the object and a signal representing the spectrum of the object are generated.

도 4-6에는 디스플레이패널(3)의 각 픽셀이 흑색 사각점으로 표현되어 있다. 이러한 흑색 사각점들 사이, 즉 디스플레이패널(3)의 픽셀 등 사이를 통한 빛이 복합센서(5)에 도달하게 된다. 미세한 크기의 픽셀 도시의 한계로 인해 도 3에는 각 픽셀의 크기가 과장되어 도시되어 있으며 실제로는 도 3에 도시된 바와 같은 3 개의 경로가 아닌, 매우 작은 크기의 픽셀과 픽셀 사이에 대응되는 보다 여러 경로를 통해 빛이 복합센서(5)에 도달하게 된다. 또한, 도 4-6에는 디스플레이패널(3)의 와이어들이 생략되어 있다. 이러한 와이어도 불투명한 재질이므로 엄밀하게는 픽셀과 와이어 사이, 와이어와 픽셀 사이의 투명 영역을 통해 빛이 복합센서(5)에 도달하게 된다. 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 도 4-6에 도시된 예의 여러 다른 변형된 형태로 물체 표면에서 반사된 빛이 복합센서(5)에 도달하게 할 수 있음을 이해할 수 있다.4-6, each pixel of the display panel 3 is represented by a black square point. Light through these black blind spots, that is, between pixels of the display panel 3, etc., reaches the composite sensor 5. Due to the limitations of the fine pixel size, the size of each pixel is exaggerated in FIG. 3, and in reality, rather than three paths as shown in FIG. Light reaches the composite sensor 5 through the path. 4-6, the wires of the display panel 3 are omitted. Since such a wire is also an opaque material, light reaches the composite sensor 5 through a transparent region between the pixel and the wire and between the wire and the pixel. Those of ordinary skill in the art to which this embodiment belongs may understand that the light reflected from the object surface may reach the composite sensor 5 in various other modified forms of the example shown in FIGS. 4-6. .

도 7은 도 3에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다. 도 7을 참조하면, 후면패널(4)의 광통과홀에 볼록렌즈형의 콜리메이터렌즈(collimator lens)가 삽입되어 있다. 도 7에 도시된 후면패널(4)에는 그 두께 전체, 즉 보호층(41)과 방열층(42)에 광통과홀이 형성되어 있고, 브래킷(6)에 복합센서(5)가 안착되어 고정될 수 있는 홈이 형성되어 있다. 콜리메이터렌즈(50)는 후면패널(4)의 광통과홀에 삽입되는 구조로 디스플레이패널(3)의 아래에 배치되어 디스플레이패널(3)을 통과한 빛을 복합센서(5)의 상면에 수직으로 입사되는 평행광으로 변환한다. 아래에 설명된 바와 같이, 복합센서(5)의 복수 개의 컬러필터(511)와 복수 개의 분광필터(521)가 매트릭스 구조로 배열되어 있다. 복수 개의 컬러필터(511)와 복수 개의 분광필터(521) 각각에 빛이 수직으로 입사될 경우에 각 필터의 투과율이나 차단율이 최대가 되어 물체의 이미지와 스펙트럼이 보다 정확하게 생성될 수 있다. 콜리메이터렌즈(50)는 각 필터에 빛이 수직으로 입사되도록 하는 역할을 한다.7 is a view showing another example of a cross-section of the electronic device shown in FIG. 3. Referring to FIG. 7, a collimator lens of a convex lens type is inserted into the light passing hole of the rear panel 4. The rear panel 4 shown in FIG. 7 is formed with a light-through hole in the entire thickness, that is, the protective layer 41 and the heat dissipation layer 42, and the complex sensor 5 is seated and fixed to the bracket 6 Grooved grooves are formed. The collimator lens 50 is a structure that is inserted into the light-passing hole of the rear panel 4 and is disposed under the display panel 3 to vertically pass the light passing through the display panel 3 to the upper surface of the composite sensor 5. It is converted to incident parallel light. As described below, the plurality of color filters 511 and the plurality of spectroscopic filters 521 of the composite sensor 5 are arranged in a matrix structure. When light is vertically incident on each of the plurality of color filters 511 and the plurality of spectral filters 521, the transmittance or cutoff rate of each filter is maximized, so that an image and spectrum of an object can be more accurately generated. The collimator lens 50 serves to allow light to enter the filter vertically.

도 8은 도 2에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다. 도 8을 참조하면, 후면패널(4)의 광통과홀에 복수 개의 콜리메이터렌즈(50)가 삽입되어 있다. 복수 개의 콜리메이터렌즈(50) 각각에 의한 광선 경로 변화가 보여질 수 있도록 도 8에는 도 3에 도시된 전자기기의 단면 일부가 확대되어 도시되어 있다. 도 8에 도시된 후면패널(4)에는 도 7에 도시된 예와 동일하게 그 두께 전체에 광통과홀이 형성되어 있고, 브래킷(6)에 복합센서(5)가 안착되어 고정될 수 있는 홈이 형성되어 있다. 다만, 도 7에 도시된 예에서는 후면패널(4)의 광통과홀에 하나의 콜리메이터렌즈(50)가 삽입되어 있으나, 도 8에 도시된 예에서는 후면패널(4)의 광통과홀에 복수 개의 콜리메이터렌즈(50)가 삽입되어 있다. 도 8에 도시된 바와 같이, 복수 개의 콜리메이터렌즈(50)는 서로 이웃하는 렌즈들끼리 연결되어 있는 일체형으로 제조될 수 있다.8 is a view showing another example of a cross-section of the electronic device shown in FIG. 2. Referring to FIG. 8, a plurality of collimator lenses 50 are inserted into the light passing holes of the rear panel 4. FIG. 8 is an enlarged view of a part of a cross-section of the electronic device shown in FIG. 3 so that a change in a light path by each of the plurality of collimator lenses 50 can be seen. The rear panel 4 shown in FIG. 8 is formed with a light-through hole in the entire thickness as in the example shown in FIG. 7, and a groove in which the composite sensor 5 is mounted and fixed to the bracket 6 Is formed. However, in the example shown in FIG. 7, one collimator lens 50 is inserted into the light passing hole of the rear panel 4, but in the example shown in FIG. 8, a plurality of light passing holes of the rear panel 4 are provided. The collimator lens 50 is inserted. As illustrated in FIG. 8, the plurality of collimator lenses 50 may be manufactured as an integral type in which lenses adjacent to each other are connected.

도 7에 도시된 예와 같이, 후면패널(4)의 광통과홀에 하나의 콜리메이터렌즈(50)가 삽입된 경우, 디스플레이패널(3)을 통과한 빛 중 후면패널(4)의 광통과홀의 중심선을 따라 진행하는 광선은 콜리메이터렌즈(50)의 중심 부위에 입사됨에 따라 평행광 변환 효율이 높으나, 후면패널(4)의 광통과홀의 중심선으로부터 멀리 벗어나 있는 광선은 콜리메이터렌즈의 가장자리 부위에 입사됨에 따라 평행광 변환 효율이 낮다. 이에 따라, 도 8에 도시된 예에서는 복수 개의 콜리메이터렌즈(50)는 디스플레이패널(3)의 픽셀과 픽셀 사이의 투명 영역 복수 개에 상하로 일대일 대응되도록 후면패널(4)의 광통과홀에 삽입되어 있다. 이에 따라, 디스플레이패널(3)의 픽셀과 픽셀 사이의 투명 영역 복수 개를 통과한 광선은 각 콜리메이터렌즈의 중심에 입사될 수 있다.As in the example shown in FIG. 7, when one collimator lens 50 is inserted into the light passing hole of the rear panel 4, of the light passing hole of the rear panel 4 among the light passing through the display panel 3 As the light traveling along the center line is incident on the central part of the collimator lens 50, the efficiency of parallel light conversion is high, but the light beam away from the center line of the light passing hole of the rear panel 4 is incident on the edge part of the collimator lens. Therefore, the parallel light conversion efficiency is low. Accordingly, in the example shown in FIG. 8, the plurality of collimator lenses 50 are inserted into the light passing holes of the rear panel 4 so as to correspond one-to-one to the plurality of transparent areas between the pixels of the display panel 3 and the pixels. It is. Accordingly, light rays passing through a plurality of transparent areas between the pixels of the display panel 3 and the pixels may be incident on the center of each collimator lens.

도 9는 도 3에 도시된 전자기기의 단면의 또 다른 예를 도시한 도면이다. 도 9를 참조하면, 후면패널(4)의 보호층(41)에는 디스플레이패널(3)의 픽셀과 픽셀 사이의 투명 영역 복수 개에 상하로 일대일 대응되는 다공 형태의 복수 개의 광통과홀이 형성되어 있고, 방열층(42)의 광통과홀은 보호층(41)의 복수 개의 광통과홀 사이사이가 개구된 형태의 하나의 광통과홀이 형성되어 있다. 방열층(42)의 광통과홀에 복수 개의 콜리메이터렌즈(50)가 삽입되어 있다. 복수 개의 콜리메이터렌즈(50) 각각에 의한 광선 경로 변화가 보여질 수 있도록 도 8에는 도 2에 도시된 전자기기의 단면 일부가 확대되어 도시되어 있다. 후면패널(4)의 보호층(41)의 복수 개의 광통과홀은 각 콜리메이터렌즈(50)의 평행광 변환 효율을 향상시키기 위하여 디스플레이패널(3)의 픽셀과 픽셀 사이의 투명 영역을 통과한 빛이 각 콜리메이터렌즈(50)의 중심에 입사되도록 안내하는 역할을 한다. 9 is a view showing another example of a cross-section of the electronic device shown in FIG. 3. Referring to FIG. 9, in the protective layer 41 of the rear panel 4, a plurality of light-transmitting holes having a porous shape corresponding one to one vertically to a plurality of transparent areas between pixels of the display panel 3 and pixels are formed. In addition, the light passing hole of the heat dissipation layer 42 is formed with one light passing hole having a shape between the plurality of light passing holes of the protective layer 41. A plurality of collimator lenses 50 are inserted into the light passing holes of the heat dissipation layer 42. FIG. 8 is an enlarged view of a part of the cross section of the electronic device shown in FIG. 2 so that a change in a light path by each of the plurality of collimator lenses 50 can be seen. The plurality of light-passing holes in the protective layer 41 of the rear panel 4 pass through the transparent area between the pixels of the display panel 3 and the pixels in order to improve the efficiency of the parallel light conversion of each collimator lens 50. Each of the collimator lens 50 serves to guide the incident to the center.

도 7-9에 도시된 바와 같이, 사용자가 물체 이미지와 상태 정보의 합성 이미지를 표시하는 어플리케이션을 실행시키면, 발광모듈(8)에 발생한 적외선은 사과에 조사된다. 사과에 조사된 적외선 중 일부는 사과 표면에서 반사되고, 일부는 사과 속을 침투한 후에 다시 사과 표면으로 되돌아와 사과 표면으로부터 방출된다. 마찬가지로, 사용자가 물체 이미지와 상태 정보의 합성 이미지를 표시하는 어플리케이션을 실행시키면, 발광모듈(8)에 발생한 적외선은 사용자 얼굴에 조사될 수 있다. 사용자 얼굴에 조사된 적외선 중 일부는 얼굴 표면에서 반사되고, 일부는 얼굴 피부 속을 침투한 후에 다시 얼굴 피부의 표면으로 되돌아와 얼굴 피부의 표면으로부터 방출된다. 사과 또는 사용자 얼굴에는 적외선 외에도 자연광원이나 인공광원의 빛이 조사되며, 적외선과 마찬가지로 일부는 반사되고 일부는 침투 후 방출된다. 이와 같이, 커버글래스(1)를 향하게 된 빛은 커버글래스(1), 터치패널(2), 디스플레이패널(3)을 차례대로 통과하게 된다. 디스플레이패널(3)을 통과한 빛은 후면패널(4)의 광통과홀에 삽입된 적어도 하나의 콜리메이터렌즈(50)를 통해 복합센서(5)에 도달하게 된다. As shown in FIGS. 7-9, when the user executes an application that displays a composite image of an object image and status information, infrared radiation generated in the light emitting module 8 is irradiated to the apple. Some of the infrared light irradiated on the apple is reflected from the apple surface, and some penetrate the inside of the apple and then return to the apple surface and are emitted from the apple surface. Similarly, when the user executes an application that displays a composite image of an object image and status information, infrared light generated in the light emitting module 8 may be irradiated to the user's face. Some of the infrared light irradiated to the user's face is reflected from the face surface, and some penetrate the inside of the face skin and then return to the surface of the face skin and emit from the surface of the face skin. In addition to infrared rays, the apple or the user's face is irradiated with light from natural or artificial light sources, and, like infrared rays, some are reflected and some are emitted after penetration. In this way, the light directed toward the cover glass 1 passes through the cover glass 1, the touch panel 2, and the display panel 3 in this order. The light passing through the display panel 3 reaches the composite sensor 5 through at least one collimator lens 50 inserted into the light passing hole of the rear panel 4.

도 7-9에 도시된 예에 따르면, 복합센서(5)는 커버글래스(1), 터치패널(2), 디스플레이패널(3)을 차례대로 통과하여 후면패널(4)의 적어도 하나의 광통과홀과 적어도 하나의 콜리메이터렌즈(50)를 통해 입사된 빛으로부터 물체의 이미지를 나타내는 신호와 물체의 스펙트럼을 나타내는 신호를 생성한다. 도 7-9에 도시된 예에서는 콜리메이터렌즈(50)가 복합센서(5)의 상면, 즉 수광면 전체를 덮는 구조로 도시되어 있으나 콜리메이터렌즈(50)는 지분센서(5)의 상면 일부인 분광센서(52)의 상면, 즉 분광센서(52)의 수광면만을 덮을 수도 있다. 이 경우, 복합센서(5)는 커버글래스(1), 터치패널(2), 디스플레이패널(3)을 차례대로 통과하여 후면패널(4)의 적어도 하나의 광통과홀과 적어도 하나의 콜리메이터렌즈(50)를 통해 입사된 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다.According to the example shown in FIGS. 7-9, the composite sensor 5 passes through the cover glass 1, the touch panel 2, and the display panel 3 in sequence, and at least one light passes through the rear panel 4. A signal representing an image of the object and a signal representing the spectrum of the object are generated from light incident through the hole and at least one collimator lens 50. In the example shown in FIGS. 7-9, the collimator lens 50 is shown to cover the entire surface of the composite sensor 5, that is, the light receiving surface, but the collimator lens 50 is a spectroscopic sensor that is a part of the upper surface of the equity sensor 5 The upper surface of 52, that is, only the light receiving surface of the spectroscopic sensor 52 may be covered. In this case, the composite sensor 5 passes through the cover glass 1, the touch panel 2, and the display panel 3 in turn, and at least one light passing hole of the rear panel 4 and at least one collimator lens ( 50) to generate a signal representing the spectrum of the object from the light incident.

도 10은 도 4에 도시된 단면 일부와 물체를 도시한 도면이다. 도 10의 (a)에는 발광모듈(8)로부터 사과에 조사된 적외선 중 일부는 사과 표면에서 반사되고 나머지는 사과 속으로 침투하는 모습이 도시되어 있다. 사과 속으로 침투한 적외선 중 일부는 흡수되고 나머지는 사과 표면으로 되돌아와 사과 표면으로부터 방출된다. 사과, 배 등과 같은 과일의 맛은 과즙에 함유되어 있는 당의 종류와 농도에 의해 결정된다. 과일의 당도는 과즙에서 수분을 제거한 고형물 100g 내의 당의 무게를 의미하는 브릭스(Brix) 단위로 나타낸다. 적외선은 특정 파장이나 대역, 특히 근적외선 대역에서 과일 내의 당에 흡수되는 성질을 갖고 있다. 따라서, 전자기기가 적외선을 과일에 조사하였을 때에 과일로부터 전자기기로 되돌아오는 특정 대역의 적외선 양이 적으면 과일의 당도가 높다고 할 수 있고, 과일로부터 전자기기로 되돌아오는 특정 대역의 적외선 양이 많으면 과일의 당도가 낮다고 할 수 있다. 과일의 종류 및 신선도에 따라 과일 내부의 조직이 변화되는데, 과일 내부의 조직에 따라 과일 내부에서 흡수되거나 산란되는 적외선의 양과 대역이 달라진다. 따라서, 어떤 종류의 과일에 대해 어떤 상태를 측정할 것인지에 따라 과일에 조사되는 적외선의 전체 대역과 과일로부터 되돌아오는 적외선에 대한 필터링 대역이 설계될 필요가 있다.FIG. 10 is a view showing a part and an object of a cross section shown in FIG. 4. FIG. 10(a) shows that some of the infrared rays irradiated to the apple from the light emitting module 8 are reflected from the apple surface and the other penetrates into the apple. Some of the infrared light that has penetrated into the apple is absorbed and the rest return to the apple surface and are emitted from the apple surface. The taste of fruits such as apples and pears is determined by the type and concentration of sugar in juice. The sugar content of the fruit is expressed in Brix units, which means the weight of the sugar in 100 g of the solid material from which moisture is removed from the juice. Infrared rays have a property of being absorbed by sugars in fruits at specific wavelengths or bands, particularly near infrared bands. Therefore, when the amount of infrared radiation of a specific band returning from the fruit to the electronic device is low when the electronic device irradiates infrared light to the fruit, it can be said that the sugar content of the fruit is high. It can be said that the sugar content of the fruit is low. The tissue inside the fruit changes according to the type and freshness of the fruit, and the amount and band of infrared rays absorbed or scattered inside the fruit vary depending on the tissue inside the fruit. Therefore, it is necessary to design the entire band of infrared rays irradiated to the fruit and the filtering band for infrared rays coming back from the fruit depending on what kind of condition to measure for which kind of fruit.

도 10의 (b)에는 사람 피부의 단면이 도시되어 있다. 한 도면의 크기 한계로 인해 도 10의 (b)에는 도 4에 도시된 단면 일부와 사람 피부의 단면이 서로 근접된 모습으로 도시되어 있으나 실제로는 도시된 것보다 훨씬 더 많이 떨어져 있다. 도 10의 (a)를 참조하면, 사람의 피부는 표피(epidermis)와 진피(dermis)의 2 계층으로 이루어져 있고, 진피 아래에는 혈관(blood vessel)이 지나간다. 발광모듈(8)로부터 사용자 얼굴에 조사된 적외선 중 일부는 얼굴 표면에서 반사되고 나머지는 얼굴 피부 속으로 침투하게 된다. 얼굴 피부 속으로 침투한 적외선은 몸 속을 이동하면서 서로 다른 굴절률의 경계에서 반사와 굴절을 반복하게 된다. 얼굴 피부 속으로 침투한 적외선 중 일부는 얼굴 표면으로 되돌아와 얼굴 표면으로부터 방출되게 된다. 10(b) shows a cross-section of human skin. Due to the size limitation of one drawing, part (b) of FIG. 10 is shown in a cross section of human skin and part of the cross section shown in FIG. 4, but in reality, it is far more apart than that shown. Referring to Figure 10 (a), the human skin consists of two layers of the epidermis (epidermis) and the dermis (dermis), and underneath the dermis (blood vessel) passes. Some of the infrared light emitted from the light emitting module 8 to the user's face is reflected from the face surface, and the rest penetrates into the face skin. Infrared rays that have penetrated into the skin of the face move through the body and repeat reflections and refractions at different refractive index boundaries. Some of the infrared light that has penetrated into the skin of the face returns to the face surface and is emitted from the face surface.

발광모듈(8)로부터 얼굴에 조사된 적외선 중 일부는 얼굴의 표피 표면에서 반사되고, 일부는 피부 속으로 침투하여 표피와 진피의 2 계층 내에서 일부는 흡수되고 나머지는 산란된다. 이러한 흡수는 주로 헤모글로빈(hemoglobin), 빌리루빈(bilirubin), 베타카로틴(beta-carotene) 등과 같은 혈액 내 성분들과 표피의 멜라난, 수분, 유분 등에 기인한다. 따라서, 전자기기가 적외선을 사용자의 얼굴 피부에 조사하였을 때에 얼굴 피부로부터 전자기기로 되돌아오는 특정 대역의 적외선 양이 적으면 멜라닌 농도, 수분량, 유분량이 높다고 할 수 있고, 얼굴 피부로부터 전자기기로 되돌아오는 특정 대역의 적외선 양이 많으면 멜라닌 농도, 수분량, 유분량이 낮다고 할 수 있다. 피부 내 물질의 종류에 따라 서로 다른 대역의 적외선을 흡수한다. 예를 들어, 표피 내의 멜라닌은 470nm 이하의 청색광의 대부분을 흡수하고, 혈관 내의 헤모글로빈은 525nm 이하의 녹색광의 대부분과 640nm 이하의 적색광의 대부분을 흡수한다. 따라서, 얼굴 피부의 어떤 상태를 측정할 것인지에 따라 얼굴 피부에 조사되는 적외선의 전체 대역과 얼굴 피부로부터 되돌아오는 적외선에 대한 필터링 대역이 설계될 필요가 있다.Some of the infrared rays irradiated to the face from the light emitting module 8 are reflected from the epidermal surface of the face, some penetrate into the skin, some are absorbed in the two layers of the epidermis and dermis, and the others are scattered. This absorption is mainly due to blood components such as hemoglobin, bilirubin, and beta-carotene, and melanin, moisture, and oil in the epidermis. Therefore, when the amount of infrared rays in a specific band returning to the electronic device from the facial skin is small when the electronic device irradiates infrared light to the user's facial skin, it can be said that the melanin concentration, water content, and oil content are high, and the electronic device returns from the facial skin to the electronic device. It can be said that if the amount of infrared rays in a specific band is large, the melanin concentration, moisture content, and oil content are low. It absorbs infrared rays in different bands depending on the types of substances in the skin. For example, melanin in the epidermis absorbs most of blue light below 470 nm, and hemoglobin in blood vessels absorbs most of green light below 525 nm and most of red light below 640 nm. Therefore, it is necessary to design a total band of infrared rays irradiated to the facial skin and a filtering band for infrared rays coming back from the facial skin depending on what state of the facial skin is to be measured.

본 실시예의 복합센서(5)는 물체의 표면에서 반사되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 이미지를 나타내는 신호를 생성하는 이미지센서(51)와 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성하는 분광센서(52)로 구성된다. 상술한 바에 따르면, 본 실시예가 어떤 종류의 물체에 대해 어떤 상태를 측정할 것인지에 따라 발광모듈(8)로부터 방출되는 적외선의 전체 대역과 이하에서 설명될 분광센서(52)의 각 분광필터의 필터링 대역이 설계될 필요가 있다.The complex sensor 5 of the present embodiment is reflected from the surface of the object, and the image sensor 51 which generates a signal representing the image of the object from light passing through the display panel 3 and the surface of the object after penetrating into the object It is composed of a spectroscopic sensor 52 that generates a signal representing the spectrum of an object from light emitted and passed through the display panel 3. According to the above, the entire band of infrared light emitted from the light emitting module 8 and the filtering band of each spectral filter of the spectroscopic sensor 52 to be described below, depending on what kind of object the present embodiment will measure. It needs to be designed.

도 11은 도 3-7에 도시된 복합센서(5)의 구조의 일례를 개략적으로 도시한 도면이다. 도 11에서 약자 "C"는 컬러필터(511)를 나타내고, 약자 "S"는 분광필터(521)를 나타내고, 약자 "P"는 광전소자(512, 522)를 나타낸다. 본 실시예의 이미지센서(51)는 복수 개의 컬러필터(511)와 복수 개의 광전소자(512)를 이용하여 물체의 표면에 조사된 가시광선이 물체의 표면에서 반사되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 이미지를 나타내는 신호를 생성한다. 컬러필터(511) 대신에 적외선필터가 이용될 수도 있으나, 복수 개의 적외선필터를 이용하여 물체의 표면에 조사된 적외선이 물체의 표면에서 반사된 빛으로부터 물체의 이미지를 나타내는 신호를 생성할 경우에 흑백 이미지가 생성된다. 분광센서(52)는 복수 개의 분광필터(521)와 복수 개의 광전소자(522)를 이용하여 물체의 표면에 조사된 적외선이 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다. 각 광전소자(512, 522)의 대표적인 예로는 포토다이오드를 들 수 있다. 이에 따라, 광전소자의 약자가 도 10에 "P"로 표시되어 있다. FIG. 11 is a diagram schematically showing an example of the structure of the composite sensor 5 shown in FIGS. 3-7. In FIG. 11, the abbreviation "C" represents the color filter 511, the abbreviation "S" represents the spectroscopic filter 521, and the abbreviation "P" represents the photoelectric elements 512 and 522. The image sensor 51 of this embodiment uses a plurality of color filters 511 and a plurality of photoelectric elements 512, and visible light irradiated on the surface of the object is reflected from the surface of the object and passes through the display panel 3 Generates a signal representing the image of an object from light. An infrared filter may be used in place of the color filter 511, but when a plurality of infrared filters are used to generate a signal representing an image of an object from light reflected from the surface of the object, infrared light irradiated onto the surface of the object is black and white. The image is created. The spectroscopic sensor 52 uses a plurality of spectroscopic filters 521 and a plurality of photoelectric elements 522 to emit infrared light irradiated onto the surface of the object and then radiate from the surface of the object to emit the display panel 3. A signal representing the spectrum of an object is generated from the light that has passed. A photodiode is a typical example of each photoelectric device 512 and 522. Accordingly, the abbreviation of the photoelectric element is indicated as "P" in FIG. 10.

이미지센서(51)의 광전소자(512)와 분광센서(52)의 광전소자(522)로 동일한 타입의 포토다이오드가 사용될 수도 있고 서로 다른 타입의 포토다이오드가 사용될 수도 있다. 물체의 이미지를 나타내는 신호는 복수개의 광전소자(512), 즉 복수 개의 포토다이오드(512)로부터 출력된 전기적 신호가 증폭된 후에 디지털 신호로 변환된 신호일 수 있다. 마찬가지로, 물체의 스펙트럼을 나타내는 신호는 복수개의 포토다이오드(522)로부터 출력된 전기적 신호가 증폭된 후에 디지털 신호로 변환된 신호일 수 있다. 복수개의 포토다이오드(512, 522)로부터 출력된 전기적 신호의 증폭과 디지털 신호로의 변환은 복합센서(5)와 일체형의 증폭기와 컨버터에 수행될 수도 있고, 복합센서(5) 외의 별도의 증폭기와 컨버터에 의해 수행될 수도 있다. The same type of photodiode may be used as the photoelectric device 512 of the image sensor 51 and the photoelectric device 522 of the spectroscopic sensor 52, or different types of photodiodes may be used. The signal representing the image of the object may be a signal converted into a digital signal after the electrical signals output from the plurality of photoelectric elements 512, that is, the plurality of photodiodes 512 are amplified. Similarly, the signal representing the spectrum of the object may be a signal converted to a digital signal after the electrical signals output from the plurality of photodiodes 522 are amplified. Amplification of the electrical signals output from the plurality of photodiodes 512 and 522 and conversion to digital signals may be performed in the integrated sensor and the amplifier and converter integrated with the composite sensor 5, or with separate amplifiers other than the composite sensor 5 It can also be performed by a converter.

도 11을 참조하면, 이미지센서(51)의 복수 개의 컬러필터(511)와 분광센서(52)의 복수 개의 분광필터(521)는 2차원 평면의 매트릭스 구조로 배열된다. 이러한 복수 개의 컬러필터(511)와 복수 개의 분광필터(521)의 배열면은 디스플레이패널(3)을 통과한 빛에 대한 복합센서(5)의 수광면을 형성한다. 즉, 복수 개의 컬러필터(511)는 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열되고, 복수 개의 분광필터(521)는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열된다. 따라서, 디스플레이패널(3)을 통과한 빛이 복수 개의 컬러필터(511)와 복수 개의 분광필터(521) 각각에 수직으로 입사되도록 디스플레이패널(3)을 통과한 빛이 복수 개의 컬러필터(511)와 복수 개의 분광필터(521)의 배열면에 수직으로 입사되도록 함이 바람직하다. 이와 같이 복수 개의 컬러필터(511)와 복수 개의 분광필터(521)의 배열면에 수직으로 입사되도록 하기 위한 기술적 수단에 대해서는 앞에 설명되어 있다.Referring to FIG. 11, a plurality of color filters 511 of the image sensor 51 and a plurality of spectroscopic filters 521 of the spectroscopic sensor 52 are arranged in a matrix structure of a two-dimensional plane. The arrangement surface of the plurality of color filters 511 and the plurality of spectroscopic filters 521 forms a light receiving surface of the composite sensor 5 for light passing through the display panel 3. That is, the plurality of color filters 511 are arranged in a matrix structure corresponding to a part of the matrix structure of the 2D plane, and the plurality of spectral filters 521 are of a matrix structure corresponding to other parts of the matrix structure of the 2D plane. Are arranged. Therefore, the light passing through the display panel 3 so that the light passing through the display panel 3 is vertically incident on each of the plurality of color filters 511 and the plurality of spectral filters 521, the plurality of color filters 511. And it is preferable to be vertically incident on the array surface of the plurality of spectroscopic filters (521). As described above, the technical means for vertically entering the array surfaces of the plurality of color filters 511 and the plurality of spectroscopic filters 521 has been described above.

즉, 본 실시예의 이미지센서(51)는 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열된 복수 개의 컬러필터(511)를 이용하여 물체의 표면에서 반사되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 이미지를 나타내는 신호를 생성한다. 본 실시예의 분광센서(52)는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열된 복수 개의 분광필터(521)를 이용하여 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다.That is, the image sensor 51 of this embodiment is reflected by the surface of the object using a plurality of color filters 511 arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane passes through the display panel 3 Generates a signal representing an image of an object from one light. The spectroscopic sensor 52 of this embodiment penetrates into an object using a plurality of spectroscopic filters 521 arranged in a matrix structure corresponding to different parts of a two-dimensional planar matrix structure, and then is emitted from the surface of the object to display panel (3) A signal representing the spectrum of the object is generated from the light passing through it.

이미지센서(51)의 복수 개의 컬러필터(511)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열되어 디스플레이패널(3)을 통과한 빛을 필터링한다. 복수 개의 컬러필터(511)는 디스플레이패널을 통과한 빛에서 서로 다른 컬러의 빛을 투과시키는 여러 종류의 컬러필터(511)들로 구성되며, 여러 종류의 컬러필터(511)는 매트릭스 구조로 번갈아 배열된다. 복수 개의 컬러필터(511)는 적색 대역의 빛을 투과시키고 나머지 대역의 빛을 차단하는 복수 개의 적색필터, 녹색의 빛을 투과시키고 나머지 대역의 빛을 차단하는 복수 개의 녹색필터, 및 청색 대역의 빛을 투과시키고 나머지 대역의 빛을 차단하는 복수 개의 청색필터로 구성될 수 있다. 복수 개의 적색필터, 복수 개의 녹색필터, 및 복수 개의 청색필터는 베이어 모자이크 패턴(bayer mosaic pattern)의 매트릭스 구조로 번갈아 배열될 수 있다.The plurality of color filters 511 of the image sensor 51 are arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane forming the light-receiving surface of the composite sensor 5, and the light passing through the display panel 3 To filter. The plurality of color filters 511 is composed of various types of color filters 511 that transmit light of different colors from light passing through the display panel, and the various types of color filters 511 are alternately arranged in a matrix structure. do. The plurality of color filters 511 transmits light in the red band and blocks red light in the rest of the band, a plurality of green filters transmit green light and blocks light in the other band, and light in the blue band It may be composed of a plurality of blue filters that transmit and block light in the rest of the band. The plurality of red filters, the plurality of green filters, and the plurality of blue filters may be alternately arranged in a matrix structure of a Bayer mosaic pattern.

복수 개의 광전소자(512)는 복수 개의 컬러필터(511)에 상하로 일대일 대응되도록 복수 개의 컬러필터(511)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 복수 개의 컬러필터(511) 아래에 배치된다. 복수 개의 광전소자(512)는 복수 개의 컬러필터(511)에 의해 필터링된 빛을 전기적 신호로 변환함으로써 물체의 표면에서 반사되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 이미지를 나타내는 신호를 생성한다. 각 광전소자(512)는 이것에 상하로 일대일 대응되는 각 컬러필터(511)에 의해 필터링된 빛을 그 강도에 따라 서로 다른 레벨의 전기적 신호로 변환한다. 복수 개의 광전소자(512) 각각에 의해 생성된 전기적 신호의 조합으로부터 물체의 이미지가 생성될 수 있다. The plurality of photoelectric elements 512 are arranged in the same matrix structure as the matrix structure of the plurality of color filters 511 so as to correspond one-to-one up and down to the plurality of color filters 511 and disposed under the plurality of color filters 511. The plurality of photoelectric elements 512 converts light filtered by the plurality of color filters 511 into electrical signals to generate a signal representing an image of the object from light that is reflected from the surface of the object and passes through the display panel 3. do. Each photoelectric element 512 converts light filtered by each color filter 511 that is one to one up and down corresponding to it into electrical signals of different levels according to its intensity. An image of an object may be generated from a combination of electrical signals generated by each of the plurality of photoelectric elements 512.

분광센서(52)의 복수 개의 분광필터(521)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되어 디스플레이패널(3)을 통과한 빛을 필터링한다. 본 실시예의 복수 개의 분광필터(521)는 과일의 상태, 예를 들어 사과의 당도를 측정하기 위해 발광모듈(8)로부터 과일에 조사된 적외선의 파장대역 중 과일 속을 침투한 후에 과일 표면으로 되돌아와 과일 표면으로부터 방출되는 과정에서 흡수되는 파장대역에 속하는 복수의 파장대역을 투과시키거나 차단한다. 아니면, 본 실시예의 복수 개의 분광필터(521)는 사람의 피부 상태, 예를 들어 얼굴 피부의 멜라닌 농도를 측정하기 위해 발광모듈(8)로부터 사람의 피부에 조사된 적외선의 파장대역 중 피부 속을 침투한 후에 피부 표면으로 되돌아와 피부 표면으로부터 방출되는 과정에서 흡수되는 파장대역에 속하는 복수의 파장대역을 투과시키거나 차단한다. 여기에서, 사람의 피부는 얼굴 피부가 다른 부위, 예를 손등의 피부일수도 있다. 복수 개의 분광필터(521)는 디스플레이패널(3)을 통과한 빛에서 서로 다른 파장대역의 적외선을 투과시키거나 차단함으로써 디스플레이패널(3)을 통과한 빛을 필터링하는 여러 종류의 분광필터(521)들로 구성되며, 여러 종류의 분광필터(521)는 상술한 바와 같은 매트릭스 구조로 번갈아 배열된다. The plurality of spectroscopic filters 521 of the spectroscopic sensor 52 are arranged in a matrix structure corresponding to other parts of the matrix structure of the two-dimensional plane forming the light-receiving surface of the complex sensor 5 and passed through the display panel 3 Filter light. The plurality of spectroscopic filters 521 of this embodiment return to the fruit surface after penetrating into the fruit in the wavelength band of infrared rays irradiated to the fruit from the light emitting module 8 to measure the state of the fruit, for example, the sugar content of the apple. And transmits or blocks a plurality of wavelength bands belonging to the wavelength band absorbed in the process of being emitted from the fruit surface. Otherwise, the plurality of spectral filters 521 of the present embodiment is used to measure the skin condition of a person, for example, the melanin concentration of the facial skin, in the wavelength range of infrared rays irradiated to the human skin from the light emitting module 8. After penetrating, it returns to the skin surface and transmits or blocks a plurality of wavelength bands belonging to the wavelength band absorbed in the process of being emitted from the skin surface. Here, the human skin may be a part of the facial skin, for example, the skin of the hand. The plurality of spectral filters 521 are various types of spectral filters 521 that filter the light passing through the display panel 3 by transmitting or blocking infrared rays of different wavelength bands from the light passing through the display panel 3 It consists of, and various types of spectral filters 521 are alternately arranged in a matrix structure as described above.

예를 들어, 여러 종류의 분광필터(521)는 종류별로 하나씩 2차원 평면의 매트릭스 구조의 다른 부분에 속하는 매트릭스의 한 행 또는 한 열에 채워나가고, 모든 종류의 분광필터(521)의 배열이 완료되면 다시 종류별로 하나씩 채워나가는 방식으로 번갈아 배열될 수 있다. 상술한 바와 같이, 본 실시예의 분광센서(52)는 전자기기에 근접하여 위치한 사과의 당도 측정을 위해 520 ~ 910nm 대역의 스펙트럼을 검출할 수 있다. 이 경우, 복수 개의 분광필터(521)는 520 ~ 910nm 대역을 수 nm 단위로 분할하여 필터링하는 여러 종류의 분광필터(521)들로 구성될 수 있다. 예를 들어, 복수 개의 분광필터(521)는 520 ~ 910nm 대역을 5nm 단위로 분할하여 필터링하는 여러 종류의 분광필터(521)들로 구성될 수 있다. 즉, 복수 개의 분광필터(521)는 520 ~ 525nm 대역, 525 ~ 530nm 대역, ..., 905 ~ 910nm 대역의 서로 다른 파장대역을 투과시키거나 차단하는 여러 종류의 분광필터(521)들로 구성될 수 있다. For example, the various types of spectral filters 521 are filled in one row or one column of the matrix belonging to different parts of the matrix structure of the two-dimensional plane, one for each type, and when the arrangement of all kinds of spectral filters 521 is completed It can be arranged alternately in a manner that fills one by one again. As described above, the spectroscopic sensor 52 of the present embodiment can detect a spectrum in a band of 520 to 910 nm for measuring the sugar content of an apple located close to an electronic device. In this case, the plurality of spectral filters 521 may be composed of various types of spectral filters 521 for dividing and filtering the 520 to 910 nm bands in several nm units. For example, the plurality of spectral filters 521 may be composed of various types of spectral filters 521 that divide and filter 520 to 910 nm bands in 5 nm units. That is, the plurality of spectral filters 521 are composed of various types of spectral filters 521 that transmit or block different wavelength bands of the 520 ~ 525nm band, 525 ~ 530nm band, ..., 905 ~ 910nm band. Can be.

본 실시예의 분광센서(52)는 전자기기에 근접하여 위치한 사용자의 얼굴 피부의 멜라닌 농도 측정을 위해 350 ~ 850nm 대역의 스펙트럼을 검출할 수 있다. 이 경우, 복수 개의 분광필터(521)는 350 ~ 850nm 대역을 수 nm 단위로 분할하여 필터링하는 여러 종류의 분광필터(521)들로 구성될 수 있다. 예를 들어, 복수 개의 분광필터(521)는 350 ~ 850nm 대역을 5nm 단위로 분할하여 필터링하는 여러 종류의 분광필터(521)들로 구성될 수 있다. 즉, 복수 개의 분광필터(521)는 350 ~ 355nm 대역, 355 ~ 360nm 대역, ..., 845 ~ 850nm 대역의 서로 다른 파장대역을 투과시키거나 차단하는 여러 종류의 분광필터(521)들로 구성될 수 있다. 이와 같이, 물체의 종류에 따라 물체의 분광 특성이 두드러지는 파장대역이 달라질 수 있음을 알 수 있고, 그 파장대역은 적외선 대역 외에 가시광선 대역을 더 포함할 수 있음을 알 수 있다. 따라서, 어떤 종류의 물체의 상태를 측정할 것인가에 따라 본 실시예의 각 분광필터(521)의 필터링 대역이 설계될 필요가 있다. The spectroscopic sensor 52 of this embodiment may detect a spectrum in a band of 350 to 850 nm for measuring melanin concentration of a user's facial skin located close to an electronic device. In this case, the plurality of spectral filters 521 may be composed of various types of spectral filters 521 that divide and filter the 350 to 850 nm band in units of several nm. For example, the plurality of spectral filters 521 may be composed of various types of spectral filters 521 that divide and filter the 350 to 850 nm band in 5 nm units. That is, the plurality of spectral filters 521 are composed of various types of spectral filters 521 that transmit or block different wavelength bands of the 350 to 355 nm band, the 355 to 360 nm band, and the 845 to 850 nm band. Can be. As described above, it can be seen that a wavelength band in which the spectral characteristics of the object is prominent may vary according to the type of the object, and the wavelength band may further include a visible light band in addition to the infrared band. Therefore, it is necessary to design a filtering band of each spectroscopic filter 521 of the present embodiment according to what kind of object state is to be measured.

디스플레이패널(3)을 통과한 빛의 대역을 분할하는 단위가 작을수록, 즉 복수 개의 분광필터(521)의 종류가 많을수록 분광센서(52)에 의해 검출되는 스펙트럼의 해상도가 높아질 수 있다. 그러나, 동일한 파장대역을 투과시키거나 차단하는 한 종류의 분광필터(521)가 중복되어 배열되는 회수가 그 만큼 감소됨에 따라 분광센서(52)에 의해 검출되는 스펙트럼의 정확도가 낮아질 수 있다. 따라서, 전자기기에 근접하여 위치한 물체의 상태 정보 추정에 적합한 스펙트럼의 해상도와 정확도를 교량하여 디스플레이패널(3)을 통과한 빛에 대한 대역 분할 단위의 크기가 설계됨이 바람직하다. The smaller the unit for dividing the band of light passing through the display panel 3, that is, the more types of the plurality of spectroscopic filters 521, the higher the resolution of the spectrum detected by the spectroscopic sensor 52. However, the accuracy of the spectrum detected by the spectroscopic sensor 52 may be lowered as the number of overlapping arrangements of one type of spectroscopic filters 521 that transmit or block the same wavelength band is reduced by that amount. Therefore, it is preferable to design a size of a band division unit for light passing through the display panel 3 by bridge of the resolution and accuracy of a spectrum suitable for estimation of state information of an object located close to an electronic device.

복수 개의 광전소자(522)는 복수 개의 분광필터(521)에 상하로 일대일 대응되도록 복수 개의 분광필터(521)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 복수 개의 분광필터(521) 아래에 배치된다. 복수 개의 광전소자(522)는 복수 개의 분광필터(521)에 의해 필터링된 빛을 전기적 신호로 변환함으로써 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 디스플레이패널을 통과한 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다. 각 광전소자(522)는 이것에 상하로 일대일 대응되는 각 분광필터(521)에 의해 필터링된 빛을 그 강도에 따라 서로 다른 레벨의 전기적 신호로 변환한다. 복수 개의 광전소자(522) 중 어떤 광전소자는 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 디스플레이패널을 통과한 빛의 어떤 파장 대역에 대응하는 전기적 신호를 생성하고, 다른 광전소자는 다른 파장 대역에 대응하는 전기적 신호를 생성한다. 복수 개의 광전소자(522) 각각에 의해 생성된 전기적 신호의 조합으로부터 물체의 상태 측정에 필요한 스펙트럼이 생성될 수 있다. The plurality of photoelectric elements 522 are arranged in the same matrix structure as the matrix structure of the plurality of spectroscopic filters 521 so as to correspond one to one vertically to the plurality of spectroscopic filters 521 and disposed under the plurality of spectroscopic filters 521. The plurality of photoelectric elements 522 converts light filtered by the plurality of spectral filters 521 into electrical signals, and then penetrates into the object and is emitted from the surface of the object to indicate the spectrum of the object from the light passing through the display panel. Generate a signal. Each photoelectric element 522 converts light filtered by each spectroscopic filter 521 corresponding to it up and down one-to-one to electrical signals of different levels according to its intensity. One of the plurality of photoelectric elements 522 penetrates into the object and then is emitted from the surface of the object to generate an electrical signal corresponding to a certain wavelength band of light passing through the display panel, and the other photoelectric elements have different wavelength bands. Generates an electrical signal corresponding to. The spectrum necessary for measuring the state of an object may be generated from a combination of electrical signals generated by each of the plurality of photoelectric elements 522.

복수 개의 광전소자(522)는 복수 개의 분광필터(521)에 상하로 일대다 대응되도록 복수 개의 분광필터(521) 아래에 배치될 수도 있다. 이 경우, 하나의 분광필터(521)에 의해 필터링 빛은 복수 개의 광전소자(522) 중 그 분광필터(521) 아래에 배치된 복수 개의 광전소자(522)에 입사된다. 그 분광필터(521) 아래에 배치된 복수 개의 광전소자(522) 각각은 분광필터(521)에 의해 필터링 빛을 전기적 신호로 변환하게 된다. 예를 들어, 각 분광필터(521)의 사이즈가 각 광전소자(522)의 사이즈보다 크게 제조될 경우에 복수 개의 광전소자(522)는 복수 개의 분광필터(521)에 상하로 일대다 대응되도록 복수 개의 분광필터(521) 아래에 배치될 수 있다.The plurality of photoelectric elements 522 may be disposed under the plurality of spectroscopic filters 521 so as to correspond one-to-many to the plurality of spectroscopic filters 521. In this case, the filtering light by one spectroscopic filter 521 is incident on the plurality of optoelectronic devices 522 disposed under the spectroscopic filter 521 among the plurality of optoelectronic devices 522. Each of the plurality of photoelectric elements 522 disposed under the spectroscopic filter 521 converts the filtering light into an electrical signal by the spectroscopic filter 521. For example, when the size of each spectral filter 521 is made larger than the size of each photoelectric element 522, the plurality of photoelectric elements 522 are plural such that they correspond one-to-many to the plurality of spectral filters 521. It may be disposed under the spectral filter (521).

종래에는 프리즘, 회절격자 등을 이용하여 물체의 스펙트럼을 생성하기 때문에 소형화가 어려워 스마트폰에 적용되기가 불가능하였다. 이에 따라, 본 실시예의 복합센서(5)는 프리즘, 회절격자 대신에 CMOS(Complementary Metal Oxide Semiconductor) 이미지센서의 컬러필터의 크기보다 작은 나노 구조체로 구현될 수 있는 복수 개의 분광필터를 이용하여 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다. 본 실시예의 분광필터의 소형화 수단에 관해서는 아래에서 자세히 살펴보기로 한다. 즉, 본 실시예의 복수 개의 분광필터(521)는 발광모듈(8)로부터 물체에 조사된 빛의 파장대역 중 어떤 종류의 물체 속을 침투한 후에 물체 표면으로 되돌아와 물체 표면으로부터 방출되는 과정에서 흡수되는 파장대역을 분할하여 서로 다른 파장대역을 투과시키거나 차단하는 분광필터들의 조합이라고 할 수 있다. Conventionally, since a spectrum of an object is generated using a prism, a diffraction grating, etc., it is difficult to miniaturize, and thus it cannot be applied to a smartphone. Accordingly, the complex sensor 5 of the present embodiment uses a plurality of spectral filters that can be implemented as nanostructures smaller than the size of a color filter of a complementary metal oxide semiconductor (CMOS) image sensor instead of a prism or diffraction grating. After passing through, it is emitted from the surface of the object and generates a signal representing the spectrum of the object from light passing through the display panel 3. The miniaturization means of the spectroscopic filter of this embodiment will be described in detail below. That is, the plurality of spectral filters 521 of this embodiment absorbs in the process of returning to the surface of the object and emitting from the surface of the object after penetrating into the object of any kind of wavelength band of light irradiated from the light emitting module 8 to the object It can be said to be a combination of spectral filters that transmit or block different wavelength bands by dividing the wavelength band.

예를 들어, 본 실시예의 복수 개의 분광필터(521)는 발광모듈(8)로부터 물체에 조사된 빛의 파장대역 중 사과 속을 침투한 후에 사과 표면으로 되돌아와 사과 표면으로부터 방출되는 과정에서 흡수되는 파장대역을 분할하여 서로 다른 파장대역을 투과시키거나 차단하는 분광필터들의 조합이라고 할 수 있다. 아니면, 본 실시예의 복수 개의 분광필터(521)는 발광모듈(8)로부터 물체에 조사된 빛의 파장대역 중 사람의 얼굴 피부 속을 침투한 후에 얼굴 피부 표면으로 되돌아와 얼굴 피부 표면으로부터 방출되는 과정에서 흡수되는 파장대역을 분할하여 서로 다른 파장대역을 투과시키거나 차단하는 분광필터들의 조합이라고 할 수 있다. For example, the plurality of spectroscopic filters 521 of the present embodiment is absorbed in the process of returning to the apple surface and then being emitted from the apple surface after penetrating into the apple in the wavelength band of light irradiated to the object from the light emitting module 8 It can be said to be a combination of spectral filters that transmit or block different wavelength bands by dividing the wavelength bands. Otherwise, the plurality of spectroscopic filters 521 of the present embodiment return to the surface of the face skin after being penetrated into the face skin of a person in the wavelength band of light irradiated from the light emitting module 8 to the object and are emitted from the surface of the face skin It can be said to be a combination of spectral filters that transmit or block different wavelength bands by dividing the wavelength band absorbed at.

도 11에 도시된 예에서, 복수 개의 컬러필터(511)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 우측 부분에 해당하는 매트릭스 구조로 배열되고, 복수 개의 분광필터(521)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 좌측 부분에 해당하는 매트릭스 구조로 배열된다. 도 12는 도 3-7에 도시된 복합센서(5)의 구조의 다른 예를 개략적으로 도시한 도면이다. 도 12에 도시된 예에서, 복수 개의 컬러필터(511)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조 중 네 개의 모서리 부분이 제거된 십자 부분에 해당하는 매트릭스 구조로 배열되고, 복수 개의 분광필터(521)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 네 개의 모서리 부분에 해당하는 매트릭스 구조로 배열된다. 도 13은 도 3-7에 도시된 복합센서(5)의 구조의 또 다른 예를 개략적으로 도시한 도면이다. 도 13에 도시된 예에서, 복수 개의 컬러필터(511)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조 중 가장자리 부분이 제거된 중심 부분에 해당하는 매트릭스 구조로 배열되고, 복수 개의 분광필터(521)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 가장자리 부분에 해당하는 매트릭스 구조로 배열된다.In the example shown in FIG. 11, the plurality of color filters 511 are arranged in a matrix structure corresponding to the right portion of the matrix structure of the two-dimensional plane forming the light-receiving surface of the composite sensor 5, and the plurality of spectral filters ( 521) is arranged in a matrix structure corresponding to the left part of the matrix structure of the two-dimensional plane forming the light-receiving surface of the composite sensor 5. 12 is a view schematically showing another example of the structure of the composite sensor 5 shown in FIGS. 3-7. In the example shown in FIG. 12, the plurality of color filters 511 is arranged in a matrix structure corresponding to a cross section where four corners are removed from the two-dimensional plane matrix structure forming the light receiving surface of the composite sensor 5 The plurality of spectroscopic filters 521 are arranged in a matrix structure corresponding to four corner portions of a two-dimensional planar matrix structure forming the light receiving surface of the composite sensor 5. 13 is a view schematically showing another example of the structure of the complex sensor 5 shown in FIGS. 3-7. In the example shown in FIG. 13, a plurality of color filters 511 are arranged in a matrix structure corresponding to a center portion from which an edge portion is removed from a matrix structure of a two-dimensional plane forming a light-receiving surface of the composite sensor 5, The plurality of spectroscopic filters 521 are arranged in a matrix structure corresponding to the edge portion of the matrix structure of the two-dimensional plane forming the light receiving surface of the composite sensor 5.

도 11에 도시된 예에서는 복수 개의 분광필터(521)가 복합센서(5)의 수광면의 어느 한쪽의 영역에 집중되어 배열됨에 따라 그 쪽 영역에 조사되는 빛에 대한 스펙트럼이 비교적 정확하게 생성될 수 있다는 장점이 있는 반면, 복합센서(5)의 수광면에 조사하는 빛 중 일부에 대한 스펙트럼이 누락될 수 있다는 단점이 있다. 한편, 도 12-13에 도시된 예에서는 복합센서(5)의 수광면의 어느 한쪽의 영역에 집중되지 않고 산재되어 배열됨에 따라 복합센서(5)의 수광면에 조사하는 빛 전체에 대한 스펙트럼이 생성될 수 있다는 장점이 있는 반면, 각 영역에 배열된 분광필터(521)의 개수가 적어 스펙트럼의 정확도가 다소 떨어질 수 있다는 단점이 있다. 각 분광필터(521)의 성능을 고려하여 복수 개의 컬러필터(511)와 복수 개의 분광필터(521)의 배열 구조가 설계됨이 바람직하다. 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 도 11-13에 도시된 예 외에 여러 가지의 구조로 복수 개의 컬러필터(511)와 복수 개의 분광필터(521)가 배열될 수 있음을 이해할 수 있다.In the example shown in FIG. 11, as a plurality of spectroscopic filters 521 are concentrated and arranged in one region of the light-receiving surface of the composite sensor 5, a spectrum for light irradiated to the region can be generated relatively accurately. While there is an advantage that there is a disadvantage that the spectrum for some of the light irradiated on the light-receiving surface of the composite sensor 5 may be omitted. On the other hand, in the example shown in FIGS. 12-13, the spectrum of the entire light irradiated on the light receiving surface of the composite sensor 5 is scattered and arranged without being concentrated on any one area of the light receiving surface of the composite sensor 5 While there is an advantage that it can be generated, there is a disadvantage that the number of spectral filters 521 arranged in each region may decrease the accuracy of the spectrum somewhat. In consideration of the performance of each spectral filter 521, it is preferable that the arrangement structure of the plurality of color filters 511 and the plurality of spectral filters 521 is designed. Those of ordinary skill in the art to which this embodiment belongs understand that a plurality of color filters 511 and a plurality of spectral filters 521 may be arranged in various structures in addition to the example shown in FIGS. 11-13. Can be.

도 14는 도 11에 도시된 복합센서(5)의 일 구현예의 단면도이다. 도 14에는 하나의 기판에 이미지센서(51)와 분광센서(52)를 집적시켜 복합센서(5)가 구현된 예가 도시되어 있다. 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 이미지센서(51)와 분광센서(52)가 별개의 기판에 구현될 수 있음을 이해할 수 있다. 다만, 하나의 기판에 복수 개의 컬러필터(511)와 복수 개의 분광필터(521)를 집적시키는 방식이 복합센서(5)의 제조공정 단순화에 유리할 수 있다. 도 14에서 약자 "L"은 마이크로렌즈를 나타내고, 약자 "C"는 컬러필터를 나타내고, 약자 "S"는 분광필터를 나타내고, 약자 "P"는 광전소자를 나타낸다. 도 14로부터 도 12, 13에 도시된 예의 복합센서(5)가 어떻게 구현될 수 있는지가 쉽게 이해될 수 있기 때문에 도 12, 13에 도시된 복합센서(5)에 대한 구현예의 도시는 생략된다. 도 14의 (a)에는 전면조사형(FSI, Front Side Illumination) 이미지센서(51)를 채용한 복합센서(5)의 구현예가 도시되어 있고, 도 14의 (b)에는 후면조사형(BSI, Back Side Illumination) 이미지센서(51)를 채용한 복합센서(5)의 구현예가 도시되어 있다. 14 is a cross-sectional view of one embodiment of the composite sensor 5 shown in FIG. 11. 14 illustrates an example in which the composite sensor 5 is implemented by integrating the image sensor 51 and the spectroscopic sensor 52 on one substrate. Those of ordinary skill in the art to which this embodiment belongs can understand that the image sensor 51 and the spectroscopic sensor 52 may be implemented on separate substrates. However, a method of integrating a plurality of color filters 511 and a plurality of spectroscopic filters 521 on one substrate may be advantageous for simplifying the manufacturing process of the composite sensor 5. In FIG. 14, the abbreviation "L" represents a microlens, the abbreviation "C" represents a color filter, the abbreviation "S" represents a spectral filter, and the abbreviation "P" represents a photoelectric device. Since the composite sensor 5 of the example shown in FIGS. 14 and 12 and 13 can be easily understood, the illustration of the implementation of the composite sensor 5 shown in FIGS. 12 and 13 is omitted. 14(a) shows an embodiment of the composite sensor 5 employing a front side illumination (FSI) image sensor 51, and FIG. 14(b) shows a back side illumination (BSI, Shown is an embodiment of the composite sensor 5 employing the Back Side Illumination) image sensor 51.

도 14의 (a)의 이미지센서(51)에 해당하는 부분을 살펴보면, 복합센서기판(500) 상에 복수 개의 광전소자(512)가 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열되어 적층된다. 복수 개의 광전소자(512) 위에는 각 컬러필터(511)와 각 광전소자(512)에 전원을 공급하기 위한 와이어가 매립된 절연층(503)이 적층된다. 이에 따라, 절연층(503)은 배선층으로 호칭되기도 한다. 절연층(503)은 SiO₂ 등과 같은 투명한 유전체 물질로 제조될 수 있다. 절연층(503) 위에는 복수 개의 컬러필터(511)가 복수 개의 광전소자(512)에 상하로 일대일 대응되도록 복수 개의 분광필터(521)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 각 컬러필터(511)에 의해 필터링된 빛은 절연층(503)의 와이어 사이를 통과하여 각 광전소자(512)에 도달하게 된다. 복수 개의 컬러필터(511) 위에는 복수 개의 컬러필터(511)의 배열면을 평탄화하는 평탄화층(502)이 적층된다. 평탄화층(502)은 투명한 유전체 물질로 제조된다. 평탄화층(502) 위에는 복수 개의 마이크로렌즈(501)가 복수 개의 컬러필터(511)에 상하로 일대일 대응되도록 복수 개의 컬러필터(511)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 각 마이크로렌즈(501)는 이것에 입사된 빛이 그 아래의 각 컬러필터(511)에 집속되도록 하는 역할을 한다. Looking at the portion corresponding to the image sensor 51 of Figure 14 (a), a plurality of photoelectric elements 512 on the composite sensor substrate 500 of the two-dimensional plane forming the light-receiving surface of the composite sensor (5) It is arranged and stacked in a matrix structure corresponding to a part of the matrix structure. An insulating layer 503 in which wires for supplying power to each color filter 511 and each photoelectric element 512 are embedded is stacked on the plurality of photoelectric elements 512. Accordingly, the insulating layer 503 is also referred to as a wiring layer. The insulating layer 503 may be made of a transparent dielectric material such as SiO ₂ . On the insulating layer 503, a plurality of color filters 511 are arranged in the same matrix structure as the matrix structures of the plurality of spectroscopic filters 521 so as to correspond one-to-one to the plurality of photoelectric elements 512. The light filtered by each color filter 511 passes between wires of the insulating layer 503 to reach each photoelectric element 512. A planarization layer 502 for planarizing the arrangement surface of the plurality of color filters 511 is stacked on the plurality of color filters 511. The planarization layer 502 is made of a transparent dielectric material. On the planarization layer 502, a plurality of microlenses 501 are stacked by being arranged in the same matrix structure as the matrix structure of the plurality of color filters 511 so as to correspond one-to-one to the plurality of color filters 511. Each micro-lens 501 serves to focus light incident on it into each color filter 511 below it.

도 14의 (a)의 분광센서(52)에 해당하는 부분을 살펴보면, 복합센서기판(500) 상에 복수 개의 광전소자(522)가 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되어 적층된다. 복수 개의 광전소자(522) 위에는 각 분광필터(521)와 각 광전소자(522)에 전원을 공급하기 위한 와이어가 매립된 절연층(503)이 적층된다. 절연층(503) 위에는 복수 개의 분광필터(521)가 복수 개의 광전소자(522)에 상하로 일대일 대응되도록 복수 개의 광전소자(522)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 각 분광필터(521)에 의해 필터링된 빛은 절연층(503)의 와이어 사이를 통과하여 각 광전소자(522)에 도달하게 된다. 복수 개의 분광필터(521) 위에는 복수 개의 분광필터(521)의 배열면을 평탄화하는 평탄화층(502)이 적층된다. 평탄화층(502) 위에는 복수 개의 마이크로렌즈(501)가 복수 개의 분광필터(521)에 상하로 일대일 대응되도록 복수 개의 분광필터(521)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 각 마이크로렌즈(501)는 이것에 입사된 빛이 그 아래의 각 분광필터(521)에 집속되도록 하는 역할을 한다.Looking at the portion corresponding to the spectroscopic sensor 52 of Figure 14 (a), a plurality of photoelectric elements 522 on the composite sensor substrate 500 of a two-dimensional plane forming the light-receiving surface of the composite sensor (5) They are arranged and stacked in a matrix structure corresponding to other parts of the matrix structure. An insulating layer 503 in which wires for supplying power to each spectroscopic filter 521 and each photoelectric element 522 are embedded is stacked on the plurality of photoelectric elements 522. On the insulating layer 503, a plurality of spectral filters 521 are stacked by being arranged in the same matrix structure as the matrix structure of the plurality of photoelectric elements 522 so as to correspond one-to-one to the plurality of photoelectric elements 522. The light filtered by each spectroscopic filter 521 passes between the wires of the insulating layer 503 to reach each photoelectric element 522. A planarization layer 502 is formed on the plurality of spectroscopic filters 521 to planarize the arrangement surface of the plurality of spectroscopic filters 521. On the planarization layer 502, a plurality of microlenses 501 are stacked by being arranged in the same matrix structure as the matrix structure of the plurality of spectroscopic filters 521 so as to correspond one-to-one to the plurality of spectroscopic filters 521. Each micro-lens 501 serves to focus light incident on it into each spectral filter 521 below it.

도 14의 (b)의 이미지센서(51)에 해당하는 부분을 살펴보면, 복합센서기판(500) 상에 각 컬러필터(511)와 각 광전소자(512)에 전원을 공급하기 위한 와이어가 매립된 절연층(503)이 적층된다. 절연층(503) 상에 복수 개의 광전소자(512)가 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열되어 적층된다. 복수 개의 광전소자(512) 위에는 복수 개의 컬러필터(511)가 복수 개의 광전소자(512)에 상하로 일대일 대응되도록 복수 개의 분광필터(521)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 이와 같이, 도 14의 (a)의 이미지센서(51)에서는 복수 개의 광전소자(512) 위에 절연층(503)이 배치되는 반면, 도 14의 (b)의 이미지센서(51)에서는 복수 개의 광전소자(512) 아래에 절연층(503)이 배치된 점을 제외하고는 도 14의 (b)의 이미지센서(51)는 도 14의 (a)의 이미지센서(51)와 유사한 적층 구조를 갖는다. 이에 따라, 도 14의 (b)의 이미지센서(51)의 나머지 구성에 대해서는 도 14의 (a)의 이미지센서(51)에 대한 설명으로 갈음하기로 한다. Looking at the portion corresponding to the image sensor 51 of FIG. 14B, a wire for supplying power to each color filter 511 and each photoelectric element 512 is embedded on the composite sensor substrate 500. The insulating layer 503 is stacked. On the insulating layer 503, a plurality of photoelectric elements 512 are arranged in a matrix structure corresponding to a part of a matrix structure of a two-dimensional plane forming a light receiving surface of the composite sensor 5 and stacked. A plurality of color filters 511 are stacked on the plurality of photoelectric devices 512 in the same matrix structure as the matrix structures of the plurality of spectroscopic filters 521 so as to correspond one-to-one to the plurality of photoelectric devices 512. As described above, in the image sensor 51 of FIG. 14(a), the insulating layer 503 is disposed on the plurality of photoelectric elements 512, whereas in the image sensor 51 of FIG. 14(b), the plurality of photoelectrics The image sensor 51 of FIG. 14B has a stacked structure similar to that of the image sensor 51 of FIG. 14A, except that the insulating layer 503 is disposed under the device 512. . Accordingly, the rest of the configuration of the image sensor 51 of FIG. 14(b) will be replaced by the description of the image sensor 51 of FIG. 14(a).

도 14의 (b)의 분광센서(52)에 해당하는 부분을 살펴보면, 복합센서기판(500) 상에 각 분광필터(521)와 각 광전소자(522)에 전원을 공급하기 위한 와이어가 매립된 절연층(503)이 적층된다. 절연층(503) 상에 복수 개의 광전소자(522)가 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되어 적층된다. 복수 개의 광전소자(522) 위에는 복수 개의 분광필터(521)가 복수 개의 광전소자(522)에 상하로 일대일 대응되도록 복수 개의 광전소자(522)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 이와 같이, 도 14의 (a)의 분광센서(52)에서는 복수 개의 광전소자(512) 위에 절연층(503)이 배치되는 반면, 도 14의 (b)의 분광센서(52)에서는 복수 개의 광전소자(512) 아래에 절연층(503)이 배치된 점을 제외하고는 도 14의 (b)의 분광센서(52)는 도 14의 (a)의 분광센서(52)와 유사한 적층 구조를 갖는다. 이에 따라, 도 14의 (b)의 분광센서(52)의 나머지 구성에 대해서는 도 14의 (a)의 분광센서(52)에 대한 설명으로 갈음하기로 한다. Looking at the part corresponding to the spectroscopic sensor 52 of FIG. 14B, a wire for supplying power to each spectroscopic filter 521 and each photoelectric element 522 is embedded on the composite sensor substrate 500. The insulating layer 503 is stacked. On the insulating layer 503, a plurality of photoelectric elements 522 are arranged and stacked in a matrix structure corresponding to other parts of the matrix structure of the two-dimensional plane forming the light-receiving surface of the composite sensor 5. On the plurality of photoelectric elements 522, a plurality of spectroscopic filters 521 are stacked in the same matrix structure as the matrix structure of the plurality of photoelectric elements 522 so as to correspond one-to-one to the plurality of photoelectric elements 522. As described above, in the spectroscopic sensor 52 of FIG. 14(a), the insulating layer 503 is disposed on the plurality of photoelectric elements 512, whereas in the spectroscopic sensor 52 of FIG. 14(b), the plurality of photoelectric The spectral sensor 52 of FIG. 14B has a stacked structure similar to that of the spectral sensor 52 of FIG. 14A, except that the insulating layer 503 is disposed under the device 512. . Accordingly, the rest of the configuration of the spectroscopic sensor 52 of FIG. 14B will be replaced with a description of the spectroscopic sensor 52 of FIG. 14A.

도 14의 (a)와 (b)를 비교해보면, 전면조사형 복합센서(5)에서는 복수 개의 광전소자(512) 위에 절연층(503)이 배치되기 때문에 복수 개의 광전소자(512)에 입사되는 광의 손실이 많다는 단점이 있다. 반면, 후면조사형 복합센서(5)에서는 절연층(503)이 복수 개의 광전소자(512) 아래에 배치되기 때문에 복수 개의 광전소자(512)에 입사되는 광의 손실이 거의 없으나 서로 이웃하는 컬러필터 사이에서 컬러 혼합이 발생할 수 있다는 단점이 있다. 도 14는 본 발명의 일 실시예에 따른 복합센서 구조에 대한 간략한 개념도로서 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 도 14에 도시된 층 외에 다른 층이 추가될 수 있음을 이해할 수 있다. 예를 들어, 복수 개의 광전소자(512)에 입사되는 빛의 반사를 방지하는 반사방지층(Anti-Reflection layer)이 복수 개의 광전소자(522) 위에 적층될 수도 있다. 도 14에 도시된 이미지센서(51)의 구조는 전형적인 CMOS 이미지 센서의 구조로 CMOS 이미지센서의 픽셀 중 일부의 컬러필터를 본 실시예의 분광필터로 대체함으로써 본 실시예에 따른 복합센서(5)가 용이하게 제조될 수 있음을 알 수 있다. 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 CCD(Charge Coupled Device) 이미지센서의 픽셀 중 일부의 컬러필터를 본 실시예의 분광필터로 대체함으로써 본 실시예에 따른 복합센서(5)가 용이하게 제조될 수 있음을 이해할 수 있다. 14(a) and 14(b), since the insulating layer 503 is disposed on the plurality of photoelectric elements 512 in the front-illumination type composite sensor 5, it is incident on the plurality of photoelectric elements 512. There is a disadvantage that there is a lot of light loss. On the other hand, in the back-illuminated composite sensor 5, since the insulating layer 503 is disposed under the plurality of photoelectric elements 512, there is little loss of light incident on the plurality of photoelectric elements 512, but between color filters adjacent to each other. There is a disadvantage in that color mixing may occur. FIG. 14 is a simplified conceptual diagram of a composite sensor structure according to an embodiment of the present invention, and those skilled in the art to which this embodiment belongs may understand that other layers may be added in addition to the layer illustrated in FIG. 14. have. For example, an anti-reflection layer that prevents reflection of light incident on the plurality of photoelectric devices 512 may be stacked on the plurality of photoelectric devices 522. The structure of the image sensor 51 shown in FIG. 14 is a structure of a typical CMOS image sensor, and the color sensor of some of the pixels of the CMOS image sensor is replaced with the spectral filter of this embodiment, so that the composite sensor 5 according to this embodiment is It can be seen that it can be easily produced. If the person skilled in the art to which this embodiment belongs belongs, the composite sensor 5 according to this embodiment is easy by replacing the color filters of some of the pixels of the CCD (Charge Coupled Device) image sensor with the spectral filter of this embodiment. It can be understood that can be manufactured.

도 15는 도 14에 도시된 분광필터(521)의 일례를 도시한 도면이다. 도 15의 (a)에는 도 14에 도시된 분광필터(521)의 평면이 도시되어 있고, 도 15의 (b)에는 분광필터(521)의 단면이 도시되어 있다. 도 15를 참조하면, 각 분광필터(521)는 일정한 형상을 갖는 금속패턴들이 주기적으로 배열된 형태로 형성되어 디스플레이패널(3)을 통과한 빛에서 금속패턴들의 배열 주기에 따라 결정되는 파장 대역을 차단하고, 나머지 파장대역을 통과시킬 수 있다. 분광필터 S1, S2 각각은 투명기판(151) 상에 원판형 금속패턴(152)들이 2차원 격자 구조로 주기적으로 배열된 형태로 구현된다. 투명기판(151)은 유리, 고분자, Ge, GeSe, ZnS, ZnSe, 사파이어, CaF₂, MgF₂ 등 다양한 물질로 제조될 수 있다. 도 14의 절연층(503)이 이러한 투명기판(151)의 역할을 할 수도 있다. 이 경우, 분광필터 S1, S2 각각은 절연층(503) 상에 원판형 금속패턴(152)들이 2차원 격자 구조로 주기적으로 배열된 형태로 구현된다. 금속패턴(152)은 플라즈모닉 금속인 Au, Ag, Al, Cu, 또는 이들 중 적어도 2개의 합금 또는 이들 중 적어도 하나를 포함하고 다른 원소를 포함하는 합금일 수 있고, 광흡수형 금속인 Cr, Ni, Ti, Pt, Sn, Sb, Mo, W, V, Ta, Te, Ge, Si, 또는 이들 중 적어도 2개의 합금 또는 이들 중 적어도 하나를 포함하고 다른 원소를 포함하는 합금일 수 있다. 15 is a view showing an example of the spectral filter 521 shown in FIG. 14. FIG. 15(a) shows a plane of the spectroscopic filter 521 shown in FIG. 14, and FIG. 15(b) shows a cross section of the spectroscopic filter 521. Referring to FIG. 15, each spectroscopic filter 521 is formed in a form in which metal patterns having a certain shape are periodically arranged to determine a wavelength band determined according to an arrangement period of metal patterns in light passing through the display panel 3. It can cut off and pass the rest of the wavelength band. Each of the spectroscopic filters S1 and S2 is implemented in a form in which the disk-shaped metal patterns 152 are periodically arranged in a two-dimensional grid structure on the transparent substrate 151. The transparent substrate 151 may be made of various materials such as glass, polymer, Ge, GeSe, ZnS, ZnSe, sapphire, CaF ₂ and MgF ₂ . The insulating layer 503 of FIG. 14 may serve as the transparent substrate 151. In this case, each of the spectroscopic filters S1 and S2 is implemented in a form in which the disk-shaped metal patterns 152 are periodically arranged in a two-dimensional grid structure on the insulating layer 503. The metal pattern 152 may be a plasmonic metal Au, Ag, Al, Cu, or an alloy containing at least two of them, or an alloy containing at least one of them and other elements, Cr, which is a light absorbing metal, Ni, Ti, Pt, Sn, Sb, Mo, W, V, Ta, Te, Ge, Si, or alloys of at least two of them or alloys comprising at least one of them and containing other elements.

각 금속패턴은 원형디스크 외에 사각디스크, 다각형, 막대형, 크로스바형 등 다양한 형태의 나노 구조체일 수도 있다. 이러한 금속패턴들은 선형 격자 구조 또는 2차원 격자 구조로 주기적으로 배열될 수 있고, 2차원 격자 구조로는 정사각 격자 구조, 육방정 격자 구조가 가능하다. 이러한 나노 구조체의 금속패턴은 그것의 표면 플라즈몬(surface plasmon)에 의해 특정 파장 대역의 빛을 흡수하고 나머지 파장 대역의 빛을 투과시키는 성질을 갖고 있다. 표면 플라즈몬 공진 현상이란 금속 표면에 빛이 입사할 경우 특정 파장의 빛과 금속 표면의 자유전자가 공진을 일으켜 특정 파장의 빛을 그 표면에 따라 전파하는 현상을 말한다. 플라즈몬은 입사된 빛의 전기장에 의해 금속 표면에 유도된 자유전자가 집단적으로 진동하는 유사 입자를 말하며, 금속 표면에 국부적으로 존재한다. 국부적으로 표면 플라즈몬 특성을 갖는 금속 나노 구조체의 경우, 빛이 입사되었을 때에 입사광 중 특정 파장대역의 광을 흡수하는 특성을 보인다. Each metal pattern may be a nanostructure in various forms, such as a square disk, a polygon, a rod, and a crossbar, in addition to a circular disk. These metal patterns may be periodically arranged in a linear lattice structure or a 2D lattice structure, and a 2D lattice structure may be a square lattice structure or a hexagonal lattice structure. The metal pattern of the nanostructure has a property of absorbing light in a specific wavelength band and transmitting light in the other wavelength band by its surface plasmon. The surface plasmon resonance phenomenon refers to a phenomenon in which light of a specific wavelength and free electrons of a metal surface propagate along the surface when light enters the metal surface. Plasmon refers to similar particles in which free electrons induced on a metal surface by an electric field of incident light collectively vibrate, and exist locally on the metal surface. In the case of a metal nanostructure having a surface plasmon characteristic locally, it shows a characteristic of absorbing light in a specific wavelength band among incident light when light is incident.

종래에는 프리즘, 회절격자 등을 이용하여 물체의 스펙트럼을 생성하기 때문에 소형화가 어려워 스마트폰에 적용되기가 불가능하였다. 상술한 바와 같이, 본 실시예는 분광센서(52)의 분광필터(521)로서 나노 구조체에 해당하는 금속패턴들이 주기적으로 배열된 형태에 의해 광 필터링이 가능하도록 하는 일종의 플라즈모닉 필터를 채택함으로써 스마트폰의 이미지 센서로 널리 사용되고 있는 기존의 CMOS 이미지센서와의 집적이 매우 용이한 분광센서(52)의 구현이 가능하게 된다. 이에 따라, 스마트폰과 같은 소형의 전자기기의 종전 사이즈를 그대로 유지하면서도 제작단가의 큰 상승 없이 사용자가 물체를 촬영하는 것만으로 사용자가 물체의 상태를 알 수 있도록 할 수 있는 소형의 전자기기를 제공할 수 있다.Conventionally, since a spectrum of an object is generated using a prism, a diffraction grating, etc., it is difficult to miniaturize, and thus it cannot be applied to a smartphone. As described above, the present embodiment is smart by adopting a kind of plasmonic filter that enables light filtering by a form in which metal patterns corresponding to nanostructures are periodically arranged as the spectral filter 521 of the spectroscopic sensor 52. It is possible to implement the spectroscopic sensor 52 which is very easy to integrate with the existing CMOS image sensor, which is widely used as an image sensor of the phone. Accordingly, while maintaining the previous size of a small electronic device such as a smartphone, a small electronic device capable of allowing the user to know the state of the object by simply photographing the object without significantly increasing the production cost can do.

도 15에 도시된 바와 같이, 분광필터(521)의 금속패턴들은 주기적 격자 구조를 갖는 금속 나노구조체 배열을 이루고, 표면 플라즈몬과 격자 모드와의 커플링에 의해 특정 파장 대역에서 강화된 특이적 광흡수 내지 광반사 현상을 나타낸다. 이로 인해 금속 나노구조체 배열을 투과하는 빛의 스펙트럼은 특이적 광흡수 내지 광반사 현상이 강화되는 선택적 파장대역에서 투과도가 급격히 낮아지는 딥(dip) 곡선을 형성하게 된다. 분광필터 S1, S2의 "D1, D2"는 금속패턴의 길이를 나타내고, "P1, P2"는 금속패턴간의 간격을 나타낸다. 분광필터 S1의 듀티사이클 D1/P1과 분광필터 S2의 듀티사이클 D2/P2는 동일하게 유지됨이 바람직하나 다를 수도 있다. 즉, 모든 분광필터의 듀티사이클은 동일하게 유지됨이 바람직하나 다를 수도 있다. 듀티사이클은 30 ~ 80%임이 바람직하다. 듀티사이클이 30% 미만이면 딥의 크기가 매우 작고 80%를 초과하면 너무 넓은 딥 곡선이 생성되는 경향이 있다.As shown in FIG. 15, the metal patterns of the spectroscopic filter 521 form an array of metal nanostructures having a periodic lattice structure, and specific light absorption enhanced in a specific wavelength band by coupling the surface plasmon and the lattice mode To the light reflection phenomenon. As a result, the spectrum of light passing through the array of metal nanostructures forms a dip curve in which the transmittance is rapidly lowered in a selective wavelength band in which specific light absorption or light reflection phenomenon is enhanced. "D1, D2" of the spectroscopic filters S1, S2 represents the length of the metal pattern, and "P1, P2" represents the spacing between the metal patterns. The duty cycle D1/P1 of the spectroscopic filter S1 and the duty cycle D2/P2 of the spectroscopic filter S2 are preferably maintained the same, but may be different. That is, it is preferable that the duty cycles of all spectroscopic filters remain the same, but they may be different. The duty cycle is preferably 30 to 80%. If the duty cycle is less than 30%, the dip size is very small, and when it exceeds 80%, a dip curve that is too wide tends to be generated.

본 실시예의 분광필터(521)의 금속패턴들에 의해 형성되는 스펙트럼 형상은 금속 물질의 종류, 금속패턴들의 배열 주기, 금속패턴의 크기 등과 같은 기하학적 구조에 의존하며, 특히 분광필터(521)에 의해 차단되는 빛의 중심 파장은 금속패턴들의 배열 주기에 의해 지배적으로 결정된다. 본 실시예에 따르면, 금속패턴들의 배열 주기를 변화시킴으로써 분광필터(521)에 의해 차단되는 빛의 중심 파장이 쉽게 변경될 수 있다. 복수 개의 분광필터(521) 중 어느 하나의 분광필터의 금속패턴들과 다른 하나의 분광필터의 금속패턴들이 서로 다른 주기로 배열된다면, 어느 하나의 분광필터와 다른 하나의 분광필터는 서로 다른 파장대역을 차단하게 된다. The spectral shape formed by the metal patterns of the spectral filter 521 of this embodiment depends on the geometric structure such as the type of metal material, the arrangement period of the metal patterns, the size of the metal pattern, etc., in particular by the spectral filter 521 The central wavelength of the blocked light is dominantly determined by the arrangement period of the metal patterns. According to this embodiment, the center wavelength of light blocked by the spectroscopic filter 521 can be easily changed by changing the arrangement period of the metal patterns. If the metal patterns of one of the plurality of spectroscopic filters 521 and the metal patterns of the other of the spectroscopic filters are arranged at different periods, one of the spectroscopic filters and the other of the spectroscopic filters have different wavelength bands. Will be blocked.

상술한 바와 같이, 본 실시예의 분광센서(52)는 전자기기에 근접하여 위치한 사과의 당도 측정을 위해 520 ~ 910nm 대역의 스펙트럼을 검출함을 목표로 한다. 아니면, 본 실시예의 분광센서(52)는 전자기기에 근접하여 위치한 얼굴 피부의 멜라닌 농도 측정을 위해 350 ~ 850nm 대역의 스펙트럼을 검출함을 목표로 한다. 520 ~ 910nm 또는 350 ~ 850nm 대역의 스펙트럼 검출을 위해, 금속패턴들의 배열 주기는 0.1 ~ 1.5 ㎛ 사이에서 설계됨이 바람직하다. 예를 들어, 520 ~ 910nm 또는 350 ~ 850nm 대역을 5nm 단위로 분할하여 필터링하는 여러 종류의 분광필터(521)들은 금속패턴들의 주기를 0.1 ~ 1.5 ㎛ 범위 내에서 5nm 단위에 대응되는 간격으로 점진적으로 변화시킴으로써 구현될 수 있다. 또한, 각 금속패턴의 두께는 5 ~ 500nm가 바람직하다. 5nm 보다 작으면 표면에서 산란되는 자유전자의 비율이 증대되어 플라즈몬 감쇄의 큰 요소로 작용하게 되고, 500nm 이상이면 부피 증가 효과로 다극자(multipole) 공진이 발생하게 된다.As described above, the spectroscopic sensor 52 of this embodiment aims to detect a spectrum in the band of 520 to 910 nm to measure the sugar content of an apple located close to an electronic device. Otherwise, the spectroscopic sensor 52 of this embodiment aims to detect the spectrum in the 350-850 nm band for measuring the melanin concentration of the facial skin located close to the electronic device. For spectrum detection in the band of 520 to 910 nm or 350 to 850 nm, it is preferable that the arrangement period of the metal patterns is designed between 0.1 and 1.5 μm. For example, various types of spectral filters 521 for dividing and filtering the 520 to 910 nm or 350 to 850 nm bands in 5 nm increments gradually increase the period of metal patterns at intervals corresponding to 5 nm units within a range of 0.1 to 1.5 μm. It can be implemented by changing. In addition, the thickness of each metal pattern is preferably 5 ~ 500nm. If it is smaller than 5 nm, the proportion of free electrons scattered on the surface increases, which acts as a large factor for plasmon attenuation. If it is 500 nm or more, multipole resonance occurs due to a volume increase effect.

종래에는 플라즈모닉 필터로 목표 대역에 대한 투과형 특성을 갖는 금속 나노홀 어레이 구조가 활용되어 왔다. 금속 나노홀 어레이 구조는 금속 표면을 따라 진행하는 표면 플라즈몬파와 격자 모드와의 커플링에 의해 특정 파장대역에서 특이적 광투과 현상을 나타낸다. 또한, 금속 나노홀 어레이 구조는 본 실시예의 금속패턴 어레이 구조의 경우와 달리 진행파간의 커플링에 기반하기 때문에 다양한 모드가 존재하며, 단일 투과밴드로 정의되지 않는 특징이 있다. 이러한 다중모드의 존재는 각 광전소자에 입사되는 신호 파장을 처리하는 과정에서 신호 왜곡을 초래할 수 있다. 또한, 본 실시예의 분광필터(521)는 디스플레이패널(3)을 통과한 빛에서 금속패턴들의 배열 주기에 따라 결정되는 파장 대역을 차단하기 때문에 주기에 의존하는 자유스펙트럼범위(free spectral range)가 비교적 넓어서 종래의 투과형 필터에 비해 520 ~ 910nm 또는 350 ~ 850nm 대역 전반을 커버할 수 있다.Conventionally, a metal nanohole array structure having a transmissive characteristic for a target band has been utilized as a plasmonic filter. The metal nanohole array structure exhibits a specific light transmission phenomenon in a specific wavelength band by coupling the surface plasmon wave and the lattice mode along the metal surface. In addition, since the metal nanohole array structure is based on coupling between traveling waves unlike the case of the metal pattern array structure of the present embodiment, various modes exist and there is a feature that is not defined as a single transmission band. The presence of such a multimode may cause signal distortion in the process of processing the signal wavelength incident on each photoelectric device. In addition, since the spectral filter 521 of the present embodiment blocks a wavelength band determined according to an arrangement period of metal patterns in light passing through the display panel 3, a free spectral range depending on a period is relatively It is wide, so it can cover the entire band of 520 ~ 910nm or 350 ~ 850nm compared to the conventional transmission type filter.

도 16은 도 15에 도시된 분광필터(521)의 투과 특성의 시뮬레이션 결과를 나타내는 그래프이다. 알루미늄을 사용하여 50nm 두께의 나노디스크들을 제작하고 듀티사이클 50%의 육방정 격자 구조로 배열하였다. 그 배열 주기를 200nm부터 1500nm까지 100nm 간격으로 변화시켜가면서 그 투과도의 딥 곡선을 컴퓨터 시뮬레이션으로 계산하였다. 도 16으로부터 도 15에 도시된 분광필터(521)는 0.35um부터 2um 대역까지 투과도가 급격히 낮아지는 딥 곡선이 연속적으로 가변되는 특성, 즉 그 중심파장이 연속적으로 가변되는 단일 스톱밴드(stop band) 특성을 나타내고 있음을 알 수 있다.16 is a graph showing simulation results of transmission characteristics of the spectral filter 521 shown in FIG. 15. Fabricated 50nm-thick nanodiscs using aluminum and arranged in a hexagonal lattice structure with 50% duty cycle. The dip curve of the transmittance was calculated by computer simulation while changing the arrangement period from 200 nm to 1500 nm at 100 nm intervals. The spectral filter 521 shown in FIGS. 16 to 15 has a characteristic in which a deep curve in which transmittance rapidly decreases from 0.35 um to 2 um is continuously varied, that is, a single stop band in which its central wavelength is continuously varied. It can be seen that it exhibits characteristics.

상술한 바와 같이, 도 15에 도시된 분광필터(521)는 디스플레이패널(3)을 통과한 빛에서 금속패턴들의 배열 주기에 따라 결정되는 파장 대역을 차단한다. 복수 개의 광전소자(522)는 도 15에 도시된 실시예에 따른 복수 개의 분광필터(521)에 의해 필터링된 빛을 전기적 신호로 변환함으로써 물체의 스펙트럼을 나타내는 신호를 생성한다. 도 15에 도시된 분광필터(521)는 차단형 플라즈모닉 필터로서 도 15에 도시된 실시예에 따른 복수 개의 분광필터(521)에 의해 필터링된 빛을 이용하여 생성된 스펙트럼은 종래의 투과형 플라즈모닉 필터에 의해 필터링된 빛으로부터 생성된 스펙트럼과 역상의 관계에 있다. 프로세서는 이러한 역상의 스펙트럼을 나타내는 신호를 이용하여 물체의 상태 정보를 추정할 수도 있고, 역상 스펙트럼으로부터 정상 스펙트럼을 복원한 후에 정상 스펙트럼을 이용하여 물체의 상태 정보를 추정할 수도 있다. As described above, the spectroscopic filter 521 illustrated in FIG. 15 blocks a wavelength band determined according to an arrangement period of metal patterns in light passing through the display panel 3. The plurality of photoelectric elements 522 convert the light filtered by the plurality of spectroscopic filters 521 according to the embodiment shown in FIG. 15 into an electrical signal to generate a signal representing the spectrum of the object. The spectral filter 521 shown in FIG. 15 is a blocking type plasmonic filter, and the spectrum generated using light filtered by the plurality of spectral filters 521 according to the embodiment shown in FIG. 15 is a conventional transmission type plasmonic. It is inversely related to the spectrum generated from the light filtered by the filter. The processor may estimate the state information of the object using a signal representing the inverse spectrum, or after restoring the normal spectrum from the inverse spectrum, the state information of the object may be estimated using the normal spectrum.

도 17은 도 14에 도시된 분광필터(521)의 다른 예를 도시한 도면이다. 도 17의 (a)에는 도 14에 도시된 분광필터(521)의 단면이 도시되어 있고, 도 17의 (b)에는 분광필터(521)의 평면이 도시되어 있다. 도 17을 참조하면, 각 분광필터(521)는 상반사층(171), 하반사층(172), 유전체층(173) 및 버퍼층(174)으로 구성된다. 상반사층(171)과 하반사층(172)은 서로 이격 분리되어 그것에 입사된 빛 중 일부를 반사하고 나머지를 투과시킨다. 상반사층(171)과 하반사층(172) 각각은 반투과 특성을 갖는 Ag, Au, Al, Cr, Mo 등의 금속박막 형태로 형성되거나 고굴절율 유전체층과 저굴절율 유전체층의 주기적 다층구조로 이루어진 분산 브래그 반사막(Distributed Bragg Reflector)일 수 있다. 상반사층(171)과 하반사층(172)은 각 분광필터(521)의 상하면을 형성한다. 17 is a view showing another example of the spectral filter 521 shown in FIG. 14. FIG. 17(a) shows a cross-section of the spectroscopic filter 521 shown in FIG. 14, and FIG. 17(b) shows a plane of the spectroscopic filter 521. Referring to FIG. 17, each spectroscopic filter 521 includes an upper reflection layer 171, a lower reflection layer 172, a dielectric layer 173, and a buffer layer 174. The upper reflection layer 171 and the lower reflection layer 172 are separated from each other to reflect some of the light incident on it and transmit the rest. Each of the upper reflection layer 171 and the lower reflection layer 172 is formed of a metal thin film such as Ag, Au, Al, Cr, Mo, or the like having semi-transmissive properties, or a dispersion brag composed of a periodic multi-layer structure of a high refractive index dielectric layer and a low refractive index dielectric layer. It may be a distributed film (Distributed Bragg Reflector). The upper reflection layer 171 and the lower reflection layer 172 form upper and lower surfaces of each spectroscopic filter 521.

유전체층(173)은 상반사층(171)과 하반사층(172) 사이에 삽입되며 굴절률이 서로 상이한 적어도 두 개의 물질(1731, 1732)이 교대로 배치된다. 유전체층(173)에는 두 개의 물질(1731, 1732)의 상대적인 부피 비율이 서로 상이한 영역이 적어도 두 곳이 존재한다. 도 17의 (b)에 도시된 바와 같이, 유전체층(173)에는 일 방향을 따라서 두 개의 물질(1731, 1732)의 상대적인 너비 비율이 서로 상이한 영역이 적어도 두 곳이 존재한다. 여기에서, 일 방향은 유전체층(173)의 길이 방향인 좌우로 연장되는 수평 방향을 말한다.The dielectric layer 173 is inserted between the upper reflective layer 171 and the lower reflective layer 172, and at least two materials 1173 and 1732 having different refractive indices are alternately arranged. In the dielectric layer 173, there are at least two regions in which the relative volume ratios of the two materials 1173 and 1732 are different from each other. As illustrated in FIG. 17B, at least two regions of the dielectric layer 173 have different regions in which the relative width ratios of the two materials 1173 and 1732 are different from each other along one direction. Here, one direction refers to a horizontal direction that extends left and right, which is a longitudinal direction of the dielectric layer 173.

유전체층(173)의 두 개의 물질(1731, 1732) 중 어느 하나의 물질(1731)은 상대적으로 저굴절률의 유전체일 수 있고, 다른 물질(1732)은 상대적으로 고굴절률의 유전체일 수 있다. 반대로, 어느 하나의 물질(1731)은 상대적으로 고굴절률의 유전체일 수 있고, 다른 물질(1732)은 상대적으로 저굴절률의 유전체일 수 있다. 저굴절률의 유전체의 예로는 플루오린(Fluorine)계 자외선 레진, 스핀온글라스(spin on glass), 수소실세스퀴옥산(Hydrogen Silsesquioxane), 플루오르화마그네슘(MgF₂), 플루오르화칼슘(CaF₂), 이산화규소(SiO₂) 등을 들 수 있다. 고굴절률의 유전체는 일례로, 이산화타이타늄(TiO₂) 등과 같은 금속산화물을 들 수 있다. One of the two materials 1173 and 1732 of the dielectric layer 173 may be a relatively low refractive index dielectric, and the other material 1732 may be a relatively high refractive index dielectric. Conversely, any one material 1173 may be a relatively high refractive index dielectric, and the other material 1732 may be a relatively low refractive index dielectric. Examples of low-refractive-index dielectric materials include fluorine-based ultraviolet resins, spin on glass, hydrogen silsesquioxane, magnesium fluoride (MgF ₂ ), and calcium fluoride (CaF ₂ ). And silicon dioxide (SiO ₂ ). The dielectric material having a high refractive index is, for example, a metal oxide such as titanium dioxide (TiO ₂ ).

파브리-페로 간섭계(Fabry-Perot interferometer)는 파브리(Charles Fabry)와 페로(Alfred Perot)에 의하여 처음으로 고안된 것으로, 일반적으로 두 개의 고반사율을 가지는 거울 사이에 공동(cavity)을 삽입함으로써 구성된다. 두 개의 거울 중 어느 하나에 빛이 입사되면 공동에서 다중간섭현상이 발생하여, 특정한 파장만 투과시키고 다른 파장들을 반사시키게 된다. 종래의 선형가변필터는 일종의 파브리-페롯 공진기 구조의 광학필터로서 유전체 공동의 상하로 거울층이 존재하며, 길이방향으로 유전체 공동의 두께가 선형적으로 가변되는 구조로 이루어진다. 종래의 선형가변필터의 해상도는 선형가변필터의 높이 대 길이의 비로 결정되기 때문에 소형화하는데 어려움이 있었다. The Fabry-Perot interferometer was first devised by Charles Fabry and Alfred Perot, and is generally constructed by inserting a cavity between two high-reflectivity mirrors. When light enters one of the two mirrors, multiple interference occurs in the cavity, transmitting only a specific wavelength and reflecting other wavelengths. The conventional linear variable filter is an optical filter of a Fabry-Perot resonator structure, and has a mirror layer above and below the dielectric cavity, and has a structure in which the thickness of the dielectric cavity is linearly varied in the longitudinal direction. Since the resolution of the conventional linear variable filter is determined by the ratio of the height to the length of the linear variable filter, there is a difficulty in miniaturization.

도 17에는 분광필터(521)에 의해 투과되는 빛의 중심 파장이 서로 다른 영역이 A, B, C의 3개 영역으로 도시되어 있다. 이 경우, A, B, C의 3개 영역에서 두 개의 물질(1731, 1732)은 서로 동일한 주기로 교대 배치되는데, 두 개의 물질(1731, 1732)의 상대적인 너비 비율이 3개의 영역에서 각각 상이하다. 이러한 구조로 인해, A, B, C의 3개 영역을 통해 투과되는 빛의 파장이 서로 다르게 된다. 두 개의 물질(1731, 1732) 상호 간의 상대적 부피 비율은 듀티사이클(duty cycle)로 정의될 수 있다. 본 실시예에서의 듀티사이클은 두 개의 물질(1731, 1732) 중에서 어느 하나의 물질(1731) 성분이 차지하는 상대적 부피 비율이 된다. 유전체층(173)의 두 개의 물질(1731, 1732) 상호 간의 듀티사이클을 점진적으로 변화시킴으로써 일 방향으로 유전체층(173)의 굴절률이 가변되도록 할 수 있다.17, regions having different center wavelengths of light transmitted by the spectroscopic filter 521 are illustrated as three regions A, B, and C. In this case, in the three regions A, B, and C, the two materials 1173 and 1732 are alternately arranged in the same cycle, and the relative width ratios of the two substances 1173 and 1732 are different in the three regions, respectively. Due to this structure, the wavelengths of light transmitted through the three regions A, B, and C are different. The relative volume ratio between the two materials 1173 and 1732 may be defined as a duty cycle. The duty cycle in this embodiment is a relative volume ratio occupied by any one component 1173 of the two substances 1173 and 1732. The refractive index of the dielectric layer 173 may be varied in one direction by gradually changing the duty cycle between the two materials 1173 and 1732 of the dielectric layer 173.

도 17에 도시된 분광필터(521)를 투과하는 빛의 파장은 유전체층(173)의 광학적 두께에 의해 결정된다. 광학적 두께는 물리적 두께에 굴절률을 곱한 값으로 정의될 수 있는데, 본 실시예는 유전체 영역의 광학두께로 물리적 두께 외에 굴절률의 변화로 분광필터(521)의 투과대역의 중심파장을 제어한다. 한편, 두 개의 물질(1731, 1732)의 한 쌍의 너비는 통과하고자 하는 필터의 파장과 관계를 가진다. 예를 들어, 두 개의 물질(1731, 1732)의 한 쌍의 너비는 빛의 파장보다 충분히 작도록 설계될 수 있으며, 이런 경우, 빛은 두 개의 물질(1731, 1732)을 개별 물체로 분별하지 못하고 어떤 특정 유효 유전상수로 정의되는 하나의 유효매질로 인식하게 된다. The wavelength of light passing through the spectroscopic filter 521 shown in FIG. 17 is determined by the optical thickness of the dielectric layer 173. The optical thickness may be defined as a value obtained by multiplying the physical thickness by a refractive index. In the present embodiment, the optical wavelength of the dielectric region controls the central wavelength of the transmission band of the spectroscopic filter 521 by changing the refractive index in addition to the physical thickness. On the other hand, the width of the pair of two materials 1173 and 1732 is related to the wavelength of the filter to pass. For example, the width of a pair of two materials 1173 and 1732 may be designed to be sufficiently smaller than the wavelength of light, in which case the light cannot distinguish the two materials 1173 and 1732 as separate objects. It is recognized as an effective medium defined by a certain effective dielectric constant.

이때, 유효매질의 광학상수는 두 물체의 기하학적 분포와 상대적 부피분율에 의해 결정된다. 따라서, 본 실시예의 각 분광필터(521)는 디스플레이패널(3)을 통과한 빛에서 두 개의 물질(1731, 1732)간의 상대적 부피 비율에 따라 결정되는 파장대역을 통과시키고, 나머지 파장대역을 차단할 수 있다. 상술한 바와 같이, 유전체층(173)에는 교대로 배치된 두 개의 물질(1731, 1732)간의 상대적인 부피 비율이 서로 다른 영역이 적어도 두 곳 존재한다. 유전체층(173)의 상대적인 부피 비율이 서로 다른 영역은 서로 다른 파장대역을 통과시키게 된다. 예를 들어, 520 ~ 910nm 또는 350 ~ 850nm 대역을 5nm 단위로 분할하여 필터링하는 여러 종류의 분광필터(521)들은 유전체층(173)의 두 개의 물질(1731, 1732) 상호 간의 듀티사이클을 5nm 단위에 대응되는 간격으로 점진적으로 변화시킴으로써 구현될 수 있다. At this time, the optical constant of the effective medium is determined by the geometric distribution and relative volume fraction of the two objects. Therefore, each spectral filter 521 of the present embodiment passes a wavelength band determined according to a relative volume ratio between two materials 1173 and 1732 in light passing through the display panel 3 and can block the remaining wavelength bands. have. As described above, in the dielectric layer 173, at least two regions having different relative volume ratios between the two alternately disposed materials 1173 and 1732 exist. Regions having different relative volume ratios of the dielectric layer 173 pass through different wavelength bands. For example, various types of spectral filters 521 for filtering by dividing the 520 to 910 nm or 350 to 850 nm bands into 5 nm units filter the duty cycle between the two materials 1173 and 1732 of the dielectric layer 173 in 5 nm units. It can be implemented by gradually changing the corresponding interval.

버퍼층(174)은 상반사층(171)과 하반사층(172) 중 적어도 하나와 유전체층(173)사이에 삽입된다. 즉, 버퍼층(174)은 상반사층(171)과 유전체층(173)사이에 삽입될 수도 있고, 하반사층(172)과 유전체층(173)사이에 삽입될 수도 있고, 상반사층(171)과 유전체층(173)사이와 하반사층(172)과 유전체층(173)사이 각각에 삽입될 수도 있다. 버퍼층(174)은 유전체층(173)과 함께 광학적 공진 공동(optical resonance cavity)으로서 작용한다. 이러한 버퍼층(140)의 존재는 광학적 공진 공동의 유효 두께를 증가시킴으로써 유전체층(173)의 두께를 작게 유지하면서도 분광필터(521)의 투과대역의 중심 파장을 장파장 영역으로 이동시키는 효과를 가져온다. 유전체층(173)만을 이용해서 광학적 공진 공동을 구성할 경우, 입사광의 파장보다 충분히 작은 크기의 간격 주기를 갖고 서로 상이한 굴절률을 갖는 두 물질간의 조합으로 이루어진 유전체층(173)에서 어느 한 물질을 채우기 위한 종횡비가 과도하게 증가하는 조건이 발생하여 공정상 어려움이 있다. The buffer layer 174 is inserted between at least one of the upper reflection layer 171 and the lower reflection layer 172 and the dielectric layer 173. That is, the buffer layer 174 may be inserted between the upper reflection layer 171 and the dielectric layer 173, or may be inserted between the lower reflection layer 172 and the dielectric layer 173, and the upper reflection layer 171 and the dielectric layer 173 ), and between the lower reflection layer 172 and the dielectric layer 173. The buffer layer 174 works as an optical resonance cavity with the dielectric layer 173. The presence of the buffer layer 140 increases the effective thickness of the optical resonant cavity, thereby bringing the effect of moving the center wavelength of the transmission band of the spectroscopic filter 521 to the long wavelength region while keeping the thickness of the dielectric layer 173 small. When an optical resonant cavity is constructed by using only the dielectric layer 173, the aspect ratio for filling any one material in the dielectric layer 173 made of a combination of two materials having a spacing period sufficiently smaller than the wavelength of the incident light and having a different refractive index from each other There is a process difficulty due to the excessively increasing condition.

따라서, 버퍼층(174)의 존재는 유전체층(173)의 두께를 작게 유지하면서도 투과파장의 가변 범위를 효과적으로 증대시킬 수 있다는 장점이 있다. 이에 따라, 분광필터(521)의 소형화가 가능하게 되어 스마트폰의 이미지 센서로 널리 사용되고 있는 기존의 CMOS 이미지센서와의 집적이 매우 용이한 분광센서(52)의 구현이 가능하게 된다. 이에 따라, 사용자가 전자기기를 이용하여 물체를 촬영하는 것만으로 사용자가 물체의 상태를 알 수 있도록 할 수 있는 복합센서(5)가 실현될 수 있다. 버퍼층(174)이 두 개의 물질(1731, 1732) 중 어느 하나의 물질과 동일 물질일 수 있다. 도 17에는 버퍼층(174)의 물질과 두 번째 물질(1732)이 동일한 경우가 도시되어 있다. 한편, 버퍼층(174)과 두 개의 물질(1731, 1732)은 서로 다른 물질일 수도 있다. Therefore, the existence of the buffer layer 174 has an advantage that the variable range of the transmission wavelength can be effectively increased while keeping the thickness of the dielectric layer 173 small. Accordingly, the miniaturization of the spectral filter 521 is possible, and it is possible to implement the spectral sensor 52 which is very easy to integrate with the existing CMOS image sensor which is widely used as an image sensor of a smartphone. Accordingly, the complex sensor 5 that enables the user to know the state of the object can be realized by simply taking the object by using the electronic device. The buffer layer 174 may be the same material as any one of the two materials 1173 and 1732. 17 illustrates a case where the material of the buffer layer 174 and the second material 1732 are the same. Meanwhile, the buffer layer 174 and the two materials 1173 and 1732 may be different materials.

도 18은 도 17에 도시된 분광필터(521)의 투과 특성의 시뮬레이션 결과를 나타내는 그래프이다. 두 개의 물질(1731, 1732)의 교대 배치 주기는 200nm이고, 유전체층(173)의 두께는 60nm이고, 두 개의 물질(1731, 1732) 중에서 저굴절률 재료의 굴절률은 1.38, 고굴절률 재료의 굴절률은 2.7로 하였다. 상하 반사층(171, 182)은 반투과 특성을 갖는 20nm 두께의 Ag 층을 사용하였다. 저굴절률 나노구조체의 너비를 50nm부터 150nm까지 20nm 간격으로 증가시켰을 때의 투과대역의 변화양상을 컴퓨터 시뮬레이션으로 계산하였다. 도 18로부터 도 17에 도시된 분광필터(521)는 고굴절률 나노구조체의 충전율이 증가할수록 투과대역의 중심파장이 장파장 영역으로 이동하는 특성을 나타내고 있음을 알 수 있다. 18 is a graph showing simulation results of transmission characteristics of the spectral filter 521 shown in FIG. 17. The alternating arrangement period of the two materials 1173 and 1732 is 200 nm, the thickness of the dielectric layer 173 is 60 nm, and among the two materials 1173 and 1732, the refractive index of the low refractive index material is 1.38, and the refractive index of the high refractive index material is 2.7. Was made. As the upper and lower reflective layers 171 and 182, an Ag layer having a thickness of 20 nm having semi-transmissive characteristics was used. When the width of the low-refractive-index nanostructure was increased from 50 nm to 150 nm at 20 nm intervals, the change pattern of the transmission band was calculated by computer simulation. It can be seen that the spectral filter 521 illustrated in FIGS. 18 to 17 shows a characteristic in which the center wavelength of the transmission band moves to the long wavelength region as the filling rate of the high refractive index nanostructure increases.

도 19는 도 3-7에 도시된 분광센서(52)의 구조의 또 다른 예를 개략적으로 도시한 도면이다. 도 19에서 약자 "S"는 분광필터(521)를 나타내고, 약자 "F"는 대역투과필터(504)를 나타내고, 약자 "P"는 광전소자(522)를 나타낸다. 도 19에 도시된 실시예의 특징이 잘 나타나도록 하기 위해, 복수 개의 분광필터(521), 복수 개의 대역투과필터(504), 복수 개의 광전소자(522)는 단순한 격자패턴으로 간략하게 표현되어 있다. 도 19에 도시된 실시예는 도 1-6에 도시된 복합센서(5) 중 이미지센서(51)와는 관련이 없으므로 분광센서(52) 부분만 도시되어 있다. 이미지센서(51) 부분은 도 11-13에 도시된 실시예들의 설명으로 갈음하기로 한다. 19 is a diagram schematically showing another example of the structure of the spectroscopic sensor 52 shown in FIGS. 3-7. In FIG. 19, the abbreviation "S" represents the spectral filter 521, the abbreviation "F" represents the band-pass filter 504, and the abbreviation "P" represents the photoelectric element 522. In order for the features of the embodiment shown in FIG. 19 to be well represented, the plurality of spectral filters 521, the plurality of band-pass filters 504, and the plurality of photoelectric elements 522 are briefly expressed in a simple grid pattern. The embodiment shown in FIG. 19 is not related to the image sensor 51 among the complex sensors 5 shown in FIGS. 1-6, so only the spectroscopic sensor 52 is shown. The portion of the image sensor 51 will be replaced with the description of the embodiments shown in FIGS. 11-13.

도 19에 도시된 실시예는 도 11-13에 도시된 실시예들과는 달리, 복수 개의 컬러필터(511)는 2차원 평면의 매트릭스 구조의 일부분에 해당하는 매트릭스 구조로 배열되고, 복수 개의 대역투과필터(504)는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되고, 복수 개의 분광필터(521)는 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조의 축소 매트릭스 구조로 배열된다. 복수 개의 대역투과필터(504)는 복수 개의 분광필터(521)에 상하로 일대다 대응되도록 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되어 복수 개의 분광필터(521) 아래에 배치된다. 이에 따라, 각 분광필터(521)에 복수 개의 대역투과필터(504)가 상하로 대응되게 된다. 19, unlike the embodiments shown in FIGS. 11-13, a plurality of color filters 511 are arranged in a matrix structure corresponding to a part of a matrix structure of a two-dimensional plane, and a plurality of band-pass filters Reference numeral 504 is arranged in a matrix structure corresponding to another part of the matrix structure of the two-dimensional plane, and the plurality of spectral filters 521 are different parts of the matrix structure of the two-dimensional plane forming the light-receiving surface of the complex sensor 5 It is arranged in a reduced matrix structure of the corresponding matrix structure. The plurality of band-pass filters 504 are arranged in a matrix structure corresponding to other parts of the matrix structure of the two-dimensional plane forming the light-receiving surface of the composite sensor 5 so as to correspond one-to-many to the plurality of spectroscopic filters 521. And is disposed under the plurality of spectroscopic filters 521. Accordingly, a plurality of band-pass filters 504 correspond to each spectral filter 521 vertically.

도 19에는 하나의 분광필터(521)에 네 개의 대역투과필터(504)가 상하로 대응되는 예가 도시되어 있다. 각 분광필터(521)에 대응되는 복수 개의 대역투과필터(504)는 각 분광필터(521)의 필터링 파장대역에서 서로 다른 파장대역을 투과시킨다. 즉, 복수 개의 대역투과필터(504) 중 어느 하나의 대역투과필터(504)는 각 분광필터(521)의 필터링 파장대역 중 일부 파장대역만을 투과시키고, 다른 하나의 대역투과필터(504)는 각 분광필터(521)의 필터링 파장대역 중 다른 파장대역만을 투과시킨다. 복수 개의 광전소자(522)는 복수 개의 대역투과필터(504)에 상하로 일대일 대응되도록 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되어 복수 개의 대역투과필터(504) 아래에 배치된다. 19 illustrates an example in which four band-pass filters 504 correspond to one spectral filter 521 vertically. The plurality of band-pass filters 504 corresponding to the respective spectral filters 521 transmit different wavelength bands in the filtering wavelength band of each spectral filter 521. That is, any one of the plurality of band-pass filters 504, the band-pass filter 504 transmits only a portion of the wavelength bands of the filtering wavelength band of each spectral filter 521, and the other band-pass filter 504 is each Only the other wavelength band of the filtering wavelength band of the spectroscopic filter 521 is transmitted. The plurality of photoelectric elements 522 are arranged in a matrix structure corresponding to other parts of the matrix structure of the two-dimensional plane so as to correspond one to one up and down to the plurality of band-pass filters 504 and disposed under the plurality of band-pass filters 504. do.

본 실시예에 따르면, 즉 각 분광필터(521)의 필터링 대역이 좁을수록 물체의 스펙트럼의 분해능이 높아지게 되어 물체의 상태 정보의 정확도가 향상될 수 있다. 각 분광필터(521)가 도 15에 도시된 바와 같은 플라즈모닉 필터, 또는 도 17에 도시된 바와 같은 파브리-페로 필터로 구현될 경우에 플라즈모닉 필터의 금속패턴들의 배열 주기나 유전체층의 두 개의 물질의 상대적인 부피 비율을 미세하게 차이가 나게 제조하는 것은 제조공정상 한계가 있기 때문에 각 분광필터(521)의 필터링 대역폭을 좁히는 데에 한계가 있다. 이것은 물체의 스펙트럼의 분해능의 한계로 작용한다. 이에 따라, 각 분광필터(521)에 대응되는 복수 개의 대역투과필터(504)는 각 분광필터(521)의 필터링 파장대역 중 서로 다른 파장대역을 투과시킴으로써 각 분광필터(521)의 필터링 대역폭 한계를 극복함으로써 물체의 고분해능 스펙트럼이 가능하게 되어 물체의 상태 정보의 분해능이 향상될 수 있다.According to this embodiment, that is, the narrower the filtering band of each spectral filter 521 is, the higher the resolution of the spectrum of the object is, so that the accuracy of the state information of the object can be improved. When each spectral filter 521 is implemented with a plasmonic filter as shown in FIG. 15, or a Fabry-Perot filter as shown in FIG. 17, the period of arrangement of the metal patterns of the plasmonic filter or two materials of the dielectric layer Manufacturing the difference in the relative volume ratio of the microscopically has a limitation in narrowing the filtering bandwidth of each spectral filter 521 because there are limitations in the manufacturing process. This acts as a limitation of the resolution of an object's spectrum. Accordingly, the plurality of band-pass filters 504 corresponding to each spectral filter 521 transmits different wavelength bands among the filtering wavelength bands of each spectral filter 521 to limit the filtering bandwidth of each spectral filter 521. By overcoming, a high resolution spectrum of the object is enabled, and the resolution of the state information of the object can be improved.

도 20은 도 11에 도시된 복합센서(5)의 다른 구현예의 단면도이다. 도 20의 (a)에는 도 14와 마찬가지로 하나의 기판에 이미지센서(51)와 분광센서(52)를 집적시켜 복합센서(5)가 구현된 예가 도시되어 있다. 도 20의 (a)에는 전면조사형 이미지센서(51)를 채용한 복합센서(5)의 구현예가 도시되어 있고, 도 20의 (b)에는 후면조사형 이미지센서(51)를 채용한 복합센서(5)의 구현예가 도시되어 있다. 도 20의 (c)에는 도 20의 (a), (b)의 분광센서(52)에 도 15에 도시된 분광필터(521)가 적용된 예가 도시되어 있다. 도 20에서 약자 "L"은 마이크로렌즈를 나타내고, 약자 "C"는 컬러필터를 나타내고, 약자 "S"는 분광필터를 나타내고, 약자 "P"는 광전소자를 나타내고, 약자 "F"는 대역투과필터(band pass filter)를 나타낸다. 도 20의 실시예는 분광센서(52)의 각 분광필터(521) 아래에 대역투과필터(504)가 배치된 점을 제외하고는 도 14의 실시예와 동일하기 때문에 이하에서는 도 14의 실시예와의 차이점을 중심으로 설명하기로 하며, 이하에서 생략된 내용, 예를 들어 이미지센서(51)에 해당하는 부분에 대해서는 도 14의 실시예의 설명으로 갈음하기로 한다.20 is a cross-sectional view of another embodiment of the composite sensor 5 shown in FIG. 11. FIG. 20(a) shows an example in which the composite sensor 5 is implemented by integrating the image sensor 51 and the spectroscopic sensor 52 on one substrate as in FIG. 20(a) shows an embodiment of the complex sensor 5 employing the front-illuminated image sensor 51, and FIG. 20(b) shows a complex sensor employing the back-illuminated image sensor 51. An embodiment of (5) is shown. 20C illustrates an example in which the spectral filter 521 shown in FIG. 15 is applied to the spectral sensors 52 of FIGS. 20A and 20B. In FIG. 20, the abbreviation "L" represents a microlens, the abbreviation "C" represents a color filter, the abbreviation "S" represents a spectral filter, the abbreviation "P" represents a photoelectric device, and the abbreviation "F" represents a band transmission. Represents a filter (band pass filter). The embodiment of FIG. 20 is the same as the embodiment of FIG. 14, except that the band-pass filter 504 is disposed under each spectral filter 521 of the spectroscopic sensor 52. Differences from and will be mainly described, and the contents omitted below, for example, the parts corresponding to the image sensor 51 will be replaced with the description of the embodiment of FIG. 14.

도 20의 (a)의 분광센서(52)에 해당하는 부분을 살펴보면, 복합센서기판(500) 상에 복수 개의 광전소자(522)가 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되어 적층된다. 복수 개의 광전소자(522) 위에는 각 분광필터(521)와 각 광전소자(522)에 전원을 공급하기 위한 와이어가 매립된 절연층(503)이 적층된다. 절연층(503) 위에는 복수 개의 대역투과필터(504)가 복수 개의 광전소자(522)에 상하로 일대일 대응되도록 복수 개의 광전소자(522)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 각 대역투과필터(504)에 의해 필터링된 빛은 절연층(503)의 와이어 사이를 통과하여 각 광전소자(522)에 도달하게 된다. Looking at the portion corresponding to the spectroscopic sensor 52 of Figure 20 (a), a plurality of photoelectric elements 522 on the composite sensor substrate 500 of a two-dimensional plane forming the light-receiving surface of the composite sensor (5) They are arranged and stacked in a matrix structure corresponding to other parts of the matrix structure. An insulating layer 503 in which wires for supplying power to each spectroscopic filter 521 and each photoelectric element 522 are embedded is stacked on the plurality of photoelectric elements 522. On the insulating layer 503, a plurality of band-pass filters 504 are stacked by being arranged in the same matrix structure as the matrix structure of the plurality of photoelectric elements 522 so as to correspond one-to-one to the plurality of photoelectric elements 522. Light filtered by each band-pass filter 504 passes between wires of the insulating layer 503 to reach each photoelectric element 522.

도 20의 (b)의 분광센서(52)에 해당하는 부분을 살펴보면, 복합센서기판(500) 상에 각 분광필터(521)와 각 광전소자(522)에 전원을 공급하기 위한 와이어가 매립된 절연층(503)이 적층된다. 절연층(503) 상에 복수 개의 광전소자(522)가 복합센서(5)의 수광면을 형성하는 2차원 평면의 매트릭스 구조의 다른 부분에 해당하는 매트릭스 구조로 배열되어 적층된다. 복수 개의 광전소자(522) 위에는 복수 개의 대역투과필터(504)가 복수 개의 광전소자(522)에 상하로 일대일 대응되도록 복수 개의 광전소자(522)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 각 대역투과필터(504)에 의해 필터링된 빛은 바로 각 광전소자(522)에 도달하게 된다. Looking at the part corresponding to the spectroscopic sensor 52 of FIG. 20B, a wire for supplying power to each spectroscopic filter 521 and each photoelectric element 522 is embedded on the composite sensor substrate 500. The insulating layer 503 is stacked. On the insulating layer 503, a plurality of photoelectric elements 522 are arranged and stacked in a matrix structure corresponding to other parts of the matrix structure of the two-dimensional plane forming the light-receiving surface of the composite sensor 5. A plurality of band-pass filters 504 are stacked on the plurality of photoelectric elements 522 in the same matrix structure as those of the plurality of photoelectric elements 522 so as to correspond one-to-one to the plurality of photoelectric elements 522. The light filtered by each band-pass filter 504 directly reaches each photoelectric element 522.

도 20의 (a), (b)에 도시된 바와 같이, 복수 개의 대역투과필터(504) 위에는 복수 개의 분광필터(521)가 복수 개의 대역투과필터(504)에 상하로 다대일 대응되도록 복수 개의 분광필터(521)의 매트릭스 구조의 축소 매트릭스 구조로 배열되어 적층된다. 복수 개의 분광필터(521) 위에는 복수 개의 대역투과필터(504)의 배열면을 평탄화하는 평탄화층(502)이 적층된다. 평탄화층(502)은 투명한 유전체 물질로 제조된다. 평탄화층(502) 위에는 복수 개의 마이크로렌즈(501)가 복수 개의 분광필터(521)에 상하로 일대일 대응되도록 복수 개의 분광필터(521)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층된다. 복합센서(5)의 복수 개의 마이크로렌즈(501)의 구경을 서로 다르게 제조하는 것이 어려운 경우, 도 20에 도시된 바와 같이 복수 개의 마이크로렌즈(501)가 복수 개의 분광필터(521)에 상하로 일대다 대응되도록 복수 개의 분광필터(521)의 매트릭스 구조와 동일한 매트릭스 구조로 배열되어 적층될 수도 있다. 각 마이크로렌즈(501)는 이것에 입사된 빛이 그 아래의 각 분광필터(521)에 집속되도록 하는 역할을 한다. As shown in (a), (b) of FIG. 20, a plurality of spectral filters 521 on the plurality of band-pass filters 504 are vertically and one-to-one corresponding to the plurality of band-pass filters 504. The spectral filter 521 is arranged in a reduced matrix structure and stacked. A planarization layer 502 for planarizing the arrangement surface of the plurality of band-pass filters 504 is stacked on the plurality of spectroscopic filters 521. The planarization layer 502 is made of a transparent dielectric material. On the planarization layer 502, a plurality of microlenses 501 are stacked by being arranged in the same matrix structure as the matrix structure of the plurality of spectroscopic filters 521 so as to correspond one-to-one to the plurality of spectroscopic filters 521. When it is difficult to manufacture the apertures of the plurality of micro lenses 501 of the composite sensor 5 differently, as shown in FIG. 20, the plurality of micro lenses 501 are vertically disposed on the plurality of spectroscopic filters 521. It may be arranged and stacked in the same matrix structure as the matrix structure of the plurality of spectroscopic filters 521 so that all correspond. Each micro-lens 501 serves to focus light incident on it into each spectral filter 521 below it.

도 20의 (c)를 참조하면, 세 개의 분광필터(521)는 그 각각의 금속패턴들이 서로 다른 주기로 배열된 형태로 형성된다. 각 분광필터(521) 아래에는 두 개의 서로 다른 컬러필터(5110)가 배치되어 있다. 컬러필터(5110) 위에는 별도의 평탄화층이 형성될 수도 있다. 어떤 대역투과필터(504)가 각 분광필터(521)의 필터링 파장대역 중 일부 파장대역만을 투과시킨다는 의미는 그 대역투과필터(504)의 필터링 대역이 그 일부 파장대역과 일치함을 의미하는 것뿐만 아니라, 그 일부 파장대역 외에 각 분광필터(521)의 필터링 파장대역과는 다른 파장대역을 포함할 수도 있음을 의미한다. 즉, 각 분광필터(521)의 필터링 대역의 일부가 적색필터의 필터링 대역에 포함되어 있고, 각 분광필터(521)의 필터링 대역의 나머지가 녹색필터의 필터링 대역에 포함되어 있다면 적색필터와 녹색필터를 사용하여 물체의 고분해능 스펙트럼이 가능하게 될 수 있다. Referring to (c) of FIG. 20, the three spectroscopic filters 521 are formed in a shape in which their respective metal patterns are arranged at different periods. Two different color filters 5110 are disposed under each spectral filter 521. A separate planarization layer may be formed on the color filter 5110. The meaning that a certain band-passing filter 504 transmits only a part of the wavelength bands of the filtering wavelength bands of each spectral filter 521 means that the filtering band of the band-passing filter 504 is consistent with some of the wavelength bands. In addition, it means that a wavelength band different from the filtering wavelength band of each spectral filter 521 may be included in addition to some of the wavelength bands. That is, if a part of the filtering band of each spectral filter 521 is included in the filtering band of the red filter, and the rest of the filtering band of each spectral filter 521 is included in the filtering band of the green filter, the red filter and the green filter Using it, a high resolution spectrum of an object can be made possible.

이와 같이, 복수 개의 대역투과필터(504)로 이미지센서(51)의 복수 개의 컬러필터(5110)의 적어도 두 종류의 컬러필터와 동종의 컬러필터들이 사용될 수 있기 때문에 CMOS 이미지센서(51)의 전체 컬러필터 중 일부에 본 실시예의 분광필터(521)를 적층시키는 것만으로 본 실시예에 따른 복합센서(5)의 구현이 가능하게 될 수 있다. 또한, 각 분광필터(521)는 각 컬러필터(5110)보다 큰 사이즈로 제조될 수 있기 때문에 각 분광필터(521)의 제조가 매우 수월해질 수 있다. 도 18의 (a), (b)에는 복수 개의 마이크로렌즈(501)가 복수 개의 대역투과필터(504)에 상하로 일대일 대응되도록 도시되어 있다. 도 18의 (a), (b)에 도시된 바와 같이, 마이크로렌즈(501)의 제조공정상 서로 다른 크기의 마이크로렌즈가 일체형으로 제조되기가 어려울 수 있기 때문에 컬러필터(5110)로의 광집속을 위한 마이크로렌즈와 동종의 마이크로렌즈가 분광필터용으로 제작될 수 있고, 아니면 마이크로렌즈 배열층이 생략될 수도 있다. As described above, since at least two kinds of color filters and the same color filters of the plurality of color filters 5110 of the image sensor 51 can be used as the plurality of band-pass filters 504, the entire CMOS image sensor 51 can be used. Only by stacking the spectral filter 521 of this embodiment on some of the color filters, the implementation of the composite sensor 5 according to this embodiment may be possible. In addition, since each spectral filter 521 can be manufactured to a size larger than that of each color filter 5110, manufacturing of each spectral filter 521 can be greatly facilitated. 18A and 18B, the plurality of microlenses 501 are illustrated to correspond to the plurality of band-pass filters 504 one-to-one. As shown in (a) and (b) of FIG. 18, in the manufacturing process of the microlens 501, it may be difficult to integrally manufacture microlenses of different sizes, thereby for focusing light to the color filter 5110. Microlenses of the same type as the microlenses can be produced for the spectral filter, or the microlens array layer can be omitted.

이상에서는 복수 개의 대역투과필터(504)가 복수 개의 분광필터(521)에 일대다 대응되어 복수 개의 분광필터(521) 아래에 배치되는 예들을 설명하였다. 복수 개의 대역투과필터(504)는 복수 개의 분광필터(521)에 일대일 대응되어 복수 개의 분광필터(521) 아래에 배치될 수도 있고, 복수 개의 대역투과필터(504)는 복수 개의 분광필터(521)에 다대일 대응되어 복수 개의 분광필터(521) 아래에 배치될 수도 있다. 전자의 경우, 하나의 분광필터(521)에 일대일 대응되는 하나의 대역투과필터(504)는 그 분광필터(521)의 필터링 파장대역을 투과시킨다. 후자의 경우, 복수 개의 분광필터(521)의 일부에 해당하는 복수 개의 분광필터(521)에 다대일 대응되는 하나의 대역투과필터(504)는 그 복수 개의 분광필터(521)의 전체 필터링 파장대역을 투과시킨다. 복수 개의 대역투과필터(504)는 복수 개의 분광필터(521)에 의해 필터링 빛을 다시 필터링함으로써 전체적인 필터링 성능이 향상될 수 있도록 하는 역할을 한다.In the above, examples in which a plurality of band-pass filters 504 correspond one-to-many to a plurality of spectral filters 521 and disposed under the plurality of spectral filters 521 have been described. The plurality of band-pass filters 504 may be one-to-one corresponding to the plurality of spectroscopic filters 521, and may be disposed under the plurality of spectroscopic filters 521, and the plurality of band-pass filters 504 may include a plurality of spectroscopic filters 521. It may be disposed under a plurality of spectral filters 521 in many-to-one correspondence. In the former case, one band-passing filter 504 corresponding to one-to-one spectral filter 521 transmits the filtering wavelength band of the spectral filter 521. In the latter case, one band-pass filter 504 corresponding to the plurality of spectral filters 521 corresponding to a part of the plurality of spectral filters 521 is one-to-one, the entire filtering wavelength band of the plurality of spectral filters 521 Permeate. The plurality of band-pass filters 504 serves to improve the overall filtering performance by filtering the filtered light again by the plurality of spectroscopic filters 521.

또한, 복수 개의 대역투과필터(504)가 복수 개의 분광필터(521)에 일대다, 일대일, 또는 다대일 대응되어 복수 개의 분광필터(521) 위에 배치될 수도 있다. 복수 개의 대역투과필터(504)가 복수 개의 분광필터(521) 아래에 배치되는 예에서는 복수 개의 광전소자(522)가 복수 개의 대역투과필터(504)에 의해 필터링된 빛을 전기적 신호로 변환하나, 복수 개의 대역투과필터(504)가 복수 개의 분광필터(521) 위에 배치되는 예에서는 복수 개의 광전소자(522)가 복수 개의 분광필터(521)에 의해 필터링된 빛을 전기적 신호로 변환한다. 후자의 예에서, 복수 개의 대역투과필터(504)는 복수 개의 분광필터(521)에 그것의 필터링 파장대역 외의 불필요한 파장대역의 빛이 입사되지 않도록 함으로써 각 분광필터(521)의 필터링 성능이 향상될 수 있도록 하는 역할을 한다. 상기된 바와 같은 다양한 예에서, 복수 개의 대역투과필터(504)로 이미지센서(51)의 복수 개의 컬러필터(5110)의 한 종류의 컬러필터와 동종의 컬러필터들이 사용될 수도 있다. In addition, the plurality of band-pass filters 504 may be disposed on the plurality of spectroscopic filters 521 in one-to-many, one-to-one, or many-to-one correspondence with the plurality of spectroscopic filters 521. In the example in which the plurality of band-pass filters 504 are disposed under the plurality of spectroscopic filters 521, the plurality of photoelectric elements 522 convert light filtered by the plurality of band-pass filters 504 into electrical signals, In an example in which a plurality of band-pass filters 504 are disposed on a plurality of spectroscopic filters 521, a plurality of photoelectric elements 522 convert light filtered by the plurality of spectroscopic filters 521 into electrical signals. In the latter example, the plurality of band-pass filters 504 may improve the filtering performance of each spectral filter 521 by preventing light of unnecessary wavelength bands other than its filtering wavelength band from entering the plurality of spectral filters 521. It plays a role to help. In various examples as described above, one type of color filter and the same color filters of the plurality of color filters 5110 of the image sensor 51 may be used as the plurality of band-pass filters 504.

도 21은 도 3에 도시된 전자기기의 전자회로 구성도이다. 도 21을 참조하면, 도 3에 도시된 전자기기의 전자회로는 터치패널(2), 디스플레이패널(3), 복합센서(5), 발광모듈(8), 센서모듈(11), 전원공급모듈(12), 프로세서(71), 통신모듈(72), 입출력인터페이스모듈(73), 메모리(74), 및 버스(75)로 구성된다. 본 실시예가 쉽게 이해될 수 있도록 하면서 본 실시예의 특징이 흐려짐을 방지하기 위해, 도 21에는 본 실시예의 이해에 필요한 스마트폰의 전자회로의 주요 구성이 도시되어 있다. 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 도 21에 도시된 구성 외에 또 다른 구성이 추가될 수 있음을 이해할 수 있다. 예를 들어, 도 3에 도시된 전자기기의 전자회로는 GPS(Global Positioning System) 모듈, 오디오 모듈 등을 더 포함할 수 있다. 21 is a block diagram of the electronic circuit of the electronic device shown in FIG. 3. Referring to FIG. 21, the electronic circuit of the electronic device shown in FIG. 3 includes a touch panel 2, a display panel 3, a composite sensor 5, a light emitting module 8, a sensor module 11, and a power supply module (12), a processor 71, a communication module 72, an input/output interface module 73, a memory 74, and a bus 75. In order to prevent this embodiment from being easily understood and to prevent blurring of the features of the present embodiment, FIG. 21 shows a main configuration of an electronic circuit of a smartphone necessary for understanding the present embodiment. Those of ordinary skill in the art to which this embodiment belongs may understand that another configuration may be added in addition to the configuration illustrated in FIG. 21. For example, the electronic circuit of the electronic device shown in FIG. 3 may further include a Global Positioning System (GPS) module, an audio module, and the like.

센서모듈(11)은 복합센서(5) 외에 스마트폰에 내장되는 센서들, 예를 들어 압력센서, 근접센서, 조도센서, 자이로센서 등으로 구성될 수 있다. 전원공급모듈(12)은 배터리(9)의 전원을 터치패널(2), 디스플레이패널(3), 복합센서(5), 센서모듈(11), 인쇄회로기판(7)의 구동 전원으로 변환하여 공급하는 역할을 하며 충전회로, 전압변환회로 등으로 구성된다. 전원공급모듈(12)로부터 다른 구성요소에 전원이 공급되는 경로는 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자에게 자명한 사항이므로 도면의 복잡도를 낮추기 위해 생략된다. 프로세서(71), 통신모듈(72), 입출력인터페이스모듈(73), 메모리(74), 및 버스(75)는 인쇄회로기판(7)에 실장된 전자부품들로 구현되며, 일반적으로 몇 개의 분리된 인쇄회로기판(7)에 실장된다. The sensor module 11 may be composed of sensors built into a smartphone in addition to the complex sensor 5, for example, a pressure sensor, a proximity sensor, an illuminance sensor, a gyro sensor, and the like. The power supply module 12 converts the power of the battery 9 into driving power of the touch panel 2, the display panel 3, the composite sensor 5, the sensor module 11, and the printed circuit board 7 It serves to supply and consists of a charging circuit and a voltage conversion circuit. The path for supplying power from the power supply module 12 to other components is obvious to a person skilled in the art to which this embodiment belongs and is omitted to reduce the complexity of the drawings. The processor 71, the communication module 72, the input/output interface module 73, the memory 74, and the bus 75 are implemented with electronic components mounted on the printed circuit board 7, and are generally separated into several. It is mounted on the printed circuit board (7).

프로세서(71)는 전자기기의 다른 구성요소, 예를 들어 터치패널(2), 디스플레이패널(3), 복합센서(5), 센서모듈(11)을 제어하고, 터치패널(2), 통신모듈(72), 입출력인터페이스모듈(73)로부터 입력된 데이터를 처리하고, 메모리(74)로부터 데이터를 읽거나 메모리(74)에 데이터를 저장한다. 특히, 본 실시예의 프로세서(71)는 복합센서(5)로부터 물체의 이미지를 나타내는 신호를 입력받고, 입력된 신호로부터 물체의 이미지를 생성한다. 또한, 프로세서(71)는 복합센서(5)로부터 물체의 스펙트럼을 나타내는 신호를 입력받고, 입력된 신호로부터 물체의 스펙트럼을 생성하고, 생성된 물체의 스펙트럼과 메모리(74)에 저장된 다수의 샘플 스펙트럼을 비교함으로써 물체의 상태 정보를 추정한다. 프로세서(71)는 물체의 스펙트럼을 컨볼루션 신경망(convolutional neural network)에 입력함으로써 컨볼루션 신경망의 출력 데이터로부터 물체의 상태 정보를 추정할 수도 있다. 이러한 프로세서(71)의 동작에 대해서는 도 22, 23, 26의 흐름도를 참고하면서 아래에서 자세하게 살펴보기로 한다.The processor 71 controls other components of the electronic device, for example, the touch panel 2, the display panel 3, the composite sensor 5, and the sensor module 11, and the touch panel 2 and the communication module (72), processing the data input from the input/output interface module 73, reading data from the memory 74 or storing data in the memory 74. In particular, the processor 71 of the present embodiment receives a signal representing an image of an object from the complex sensor 5 and generates an image of the object from the input signal. In addition, the processor 71 receives a signal representing the spectrum of the object from the composite sensor 5, generates a spectrum of the object from the input signal, the spectrum of the generated object and a number of sample spectra stored in the memory 74 Estimate the state information of the object by comparing. The processor 71 may estimate the state information of the object from the output data of the convolutional neural network by inputting the spectrum of the object into the convolutional neural network. The operation of the processor 71 will be described in detail below with reference to the flowcharts of FIGS. 22, 23, and 26.

통신모듈(72)은 다른 전자기기와의 통신을 수행한다. 예를 들어, 통신모듈(72)은 LTE(Long Term Evolution), 와이파이(WiFi), 블루투스(Bluetooth) 등 다양한 통신 방식에 따라 다른 전자기기와의 통신을 수행할 수 있다. 입출력인터페이스모듈(73)은 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자기기의 다른 구성요소에 출력하거나 전자기기의 다른 구성요소로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다. 입출력인터페이스모듈(73)은 USB(Universal Serial Bus) 인터페이스, 오디오 인터페이스 등으로 구성된다. 메모리(74)에는 각종 데이터가 저장된다. 특히, 본 실시예의 메모리(74)에는 다수의 샘플 스펙트럼이 저장되어 있을 수도 있고, 컨볼루션 신경망이 저장되어 있을 수도 있다. 버스(75)는 프로세서(71)와 여러 구성요소간에 데이터를 전달하는 역할을 한다.The communication module 72 communicates with other electronic devices. For example, the communication module 72 may perform communication with other electronic devices according to various communication methods such as Long Term Evolution (LTE), Wi-Fi, and Bluetooth. The input/output interface module 73 may output commands or data input from a user or other external device to other components of the electronic device, or output commands or data received from other components of the electronic device to the user or other external devices. have. The input/output interface module 73 includes a USB (Universal Serial Bus) interface, an audio interface, and the like. Various data is stored in the memory 74. In particular, a plurality of sample spectra may be stored in the memory 74 of the present embodiment, or a convolutional neural network may be stored. The bus 75 serves to transfer data between the processor 71 and various components.

도 22는 본 발명의 일 실시예에 따른 합성 이미지 표시 방법의 흐름도이다. 도 22를 참조하면, 본 실시예에 따른 합성 이미지 표시 방법은 도 1-3, 21에 도시된 전자기기로서 도 4-20에 도시된 실시예에 따른 복합센서(5)를 포함하는 전자기기에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1-3, 21에 도시된 전자기기 및 도 4-20에 도시된 복합센서(5)에 관하여 이상에서 기술된 내용은 이하에서 기술될 합성 이미지 표시 방법에도 적용된다. 본 실시예에 따른 합성 이미지 표시 방법은 스마트폰 등과 같은 전자기기의 사용자에 의해 물체 이미지와 상태 정보의 합성 이미지를 표시하는 어플리케이션이 실행된 경우에 시작될 수 있다. 도 22에 도시된 모든 단계들이 스마트폰 등과 같이 소형 전자기기에 의해 수행될 경우에 전자기기의 하드웨어 성능에 따라 프로세서(71)의 처리 속도가 저하될 수 있기 때문에 그 단계들 중 일부는 이러한 어플리케이션의 서비스를 제공하는 서버에 의해 수행될 수도 있다.22 is a flowchart of a composite image display method according to an embodiment of the present invention. Referring to FIG. 22, the method for displaying a composite image according to the present embodiment is an electronic device illustrated in FIGS. 1-3 and 21 in an electronic device including the composite sensor 5 according to the embodiment illustrated in FIGS. 4-20. It consists of steps that are processed in time series. Therefore, the contents described above with respect to the electronic devices shown in FIGS. 1-3 and 21 and the complex sensor 5 shown in FIGS. 4-20 are applied to the composite image display method to be described below, even if omitted below. do. The composite image display method according to the present embodiment may be started when an application for displaying a composite image of an object image and status information is executed by a user of an electronic device such as a smartphone. When all the steps shown in FIG. 22 are performed by a small electronic device, such as a smart phone, some of those steps may be performed because the processing speed of the processor 71 may be reduced according to the hardware performance of the electronic device. It may also be performed by a server providing a service.

2201 단계에서 전자기기의 프로세서(71)는 사용자의 입력에 따라 본 실시예에 따른 상태 분석의 대상이 되는 물체의 종류 및 속성을 선택한다. 예를 들어, 프로세서(71)는 사용자의 터치패널 조작에 따라 사과와 당도를 선택할 수도 있고, 얼굴 피부와 멜라닌 농도를 선택할 수도 있다. 본 실시예의 변형 실시예로서, 프로세서(71)는 물체의 이미지 또는 스펙트럼으로부터 물체의 종류를 자동으로 인식할 수 있고, 물체의 종류 별로 속성이 미리 정해져 있다면 2201 단계는 생략될 수도 있다. In step 2201, the processor 71 of the electronic device selects a type and property of an object to be subjected to state analysis according to this embodiment according to a user input. For example, the processor 71 may select apple and sugar content according to a user's touch panel operation, or may select facial skin and melanin concentration. As a modified embodiment of the present embodiment, the processor 71 may automatically recognize the type of the object from the image or spectrum of the object, and step 2201 may be omitted if an attribute is predetermined for each type of object.

2202 단계에서 전자기기의 디스플레이패널(3)은 프로세서(71)의 제어에 따라 2201 단계에서 선택된 종류의 물체가 복합센서(5)의 감지영역에 정확하게 위치될 수 있도록 가이드하기 위한 그래픽을 표시한다. 예를 들어, 2201 단계에서 본 실시예에 따른 상태 분석의 대상이 되는 물체의 종류로서 사과가 선택된 경우, 디스플레이패널(3)은 사과의 윤곽선을 나타내는 그래픽을 표시할 수 있다. 아니면, 2201 단계에서 본 실시예에 따른 상태 분석의 대상이 되는 물체의 종류로서 얼굴 피부가 선택된 경우, 디스플레이패널(3)은 사람 얼굴의 윤곽선을 나타내는 그래픽을 표시할 수도 있다. 이와 같이 표시된 윤곽선에 사과 또는 사용자 얼굴의 실제 윤곽선이 맞추어지면 사과 또는 사용자 얼굴은 복합센서(5)의 감지영역에 정확하게 위치하게 된다. In step 2202, the display panel 3 of the electronic device displays a graphic for guiding the object of the type selected in step 2201 to be accurately positioned in the sensing area of the composite sensor 5 under the control of the processor 71. For example, when an apple is selected as the type of the object to be subjected to state analysis according to the present embodiment in step 2201, the display panel 3 may display a graphic indicating the outline of the apple. Otherwise, if the face skin is selected as the type of the object to be subjected to the state analysis according to the present embodiment in step 2201, the display panel 3 may display a graphic representing the outline of the human face. When the actual contour of the apple or the user's face is aligned with the contour displayed as described above, the apple or the user's face is accurately positioned in the sensing area of the composite sensor 5.

2203 단계에서 전자기기의 복합센서(5)는 복수 개의 컬러필터(511)를 이용하여 자연광원, 인공광원, 및 발광모듈(8) 중 적어도 하나로부터 물체의 표면에 조사된 가시광선이 물체의 표면에서 반사되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 이미지를 나타내는 신호를 생성한다. 2203 단계에서의 신호 생성은 사용자에게 물체 이미지를 보여주기 위한 것이므로 컬러필터(511) 대신에 적외선필터가 이용될 수도 있으나, 복수 개의 적외선필터를 이용하여 물체의 표면에 조사된 적외선이 물체의 표면에서 반사된 빛으로부터 물체의 이미지를 나타내는 신호를 생성할 경우에 흑백 이미지가 생성된다. In step 2203, the complex sensor 5 of the electronic device uses a plurality of color filters 511 to provide visible light irradiated to the surface of the object from at least one of a natural light source, an artificial light source, and a light emitting module 8 to the surface of the object. Generates a signal representing the image of the object from the light reflected from the display panel (3). Since the signal generation in step 2203 is for showing the image of the object to the user, an infrared filter may be used instead of the color filter 511, but infrared rays irradiated to the surface of the object using a plurality of infrared filters are applied to the surface of the object. When a signal representing an image of an object is generated from reflected light, a black and white image is generated.

2204 단계에서 전자기기의 프로세서(71)는 복합센서(5)로부터 물체의 이미지를 나타내는 신호를 입력받고, 입력된 신호로부터 물체의 이미지를 생성한다. 복합센서(5)로부터 프로세서(71)로 물체의 이미지를 나타내는 신호가 시리얼로 연속적으로 입력된다. 프로세서(71)는 이와 같이 시리얼로 연속 입력되는 신호를 2차원의 영상 데이터로 변환함으로써 물체의 이미지를 생성할 수 있다. 2205 단계에서 전자기기의 디스플레이패널(3)은 2204 단계에서 생성된 물체 이미지가 2202 단계에서 표시된 그래픽과 겹쳐 보이도록 2202 단계에서 표시된 그래픽 상에 이와 같이 생성된 물체 이미지를 표시한다. In step 2204, the processor 71 of the electronic device receives a signal representing an image of the object from the complex sensor 5, and generates an image of the object from the input signal. The signal representing the image of the object is continuously input serially from the composite sensor 5 to the processor 71. The processor 71 may generate an image of an object by converting a serially input signal into two-dimensional image data. In step 2205, the display panel 3 of the electronic device displays the object image thus generated on the graphic displayed in step 2202 so that the object image generated in step 2204 overlaps with the graphic displayed in step 2202.

2206 단계에서 전자기기의 프로세서(71)는 2202 단계의 시작 시점부터 일정 시간이 경과하였는가를 확인한다. 예를 들어, 일정시간은 5초일 수 있으며 다양한 값으로 설계될 수 있다. 2206 단계에서 일정시간이 경과된 것으로 확인되면 2207 단계로 진행하고, 그렇지 않으면 2203 단계로 돌아간다. 2203-2205 단계가 반복될 때마다 2203-2205 단계의 각 실행 시점에서의 사과 또는 얼굴 위치에 해당하는 이미지가 반복적으로 표시된다. 따라서, 사용자는 일정 시간 동안 2202 단계에서 표시된 그래픽과 겹쳐 보이는 사과 이미지 또는 얼굴 이미지를 확인하면서 사과 또는 얼굴 위치를 조정함으로써 사과 또는 얼굴이 복합센서(5)의 감지영역에 정확하게 위치되도록 할 수 있다. In step 2206, the processor 71 of the electronic device checks whether a certain time has elapsed since the start of step 2202. For example, the predetermined time may be 5 seconds and may be designed with various values. If it is determined in step 2206 that a certain time has elapsed, the process proceeds to step 2207, otherwise it returns to step 2203. Whenever steps 2203-2205 are repeated, an image corresponding to the apple or face position at each execution time in steps 2203-2205 is repeatedly displayed. Accordingly, the user can accurately position the apple or face in the sensing area of the composite sensor 5 by adjusting the apple or face position while checking the apple image or face image that overlaps with the graphic displayed in step 2202 for a predetermined time.

2207 단계에서 전자기기의 발광모듈(8)은 프로세서(71)의 제어에 따라 2201 단계에서 선택된 물체의 종류 및 속성에 대응되는 파장대역의 빛을 조사한다. 예를 들어, 2201 단계에서 본 실시예에 따른 상태 분석의 대상이 되는 물체의 종류 및 속성으로서 사과의 당도 또는 얼굴 피부의 멜라닌 농도가 선택된 경우, 발광모듈(8)은 물체의 표면에 적외선을 조사할 수 있다. 2201 단계에서 선택된 물체의 종류 및 속성에 따라 적외선이 아닌, 가시광선이 물체의 표면에 조사될 수도 있다. 자연광이나 인공광이 존재하지 않거나 열악한 환경에서는 발광모듈(8)이 일종의 카메라 플래시 역할을 하면서 물체의 표면에 가시광선을 조사할 수도 있고, 가시광선과 함께 적외선을 조사할 수도 있다. In step 2207, the light emitting module 8 of the electronic device irradiates light in a wavelength band corresponding to the type and property of the object selected in step 2201 under the control of the processor 71. For example, in step 2201, when the sugar content of the apple or the melanin concentration of the facial skin is selected as the type and properties of the object to be subjected to the state analysis according to the present embodiment, the light emitting module 8 irradiates infrared light on the surface of the object. can do. Depending on the type and properties of the object selected in step 2201, visible light, rather than infrared light, may be irradiated to the surface of the object. In an environment in which natural light or artificial light does not exist or is poor, the light emitting module 8 may act as a camera flash and irradiate visible light on the surface of an object or irradiate infrared light together with the visible light.

2208 단계에서 전자기기의 복합센서(5)는 복수 개의 컬러필터(511)를 이용하여 자연광원, 인공광원, 및 발광모듈(8) 중 적어도 하나로부터 물체의 표면에 조사된 가시광선이 물체의 표면에서 반사되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 이미지를 나타내는 신호를 생성한다. 2203 단계와 마찬가지로, 2208 단계에서의 신호 생성은 사용자에게 물체 이미지를 보여주기 위한 것이므로 컬러필터(511) 대신에 적외선필터가 이용될 수도 있으나, 적외선필터를 이용할 경우에 흑백 이미지가 생성된다. 2209 단계에서 전자기기의 프로세서(71)는 복합센서(5)로부터 물체의 이미지를 나타내는 신호를 입력받고, 입력된 신호로부터 물체의 이미지를 생성한다. 복합센서(5)로부터 프로세서(71)로 물체의 이미지를 나타내는 신호가 시리얼로 연속적으로 입력된다. 프로세서(71)는 이와 같이 시리얼로 연속 입력되는 신호를 2차원 영상 데이터로 변환할 수도 있고 3차원의 영상 데이터로 변환할 수도 있다.In step 2208, the composite sensor 5 of the electronic device uses a plurality of color filters 511 to allow visible light irradiated to the surface of the object from at least one of a natural light source, an artificial light source, and a light emitting module 8 to the surface of the object. Generates a signal representing the image of the object from the light reflected from the display panel (3). As in step 2203, since the signal generation in step 2208 is for showing an object image to the user, an infrared filter may be used instead of the color filter 511, but when an infrared filter is used, a black and white image is generated. In step 2209, the processor 71 of the electronic device receives a signal representing an image of the object from the composite sensor 5, and generates an image of the object from the input signal. The signal representing the image of the object is continuously input serially from the composite sensor 5 to the processor 71. The processor 71 may convert a serially input signal into 2D image data or 3D image data.

2210 단계에서 전자기기의 복합센서(5)는 복수 개의 분광필터(521)를 이용하여 발광모듈(8)로부터 물체의 표면에 조사된 적외선이 물체 속을 침투한 후에 물체의 표면으로부터 방출되어 디스플레이패널(3)을 통과한 빛으로부터 물체의 스펙트럼을 나타내는 신호를 생성한다. 2211 단계에서 전자기기의 프로세서(71)는 복합센서(5)로부터 물체의 스펙트럼을 나타내는 신호를 입력받고, 입력된 신호로부터 물체의 상태 정보를 추정한다. 2208-2209 단계와 2210-2211 단계는 동시에 진행된다. 프로세서(71)는 이하에 기술된 바와 같이 두 가지 방식으로 물체의 스펙트럼을 나타내는 신호로부터 물체의 상태 정보를 추정할 수 있다. 물체의 상태 정보 추정의 가지 방식 중 하나의 방식은 도 23에 도시되어 있고, 다른 하나의 방식은 도 26에 도시되어 있다. In step 2210, the complex sensor 5 of the electronic device uses a plurality of spectroscopic filters 521 to emit infrared light from the light emitting module 8 to the surface of the object, and then is emitted from the surface of the object and then released from the surface of the display panel. (3) A signal representing the spectrum of the object is generated from the light passing through it. In step 2211, the processor 71 of the electronic device receives a signal representing the spectrum of the object from the complex sensor 5 and estimates the state information of the object from the input signal. Steps 2208-2209 and 2210-2211 proceed simultaneously. The processor 71 may estimate the state information of the object from the signal representing the spectrum of the object in two ways, as described below. One of the ways of estimating the state information of an object is shown in FIG. 23, and the other way is shown in FIG.

도 23은 도 22에 도시된 2211 단계의 상세 흐름도의 일례이다. 도 23을 참조하면, 도 22에 도시된 2211 단계, 즉 물체의 상태 정보를 추정하는 단계는 도 1-3, 21에 도시된 전자기기로서 도 4-20에 도시된 실시예에 따른 복합센서(5)를 포함하는 전자기기에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1-3, 21에 도시된 전자기기 및 도 4-20에 도시된 복합센서(5)에 관하여 이상에서 기술된 내용은 이하에서 기술될 단계들에도 적용된다. 이하에서 도 26에 도시된 단계들은 전자기기의 프로세서(71)에 의해 수행되는 것으로 기술되어 있으나, 도 26에 도시된 단계들은 전자기기의 프로세서(71)의 요청에 따라 전자기기에서 실행 중인 어플리케이션의 서비스를 제공하는 서버에 의해 수행될 수도 있다.23 is an example of a detailed flowchart of step 2211 illustrated in FIG. 22. Referring to FIG. 23, step 2211 shown in FIG. 22, that is, estimating the state information of an object is an electronic device shown in FIGS. 1-3 and 21 and is a complex sensor according to the embodiment shown in FIGS. 4-20 ( 5) is composed of steps processed in time series in the electronic device including. Accordingly, even if omitted below, the contents described above with respect to the electronic device illustrated in FIGS. 1-3 and 21 and the composite sensor 5 illustrated in FIGS. 4-20 also apply to the steps described below. Hereinafter, the steps shown in FIG. 26 are described as being performed by the processor 71 of the electronic device. However, the steps shown in FIG. 26 are performed by an application running in the electronic device according to the request of the processor 71 of the electronic device. It may also be performed by a server providing a service.

2301 단계에서 전자기기의 프로세서(71)는 복합센서(5)로부터 물체의 스펙트럼을 나타내는 신호를 입력받고, 입력된 신호로부터 물체의 스펙트럼을 생성한다. 복합센서(5)로부터 프로세서(71)로 물체의 스펙트럼을 나타내는 신호가 시리얼로 연속적으로 입력된다. 프로세서(71)는 이와 같이 시리얼로 연속 입력되는 신호를 2차원의 곡선 그래프로 변환함으로써 물체의 스펙트럼을 생성할 수 있다. 2302 단계에서 전자기기의 프로세서(71)는 2301 단계에서 생성된 물체의 스펙트럼의 형태와 메모리(74)에 저장된 다수의 샘플 스펙트럼 각각의 형태를 비교한다. 프로세서(71)는 물체의 스펙트럼의 형태와 다수의 샘플 스펙트럼 각각의 형태를 비교하는 과정을 통하여 다수의 샘플 스펙트럼 각각에 대한 물체의 스펙트럼의 유사도를 산출한다. 2303 단계에서 전자기기의 프로세서(71)는 2302 단계에서의 비교 결과에 따라 메모리(74)에 저장된 다수의 샘플 스펙트럼 중에서 2211 단계에서 생성된 물체의 스펙트럼의 형태와 가장 유사한 형태를 갖는 두 개의 샘플 스펙트럼을 선정한다. In step 2301, the processor 71 of the electronic device receives a signal representing the spectrum of the object from the composite sensor 5, and generates a spectrum of the object from the input signal. A signal representing the spectrum of the object is input serially from the composite sensor 5 to the processor 71. The processor 71 may generate a spectrum of an object by converting a serially input signal into a two-dimensional curve graph. In step 2302, the processor 71 of the electronic device compares the shape of the spectrum of the object generated in step 2301 with the shape of each of a plurality of sample spectra stored in the memory 74. The processor 71 calculates the similarity of the spectrum of the object to each of the plurality of sample spectra through a process of comparing the shape of the spectrum of the object and the shape of each of the plurality of sample spectra. In step 2303, the processor 71 of the electronic device has two sample spectra having a shape most similar to the shape of the spectrum of the object generated in step 2211 among the plurality of sample spectra stored in the memory 74 according to the comparison result in step 2302. Select.

즉, 프로세서(71)는 메모리(74)에 저장된 다수의 샘플 스펙트럼 중에서 2301 단계에서 생성된 물체의 스펙트럼과 가장 높은 유사도를 갖는 두 개의 샘플 스펙트럼을 선정할 수 있다. 여기에서, 2301 단계에서 생성된 물체의 스펙트럼과 메모리(74)에 저장된 어떤 샘플 스펙트럼간의 유사도는 물체의 스펙트럼의 형태와 샘플 스펙트럼의 형태가 서로 얼마나 유사한가를 백분율로 나타낸 값이다. 상술한 바와 같이, 본 실시예의 복합센서(5)는 물체 속에 적외선이 침투한 후에 다시 물체 표면으로 되돌아와 방출되는 빛을 복수의 대역별로 필터링하고, 이와 같이 필터링된 각 대역별 빛의 강도를 전기적 신호로 변환함으로써 물체의 스펙트럼을 나타내는 신호를 생성한다. 프로세서(71)는 서로 대응되는 물체의 스펙트럼의 각 대역별 강도와 샘플 스펙트럼에서의 각 대역별 강도간의 차이를 이용하여 물체의 스펙트럼과 샘플 스펙트럼간의 유사도를 산출할 수 있다.That is, the processor 71 may select two sample spectra having the highest similarity to the spectrum of the object generated in step 2301 among the multiple sample spectra stored in the memory 74. Here, the similarity between the spectrum of the object generated in step 2301 and a certain sample spectrum stored in the memory 74 is a value in percentage of how similar the shape of the spectrum of the object and the shape of the sample spectrum are to each other. As described above, the composite sensor 5 of the present embodiment filters the light emitted by returning to the object surface again after the infrared rays penetrate into the object by a plurality of bands, and electrically filters the intensity of the light for each band thus filtered. By converting to a signal, a signal representing the spectrum of the object is generated. The processor 71 may calculate the similarity between the spectrum of the object and the sample spectrum by using the difference between the intensity of each band of the spectrum of the object corresponding to each other and the intensity of each band in the sample spectrum.

도 24는 도 22에 도시된 2211 단계에서 사용되는 스펙트럼의 일례를 도시한 도면이고, 도 25는 도 22에 도시된 2211 단계에서 사용되는 스펙트럼의 다른 예를 도시한 도면이다. 물체의 표면에 조사된 적외선이 물체 속에 침투한 후에 다시 물체 표면으로 되돌아와 방출되는 빛의 강도는 물체의 표면에 조사된 적외선과 이것이 물체 속에 침투한 후에 다시 물체 표면으로 되돌아와 방출됨에 따라 복합센서(5)로 입사되는 빛의 비율, 즉 물체의 표면에 조사된 적외선의 반사율로 표현될 수 있다. 도 24, 25를 참조하면, 프로세서(71)는 복합센서(5)로부터 연속적으로 입력되는 신호가 나타내는 빛의 강도를 x축이 물체의 표면에 조사된 적외선의 파장대역을 나타내고, y축이 물체의 표면에 조사된 적외선의 반사율을 나타내는 2차원 좌표계에 매핑함으로써 물체의 스펙트럼을 생성할 수 있다.FIG. 24 is a diagram showing an example of the spectrum used in step 2211 shown in FIG. 22, and FIG. 25 is a diagram showing another example of the spectrum used in step 2211 shown in FIG. The intensity of the emitted light after returning to the surface of the object after the infrared rays that have penetrated the surface of the object penetrates into the object is emitted. It can be expressed as the ratio of the light incident to (5), that is, the reflectance of infrared rays irradiated on the surface of the object. Referring to FIGS. 24 and 25, the processor 71 represents the intensity of light indicated by the signal continuously input from the complex sensor 5, and the x-axis represents the wavelength band of infrared light irradiated onto the surface of the object, and the y-axis represents the object. Spectra of an object can be generated by mapping to a two-dimensional coordinate system representing the reflectance of infrared rays irradiated on the surface of.

도 24에는 물체가 사과이고, 물체의 상태 정보가 사과 당도인 경우인 예가 도시되어 있다. 도 24의 (a)에는 사과의 당도 추정에 사용되는 샘플 스펙트럼의 일례가 도시되어 있다. 각 샘플 스펙트럼은 본 실시예의 복합센서(5)를 이용하여 서로 다른 당도를 갖는 여러 개의 샘플 사과에 대해 측정된 당도별 스펙트럼이다. 샘플 스펙트럼 A는 샘플 사과의 당도가 8.8 브릭스인 경우의 스펙트럼이다. 샘플 스펙트럼 B는 샘플 사과의 당도가 10.5 브릭스인 경우의 스펙트럼이다. 샘플 스펙트럼 D는 샘플 사과의 당도가 12.3 브릭스인 경우의 스펙트럼이다. 샘플 스펙트럼 D는 샘플 사과의 당도가 14.7 브릭스인 경우의 스펙트럼이다. 이것으로부터, 사과의 당도가 높을수록 적외선 흡수율이 높기 때문에 사과의 표면에 조사된 적외선의 반사율이 낮게 나옴을 알 수 있다. 24 illustrates an example in which the object is an apple and the state information of the object is apple sugar content. 24(a) shows an example of a sample spectrum used to estimate the sugar content of apples. Each sample spectrum is a sugar-specific spectrum measured for several sample apples having different sugar content using the composite sensor 5 of this embodiment. Sample spectrum A is a spectrum when the sugar content of the sample apple is 8.8 Briggs. Sample spectrum B is a spectrum when the sugar content of the sample apple is 10.5 Brix. The sample spectrum D is a spectrum when the sugar content of the sample apple is 12.3 Briggs. Sample spectrum D is a spectrum when the sugar content of the sample apple is 14.7 Briggs. From this, it can be seen that the higher the sugar content of the apple, the higher the infrared absorption rate, and the lower the reflectance of infrared light irradiated on the surface of the apple.

각 샘플 스펙트럼은 어느 하나의 사과에 대해 각 분광필터(521)의 대역별로 한 번 측정된 강도를 나타내는 스펙트럼일 수도 있고, 사과의 당도별 스펙트럼의 신뢰도를 높이기 위해서 어느 하나의 사과에 대해 각 분광필터(521)의 대역별로 여러 번 측정된 강도들의 평균을 나타내는 스펙트럼일 수도 있다. 예를 들어, 샘플 스펙트럼 A는 당도가 8.8 브릭스인 어떤 사과에 대해 본 실시예의 복합센서(5)를 이용하여 520 ~ 910nm 대역에 걸쳐 각 분광필터(521)의 대역별로 한 번 측정된 강도를 나타내는 스펙트럼일 수도 있고, 520 ~ 910nm 대역에 걸쳐 각 분광필터(521)의 대역별로 여러 번 측정된 강도들의 평균을 나타내는 스펙트럼일 수도 있다. Each sample spectrum may be a spectrum showing the intensity measured once for each band of each spectral filter 521 for any one apple, or each spectral filter for any one apple to increase the reliability of the spectrum for each sugar content of the apple It may be a spectrum showing the average of the intensities measured several times for each band of (521). For example, the sample spectrum A represents the intensity measured once for each band of each spectral filter 521 over the 520 to 910 nm band using the composite sensor 5 of this embodiment for an apple with a sugar content of 8.8 Brix. It may be a spectrum, or may be a spectrum showing an average of intensities measured several times for each band of each spectroscopic filter 521 over a band of 520 to 910 nm.

도 25에는 물체가 얼굴 피부이고, 물체의 상태 정보가 얼굴 피부의 멜라닌 농도인 경우인 예가 도시되어 있다. 도 25의 (a)에는 얼굴 피부의 멜라닌 농도 추정에 사용되는 샘플 스펙트럼의 일례가 도시되어 있다. 각 샘플 스펙트럼은 본 실시예의 복합센서(5)를 이용하여 서로 다른 멜라닌 농도를 갖는 여러 얼굴 피부에 대해 측정된 농도별 스펙트럼이다. 샘플 스펙트럼 A는 샘플 얼굴 피부의 멜라닌 농도가 10%인 경우의 스펙트럼이다. 샘플 스펙트럼 B는 샘플 얼굴 피부의 멜라닌 농도가 20%인 경우의 스펙트럼이다. 샘플 스펙트럼 D는 샘플 얼굴 피부의 멜라닌 농도가 30%의 스펙트럼이다. 샘플 스펙트럼 D는 샘플 얼굴 피부의 멜라닌 농도가 40%인 경우의 스펙트럼이다. 이것으로부터, 얼굴 피부의 멜라닌 농도가 높을수록 적외선 흡수율이 높기 때문에 얼굴 피부의 표면에 조사된 적외선의 반사율이 낮게 나옴을 알 수 있다. 25 illustrates an example in which the object is a facial skin and the state information of the object is a melanin concentration of the facial skin. 25A shows an example of a sample spectrum used for estimating melanin concentration in facial skin. Each sample spectrum is a concentration-specific spectrum measured for various facial skins having different melanin concentrations using the complex sensor 5 of this embodiment. Sample spectrum A is a spectrum when the melanin concentration of the sample facial skin is 10%. Sample spectrum B is a spectrum when the melanin concentration of the sample facial skin is 20%. The sample spectrum D is a spectrum in which the melanin concentration of the sample facial skin is 30%. The sample spectrum D is a spectrum when the melanin concentration of the sample facial skin is 40%. From this, it can be seen that the higher the melanin concentration of the facial skin, the higher the infrared absorption rate, and thus the lower the reflectance of infrared rays irradiated on the surface of the facial skin.

각 샘플 스펙트럼은 어느 한 사람의 얼굴 피부에 대해 각 분광필터(521)의 대역별로 한 번 측정된 강도를 나타내는 스펙트럼일 수도 있고, 얼굴 피부의 멜라닌 농도별 스펙트럼의 신뢰도를 높이기 위해서 어느 한 사람의 얼굴 피부에 대해 각 분광필터(521)의 대역별로 여러 번 측정된 강도들의 평균을 나타내는 스펙트럼일 수도 있다. 예를 들어, 샘플 스펙트럼 A는 멜라닌 농도가 10%인 어떤 얼굴 피부에 대해 본 실시예의 복합센서(5)를 이용하여 350 ~ 850nm 대역에 걸쳐 각 분광필터(521)의 대역별로 한 번 측정된 강도를 나타내는 스펙트럼일 수도 있고, 350 ~ 850nm 대역에 걸쳐 각 분광필터(521)의 대역별로 여러 번 측정된 강도들의 평균을 나타내는 스펙트럼일 수도 있다. 도 24, 25에 도시된 예들로부터 물체의 종류에 따라 물체의 분광 특성이 두드러지는 파장대역이 달라질 수 있음을 알 수 있고, 그 파장대역은 적외선 대역 외에 가시광선 대역을 더 포함할 수 있음을 알 수 있다.Each sample spectrum may be a spectrum showing the intensity measured once for each band of each spectral filter 521 for one person's face skin, or to increase the reliability of the spectrum for each melanin concentration of the face skin. It may also be a spectrum showing the average of the intensities measured several times for each band of the spectral filter 521 for the skin. For example, the sample spectrum A is the intensity measured once for each band of each spectral filter 521 over the 350 to 850 nm band using the composite sensor 5 of this embodiment for any facial skin having a melanin concentration of 10%. It may be a spectrum representing or may be a spectrum representing an average of intensities measured several times for each band of each spectral filter 521 over a band of 350 to 850 nm. It can be seen from the examples shown in FIGS. 24 and 25 that a wavelength band in which the spectral characteristic of the object is prominent may vary depending on the type of object, and the wavelength band may further include a visible light band in addition to the infrared band. Can.

수학식 1에서 "Vx"는 2302 단계에서 선정된 두 개의 샘플 스펙트럼 중 제 1 샘플 스펙트럼을 갖는 제 1 샘플 물체의 상태 정보의 값, 예를 들어 제 1 샘플 사과의 당도를 의미하고, "Wx"는 제 1 샘플 스펙트럼의 가중치를 의미한다. "Vy"는 2302 단계에서 선정된 두 개의 샘플 스펙트럼 중 제 2 샘플 스펙트럼을 갖는 제 2 샘플 물체의 상태 정보의 값, 예를 들어 제 2 샘플 사과의 당도를 의미하고, "Wy"는 제 2 샘플 스펙트럼의 가중치를 의미한다. "Vz"는 수학식 1에 따라 산출된 물체의 상태 정보의 값을 의미한다. "Sx"는 2211 단계에서 생성된 물체의 스펙트럼과 제 1 샘플 스펙트럼간의 유사도를 의미하고, "Sy"는 2211 단계에서 생성된 물체의 스펙트럼과 제 2 샘플 스펙트럼간의 유사도를 의미한다.In Equation 1, "Vx" means the value of the state information of the first sample object having the first sample spectrum among the two sample spectra selected in step 2302, for example, the sugar content of the first sample apple, and "Wx" Denotes the weight of the first sample spectrum. "Vy" means the value of the state information of the second sample object having the second sample spectrum among the two sample spectra selected in step 2302, for example, the sugar content of the second sample apple, and "Wy" is the second sample It means the weight of spectrum. "Vz" means the value of the state information of the object calculated according to equation (1). "Sx" means the similarity between the spectrum of the object generated in step 2211 and the first sample spectrum, and "Sy" means the similarity between the spectrum of the object generated in step 2211 and the second sample spectrum.

2304 단계에서 전자기기의 프로세서(71)는 2303 단계에서 선정된 두 개의 샘플 스펙트럼 각각에 대한 2301 단계에서 생성된 물체의 스펙트럼의 유사도로부터 2303 단계에서 선정된 두 개의 샘플 스펙트럼 각각의 가중치를 산출한다. 보다 상세하게 설명하면, 프로세서(71)는 상기된 수학식 1에 따라 2301 단계에서 생성된 물체의 스펙트럼과 2303 단계에서 선정된 두 개의 샘플 스펙트럼 중 제 1 샘플 스펙트럼간의 유사도 "Sx"와 2301 단계에서 생성된 물체의 스펙트럼과 2303 단계에서 선정된 두 개의 샘플 스펙트럼 중 제 2 샘플 스펙트럼간의 유사도 "Sy"를 합산하고, 물체의 스펙트럼과 제 1 샘플 스펙트럼간의 유사도 "Sx"를 유사도 합산값으로 나눔으로써 제 1 샘플 스펙트럼의 가중치 "Wx"를 산출하고, 물체의 스펙트럼과 제 2 샘플 스펙트럼간의 유사도 "Sy"를 유사도 합산값으로 나눔으로써 제 2 샘플 스펙트럼의 가중치 "Wy"를 산출한다. In step 2304, the processor 71 of the electronic device calculates the weight of each of the two sample spectra selected in step 2303 from the similarity of the spectrum of the object generated in step 2301 to each of the two sample spectra selected in step 2303. In more detail, the processor 71 performs the similarity between the spectrum of the object generated in step 2301 and the first sample spectrum among the two sample spectra selected in step 2303 according to Equation 1 described above in step 2301. The similarity "Sy" between the spectrum of the generated object and the second sample spectrum of the two sample spectra selected in step 2303 is added, and the similarity "Sx" between the spectrum of the object and the first sample spectrum is divided by the sum of similarity values. The weight "Wx" of the one sample spectrum is calculated, and the weight "Wy" of the second sample spectrum is calculated by dividing the similarity "Sy" between the spectrum of the object and the second sample spectrum by the sum of similarities.

도 24의 (b)에는 도 24의 (a)에 도시된 샘플 스펙트럼 A~D 외에 2301 단계에서 생성된 물체의 스펙트럼 E가 추가적으로 도시되어 있다. 도 24의 (b)에 도시된 예에 따르면, 2211 단계에서 생성된 물체의 스펙트럼 E의 형태와 가장 유사한 형태를 갖는 두 개의 샘플 스펙트럼은 샘플 스펙트럼 C와 샘플 스펙트럼 D이다. 도 24의 (b)에 도시된 예에 따르면, "Vx"는 샘플 스펙트럼 C의 당도를 의미하고, "Wx"는 샘플 스펙트럼 C의 가중치를 의미한다. "Vy"는 샘플 스펙트럼 D의 당도를 의미하고, "Wy"는 샘플 스펙트럼 D의 가중치를 의미한다. "Sx"는 물체의 스펙트럼 E와 샘플 스펙트럼 C간의 유사도를 의미하고, "Sy"는 물체의 스펙트럼 E와 샘플 스펙트럼 D간의 유사도를 의미한다. 24(b) shows the spectrum E of the object generated in step 2301 in addition to the sample spectra A to D shown in FIG. 24(a). According to the example shown in FIG. 24B, the two sample spectra having the shape most similar to the shape of the spectrum E of the object generated in step 2211 are sample spectrum C and sample spectrum D. According to the example shown in (b) of FIG. 24, “Vx” means the sugar content of the sample spectrum C, and “Wx” means the weight of the sample spectrum C. "Vy" means the sugar content of the sample spectrum D, and "Wy" means the weight of the sample spectrum D. "Sx" means the similarity between the spectrum E and the sample spectrum C of the object, and "Sy" means the similarity between the spectrum E and the sample spectrum D of the object.

도 24의 (b)에 도시된 예에서 물체의 스펙트럼 E와 샘플 스펙트럼 C간의 유사도 "Sx"가 88%이고, 물체의 스펙트럼 E와 샘플 스펙트럼 D간의 유사도 "Sy"가 64%라고 한다면, 프로세서(71)는 물체의 스펙트럼 E와 샘플 스펙트럼 C간의 유사도 "88"과 물체의 스펙트럼 E와 샘플 스펙트럼 D간의 유사도 "64"를 합산하고, 유사도 "88"을 유사도 "88"과 유사도 "64"의 합산값 "152"로 나눔으로써 샘플 스펙트럼 C의 가중치 "Wx"를 산출한다. 이 경우, 샘플 스펙트럼 C의 가중치 "Wx"는 약 0.58이다. 또한, 프로세서(71)는 유사도 "64"를 유사도 "88"과 유사도 "64"의 합산값 "152"로 나눔으로써 샘플 스펙트럼 D의 가중치 "Wy"를 산출한다. 이 경우, 샘플 스펙트럼 D의 가중치 "Wy"는 약 0.42이다. In the example shown in (b) of FIG. 24, if the similarity "Sx" between the spectrum E and the sample spectrum C of the object is 88%, and the similarity "Sy" between the spectrum E and the sample spectrum D of the object is 64%, the processor ( 71) sums the similarity "88" between the spectrum E and the sample spectrum C of the object and the similarity "64" between the spectrum E and the sample spectrum D of the object, and adds the similarity "88" to the similarity "88" and the similarity "64". The weight "Wx" of the sample spectrum C is calculated by dividing by the value "152". In this case, the weight "Wx" of the sample spectrum C is about 0.58. Further, the processor 71 calculates the weight "Wy" of the sample spectrum D by dividing the similarity "64" by the sum value "152" of the similarity "88" and the similarity "64". In this case, the weight "Wy" of the sample spectrum D is about 0.42.

도 25의 (b)에는 도 25의 (a)에 도시된 샘플 스펙트럼 A~D 외에 2301 단계에서 생성된 물체의 스펙트럼 E가 추가적으로 도시되어 있다. 도 25의 (b)에 도시된 예에 따르면, 2211 단계에서 생성된 물체의 스펙트럼 E의 형태와 가장 유사한 형태를 갖는 두 개의 샘플 스펙트럼은 샘플 스펙트럼 A와 샘플 스펙트럼 B이다. 도 24의 (b)에 도시된 예에 따르면, "Vx"는 샘플 스펙트럼 A의 멜라닌 농도를 의미하고, "Wx"는 샘플 스펙트럼 A의 가중치를 의미한다. "Vy"는 샘플 스펙트럼 B의 멜라닌 농도를 의미하고, "Wy"는 샘플 스펙트럼 B의 가중치를 의미한다. "Sx"는 물체의 스펙트럼 E와 샘플 스펙트럼 A간의 유사도를 의미하고, "Sy"는 물체의 스펙트럼 E와 샘플 스펙트럼 B간의 유사도를 의미한다. In FIG. 25B, in addition to the sample spectra A to D shown in FIG. 25A, the spectrum E of the object generated in step 2301 is additionally illustrated. According to the example shown in (b) of FIG. 25, the two sample spectra having the shape most similar to the shape of spectrum E of the object generated in step 2211 are sample spectrum A and sample spectrum B. According to the example shown in (b) of FIG. 24, "Vx" means the melanin concentration of sample spectrum A, and "Wx" means the weight of sample spectrum A. "Vy" means the melanin concentration of sample spectrum B, and "Wy" means the weight of sample spectrum B. "Sx" means the similarity between the spectrum E and the sample spectrum A of the object, and "Sy" means the similarity between the spectrum E and the sample spectrum B of the object.

도 25의 (b)에 도시된 예에서 물체의 스펙트럼 E와 샘플 스펙트럼 A간의 유사도 "Sx"가 60%이고, 물체의 스펙트럼 E와 샘플 스펙트럼 B간의 유사도 "Sy"가 90%라고 한다면, 프로세서(71)는 물체의 스펙트럼 E와 샘플 스펙트럼 A간의 유사도 "60"과 물체의 스펙트럼 E와 샘플 스펙트럼 B간의 유사도 "90"을 합산하고, 유사도 "60"을 유사도 "60"과 유사도 "90"의 합산값 "150"으로 나눔으로써 샘플 스펙트럼 A의 가중치 "Wx"를 산출한다. 이 경우, 샘플 스펙트럼 A의 가중치 "Wx"는 0.4이다. 또한, 프로세서(71)는 유사도 "90"을 유사도 "60"과 유사도 "90"의 합산값 "150"으로 나눔으로써 샘플 스펙트럼 B의 가중치 "Wy"를 산출한다. 이 경우, 샘플 스펙트럼 B의 가중치 "Wy"는 0.6이다. In the example shown in (b) of FIG. 25, if the similarity "Sx" between the spectrum E and the sample spectrum A of the object is 60%, and the similarity "Sy" between the spectrum E and the sample spectrum B of the object is 90%, the processor ( 71) sums the similarity "60" between the spectrum E and the sample spectrum A of the object and the similarity "90" between the spectrum E and the sample spectrum B of the object, and adds the similarity "60" to the similarity "60" and the similarity "90". The weight "Wx" of the sample spectrum A is calculated by dividing by the value "150". In this case, the weight "Wx" of the sample spectrum A is 0.4. Further, the processor 71 calculates the weight "Wy" of the sample spectrum B by dividing the similarity "90" by the sum value "150" of the similarity "60" and the similarity "90". In this case, the weight "Wy" of the sample spectrum B is 0.6.

2305 단계에서 전자기기의 프로세서(71)는 2303 단계에서 선정된 두 개의 샘플 스펙트럼을 갖는 두 개의 샘플 물체 각각의 상태 정보와 2304 단계에서 산출된 두 개의 샘플 스펙트럼 각각의 가중치로부터 물체의 상태 정보의 값을 산출함으로써 물체의 상태 정보를 추정한다. 보다 상세하게 설명하면, 프로세서(71)는 상기된 수학식 1에 따라 2303 단계에서 선정된 두 개의 샘플 스펙트럼 중 제 1 샘플 스펙트럼을 갖는 제 1 샘플 물체의 상태 정보의 값 "Vx"에 2304 단계에서 산출된 제 1 샘플 스펙트럼의 가중치 "Wx"를 곱하고, 2303 단계에서 선정된 두 개의 샘플 스펙트럼 중 제 2 샘플 스펙트럼을 갖는 제 2 샘플 물체의 상태 정보의 값 "Vy"에 2304 단계에서 산출된 제 2 샘플 스펙트럼의 가중치 "Wy"를 곱한다. 이어서, 프로세서(71)는 제 1 샘플 물체의 상태 정보의 값 "Vx"에 제 1 샘플 스펙트럼의 가중치 "Wx"를 곱한 값과 제 2 샘플 물체의 상태 정보의 값 "Vy"에 제 2 샘플 스펙트럼의 가중치 "Wy"를 곱한 값을 합산함으로써 물체의 상태 정보의 값 "Vz"를 산출한다.In step 2305, the processor 71 of the electronic device is the value of the state information of the object from the weight of each of the two sample objects having two sample spectra selected in step 2303 and the weight of each of the two sample spectra calculated in step 2304 Estimate the state information of the object by calculating. In more detail, the processor 71 in step 2304 to the value "Vx" of the state information of the first sample object having the first sample spectrum of the two sample spectra selected in step 2303 according to the above equation (1) The second value calculated in step 2304 is multiplied by the weight "Wx" of the calculated first sample spectrum, and the value "Vy" of the state information of the second sample object having the second sample spectrum among the two sample spectra selected in step 2303 Multiply the sample spectrum weight "Wy". Subsequently, the processor 71 multiplies the value "Vx" of the state information of the first sample object by the weight "Wx" of the first sample spectrum and the second sample spectrum to the value "Vy" of the state information of the second sample object. The value multiplied by "Wy" is calculated to calculate the value "Vz" of the state information of the object.

도 24의 (b)에 도시된 예에 따르면, 프로세서(71)는 샘플 스펙트럼 C를 갖는 샘플 사과의 당도 "12.3"에 샘플 스펙트럼 C의 가중치 "0.58"를 곱하고, 샘플 스펙트럼 D를 갖는 샘플 사과의 당도 "14.7"에 샘플 스펙트럼 D의 가중치 "0.42"를 곱한다. 이어서, 프로세서(71)는 당도 "12.3"에 가중치 "0.58"를 곱한 값 "7.13"과 당도 "14.7"에 가중치 "0.42"를 곱한 값 "6.17"을 합산함으로써 물체의 당도 "Vz"를 산출할 수 있다. 이 경우, 본 실시예에 따라 추정된 사과의 당도는 약 13.3 브릭스이다. 도 25의 (b)에 도시된 예에 따르면, 프로세서(71)는 샘플 스펙트럼 A를 갖는 샘플 얼굴 피부의 멜라닌 농도 "10"에 샘플 스펙트럼 A의 가중치 "0.4"를 곱하고, 샘플 스펙트럼 B를 갖는 샘플 얼굴 피부의 멜라닌 농도 "20"에 샘플 스펙트럼 B의 가중치 "0.6"를 곱한다. 이어서, 프로세서(71)는 멜라닌 농도 "10"에 가중치 "0.4"를 곱한 값 "4"와 멜라닌 농도 "20"에 가중치 "0.6"을 곱한 값 "12"을 합산함으로써 전자기기 사용자의 얼굴 피부의 멜라닌 농도 "Vz"를 산출할 수 있다. 이 경우, 본 실시예에 따라 추정된 사용자의 얼굴 피부의 멜라닌 농도는 16%이다. 도 23에 도시된 물체의 상태 추정 방법에 따르면, 물체의 스펙트럼의 형태와 가장 유사한 형태를 갖는 두 개의 스펙트럼을 갖는 두 개의 샘플 물체 각각의 상태 정보에 두 개의 스펙트럼 각각에 대한 물체의 스펙트럼의 유사도를 반영함으로써 물체의 상태 정보를 추정한다. According to the example shown in Fig. 24B, the processor 71 multiplies the weight of the sample spectrum C by a weight of "0.58" by the sugar content "12.3" of the sample apple with the sample spectrum C, and the sample apple with the sample spectrum D. The sugar content "14.7" is multiplied by the weight "0.42" of the sample spectrum D. Subsequently, the processor 71 calculates the sugar content "Vz" of the object by adding the value "7.13" multiplied by the sugar content "12.3" by the weight "0.58" and the value "6.17" multiplied by the sugar content "14.7" by the weight "0.42". Can. In this case, the sugar content of the apple estimated according to this embodiment is about 13.3 brix. According to the example shown in Fig. 25B, the processor 71 multiplies the melanin concentration "10" of the sample facial skin having the sample spectrum A by the weight "0.4" of the sample spectrum A, and the sample having the sample spectrum B The melanin concentration "20" of the facial skin is multiplied by the weight "0.6" of the sample spectrum B. Subsequently, the processor 71 sums up the value "4" multiplied by the weight "0.4" by the melanin concentration "10" and the value "12" multiplied by the weight "0.6" by the melanin concentration "20", thereby reducing the skin The melanin concentration "Vz" can be calculated. In this case, the melanin concentration of the facial skin of the user estimated according to the present embodiment is 16%. According to the method of estimating the state of an object shown in FIG. 23, the similarity of the spectrum of an object to each of the two spectra is obtained from the state information of each of two sample objects having two spectra having the form most similar to the form of the spectrum of the object. Estimate the state information of the object by reflecting it.

도 26은 도 24에 도시된 2411 단계의 상세 흐름도의 다른 예이다. 도 26을 참조하면, 도 24에 도시된 2411 단계, 즉 물체의 상태 정보를 추정하는 단계는 도 1-3, 21에 도시된 전자기기로서 도 4-20에 도시된 실시예에 따른 복합센서(5)를 포함하는 전자기기에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1-3, 21에 도시된 전자기기 및 도 4-20에 도시된 복합센서(5)에 관하여 이상에서 기술된 내용은 이하에서 기술될 단계들에도 적용된다. 이하에서 도 26에 도시된 단계들은 전자기기의 프로세서(71)에 의해 수행되는 것으로 기술되어 있으나, 도 26에 도시된 단계들은 전자기기의 프로세서(71)의 요청에 따라 전자기기에서 실행 중인 어플리케이션의 서비스를 제공하는 서버에 의해 수행될 수도 있다.26 is another example of a detailed flowchart of step 2411 illustrated in FIG. 24. Referring to FIG. 26, step 2411 illustrated in FIG. 24, that is, estimating the state information of the object is an electronic device illustrated in FIGS. 1-3 and 21 and is a composite sensor according to the embodiment illustrated in FIGS. 4-20 ( 5) is composed of steps processed in time series in the electronic device including. Accordingly, even if omitted below, the contents described above with respect to the electronic device illustrated in FIGS. 1-3 and 21 and the composite sensor 5 illustrated in FIGS. 4-20 also apply to the steps described below. Hereinafter, the steps shown in FIG. 26 are described as being performed by the processor 71 of the electronic device. However, the steps shown in FIG. 26 are performed by an application running in the electronic device according to the request of the processor 71 of the electronic device. It may also be performed by a server providing a service.

2601 단계에서 전자기기의 프로세서(71)는 복합센서(5)로부터 물체의 스펙트럼을 나타내는 신호를 입력받고, 입력된 신호로부터 물체의 스펙트럼을 생성한다. 2601 단계는 2501 단계와 동일하므로 2601 단계에 대한 보다 상세한 설명은 2501 단계에 대한 설명으로 갈음하기로 한다. 2602 단계에서 전자기기의 프로세서(71)는 2601 단계에서 생성된 물체의 스펙트럼의 형태를 컨볼루션 신경망에 입력한다. 2603 단계에서 전자기기의 프로세서(71)는 2602 단계에서의 스펙트럼 입력에 대한 응답으로서 컨볼루션 신경망으로부터 출력된 데이터가 나타내는 상태 정보를 획득하고, 이와 같이 획득된 상태 정보를 물체의 상태 정보로 추정한다. 여기에서, 컨볼루션 신경망은 다수의 샘플 물체 각각의 스펙트럼의 형태와 상태 정보를 이용하여 학습된 것이다. 이와 같이 학습된 컨볼루션 신경망에 어떤 스펙트럼 형태가 입력되면, 그 스펙트럼 형태에 해당하는 상태 정보가 컨볼루션 신경망으로부터 출력된다. 프로세서(71)는 컨볼루션 신경망으로부터 출력된 상태 정보를 물체의 상태 정보로 추정한다.In step 2601, the processor 71 of the electronic device receives a signal representing the spectrum of the object from the complex sensor 5, and generates a spectrum of the object from the input signal. Since step 2601 is the same as step 2501, a more detailed description of step 2601 will be replaced with a description of step 2501. In step 2602, the processor 71 of the electronic device inputs the shape of the spectrum of the object generated in step 2601 into the convolutional neural network. In step 2603, the processor 71 of the electronic device acquires state information indicated by the data output from the convolutional neural network in response to the spectrum input in step 2602, and estimates the obtained state information as state information of the object . Here, the convolutional neural network is learned by using the shape and state information of the spectrum of each of a plurality of sample objects. When a certain spectral form is input to the learned convolutional neural network, state information corresponding to the spectral form is output from the convolutional neural network. The processor 71 estimates the state information output from the convolutional neural network as the state information of the object.

도면의 복잡도를 낮추어 본 실시예가 쉽게 이해될 수 있도록, 도 26에는 입력층(input layer), 은닉층(hidden layer), 및 출력층(output layer)으로 구성된 매우 단순한 구조의 신경망이 도시되어 있다. 본 실시예에 사용되는 컨볼루션 신경망은 이러한 신경망에 해당하는 완전연결계층(fully connected layer)에 여러 개의 컨볼루션 계층(convolutional layer)을 붙인 복잡한 구조로 되어 있다. 컨볼루션 계층은 컨볼루션 신경망에 입력된 이미지로부터 그 이미지의 특징을 추출하는 역할을 하고, 신경망 계층은 이 특징을 기반으로 이미지에 해당하는 정보를 추론하여 출력한다. 컨볼루션 신경망의 학습은 이것에 다수의 이미지와 각 이미지 별 정보를 입력함으로써 이루어진다. 이러한 학습이 완료된 컨볼루션 신경망에 임의의 이미지가 입력되면, 컨볼루션 신경망은 미리 학습된 바에 따라 그 이미지에 해당하는 정보를 추론하여 출력한다. In order to lower the complexity of the drawing and make this embodiment easy to understand, FIG. 26 shows a neural network having a very simple structure composed of an input layer, a hidden layer, and an output layer. The convolutional neural network used in the present embodiment has a complex structure in which several convolutional layers are attached to a fully connected layer corresponding to the neural network. The convolution layer serves to extract features of the image from the image input to the convolutional neural network, and the neural network layer infers and outputs information corresponding to the image based on this feature. Learning of the convolutional neural network is achieved by inputting multiple images and information for each image. When an arbitrary image is input to the convolutional neural network in which learning is completed, the convolutional neural network infers and outputs information corresponding to the image as previously learned.

본 실시예의 컨볼루션 신경망의 학습은 이것에 어떤 샘플 물체의 스펙트럼 형태와 이것의 상태 정보를 입력하는 과정을 수많은 샘플 물체에 대해 반복함으로써 이루어지게 된다. 이와 같이 학습된 컨볼루션 신경망에 임의의 물체의 스펙트럼 형태가 입력되면, 컨볼루션 신경망은 미리 학습된 바에 따라 그 물체의 스펙트럼 형태의 특징을 기반으로 그 물체의 상태 정보를 추론하여 출력한다. 예를 들어, 컨볼루션 신경망에 어떤 샘플 사과의 스펙트럼 형태와 이것의 당도를 입력하는 과정을 수많은 샘플 사과에 대해 반복함으로써 컨볼루션 신경망의 학습이 이루어질 수 있다. 이와 같이 학습된 컨볼루션 신경망에 사용자가 선택한 사과의 스펙트럼 형태가 입력되면, 컨볼루션 신경망은 미리 학습된 바에 따라 그 사과의 스펙트럼 형태의 특징을 기반으로 그 사과의 상태 정보를 추론하여 출력한다. The learning of the convolutional neural network of this embodiment is achieved by repeating the process of inputting the spectral form of a sample object and its state information to a number of sample objects. When the spectral form of an arbitrary object is input to the learned convolutional neural network, the convolutional neural network infers and outputs the state information of the object based on the characteristics of the spectral form of the object as previously learned. For example, learning of a convolutional neural network can be achieved by repeating the process of inputting the spectral form of a sample apple and its sugar content into a convolutional neural network for a number of sample apples. When the spectral form of the apple selected by the user is input to the learned convolutional neural network, the convolutional neural network infers and outputs the state information of the apple based on the characteristics of the spectral form of the apple as previously learned.

아니면, 컨볼루션 신경망에 어떤 샘플 얼굴 피부의 스펙트럼 형태와 이것의 멜라닌 농도를 입력하는 과정을 수많은 샘플 얼굴 피부에 대해 반복함으로써 컨볼루션 신경망의 학습이 이루어질 수 있다. 이와 같이 학습된 컨볼루션 신경망에 사용자의 얼굴 피부의 스펙트럼 형태가 입력되면, 컨볼루션 신경망은 미리 학습된 바에 따라 그 얼굴 피부의 스펙트럼 형태의 특징을 기반으로 그 얼굴 피부의 상태 정보를 추론하여 출력한다. 컨볼루션 신경망의 학습량이 많을수록 물체의 상태 정보의 정확도는 그 학습량만큼 상승하게 된다. 도 26에 도시된 상태 정보 추정 방식은 컨볼루션 신경망의 학습량에 따라 도 24에 도시된 방식에 비해 물체의 상태 정보가 매우 높을 수 있으나, 컨볼루션 신경망은 대량의 연산을 요구하기 때문에 스마트폰의 프로세서(71)에 의해 처리가 불가능할 수 있다. Alternatively, the learning of the convolutional neural network can be achieved by repeating the process of inputting the spectral form of a sample facial skin to the convolutional neural network and its melanin concentration for a number of sampled facial skins. When the spectral form of the user's facial skin is input to the learned convolutional neural network, the convolutional neural network infers and outputs the state information of the facial skin based on the characteristics of the spectral form of the facial skin as previously learned. . The more the learning amount of the convolutional neural network is, the higher the accuracy of the state information of the object is. The state information estimation method illustrated in FIG. 26 may have very high state information of an object compared to the method illustrated in FIG. 24 according to the learning amount of the convolutional neural network, but the convolutional neural network requires a large amount of computation, so the processor of the smartphone By (71), processing may not be possible.

2212 단계에서 전자기기의 프로세서(71)는 2209 단계에서 생성된 물체의 이미지와 2212 단계에서 추정된 물체의 상태 정보를 합성함으로써 물체의 이미지와 상태 정보의 합성 이미지를 생성한다. 예를 들어, 프로세서(71)는 2209 단계에서 생성된 물체의 이미지의 화소들 중 일부의 값을 물체의 상태 정보를 나타내는 화소들의 값으로 교체함으로써 물체 이미지와 상태 정보를 합성할 수 있다. 2214 단계에서 전자기기의 디스플레이패널(3)은 프로세서(71)의 제어에 따라 2213 단계에서 생성된 합성 이미지를 표시한다. 도 27은 도 3-10, 21에 도시된 디스플레이패널(3)에 표시되는 합성 이미지의 일례를 도시한 도면이다. 도 27에는 사과의 이미지와 당도의 합성 이미지가 도시되어 있다. 도 27의 (a)에 도시된 바와 같이, 디스플레이패널(3)에는 사과의 이미지와 당도 값의 합성 이미지가 표시될 수 있다. 사과의 이미지에 당도 값이 표시되어 있음에 따라 사용자는 사과의 이미지를 관찰하는 것만으로 사과의 당도를 직관적으로 알 수 있다.In step 2212, the processor 71 of the electronic device synthesizes the image of the object generated in step 2209 and the state information of the object estimated in step 2212 to generate a composite image of the object image and the state information. For example, the processor 71 may synthesize the object image and the state information by replacing some of the pixels of the image of the object generated in operation 2209 with values of pixels representing the state information of the object. In operation 2214, the display panel 3 of the electronic device displays the composite image generated in operation 2213 under the control of the processor 71. 27 is a view showing an example of a composite image displayed on the display panel 3 shown in FIGS. 3-10 and 21. 27 shows a composite image of an apple and sugar content. As shown in (a) of FIG. 27, a composite image of an apple image and a sugar content value may be displayed on the display panel 3. As the sugar content is displayed on the image of the apple, the user can intuitively know the sugar content of the apple simply by observing the image of the apple.

도 28은 도 3-10, 21에 도시된 디스플레이패널(3)에 표시되는 합성 이미지의 다른 예를 도시한 도면이다. 도 28에는 사용자의 얼굴 피부 이미지와 멜라닌 농도의 합성 이미지가 도시되어 있다. 도 28의 (a)에 도시된 바와 같이, 디스플레이패널(3)에는 얼굴 피부의 이미지와 멜라닌 농도 값의 합성 이미지가 표시될 수 있다. 얼굴 피부의 이미지에 멜라닌 농도 값이 표시되어 있음에 따라 사용자는 얼굴 피부의 이미지를 관찰하는 것만으로 얼굴의 멜라닌 농도를 직관적으로 알 수 있다. 이와 같이, 본 실시예에 따른 전자기기는 물체의 이미지와 상태 정보를 합성한 이미지를 표시함으로써 전자기기의 사용자가 이러한 합성 이미지를 관찰하는 것만으로 물체의 상태를 직관적으로 알 수 있도록 할 수 있다.28 is a view showing another example of a composite image displayed on the display panel 3 shown in FIGS. 3-10 and 21. 28 shows a composite image of the user's facial skin image and melanin concentration. As shown in FIG. 28(a), the display panel 3 may display a composite image of facial skin images and melanin concentration values. As the melanin concentration value is displayed on the image of the facial skin, the user can intuitively know the melanin concentration of the face by simply observing the image of the facial skin. As described above, the electronic device according to the present embodiment can display an image obtained by combining the image of the object and the state information, so that the user of the electronic device can intuitively know the state of the object only by observing the composite image.

사과의 당도 값은 상술한 바와 같이 브릭스라는 단위로 표현되는데 이러한 단위에 생소한 일반인은 디스플레이패널(3)에 표시된 당도 값으로부터 사과의 상태를 이해하기가 어려울 수도 있다. 일반인이 사과의 상태를 이해하기 쉽도록 사과의 당도는 좋음, 보통, 나쁨의 세 단계로 분류될 수 있다. 이 경우, 사과의 당도 값으로부터 당도의 세 단계 중 어느 한 단계가 결정된다. 도 27의 (b)에 도시된 바와 같이, 디스플레이패널(3)에는 사과의 이미지와 당도의 어느 한 단계의 합성 이미지가 표시될 수도 있다. 스마트폰 등과 같은 전자기기의 사용자는 과일가게, 시장 등에서 사과, 배 등을 구매하고자 할 때에 전자기기를 이용하여 사과, 배 등을 촬영하는 행위만으로 사과, 배 등의 이미지 상에 표시된 당도로부터 사과, 배 등이 맛이 있는지 없는지를 알 수 있게 된다. 이와 같이, 본 실시예는 사용자로 하여금 과일 등과 같은 물체의 상태를 물체를 촬영하는 행위만으로 알 수 있도록 함으로써 스마트폰 등과 같은 전자기기 외에 별도의 측정 장비 없이도 매우 편리하게 물체의 상태를 알 수 있도록 할 수 있으며, 물체의 구매 여부를 결정하는데 도움을 줄 수 있다. The sugar value of the apple is expressed in units called brix as described above, but the general public unfamiliar with the unit may have difficulty understanding the state of the apple from the sugar value displayed on the display panel 3. To make it easier for the general public to understand the condition of the apple, the sugar content of the apple can be divided into three stages: good, normal, and bad. In this case, any one of the three steps of sugar content is determined from the sugar content of the apple. As shown in (b) of FIG. 27, the display panel 3 may display an image of an apple and a composite image of one step of sugar content. Users of electronic devices, such as smartphones, use apples to shoot apples, pears, etc. when purchasing apples, pears, etc. at fruit shops, markets, etc. Apples from sugar content displayed on images of apples, pears, etc. You can see if the pears are delicious or not. As described above, the present embodiment allows the user to know the state of an object, such as a fruit, by simply taking an object, so that the user can know the state of an object very conveniently without additional measuring equipment other than electronic devices such as a smartphone. It can help you decide whether to purchase an object.

마찬가지로, 얼굴 피부의 멜라닌 농도 값은 상술한 바와 같이 퍼센트(%)라는 단위로 표현되는데 이러한 단위에 생소한 일반인은 디스플레이패널(3)에 표시된 멜라닌 농도 값으로부터 자신의 얼굴 피부 상태를 이해하기가 어려울 수도 있다. 일반인이 자신의 얼굴 피부 상태를 이해하기 쉽도록 얼굴 피부의 멜라닌 농도는 좋음, 보통, 나쁨의 세 단계로 분류될 수 있다. 이 경우, 얼굴 피부의 멜라닌 농도 값으로부터 멜라닌 농도의 세 단계 중 어느 한 단계가 결정된다. 도 27의 (b)에 도시된 바와 같이, 디스플레이패널(3)에는 사용자의 얼굴 피부의 이미지와 멜라닌 농도의 어느 한 단계의 합성 이미지가 표시될 수도 있다. 스마트폰 등과 같은 전자기기의 사용자는 자신의 얼굴 피부를 촬영하는 행위만으로 얼굴 피부 이미지 상에 표시된 멜라닌 농도로부터 자신의 얼굴 피부 상태를 알 수 있게 된다. Likewise, the melanin concentration value of the facial skin is expressed in units of percent (%) as described above, but ordinary people unfamiliar with such units may have difficulty understanding their facial skin condition from the melanin concentration value displayed on the display panel 3. have. To make it easier for the general public to understand the condition of his or her facial skin, the melanin concentration in the facial skin can be classified into three levels: good, normal, and bad. In this case, any one of the three steps of melanin concentration is determined from the melanin concentration value of the facial skin. As shown in (b) of FIG. 27, the display panel 3 may display a composite image of one step of the image of the user's facial skin and melanin concentration. Users of electronic devices such as smartphones can know their facial skin condition from the melanin concentration displayed on the facial skin image only by photographing their facial skin.

사람의 피부는 자외선에 지속적으로 노출되면 멜라닌이 대량 생성된다. 멜라닌은 자외선으로부터 피부를 보호하는 역할을 하지만, 멜라닌 농도의 비정상적인 증가는 피부가 자외선에 과도하게 노출되었음을 의미한다. 피부가 자외선에 과도하게 노출되면, 피부 암, 기미, 피부 노화가 발생하기 때문에, 전자기기에 표시된 합성 이미지가 멜라닌 농도의 비정상적인 증가를 나타낼 경우에 사용자는 얼굴에 선크림(sun cream)을 바르거나 야외 활동을 자제함으로써 자신의 얼굴 피부 상태를 관리할 필요가 있다. 이와 같이, 본 실시예는 사용자로 하여금 자신의 얼굴 피부를 촬영하는 행위만으로 얼굴 피부의 상태를 알 수 있도록 함으로써 스마트폰 등과 같은 전자기기 외에 별도의 측정 장비 없이도 매우 편리하게 자신의 얼굴 피부 상태를 파악할 수 있으며, 얼굴 피부 상태를 관리하는데 도움을 줄 수 있다. 즉, 본 실시예는 전자기기의 사용자로 하여금 물체를 촬영하는 행위만으로 물체의 상태를 알 수 있도록 함으로써 스마트폰 등과 같은 전자기기 외에 별도의 측정 장비 없이도 매우 편리하게 물체의 상태를 알 수 있도록 할 수 있다.Human skin produces a large amount of melanin when it is continuously exposed to ultraviolet rays. Melanin serves to protect the skin from ultraviolet light, but an abnormal increase in melanin concentration means that the skin is overexposed to ultraviolet light. When the skin is excessively exposed to ultraviolet rays, skin cancer, blemishes, and skin aging occur, so if the synthetic image displayed on the electronic device shows an abnormal increase in melanin concentration, the user may apply sun cream to the face or outdoor. You need to manage your facial skin condition by refraining from activity. As described above, the present embodiment allows the user to know the state of the skin of the face by using the action of photographing the skin of the face, so that the user can grasp the state of the skin of his face very conveniently without additional measuring equipment other than electronic devices such as a smartphone. And can help manage facial skin conditions. That is, the present embodiment allows the user of the electronic device to know the state of the object only by taking an object, so that the user can know the state of the object very conveniently without additional measuring equipment other than electronic devices such as a smartphone. have.

이상에서는 본 실시예에 따른 전자기기에 의한 물체 이미지와 상태 정보의 합성 이미지 표시의 예로서 과일의 이미지와 당도의 합성 이미지 표시와 사용자의 얼굴 피부와 멜라닌 농도의 합성 이미지 표시를 살펴보았다. 이상에서 설명된 실시예에서 과일 당도별 샘플 스펙트럼 대신에 과일 신선도별 샘플 스펙트럼이 사용될 경우에 본 실시예에 따라 과일의 이미지와 신선도 등 다른 속성의 상태 정보의 합성 이미지의 표시도 가능함을 알 수 있다. 나아가, 물체의 상태 정보는 과일의 당도, 신선도 등 복수의 속성 각각의 상태를 나타내는 정보일 수도 있다. 이 경우, 과일 이미지 상에 과일의 두 가지 속성, 즉 당도와 신선도가 함께 표시된다.In the above, as an example of the composite image display of the object image and the status information by the electronic device according to the present embodiment, the composite image display of the fruit image and sugar content and the composite image display of the user's facial skin and melanin concentration were examined. In the embodiment described above, it can be seen that when a sample spectrum for each fruit freshness is used instead of a sample spectrum for each fruit sugar, it is also possible to display a composite image of status information of different attributes such as the image and freshness of the fruit according to this embodiment. . Furthermore, the state information of the object may be information indicating the state of each of a plurality of attributes, such as fruit sugar and freshness. In this case, two attributes of the fruit are displayed on the fruit image, namely sugar content and freshness.

또한, 얼굴 피부의 멜라닌 농도별 샘플 스펙트럼 대신에 얼굴 피부의 수분량별 샘플 스펙트럼 또는 유분량별 샘플 스펙트럼이 사용될 경우에 얼굴 피부와 수분량, 유분량 등의 다른 속성의 상태 정보의 합성 이미지의 표시도 가능함을 알 수 있다. 나아가, 물체의 상태 정보는 얼굴 피부의 멜라닌 농도, 수분량, 유분량 등 복수의 속성 각각의 상태를 나타내는 정보일 수도 있다. 이 경우, 얼굴 피부 이미지 상에 얼굴 피부의 세 가지 속성, 즉 멜라닌 농도, 수분량, 및 유분량이 함께 표시된다. 과일이나 사용자의 얼굴 피부 외에 다른 종류의 물체에도 본 실시예가 적용될 수 있다. 예를 들어, 본 실시예에 따라 음식물의 이미지와 부패도의 합성 이미지가 표시될 수도 있다. In addition, it is also possible to display a composite image of status information of facial skin and other properties such as moisture and oil content when the sample spectrum by water content or oil content of the facial skin is used instead of the sample spectrum by melanin concentration of the facial skin. Can. Furthermore, the state information of the object may be information indicating the state of each of a plurality of attributes such as melanin concentration, moisture content, and oil content of the facial skin. In this case, three properties of the facial skin are displayed on the facial skin image, namely melanin concentration, water content, and oil content. This embodiment can be applied to other kinds of objects besides fruit or the user's face skin. For example, a composite image of a food image and a spoilage degree may be displayed according to the present embodiment.

한편, 상술한 바와 같은 본 발명의 실시예에 따른 합성 이미지 표시 방법은 컴퓨터의 프로세서에서 실행 가능한 프로그램으로 작성 가능하고, 이 프로그램을 컴퓨터로 읽을 수 있는 기록매체에 기록하여 실행시키는 컴퓨터에서 구현될 수 있다. 컴퓨터는 데스크탑 컴퓨터, 노트북 컴퓨터, 스마트폰, 임베디드 타입의 컴퓨터 등 프로그램을 실행시킬 수 있는 모든 타입의 컴퓨터를 포함한다. 또한, 상술한 본 발명의 일 실시예에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 컴퓨터로 읽을 수 있는 기록매체는 램(RAM), 롬(ROM), 마그네틱 저장매체(예를 들면, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.On the other hand, the composite image display method according to an embodiment of the present invention as described above can be written in a program executable on a processor of a computer, and implemented in a computer that records and executes the program on a computer-readable recording medium. have. A computer includes any type of computer capable of executing a program, such as a desktop computer, a notebook computer, a smart phone, or an embedded type computer. In addition, the structure of the data used in the above-described embodiment of the present invention can be recorded on a computer-readable recording medium through various means. The computer-readable recording medium is a storage such as RAM, ROM, magnetic storage medium (eg, floppy disk, hard disk, etc.), optical reading medium (eg, CD-ROM, DVD, etc.). Includes media.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형상으로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far, the present invention has been focused on the preferred embodiments. Those skilled in the art to which the present invention pertains will understand that the present invention can be implemented in a modified shape without departing from the essential characteristics of the present invention. Therefore, the disclosed embodiments should be considered in terms of explanation, not limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the equivalent range should be interpreted as being included in the present invention.

1 ... 커버글래스
2 ... 터치패널
3 ... 디스플레이패널
4 ... 후면패널
41 ... 보호층 42 ... 방열층
5 ... 복합센서
51 ... 이미지센서 511 ... 컬러필터
52 ... 분광센서 521 ... 분광필터
512, 522 ... 광전소자
500 ... 복합센서기판 501 ... 마이크로렌즈
502 ... 평탄화층 503 ... 절연층
504 ... 대역투과필터
151 ... 투명기판 152 ... 금속패턴
171 ... 상반사층 172 ... 하반사층
173 ... 유전체층 174 ... 버퍼층
50 ... 콜리메이터렌즈
6 ... 브래킷
7 ... 인쇄회로기판
71 ... 프로세서 72 ... 통신모듈
73 ... 입출력인터페이스모듈 74 ... 메모리
75 ... 버스
8 ... 발광모듈
9 ... 배터리
10 ... 하우징
11 ... 센서모듈
12 ... 전원공급모듈1 ... cover glass
2 ... touch panel
3 ... display panel
4 ... rear panel
41 ... protective layer 42 ... heat dissipation layer
5 ... complex sensor
51 ... Image sensor 511 ... Color filter
52 ... spectral sensor 521 ... spectral filter
512, 522 ... photoelectric element
500 ... composite sensor substrate 501 ... micro lens
502 ... flattening layer 503 ... insulating layer
504 ... Bandpass filter
151 ... transparent substrate 152 ... metal pattern
171 ... upper reflective layer 172 ... lower reflective layer
173 ... dielectric layer 174 ... buffer layer
50 ... collimator lens
6 ... bracket
7 ... Printed Circuit Board
71 ... processor 72 ... communication module
73 ... I/O interface module 74 ... Memory
75 ... bus
8 ... Light emitting module
9 ... battery
10 ... housing
11 ... sensor module
12 ... Power supply module

Claims

At least one collimator lens that converts light into parallel light;
An image sensor generating a signal representing an image of the object from light reflected from the surface of the object;
A spectroscopic sensor that generates a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object;
By generating an image of the object from a signal representing the image of the object, estimating the state information of the object from a signal representing the spectrum of the object, and synthesizing the generated object image and the estimated object state information A processor that generates a composite image of the object image and state information; And
It includes a display panel for displaying the generated composite image,
The image sensor is reflected from the surface of the object to generate a signal representing the image of the object from the light incident through the at least one collimator lens,
The spectroscopic sensor is an electronic device that generates a signal representing a spectrum of the object from light incident through the at least one collimator lens after being penetrated into the object and emitted from the surface of the object.

According to claim 1,
Further comprising a light emitting module for irradiating infrared light on the surface of the object,
The image sensor generates a signal indicative of the image of the object from light reflected from the surface of the object by visible light irradiated on the surface of the object,
The spectroscopic sensor is an electronic device that generates a signal representing the spectrum of the object from light emitted from the surface of the object after the infrared light irradiated on the surface of the object penetrates into the object.

According to claim 2,
The spectroscopic sensor uses a plurality of spectroscopic filters to generate a signal representing the spectrum of the object from the light emitted from the surface of the object after the infrared light irradiated on the surface of the object penetrates the object,
The plurality of spectroscopic filters transmit a plurality of wavelength bands belonging to the wavelength band absorbed in the process of being emitted from the surface of the fruit or skin after penetrating into the skin of a fruit or a person among the wavelength bands of infrared rays emitted from the light emitting module. Electronic devices that let or block them.

According to claim 1,
The processor generates the spectrum of the object from a signal representing the spectrum of the object, and compares the spectrum of the generated object with a plurality of sample spectra to estimate the state information of the object.

According to claim 1,
The processor generates the spectrum of the object from a signal representing the spectrum of the object, and inputs the spectrum of the generated object into a convolutional neural network, thereby estimating the state information of the object from output data of the convolutional neural network .

According to claim 1,
The image sensor uses a plurality of color filters to generate a signal representing the image of the object from light reflected from the surface of the object,
The spectroscopic sensor is an electronic device that generates a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object using a plurality of spectral filters.

The method of claim 6,
The plurality of color filters and the plurality of spectral filters are arranged in a matrix structure of a two-dimensional plane, and the arrangement surface of the plurality of color filters and the plurality of spectral filters forms a light receiving surface.

The method of claim 7,
The image sensor generates a signal representing an image of the object from light reflected from the surface of the object by using a plurality of color filters arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane,
The spectroscopic sensor uses a plurality of spectroscopic filters arranged in a matrix structure corresponding to other parts of the matrix structure of the two-dimensional plane to infiltrate the object and then spectrum of the object from light emitted from the surface of the object. An electronic device that generates a signal to indicate.

The method of claim 7,
The image sensor
A plurality of color filters arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane to filter light reflected from the surface of the object; And
An electronic device including a plurality of photoelectric elements disposed under the plurality of color filters to convert light filtered by the plurality of color filters into electrical signals.

The method of claim 9,
The spectroscopic sensor
A plurality of spectral filters arranged in a matrix structure corresponding to different parts of the matrix of the two-dimensional plane and filtering light emitted from the surface of the object after penetrating into the object; And
An electronic device including a plurality of photoelectric elements disposed under the plurality of spectroscopic filters to convert light filtered by the plurality of spectroscopic filters into electrical signals.

The method of claim 3,
Each of the spectroscopic filters is an electronic device that blocks wavelength bands determined according to the period in light emitted from the surface of the object after it penetrates into the object by periodically forming metal patterns having a certain shape.

The method of claim 11,
The metal patterns of one of the plurality of spectroscopic filters and the metal patterns of the other of the spectroscopic filters are arranged at different periods,
The one spectral filter and the other spectral filter are electronic devices that block different wavelength bands.

The method of claim 3,
Each spectral filter
An upper reflective layer and a lower reflective layer separated from each other;
A dielectric layer interposed between the upper reflection layer and the lower reflection layer, wherein at least two materials having different refractive indices are alternately disposed; And
And a buffer layer disposed between at least one of the upper reflective layer and the lower reflective layer and the dielectric layer,
Each spectral filter is an electronic device that passes through a wavelength band determined by a relative volume ratio between the two materials in light emitted from the surface of the object after penetrating into the object.

The method of claim 13,
In the dielectric layer, at least two regions having different relative volume ratios between the two materials exist,
An electronic device having regions having different relative volume ratios of the dielectric layer pass through different wavelength bands.

The method of claim 7,
The spectroscopic sensor
The plurality of spectral filters;
A plurality of band-pass filters disposed one-to-many to the plurality of spectral filters and disposed under the plurality of spectral filters; And
It includes a plurality of photoelectric elements disposed under the plurality of band-pass filters in one-to-one correspondence to the plurality of band-pass filters,
The plurality of band-pass filters corresponding to the respective spectral filters transmit different wavelength bands in the filtering wavelength band of each spectral filter,
The plurality of color filters are arranged in a matrix structure corresponding to a part of the matrix structure of the two-dimensional plane, and the plurality of band-pass filters are arranged in a matrix structure corresponding to other parts of the matrix structure of the two-dimensional plane device.

The method of claim 15,
The plurality of band-pass filters are electronic devices that are at least two types of color filters and color filters of the same type.

According to claim 1,
It is disposed below the display panel and further includes a rear panel having at least one light passing hole,
The image sensor generates a signal representing an image of the object from light incident through at least one light passing hole of the rear panel passing through the display panel,
The spectroscopic sensor is an electronic device that passes through the display panel and generates a signal representing the spectrum of the object from light incident through at least one light passing hole of the rear panel.

According to claim 1,
The at least one collimator lens is disposed under the display panel to convert light passing through the display panel into parallel light,
The image sensor generates a signal representing an image of the object from light incident through the at least one collimator lens through the display panel,
The spectroscopic sensor is an electronic device that passes through the display panel and generates a signal representing the spectrum of the object from light incident through the at least one collimator lens.

According to claim 2,
The image sensor and the spectroscopic sensor are disposed under the display panel,
The image sensor generates a signal representing an image of the object from light passing through the display panel by reflecting visible light irradiated on the surface of the object from the surface of the object,
The spectroscopic sensor is an electronic device that generates a signal indicative of the spectrum of the object from light passing through the display panel emitted from the surface of the object after the infrared light irradiated on the surface of the object penetrates into the object.

A method for displaying a composite image of an object image and status information,
The display panel displays a graphic for guiding the object so that it can be accurately positioned;
An image sensor generating a signal representing an image of the object from light reflected from the surface of the object;
The processor includes generating an image of the object from a signal representing the image of the object;
The display panel displaying an image of the object on the displayed graphic;
A spectroscopic sensor generating a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object;
The processor estimating state information of the object from a signal representing the spectrum of the object;
The processor generating a composite image of the image of the object and state information by synthesizing the image of the object and state information of the object; And
A display panel comprising displaying the generated composite image.

The method of claim 20,
Generating a signal representing the spectrum of the object generates a signal representing the spectrum of the object from light emitted from the surface of the object after penetrating into the object using a plurality of spectroscopic filters,
Further comprising the step of irradiating infrared light on the surface of the object,
The plurality of spectral filters transmit or block a plurality of wavelength bands belonging to the wavelength band absorbed in the process of being emitted from the surface of the fruit or skin after penetrating into the skin of the fruit or person among the wavelength bands of the irradiated infrared rays. Composite image display method.

The method of claim 20,
Estimating the state information of the object is
Generating a spectrum of the object from a signal representing the spectrum of the object;
Comparing the shape of the generated spectrum with the shape of each of a plurality of sample spectra;
Selecting two spectra having a shape most similar to the shape of the generated spectrum among the plurality of sample spectra according to the comparison result; And
And estimating the state information of the object from the state information of each of the two sample objects having the selected two spectra.

The method of claim 22,
Comprising the step of calculating the weight of each of the two selected sample spectrum from the similarity of the spectrum of the object for each of the two selected sample spectrum,
The estimating the state information of the object from the state information of each of the two sample objects displays a composite image for estimating the state information of each of the two sample objects and the weight of each of the two sample spectra. Way.

The method of claim 23,
The step of estimating the state information of the object from the state information of each of the two sample objects may include determining the state information of the first sample spectrum to the value of the state information of the first sample object having the first sample spectrum among the two selected sample spectra. The value of the state information of the object is summed by summing the product of the weight of the second sample spectrum and the value of the state information of the second sample object having the second sample spectrum among the two sample spectra multiplied by the weight. Calculation method of composite image display.

The method of claim 20,
Estimating the state information of the object is
Generating a spectrum of the object from a signal representing the spectrum of the object;
Inputting the shape of the generated spectrum into a convolutional neural network;
Estimating the state information output from the convolutional neural network as the state information of the object in response to the input,
The convolutional neural network is a composite image display method that is learned by using the shape and state information of the spectrum of each of a plurality of sample objects.

The method of claim 20,
Selecting an object type and property according to a user input; And
Further comprising the step of irradiating light of a wavelength band corresponding to the type and properties of the selected object on the surface of the object,
The step of generating a signal representing the image of the object generates a signal representing the image of the object from light reflected by the irradiated light on the surface of the object,
Generating a signal representing the spectrum of the object is a composite image display method of generating a signal representing the spectrum of the object from light emitted from the surface of the object after the irradiated light penetrates into the object.

The method of claim 26,
The step of displaying the graphic is a composite image display method of displaying a graphic for guiding the selected type of object to be accurately positioned.

The method of claim 27,
Further comprising the step of checking whether a certain time has elapsed from the start point of the step of displaying the graphic,
The step of irradiating light to the surface of the object is a composite image display method of irradiating light to the surface of the object when it is determined that the predetermined time has elapsed.

The method of claim 20,
In the generating of the composite image, a composite image combining the image of the object and the status information of the object by replacing some of the pixels of the image of the generated object with values of pixels representing the state information of the object. How to display.

The method of claim 20,
A method of displaying a composite image, wherein the state information of the object is information representing states of each of a plurality of attributes of the object.

A computer-readable recording medium recording a program for executing the method of any one of claims 20 to 30 on a computer.