KR20220005677A - 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법 - Google Patents

광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법 Download PDF

Info

Publication number
KR20220005677A
KR20220005677A KR1020200083050A KR20200083050A KR20220005677A KR 20220005677 A KR20220005677 A KR 20220005677A KR 1020200083050 A KR1020200083050 A KR 1020200083050A KR 20200083050 A KR20200083050 A KR 20200083050A KR 20220005677 A KR20220005677 A KR 20220005677A
Authority
KR
South Korea
Prior art keywords
brightnesses
sensor
optical sensor
dimension value
sub
Prior art date
Application number
KR1020200083050A
Other languages
English (en)
Inventor
김기용
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Priority to KR1020200083050A priority Critical patent/KR20220005677A/ko
Priority to US17/341,219 priority patent/US11682366B2/en
Priority to CN202110754750.8A priority patent/CN113903298A/zh
Publication of KR20220005677A publication Critical patent/KR20220005677A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/10—Intensity circuits
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/006—Electronic inspection or testing of displays and display drivers, e.g. of LED or LCD displays
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/32—User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/28—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using luminous gas-discharge panels, e.g. plasma panels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8854—Grading and classifying of flaws
    • G01N2021/8861—Determining coordinates of flaws
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0285—Improving the quality of display appearance using tables for spatial correction of display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0686—Adjustment of display parameters with two or more screen areas displaying information with different brightness or colours
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/06—Adjustment of display parameters
    • G09G2320/0693—Calibration of display systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Computer Security & Cryptography (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Signal Processing (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Plasma & Fusion (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명의 광학 센서를 포함하는 표시 장치는, 표시 화소들을 포함하는 표시 패널; 및 센서 제어기 및 센서 화소들을 포함하고, 센서 화소들이 상기 표시 패널의 제1 영역 상에 위치하는 광학 센서를 포함하고, 상기 표시 화소들은 상기 제1 영역에 복수의 마커들을 포함하는 패턴을 표시하고, 상기 센서 화소들은 상기 패턴을 촬상하여 제1 이미지를 생성하고, 상기 센서 제어기는 상기 제1 이미지를 상기 마커들에 대응하는 서브 이미지들로 분할하고, 상기 센서 제어기는 상기 서브 이미지들에 대해서 정수부 및 소수부를 합산한 제1 대표 좌표들을 산출하고, 상기 정수부의 단위는 상기 센서 화소들의 개수이고, 상기 정수부 및 상기 소수부 각각은 제1 방향에 대한 제1 차원 값과 상기 제1 방향에 직교하는 제2 방향에 대한 제2 차원 값을 독립적으로 포함한다.

Description

광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법{DISPLAY DEVICE INCLUDING OPTICAL SENSOR AND MEASUREMENT METHOD FOR LOCATION OF OPTICAL SENSOR}
본 발명은 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법에 관한 것이다.
정보화 기술이 발달함에 따라 사용자와 정보간의 연결매체인 표시 장치의 중요성이 부각되고 있다. 이에 부응하여 액정 표시 장치(Liquid Crystal Display Device), 유기 발광 표시 장치(Organic Light Emitting Display Device), 플라즈마 표시 장치(Plasma Display Device) 등과 같은 표시 장치의 사용이 증가하고 있다.
소비자 수요에 따라, 표시 장치는 터치 센서, 지문 센서, 조도 센서, 카메라 등 다양한 센서들을 포함할 수 있다. 특히, 지문 센서는 표시 패널의 후면에 부착되어, 표시 패널을 투과하는 캐리어(예를 들어, 광(light) 또는 초음파)의 정보에 기초하여 지문의 융과 골을 인식할 수 있다.
이때, 캐리어는 투과하는 표시 패널의 내부 레이아웃에 따라서 서로 다른 백그라운드 정보를 포함하기 때문에, 백그라운드 정보를 제거하고 지문 정보만 남기기 위한 초기 캘리브레이션이 필요하다.
하지만 초기 캘리브레이션이 수행된 이후, 지문 센서의 위치가 의도치 않게 변경된 경우, 지문 센서의 위치를 갱신해야 캘리브레이션 데이터를 적절히 사용할 수 있게 된다. 지문 센서 뿐만 아니라, 표시 패널 후면에 부착된 다른 센서들도 이와 같은 문제점을 가질 수 있다.
해결하고자 하는 기술적 과제는, 센서 화소들을 기준으로 정수 단위 뿐만 아니라 소수 단위로 광학 센서의 위치 변이량 및 변이 방향을 측정할 수 있는 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법을 제공하는 데 있다.
본 발명의 한 실시예에 따른 광학 센서를 포함하는 표시 장치는, 표시 화소들을 포함하는 표시 패널; 및 센서 제어기 및 센서 화소들을 포함하고, 센서 화소들이 상기 표시 패널의 제1 영역 상에 위치하는 광학 센서를 포함하고, 상기 표시 화소들은 상기 제1 영역에 복수의 마커들을 포함하는 패턴을 표시하고, 상기 센서 화소들은 상기 패턴을 촬상하여 제1 이미지를 생성하고, 상기 센서 제어기는 상기 제1 이미지를 상기 마커들에 대응하는 서브 이미지들로 분할하고, 상기 센서 제어기는 상기 서브 이미지들에 대해서 정수부 및 소수부를 합산한 제1 대표 좌표들을 산출하고, 상기 정수부의 단위는 상기 센서 화소들의 개수이고, 상기 정수부 및 상기 소수부 각각은 제1 방향에 대한 제1 차원 값과 상기 제1 방향에 직교하는 제2 방향에 대한 제2 차원 값을 독립적으로 포함한다.
상기 센서 제어기는, 각각의 상기 서브 이미지들에 대해서, 제1 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제1 차원 값을 상기 정수부의 제1 차원 값으로 결정하고, 제2 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제2 차원 값을 상기 정수부의 제2 차원 값으로 결정할 수 있다.
상기 센서 제어기는, 각각의 상기 서브 이미지들에 대해서, 제1 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제1 차원 값을 결정할 수 있다.
상기 제1 관찰 영역들 각각은 상기 제1 방향보다 상기 제2 방향으로 긴 형태이고, 상기 제1 관찰 영역들은 상기 제1 방향으로 서로 인접하여 위치할 수 있다.
각각의 상기 서브 이미지들은 상기 제1 방향을 기준으로 밝기가 급격하게 변하는 제1 경계를 포함하고, 상기 제1 관찰 영역들 중 적어도 하나는 상기 제1 경계에 중첩하여 위치할 수 있다.
상기 센서 제어기는, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작은 경우, 상기 소수부의 제1 차원 값이 제1 부호를 갖도록 결정하고, 상기 센서 제어기는, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 큰 경우, 상기 소수부의 제1 차원 값이 상기 제1 부호와 반대인 제2 부호를 갖도록 결정할 수 있다.
상기 센서 제어기는, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작고, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들과 균일한 차이 값들을 갖는 경우, 상기 소수부의 제1 차원 값을 0으로 결정할 수 있다.
상기 센서 제어기는, 각각의 상기 서브 이미지들에 대해서, 제2 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제2 차원 값을 결정할 수 있다.
상기 제2 관찰 영역들 각각은 상기 제2 방향보다 상기 제1 방향으로 긴 형태이고, 상기 제2 관찰 영역들은 상기 제2 방향으로 서로 인접하여 위치할 수 있다.
각각의 상기 서브 이미지들은 상기 제2 방향을 기준으로 밝기가 급격하게 변하는 제2 경계를 포함하고, 상기 제2 관찰 영역들 중 적어도 하나는 상기 제2 경계에 중첩하여 위치할 수 있다.
상기 센서 제어기는, 상기 제2 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작은 경우, 상기 소수부의 제2 차원 값이 상기 제1 부호를 갖도록 결정하고, 상기 센서 제어기는, 상기 제2 관찰 영역들의 현재 밝기들이 이전 밝기들보다 큰 경우, 상기 소수부의 제2 차원 값이 상기 제2 부호를 갖도록 결정할 수 있다.
상기 센서 제어기는 상기 제1 이미지와 다른 시점에 생성된 제2 이미지의 제2 대표 좌표들 및 상기 제1 대표 좌표들을 이용하여 상기 광학 센서의 기울기를 산출할 수 있다.
상기 센서 제어기는 상기 제1 방향에 대한 적어도 하나의 제1 기울기 및 상기 제2 방향에 대한 적어도 하나의 제2 기울기를 산출하고, 상기 센서 제어기는, 상기 적어도 하나의 제1 기울기 및 상기 적어도 하나의 제2 기울기가 모두 동일한 경우, 상기 제1 방향 및 상기 제2 방향과 직교하는 제3 방향의 제3 기울기를 0으로 결정하고, 상기 적어도 하나의 제1 기울기 및 상기 적어도 하나의 제2 기울기 중 적어도 하나가 다른 경우 상기 제3 기울기가 0이 아닌 것으로 결정할 수 있다.
본 발명의 한 실시예에 따른 광학 센서의 위치 측정 방법은, 표시 패널의 제1 영역 상에 위치하는 광학 센서의 위치 측정 방법으로서, 상기 광학 센서의 위치 측정 방법은, 표시 패널이 상기 제1 영역에 복수의 마커들을 포함하는 패턴을 표시하는 단계; 상기 광학 센서의 센서 화소들이 상기 패턴을 촬상하여 제1 이미지를 생성하는 단계; 상기 광학 센서의 센서 제어기가 상기 제1 이미지를 상기 마커들에 대응하는 서브 이미지들로 분할하는 단계; 및 상기 센서 제어기가 상기 서브 이미지들에 대해서 정수부 및 소수부를 합산한 제1 대표 좌표들을 산출하는 단계를 포함하고, 상기 정수부의 단위는 상기 센서 화소들의 개수이고, 상기 정수부 및 상기 소수부 각각은 제1 방향에 대한 제1 차원 값과 상기 제1 방향에 직교하는 제2 방향에 대한 제2 차원 값을 독립적으로 포함한다.
상기 위치 측정 방법은, 상기 센서 제어기가, 각각의 상기 서브 이미지들에 대해서, 제1 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제1 차원 값을 상기 정수부의 제1 차원 값으로 결정하고, 제2 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제2 차원 값을 상기 정수부의 제2 차원 값으로 결정하는 단계를 더 포함할 수 있다.
상기 위치 측정 방법은, 상기 센서 제어기가, 각각의 상기 서브 이미지들에 대해서, 제1 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제1 차원 값을 결정하는 단계를 더 포함할 수 있다.
상기 제1 관찰 영역들 각각은 상기 제1 방향보다 상기 제2 방향으로 긴 형태이고, 상기 제1 관찰 영역들은 상기 제1 방향으로 서로 인접하여 위치하고, 각각의 상기 서브 이미지들은 상기 제1 방향을 기준으로 밝기가 급격하게 변하는 제1 경계를 포함하고, 상기 제1 관찰 영역들 중 적어도 하나는 상기 제1 경계에 중첩하여 위치할 수 있다.
상기 위치 측정 방법은, 상기 센서 제어기가, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작은 경우 상기 소수부의 제1 차원 값이 제1 부호를 갖도록 결정하고, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 큰 경우 상기 소수부의 제1 차원 값이 상기 제1 부호와 반대인 제2 부호를 갖도록 결정하는 단계를 더 포함할 수 있다.
상기 위치 측정 방법은, 상기 센서 제어기가, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작고 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들과 균일한 차이 값들을 갖는 경우, 상기 소수부의 제1 차원 값을 0으로 결정하는 단계를 더 포함할 수 있다.
상기 위치 측정 방법은, 상기 센서 제어기가, 각각의 상기 서브 이미지들에 대해서, 제2 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제2 차원 값을 결정하는 단계를 더 포함할 수 있다.
본 발명에 따른 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법은 센서 화소들을 기준으로 정수 단위 뿐만 아니라 소수 단위로 광학 센서의 위치 변이량 및 변이 방향을 측정할 수 있다.
도 1 내지 도 3은 본 발명의 한 실시예에 따른 표시 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 한 실시예에 따른 광학 센서에 의해 촬상된 이미지를 설명하기 위한 도면이다.
도 5는 본 발명의 한 실시예에 따른 서브 이미지의 대표 좌표의 정수부를 산출하는 방법을 설명하기 위한 도면이다.
도 6 내지 도 9는 본 발명의 한 실시예에 따른 서브 이미지의 대표 좌표의 소수부를 산출하는 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 한 실시예에 따른 광학 센서의 기울기를 산출하는 방법을 설명하기 위한 도면이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 여러 실시 예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예들에 한정되지 않는다.
본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조 부호를 붙이도록 한다. 따라서 앞서 설명한 참조 부호는 다른 도면에서도 사용할 수 있다.
또한, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다. 도면에서 여러 층 및 영역을 명확하게 표현하기 위하여 두께를 과장되게 나타낼 수 있다.
도 1 내지 도 3은 본 발명의 한 실시예에 따른 표시 장치를 설명하기 위한 도면이다. 도 2는 도 1의 A-A' 선에 따른 예시적인 단면도이다.
제1 방향(X), 제2 방향(Y), 및 제3 방향(Z)은 서로 직교하는 방향일 수 있다.
도 1 내지 도 3을 참조하면, 표시 장치(9)는 표시 패널(10) 및 광학 센서(20)를 포함할 수 있다.
표시 패널(10)은 표시 화소들(DPX) 및 표시 제어기(101)를 포함할 수 있다. 표시 화소들(DPX)은 제1 방향(X) 및 제2 방향(Y)으로 정의된 평면에 배열될 수 있다. 표시 화소들(DPX)은 반드시 평면 형태로만 배열되는 것이 아니라 곡면 형태로 배열될 수도 있다. 도시되지는 않았지만, 예를 들어, 표시 패널(10)의 측면이 곡면 형태일 수 있고, 표시 패널(10)의 측면에 배치된 표시 화소들(DPX)은 곡면 형태로 배열될 수 있다. 표시 화소들(DPX)은 제3 방향(Z)으로 광을 방출하여 영상을 표시할 수 있다. 사용자는 표시 패널(10)의 제1 면(10a)을 바라보는 경우 표시된 영상을 볼 수 있다. 표시 제어기(101)는 외부 프로세서로부터 RGB 데이터, 제어 신호 등을 수신하여 표시 화소들(DPX)에 필요한 데이터 전압, 제어 신호 등을 공급할 수 있다. 표시 패널(10)의 세부적인 구성은 종래 기술에 따를 수 있다.
광학 센서(20)는 센서 화소들(SPX), 센서 제어기(201), 및 센서 메모리(202)를 포함할 수 있다. 광학 센서(20)는 표시 패널(10)의 제1 영역(AR1) 상에 위치할 수 있다. 예를 들어, 광학 센서(20)는 표시 패널(10)의 제2 면(10b)에 부착될 수 있다. 광학 센서(20)는 광(light)을 캐리어로 하는 센서로서, 지문 센서, 카메라, 조도 센서, 근접 센서 등일 수 있다. 다만, 설명의 편의를 위해서 이하에서는 광학 센서(20)가 지문 센서인 것으로 가정한다.
센서 화소들(SPX)은 제1 방향(X) 및 제2 방향(Y)으로 정의된 평면에 배열될 수 있다. 센서 화소들(SPX)은 CMOS 센서 등 종래의 광학식 센서 기술에 따라 구성될 수 있다. 센서 화소들(SPX)은 표시 패널(10)의 제1 영역(AR1)을 투과하여 촬상함으로써 이미지를 생성할 수 있다.
센서 메모리(202)는 센서 화소들(SPX)의 위치 데이터 및 위치 데이터에 기반한 캘리브레이션 데이터를 포함할 수 있다. 센서 화소들(SPX) 각각의 위치에 따라 캐리어가 투과하는 표시 패널(10)의 레이아웃이 서로 다르기 때문에, 제품 출하 전에 적어도 1 회의 캘리브레이션 데이터의 생성이 필요하다. 추가적으로, 캘리브레이션 데이터는 센서 화소들(SPX) 각각의 특성 차이(산포)를 반영할 수도 있다.
센서 제어기(201)는 센서 화소들(SPX)이 생성한 이미지에 캘리브레이션 데이터를 적용함으로써, 보정된 이미지를 생성할 수 있다. 예를 들어, 센서 화소들(SPX)이 생성한 이미지가 백그라운드 정보(예를 들어, 표시 패널(10)의 레이아웃) 및 지문 형상을 동시에 포함했다면, 보정된 이미지는 백그라운드 정보가 제거된 지문 형상만을 포함할 수 있다. 이에 따라, 획득된 지문 형상을 이용하여 사용자의 인증 등이 수행될 수 있다.
도 4는 본 발명의 한 실시예에 따른 광학 센서에 의해 촬상된 이미지를 설명하기 위한 도면이다.
광학 센서(20)의 위치가 변화했는 지 여부를 확인하기 위하여, 표시 장치(9)는 주기적으로 광학 센서(20)의 위치를 측정할 수 있다. 또한, 사용자에 의하여 비주기적으로 광학 센서(20)의 위치 측정이 수행될 수 있다.
먼저, 표시 화소들(DPX)은 제1 영역(AR1)에 복수의 마커들(MK1, MK2, MK3, MK4)을 포함하는 패턴을 표시할 수 있다. 센서 화소들(SPX)은 패턴을 촬상하여 이미지(ARi1)를 생성할 수 있다.
각각의 마커들(MK1, MK2, MK3, MK4)은 이미지(ARi1)의 배경보다 높은 밝기를 가질 수 있다. 예를 들어, 각각의 마커들(MK1, MK2, MK3, MK4)은 십자가 도형을 포함할 수 있다. 예를 들어, 각각의 마커들(MK1, MK2, MK3, MK4)은 십자가 도형 주위에 서로 다른 계조의 박스 도형들을 포함할 수 있다. 다만, 마커들(MK1, MK2, MK3, MK4)의 형상은 실시예에 따라 다양할 수 있으며, 본 실시예가 도 4의 마커들(MK1, MK2, MK3, MK4)의 형상에 의해서 제한되지는 않는다. 마커들(MK1, MK2, MK3, MK4)은 좌표를 알고자 하는 관심 지점들(points of interest)에 배치될 수 있다.
센서 제어기(201)는 이미지(ARi1)를 마커들(MK1, MK2, MK3, MK4)에 대응하는 서브 이미지들(Q1, Q2, Q3, Q4)로 분할할 수 있다. 예를 들어, 이미지(ARi1)는 사각형일 수 있고, 마커들(MK1, MK2, MK3, MK4)은 사각형의 각 꼭지점 부근에 위치할 수 있다. 예를 들어, 서브 이미지들(Q1, Q2, Q3, Q4)은 이미지(ARi1)의 사분면들일 수 있다. 센서 제어기(201)는 서브 이미지들(Q1, Q2, Q3, Q4)에 대해서 정수부 및 소수부를 합산한 대표 좌표들을 산출할 수 있다. 이때, 정수부의 단위는 센서 화소들(SPX)의 개수일 수 있다. 예를 들어, 제1 방향(X)을 기준으로 이전 대표 좌표 및 현재 대표 좌표의 차이가 3인 경우, 광학 센서(20)는 센서 화소들(SPX) 3 개의 폭에 대응하는 거리만큼 제1 방향(X)으로 이동했음을 의미한다.
이때, 정수부 및 소수부 각각은 제1 방향(X)에 대한 제1 차원 값과 제1 방향(X)에 직교하는 제2 방향(Y)에 대한 제2 차원 값을 독립적으로 포함할 수 있다. 즉, 센서 제어기(201)는 정수부 및 소수부를 별도로 산출한 후에, 정수부의 제1 차원 값 및 소수부의 제1 차원 값을 합산하여 대표 좌표의 제1 차원 값을 산출하고, 정수부의 제2 차원 값 및 소수부의 제2 차원 값을 합산하여 대표 좌표의 제2 차원 값을 산출할 수 있다. 제1 차원 값은 x 축의 좌표 값이고, 제2 차원 값은 y 축의 좌표 값일 수 있다.
본 실시예에 의하면, 정수부 뿐만 아니라 소수부의 변이 방향을 측정할 수 있다. 이에 따라, 광학 센서(20)가 정수 단위가 아닌 소수 단위로 미세하게 이동한 경우에도, 광학 센서(20)의 변이 방향 및 변이 량을 정확하게 측정할 수 있다.
이하에서는 서브 이미지(Q1)의 대표 좌표의 산출 방법에 대해서 설명한다. 다른 서브 이미지들(Q2, Q3, Q4)의 대표 좌표들도 동일한 방식으로 산출될 수 있으므로, 중복된 설명은 생략한다.
도 5는 본 발명의 한 실시예에 따른 서브 이미지의 대표 좌표의 정수부를 산출하는 방법을 설명하기 위한 도면이다.
센서 제어기(201)는 각각의 서브 이미지들(Q1, Q2, Q3, Q4)에 대해서, 제1 차원 값들에 대한 평균 밝기들(AVGX) 중 최대 값에 대응하는 제1 차원 값을 정수부의 제1 차원 값(xi1)으로 결정할 수 있다. 또한, 센서 제어기(201)는 각각의 서브 이미지들(Q1, Q2, Q3, Q4)에 대해서, 제2 차원 값들에 대한 평균 밝기들(AVGY) 중 최대 값에 대응하는 제2 차원 값을 정수부의 제2 차원 값(yi1)으로 결정할 수 있다.
예를 들어, 제1 방향(X)을 기준으로 동일한 위치의 센서 화소들(SPX)의 센싱 값들(밝기들)의 평균 밝기(AVGX)가 그래프의 높이에 해당할 수 있다. 예를 들어, 제1 방향(X)을 기준으로 첫 번째에 위치한 센서 화소들(SPX)의 센싱 값들은 이미지(ARi1)의 배경에 대응하므로 평균 밝기(AVGX)가 가장 작을 수 있다. 한편, 제1 방향(X)을 기준으로 xi1 번째에 위치한 센서 화소들(SPX)의 센싱 값들은 제2 방향(Y)으로 연장된 십자가 도형의 부분을 포함하므로, 평균 밝기(AVGX)가 최대일 수 있다.
예를 들어, 제2 방향(Y)을 기준으로 동일한 위치의 센서 화소들(SPX)의 센싱 값들(밝기들)의 평균 밝기(AVGY)가 그래프의 높이에 해당할 수 있다. 예를 들어, 제2 방향(Y)을 기준으로 첫 번째에 위치한 센서 화소들(SPX)의 센싱 값들은 이미지(ARi1)의 배경에 대응하므로 평균 밝기(AVGY)가 가장 작을 수 있다. 한편, 제2 방향(Y)을 기준으로 yi1 번째에 위치한 센서 화소들(SPX)의 센싱 값들은 제1 방향(X)으로 연장된 십자가 도형의 부분을 포함하므로, 평균 밝기(AVGY)가 최대일 수 있다.
도 6 내지 도 9는 본 발명의 한 실시예에 따른 서브 이미지의 대표 좌표의 소수부를 산출하는 방법을 설명하기 위한 도면이다.
도 6을 참조하면, 센서 제어기(201)는, 각각의 서브 이미지들(Q1, Q2, Q3, Q4)에 대해서, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들을 이전 밝기들과 비교하여 소수부의 제1 차원 값을 결정할 수 있다. 현재 밝기란 현 시점에서 촬상된 이미지(ARi1)에서 제1 관찰 영역들(PVB, PVR, PVD)의 밝기들을 의미한다. 이전 밝기란 과거 시점에서 촬상된 이미지에서 제1 관찰 영역들(PVB, PVR, PVD)의 밝기들을 의미한다.
제1 관찰 영역들(PVB, PVR, PVD) 각각은 제1 방향(X)보다 제2 방향(Y)으로 긴 형태일 수 있다. 예를 들어, 제1 관찰 영역들(PVB, PVR, PVD) 각각은 제1 방향(X)보다 제2 방향(Y)으로 긴 사각형일 수 있다. 제1 관찰 영역들(PVB, PVR, PVD)의 크기 및 형상은 서로 동일할 수 있다.
제1 관찰 영역들(PVB, PVR, PVD)은 제1 방향(X)으로 서로 인접하여 위치할 수 있다. 예를 들어, 제1 관찰 영역들(PVB, PVR, PVD)은 제1 방향(X)에서 서로 접할 수 있다.
각각의 서브 이미지들(Q1, Q2, Q3, Q4)은 제1 방향(X)을 기준으로 밝기가 급격하게 변하는 제1 경계(EDG1)를 포함할 수 있다. 예를 들어, 서브 이미지(Q1)은 제1 방향(X)을 기준으로 밝기가 급격하게 변하는 제1 경계(EDG1)를 포함할 수 있다. 도 6의 실시예에서는 십자가 도형으로부터 제1 방향(X) 및 제2 방향(Y)에 위치한 화이트 박스 도형의 제1 경계(EDG1)를 이용한다.
제1 관찰 영역들(PVB, PVR, PVD) 중 적어도 하나는 제1 경계(EDG1)에 중첩하여 위치할 수 있다. 예를 들어, 제1 관찰 영역(PVR)은 제1 경계(EDG1)에 중첩하여 위치할 수 있다. 제2 방향(Y)을 기준으로, 제1 관찰 영역(PVR)의 길이는 제1 경계(EDG1)의 길이와 동일할 수 있다. 제1 관찰 영역(PVB)은 화이트 박스에 중첩하여 위치할 수 있다. 제1 관찰 영역(PVD)은 배경에 중첩하여 위치할 수 있다.
도 7을 참조하면, 제1 관찰 영역들(PVB, PVR, PVD)의 이전 밝기들에 대한 그래프(XGR) 및 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들에 대한 서로 다른 경우의 그래프들(XGP, XGM)이 예시적으로 도시된다. 각각의 그래프들(XGR, XGP, XGM)은 제1 관찰 영역들(PVB, PVR, PVD)의 밝기들을 직선으로 연결한 것이다.
센서 제어기(201)는, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 이전 밝기들보다 작은 경우, 소수부의 제1 차원 값이 제1 부호를 갖도록 결정할 수 있다. 예를 들어, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 그래프(XGP)에 해당하는 경우, 현재 밝기들은 그래프(XGR)의 이전 밝기들보다 작다. 이러한 경우, 센서 화소들(SPX)은 표시 패널(10)을 기준으로 제1 방향(X)으로 이동한 것이므로, 소수부의 제1 차원 값은 (+) 부호를 가질 수 있다. 제1 방향(X)으로의 변이량은 제1 관찰 영역들(PVB, PVR, PVD)의 위치, 크기, 형상에 따라 다양한 알고리즘에 의해 산출될 수 있다. 예를 들어, 도 7의 실시예에서는 소수부의 제1 차원 값은 (+)0.2일 수 있다. 이는 센서 화소의 폭의 1/5 크기에 대응하는 변이량이다. 이에 따라, 서브 이미지(Q1)의 대표 좌표의 제1 차원 값은 xi1+0.2 일 수 있다.
센서 제어기(201)는, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 이전 밝기들보다 큰 경우, 소수부의 제1 차원 값이 제1 부호와 반대인 제2 부호를 갖도록 결정할 수 있다. 예를 들어, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 그래프(XGM)에 해당하는 경우, 현재 밝기들은 그래프(XGR)의 이전 밝기들보다 크다. 이러한 경우, 센서 화소들(SPX)은 표시 패널(10)을 기준으로 제1 방향(X)의 반대 방향으로 이동한 것이므로, 소수부의 제1 차원 값은 (-) 부호를 가질 수 있다. 제1 방향(X)으로의 변이량은 제1 관찰 영역들(PVB, PVR, PVD)의 위치, 크기, 형상에 따라 다양한 알고리즘에 의해 산출될 수 있다. 예를 들어, 도 7의 실시예에서는 소수부의 제1 차원 값은 (-)0.2일 수 있다. 이는 센서 화소의 폭의 1/5 크기에 대응하는 변이량이다. 이에 따라, 서브 이미지(Q1)의 대표 좌표의 제1 차원 값은 xi1-0.2 일 수 있다.
본 실시예에 따르면, 정수부 뿐만 아니라 소수부의 변이 방향 및 변이량까지 알 수 있다. 따라서, 광학 센서(20)의 정수부의 변이량이 0이고 소수부의 변이량이 0이 아닌 경우, 즉 광학 센서(20)가 미세하게 이동한 경우에도 정확한 변이 방향을 알 수 있다.
본 실시예에 따라 산출된 서브 이미지들(Q1, Q2, Q3, Q4)의 대표 좌표들은 센서 메모리(202)에 저장될 수 있다. 이에 따라 캘리브레이션 데이터는 수정된 대표 좌표들을 기준으로 이미지 보정에 사용될 수 있다.
도 8을 참조하면, 제1 관찰 영역들(PVB, PVR, PVD)의 이전 밝기들에 대한 그래프(XGR) 및 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들에 대한 그래프(XGD)가 예시적으로 도시된다. 각각의 그래프들(XGR, XGD)은 제1 관찰 영역들(PVB, PVR, PVD)의 밝기들을 직선으로 연결한 것이다.
센서 제어기(201)는, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 이전 밝기들보다 작고, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 이전 밝기들과 균일한 차이 값들을 갖는 경우, 소수부의 제1 차원 값을 0으로 결정할 수 있다. 균일한 차이 값들의 범위는 제1 관찰 영역들(PVB, PVR, PVD)의 위치, 크기, 형상에 따라 다양하게 결정될 수 있다.
예를 들어, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 이전 밝기들보다 작고, 제1 관찰 영역들(PVB, PVR, PVD)의 현재 밝기들이 이전 밝기들과 균일한 차이 값들을 갖는 경우, 현재 밝기들의 그래프(XGD)는 그래프(XGR)와 실질적으로 동일한 형태를 갖되, 밝기 축을 기준으로 아래로 이동한 형태를 가질 수 있다. 이러한 경우는 센서 화소들(SPX)이 이동한 것이 아니라 표시 화소들(DPX)에 열화가 발생하여 밝기가 감소한 경우일 수 있다. 즉, 도 7의 그래프(XGP) 및 도 8의 그래프(XGD) 모두에서 제1 관찰 영역(PVR)의 현재 밝기가 이전 밝기보다 감소하였지만, 도 7의 그래프(XGP)의 경우 변이가 발생한 것으로 판단하고, 도 8의 그래프(XGD)의 경우 변이가 발생하지 않은 것으로 판단할 수 있다.
따라서, 본 실시예에 의하면 복수의 제1 관찰 영역들(PVB, PVR, PVD)을 관찰하여 상대적 변이를 측정함으로써, 하나의 제1 관찰 영역(PVR)만 관찰하여 변이가 발생한 것으로 잘못 판단하는 경우를 방지할 수 있다.
도 9를 참조하면, 센서 제어기(201)는, 각각의 서브 이미지들(Q1, Q2, Q3, Q4)에 대해서, 제2 관찰 영역들(PHB, PHR, PHD)의 현재 밝기들을 이전 밝기들과 비교하여 소수부의 제2 차원 값을 결정할 수 있다. 현재 밝기란 현 시점에서 촬상된 이미지(ARi1)에서 제2 관찰 영역들(PHB, PHR, PHD)의 밝기들을 의미한다. 이전 밝기란 과거 시점에서 촬상된 이미지에서 제2 관찰 영역들(PHB, PHR, PHD)의 밝기들을 의미한다.
제2 관찰 영역들(PHB, PHR, PHD) 각각은 제2 방향(Y)보다 제1 방향(X)으로 긴 형태일 수 있다. 예를 들어, 제2 관찰 영역들(PHB, PHR, PHD) 각각은 제2 방향(Y)보다 제1 방향(X)으로 긴 사각형일 수 있다. 제2 관찰 영역들(PHB, PHR, PHD)의 크기 및 형상은 서로 동일할 수 있다.
제2 관찰 영역들(PHB, PHR, PHD)은 제2 방향(Y)으로 서로 인접하여 위치할 수 있다. 예를 들어, 제2 관찰 영역들(PHB, PHR, PHD)은 제2 방향(Y)에서 서로 접할 수 있다.
각각의 서브 이미지들(Q1, Q2, Q3, Q4)은 제2 방향(Y)을 기준으로 밝기가 급격하게 변하는 제2 경계(EDG2)를 포함할 수 있다. 예를 들어, 서브 이미지(Q1)는 제2 방향(Y)을 기준으로 밝기가 급격하게 변하는 제2 경계(EDG2)를 포함할 수 있다. 도 9의 실시예에서는 십자가 도형으로부터 제1 방향(X) 및 제2 방향(Y)에 위치한 화이트 박스 도형의 제2 경계(EDG2)를 이용한다.
제2 관찰 영역들(PHB, PHR, PHD) 중 적어도 하나는 제2 경계(EDG2)에 중첩하여 위치할 수 있다. 예를 들어, 제2 관찰 영역(PHR)은 제2 경계(EDG2)에 중첩하여 위치할 수 있다. 제1 방향(X)을 기준으로, 제2 관찰 영역(PHR)의 길이는 제2 경계(EDG2)의 길이와 동일할 수 있다. 제2 관찰 영역(PHB)은 화이트 박스에 중첩하여 위치할 수 있다. 제2 관찰 영역(PHD)은 배경에 중첩하여 위치할 수 있다.
센서 제어기(201)는, 제2 관찰 영역들(PHB, PHR, PHD)의 현재 밝기들이 이전 밝기들보다 작은 경우, 소수부의 제2 차원 값이 제1 부호를 갖도록 결정할 수 있다. 또한, 센서 제어기(201)는, 제2 관찰 영역들(PHB, PHR, PHD)의 현재 밝기들이 이전 밝기들보다 큰 경우, 소수부의 제2 차원 값이 제2 부호를 갖도록 결정할 수 있다. 이에 대해서는 도 7에 대한 설명과 실질적으로 동일하므로, 중복된 설명은 생략한다.
센서 제어기(201)는, 제2 관찰 영역들(PHB, PHR, PHD)의 현재 밝기들이 이전 밝기들보다 작고, 제2 관찰 영역들(PHB, PHR, PHD)의 현재 밝기들이 이전 밝기들과 균일한 차이 값들을 갖는 경우, 소수부의 제2 차원 값을 0으로 결정할 수 있다. 이에 대해서는 도 8에 대한 설명과 실질적으로 동일하므로, 중복된 설명은 생략한다.
도 10은 본 발명의 한 실시예에 따른 광학 센서의 기울기를 산출하는 방법을 설명하기 위한 도면이다.
도 10을 참조하면, 제1 시점에서 생성된 제1 이미지(ARi1)와 제1 시점이 아닌 제2 시점에서 생성된 제2 이미지(ARi1')가 예시적으로 도시된다. 예를 들어, 제2 시점은 제1 시점의 다음 측정 시점일 수 있다. 제1 이미지(ARi1)의 서브 이미지들(Q1, Q2, Q3, Q4)에 기초하여 제1 대표 좌표들((x1, y1), (x2, y2), (x3, y3), (x4, y4))이 산출되고, 제2 이미지(ARi1')의 서브 이미지들에 기초하여 제2 대표 좌표들((x1', y1'), (x2', y2'), (x3', y3'), (x4', y4'))이 산출된 것으로 가정한다. 설명의 편의를 위해서, 제1 대표 좌표((x1, y1)) 및 제2 대표 좌표((x1', y1'))는 동일한 것으로 가정한다. 설명의 편의를 위해서, 제1 이미지(ARi1)는 4 개의 제1 대표 좌표들((x1, y1), (x2, y2), (x3, y3), (x4, y4))을 연결하는 사각형인 것으로 가정한다. 설명의 편의를 위해서, 제2 이미지(ARi1')는 4 개의 제2 대표 좌표들((x1', y1'), (x2', y2'), (x3', y3'), (x4', y4'))을 연결하는 사각형인 것으로 가정한다.
센서 제어기(201)는 제1 이미지(ARi1)와 다른 시점에 생성된 제2 이미지(ARi1')의 제2 대표 좌표들((x1', y1'), (x2', y2'), (x3', y3'), (x4', y4')) 및 제1 대표 좌표들((x1, y1), (x2, y2), (x3, y3), (x4, y4))을 이용하여 광학 센서(20)의 기울기(ag12, ag34, ag13, ag24)를 산출할 수 있다. 예를 들어, 센서 제어기(201)는 제1 방향(X)에 대한 적어도 하나의 제1 기울기(ag12, ag34) 및 제2 방향(Y)에 대한 적어도 하나의 제2 기울기(ag13, ag24)를 산출할 수 있다.
예를 들어, 기울기(ag12)는 제1 대표 좌표((x1, y1)) 및 제2 대표 좌표((x2', y2'))를 이용하여 다음 수학식 1과 같이 산출할 수 있다.
[수학식 1]
Figure pat00001
다른 기울기들(ag34, ag13, ag24)도 실질적으로 동일한 방법으로 산출할 수 있으므로 중복된 설명은 생략한다. 따라서, 본 실시예에 의하면, 광학 센서(20)의 평면에서의 기울기 변이량 및 변이 방향을 산출할 수 있다.
센서 제어기(201)는, 적어도 하나의 제1 기울기(ag12, ag34) 및 적어도 하나의 제2 기울기(ag13, ag24)가 모두 동일한 경우, 제1 방향(X) 및 제2 방향(Y)과 직교하는 제3 방향(Z)의 제3 기울기를 0으로 결정할 수 있다. 예를 들어, 기울기들(ag12, ag34, ag13, ag24)이 모두 동일한 경우, 광학 센서(20)가 평면(제1 방향(X) 및 제2 방향(Y)) 상에서만 기울어졌고, 수직 방향(제3 방향(Z))에서는 기울어지지 않았음을 판단할 수 있다.
센서 제어기(201)는 제1 기울기(ag12, ag34) 및 적어도 하나의 제2 기울기(ag13, ag24) 중 적어도 하나가 다른 경우, 제3 기울기가 0이 아닌 것으로 결정할 수 있다. 예를 들어, 기울기들(ag12, ag34, ag13, ag24) 중 적어도 2개가 서로 다른 경우, 광학 센서(20)는 평면 방향 뿐만 아니라, 수직 방향에서도 기울어졌음을 판단할 수 있다.
따라서, 본 실시예에 의하면, 광학 센서(20)의 평면 방향의 기울기 뿐만 아니라, 수직 방향에서의 기울기 유무를 판단할 수 있다.
지금까지 참조한 도면과 기재된 발명의 상세한 설명은 단지 본 발명의 예시적인 것으로서, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
9: 표시 장치
10: 표시 패널
101: 표시 제어기
DPX: 표시 화소들
20: 광학 센서
201: 센서 제어기
SPX: 센서 화소들
202: 센서 메모리

Claims (20)

  1. 표시 화소들을 포함하는 표시 패널; 및
    센서 제어기 및 센서 화소들을 포함하고, 센서 화소들이 상기 표시 패널의 제1 영역 상에 위치하는 광학 센서를 포함하고,
    상기 표시 화소들은 상기 제1 영역에 복수의 마커들을 포함하는 패턴을 표시하고,
    상기 센서 화소들은 상기 패턴을 촬상하여 제1 이미지를 생성하고,
    상기 센서 제어기는 상기 제1 이미지를 상기 마커들에 대응하는 서브 이미지들로 분할하고,
    상기 센서 제어기는 상기 서브 이미지들에 대해서 정수부 및 소수부를 합산한 제1 대표 좌표들을 산출하고,
    상기 정수부의 단위는 상기 센서 화소들의 개수이고,
    상기 정수부 및 상기 소수부 각각은 제1 방향에 대한 제1 차원 값과 상기 제1 방향에 직교하는 제2 방향에 대한 제2 차원 값을 독립적으로 포함하는,
    광학 센서를 포함하는 표시 장치.
  2. 제1 항에 있어서,
    상기 센서 제어기는, 각각의 상기 서브 이미지들에 대해서, 제1 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제1 차원 값을 상기 정수부의 제1 차원 값으로 결정하고, 제2 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제2 차원 값을 상기 정수부의 제2 차원 값으로 결정하는,
    광학 센서를 포함하는 표시 장치.
  3. 제1 항에 있어서,
    상기 센서 제어기는, 각각의 상기 서브 이미지들에 대해서, 제1 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제1 차원 값을 결정하는,
    광학 센서를 포함하는 표시 장치.
  4. 제3 항에 있어서,
    상기 제1 관찰 영역들 각각은 상기 제1 방향보다 상기 제2 방향으로 긴 형태이고,
    상기 제1 관찰 영역들은 상기 제1 방향으로 서로 인접하여 위치한,
    광학 센서를 포함하는 표시 장치.
  5. 제4 항에 있어서,
    각각의 상기 서브 이미지들은 상기 제1 방향을 기준으로 밝기가 급격하게 변하는 제1 경계를 포함하고,
    상기 제1 관찰 영역들 중 적어도 하나는 상기 제1 경계에 중첩하여 위치하는,
    광학 센서를 포함하는 표시 장치.
  6. 제5 항에 있어서,
    상기 센서 제어기는, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작은 경우, 상기 소수부의 제1 차원 값이 제1 부호를 갖도록 결정하고,
    상기 센서 제어기는, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 큰 경우, 상기 소수부의 제1 차원 값이 상기 제1 부호와 반대인 제2 부호를 갖도록 결정하는,
    광학 센서를 포함하는 표시 장치.
  7. 제6 항에 있어서,
    상기 센서 제어기는, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작고, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들과 균일한 차이 값들을 갖는 경우, 상기 소수부의 제1 차원 값을 0으로 결정하는,
    광학 센서를 포함하는 표시 장치.
  8. 제6 항에 있어서,
    상기 센서 제어기는, 각각의 상기 서브 이미지들에 대해서, 제2 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제2 차원 값을 결정하는,
    광학 센서를 포함하는 표시 장치.
  9. 제8 항에 있어서,
    상기 제2 관찰 영역들 각각은 상기 제2 방향보다 상기 제1 방향으로 긴 형태이고,
    상기 제2 관찰 영역들은 상기 제2 방향으로 서로 인접하여 위치한,
    광학 센서를 포함하는 표시 장치.
  10. 제9 항에 있어서,
    각각의 상기 서브 이미지들은 상기 제2 방향을 기준으로 밝기가 급격하게 변하는 제2 경계를 포함하고,
    상기 제2 관찰 영역들 중 적어도 하나는 상기 제2 경계에 중첩하여 위치하는,
    광학 센서를 포함하는 표시 장치.
  11. 제10 항에 있어서,
    상기 센서 제어기는, 상기 제2 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작은 경우, 상기 소수부의 제2 차원 값이 상기 제1 부호를 갖도록 결정하고,
    상기 센서 제어기는, 상기 제2 관찰 영역들의 현재 밝기들이 이전 밝기들보다 큰 경우, 상기 소수부의 제2 차원 값이 상기 제2 부호를 갖도록 결정하는,
    광학 센서를 포함하는 표시 장치.
  12. 제1 항에 있어서,
    상기 센서 제어기는 상기 제1 이미지와 다른 시점에 생성된 제2 이미지의 제2 대표 좌표들 및 상기 제1 대표 좌표들을 이용하여 상기 광학 센서의 기울기를 산출하는,
    광학 센서를 포함하는 표시 장치.
  13. 제12 항에 있어서,
    상기 센서 제어기는 상기 제1 방향에 대한 적어도 하나의 제1 기울기 및 상기 제2 방향에 대한 적어도 하나의 제2 기울기를 산출하고,
    상기 센서 제어기는, 상기 적어도 하나의 제1 기울기 및 상기 적어도 하나의 제2 기울기가 모두 동일한 경우, 상기 제1 방향 및 상기 제2 방향과 직교하는 제3 방향의 제3 기울기를 0으로 결정하고,
    상기 적어도 하나의 제1 기울기 및 상기 적어도 하나의 제2 기울기 중 적어도 하나가 다른 경우 상기 제3 기울기가 0이 아닌 것으로 결정하는,
    광학 센서를 포함하는 표시 장치.
  14. 표시 패널의 제1 영역 상에 위치하는 광학 센서의 위치 측정 방법으로서, 상기 광학 센서의 위치 측정 방법은,
    표시 패널이 상기 제1 영역에 복수의 마커들을 포함하는 패턴을 표시하는 단계;
    상기 광학 센서의 센서 화소들이 상기 패턴을 촬상하여 제1 이미지를 생성하는 단계;
    상기 광학 센서의 센서 제어기가 상기 제1 이미지를 상기 마커들에 대응하는 서브 이미지들로 분할하는 단계; 및
    상기 센서 제어기가 상기 서브 이미지들에 대해서 정수부 및 소수부를 합산한 제1 대표 좌표들을 산출하는 단계를 포함하고,
    상기 정수부의 단위는 상기 센서 화소들의 개수이고,
    상기 정수부 및 상기 소수부 각각은 제1 방향에 대한 제1 차원 값과 상기 제1 방향에 직교하는 제2 방향에 대한 제2 차원 값을 독립적으로 포함하는,
    광학 센서의 위치 측정 방법.
  15. 제14 항에 있어서,
    상기 센서 제어기가, 각각의 상기 서브 이미지들에 대해서, 제1 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제1 차원 값을 상기 정수부의 제1 차원 값으로 결정하고, 제2 차원 값들에 대한 평균 밝기들 중 최대 값에 대응하는 제2 차원 값을 상기 정수부의 제2 차원 값으로 결정하는 단계를 더 포함하는,
    광학 센서의 위치 측정 방법.
  16. 제14 항에 있어서,
    상기 센서 제어기가, 각각의 상기 서브 이미지들에 대해서, 제1 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제1 차원 값을 결정하는 단계를 더 포함하는,
    광학 센서의 위치 측정 방법.
  17. 제16 항에 있어서,
    상기 제1 관찰 영역들 각각은 상기 제1 방향보다 상기 제2 방향으로 긴 형태이고,
    상기 제1 관찰 영역들은 상기 제1 방향으로 서로 인접하여 위치하고,
    각각의 상기 서브 이미지들은 상기 제1 방향을 기준으로 밝기가 급격하게 변하는 제1 경계를 포함하고,
    상기 제1 관찰 영역들 중 적어도 하나는 상기 제1 경계에 중첩하여 위치하는,
    광학 센서의 위치 측정 방법.
  18. 제17 항에 있어서,
    상기 센서 제어기가, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작은 경우 상기 소수부의 제1 차원 값이 제1 부호를 갖도록 결정하고, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 큰 경우 상기 소수부의 제1 차원 값이 상기 제1 부호와 반대인 제2 부호를 갖도록 결정하는 단계를 더 포함하는,
    광학 센서의 위치 측정 방법.
  19. 제18 항에 있어서,
    상기 센서 제어기가, 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들보다 작고 상기 제1 관찰 영역들의 현재 밝기들이 이전 밝기들과 균일한 차이 값들을 갖는 경우, 상기 소수부의 제1 차원 값을 0으로 결정하는 단계를 더 포함하는,
    광학 센서의 위치 측정 방법.
  20. 제18 항에 있어서,
    상기 센서 제어기가, 각각의 상기 서브 이미지들에 대해서, 제2 관찰 영역들의 현재 밝기들을 이전 밝기들과 비교하여 상기 소수부의 제2 차원 값을 결정하는 단계를 더 포함하는,
    광학 센서의 위치 측정 방법.
KR1020200083050A 2020-07-06 2020-07-06 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법 KR20220005677A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200083050A KR20220005677A (ko) 2020-07-06 2020-07-06 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법
US17/341,219 US11682366B2 (en) 2020-07-06 2021-06-07 Display device including optical sensor and measurement method for location of optical sensor
CN202110754750.8A CN113903298A (zh) 2020-07-06 2021-07-02 包括光学传感器的显示设备和光学传感器的位置测量方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200083050A KR20220005677A (ko) 2020-07-06 2020-07-06 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법

Publications (1)

Publication Number Publication Date
KR20220005677A true KR20220005677A (ko) 2022-01-14

Family

ID=79166945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083050A KR20220005677A (ko) 2020-07-06 2020-07-06 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법

Country Status (3)

Country Link
US (1) US11682366B2 (ko)
KR (1) KR20220005677A (ko)
CN (1) CN113903298A (ko)

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10301941B4 (de) * 2003-01-20 2005-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kamera und Verfahren zur optischen Aufnahme eines Schirms
KR100627492B1 (ko) 2003-07-22 2006-09-22 엘지전자 주식회사 지문인식 센서 및 그 제조방법
KR100561851B1 (ko) 2003-11-18 2006-03-16 삼성전자주식회사 지문 인식 센서 및 그 제조 방법
JP5795746B2 (ja) * 2012-03-30 2015-10-14 富士フイルム株式会社 導電性フイルム、それを備える表示装置及び導電性フイルムのパターンの決定方法
CN105320867B (zh) 2014-05-30 2018-07-06 神盾股份有限公司 电子装置和指纹辨识方法
US9672405B2 (en) 2014-05-30 2017-06-06 Egis Technology Inc. Electronic device and fingerprint recognition method
CN107358188B (zh) 2015-01-13 2021-12-07 深圳市汇顶科技股份有限公司 指纹传感器及其校正方法
CN104794433A (zh) 2015-03-27 2015-07-22 深圳市汇顶科技股份有限公司 指纹识别系统和方法
KR101780231B1 (ko) 2015-12-02 2017-09-21 고려대학교 산학협력단 광 간섭 단층 촬영 장치 기반의 지문 인식 장치 및 방법
KR102449721B1 (ko) 2017-12-27 2022-10-04 삼성디스플레이 주식회사 표시 장치 및 표시 장치의 검사 방법
KR102695040B1 (ko) * 2018-11-01 2024-08-13 삼성디스플레이 주식회사 표시 장치 및 그 제어 방법
CN110188679B (zh) * 2019-05-29 2021-09-14 Oppo广东移动通信有限公司 校准方法及相关设备
KR20210057556A (ko) * 2019-11-12 2021-05-21 엘지전자 주식회사 사용자의 선호도를 고려하여 디스플레이 패널을 조정하는 인공 지능 장치 및 그 방법
EP3929690A1 (en) * 2020-06-22 2021-12-29 Carnegie Robotics, LLC A method and a system for analyzing a scene, room or venueby determining angles from imaging elements to visible navigation elements

Also Published As

Publication number Publication date
CN113903298A (zh) 2022-01-07
US20220005437A1 (en) 2022-01-06
US11682366B2 (en) 2023-06-20

Similar Documents

Publication Publication Date Title
JP4820285B2 (ja) 自動位置合わせタッチシステムおよび方法
KR100499764B1 (ko) 디지털 이미지에서 객체를 측정하는 방법 및 시스템
US20130046506A1 (en) Three-dimensional measurement apparatus, three-dimensional measurement method, and storage medium
JP3937024B2 (ja) モアレ縞を用いたずれ、パタ−ンの回転、ゆがみ、位置ずれ検出方法
EA011851B1 (ru) Способ и устройство для измерения перемещения поверхности
JP2013108933A (ja) 情報端末装置
CN112739976B (zh) 尺寸测量装置以及尺寸测量方法
JP2015021862A (ja) ３次元計測装置及び３次元計測方法
AU2017263145A1 (en) Break analysis apparatus and method
US20190325593A1 (en) Image processing apparatus, system, method of manufacturing article, image processing method, and non-transitory computer-readable storage medium
CN111582250A (zh) 指纹识别装置及指纹识别方法
JP4193342B2 (ja) ３次元データ生成装置
WO2008075632A1 (ja) 複眼測距装置の検査方法および検査装置並びにそれに用いるチャート
CN114502913A (zh) 修正参数计算方法及装置、位移量计算方法及装置
KR20220005677A (ko) 광학 센서를 포함하는 표시 장치 및 광학 센서의 위치 측정 방법
JP4423347B2 (ja) 複眼測距装置の検査方法及び検査装置並びにそれに用いるチャート
JP2010230423A (ja) 変位量測定装置及び同測定方法
RU2579532C2 (ru) Оптико-электронный стереоскопический дальномер
JP2020046229A (ja) 三次元形状測定装置及び三次元形状測定方法
JP4429135B2 (ja) 三次元形状計測システム及び計測方法
JP6777079B2 (ja) 寸法測定装置、寸法測定システム、及び、寸法測定方法
JP6864911B2 (ja) 面形状歪測定装置
JP2008170282A (ja) 形状測定装置
JP2016008837A (ja) 形状測定方法、形状測定装置、構造物製造システム、構造物製造方法、及び形状測定プログラム
JP2019192156A (ja) 画像処理装置、画像処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination