KR20140037861A - 양방향 디스플레이 및 이의 트리거링 - Google Patents

양방향 디스플레이 및 이의 트리거링 Download PDF

Info

Publication number
KR20140037861A
KR20140037861A KR1020137031770A KR20137031770A KR20140037861A KR 20140037861 A KR20140037861 A KR 20140037861A KR 1020137031770 A KR1020137031770 A KR 1020137031770A KR 20137031770 A KR20137031770 A KR 20137031770A KR 20140037861 A KR20140037861 A KR 20140037861A
Authority
KR
South Korea
Prior art keywords
display
array
column
light
camera
Prior art date
Application number
KR1020137031770A
Other languages
English (en)
Other versions
KR101852477B1 (ko
Inventor
리고 헤롤드
베른 리츠터
우베 보겔
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Publication of KR20140037861A publication Critical patent/KR20140037861A/ko
Application granted granted Critical
Publication of KR101852477B1 publication Critical patent/KR101852477B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/60—OLEDs integrated with inorganic light-sensitive elements, e.g. with inorganic solar cells or inorganic photodiodes
    • H10K59/65—OLEDs integrated with inorganic image sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10K—ORGANIC ELECTRIC SOLID-STATE DEVICES
    • H10K59/00—Integrated devices, or assemblies of multiple devices, comprising at least one organic light-emitting element covered by group H10K50/00
    • H10K59/10—OLED displays
    • H10K59/12—Active-matrix OLED [AMOLED] displays
    • H10K59/128—Active-matrix OLED [AMOLED] displays comprising two independent displays, e.g. for emitting information from two major sides of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes

Abstract

본 발명은 복수의 광 발생 픽셀(light-generating pixels)을 포함하는 2차원 디스플레이 어레이 및 복수의 광 검출 소자(light-detecting elements)를 포함하는 2차원 카메라 어레이를 가지는 양방향 디스플레이(bidirectional display)에 관한 것이며, 상기 두 개의 어레이는 각각 라인(line)에 의해 전기적으로 트리거된 라인일 수 있고 바람직하게 몇몇 섹션에서 적어도 삽입되며, 상기 디스플레이 어레이 및 카메라 어레이의 전기적 트리거링(electrical triggering), 즉 양방향 디스플레이의 라인-연속 전기적 트리거링(line-sequential electrical triggering)의 특성은 상기 디스플레이 어레이의 라인에서 광 발생 동안, 상기 라인에 가까운 카메라 어레이의 라인으로 광 검출이 비활성화되는 것이다.

Description

양방향 디스플레이 및 이의 트리거링{BIDIRECTIONAL DISPLAY AND TRIDDERING THEREOF}
본 발명은 양방향 디스플레이 및 그의 전자 제어에 관한 것이다.
특히, 양방향 디스플레이는 예를 들어 소위 "헤드 마운트 디스플레이(head-mounted display; HMDs)"에서 눈의 시선 방향을 검출하는데 이용될 수 있다. 또한 다음에서, 본 발명에 따른 양방향 디스플레이의 구체예는 특히 이러한 HMDs를 참조하여 기술될 것이다. 그러나, 본 발명에 따른 양방향 디스플레이는 다른 응용 목적, 예를 들어 메뉴 제어(menu control)를 위한 디지털 카메라에서 시선을 제어할 수 있는 뷰 파인더(gaze-controlled view finders)에 이용될 수 있다. 또한 사용자 제어, 예를 들어 시선 제어에 의한 xy-스테이지(xy-stage)를 움직이는 현미경의 분야에서의 이용이 가능하다. 이용의 추가 영역은 예측 가능하다.
시선 추적 기능(eye-tracking function)을 이용하여 HMDs는 가상 이미지 프로젝션 및 이용자의 시선 방향을 검출하는 각각의 개별 부품을 가지는 이전 기술로부터 처음 알려졌었다(J. P. Rolland, H. Hua, P. Krishnashwamy: "Video-based eye tracking methods and algorithms in head-mounted displays", optics express (2006), Vol. 14, H.10, p. 4328-4350). 이점에서, 눈은 현실 세계로 반투과형 거울(semi-transparent mirror)을 통해 본다. 가상 디스플레이 영상은 접안 렌즈(eyepiece)에 의해 확대되며, 반투과형 거울을 통해 눈에 비친다. 디스플레이 및 카메라의 공간적으로 분리된 배열(arrangements) 때문에, 광학 또는 전기적 크로스토크(crosstalk)가 이러한 HMDs에서 발생하지 않는다. 그러나 이러한 시스템 구조는 많은 수의 부품 때문에 적절한 전력 소모 뿐 아니라 제한된 소형화 단계만을 이룰 수 있다.
또한, 광학적 배열는 적어도 하나의 소자 방출 전자기 방사선(element emitting electromagnetic radiation)이 전자기 방사선을 검출하는 복수의 소자와 함께 배열되거나 적어도 하나의 소자 검출 전자기 방사선이 공통 기판에 전자기 방사선을 방출하는 복수의 소자와 함께 배열되는 이전 기술(DE 10 2006 030 541 A1)로부터 알려져있다. 이점에서, 방사선을 방출하는 소자 및 방사선을 검출하는 소자는 CMOS 기술(방사선을 방출하는 소자는 유기 발광 다이오드(organic light-emitting diodes; OLEDs)일 수 있고; 방사선을 검출하는 소자는 CMOS 포토다이오드(photodiode)일 수 있다)로 이해될 수 있다. DE 10 2006 030 541 A1에서 알려진 배열은 본 발명(본 발명에 따른 전기 제어(electrical control)에 의해 보충된)에 따른 양방향 디스플레이의 디스틀레이 어레이(display array) 및 카메라 어레이(camera array)의 원리를 형성할 수 있다(다음에서 보아). 따라서, DE 10 2006 030 541 A1 및 여기에 기술된 특정 광학적 배열은 디스플레이 어레이 및 카메라 어레이의 구조로서 본 발명의 구성 부분이다.
따라서, 예를 들어 양방향 OLED 마이크로디스플레이(bidirectional OLED microdisplays)의 형상으로 눈의 시선 방향을 검출하는 "헤드 마운트 디스플레이"와 같은 양방향 디스플레이는 특히 DE 10 2006 030 541 A1의 작은 원리로 실현될 수 있다. 높은 기능성을 가지는 바람직한 소형화 뿐 아니라, 다양한 문제점은 한편으로는 작동 시 사용자에게 강한 광을 투사하는 것으로 야기되며, 한편으로는 견고하게 시선 추적(eye-tracking)을 위한 눈 이미지를 검출하는 것에서 야기된다. 양방향 OLED 마이크로디스플레이의 구조 때문에, 인접한 카메라 픽셀(camera pixels)(다음에서 광검출 소자(light-detecting elements)라 불리는)과 OLED 픽셀(매우 일반적으로 다음에서 광발생 화소(light-generating picture elements)라 불리는)의 광학적 크로스토크는 중첩된 활성 매트릭스(nested active matrix)(다음에서 보아, 디스플레이 어레이 및 카메라 어레이의 상호 중첩) 내에서 발생한다. 이러한 광학적 크로스토크는 그 결과를 가지나, 광검출 소자의 출력 신호(output signal)의 동적 범위는 매우 한정적이다. 또한, 회로에서 인접한 회로 부품 때문에 광학적 크로스토크 뿐만 아니라 전기적 크로스토크도 있다. 그 후, 전기적 크로스토크(electrical crosstalk)는 예를 들어 중첩된 디스플레이 어레이 및 카메라 어레이 내에서 신호 라인에서 정전식 크로스토크(capacitive crosstalk) 때문에 광검출 소자의 신호의 간섭이 있는 결과를 가진다.
(HMDs에서 양방향 디스플레이로 발생하는 추가 문제점은 마이크로디스플레이에서 레티나(retina)로 가상 이미지 프로젝션(virtual image projection) 및 양방향 디스플레이의 카메라 매트릭스로 눈 이미지의 이미지화(imaging) 사이에서 광학적 디커플링(optical decoupling)이다. 그러나 이러한 디커플링(decoupling)은 눈 이미지가 근적외선 범위(near infrared range)에서 검출되는 것으로 이루어진다. 시스템 측면에서, 사용자의 눈은 근적회선 범위에서 비춰져야한다. 이점에서, 사용자의 눈에 의해 반사된 적외선 방사(infrared radiation) 강도는 시스템에서 다른 손실 메카니즘(loss mechanisms) 뿐 아니라 최대 방사 강도에서 법으로 정해진 제한이 이루어진다. 양방향 마이크로디스플레이에서 검출된 눈 이미지 맵(eye image ma)의 품질은 시스템 구성요소의 최적화되지 않은 크기로 저하된다. 또한, 시스템의 전력 소모가 증가한다. 낮은 이미지 품질은 시선 추전이 불가능할 수 있다.)
이전 기술로부터, 본 발명의 목적은 충분히 광학적 및/또는 전기적 디커플링이 높은 단계의 소형화로 보장되는 위에 나타낸 문제점을 해결하는 양방향 디스플레이를 제공하는 것이다.
본 발명의 목적은 청구항 제 1항에 따른 양방향 디스플레이 및 청구항 제 16항에 따른 디스플레이의 제어 방법에 의해 이루어진다. 바람직한 구체예 변형은 종속 항에서 볼 수 있다. 본 발명에 따른 이용은 청구항 제 17항에서 볼 수 있다.
일반적으로 본 발명은 다음에서 및 다양한 바람직한 구체예 변형을 참조하여 처음으로 기술될 것이다. 이점에서, 각각의 구체예에서 서로에 결합하여 이해되는 본 발명의 각각의 특성은 구체예에 나타낸 서로와 결합하여 정확히 실현되지 않으나 각각의 특성은 청구항에 정의된 보호 범위의 구조 내에서 다른 방식으로 서로에 상당히 결합될 수 있다. 특정 구체예에 나타낸 각각의 특성 중 하나는 생략될 수 있거나 나타낸 구체예의 다른 하나로 대체될 수 있다.
본 발명에 따른 양방향 디스플레이는 이미지를 재생하고 이미지를 수행하는 어레이 구조인, 디스플레이 어레이 및 카메라 어레이의 중첩된 및/또는 포개진 어레이 구조에 기반한다.
한편으로는 카메라, 다른 한편으로는 디스플레이의 선명도 요구에 의존하여, 카메라 픽셀인 광검출 소자는 예를 들어 복수의 이미지 픽셀인 복수의 광발생 화소로 둘러싸일 수 있거나, 하나의 이미지 픽셀은 예를 들어 복수의 카메라 픽셀에 의해 둘러싸일 수 있다. 카메라 픽셀 및 이미지 칙셀이 각각의 디스플레이 열에 교대로 배치되는 배열은 광발생 화소 및 광검출 소자의 상호 중첩의 다른 타입으로 예상 가능하다.
다음에서 진술되지 않는 경우, 광발생 화소의 최대 발광의 스펙트럼 범위(예를 들어: 가시 범위에서 최대 강도)는 충분한 광학적 디커플링이 아닐지라도 특정 디커플링이 이미 이러한 측정에 의해 실현되도록 광검출 소자의 최대 감도의 스펙트럼 범위에서 충분히 멀리 배치된다.
따라서 본 발명에 다른 양방향 디스플레이는 복수의 광발생 화소(light-generating picture elements)를 가지는 디스플레이 어레이 및 복수의 광 검출 화소(light-detecting picture elements)를 가지는 카메라 어레이를 가진다. 바람직하게 두 개의 어레이는 특히 바람직하게 서로에 완전히 중첩되어 배치된, 각각 전기적으로 제어가능한 열-방향(row-wise)에 있고, 바람직하게 적어도 섹션-방향(section-wise)에 있다(활성 매트릭스로 위의 설명을 보아).
규칙적으로, 디스플레이 어레이 및 카메라 어레이 둘 다는 2차원 어레이(two-dimensional arrays)이다. 그러나, 예를 들어 이러한 어레이 중 하나(예를 들어 카메라 어레이)만 1차원으로 설계되며 즉, 하나의 열(row) 또는 다른 어레이의 두 개의 열 사이에서 중첩되게 배치되는 하나의 단일 열이다.
본 발명에 따라, 두 개의 어레이의 시간면(time aspect)에서 순차적 전기 제어(sequential electrical control)가 실현된다. 이 점에서, 특히 디스플레이 어레이 및 카메라 어레이의 전기 제어(electrical control)가 디스플레이 어레이의 하나의 열에서 광 발생 동안 이러한 열에 가까이 배치된 카메라 어레이의 열로(선택적으로 추가 카메라 열(camera rows)로) 광 검출이 비활성화되도록 실현될 수 있다. 특히 양방향 디스플레이의 열-순차적 전기 제어는 처음으로 디스플레이 어레이의 선택된 열에서 광 발생; 그런 다음, 광 발생이 상기 열에서 끝내진 후, 디스플레이의 열에 가까이 배치된 카메라 어레이의 열의 활성화 및 카메라 어레이의 열로 이미지 촬영;으로 이루어질 수 있다.
따라서 또한 본 발명은 당연히 열-방향 제어(row-wise control) 대신에 컬럼-방향 전기 제어(column-wise electrical control)를 포함한다: 열 및 컬럼으로 어레이의 분할은 어레이의 대응하는 컬럼-방향 제어가 동등하게 본 발명에 의해 보호되도록 열로서 컬럼이 고려되도록(예를 들어 90°로 어레이의 회전) 단지 정의의 문제이다.
더 바람직한 구체예 변형에 있어서, 디스플레이 및 카메라 디스플레이의 본 발명에 따른 전기적 제어는 디스플레이 어레이의 복수의 열, 바람직하게 인접한 열에서 광 발생 후, 카메라 어레이의 복수의 열에 가까이 배치된 열에 의한 광 검출이 비활성화되도록 이루어진다.
또한 전기 제어가 가능해서, 여기에서 광 발생 및/또는 전기 활동부(electrical activity)는 외부 광원에 의해 카메라 어레이의 조명 동안 및/또는 카메라 어레이의 적어도 하나의 열에 의한 광 검출 동안 디스플레이 어레이의 열에서 사용될 수 없다.
더 바람직한 구체예의 변형에서, 미리 정의된 시간 간격 △t는 열의 프로그래밍의 단부(end) 및/또는 한편으로 이러한 열에 표현된 열로 데이터의 기록의 단부, 다른 한편으로 광 검출(카메라 어레이의 하나 이상의 열)의 개시부(start) 사이에 존재한다(디스플레이 어레이의 하나의 열 또는 복수의 열에 대하여). 이 점에서, 바람직하게 시간 간격의 길이는 적어도 1/10, 바람직하게 적어도 1/5, 바람직하게 적어도 카메라 어렝이의 열에 의래 광 검출의 시간 간격 △tKE의 절반에 달한다.
더 바람직한 변형에서, 광 검출의 시간 간격 △tKE은 디스플레이 어레이의 전체 열에 대하여 동일한 길이에 있다. 또한 광 발생의 비활성화 및/또는 전기적 비활성화 및/또는 각각의 열의 스위치 오프(switching off)의 시간 간격 tAD은 디스플레이 어레이의 모든 열에 대하여 동일한 길이에 있다.
광 검출은 카메라 어레이의 모든 열에서 하나의 동일한 시간 간격 tKE으로 이루어질 수 있고, 그 후 광 검출은 디스플레이 어레이의 각각의 열에서 서로에 대하여 및 시간 간격 tKE 외부의 디스플레이 어레이의 모든 열에 대하여 타임 오프셋이 이루어질 수 있다.
그러나, 카메라 어레이의 각각의 열에서 광 검출 및 디스플레이 어레이의 각각의 열에서 광 발생 둘 다는 서로 타임 오프셋(offset in time)이 이루어진다. 그 후, 광 검출은 각각의 경우에 두번째로 가까이(인접한) 배치된 카메라 어레이의 열에서 디스플레이 어레이의 모든 열에 대하여 디스플레이 어레이의 대응하는 열의 광 발생의 시간 간격 외부에서 이루어진다.
본 발명에 따라, 열에서 용어 광 발생은 다음으로 정의될 수 있다: 열에 표현되는 데이터의 열로 기록 및/또는 열에 표현된 데이터의 삭제와 함께 열에서 데이터의 표현과 함께 열의 프로그래밍은 광 발생으로 여겨진다. 따라서 이 경우, 열에서(또는 전체 디스플레이 어레이에서) 용어 광 발생은 열의 전기 활동부 또는 전체 디스플레이 어레이의 전체 시간(time span)을 포함한다.
그러나, 본 발명에 따라 위에 기술된 기록 및/또는 데이터의 위에 기술된 표현과 함께 프로그래밍(열에서 표현된 데이터의 이후의 삭제 없이)으로서 광 발생이 이해되는 것이 가능하다. 즉, 삭제와 함께 표현으로만 이해될 것 수 있다. 마지막으로, 본 발명에서 용어 광 발생은 열에서(또는 전체 어레이에서) 데이터의 위에 기술된 표현으로서만 이해될 수 있다.
디스플레이 어레이 및 카메라 어레이에서 본 발명에 따른 전기 제어 방법은 기록 및/또는 프로그래밍, 데이터의 표현 및 데이터의 삭제를 위한 조정 또는 대응하는 시간 간격에 따라 적용될 수 있다.
카메라 어레이의 열에서(또는 동시에 작동하는 모든 카메라가 제공된, 전체 카메라 어레이에서) 광 검출은 외부 광원 및 열(row)로 입사(incident)에서 발산된 광량자(light quanta)의 열 통합(검출인), 통합 및 마지막으로 외부 광원의 각각의 입사 광속(incident photon)의 통합(integration)에 의해 생성된 열 신호의 데이터 판독의 시작까지 스위치온 지연(switch-on delay)(또는 지연 시간)을 의미할 수 있다. 정의에 따라, 광 검출(또는 검출 시간)은 카메라 어레이(또는 전체 카메라 어레이)의 열의 전기 활동부의 전체 양상을 포함한다.
그러나, 위에 기술된 통합 및 이미 기술된 판독을 포함하는 양상으로서만 광 검출을 조정하는 것이 가능하다(디스플레이 어레이 및 카메라 어레이의 시간 제어의 대응하는 적용으로). 위에 기술된 통합과 함께 위에 기술된 스위치-온 지연을 포함하는 시간 간격으로서 조정 또는 통합의 시간 간격으로서만 조정이 가능하다.
본 발명에 따라, 광 발생 및 광 검출은 서로에 따른 복수의 시간, 바람직하게 디스플레이에 나타내는 각각의 디스플레이 이미지(display images) 또는 프레임(frames)에 대응하는 반복 간격(periodic interval)에서 수행될 수 있다(이 후, 광 검출은 디스플레이의 각각의 열에서 광 발생 및 위에 기술된 구체예 변형으로 실현되는 카메라 어레이의 각각의 열에 의한 광 검출 사이의 연관성으로 광 발생을 발생시키는 각각의 사이클(cycle)에서 이루어진다).
바람직하게, 디스플레이 어레이는 그러나 가능한 적은 간섭광으로, 바람직하게 아무것도 아닌 광으로, 이것을 넘어 인간의 눈에 보이는 광을 방출한다; 대조적으로, 바람직하게 카메라 어레이(또는 카메라 어레이의 광검출 소자)는 가능한 적은 가시광, 바람직하게 비 가시광, 이것을 넘어 간섭 광을 검출한다.
디스플레이 어레이의 광발생 화소 또는 픽셀은 유기 발광 다이오드(organic light-emitting diodes), OLEDs일 수 있다. 카메라 어레이의 광검출 소자 또는 픽셀은 포토다이오드(photodiodes) 또는 포토트랜지스터(phototransistors)일 수 있다. 이 점에서, 광발생 화소 및 광검출 소자는 CMOS 기술로 형성된 및/또는 통합된 매트릭스 뿐 아니라 분리된 매트릭스 또는 상호 중첩 매트릭스 중 하나로 실현될 수 있다.
양방향 디스플레이는 광발생 화소가 4~40㎛의 측면 길이를 가지는 마이크로디스플레이이다. 광검출 소자의 측면 길이는 4~40㎛일 수 있다.
이미 기술된대로, 본 발명의 광발생 화소 및 광검출 소자의 통합(integration) 또는 디스플레이 어레이 및 카메라 어레이의 중첩(nesting)은 DE 2006 030 541 A1에 기술된대로 이루어질 수 있다.
본 발명은 복수의 구체예를 참조하여 다음에 기술될 것이다;
도 1은 서로를 통해 배치된 두 개의 격자(gratings) 형상으로 상호 중첩되는 어레이로, 2차원 디스플레이 어레이 및 2차원 카메라 어레이를 가지는 본 발명에 따른 디스플레이 구조의 윤곽도(outline)이다;
도 2는 이전 기술에서 알려진 디스플레이(또는 디스플레이 어레이) 및 카메라(어레이)의 병렬 조작과 비교하여 본 발명에 따라 실현될 수 있는 양방향 디스플레이로서, 디스플레이 어레이의 전기 제어 및 카메라 어레이의 전기 제어의 시간면(time aspect)에서 완전한 분리도이다;
도 3은 이전의 병렬 조작과 비교하여 본 발명에 따라 실현되는 열 베이스(row base)에서 디스플레이 및 카메라 어레이의 복수의 전기 제어이다;
도 4는 본 발명에 따른 디스플레이 어레이 및 카메라 어레이의 추가 전기 제어이다;
도 5는 본 발명의 프레임워크 내에서 광검출 소자로서 실현될 수 있는 양방향 디스플레이로서 포토다이오드의 방전 회로(discharge circuit)이며,
도 6은 본 발명에 따른 양방향 디스플레이를 가지는 HMD에서 야기될 수 있는 시선 검출 방향에 대한 신호 흐름의 의존도이다.
도 1은 2차원 디스플레이 어레이(two-dimensional display array, 1) 및 2차원 카메라 어레이(two-dimensional camera array, 2)를 가지는, 본 발명에 따른 양방향 디스플레이의 활성 매트릭스의 윤곽도이며, 상기 디스플레이 어레이의 각각의 광발생 화소(light-generating picture elements, 1, 1b, ………)의 위치는 정사각형 격자의 교차점에 대응하며, 마찬가지로 카메라 어레이(2)의 광검출 소자(light-detecting elements, 2a, 2b, ………)의 위치는 더 정사각형인, 2차원 격자(dimensional grating)의 위치에 대응한다(이 점에서, 디스플레이 어레이(10)의 격자의 격자 간격 p1은 2차원 카메라 어레이(2)의 격자의 격자 구조 p2의 절반에 대응한다). 이 점에서, 디스플레이 어레이(1) 및 카메라 어레이(2)의 두 개의 격자는 카메라 어레이(2)의 각각의 광검출 소자(2a, 2b, ………)가 인접한 4개의 사각형의 형상으로 디스플레이 어레이(1)의 4개의 각각의 광발생 화소(1a, 1b, ………)로 둘러싸이도록 서로로부터 어긋난 서로를 통해 배치된다.
만들어진 양방향 디스플레이의 제 1 열(row) 1za1는 디스플레이 어레이(1)의 제 1 열(row)에 대응하고; 양방향 디스플레이의 제 2 열 2zk1는 카메라 어레이(2)의 제 1 열에 대응한다. 양방향 디스플레이의 제 3 열 1za2는 디스플레이 어레이(1)의 제 2 열에 대응한다. 양방향 디스플레이의 제 4 열 1za3 는 디스플레이 어레이(1)의 제 3 열에 대응한다. 양방향 디스플레이의 제 5 열(열 2zk2)는 카메라 어레이(2)의 제 2 열 등에 대응한다.
따라서, 10개의 양방향 디스플레이는 화소(1a, 2 1b, ………)를 각각 포함하는 전체 2L = 10 열를 가지는 디스플레이 어레이(2) 및 5개의 광검출 소자(2a, 2b, ………)를 각각 포함하는 전체 L = 5를 가지는 카메라 어레이(2)를 포함한다. 디스플레이 어레이(1) 및 카메라 어레이(2)는 예를 들어 데이터가 디스플레이 어레이(1)의 각각의 열로 열-방향(row-wise)을 기록할 수 있도록, 각각의 열로 디스플레이될 수 있도록 및 이 후에 다시 각각의 열에서 삭제될 수 있도록 각각 전기적으로 열-방향(row-wise)(서로 독립적으로)을 제어할 수 있다. 광검출 소자(2a, 2b, ………)에 의해 발생된 전기 신호의 판독은 똑같이 열-방향(row-wise)으로 이루어질 수 있다. 일반적으로 디스플레이 어레이(1) 및 카메라 어레이(2)의 열-방향 제어(row-wise control)를 위한 전기 회로는 기술의 숙련자에게 익숙하다.
따라서, 디스플레이 어레이(1)의 제 1 열 1za1에 두번째로 가까운 또는 가까이 배치된 카메라 어레이(1)의 열는 열 2zk1이다. 이러한 열 2zk1는 어레이(1)의 제 2 열 1za2에 카메라 어레이(2)의 두 번째로 가까운 열이다. 제 3 열 lza3에 두 번째로 rkRKdns 카메라 어레이(2)의 열는 카메라 어레이(2)의 제 2 열 2zk2이다.
본 발명에 따른 전기 제어의 단순한 변형에 있어서, 디스플레이 어레이(1)의 제 1 열 1za1에서 광 발생 동안 두 번째로 가까운 열 2zk1에 의한 광 검출은 비활성화된다(이러한 열에서 스위치 오프된 카메라 검출인). 광검출은 디스플레이 어레이(1)의 다른 열 1za3, 1za4, ………)와 대응적인 쌍방향(pair-wise)으로 이루어질 수 있다. 카메라 어레이(2)의 모든 열 2zk는 예를 들어 광 발생이 디스플레이 어레이(1)의 다른 열 1za에서 이루어지는 동안 자연히 비활성화된다. 본 발명에 따른 두 개의 어레이(1,2)의 전기 제어의 더 상세한 설명은 다음에 기술될 것이다.
도 2는 이전 기술에서 알려진 디스플레이 어레이("디스플레이") 및 카메라 어레이("카메라")의 병렬 조작 P)와 비교하여, 시간 면으로부터 완전한 분리가 디스플레이 어레이(1)의 전기 제어로 이루어지거나 이러한 어레이의 전기 활동부로 이루어지며 한편으로는 카메라 어레이(2)의 전기 제어로 이루어지거나 다른 한편으로는 카메라 어레이의 전기 활동부로 이루어지는, 본 발명(도면의 하반부 : s))에 따른 도 1의 디스플레이 어레이(1) 및 카메라 어레이(2)의 제 1 전기 제어를 나타낸다.
도 2는 시간 간격 △t1 + △t2의 그림 표현의 사이클(cycle)를 나타낸다(즉, 각각의 열에서 소위 광 발생이라 불리는, 본 발명의 프레임워크 내에서 디스플레이 이미지의 발생이다). 사이클 동안, 마찬가지고 광검출 소자(2a, 2b, ………)로 간섭 광 투사의 검출은 여기에서(본 발명에 프레임워크 내에서 카메라 어레이의 각각의 열에 의해 광 검출이라 불리는) 적외선을 감지하는(infrared-sensitive) 카메라 어레이에 의해 이루어진다. 다음 사이클(여기에 설명되지 않은)에서, 선택적으로 변화된 디스플레이 이미지(즉, 여기에서 예를 들어 도 3의 "디스플레이 이미지(display image, 2)"의 표현이 이루어진다.
동작 p)은 디스플레이 어레이(1)이 양방향 디스플레이의 활성 매트릭스 내에서 열-방향으로 프로그래밍 되고 통합이 카메라 어레이(2)에서 이루어지며 디스플레이 어레이(1)("디스플레이 데이터 기록")의 각각의 열에서 데이터의 기록 및 표현 동안 카메라 어레이(2)의 각각의 열에서 카메라 데이터를 판독하는 병렬 제어법을 설명한다. P)에 기술된 모든 공정의 임시 기준값은 도트 클럭(dot clock)이다. 새로운 화소(picture element)는 예를 들어 각각의 도트 클럭을 가지는 디스플레이 어레이로 프로그래밍된다. P)에 나타낸 카메라 시작 지연(camera start delay)의 간격은 사이클 시간 내에서 카메라 통합 시간을 적용하도록 동적 버퍼 시간(dynamic time buffer)로서 제공된다. 동작에서, 카메라 통합(camera integration)은 높은 동적 점위를 실현시키는 광검출 소자로 광 투사량에 의존하여 적용되어야 한다.
대조적으로, 디스플레이 어레이(1)의 각각의 열에서 전체 광 발생이 도면의 하부에서 투사되는 디스플레이 어레이(1)("디스플레이")에서 본 발명에 따른 전기 활동부(electrical activity) s) 및 카메라 어레이(2)의 전기 활동부는 카메라 어레이(2)의 각각의 열에 의하여 광 검출이 이루어지는 동안 서로로부터 완전히 분리된다. 제 1 시간 간격 △t1(사이클 시간의 처음 약 60%에 대응하는)에서, 전기 활동부는 디스플레이 어레이(1)에서만 이루어지고, 사이클(사이클의 시간 간격의 마지막 약 40%에 대응하는)의 이 후 제 2 시간 간격 △t2에서, 카메라 어레이(2)에서만 전기 활동부가 이루어지고, 디스플레이(1)에서 이루어지지 않는다. 즉: 디스플레이 어레이(1)의 제어만 △t1에서 이루어지며, 카메라 어레이(2)의 제어는 △t2에서만 이루어진다.
이 점에서, 각각의 열에서 디스플레이 어레이로 데이터의 기록, 및 이러한 데이터의 표현 및 이러한 데이터의 삭제는 예시에서 디스플레이 어레이의 광 발생에 대응한다. 여기에서 카메라 어레이(2)의 각각의 열에서 카메라 시작의 지연, 신호 누적(signal accumulation)("카메라 통합(camera integration)") 및 카메라 데이터의 판독은 카메라 어레이(2)의 열에 의하여 광 검출에 대응한다. 도 1에 나타낸 OLED 디스플레이 어레이(1)는 카메라 시작, 카메라 통합 및 카메라 데이터의 판독 동안 완전히 어둡게 스위칭된다(switched).
도 3은 도 1의 디스플레이 어레이(1) 및 카메라 어레이(2)의 본 발명에 따른 전체 전기 제어를 나타낸다(표시 V2, V3 및 V4로 제공된, 본 발명에 따른 제어 또는 시간 조절부(timing)). 따라서, 도 3에서 세로 좌표는 디스플레이 어레이(1) 또는 카메라 어레이(2)의 다른 전기 제어를 나타내며, 가로 좌표는 디스플레이 어레이(1)의 각각의 열에서 광 생성 및 카메라 어레이(1)의 각각의 열에서 광 검출의 시간 현상(time development)을 나타낸다. (따라서, 제어부는 각각 8개의 열 1za1~1za8만 단순화된 표현으로 나타낸 디스플레이 어레이(1) 및 각각 4개의 전체 열 2zk1~2zk4만 단순화된 표현으로 나타낸 카메라 어레이(2) 둘 다에서 열-방향으로 이루어진다.) 이 점에서, "디스플레이 이미지 1"는 제 1 사이클(즉, 도 2)을 나타내며; "디스플레이 이미지 2"는 동일한 제 2 사이클을 나타낸다.
세로 좌표의 최상부(topmost section)("카메라")는 제 1 열에서 마지막 열까지 카메라 어레이(2)의 각각의 열 2zk의 열-방향 제어를 나타낸다. 따라서, 카메라 어레이(2)의 나타낸 열 2zk1~2zk4에 의한 동시 광 검출(나타낸 경우에서, 카메라 열에서의 광 검출은 선택적으로 존재하는 스위치-온을 포함하는 카메라(2)의 각각의 열에서 투사광 신호(quants)의 통합이 이루어지는 동안 시간 간격 tKE에 대응한다)은 모든 열에 동일한 시간 간격(tKE)(예를 들어, 5msec에 이르는 길이 △tKE) 동안에만 이루어진다. 각가의 카메라 열의 판독은 시간 간격 tKE 이 후 각각의 경우 시간 오프셋(time offset)으로 이루어진다.
상부("디스플레이 V1")에서 두 번째 세로 좌표 부분은 이전 기술에서 알려진 디스플레이 및 카메라의 병렬 동작의 경우에서 디스플레이 어레이(1)의 각각의 열 1za에서 광 발생의 연관된 시간 현상(time development)을 나타낸다. 디스플레이 어레이(1) 및 카메라 어레이(2)의 알려진 전기 제어 V1에서, 전기 활동부는 간격 tKE에서 카메라의 각각의 신호(roes)에 의한 광 검출 동안, 디스플레이 어레이("프로그래밍 디스플레이")의 열로 디스플레이 데이터 판독의 형상 또는 대응하는 디스플레이 데이터(여기서 "디스플레이 광(display lit)" 하에 결합된)의 표현 또는 삭제의 형상으로 디스플레이 어레이에서 이루어진다. 한편으로는 디스플레이 어레이(1), 다른 한편으로는 카메라 어레이(2)에서 전기 활동부는 이전 기술에서 병렬 동작으로 분리되지 않는다.
중간 세로 좌표 부분("디스플레이 V2")은 상부 세로 좌표 부분("카메라")과 함께 다음에서 시간 조절부(timing) V2라 불리는, 도 1의 디스플레이 어레이(1) 및 카메라 어레이(2)의 전기 제어에 대한 본 발명에 따른 방법을 나타낸다. 이러한 열의 하나 이상의 광발생 화소가 데이터(광, "디스플레이 광"인)를 나타내는 동안 디스플레이 어레이의 열 1za에서 광 발생이 시간 간격으로 조정되는 경우, 광 발생 동안 광 검출이 전기 제어 또는 시간 조절부 V2에서 각각의 경우 디스플레이의 각각의 열에서 카메라 어레이(2)의 열 중 하나에서 이루어지지 않는 것으로 정의된다.
디스플레이 어레이의 열에서 광 발생이 끝날 때만 전기 제어는 간격 tKE 동안 광 검출의 형상으로 카메라 어레이(2)의 시간 조절부 V2에서 이루어진다(카메라 어레이의 모든열로 동시에 이루어지며 카메라 통합 및 카메라 열의 통합의 시작의 스위치-온 지연을 포함하는 광 검출로).
카메라(2)(간격 tKE에서)에 의한 광 검출 동안, 디스플레이에서 광 발생이 아닌 디스플레이 어레이(1)에서 광 발생 동안 디스플레이 어레이(1)의 마지막 두 개의 열의 프로그래밍만 있다(카메라의 판독은 조정에 의한 간격 tKE에서 카메라(2)의 광 검풀에 의해 보호되지 않으며 다음의 사이클로 이루어지는 서로에 따라 열-방향으로 수행된다).
여기에서 디스플레이의 프로그래밍은 디스플레이 열로 데이터를 기록하며 오래된 데이터를 삭제한다.
현재의 경우, 디스플레이의 마지막 두 열의 프로그래밍이 카메라의 노출동안 이루어지고 카메라의 트리거링(triggering)이 이루어지며 디스플레이가 광(lit)이기 때문에 완전한 분리는 한편으로는 디스플레이 어레이(1) 및 다른 한편으로는 카메라 어레이(2)의 전기 제어로 이루어지지 않는다.
시간 조절부 V2는 한편으로는 디스플레이 어레이(1) 및 다른 한편으로는 카메라 어레이(2)의 향상된 광학 디커플링을 명백히 야기한다. 그러나, 본 발명에 따라, 두 개의 어레이의 전기적 디커플링은 카메라("노출 카메라(exposure camera)")로 광 검출(스위치-온 지연 및 통합을 포함하는) 동안 전기 활동부가 디스플레이 어레이(1)에서 이루어지지 않으므로 향상될 수 있다.
변형은 시간 조절부 V3에 나타낸다: 일반적으로 시간 조절부 V3는 시간 조절부 V2와 같이 실현되지만, 디스플레이 열(display rows)의 프로그래밍은 적어도 시간 △t의 미리 정의된 브레이크(break)가 디스플레이 열의 프로그래밍의 끝 및 카메라 어레이(2)(시간 간격 tKE의 시작)에 의한 광 검출의 시작 사이에서 디스플레이 어레이의 각각의 열을 야기한다(예를 들어 5msec에 달하는 △t로). 따라서, 디스플레이 어레이(1)의 eahems 전기 활동부는 시간 간격 tKE의 밖에서 이루어진다.
디스플레이 어레이(1) 및 카메라 어레이(2)의 전기 제어 V3에서, 디스플레이의 광도(luminosity)의 감소는 디스플레이에서(도 3에서 "디스플레이 광"으로 표시된 시간 간격의 개시에서) 열 프로그래밍(row programming)의 종결 순간부터 시작하여, 도 1에 나타낸 OLED 기반의 디스플레이 어레이(1)에서 증가하는 존재하는 광(lit)의 시간으로서 시간에 따라 야기된다. 조명된 패널은 펄스 방식(pulsed manner)으로 작동되며, 따라서 휘도(brightness)는 펄스 비(pulse ratio)로 감소되는 뷰어(viewer)를 위한 평균값의 결과이다.
디스플레이 영역의 각각의 열에서 광 발생의 중단은 시간 조절부 V3에서; 디스플레이 어레이(1)의 각각의 열 1za에 대한 열 프로그래밍("프로그래밍 디스플레이")의 종결 후 다른 시점(different points in time)에서 이루어진다(카메라의 노출이 이루어지는 시간 간격 tKE 동안). 사이클에서 각가의 디스플레이 열 1za는 열 발생이거나 사이클에서 전반적인 하나의 동일한 시간 간격에 따른 광(lit)이다(도 3에서 예를 들어 "디스플레이 이미지 1"과 같은 한 사이클에서 열 프로그래밍의 종결부터 도 3에서 즉 "디스플레이 이미지 2"와 같은 다음 사이클에서 동일한 열에서 다음 열 프로그래밍의 개시까지의 시간 간격은 간격 tKE의 길이 △tKE보다 적다). 한편, 예를 들어 400Hz의 높은 디스플레이 이미지 비율 또는 프레임 비율(frame rate) 때문에, 디스플레이 어레이의 관찰자는 사이클 당 예정된 시간 간격으로 출력된 디스플레이 어레이(1)의 각각의 열의 광도를 통한 통합(integral)을 인지한다. 각각의 열에서 광 발생의 중단이 다른 시점에서 이루어지는 경우(열 프로그래밍의 종결에서 시작하여), 다른 값은 사이클을 통한 시간 경과로 광도의 미리 기술된 감소 때문에 미리 기술된 통합에 따라 열(rows)의 사용자에 의해 인지되는 이미지 휘도 값을 야기한다. 즉, 광 발생의 중단이 시간 간격 tKE 동안 열 프로그래밍의 종결 후 초기 시점에서 이루어지는 디스플레이 어레이의 열이 시간 간격 tKE동안 광 발생의 간섭이 열 프로그래밍의 종결 후 추후 시점에서 이루어지는 열보다 관찰자에게 어둡게 나타난다. 그러나 이것은 바람직하지 않다.
이미 기술된 문제점은 전기 제어 V4 또는 대응하는 시간 조절부에서 다음에 따라 해결된다: 광 검출이 하나의 동일한 시간 간격 tKE 동안 카메라 어레이의 모든 열 2zk에서 시간 조절부 V3로 이루어진다. 또한, 디스플레이 어레이의 다른 열 1za에서 광 발생은 각각의 경우시간 오프셋으로(각각 개응하는 열의 프로그래밍의 종결에서 시작아여, 카메라 어레이(2)의 열 2zk에서 광 검출의 밖에 있는 시간 간격 tKE의 밖에서 이루어지는 광 발생으로) 이루어지며, 광 발생 tAE(대응하는 디스플레이 열의 프로그래밍의 종렬로 시작하여 각각의 열에서 디스플레이 데이터의 표현을 포함하는 "디스플레이 광(display lit)")의 시간 간격은 디스플레이 어레이의 각각의 열 1za에 대하여 동일한 길이에 있다. 즉, 광 발생의 시간 간격 tAE은 전체 열 1za과 동일하다. 각각의 디스플레이 열 1za의 광 발생은 비활성화되는 시간 간격 tAD(하나의 사이클의 하나의 열에서 광 발생의 종결부터 다음 사이클의 열에서 광 발생의 개시까지의 시간 간격) 은 디스플레이 어레이(1)의 전체 열과 동일하다. 카메라 노출의 시간 간격 tKE는 디스플레이 어레이(1)의 대응하는 열이 스위치 오프(switching off)되는 디스플레이 어레이(1)의 각각의 열 1za에 대한 시간 간격이 낮아지고, 디스플레이 열의 스위치 오프 및 디스플레이 열에 의한 광 발생의 시간 간격 사이의 관계는 동일하다. 시간 조절부 V3의 미리 기술된 문제점은 시간 조절부 V4에 따라 어레이(1,2)의 전기 제어로 발생하지 않는다.
다음에서 시간 조절부 V5라 불리는, 도 1의 디스플레이 어레이(1) 및 카메라 어레이(2)의 더 독창적인 추가 전기 제어는 도 4에서 이전에 기술된 시간 조절부 V4와 비교되어 나타난다(이 표현에서, 카메라 어레이(2)의 전기 제어의 시간 경과(time elapse)는 디스플레이 어레이(1)의 전기 제어의 시간 경과에 겹쳐져 나타내며; 카메라 어레이(2)의 4개의 열 2zk 및 디스플레이 어레이(1)의 8개의 열 1za만 여기에 나타낸다).
이전에 기술된 시간 조절부 V4에서, 광 검출은 카메라의 전체 열 2zk에 대하여 동일한 시간(동일한 시간 간격 tk)에서 이루어지며(각각의 카메라 열 2zk의 판독 시점에서만 대체되며, 간격 tKE의 종결 후 시간 오프셋으로 이루어진다), 본 발명에 따른 시간 조절부 V5의 경우는 아니다: 디스플레이 어레이(1)의 각각의 열 1za에서 광 발생은 시간 조절부 V5에서 시간 간격 tAE 동안 상호 시간 오프셋(mutual time offset)으로 이루어지지 않으며, 광 검출도 디스플레이 어레이(1)의 대응하는 열 1a이 각각 비활성화되거나 스위치 오프되는 중에 시간 간격 tAD 동안 상호 시간 오프셋(mutual time offset)으로 각각의 열 2zk에서 이루어지지 않는다.
즉, 다음으로 가까운(예를 들어, 디스플레이 열 1za1에 다음으로 가까운 열로서 열 2zk1) 각각의 디스플레이 열 1za(예를 들어, 열 1za1) 및 카메라 열 2zk에 대한 시간 조절부 V5에서 사이클은 다음에 따라 구동된다: 디스플레이 열 1za을 프로그래밍하며, 디스플레이 열 1zaㅇ에서 광이 발생하고(간격 tAE동안), 디스플레이 열 1za에서 광 발생을 종결하고(이 후 디스플레이 열 1za은 시간 간격 tAD를 통해 스위치 오프된 상태로 있다), 카메라 열에서 광 검출인, 대응하는 카메라 열 2zk에서 전기 활동을 개시(이 후 광 검출은 시간 간격 tLE동안 이루어진다)하며, 대응하는 카메라 열 2zk에서 광 검출의 종결하고, 시간 간격 tAK 동안 카메라 열의 판독 및 마지막으로 카메라 판독 tAK의 종결 후, 대응하는 디스플레이 열 1za의 다음 사이클 또는 반복 프로그래밍을 개시한다.
도 4는 세로 좌표 부분 "디스플레이 V5"를 나타내므로, 전기 활동 또는 광 검출은 제 1 카메라 열 2zk1에서 가장 멀리 떨어진 디스플레이 어레이(1)의 마지막 열 1za(2L)이 광 발생으로 스위칭되는 시점에서 제 1 카메라 열 2zk1(열에 다음으로 인접한 디스플레이 열 1za1을 스위치 오프한 후)으로 개시된다. 따라서, 카메라 어레이(2)의 제 1 열의 광검출 소자(light-detecting elements, 2)로 디스플레이 어레이(1)의 마지막 열에 의해 생성된 광의 크로스토크(crosstalk)가 매우 작으므로 카메라 어레이의 제 1 열 2zk2, 2zk2, ………,에서 디스플레이 어레이(1)의 마지막 열 까지의 거리는 매우 넓다.
도 4에 나타낸 본 발명에 따른 시간 조절부 V5는 V4에 따라서 시간 조절부 V4(광 검출이 카메라의 모든 열에서 동시에 이루어지는)(카메라 열의 최대 통합 시간인, 최대 광 검출 시간을 최적화)의 시간 간격 tAK에 따라 각각의 열에서 광 검출을 이용할 수 있는 시간 △tKE보다 광 검출로 카메라 어레이(2)에서 각각의 열에 의해 가능한 시간 오프셋에 의한 광 검출의 시간 간격 tLE의 가능한 길이가 길다는 이점을 가진다.
본 발명에 따라, 디스플레이 어레이 및 카메라 어레이의 다른 열-기반의 연속 제어는 한편으로는 디스플레이 어레이(1)에서, 다른 한편으로는 카메라 어레이(2)에서 전기 제어 또는 전기 활동이 서로로부터 거의 완전히 또는 완전히 분리되는 것이 가능하다.
특히, 본 발명에 다른 양방향 디스플레이 및 HMDs(양방향 OLED 마이크로디스플레이의 형상으로)의 영역에서 전기 제어를 이상적으로 이용하기 위하여, 시스템 구성요소 및 이들의 제어부의 크기를 측정하는 순서는 본 발명에 따른 다음에서 제안된다. 이 점에서, 도 6은 도 1에 따른 양방향 OLED 마이크로디스플레이에 기반한 본 발명에 따른 HMD에서 시선 방향 검출에 대한 의존도를 나타낸다.
인간의 눈은 원칙에 의해 고정된 한정 값까지 적외선 방사원(infrared radiation sources, 3)에 의해 광자(photons)로만 조사될(irradiated) 수 있다. 한정 값은 그 중에서도 IR 방사체(IR emitter, 3)의 배열에 의존한다. 한정 값은 안전한 레이저 생산물(laser product)로 DIN EN 60825-1 뿐만 아니라 광생물학적 안전의 램프 및 램프 시스템으로 표준 DIN EN 62471에서 주장된다. 몇몇 광자는 눈에 반사되고, 양방향의 광학 시스템을 통해 투과된다. 다음 신호 일부(signal member)에서, 몇몇 광자는 OLED 레이어 스택(OLED layer stack)을 통해 다시 투과되며, 그 후에 광자는 각각 포토 다이오드 2, 2b,……… 또는 카메라 어레이(2) 내에서 광전류(photocurrent) Iph로 변환된다. 카메라 픽셀 셀 회로(camera pixel cell circuit)는 전력(voltage force) UDIO(즉, 도 5에서(5 = 시간)으로 광 전류를 변환시킨다. 아날로그/디지털 변환기(analog/digital converter)는 소프트웨어 시선 추적 알고리즘을 위해 사용될 수 있는 전압 신호 UDIO를 디지털화한다.
일반적으로 견고한 눈 이미지는 카메라 어레이(2)의 픽셀 셀(pixel cell) 또는 광검출 소자 2a, 2b,………에서 고전압 스파이크(high voltage spike)를 필요로한다. 도 5에 나타낸 시스템 내에서, 상기 전압 스파이크 UDIO는 다음의 방정식 1에 따라 계산될 수 있다:
Figure pct00001
(Udio = 포토다이오드(photodiode)의 전압; Usperr = 카메라 픽셀 셀의 작동 전압, Iph = 광전류, Is= 포토다이오드의 컷오프 전류(cutoff current), CRLZ = 포토다잉드의 부피 충전 용량(volume charge capacity)).
광전류 Iph의 레벨은 간접적으로 도 6에 나타낸 시스템 내에서 인간의 눈에서 원칙에 의해 예정된 최대 방사 전력 Hir_max 및 반사 및 투과 손실에 의존한다. 광전류 Iph는 통합된 직접 광검출 소자 2a, 2b, ………의 스펙트럼 감도(spectral sensitivity)에 직접 의존한다.
시스템(다음에서 보아)에서, 최소로 예상되는 광전류 Iph_min를 측정한 후, 최대로 설정 가능한 또는 가능한 통합 시간 Tint이 측정될 수 있다(실질적으로, 각각의 열에서 어떠한 카메라 시작 지연 시간을 제외하고, 시간 조절부 V4에서 시간 간격 tKE 또는 시간 조절부 V5에서 시간 간격 tLE에 대응한다). 시스템에서 조정된 조금 높은 최대 통합 시간 Tint은 높은 스팟 클럭(spot clock) 및 관련된 증가된 전력 소모를 필요로한다. 눈 이미지 검출의 강건성(robustness) 및 최적화된 전력 소모에 대한 전체 시스템을 조정하기 위하여, 다음의 순서는 최대로 설정 가능한 통합 시간(또는 프레임 또는 디스플레이 이미지 중 카메라 어레이의 열 2zk에 의한 광 검출의 최대 시간)을 측정할 수 있다:
· 예를 들어, 기술의 숙련자에게 친숙한 전이 행렬(transfer-matrix) 방법을 이용하여 입사광의 파장 λ에 의존하여 플레이 어레이 및 카메라 어레이의 활성 매트릭스의 투과 특성을 계산한다. (전이 행렬 방법에 대하여: Sernelius, Bo E.: Reflection from a metallic surface. Lecture, University of Linkoping, 2010에서 볼 수 있다).
· 본 발명에 따른 양방향 OLED 마이크로디스플레이에 통합된 광검출 소자 또는 포토다이오드 또는 포토트랜지스터의 파장 λ에 의존한 스팩트럼 감도를 모의실험 하거나 측정한다.
· 활성 매트릭스 또는 OLED 레이어 스택(OLED layer stack)의 투과 곡선 및 광검출 소자의 스팩트럼 감도 곡선의 추가에 의해 이루어지는 최대 스팩트럼 감도를 측정한다.
· 광검출 소자 또는 포토다이오드 내에서 OLED 레이어 스택 또는 활성 매트릭스에서 높은 스팩트럼 감도를 이루기 위하여 800nm < λ < 1000nm의 값으로 IR 방출체(3)의 최대 파장 λ을 선택한다.
· DIN EN 62471 및 DIN EN 60825-1에 따른 눈의 허용된 최대 방사 전력을 측정한다.
· 양방향 디스플레이에서 카메라 어레이의 광학 입사 특성을 측정한다.
· 인간의 눈에서 이루어질 수 있는 최대 반사를 추정한다.
위의 측정 또는 추정에 기반하여, 이룰 수 있는 최대 광전류 Iph_min는 카메라 픽셀 셀(camera pixel cell) 또는 광검출 소자 2a, 2b, ……… 내에서 추정될 수 있다. 광전류 값 Iph_min에 대하여, 위의 방정식 1에 따라, 카메라 픽셀 내에서 UDIO ~ USPERR에 대하여 설정 가능한 최대 통합 시간 Tint는(또는 시간 조절부 V4 또는 V5에서 시간 tKE 또는 tAD) 계산(대안적으로, Tint는 아날로그 시뮬레이션(analog simulation)으로 측정될 수 있다)에 의해 측정되야 한다.
그 후, 결정된 통합 시간 Tint은 도 3 및 도 4에 나타낸 본 발명에 따른 두 개의 어레이(1,2)의 제어에서 시간 간격의 선택을 위하여 양방향 OLED 마이크로디스플레이의 이상적인 제어의 치수화를 위한 원리로서 제공된다.
이전 기술에서 알려진 병렬 조작 P)에서 디스플레이 어레이(1)가 데이터를 연속적으로 나타내고 동시에 중첩된 카메라 어레이(2)가 사용자의 시건 방향을 검출하는 동안, 광발생 화소 1a, 1b, ……… 및 광검출 소자 2a, 2b 사이에서 광학적 및/또는 전기적 크로스토크(crosstalk)는 최소화되거나 본 발명에 따라 조절된 양방향 디스플레이에 의해 예방된다. 또한 그럼에도 불구하고 촬영된 카메라 어레이(2)의 카메라 이미지는 높은 디스플레이 휘도 밀도(luminance density)에서 눈의 시선 방향 측정을 위해 이용될 수 있다. 디스플레이 어레이의 광행 시간(lit time) 및 카메라 어레이에 의한 카메라 이미지 촬영의 본 발명에 따른 분리는 필수적이다.
앞서 기술된대로, 도 2는 이전 기술에서 알려진 병렬 제어 공정 및 본 발명에 따른 연속 제어 방법의 비교를 나타낸다. 디스플레이는 본 발명에 따른 연속 방법으로 처음에 기록될 수 있다. OLED는 이러한 양상에서 광(lit)이다. 각각의 이미지 열에 대한 시간에서 동일한 휘도를 나타내기 위하여, 열은 기록으로 동일한 순서에서 삭제된다. 그 후, OLED는 어둡게 스위칭될 수 있고, 시간 간격 Tint은 카메라 어레이(2)로만 시작된다. 그 후, 카메라 어레이(2)가 판독된다. 요구된 도트 클럭 주파수(dot clock frequency) fpixel는 다음의 방정식(방정식 2)에 따라 본 발명에 따른 연속 제어 방법으로 계산될 수 있으며, 디스플레이 및 카메라 조정뿐 아니라 이전에 계산된 최대 통합 시간 Tint을 포함한다.
Figure pct00002
Figure pct00003
디스플레이 열의 수·디스플레이 컬럼의 수
Figure pct00004
광 위상(lit phase) 동안 도트 클럭의 수
Figure pct00005
카메라 열의 수·카메라 열의 수 및
Figure pct00006
본 발명에 따른 시간 조절부 V2에서, OLED는 디스플레이 프로그래밍동안 카메라 노출 길이에 대하여 완전히 어둡도록 스위칭된다. 시간 조절부 V2에서, 디스플레이 어레이(1)는 특성 시간 창(time window)을 위하여 스위칭 오프되며 디스플레이 컨트롤러(display controller)는 데이터를 기록한다. 본 발명에 따른 시간 조절부 V3는 디스플레이 매트릭스의 빠른 츠로그래밍을 설명하며 노출 시간 동안 디스플레이의 스위칭 오프, 디스플레이 프로그래밍 위상을 기술한다. 시간 조절부 V3에서, 디스플레이 어레이(1)은 디스플레이 모든 데이터가 기록된 후 특정 시간 창을 위해 스위칭 오프된다.
본 발명에 따른 시간 조절부 V4는 디스플레이 매트릭스가 열 방향을 프로그래밍하고 특정 광행 시간(lit time) 후 열-방향이 삭제되는 완전한 연속 조작(즉, 도 2 S))을 서술한다, 카메라 노출은 마지막 디스플레이 열의 삭제 후에 이루어진다. 또한 본 발명에 따른 시간 조절부 V4는 디스플레이 (펄스 폭을 통해 또는 더 정확히 대응하는 디스플레이 열이 스위칭 오프되는 동안 시간 간격 tAD를 통한 휘도 조절, 즉 도 4)를 흐릿하게 하는데 이용될 수 있다. 본 발명에 따른 양방향 디스플레이의 전체 휘도는 각각의 디스플레이 열에 대한 광행 시간의 변화에 의해 제어될 수 있다. 따라서 각각의 디스플레이 어레이 열은 단계식 방법(stepped manner)으로 스위칭 오프되며; 이 후 디스플레이 어레이의 완전한 스위칭 오프가 이루어진다. 시스템에서 설정가능한 휘도가 변경되는 경우, 높은 휘도로 광행 시간이 각각의 디스플레이 어레이 열 또는 이미지 열에 대하여 크다.
본 발명에 따른 양방향 디스플레이는 중첩된 활성 매트릭스를 가지는 OLED 마이크로디스플레이(OLED microdisplays)일 수 있다. 그러나, 양방향 디스플레이는 CMOS 회로로 디스플레이 어레이 및 카메라 어레이를 동일하게 분리시킬 수 있다. 가능한 최대 광전류 Iph는 IR 방출원의 설계를 위하여 본 발명에 따라 제안된 순서로 양방향 OLED 마이크로디스플레이에서 카메라 픽셀 셀(camera pixel cells) 내에서 발생할 수 있다. 요구된 최대 통합 시간 Tint은 광전류의 조정에 의해 방정식 1로 측정될 수 있다. 이상적이지 않으며 매우 크게 선택되는 통합 시간으로, 회로 설계의 효과가 증가하며, 시스템 주파수 및 전력 소모가 증가하고, 시스템의 신뢰도는 고주파수 때문에 저하된다.
이상적으로 측정된 통합 시간 Tint을 이용하여, 본 발명에 따른 연속 전기 제어는 OLED 픽셀 및 카메라 픽셀 사이에서 광학적 및/또는 전기적 크로스토크에 의한 간섭을 방지하기 위해 이용될 수 있다. 결과적으로, 본 발명에 따른 디스플레이의 원리로 구현된 HMD 시스템은 최적 전력 소모 및 간섭이 없는 영상 촬영에서 작동될 수 있다. 또한, 휘도 제어는 본 발명에 따른 연속 전기 제어에 의해 가능하다.
따라서, 높은 시선 추적 HMDs은 로버스트 방식(robust manner)으로 작동될 수 있다. 또한 디스플레이 휘도는 음전압 조절기(cathode voltage regulator)와 같은 추가 외부 회로 부품 없이 다양하게 설정될 수 있다.

Claims (17)

  1. 바람직하게 복수의 광발생 화소(light-generating picture elements, 1a, 1b)를 포함하는 2차원 디스플레이 어레이(display array, 1) 및 바람직하게 복수의 광 검출 소자(2a, 2b)를 포함하는 2차원 카메라 어레이(camera array, 2)를 가지는 양방향 디스플레이로서,
    상기 디스플레이 어레이(1) 및 상기 카메라 어레이(2)를, 시간 측면(time aspect)에서, 연속적으로 전기 제어하는 것을 특징으로 하는, 양방향 디스플레이.
  2. 제 1항에 있어서,
    상기 두 개의 어레이(1,2)는 각각 전기적으로 제어가능한 열-방향(row-wise)에 있으며, 바람직하게 서로 적어도 섹션 방향(section-wise)으로 중첩되어 배치되고,
    상기 디스플레이 어레이(1)의 열(1za1)에서 광이 발생하는 동안, 상기 열(1za1)에 두 번째로 가까운 카메라 어레이(2)의 열(2zk1)에 의한 광 검출이 비활성화되도록 상기 디스플레이 어레이(1) 및 상기 카메라 어레이(2)의 연속 전기 제어가 설계되며, 그로 인하여 양방향 디스플레이(bidirectional display)의 열-연속 전기 제어가 이루어지는 것을 특징으로 하는, 양방향 디스플레이.
  3. 제 1항 또는 2항에 있어서,
    상기 디스플레이 어레이(1) 및 상기 카메라 어레이(2)의 전기 제어에 의해, 상기 디스플레이 어레이의 복수의 열(1za1, 1za2), 바람직하게 인접한 열에서 광이 발생하는 동안, 상기 복수의 열(1za1, 1za2)에 두 번째로 가까운 카메라 어레이(2)의 열(2zk1, 2zk2)에 의한 광 검출이 비활성화되는 것을 특징으로 하는, 양방향 디스플레이.
  4. 제 1항 내지 3항 중 어느 한 항에 있어서,
    상기 디스플레이 어레이(1) 및 카메라 어레이(2)의 전기 제어에 의해, 상기 디스플레이 어레이(1)의 열(1za1)에 두 번째로 가까운 카메라 어레이의 열(2zk1)이 아닌 카메라 어레이의 열에 의해, 바람직하게 상기 디스플레이 어레이(1)의 열(1za1)에서 가장 멀리 떨어져 배치된 카메라 어레이의 열(2zkL)에 의해 상기 디스플레이(1)의 열(1za1)에서 광이 발생하는 동안, 광 검출이 가능한 것을 특징으로 하는, 양방향 디스플레이.
  5. 제 1항 내지 4항 중 어느 한 항에 있어서,
    상기 디스플레이 어레이(1) 및 상기 카메라 어레이(2)의 전기 제어에 의해, 상기 디스플레이 어레이(1)의 하나 이상의 열(1za1, 1za2)에서 상기 카메라 어레이(2)의 하나의 열, 복수의 열 또는 모든 열(2zk1, 2zk2)에 의한 광 검출 동안, 열(1za1, 1za2)의 프로그래밍 및/또는 열(1za1, 1za2)에 존재하는 데이터의 기록은 열(1za1, 1za2)에서 데이터의 표시가 아닌 열(1za1, 1za2)에서 가능한 것을 특징으로 하는, 양방향 디스플레이.
  6. 제 2항 또는 3항에 있어서,
    상기 디스플레이 어레이(1) 및 상기 카메라 어레이(2)의 전기 제어에 의해, 외부 광원(external light source, 3) 특히 적외선 광원(infrared light source)으로 적어도 일부의 카메라 어레이(2)의 노출 동안 및/또는 카메라 어레이(2)의 하나의 열, 복수의 열 또는 모든 열(2zk1, 2zk2)로 광 검출 동안, 광 발생 및/또는 전기 활동은 상기 디스플레이 어레이(1)에서 가능하지 않은 것을 특징으로 하는, 양방향 디스플레이.
  7. 제 2항 또는 3항에 있어서,
    상기 디스플레이 어레이(1) 및 상기 카메라 어레이(2)의 전기 제어에 의해, 상기 디스플레이 어레이(1)의 열에 의해 광이 발생 하는 동안, 상기 카메라 어레이(2)에 의한 모든 광 검출이 비활성화되며, 시간 측면에서 상기 디스플레이 어레이(1) 및 및 상기 카메라 어레이(2)가 전기 제어에 의해 완전히 분리되는 것을 특징으로 하는, 양방향 디스플레이.
  8. 제 1항 내지 7항 중 어느 한 항에 있어서,
    정의된 시간 간격 △t의 길이는 바람직하게 적어도 1/10, 바람직하게 적어도 1/5, 바람직하게 적어도 1/2이며, 상기 카메라 어레이(2)의 열(2zk1, 2zk2)에 의한 광 검출의 지속 시간 △tKE는 한편으로는 상기 열의 프로그래밍의 종결 및/또는 상기 열로 상기 열에 존재하는 데이터의 기록 및 다른 한편으로는 상기 카메라 어레이(2)의 하나의 열, 복수의 열 또는 모든 열(2zk1, 2zk2)에 의한 광 검출의 개시 사이에서 상기 디스플레이 어레이의 적어도 하나의 열, 바람직하게 복수의 열, 바람직하게 전체 열(1za1, 1za2)에 있는 것을 특징으로 하는, 양방향 디스플레이.
  9. 제 1항 내지 8항 중 어느 한 항에 있어서,
    광 발생의 시간 간격 tAE은 상기 디스플레이 어레이(1)의 전체 열(1za1, 1za2)에 대하여 동일한 길이에 있고, 및/또는
    광 발생의 비활성화 및/또는 전기적 비활성화 및/또는 각각의 열의 스위치 오프(switching off)의 시간 간격 tAD는 상기 디스플레이 어레이(1)의 모든 열(1za1, 1za2)에 대하여 동일한 길이인 것을 특징으로 하는, 양방향 디스플레이.
  10. 제 1항 내지 9항 중 어느 한 항에 있어서,
    상기 카메라 어레이(2)의 모든 열(2zk1, 2zk2)에서 광 검출은 하나의 동일한 시간 간격 tKE에서 이루어지며, 광 발생은 서로로부터 시간 오프셋으로 상기 디스플레이 어레이(1)의 각각의 열(1za1, 1za2)에서 이루어지고, 상기 디스플레이 어레이(1)의 모든 열에 대한 시간 간격 tKE 외에서 이루어지거나,
    상기 디스플레이 어레이(1)의 모든 열에 대한 광 검출이 광 발생의 시간 간격 외에서 상기 카메라 어레이(2)의 각각 두번째로 가까운 열에서 이루어지므로, 상기 카메라 어레이(2)의 각각의 열(2zk1, 2zk2)에서 광 검출 및 상기 디스플레이 어레이(1)의 각각의 열(1za1, 1za2)에서 광 발생 둘 다는 서로 시간 오프셋(time offset)으로 이루어 지는 것을 특징으로 하는, 양방향 디스플레이.
  11. 제 1항 내지 10항 중 어느 한 항에 있어서,
    상기 디스플레이 어레이(1)의 열(1za1, 1za2)에서 광 발생은
    · 상기 열로 상기 열에 나타낸 데이터의 기록 및/또는 상기 열의 프로그래밍, 상기 열에서 데이터의 표시 및 상기 열에 표시된 데이터의 삭제를 의미하고;
    · 한편으로는 위에 기술된 기록 및 프로그래밍 및 다른 한편으로는 위에 기술된 표시만을 의미하며;
    · 위에 기술된 표시 및 위에 기술된 삭제만 의미하거나
    · 위에 기술된 표시만을 의미하는 것을 특징으로 하는, 양방향 디스플레이.
  12. 제 1항 내지 11항 중 어느 한 항에 있어서,
    상기 카메라 어레이(2)의 열(2zk1, 2zk2)에서 광 검출은
    · 다음에 기술된 통합 개시 까지 스위치-온 지연(switch-on delay), 열로 외부 광원(3)에서 발산하는 광량자(light quants) 및 투사의 통합 및 이러한 방식으로 통합된 열 신호(row signal)의 판독을 의미하여;
    · 뒤에 기술된 스위치-온 지연 및 위에 기술된 통합만을 의미하고;
    · 위에 기술된 통합 및 위에 기술된 판독만을 의미하거나
    · 위에 기술된 통합만을 의미하는, 양방향 디스플레이.
  13. 제 1항 내지 12항 중 어느 한 항에 있어서,
    상기 디스플레이 어레이(1)의 각각의 열(1za1, 1za2)에 의한 복수의 서로에 따른 광 발생은 각각의 광 발생으로 이루어지는 제 1항 내지 12항 중 어느 한 항에 따라 상기 카메라 어레이(1)에 의한 광 검출로, 표현되는 복수의 디스플레이 이미지 또는 프레임에 대응하는 것을 특징으로 하는, 양방향 디스플레이.
  14. 제 1항 내지 13항 중 어느 한 항에 있어서,
    상기 디스플레이 어레이(1)은 인간의 눈에 보이는 광을 방출하며, 바람직하게 상기 디스플레이 어레이(1)는 그 이상으로 적외선 광을 방출하지 않고, 및/또는
    상기 카메라 어레이(2)는 적외선 광을 검출하며, 바람직하게 상기 카메라 어레이(2)는 그 이상으로 인간의 눈에 보이는 어떠한 광도 검출하지 않는, 양방향 디스플레이.
  15. 제 1항 내지 14항 중 어느 한 항에 있어서,
    상기 디스플레이 어레이(1)는 광 발생 화소(1a, 1b)로서 OLEDs를 포함하며, 및/또는
    상기 카메라 어레이는 광 검출 소자(2a, 2b)로서 포토다이오드 또는 포토트랜지스터를 포함하고, 및/또는
    상기 광 발생 화소(1a, 1b) 및/또는 광 검출 소자(2a, 2b)는 분리된 매트릭스 또는 서로 중첩된 매트릭스 또는 CMOS 기술로 형성된 및/또는 통합된 매트릭스 중 하나로 이루어지며, 및/또는
    상기 양방향 디스플레이는 4~40㎛의 광 발생 화소(1a, 1b)의 측면 길이를 가지며 및/또는 4~40㎛의 광 검출 소자(2a, 2b)의 측면 길이를 가지는 마이크로디스플레이(microdisplay)인 것을 특징으로 하는, 양방향 디스플레이.
  16. 시간 측면에서 양방향 디스플레이의 연속 전기 제어 방법으로서,
    제 1항 내지 15항에 따른 디스플레이의 전기 제어에 의해,
    상기 양방향 디스플레이는 바람직하게 복수의 광 발생 화소(1a, 1b)를 포한하는 2차원의 디스플레이 어레이(1) 및 바람직하게 복수의 광 검출 소자(2a, 2b)를 포함하는 2차원의 카메라 어레이(2)를 가지며;
    바람직하게 두 개의 어레이(1,2)는 적어도 섹션 방향으로 서로에 중첩되어 배치되고;
    바람직하게 상기 두 개의 어레이(1,2)는 각각 전기적으로 제어된 열-방향에 있고;
    바람직하게 상기 두 개의 어레이(1,2)는 디스플레이 어레이(1)의 열(1za1)에서 광 발생 동안, 상기 열(1za1)에 두 번째로 가까운 카메라 어레이(2)의 열(2zk1)에 의한 광 검출이 비활성화되도록 제어되어서, 상기 양방향 디스플레이의 열-연속 전기 제어가 이루어지는 것을 특징으로 하는, 연속 전기 제어 방법.
  17. 디지털 카메라에서 제어된 시선의 뷰파인더 및/또는 현미경에서 제어된 시선의 사용자 제어의 시선이 제어된 및 상호작용으로 증가된 현실성의 시선 추적(eye-tracking)의 영역에서, 특히 헤드 마운트 디스플레이의 영역에서 시선 추적에서, 특히 현미경 스테이지(microscope stage), 특히 xy-스테이지(xy-stage)의 제어된 시선 이동에 대한 제 1항 내지 16항 중 적어도 어느 한 항에 따른 양방향 디스플레이의 이용 또는 양방향 디스플레이의 제어 방법.
KR1020137031770A 2011-05-31 2011-05-31 양방향 디스플레이 및 이의 트리거링 KR101852477B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/DE2011/001181 WO2012163312A1 (de) 2011-05-31 2011-05-31 Bidirektionales display und ansteuerung desselben

Publications (2)

Publication Number Publication Date
KR20140037861A true KR20140037861A (ko) 2014-03-27
KR101852477B1 KR101852477B1 (ko) 2018-06-07

Family

ID=44532501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137031770A KR101852477B1 (ko) 2011-05-31 2011-05-31 양방향 디스플레이 및 이의 트리거링

Country Status (7)

Country Link
US (1) US9507412B2 (ko)
EP (1) EP2715804B1 (ko)
JP (1) JP5767403B2 (ko)
KR (1) KR101852477B1 (ko)
CN (1) CN103688369B (ko)
TW (1) TWI569245B (ko)
WO (1) WO2012163312A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170062479A (ko) * 2014-09-19 2017-06-07 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 양방향 디스플레이를 동작시키는 방법
US10198128B2 (en) 2016-02-23 2019-02-05 Samsung Display Co., Ltd. Display apparatus including capping layers having different properties

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6176777B2 (ja) * 2013-03-25 2017-08-09 国立大学法人静岡大学 画素回路及び撮像素子
WO2015143011A1 (en) 2014-03-19 2015-09-24 Bidirectional Display Inc. Image sensor panel and method for capturing graphical information using same
US9122349B1 (en) 2014-03-19 2015-09-01 Bidirectional Display Inc. Image sensor panel and method for capturing graphical information using same
DE102015109044B4 (de) 2015-06-09 2020-10-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bauteil zum Detektieren elektromagnetischer Strahlung
US10115000B2 (en) 2015-12-11 2018-10-30 Synaptics Incorporated Method and system for optical imaging using patterned illumination
US9703374B1 (en) 2015-12-16 2017-07-11 Google, Inc. In-cell gaze tracking for near-eye display
KR102523377B1 (ko) * 2016-07-15 2023-04-20 삼성디스플레이 주식회사 유기 발광 표시 장치 및 이를 포함하는 두부 장착 표시 시스템
US10546518B2 (en) * 2017-05-15 2020-01-28 Google Llc Near-eye display with extended effective eyebox via eye tracking
US10629105B2 (en) 2017-06-15 2020-04-21 Google Llc Near-eye display with frame rendering based on reflected wavefront analysis for eye characterization
US20200035862A1 (en) * 2018-07-26 2020-01-30 Bolb Inc. Light-emitting device with optical power readout
DE102018118227A1 (de) 2018-07-27 2020-01-30 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren zum Aktivieren einer auf einem Verbund abgeschiedenen photokatalytisch wirksamen Deckschicht
FR3086399B1 (fr) * 2018-09-24 2021-09-17 Commissariat Energie Atomique Systeme de vision en realite virtuelle ou augmentee avec capteur d'image de l'œil, et procede associe
CN109243357B (zh) * 2018-11-12 2021-11-12 中国科学院微电子研究所 像素扫描的驱动电路及方法
KR102198341B1 (ko) * 2018-12-18 2021-01-04 삼성전자주식회사 전자 장치 및 그 제어 방법
US11747646B2 (en) * 2019-03-15 2023-09-05 Realfiction Lab Aps Directional OLED display
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
WO2023052914A1 (ja) * 2021-09-30 2023-04-06 株式会社半導体エネルギー研究所 表示装置、電子機器、及び発光装置の動作方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922778A (ja) * 1995-07-04 1997-01-21 Matsushita Electric Ind Co Ltd 有機発光受光素子及びこれを用いた有機発光受光装置
JP2006317682A (ja) * 2005-05-12 2006-11-24 Hitachi Displays Ltd タッチパネル一体表示装置
JP2008042175A (ja) * 2006-06-23 2008-02-21 Fraunhofer Ges 光学装置
JP2010262232A (ja) * 2009-05-11 2010-11-18 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0909972A3 (en) 1992-03-13 1999-06-09 Kopin Corporation Method of forming a high resolution liquid crystal display device
EP0821257A3 (en) * 1993-10-22 1998-11-04 Kopin Corporation Portable communication display system
JP3480562B2 (ja) * 1999-05-17 2003-12-22 日本電気株式会社 画像入出力装置
GB0215309D0 (en) 2002-07-03 2002-08-14 Cambridge Display Tech Ltd Combined information display and information input device
JP5274758B2 (ja) * 2006-08-25 2013-08-28 京セラ株式会社 携帯電子機器
TWM314335U (en) * 2006-08-31 2007-06-21 Water Bear Co Ltd Head-mounted display based on optical techniques
JP4981623B2 (ja) * 2007-11-01 2012-07-25 キヤノン株式会社 固体撮像装置とその駆動方法、カメラ及び複写機
JP2010034141A (ja) * 2008-07-25 2010-02-12 Panasonic Corp 固体撮像装置とその製造方法
JP5329882B2 (ja) * 2008-09-17 2013-10-30 パイオニア株式会社 ディスプレイ装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0922778A (ja) * 1995-07-04 1997-01-21 Matsushita Electric Ind Co Ltd 有機発光受光素子及びこれを用いた有機発光受光装置
JP2006317682A (ja) * 2005-05-12 2006-11-24 Hitachi Displays Ltd タッチパネル一体表示装置
JP2008042175A (ja) * 2006-06-23 2008-02-21 Fraunhofer Ges 光学装置
US20100012817A1 (en) * 2006-06-23 2010-01-21 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forshung E.V. Optical arrangement
JP2010262232A (ja) * 2009-05-11 2010-11-18 Konica Minolta Opto Inc 映像表示装置およびヘッドマウントディスプレイ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170062479A (ko) * 2014-09-19 2017-06-07 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 양방향 디스플레이를 동작시키는 방법
US10198128B2 (en) 2016-02-23 2019-02-05 Samsung Display Co., Ltd. Display apparatus including capping layers having different properties

Also Published As

Publication number Publication date
US9507412B2 (en) 2016-11-29
JP2014522523A (ja) 2014-09-04
TW201308288A (zh) 2013-02-16
KR101852477B1 (ko) 2018-06-07
JP5767403B2 (ja) 2015-08-19
CN103688369B (zh) 2016-05-25
US20140145939A1 (en) 2014-05-29
WO2012163312A1 (de) 2012-12-06
EP2715804B1 (de) 2016-07-06
CN103688369A (zh) 2014-03-26
TWI569245B (zh) 2017-02-01
EP2715804A1 (de) 2014-04-09

Similar Documents

Publication Publication Date Title
KR101852477B1 (ko) 양방향 디스플레이 및 이의 트리거링
US11463636B2 (en) Pixel sensor having multiple photodiodes
US11974044B2 (en) Pixel sensor having adaptive exposure time
EP2622847B1 (en) Integrated low power depth camera and projection device
KR102594058B1 (ko) 광 스캐닝 프로젝터와 함께 눈 움직임을 추적하기 위한 방법 및 시스템
US20190363118A1 (en) Programmable pixel array
WO2019217681A1 (en) Multi-photodiode pixel cell
US11943561B2 (en) Non-linear quantization at pixel sensor
JP6535340B2 (ja) 表示装置
CN106068533A (zh) 定向显示器的控制
US11877080B2 (en) Pixel sensor having shared readout structure
EP3729244B1 (en) Eye tracking system for use in a visible light display device
WO2002093913A1 (en) System and method for capturing, transmitting, and displaying an image
EP3977725A1 (fr) Dispositif optoélectronique ayant des systèmes optiques déplaçables entre différents pixels et procédé de contrôle
JP2023535538A (ja) 構造光を使用した深度マッピングのための赤外線・非赤外線チャネルブレンダ
CN113504646A (zh) 一种可穿戴显示装置及其驱动方法
KR102596730B1 (ko) 렌즈없는 광학 시스템
US20220217295A1 (en) Image sub-sampling with a color grid array
WO2023059538A1 (en) Noise-reduction circuit for an image sensor
JP2023045100A (ja) 電子機器
JP2003320166A (ja) シューティングゲーム装置に用いる位置検出装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant