KR20200023649A - 디스플레이 장치 및 디스플레이 장치용 픽셀 - Google Patents

디스플레이 장치 및 디스플레이 장치용 픽셀 Download PDF

Info

Publication number
KR20200023649A
KR20200023649A KR1020207002978A KR20207002978A KR20200023649A KR 20200023649 A KR20200023649 A KR 20200023649A KR 1020207002978 A KR1020207002978 A KR 1020207002978A KR 20207002978 A KR20207002978 A KR 20207002978A KR 20200023649 A KR20200023649 A KR 20200023649A
Authority
KR
South Korea
Prior art keywords
acoustic
optical structure
display device
pixels
generate
Prior art date
Application number
KR1020207002978A
Other languages
English (en)
Other versions
KR102337968B1 (ko
Inventor
슈테펜 트레트바
다니엘 슈미트
Original Assignee
프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. filed Critical 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베.
Priority to KR1020217038081A priority Critical patent/KR102367547B1/ko
Publication of KR20200023649A publication Critical patent/KR20200023649A/ko
Application granted granted Critical
Publication of KR102337968B1 publication Critical patent/KR102337968B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1601—Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605—Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447—Position sensing using the local deformation of sensor cells
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18—Methods or devices for transmitting, conducting or directing sound
    • G10K11/26—Sound-focusing or directing, e.g. scanning
    • G10K11/34—Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028—Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005—Adaptation of holography to specific applications
    • G03H2001/0061—Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00—Loudspeakers
    • H04R2400/03—Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/11—Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Abstract

디스플레이 장치가 개시된다. 상기 디스플레이 장치는 복수의 픽셀들을 포함하는데, 상기 픽셀들은 상기 광학 구조의 전면에 광학 이미지를 생성하도록 구성된다. 상기 디스플레이 장치는 복수의 제어신호들에 기초하여 사람의 촉각을 자극하기 위한 음향장을 상기 광학 구조물의 전면의 전방 공간에 생성하도록 구성된 복수의 음향 변환기들을 더 포함한다. 상기 복수의 음향 변환기들은 상기 광학 구조물의 후면 상에 위치한다. 상기 디스플레이 장치는 상기 광학 구조물의 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들 적어도 하나를 생성하도록 구성된 제어회로를 더 포함한다.

Description

디스플레이 장치 및 디스플레이 장치용 픽셀
실시예들은 햅틱 피드백(haptic feedback)을 갖는 디스플레이 장치에 관한 것이다. 특히, 실시예들은 디스플레이 장치 및 디스플레이 장치용 픽셀에 관한 것이다.
손가락 조작을위한 자유롭게 구성 가능한 그래픽 사용자 인터페이스("터치 스크린"이라고도 지칭됨)는 일상 생활에서 사용되는 장치 및 기기(예를 들어, 휴대폰, 커피 머신 또는 자동차)의 기존 조작 요소들을 점점 더 대체하고 있다. 예를 들어, 고전적인 슬라이더(sliders)와 회전식 노브(rotary knobs)가 직관적 조작을 위해 시각적으로 재탄생된다. 그러나, 이러한 순전히 그래픽적인 사용자 인터페이스에는 촉각적인 것, 특히 촉각적 피드백이 결여되어 있다. 예를 들어, 가상 버튼을 누르거나 가상 슬라이더를 상단 스톱으로 밀거나 가상 회전식 노브를 반회전시키면, 때로는 방해로 여겨지는 음향신호 또는 짧은 진동이 상기 실행의 인지를 위하여 출력된다.
인간의 촉각을 조작 개념에 보다 잘 통합시키기 위해서는, 그래픽적으로 예시된 대상(예를 들어, 버튼 또는 슬라이더)의 위치 및 형태의 변화를 유연하게 추적할 수 있어야 한다. 이것은, 예를 들어, 디스플레이 표면상의 기계적 진동 또는 파동 및/또는 공기 중으로의 초음파 방사에 의해 수행될 수 있다. 편향 압력 또는 음향(사운드) 압력에서의 진폭 변동은 인간의 촉각으로 감지될 수 있다. 예를 들어, 인간 손가락을 위한 조절가능한 저항(modulatable resistor)이 그러한 방식으로 생성될 수있는데, 이것은 그래픽적으로 도시된(즉, 가상의) 스위치의 위치에 해당한다.
비광학적 채널을 통한 이러한 피드백은 그래픽 사용자 인터페이스와의 상호작용이 디스플레이 앞에서 일어나거나 그 것과 비접촉식으로 일어나는 경우 특히 중요할 수 있다. 예를 들어, 홀로그램 3차원 디스플레이의 경우에 그렇다.
따라서, 촉각 피드백을 제공할 수 있도록 하는 것에 대한 요구가 있다.
이러한 요구가 디스플레이 장치의 실시예들에 의해 충족된다. 상기 디스플레이 장치는 복수의 픽셀들을 갖는 광학 구조물을 포함하는데, 상기 픽셀들은 상기 광학 구조물의 전면(front surface)에 광학 이미지를 생성하도록 구성된다. 상기 디스플레이 장치는 복수의 제어신호들에 기초하여 상기 광학 구조물의 상기 전면의 전방 공간에 사람의 촉각을 자극하기 위한 음향장(acoustic field)을 생성하도록 구성된 복수의 음향 변환기들을 더 포함한다. 상기 복수의 음향 변환기들은 상기 광학 구조물의 후면 상에 위치한다. 상기 디스플레이 장치는 상기 광학 구조물의 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들 중 적어도 하나를 생성하도록 구성된 제어회로를 더 포함한다.
실시예들은 또 다른 디스플레이 장치에 관한 것이기도 하다. 상기 디스플레이 장치는 복수의 픽셀들을 갖는 광학 구조물을 포함하는데, 상기 픽셀들은 상기 광학 구조물의 전면에 광학 이미지를 생성하도록 구성된다. 상기 디스플레이 장치는 상기 광학 구조물의 상기 전면의 전방 공간에 사람의 촉각을 자극하기 위한 음향장을 생성하도록 구성된 복수의 음향 변환기들을 더 포함한다. 상기 복수의 음향 변환기들은 상기 광학 구조물의 전면 상에 위치하며, 380nm 내지 750nm 범위 내의 파장을 갖는 광에 대해 광학적으로 투명하다.
실시예들은 또 다른 디스플레이 장치에 관한 것이기도 하다. 상기 디스플레이 장치는 복수의 픽셀들을 갖는 광학 구조물을 포함하는데, 상기 픽셀들은 상기 광학 구조물의 전면에 광학 이미지를 생성하도록 구성된다. 상기 복수의 픽셀들은 상기 광학 구조물의 캐리어 기판 상에 배열된다. 상기 디스플레이 장치는 복수의 전기기계식 변환기들을 더 포함하는데, 상기 복수의 전기기계식 변환기들은 복수의 제어신호들에 기초하여 적어도 상기 캐리어 기판을 기계적으로 변형시키도록 구성됨으로써 상기 캐리어 기판의 상기 기계적 변형에 의해 사람의 촉각을 자극하기위한 음향장이 상기 광학 구조물의 상기 전면의 전방 공간에 형성되도록 한다.
실시예들은 디스플레이 장치용 픽셀에 관한 것이기도 하다. 상기 픽셀은 제1 제어신호에 기초하여 적색광을 방출하도록 구성된 제1 서브픽셀을 포함한다. 또한, 상기 픽셀은 제2 제어신호에 기초하여 청색광을 방출하도록 구성된 제2 서브픽셀을 포함한다. 상기 픽셀은 제3 제어신호에 기초하여 녹색광을 방출하도록 구성된 제3 서브픽셀을 더 포함한다. 상기 픽셀은 제4 제어신호에 기초하여 음향파를 방출하도록 구성된 음향 변환기를 더 포함한다.
실시예들은 디스플레이 장치의 전면에 광학 이미지를 생성하도록 구성된 복수의 앞서 언급된 픽셀들을 포함하는 디스플레이 장치에 관한 것이기도 하다. 상기 디스플레이 장치는 제어회로를 더 포함하는데, 상기 제어회로는 상기 복수의 픽셀들을 위한 복수의 제4 제어신호들을 생성하도록 구성됨으로써 상기 복수의 픽셀들의 상기 음향 변환기들이 사람의 촉각을 자극하기 위한 음향장을 상기 디스플레이 장치의 상기 전면의 전방 공간에 생성하도록 한다.
마지막으로, 실시예들은 또 다른 디스플레이 장치에 관한 것이기도 하다. 상기 디스플레이 장치는 복수의 픽셀들을 갖는 광학 구조물을 포함하는데, 상기 픽셀들은 상기 광학 구조물의 전면에 광학 이미지를 생성하도록 구성된다. 상기 복수의 픽셀 중 적어도 하나는 제1 제어신호에 기초하여 적색광을 방출하도록 구성된 제1 서브픽셀을 포함한다. 상기 픽셀은 제2 제어신호에 기초하여 청색광을 방출하도록 구성된 제2 서브픽셀을 더 포함한다. 상기 픽셀은 제3 제어신호에 기초하여 녹색광을 방출하도록 구성된 제3 서브픽셀 및 음향 투과 영역(acoustically transparent area)을 더 포함한다. 상기 디스플레이 장치는 사람의 촉각을 자극하기위한 음향장을 상기 광학 구조물의 전면의 전방 공간에 생성하도록 구성된 복수의 음향 변환기들을 더 포함한다. 상기 복수의 음향 변환기들 중 하나는 상기 광학 구조물의 후면 상에 배열되되 그 음향파 방출 영역이 적어도 부분적으로 상기 음향 투과 영역을 덮도록 배열된다.
이하에서는, 첨부된 도면들을 참조하여 실시예들이 더욱 구체적으로 설명된다. 상기 도면들에서:
도 1 내지 도 3은 디스플레이 장치의 실시예들을 보여주고;
도 4는 디스플레이 장치용 픽셀의 일 실시예를 보여주고;
도 5는 도 4에 도시된 픽셀을 포함하는 디스플레이 장치의 일 실시예를 보여주며; 그리고
도 6은 디스플레이 장치의 추가 실시예를 보여준다.
이제, 일부 실시예들이 도시된 첨부의 도면들을 참조하여 다양한 실시예들이 보다 상세하게 설명될 것이다. 도면들에서, 선, 층 및/또는 영역의 두께는 명확성을 위해 과장되어 있을 수 있다.
예시적인 몇몇 실시예들만을 도시하는 첨부 도면들에 대한 아래의 설명에서, 동일한 참조들은 동일하거나 비슷한 구성요소들을 지칭할 수 있다. 또한, 실시예 또는 도면에서 두 번 이상 나오는 구성요소들 및 대상들에 대해 개괄 참조가 사용될 수 있는데, 다만, 하나 이상의 특징들과 관련하여 함께 설명된다. 동일 또는 개괄 도면번호로 기술된 구성요소들 또는 대상들은, 명시적 또는 암시적으로 달리 설명되어 있지 않는 한, 개개의 특징들, 몇몇 특징들 또는 모든 특징들에 대해 동일할 수 있지만(예를 들어, 그 치수), 상이하게 설계될 수도 있다.
실시예들은 다양한 방식으로 수정 및 변경될 수 있지만, 실시예들이 도면에서 예로서 도시되고 여기에서 상세하게 설명된다. 그러나, 실시예들을 개시된 각각의 형태로 제한하려는 의도가 아니라, 실시예들이 본 발명의 범위 내에 있는 모든 기능적 및/또는 구조적 변형물들, 균등물들 및 대체물들을 포함하여야 한다는 것을 분명히 알아야 한다. 동일한 참조는 도면들의 설명 전체에서 동일 또는 유사한 구성요소들을 지칭한다.
다른 구성요소에 "연결된(connected)"또는 "결합된(coupled)"것으로 지칭되는 구성요소는 상기 다른 구성요소에 직접 연결 또는 결합될 수 있거나, 중간에 또 다른 구성요소가 존재할 수 있음에 유의하여야 한다.
본 명세서에서 사용되는 용어는 단지 특정 실시예들을 설명하기 위한 것으로, 상기 용어에 의해 상기 실시예들이 한정되어서는 안 된다. 본 명세서에서 사용된 바와 같이, "a", "an" 및 "the"와 같은 단수 형태는 문맥 상 달리 명확히 나타내어져 있지 않는 한 복수 형태도 포함한다. 또한, 본 명세서에서 사용된 바와 같이, 예를 들어 "포함한다(comprises)," "포함하는(comprising)," "포함한다(includes)" 및/또는 "포함하는(including)"과 같은 용어들은 서술된 특징들, 정수들(integers), 단계들, 작동들, 구성요소들 및/또는 성분들의 존재를 명시하지만 하나 및/또는 둘 이상의 다른 특징들, 정수들, 단계들, 작동들, 구성요소들, 성분들 및/또는 이들의 임의의 그룹이 존재하거나 추가되는 것을 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되어 있지 않는 한, 모든 용어들(기술 용어들 및 과학 용어들 포함)은 상기 예들이 속하는 기술분야의 통상의 의미로서 상기 기술분야에서 통상의 지식을 가진 자에 의해 주어지는 통상의 의미로 사용된다. 또한, 예를 들어 일반적으로 사용되는 사전에 정의된 용어들과 같은 것들은, 여기에서 달리 정의되지 않는 한, 관련 기술의 맥락에서의 의미와 일치하는 의미를 갖는 것으로 해석되어야 함을 분명히 밝힌다.
도 1은 디스플레이 장치(100)를 보여준다. 디스플레이 장치(100)는 복수의 픽셀들(111-1, 111-2, ..., 111-n)을 갖는 광학 구조물(110)을 포함하는데, 상기 픽셀들(111-1, 111-2, ..., 111-n)은 상기 광학 구조물(110)의 전면(112)에 광학 이미지를 생성하도록 구성된다. 상기 디스플레이 장치(100)는 복수의 제어신호들(131-1, 131-2, ..., 131-n)에 기초하여 상기 광학 구조물(110)의 상기 전면(112)의 전방 공간에 사람의 촉각을 자극하기 위한 음향장(121)을 생성하도록 구성된 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)을 더 포함한다. 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)은 상기 광학 구조물(110)의 후면(113) 상에 위치한다. 상기 디스플레이 장치(100)는 상기 광학 구조물(110)의 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들(131-1, 131-2, ..., 131-n) 중 적어도 하나를 생성하도록 구성된 제어회로(130)를 추가로 포함한다.
상기 광학 구조물(110)을 통해 광학 이미지를 출력하는 것 외에, 상기 디스플레이 장치(100)는 상기 복수의 음향 변환기(120-1, 120-2, ..., 120-n)에 의해 생성된 음향장(121)을 통해 촉각 피드백을 제공할 수도 있다. 광학 구조물(110)의 하나 이상의 음향 특성을 고려하여 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 하나 이상을 제어하기 때문에, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)로부터 방출되는 음향파가 상기 광학 구조물(110)에 의해 음향 왜곡 및/또는 변형되는 것이 보상되고/보상되거나 적어도 완화될 수 있다. 다시 말해서, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)로부터 방출되는 음향파가 상기 광학 구조물(110)로 인해 음향 왜곡되는 것을 보상하고/보상하거나 그러한 음향 왜곡을 감소시키기 위하여, 복수의 제어신호들(113-1, 131-2, ..., 131-n) 중 하나 이상이 상기 광학 구조물(110)의 하나 이상의 음향 특성에 기초하여 전치-왜곡된다(pre-distorted). 이러한 방식으로, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)이 상기 광학 구조물(110)의 후면 상에 배열됨에도 불구하고 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)에 의해 상기 광학 구조물(100)의 상기 전면(112)의 전방 공간에 생성되는 상기 음향장(121)이 상기 광학 구조물(110)에 의해 부정적인 영향을 받지 않을 수 있다.
여기서, 상기 광학 구조물(110)은 하나 이상의 제어신호에 기초하여 광학 이미지를 능동적으로 생성할 수 있는 임의의 타입의 픽셀화 구조물(pixelated structure)일 수 있다. 예를 들어, 상기 광학 구조물은 발광 다이오드(LED) 디스플레이일 수 있다. 여기서, 상기 픽셀들 각각은 하나 이상의 무기 및/또는 유기 발광 다이오드를 가질 수 있다. 예를 들어, 각각의 픽셀은 제어신호에 기초하여 각각 적색광, 녹색광 또는 청색광을 방출하는 적어도 하나의 발광 다이오드를 가질 수 있다. 또한, 상기 광학 구조물(110)은 개별 픽셀을 제어하기 위한 하나 이상의 내부 제어회로와 같은 추가 구성요소를 포함할 수 있다. 상기 광학 구조물 (110)의 추가 구성요소뿐만 아니라 픽셀들도, 예를 들어 상기 광학 구조물(110)의 캐리어 기판 상에 배열될 수 있다. 상기 픽셀들의 개수는 상기 광학 구조물(110)의 크기 및/또는 상기 광학 구조물(110)의 원하는 해상도에 따라 달라질 수 있다. 예를 들어, 상기 광학 구조물(110)은 1280 x 720 픽셀들, 1920 x 1080 픽셀들, 4096 x 2160 픽셀들 또는 그 이상의 해상도를 제공할 수 있다.
상기 광학 구조물(110)의 상기 전면(112)은 상기 디스플레이 장치(100)의 사용자를 향하는 상기 광학 구조물 (110)의 면이다. 따라서, 상기 광학 구조물(110)의 상기 후면(113)은 상기 전면(112)의 반대 측에 있는 상기 광학 구조물 (110)의 면이다.
상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)은 상기 복수의 제어신호들(131-1, 131-2, ..., 131-n)의 (전기) 제어신호를 음향파 및/또는 역학적 파동(mechanical wave)으로 각각 변환시키는 장치이다. 예를 들어, 이러한 방식으로, 상기 광학 구조물(110)의 상기 전면(112)의 전방 공간의 한 지점에서 음향 압력이 생성될 수 있다. 음향 변환기는 예를 들어 전자기적 효과, 전기 역학적 효과, 정전기적 효과, 압전(piezoelectric) 효과 또는 피에조 저항(piezoresistive) 효과를 이용하여 상기 제어신호를 음향파로 변환하고 방출하도록 구성될 수도 있다.
상기 음향파는 인간의 청각 범위를 벗어난 임의의 음향파일 수 있다. 따라서, 예를 들어, 복수의 상기 음향 변환기들(120-1, 120-2, ..., 120-n) 중 적어도 하나는 25kHz 이상, 40kHz 이상, 60kHz 이상, 또는 100kHz 이상의 주파수를 갖는 음향파를 방출하도록 구성될 수 있다. 상기 음향 변환기에 의해 이렇게 생성된 초음파들은 사람의 촉각 자극을 위한 음향장(121)의 생성에 적합한데, 이는 이들이 국소적으로 미세하게 조절될 수 있고 인간의 청각 범위를 벗어나기 때문이다. 도 1에 나타난 바와 같이, 사람은 예를 들어 하나 이상의 손가락을 상기 음향장(121)에 삽입함으로써 그들의 촉각 자극을 통해 촉각 피드백을 느낀다. 여기서, 상기 음향장(121)은 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)의 음향파가 전파되고 중첩되는(구조적으로는 물론이고 파괴적으로) 상기 전면(112)의 전방 공간이다.
소형 장치 (예를 들어, 휴대폰, 노트북 컴퓨터 또는 태블릿 컴퓨터)에서도 상기 디스플레이 장치(100)를 사용할 수 있으려면, 상기 디스플레이 장치(100)의 개별 구성요소들이 가능한 작은 설치 공간을 차지해야만 한다. 따라서, 그럴려면, 예를 들어 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 적어도 하나는 MEMS(microelectromechanical system) 음향 변환기로 구성될 수 있다. 예를 들어, 상기 MEMS 음향 변환기는 반도체 물질(예를 들어, 실리콘)로 형성될 수 있다.
상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)은 광학 장치(110)의 후면(113)에 걸쳐 분포될 수 있다. 예를 들어, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)은 상기 광학 장치(110)의 후면(113)에 2차원 조립체 형태로 부착될 수 있다. 어떤 실시예들에서는, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)이 상기 광학 구조물(110)의 상기 후면(113) 상에 예를 들어 매트릭스 형태로 배열될 수 있다. 다시 말해, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)은 행과 열로 배열될 수 있다.
상기 제어회로(130)는 프로세서, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU), 컴퓨터, 컴퓨터 시스템, 주문형 집적회로(ASIC), 집적회로(IC), 시스텝 온 칩(SoC), 프로그램 가능 논리 구성요소, 또는 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)을 제어하기 위한 소프트웨어가 본 명세서에 설명된 원리에 따라 실행되는 마이크로프로세서를 포함하는 필드 프로그램 가능 게이트 어레이(FPGA)를 포함할 수 있다. 또한, 상기 제어회로(130)는, 예를 들어 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)을 제어하기 위한 소프트웨어 또는 다른 데이터가 저장될 수 있는 하나 이상의 메모리를 포함 할 수 있다. 앞에서 이미 설명한 바와 같이, 상기 제어회로는 음향 변환기에서 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)을 위한 복수의 제어신호들을 수신하거나 자체적으로 생성한 후 이들을 조정함으로써 상기 복수의 제어신호들(113-1, 131-2, ..., 131-n)을 생성할 수 있다. 다시 말해서, 상기 제어회로(130)는, 상기 복수의 제어신호들(113-1, 131-2, ..., 131-n)을 생성하기위해, 상기 광학 구조물(110)의 적어도 하나의 음향 특성에 기초하여 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)을 위한 복수의 제어신호들을 전치-왜곡(pre-distort)하도록 구성될 수 있다. 전치-왜곡은 아날로그 방식으로는 물론이고 디지털 방식으로 수행될 수 있다.
상기 광학 구조물(110)의 상기 적어도 하나의 음향 특성은 음향파와의 상호작용을 설명하는 상기 광학 구조물(110)의 특성이다. 예를 들어, 상기 광학 구조물(110)의 상기 적어도 하나의 음향 특성은 상기 광학 구조물(110)의 음향 투과성(acoustic transparency)일 수 있다. 여기서 상기 음향 투과성은 상기 광학 구조물의 음향파에 대한 투과도를 나타낸다. 음향 투과성이 높은 곳에서는 음향파가 큰 왜곡 없이 그리고/또는 왜곡 없이 상기 광학 구조물(110)을 투과할 수 있는 반면, 음향 투과성이 낮은 곳에서는 상기 광학 구조물(110)이 상기 음향파를 강하게 왜곡시키고/왜곡시키거나 상기 음향파에 대해 비투과성일 수 있다.
상기 광학 구조물(110)의 상기 전면(112)에 생성되는 상기 광학 이미지는 스틸 이미지(still image)이거나 일련의 이미지들(예를 들어, 비디오)의 개별 이미지들일 수 있다.
상기 음향장(121)은 상기 광학 구조물(110)의 상기 전면(112)에 생성된 상기 광학 이미지의 대상(object)과 연관될 수 있다. 기본적으로, 상기 대상은 광학 이미지에 예시될 수있는 임의의 대상일 수 있다. 예를 들어, 상기 대상은 상기 광학 이미지에 예시되는 스위치, 버튼, 슬라이더, 또는 회전식 노브일 수 있다.
따라서, 상기 제어회로(130)는 상기 광학 이미지의 대상의 상태에 기초하여 상기 복수의 제어신호들(113-1, 131-2, ..., 131-n)을 생성하도록 구성될 수 있다. 따라서, 상기 음향장(121)은 상기 광학 이미지의 상기 대상의 상태에 맞추어 조정될 수 있다. 상기 광학 이미지의 대상이 예를 들어 상기 광학 구조물(110)의 전면(112)에 평행한 평면 내에서 이동하는 경우, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)에 의해 생성되는 음향장(121)도 상기 광학 구조물(110)의 전면(112)에 평행한 평면 내에서의 움직임을 재현하도록 상기 제어회로(130)가 상기 복수의 제어신호들(131-1, 131-2, ..., 131-n)을 생성할 수 있다. 예를 들어, 상기 음향장(121)의 초점(122)의 위치가 상기 광학 이미지의 상기 대상의 위치에 따라 상기 제어회로(130)의 대응 제어신호(113-1, 131-2, ..., 131-n)에 의해 조절될 수 있다. 여기서 상기 초점(122)은 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)로부터 방출되는 음향파의 적어도 일부가 중첩되는 음향장(121)의 지점으로서, 목표로 하는 인간의 촉각 자극을 위한 충분한 크기의 음압(acoustic pressure) 및/또는 그 변동이 상기 중첩을 통해 상기 초점에서 발생하게 된다. 여기서, 하나 이상의 초점이 개별 대상과 연관될 수 있다. 따라서, 몇몇 초점들은 상기 광학 이미지의 몇몇 대상들과도 연관될 수 있다.
예를 들어, 상기 대상이 광학 이미지에 디스플레이된 가상 버튼이고 사용자의 사용자 입력에 의해 눌러진 경우, 이것은 예를 들어 음향장(121)의 초점(122)의 상기 광학 구조물(110)의 전면(112)까지의 수직 거리의 변화에 의해 상기 사용자에게 촉각적으로 나타내질 수 있다. 따라서, 상기 광학 구조물(110)의 전면(112)에 대한 상기 음향장(121)의 초점(122)의 수직 거리에 따라, 상기 사용자는 상기 가상 버튼이 눌러졌는지에 대한 여부를 파악 수 있다.
마찬가지로, 광학 이미지에 가상의 회전식 노브가 디스플레이되는 경우에는, 예를 들어 음향장(121)의 초점(122)이 회전 이동을 따를 수 있다(즉, 상기 초점도 회전 이동을 할 수 있다). 상기 가상의 회전식 노브가 정지점(stop)에 도달할 때, 이것은 상기 회전식 노브의 정지와 연관된 위치에 잔류하는 상기 음향장(121)의 초점(122)에 의해 상기 사용자에게 촉각적으로 나타내질 수 있다. 또한, 예를 들어 정지점에 도달하면 상기 정지점에 도달했음을 나타내기 위해 음압 또는 음압 변동이 증가될 수 있다.
이에 의해, 상기 음향장(121)의 초점(122)은 상기 광학 구조물(110)의 전면(112)에 근접하게 형성될 수 있을 뿐만 아니라 그것으로부터 어느 정도 거리를 두고 형성될 수도 있다. 예를 들어, 상기 제어회로(130)는, 음향장(121)의 초점(122)이 상기 광학 구조물(110)의 전면(112)에 대해 2cm 미만, 1cm 미만, 또는 5mm 미만의 수직 거리를 갖도록, 상기 복수의 제어신호들(113-1, 131-2, ..., 131-n)을 생성하도록 구성될 수 있다. 대안적으로, 상기 제어회로(130)는, 음향장(121)의 초점(122)이 상기 광학 구조물(110)의 전면(112)에 대해 1cm 이상, 2cm 이상, 5cm 이상, 또는 10cm 이상의 수직 거리를 갖도록, 상기 복수의 제어신호들(113-1, 131-2, ..., 131-n)을 생성하도록 구성될 수 있다.
또한, 상기 제어회로(130)는 상기 광학 구조물(110)의 전면(112) 상에 배열된 기판(미도시)의 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들(113-1, 131-2, ..., 131-n) 중 하나 이상을 생성할 수도 있다. 이러한 방식으로, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)에 의해 방출되는 음향파가 상기 광학 구조물(110)과 사용자 사이에 위치하는 기판(예를 들어, 유리 보호층 등)에 의해 음향 왜곡되는 것이 보상될 수도 있다.
또한, 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 하나 이상은 음향 정보를 수신하기 위해 사용될 수도 있다. 예를 들어, 이러한 방식으로, 사용자에 의해 반사되는 음향파가 사용자의 제스처를 인식하기 위해 검출될 수 있다. 따라서, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 적어도 하나는 수신된 음향파에 기초하여 출력신호를 제공하도록 추가적으로 구성될 수 있다. 이 출력신호는 예를 들어 상기 제어회로(130) 또는 다른 프로세서 회로에 의해 처리될 수 있다. 어떤 실시예들에서는, 예를 들어 대응하는 제어 시퀀스를 이용하여, 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 하나 이상에 의해 압력장(pressure fields) 생성과 음향 정보 수신을 스위칭하는 것이 가능하다.
도 1에 도시된 디스플레이 장치(100)에서는 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)이 상기 광학 구조물(110)의 후면 상에 배열된다. 반면, 도 2는 복수의 음향 변환기들이 광학 구조물의 전면, 즉 사용자를 향하는 면 상에 배열되는 디스플레이 장치(200)를 보여준다.
상기 디스플레이 장치(200)는 복수의 픽셀들(211-1, 211-2, ..., 211-n)을 갖는 광학 구조물(210)을 포함하는데, 상기 픽셀들(211-1, 211-2, ..., 211-n)은 상기 광학 구조물(210)의 전면(212)에 광학 이미지를 생성하도록 구성된다. 상기 디스플레이 장치는 상기 광학 구조물의 상기 전면(212)의 전방 공간에 사람의 촉각을 자극하기위한 음향장(221)을 생성하도록 구성된 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)을 더 포함한다. 상기 복수의 음향 변환기들(220-1, 220-2,…, 220-n)은 상기 광학 구조물(210)의 상기 전면 (212) 상에 위치하고, 380nm 내지 750nm 범위 내의 파장을 갖는 광에 대해 광학적으로 투명하다.
상기 디스플레이 장치(100)와 같이, 상기 디스플레이 장치(200)도, 상기 광학 구조물(210)을 통한 광학 이미지의 출력 외에, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)에 의해 생성된 음향장(221)을 통한 촉각 피드백을 제공할 수 있다. 가시광선 범위의 파장을 갖는 광에 대한 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)의 광학적 투명성 덕분에 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)들이 상기 광학 구조물(210)의 전면(212) 상에 배열될 수 있다. 따라서, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)로부터 방출되는 음향파가 상기 광학 구조물(210)에 의해 왜곡되는 것이 방지될 수 있다. 따라서, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)을 제어할 때 상기 광학 구조물(210)에 의한 음향 왜곡은 고려될 필요가 없다.
상기 광학 구조물(210)은 도 1과 관련하여 논의된 광학 구조물(110)과 실질적으로 동일하게 구성될 수 있다.
전술한 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)과 같이, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n) 중 하나 이상은 MEMS 음향 변환기로 구성될 수도 있다. 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)은 25kHz 이상, 40kHz 이상, 60kHz 이상, 또는 100kHz 이상의 주파수를 갖는 음향파를 방출하도록 구성될 수도 있다.
복수의 음향 변환기들(220-1, 220-2, ..., 220-n)의 음향 변환기는 특정 파장의 광이 상기 음향 변환기를 실질적으로 방해받지 않고 투과할 수 있다면 그 광에 대해 광학적으로 투명하다. 예를 들어, 음향 변환기는 소정 파장의 입사광의 40% 이상, 50% 이상, 60% 이상 또는 70% 이상을 투과시키는 경우 상기 파장의 광에 대해 광학적으로 투명한 것으로 간주 될 수 있다.
380nm 내지 750nm 범위의 광에 대해 광학적으로 투명하기 위해, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)의 음향 변환기는 예를 들어 인듐 주석 산화물(ITO)로 형성된 하나 이상의 전극을 갖는 구조화된 유리 기판(예를 들어, 붕규산 유리로 제조된)을 포함할 수 있다. 또한, 상기 음향 변환기는 예를 들어 실리콘 질화물(SiN) 또는 ITO로 만들어진 막을 포함할 수 있다. 그러나, 전술한 물질들은 단지 예시일 뿐이고 다른 광학적으로 투명한 물질이 사용될 수도 있음이 명백하다.
디스플레이 장치(100)와 관련하여 이미 설명한 바와 같이, 상기 음향장(221)은 상기 광학 구조물(210)의 전면 (212)에 생성된 광학 이미지의 대상과 연관될 수 있다. 따라서, 상기 디스플레이 장치(200)는, 상기 광학 이미지의 대상의 상태에 기초하여 복수의 제어신호들을 생성하도록 구성된 제어회로(미도시)를 포함할 수 있다. 이러한 방식으로, 상기 음향장(221)이 상기 광학 이미지의 대상의 상태에 맞추어 조정될 수 있다.
이에 의해, 상기 음향장(221)의 초점(222)은 상기 광학 구조물(210)의 전면(212)에 근접하게 형성될 수 있을 뿐만 아니라 그것으로부터 어느 정도 거리를 두고 형성될 수도 있다. 예를 들어, 상기 디스플레이 장치(200)의 상기 제어회로는, 상기 음향장(221)의 초점이(222)이 상기 광학 구조물(210)의 전면(212)에 대해 2cm 미만, 1cm 미만, 또는 5mm 미만의 수직 거리를 갖도록, 상기 복수의 제어신호들을 생성하도록 구성될 수 있다. 대안적으로, 상기 제어회로는, 상기 음향장(221)의 초점(222)이 상기 광학 구조물(210)의 전면(212)에 대해 1cm 이상, 2cm 이상, 5cm 이상, 또는 10cm 이상의 수직 거리를 갖도록, 상기 복수의 제어신호들을 생성하도록 구성될 수 있다.
어떤 실시예들에서는, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)이 기판(미도시)에 의해 덮일 수 있다. 즉, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)이 기판과 상기 광학 구조물(210) 사이에 위치할 수 있다. 상기 기판은 예를 들어 보호층일 수 있다. 따라서, 상기 제어회로는 상기 기판의 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들 중 하나 이상을 생성할 수 있다. 이러한 방식으로, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)에 의해 방출되는 음향파가 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)과 사용자 사이에 위치하는 상기 기판에 의해 음향 왜곡되는 것이 보상될 수도 있다.
상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n) 중 적어도 하나는, 상기 디스플레이 장치(100)의 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)과 관련하여 위에서 설명한 바와 같이, 수신된 음향파에 기초하여 출력신호를 제공하도록 추가적으로 구성될 수 있다.
상기 2개의 디스플레이 장치들(100, 200)에서 음향 변환기들은 광학 구조물의 외부에 부착되어 있다. 그러나, 상기 광학 구조물 자체가 음향장의 소스(source)로 작용할 수도 있다. 이런 목적을 위한 디스플레이 장치(300)가 도 3에 도시되어 있다.
상기 디스플레이 장치(300)는 복수의 픽셀들(311-1, 311-2, ..., 311-n)을 갖는 광학 구조물(310)을 포함하는데, 상기 픽셀들(311-1, 311-2, ..., 311-n)은 상기 광학 구조물(310)의 전면(312)에 광학 이미지를 생성하도록 구성되어 있다. 상기 복수의 픽셀들(311-1, 311-2, ..., 311-n)은 상기 광학 구조물(310)의 캐리어 기판(314) 상에 배열되어 있다. 상기 디스플레이 장치(300)는, 복수의 제어신호들(331-1, 331-2, ..., 331-n)에 기초하여 적어도 상기 캐리어 기판(314)을 기계적으로 변형시키도록 구성됨으로써 상기 캐리어 기판(314)의 상기 기계적 변형에 의해 사람의 촉각을 자극하기 위한 음향장(321)이 상기 광학 구조물(310)의 상기 전면(312)의 전방 공간에 형성되도록 하는, 복수의 전기기계식(electromechanical) 변환기들(320-1, 320-2, ..., 320-n)을 더 포함한다.
위에서 설명한 디스플레이 장치들과 마찬가지로, 상기 디스플레이 장치(300)는 상기 광학 구조물(310)을 통해 광학 이미지를 출력할 뿐만 아니라 상기 캐리어 기판(314)의 기계적 변형에 의해 생성되는 상기 음향장(321)을 통해 촉각 피드백을 제공할 수도 있다. 따라서, 상기 광학 구조물(310) 자체가 음향 소스(acoustic source)로서 기능하기 때문에, 음향장 생성을 위한 외부 음향 변환기가 필요하지 않다.
상기 광학 구조물(310)은 전술한 광학 구조물들(110, 210)과 실질적으로 동일하게 구성될 수 있다. 다만, 상기 광학 구조물은 상기 캐리어 기판(312)을 추가적으로 포함한다.
상기 복수의 전기기계식 변환기들(320-1, 320-2, ..., 320-n)에 의한 상기 광학 구조물(310)의 여진(excitation)이 도 3의 섹션 A에 있는 전기기계식 변환기(320-n)의 예를 통해 예시적으로 도시되어 있는데, 상기 섹션 A는 상기 디스플레이 장치(300)의 일부를 확대한 것이다. 도 3에 도시된 바와 같이, 상기 복수의 전기기계식 변환기들(320-1, 320-2, ..., 320-n)은 상기 광학 구조물(310)의 상기 캐리어 기판(314) 상에, 즉 상기 광학 구조물(310)의 후면 영역에 배열될 수 있다.
상기 전기기계식 변환기(320-n)는 전기 에너지를 기계 에너지로 변환하도록 구성된다. 예를 들어, 상기 전기기계식 변환기(320-n)는 자신에 인가된 전압 또는 전류에 따라 기계적 이동 및/또는 변형을 수행할 수 있다. 이 변환 과정은 예를 들어 피에조 효과(piezo effect) 또는 용량 효과(capacifive effect)에 기초 할 수 있다. 따라서, 어떤 실시예들에서는, 상기 전기기계식 변환기(320-n)가 압전 액추에이터(piezoelectric actuator) 또는 용량성 액추에이터(capacitive actuator)일 수 있다.
예를 들어, 상기 전기기계식 변환기(320-n)는 제어신호(331-n)에 따라 도 3의 화살표에 의해 표시된 바와 같이 길이 변화를 수행할 수 있다. 상기 캐리어 기판(314)에 부착되어 있기 때문에 상기 전기기계식 변환기(320-n)의 길이 변형은 상기 캐리어 기판(314)의 일부를 변형시킨다(예를 들어, 도 3에 도시된 바와 같이 굽어짐). 상기 캐리어 기판(314)에 더하여, 상기 광학 구조물의 다른 구성요소도 상기 전기기계식 변환기(320-n)에 의해 변형될 수 있다. 이것은 도 3에 픽셀들(311-n-3, 311-n-2, ..., 311-n)의 변형으로 나타나 있다. 상기 전기기계식 변환기(320-n)를 사용하여 해당 주파수로 적어도 상기 캐리어 기판(314)을 변형시킴으로써, 상기 광학 구조물(310)이 음향파를 방출하도록 여진될(excited) 수 있다.
상기 복수의 전기기계식 변환기들(320-1, 320-2, ..., 320-n)에 의해 상기 광학 구조물(310)을 몇몇 위치에서 여진시킴으로써, 상기 광학 구조물(310)이 복수의 음향파들을 방출하도록 여진될 수 있는데, 상기 복수의 음향파들은 상기 광학 구조물(310)의 전면(312)의 전방 공간에서 중첩됨으로써 인간의 촉각 자극을 위한 음향장(321)을 생성할 수 있다.
복수의 제어신호들(331-1, 331-2, ..., 331-n)을 생성하기 위해, 상기 디스플레이 장치(300)는 제어회로(330)를 더 포함할 수 있다. 예를 들어, 상기 제어회로(330)는 상기 광학 구조물(310)의 적어도 하나의 기계적 특성에 기초하여 상기 복수의 제어신호들(331-1, 331-2, ..., 331-n) 중 적어도 하나를 생성하도록 구성될 수 있다. 따라서, 상기 캐리어 기판(314) 및/또는 상기 광학 구조물(310)의 변형이 상기 광학 구조물(310)에 매칭됨으로써, 원하는 음향장이 상기 광학 구조물(310)에 의해 왜곡되는 것이 방지될 수 있다. 상기 적어도 하나의 기계적 특성은 상기 광학 구조물(310)의 변형성(deformability)을 특징짓는 특성이다. 예를 들어, 이것은 상기 광학 구조물(310) 또는 그 구성요소의 비틀림 계수(torsion modulus), 탄성 계수(elasticity modulus), 푸아송 비(Poisson's ratio), 압축 계수(compression modulus), 재료, 또는 팽창 계수(expansion coefficient)일 수 있다.
상기 복수의 전기기계식 변환기들(320-1, 320-2, ..., 320-n)은, 상기 광학 구조물(310)의 전면(312)의 전방 공간으로 25kHz 이상, 40kHz 이상, 60kHz 이상, 또는 100kHz 이상의 주파수를 갖는 음향파를 상기 광학 구조물이 방출하도록, 상기 복수의 제어신호들(331-1, 331-2, ..., 331-n)에 기초하여 적어도 상기 캐리어 기판을 변형시키도록 구성될 수 있다.
디스플레이 장치들(100, 200)과 관련하여 이미 설명한 바와 같이, 상기 디스플레이 장치(300)에서 상기 음향장(321)도 역시 상기 광학 이미지의 대상과 연관될 수 있다. 따라서, 상기 제어회로(330)는 상기 광학 이미지의 대상의 상태에 기초하여 상기 복수의 제어신호들(331-1, 331-2, ..., 331-n)를 생성하도록 구성될 수 있다. 반복을 피하기 위해, 위에서의 설명을 참조한다.
이에 의해, 상기 음향장(321)의 초점(322)은 상기 광학 구조물(310)의 전면(312)에 근접하게 형성될 수 있을 뿐만 아니라 그것으로부터 어느 정도 거리를 두고 형성될 수도 있다. 예를 들어, 상기 제어회로(330)는, 음향장(321)의 초점(322)이 상기 광학 구조물(310)의 전면(312)에 대해 2cm 미만, 1cm 미만, 또는 5mm 미만의 수직 거리를 갖도록, 상기 복수의 제어신호들(331-1, 331-2, ..., 331-n)을 생성하도록 구성될 수 있다. 대안적으로, 상기 제어회로는, 음향장(321)의 초점(322)이 상기 광학 구조물(310)의 전면(312)에 대해 1cm 이상, 2cm 이상, 5cm 이상, 또는 10cm 이상의 수직 거리를 갖도록, 상기 복수의 제어신호들을 생성하도록 구성될 수 있다.
또한, 상기 제어회로(330)는 상기 광학 구조물(310)의 전면(312) 상에 배열된 기판(미도시)의 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들(331-1, 331-2, ..., 331-n) 중 하나 이상을 생성할 수도 있다. 이러한 방식으로, 상기 광학 구조물(310)에 의해 방출되는 음향파가 상기 광학 구조물(310)과 사용자 사이에 위치하는 상기 기판(예를 들어, 유리 보호층 등)에 의해 음향 왜곡되는 것이 보상될 수도 있다.
복수의 음향 변환기들(120-1, 120-2, ..., 120-n)과 관련하여 위에서 설명한 바와 같이, 상기 복수의 음향 변환기들(320-1, 320-2, ..., 320-n) 중 적어도 하나는 수신된 음향파에 기초하여 출력신호를 제공하도록 추가적으로 구성될 수 있다.
한편, 음향파 방출이 광학 구조물 내로 통합될 수도 있다. 디스플레이 장치용 픽셀(400)을 보여주는 도 4에 이것이 도시되어 있다. 상기 픽셀(400)은 제1 제어신호(411)에 기초하여 적색광(412)을 방출하도록 구성된 제1 서브픽셀(410)을 포함한다. 또한, 상기 픽셀(400)은 제2 제어신호(421)에 기초하여 청색광(422)을 방출하도록 구성된 제2 서브픽셀(420)을 포함한다. 상기 픽셀 (400)은 제3 제어신호(431)에 기초하여 녹색광(432)을 방출하도록 구성된 제3 서브픽셀(430)을 더 포함한다. 상기 픽셀(400)은 제4 제어신호(441)에 기초하여 음향파를 방출하도록 구성된 음향 변환기(440)를 더 포함한다.
상기 픽셀(400)은, 적색광, 녹색광 및 청색광(412, 422, 432)을 방출함으로써 광학 정보가 디스플레이되도록 할 수 있을 뿐만 아니라, 음향파(442)를 방출함으로써 촉각 정보가 제공되도록 할 수 있다. 상기 음향 변환기(440)를 상기 픽셀(400) 내에 통합함으로써, 촉각 피드백을 갖는 디스플레이 장치를 구성하는 것이 일반적으로 단순화될 수 있다.
서브픽셀들(410, 420, 430) 각각은 적색광, 청색광 및/또는 녹색광을 방출하는 발광 다이오드를 포함할 수 있다. 대안적으로, 서브픽셀들(410, 420, 430) 각각은 청색광을 방출하는 발광 다이오드를 포함할 수 있는데, 여기서 서브픽셀들 410과 430은 상기 발광 다이오드의 청색광을 적색광 및/또는 녹색광으로 각각 변환시키기 위해 변환 소자(conversion element)를 추가로 포함한다. 상기 발광 다이오드들은 예를 들어 유기 및/또는 무기 반도체 물질을 포함할 수 있다. 상기 적색광, 녹색광 및 청색광(412, 422, 432)의 부가적 색 혼합(additive color mixing)을 통해, 상기 픽셀(400)은 다양한 색 값들(color values)(즉, 혼합된 색상)을 나타낼 수 있다.
어떤 실시예들에서는, 상기 음향 변환기(440)가 MEMS 음향 변환기일 수 있다. 상기 음향 변환기(440)는 25kHz 이상, 40kHz 이상, 60kHz 이상, 또는 100kHz 이상의 주파수를 갖는 음향파를 방출하도록 설계 될 수 있다.
상기 음향 변환기(440)는, 상기 디스플레이 장치(100)의 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)와 관련하여 위에서 설명한 바와 같이, 수신된 음향파에 기초하여 출력신호를 제공하도록 추가적으로 구성될 수 있다.
상기 픽셀(400)을 디스플레이 장치(500)에 구현한 것이 도 5에 도시되어 있다. 상기 디스플레이 장치(500)는 도 4와 관련하여 설명된 복수의 픽셀들(400-1, 400-2, ..., 400-n)을 포함한다. 상기 복수의 픽셀들(400-1, 400-2, ..., 400-n)은 상기 디스플레이 장치(500)의 전면(512)에 광학 이미지를 생성하도록 구성된다. 상기 디스플레이 장치(500)는, 상기 복수의 픽셀들(400-1, 400-2, ...)의 음향 변환기들이 사람의 촉각을 자극하기 위한 음향장(521)을 상기 디스플레이 장치(500)의 전면(512)의 전방 공간에 생성하도록, 상기 복수의 픽셀들(400-1, 400-2, ...)을 위한 복수의 제4 제어신호들(441-1, 441-2, ..., 441-n)을 생성하도록 구성된 제어회로(530)를 더 포함한다.
상기 디스플레이 장치(500)는, 광학 이미지를 출력하는 것에 더하여, 상기 복수의 픽셀들(400-1, 400-2, ..., 400-n)의 음향 변환기들에 의해 생성되는 음향장(521)을 통해 촉각 피드백이 제공되도록 할 수도 있다.
상기 디스플레이 장치들(100, 200, 300)과 관련하여 위에서 이미 설명한 바와 같이, 상기 음향장(521) 및/또는 음향장(521)의 초점(522)은 상기 광학 이미지의 대상과 연관될 수 있다. 따라서, 상기 제어회로(530)는 상기 광학 이미지의 대상의 상태에 기초하여 상기 복수의 제4 제어신호들(441-1, 441-2, ..., 441-n)을 생성하도록 구성될 수 있다.
어떤 실시예들에서는, 상기 복수의 픽셀들(400-1, 400-2, ..., 400-n)이 기판(미도시)에 의해 덮일 수 있다. 다시 말해, 어떤 실시예들에서는, 상기 복수의 픽셀들(400-1, 400-2, ..., 400-n)이 기판을 통해 상기 디스플레이 장치(500)의 전면의 전방 공간으로 음향파를 방출할 수 있다. 상기 기판은 예를 들어 보호층일 수 있다. 따라서, 상기 제어회로(530)는 상기 기판의 적어도 하나의 음향 특성에도 기초하여 상기 복수의 제4 제어신호들(441-1, 441-2, ..., 441-n) 중 하나 이상을 생성할 수 있다. 이러한 방식으로, 상기 복수의 픽셀들(400-1, 400-2, ..., 400-n)에 의해 방출되는 음향파가 상기 복수의 픽셀들(400-1, 400-2, ..., 400-n)과 사용자 사이에 위치하는 상기 기판에 의해 음향 왜곡되는 것도 보상될 수 있다.
이에 의해, 상기 음향장(521)의 초점(522)은 상기 디스플레이 장치(500)의 전면(512)에 근접하게 형성될 수 있을 뿐만 아니라 그것으로부터 어느 정도 거리를 두고 형성될 수도 있다. 예를 들어, 상기 제어회로(530)는, 음향장(521)의 초점(522)이 상기 디스플레이 장치(500)의 전면(512)에 대해 2cm 미만, 1cm 미만, 또는 5mm 미만의 수직 거리를 갖도록, 상기 복수의 제4 제어신호들(441-1, 441-2, ..., 441-n)을 생성하도록 구성될 수 있다. 대안적으로, 상기 제어회로는, 상기 음향장(521)의 초점(522)이 상기 디스플레이 장치(500)의 전면(512)에 대해 1cm 이상, 2cm 이상, 5cm 이상, 또는 10cm 이상의 수직 거리를 갖도록, 상기 복수의 제어신호들을 생성하도록 구성될 수 있다.
마지막으로, 또 다른 디스플레이 장치(600)가 도 6에 도시되어 있다. 상기 디스플레이 장치는 복수의 픽셀들(611-1, 611-2, ..., 611-n)을 갖는 광학 구조물(610)을 포함하는데, 상기 픽셀들(611-1, 611-2, ..., 611-n)은 상기 광학 구조물(610)의 전면(612)에 광학 이미지를 생성하도록 구성된다. 상기 복수의 픽셀들(611-1, 611-2, ..., 611-n) 중 적어도 하나(예를 들어, 픽셀 611-n)는 제1 제어신호(641)에 기초하여 적색광(642)을 방출하도록 구성된 제1 서브픽셀(640)을 포함한다. 상기 픽셀은 제2 제어신호(651)에 기초하여 청색광(652)을 방출하도록 구성된 제2 서브픽셀(650)을 더 포함한다. 상기 픽셀은 제3 제어신호(661)에 기초하여 녹색광(662)을 방출하도록 구성된 제3 서브픽셀(660) 및 음향 투과 영역(acoustically transparent area)(670)을 더 포함한다. 상기 디스플레이 장치(600)는 사람의 촉각을 자극하기 위한 음향장(621)을 상기 광학 구조물(610)의 전면(612)의 전방 공간에 생성하도록 구성된 복수의 음향 변환기들(620-1, 620-2, ..., 620-n)을 더 포함한다. 상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n) 중 하나(예를 들어, 음향 변환기 620-n)는 상기 광학 구조물(610)의 후면(613) 상에 배열되되 그 음향파 방출 영역이 상기 픽셀의 상기 음향 투과 영역(670)을 적어도 부분적으로 덮도록 배열된다.
전술한 디스플레이 장치들과 마찬가지로, 상기 디스플레이 장치(600)도, 상기 광학 구조물(610)을 통해 광학 이미지를 출력하는 것에 더하여, 상기 복수의 음향 변환기들들(620-1, 620-2, ..., 620-n)에 의해 생성되는 음향장(621)을 통해 촉각 피드백을 제공할 수도 있다. 상기 음향 변환기를 상기 픽셀의 음향 투과 영역(670)에 맞추어 상기 광학 구조물의 후면(613) 상에 배치함으로써, 복수의 음향 변환기들(620-1, 620-2, ..., 620-n) 중 하나의 음향 변환기로부터 방출되는 음향파가 상기 광학 구조물(610)에 의해 왜곡되는 것을 방지할 수 있다. 따라서, 상기 음향 변환기를 제어할 때, 상기 광학 구조물(610)로 인해 야기될 음향 왜곡은 고려될 필요가 없고/없거나 거의 고려되지 않는다.
상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n) 중 다른 음향 변환기들도 그 각각이 상기 광학 구조물(610)의 후면(613) 상에 배열되되 상기 음향 변환기들의 음향파 방출 영역들 각각이 상기 복수의 픽셀들(611-1, 611-2, ..., 611-n) 중 하나의 음향 투과 영역을 적어도 부분적으로 덮도록 배열될 수 있다. 마찬가지로, 상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n)로부터 방출되는 음향파가 상기 광학 구조물(610)로 인해 왜곡되는 것이 방지될 수 있다.
상기 픽셀의 음향 투과 영역(670)은 음향파가 큰 왜곡 없이 그리고/또는 왜곡 없이 투과할 수 있는 픽셀 영역이다. 예를 들어, 상기 음향 투과 영역(670)은 오목부(recess)[예를 들어, 홀(hole)]일 수 있다. 상기 광학 구조물(610)이 캐리어 기판과 같은 추가적 구성요소도 포함하는 경우에는, 상기 픽셀의 음향 투과 영역(670)을 덮는 그 구성요소의 영역도 그 자체가 음향 투과 영역일 수 있다. 그렇지 않은 경우에는, 상기 광학 구조물(610)은 위에서 설명한 광학 구조물(110)과 실질적으로 동일하게 구성될 수 있다.
상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n) 중 하나 이상은 MEMS 음향 변환기로서 구성될 수 있다. 상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n)은 또한 25kHz 이상, 40kHz 이상, 60kHz 이상, 또는 100kHz 이상의 주파수를 갖는 음향파를 방출하도록 구성될 수 있다.
전술한 디스플레이 장치들과 관련하여 이미 설명한 바와 같이, 상기 음향장(621)은 상기 광학 구조물(610)의 전면(612)에 생성되는 광학 이미지의 대상과 연관될 수 있다. 따라서, 상기 디스플레이 장치(600)는 상기 광학 이미지의 대상의 상태에 기초하여 복수의 제어신호들을 생성하도록 구성되는 제어회로(미도시)를 포함할 수 있다. 이러한 방식으로, 상기 음향장(621)은 상기 광학 이미지의 대상의 상태에 맞추어 조정될 수 있다.
이에 의해, 상기 음향장(621)의 초점(622)은 상기 광학 구조물(610)의 전면(612)에 근접하게 형성될 수 있을 뿐만 아니라 그것으로부터 어느 정도 거리를 두고 형성될 수도 있다. 예를 들어, 상기 디스플레이 장치(600)의 상기 제어회로는, 음향장(621)의 초점(622)이 상기 광학 구조물(610)의 전면(612)에 대해 2cm 미만, 1cm 미만, 또는 5mm 미만의 수직 거리를 갖도록, 상기 복수의 제어신호들을 생성하도록 구성될 수 있다. 대안적으로, 상기 제어회로는, 음향장(621)의 초점(622)이 상기 광학 구조물(610)의 전면(612)에 대해 1cm 이상, 2cm 이상, 5cm 이상, 또는 10cm 이상의 수직 거리를 갖도록, 복수의 제어신호들을 생성하도록 구성될 수 있다.
상기 디스플레이 장치(600)의 제어회로는 상기 광학 구조물(610)의 전면(612) 상에 배열된 기판(미도시)의 적어도 하나의 음향 특성에도 기초하여 상기 복수의 제어신호들 중 하나 이상을 생성할 수 있다. 상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n)에 의해 방출되는 음향파들이 상기 광학 구조물(610)과 사용자 사이에 위치하는 기판(예를 들어, 유리 보호층 등)으로 인해 음향 왜곡되는 것도 이러한 방식으로 보상될 수 있다.
상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n) 중 적어도 하나는, 상기 디스플레이 장치(100)의 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)과 관련하여 위에서 설명한 바와 같이, 수신된 음향파에 기초하여 출력신호를 제공하도록 추가적으로 구성될 수 있다.
따라서, 여기에 개시된 실시예들은 무엇보다도 광학 구성요소와 음향 구성요소의 적층 또는 통합 어셈블리에 관한 것이다. 이에 의해, 두 가지 구성요소들 모두 그들의 특성과 관련하여 서로 맞추어 조정되고 매칭될 수 있다. 능동 광학 디스플레이 전방에 공간 및 시간에 따라 가변적인 압력장(pressure field)이 상기 어셈블리로 생성될 수 있다.
예를 들어, 초음파 변환기들의 2차원 어셈블리가 능동 광학 디스플레이 뒤에 배치될 수 있다. 이에 의해, 광학 디스플레이의 음향 특성들을 이용하여 개별 초음파 변환기들의 제어를 보정함으로써 상기 음향장에서의 왜곡을 억제할 수 있다. 상기 개별 초음파 변환기들도 상기 광학 디스플레이의 음향 특성들에 맞추어 조정될 수 있는데, 특히, 상기 광학 디스플레이는 그 뒤에 위치한 상기 초음파 변환기를 위한 음향 매칭 층(acoustic matching layer)으로서 기능할 수 있다. 예를 들어, 상기 초음파 변환기들은 어레이로서 구성될 수 있다. 상기 초음파 어레이도 역시 마이크로시스템(microsystem) 기법을 사용하여 구성될 수 있다.
예를 들어, 초음파 변환기들의 2차원 어셈블리는 능동 광학 디스플레이 앞에 배치될 수도 있다. 여기서, 상기 초음파 변환기들은 광학적으로 투명한 재료로 형성된다.
능동 광학 디스플레이는 음향 소스(acoustic source)로도 이용될 수 있다. 예를 들어, 음향 소스는 측방향으로 음향적으로 격리된 초음파 변환기들을 통해 광학 디스플레이 뒤에 형성될 수 있다.
이러한 방식으로, 광학 디스플레이 전방에서 시간 및 공간에 따라 변하는 압력장이 촉각 피드백을 위해 사용될 수 있다. 광학 및 음향 시스템들은 서로 최적으로 매칭되는 유닛을 형성할 수 있다. 평평한 구성 덕분에, 디스플레이의 두께 증가를 최소화시킬 수도 있다. 또한, 광학 디스플레이의 측방향 옆에 초음파 변환기들을 위한 공간을 필요로 하지 않을 수도 있다.
상기 제안된 디스플레이 장치들은 예를 들어 모바일 단말 장치들(예를 들어, 스마트폰, 노트북 컴퓨터 또는 태블릿 컴퓨터), 컴퓨터 그래픽(예를 들어, 컴퓨터 게임용)의 출력, 또는 기계 및 협조 로봇의 제어에도 사용될 수 있다.
위의 설명, 아래의 특허청구범위 및 첨부된 도면들에 개시된 특징들은, 개별적으로 또는 임의의 조합으로, 중요하거나 실시예를 실현하기 위해 다른 디자인으로 구현될 수 있다.
일부 양상들(aspects)이 장치와 관련하여 설명되었지만, 이들 양상들은 대응 프로세스의 설명에도 해당하는 것으로 이해되며, 따라서 장치의 블록 또는 구성부분은 대응하는 방법단계 또는 방법단계의 특징으로 이해되어야 한다. 이와 유사하게, 방법단계와 관련하여 또는 방법단계로서 설명된 양상들은 대응 장치의 대응하는 블록 또는 세부사항 또는 특징에 대한 설명에도 해당한다.
전술한 실시예들은 단지 본 발명의 원리를 예시한 것이다. 본 명세서에 설명된 배열 및 세부사항을 수정 및 변형하는 것은 당업자에게 자명하다고 이해된다. 따라서, 본 발명은 이하의 청구항들의 보호 범위에 의해서만 제한될 뿐, 본 명세서의 실시예들에 대한 기술 및 설명에서 제시된 특정 세부사항들에 의해 제한되어서는 안 된다.

Claims (22)

  1. 복수의 픽셀들(111-1, 111-2, ..., 111-n)을 갖는 광학 구조물(110) - 상기 복수의 픽셀들(111-1, 111-2, ..., 111-n)은 상기 광학 구조물(110)의 전면(front side)(112)에 광학 이미지를 생성하도록 구성됨 -;
    복수의 제어신호들(131-1, 131-2, ..., 131-n)에 기초하여 상기 광학 구조물(110)의 상기 전면(112)의 전방 공간에 사람의 촉각을 자극하기 위한 음향장(acoustic field)(121)을 생성하도록 구성된 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) - 상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)은 상기 광학 구조물(110)의 후면 상에 배열됨 -; 및
    상기 광학 구조물(110)의 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들(131-1, 131-2, ..., 131-n) 중 적어도 하나를 생성하도록 구성된 제어회로
    를 포함하는,
    디스플레이 장치(100).
  2. 제1항에 있어서,
    상기 제어회로(130)는 상기 광학 구조물의 상기 적어도 하나의 음향 특성에 기초하여 상기 복수의 제어신호들(131-1, 131-2, ..., 131-n) 모두를 생성하도록 구성된,
    디스플레이 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 음향장(121)은 상기 광학 이미지의 대상(object)과 연관된,
    디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어회로(130)는 상기 광학 이미지의 대상의 상태에 기초하여 상기 복수의 제어신호들(131-1, 131-2, ..., 131-n)을 생성하도록 구성된,
    디스플레이 장치.
  5. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 제어회로(130)는, 상기 음향장(121)의 초점(122)이 상기 광학 구조물(110)의 상기 전면에 대해 2cm 이상의 수직 거리를 갖도록, 상기 복수의 제어신호들(131-1, 131-2, ..., 131-n)을 생성하도록 구성된,
    디스플레이 장치.
  6. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 광학 구조물(110)의 상기 음향 특성은 상기 광학 구조물(110)의 음향 투과성(acoustic transparency)인,
    디스플레이 장치.
  7. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 적어도 하나는 25kHz 이상의 주파수를 갖는 음향파를 방출하도록 구성된,
    디스플레이 장치.
  8. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n)은 상기 광학 구조물(110)의 상기 후면(113) 상에 매트릭스 형태로 배열된,
    디스플레이 장치.
  9. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 적어도 하나는 MEMS 음향 변환기로 구성된,
    디스플레이 장치.
  10. 선행하는 청구항들 중 어느 한 항에 있어서,
    상기 복수의 음향 변환기들(120-1, 120-2, ..., 120-n) 중 적어도 하나는 수신된 음향파들에 기초하여 출력신호를 제공하도록 구성된,
    디스플레이 장치.
  11. 복수의 픽셀들(211-1, 211-2, ..., 211-n)을 갖는 광학 구조물(210) - 상기 복수의 픽셀들(211-1, 211-2, ..., 211-n)은 상기 광학 구조물(210)의 전면(212)에 광학 이미지를 생성하도록 구성됨 -;
    상기 광학 구조물(210)의 상기 전면(212)의 전방 공간에 사람의 촉각을 자극하기 위한 음향장(221)을 생성하도록 구성된 복수의 음향 변환기들(220-1, 220-2, ..., 220-n) - 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)은 상기 광학 구조물(210)의 상기 전면(212) 상에 배열되고, 상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n)은 380nm 내지 750nm 범위 내의 파장을 갖는 광에 대해 광학적으로 투명함 -
    을 포함하는,
    디스플레이 장치(200).
  12. 제11항에 있어서,
    상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n) 중 적어도 하나는 MEMS 음향 변환기로 구성된,
    디스플레이 장치.
  13. 제11항 또는 제12항에 있어서,
    상기 복수의 음향 변환기들(220-1, 220-2, ..., 220-n) 중 적어도 하나는 25kHz 이상의 주파수를 갖는 음향파를 방출하도록 구성된,
    디스플레이 장치.
  14. 복수의 픽셀들(311-1, 311-2, ..., 311-n)을 갖는 광학 구조물(310) - 상기 복수의 픽셀들(311-1, 311-2, ..., 311-n)은 상기 광학 구조물(310)의 전면(312)에 광학 이미지를 생성하도록 구성되고 상기 광학 구조물(310)의 캐리어 기판(314) 상에 배열됨 -; 및
    복수의 제어신호들(331-1, 331-2, ..., 331-n)에 기초하여 적어도 상기 캐리어 기판(314)을 기계적으로 변형시키도록 구성됨으로써 상기 캐리어 기판(314)의 상기 기계적 변형에 의해 사람의 촉각을 자극하기 위한 음향장(321)이 상기 광학 구조물(310)의 상기 전면(312)의 전방 공간에 형성되도록 하는, 복수의 전기기계식 변환기들(320-1, 320-2, ..., 320-n)
    을 포함하는,
    디스플레이 장치(300).
  15. 제14항에 있어서,
    상기 복수의 전기기계식 변환기들(320-1, 320-2, ..., 320-n) 중 적어도 하나는 압전 액추에이터(piezoelectric actuator) 또는 용량성 액추에이터(capacitive actuator)인,
    디스플레이 장치.
  16. 제14항 또는 제15항에 있어서,
    상기 광학 구조물(310)의 적어도 하나의 기계적 특성에 기초하여 상기 복수의 제어신호들(331-1, 331-2, ..., 331-n) 중 적어도 하나를 생성하도록 구성된 제어회로(330)를 더 포함하는,
    디스플레이 장치(300).
  17. 제16항에 있어서,
    상기 음향장(321)은 상기 광학 이미지의 대상과 연관된 것이고, 상기 제어회로(330)는 상기 광학 이미지의 상기 대상의 상태에 기초하여 상기 복수의 제어신호들(331-1, 331-2, ..., 331-n)을 생성하도록 구성된,
    디스플레이 장치.
  18. 제1 제어신호(411)에 기초하여 적색광(412)을 방출하도록 구성된 제1 서브픽셀(410);
    제2 제어신호(421)에 기초하여 청색광(422)을 방출하도록 구성된 제2 서브픽셀(420);
    제3 제어신호(431)에 기초하여 녹색광(432)을 방출하도록 구성된 제3 서브픽셀(430); 및
    제4 제어신호(441)에 기초하여 음향파(442)를 방출하도록 구성된 음향 변환기(440)
    를 포함하는,
    디스플레이 장치용 픽셀(400).
  19. 디스플레이 장치(500)에 있어서,
    상기 디스플레이 장치(500)의 전면(512)에 광학 이미지를 생성하도록 구성된 복수의 제18항에 따른 픽셀들(400-1, 400-2, ..., 400-n); 및
    상기 복수의 픽셀들400-1, 400-2, ..., 400-n)의 상기 음향 변환기들이 사람의 촉각을 자극하기 위한 음향장(521)을 상기 디스플레이 장치(500)의 상기 전면(512)의 전방 공간에 생성하도록, 상기 복수의 픽셀들400-1, 400-2, ..., 400-n)을 위한 복수의 제4 제어신호들(441-1, 441-2, ..., 441-n)을 생성하도록 구성된 제어회로(530)
    를 포함하는,
    디스플레이 장치(500).
  20. 제19항에 있어서,
    상기 음향장(521)은 상기 광학 이미지의 대상과 연관된 것이고, 상기 제어회로(530)는 상기 광학 이미지의 상기 대상의 상태에 기초하여 상기 복수의 제4 제어신호들(441-1, 441-2, ..., 441-n)을 생성하도록 구성된,
    디스플레이 장치.
  21. 복수의 픽셀들(611-1, 611-2, ..., 611-n)을 갖는 광학 구조물(610) - 상기 복수의 픽셀들(611-1, 611-2, ..., 611-n)은 상기 광학 구조물(610)의 전면(612)에 광학 이미지를 생성하도록 구성되고, 상기 복수의 픽셀들(611-1, 611-2, ..., 611-n) 중 적어도 하나는 다음을 포함함:
    제1 제어신호(641)에 기초하여 적색광(642)을 방출하도록 구성된 제1 서브픽셀(640),
    제2 제어신호(651)에 기초하여 청색광(652)을 방출하도록 구성된 제2 서브픽셀(650),
    제3 제어신호(661)에 기초하여 녹색광(662)을 방출하도록 구성된 제3 서브픽셀(660); 및
    음향 투과 영역(acoustically transparent area)(670) -; 그리고
    사람의 촉각을 자극하기 위한 음향장을 상기 광학 구조물(610)의 상기 전면(612)의 전방 공간에 생성하도록 구성된 복수의 음향 변환기들(620-1, 620-2, ..., 620-n) - 상기 복수의 음향 변환기들(620-1, 620-2, ..., 620-n) 중 하나는 상기 광학 구조물(610)의 후면(613) 상에 배열되되 그 음향파 방출 영역이 상기 음향 투과 영역(670)을 적어도 부분적으로 덮도록 배열됨 -
    을 포함하는,
    디스플레이 장치(600).
  22. 제21항에 있어서,
    상기 음향 투과 영역(670)은 오목부(recess)인,
    디스플레이 장치.
KR1020207002978A 2017-07-17 2018-06-12 디스플레이 장치 및 디스플레이 장치용 픽셀 KR102337968B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217038081A KR102367547B1 (ko) 2017-07-17 2018-06-12 디스플레이 장치 및 디스플레이 장치용 픽셀

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE102017116012.4 2017-07-17
DE102017116012.4A DE102017116012A1 (de) 2017-07-17 2017-07-17 Anzeigevorrichtungen und pixel für eine anzeigevorrichtung
PCT/EP2018/065485 WO2019015882A1 (de) 2017-07-17 2018-06-12 Anzeigevorrichtungen und pixel für eine anzeigevorrichtung

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217038081A Division KR102367547B1 (ko) 2017-07-17 2018-06-12 디스플레이 장치 및 디스플레이 장치용 픽셀

Publications (2)

Publication Number Publication Date
KR20200023649A true KR20200023649A (ko) 2020-03-05
KR102337968B1 KR102337968B1 (ko) 2021-12-13

Family

ID=62597523

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020217038081A KR102367547B1 (ko) 2017-07-17 2018-06-12 디스플레이 장치 및 디스플레이 장치용 픽셀
KR1020207002978A KR102337968B1 (ko) 2017-07-17 2018-06-12 디스플레이 장치 및 디스플레이 장치용 픽셀

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217038081A KR102367547B1 (ko) 2017-07-17 2018-06-12 디스플레이 장치 및 디스플레이 장치용 픽셀

Country Status (6)

Country Link
US (1) US11061477B2 (ko)
EP (2) EP3655844A1 (ko)
JP (2) JP7064567B2 (ko)
KR (2) KR102367547B1 (ko)
DE (1) DE102017116012A1 (ko)
WO (1) WO2019015882A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509996B2 (en) 2020-07-10 2022-11-22 Electronics And Telecommunications Research Institute Devices for playing acoustic sound and touch sensation

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022101316A1 (de) 2022-01-20 2023-07-20 Carl Zeiss Jena Gmbh Haptisches Hologramm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090250267A1 (en) * 2008-04-02 2009-10-08 Immersion Corp. Method and apparatus for providing multi-point haptic feedback texture systems
US20110199342A1 (en) * 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US20150192995A1 (en) * 2014-01-07 2015-07-09 University Of Bristol Method and apparatus for providing tactile sensations

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101060643B1 (ko) * 2009-06-02 2011-08-31 박승민 오브젝트 기반의 위치 좌표 효과를 갖는 사운드 출력을 위한 투음성 디스플레이 장치
TW201101137A (en) * 2009-06-29 2011-01-01 J Touch Corp Touch panel with matrix type tactile feedback
EP2325731B1 (en) * 2009-11-02 2013-11-13 SMK Corporation Holding structure for a touch panel
US8519982B2 (en) * 2010-06-21 2013-08-27 Sony Corporation Active acoustic touch location for electronic devices
JP5343946B2 (ja) 2010-08-25 2013-11-13 株式会社デンソー 触覚提示装置
US20120299853A1 (en) * 2011-05-26 2012-11-29 Sumit Dagar Haptic interface
US20130113760A1 (en) * 2011-11-07 2013-05-09 Google Inc. Techniques for providing localized tactile feedback to a user via an electro-acoustic touch display of a user device
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
GB201208853D0 (en) 2012-05-18 2012-07-04 Hiwave Technologies Uk Ltd Panel for use in vibratory panel device
DE102012208355A1 (de) 2012-05-18 2013-11-21 Robert Bosch Gmbh Anordnung und Verfahren zum Erzeugen einer Tastsinnreizung eines Benutzers
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
GB2516820A (en) * 2013-07-01 2015-02-11 Nokia Corp An apparatus
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9817521B2 (en) * 2013-11-02 2017-11-14 At&T Intellectual Property I, L.P. Gesture detection
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US10478858B2 (en) * 2013-12-12 2019-11-19 Qualcomm Incorporated Piezoelectric ultrasonic transducer and process
KR101464327B1 (ko) * 2014-03-27 2014-11-25 연세대학교 산학협력단 3차원 에어터치 피드백 장치, 시스템 및 방법
WO2016007920A1 (en) * 2014-07-11 2016-01-14 New York University Three dimensional tactile feedback system
KR102315184B1 (ko) * 2014-11-21 2021-10-20 삼성디스플레이 주식회사 표시 장치
US10403084B2 (en) * 2014-12-17 2019-09-03 Igt Canada Solutions Ulc Contactless tactile feedback on gaming terminal with 3D display
EP3259654B1 (en) * 2015-02-20 2021-12-29 Ultrahaptics Ip Ltd Algorithm improvements in a haptic system
ES2731673T3 (es) * 2015-02-20 2019-11-18 Ultrahaptics Ip Ltd Procedimiento para producir un campo acústico en un sistema háptico
US10591869B2 (en) * 2015-03-24 2020-03-17 Light Field Lab, Inc. Tileable, coplanar, flat-panel 3-D display with tactile and audio interfaces
JP2017027401A (ja) 2015-07-23 2017-02-02 株式会社デンソー 表示操作装置
DE102016210217A1 (de) * 2016-06-09 2017-12-14 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Interaktion zwischen einem Fortbewegungsmittel und einem Insassen
US10531212B2 (en) * 2016-06-17 2020-01-07 Ultrahaptics Ip Ltd. Acoustic transducers in haptic systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090250267A1 (en) * 2008-04-02 2009-10-08 Immersion Corp. Method and apparatus for providing multi-point haptic feedback texture systems
US20110199342A1 (en) * 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US20150192995A1 (en) * 2014-01-07 2015-07-09 University Of Bristol Method and apparatus for providing tactile sensations

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11509996B2 (en) 2020-07-10 2022-11-22 Electronics And Telecommunications Research Institute Devices for playing acoustic sound and touch sensation

Also Published As

Publication number Publication date
WO2019015882A1 (de) 2019-01-24
KR20210147088A (ko) 2021-12-06
US11061477B2 (en) 2021-07-13
KR102367547B1 (ko) 2022-02-24
JP7064567B2 (ja) 2022-05-10
EP4345813A3 (de) 2024-05-08
DE102017116012A1 (de) 2019-01-17
JP2020527269A (ja) 2020-09-03
JP7366109B2 (ja) 2023-10-20
KR102337968B1 (ko) 2021-12-13
JP2022019992A (ja) 2022-01-27
EP3655844A1 (de) 2020-05-27
US20200209969A1 (en) 2020-07-02
EP4345813A2 (de) 2024-04-03

Similar Documents

Publication Publication Date Title
US10705617B2 (en) Tactile sensation providing apparatus and control method for tactile sensation providing apparatus
US11100771B2 (en) Devices and methods for providing localized haptic effects to a display screen
US10386925B2 (en) Tactile sensation providing apparatus and control method for tactile sensation providing apparatus
US20210162457A1 (en) A device, system and method for generating an acoustic-potential field of ultrasonic waves
JP5908969B2 (ja) 入力装置、表示装置、および電子機器
US10664053B2 (en) Multi-transducer tactile user interface for electronic devices
JP6401695B2 (ja) 接触感応素子、接触感応素子の駆動方法、及び接触感応素子を含む表示装置
JP7366109B2 (ja) ディスプレイ装置
US20120139850A1 (en) Haptic driving assembly and electronic device using the same
EP3446195B1 (en) Tactile user interface for electronic devices
KR102315184B1 (ko) 표시 장치
CN109478105A (zh) 柔性显示器上的局部触觉反馈
KR102356352B1 (ko) 접촉 감응 소자 및 접촉 감응 소자를 포함하는 표시 장치
KR20150068770A (ko) 햅틱 디스플레이
SE542811C2 (en) A device, system and method for generating an acoustic-potential field of ultrasonic waves
US20240111365A1 (en) Timing of Haptic Signals
KR102313293B1 (ko) 액츄에이터, 액츄에이터 구동 방법 및 액츄에이터를 포함하는 표시 장치

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant