JP7366109B2 - ディスプレイ装置 - Google Patents

ディスプレイ装置 Download PDF

Info

Publication number
JP7366109B2
JP7366109B2 JP2021197559A JP2021197559A JP7366109B2 JP 7366109 B2 JP7366109 B2 JP 7366109B2 JP 2021197559 A JP2021197559 A JP 2021197559A JP 2021197559 A JP2021197559 A JP 2021197559A JP 7366109 B2 JP7366109 B2 JP 7366109B2
Authority
JP
Japan
Prior art keywords
image display
display device
acoustic transducers
acoustic
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021197559A
Other languages
English (en)
Other versions
JP2022019992A (ja
Inventor
トレットバー,ステフェン
シュミット,ダニエル
Original Assignee
フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン filed Critical フラウンホーファー-ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン
Publication of JP2022019992A publication Critical patent/JP2022019992A/ja
Application granted granted Critical
Publication of JP7366109B2 publication Critical patent/JP7366109B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1601Constructional details related to the housing of computer displays, e.g. of CRT monitors, of flat displays
    • G06F1/1605Multimedia displays, e.g. with integrated or attached speakers, cameras, microphones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/1633Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1688Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being integrated loudspeakers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0447Position sensing using the local deformation of sensor cells
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/18Methods or devices for transmitting, conducting or directing sound
    • G10K11/26Sound-focusing or directing, e.g. scanning
    • G10K11/34Sound-focusing or directing, e.g. scanning using electrical steering of transducer arrays, e.g. beam steering
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/02Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/028Casings; Cabinets ; Supports therefor; Mountings therein associated with devices performing functions other than acoustics, e.g. electric candles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00Details of transducers, loudspeakers or microphones
    • H04R1/20Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/12Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/0005Adaptation of holography to specific applications
    • G03H2001/0061Adaptation of holography to specific applications in haptic applications when the observer interacts with the holobject
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/4012D or 3D arrays of transducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2400/00Loudspeakers
    • H04R2400/03Transducers capable of generating both sound as well as tactile vibration, e.g. as used in cellular phones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/11Transducers incorporated or for use in hand-held devices, e.g. mobile phones, PDA's, camera's
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/15Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops

Description

実施例は触覚フィードバック機能を備えたディスプレイ装置に関するものである。また特に、実施例はディスプレイ装置及びディスプレイ装置のためのピクセルに関するものである。
日常生活に使用されている様々な機器、器具、機械装置(例えば、携帯電話端末、コーヒーメーカー、乗用車など)の操作部には、従前から用いられていた通常の操作部に替わって、コンフィギュレーションを自由に設定できる、手指で操作するグラフィック・ユーザ・インターフェース(いわゆる「タッチパネル」)が多用されるようになった。グラフィック・ユーザ・インターフェースにおいては、昔ながらの操作部材である例えばスライド式調節つまみや回転式調節つまみ(ダイヤル)などを画像で表示することで、直感的な操作を可能にするということが行われている。しかしながら、そのような操作部材を単に画像で表示しただけのグラフィック・ユーザ・インターフェースでは、操作部材に触れたときの感触は得られず、即ち、感触フィードバックは存在しない。そのため、例えば、バーチャルの(即ちグラフィックスで表示された)押ボタンを押下したときや、バーチャルのスライド式調節つまみを上限位置までスライドさせたとき、それに、バーチャルの回転式調節つまみを丁度半回転させたときなどに、これまでしばしば行われていたのは、ときには煩わしく感じられるような音響信号を発生させることや、操作の完了を告げる一瞬の振動を発生させることぐらいであった。
操作方式に人間の触覚を組込む場合に、グラフィックスで表示されたオブジェクト(例えば、押ボタン、スライド式調節つまみなど)の位置や形状の変化に触覚が柔軟に追従できるようにするならば、それは大きな改善となり得る。これを達成するための手段としては、例えば、ディスプレイの表面を物理的に振動させることや、空気中へ超音波を放射することなどの手段を用いることができる。例えば、振動偏位の大きさや音圧の大きさを変化させれば、人間の触覚はその変化を知覚するであろう。また、例えば、人間の手指が感じる抵抗力の大きさを変化させることでも、グラフィックスで表示された(即ちバーチャルの)スイッチなどの状態を表現することができるであろう。
これらのような、視覚チャネルには頼らない、それ以外の感覚チャネルによるフィードバックは、ディスプレイの前でグラフィック・ユーザ・インターフェースに対するインタラクション操作を実行するためにも、また、グラフィック・ユーザ・インターフェースに直接に触れることなくそのインタラクション操作を実行するためにも有意義である。そして、これらのことが特に大きな重要性を持つのは、そのディスプレイが、例えばホログラム・ディスプレイや、3次元ディスプレイなどである場合である。
従って、触覚フィードバック機能を備え得るようにすることが、強く要望されている。
ディスプレイ装置に関する幾つかの実施例は、これを可能にするものである。該ディスプレイ装置は、画像表示構成体を備えており、該画像表示構成体は、該画像表示構成体の前面に画像を表示するための複数のピクセルを備えている。該ディスプレイ装置は更に、複数の音響トランスデューサを備えており、それら複数の音響トランスデューサは、前記画像表示構成体の前記前面の前方空間に人間の触覚を刺激する音場を形成するものである。また、それら複数の音響トランスデューサは、前記画像表示構成体の前記前面に配設されており、且つ、波長領域380nm~750nmに含まれる波長の光に対する光透過性を有している。
これより添付図面を参照しつつ、数々の実施例について詳細に説明して行く。添付図面については以下に示す通りである。
ディスプレイ装置の実施例を示した図である。 ディスプレイ装置の実施例を示した図である。 ディスプレイ装置の実施例を示した図である。 ディスプレイ装置のためのピクセルの実施例を示した図である。 図4に示したピクセルを備えたディスプレイ装置の実施例を示した図である。 ディスプレイ装置の更に別の実施例を示した図である。
以下に添付図面を参照しつつ様々な構成の実施例について詳細に説明して行く。添付図面は幾つかの実施例を示したものである。尚、理解を容易にするために、添付図面では、線の太さ、層の厚さ、それに領域の広さなどを誇張して描いてある。
添付図面は具体例としての幾つかの実施例を示すものであり、添付図面を参照する以下の説明においては、互いに同一ないし同等の構成要素には同一の参照符号を付すことがある。また、ある構成要素ないしオブジェクトが1つの実施例に複数備えられているか、または1つの図面に複数図示されており、それら複数の構成要素ないしオブジェクトに共通する1つまたは幾つかの特徴を説明する場合には、それら複数の構成要素ないしオブジェクトの集合体を指し示すための参照符号を用いることがある。また、同一の参照符号が付された複数の構成要素ないしオブジェクト、または、集合体を指し示すための参照符号が付された複数の構成要素ないしオブジェクトは、それら複数のものが互いに同一構成であることが、本明細書に明示的に記載されまたは本明細書の記載から必然的帰結として導かれるのでない限り、場合によっては互いに同一構成ではないこともあり得る。
幾つかの実施例を具体例として図面に示し、それらについて本明細書において詳細に説明して行くが、ただし、それら実施例には様々な改変ないし変更を加えることが可能である。実施が可能な形態は、以下に開示する実施例の形態に限定されず、本発明の範囲内において、その機能及び/又は機構の全般において、数多くの改変構成、均等構成、代替構成としての形態を取り得るものである。尚、図面を参照する以下の説明の全体を通して、互いに同一ないし同質の要素には、同一の参照符号を付すようにしている。
また特に、ある要素が別のある要素と「結合」または「連結」されている旨の記載は、必ずしもそれら2つの要素が直接的に結合または連結されていることだけを意味するのではなく、それら2つの要素の間に何らかの別の要素が介在して、それら2つの要素が間接的に結合または連結されている場合をも含むものである。
本明細書に用いられる言語表現は、あくまでも特定の実施例を説明するものであって、一般的な実施例の範囲を規定するものではない。例えば、本明細書において、ある要素が単数的な表現で記載されている場合であっても、その表現は、当該要素が複数存在し得ないことが文脈から明らかである場合を除き、当該要素が複数存在することを排除するものではない。また、本明細書に用いられる「~を備える」、「~から成る」などの動詞による表現は、それら動詞の目的語として記載されるところの、特徴要素、数値、ステップ、プロセス、エレメント、及び/又は、構成部材、等々が存在することを意味するものであって、それらとは別の何らかの、特徴要素、数値、ステップ、プロセス、エレメント、構成部材、及び/又は、それらのものの集合体、等々の存在ないし付加を排除するものではない。
本明細書に用いられる全ての用語(技術用語及び学術用語を含む)の意味は、本明細書において当該用語の定義を特に定める場合を除き、実施例に関連した分野の当業者が認識している当該用語の意味に従うものである。また更に、通常用いられている辞書にその意味が定義されている用語であっても、例えば代名詞などでは、当該代名詞が何を指し示しているかを解釈するにあたり、関連技術分野の通常の状況に従う解釈とは異なる意味であることが本明細書に明示されている場合を除き、関連技術分野の通常の状況に従って解釈されるべきものである。
図1にディスプレイ装置100を示した。ディスプレイ装置100は画像表示構成体110を備えており、この画像表示構成体110は、この画像表示構成体110の前面112に画像を表示するための複数のピクセル111-1、111-2、…、111-nを備えている。ディスプレイ装置100は更に、複数の音響トランスデューサ120-1、120-2、…、120-nを備えている。それら音響トランスデューサは、複数の駆動信号131-1、131-2、…、131-nにより駆動されることで、画像表示構成体110の前面112の前方空間に人間の触覚を刺激する音場121を形成するものである。複数の音響トランスデューサ120-1、120-2、…、120-nは、画像表示構成体110の背面113に配設されている。ディスプレイ装置100は更に、制御回路130を備えており、この制御回路130は、複数の駆動信号131-1、131-2、…、131-nのうちの少なくとも1つの駆動信号を、画像表示構成体110の少なくとも1つの音響特性に応じた駆動信号として生成するものである。
ディスプレイ装置100では、画像表示構成体110を介して画像を表示できることに加えて、複数の音響トランスデューサ120-1、120-2、…、120-nによって形成される音場121を介して触覚フィードバックを提供することも可能となっている。複数の音響トランスデューサ120-1、120-2、…、120-nのうちの1つまたは幾つかを、画像表示構成体110の1つまたは複数の音響特性に応じた駆動の仕方で駆動することにより、画像表示構成体110によって引き起こされる、複数の音響トランスデューサ120-1、120-2、…、120-nから放射される音波に対する音響波形変歪(音波の波形が歪められて変形すること)を、補整する(変歪を抑制する)ことができるのである。換言するならば、複数の駆動信号131-1、131-2、…、131-nのうちの1つまたは幾つかに対して、画像表示構成体110の1つまたは複数の音響特性に応じた信号改変を施すことにより、画像表示構成体110によって引き起こされる、複数の音響トランスデューサ120-1、120-2、…、120-nから放射される音波に対する音響波形変歪を補整する(変歪を抑制する)ことができるのである。そうすることで、複数の音響トランスデューサ120-1、120-2、…、120-nを画像表示構成体110の背面に配設しても、それら複数の音響トランスデューサ120-1、120-2、…、120-nにより画像表示構成体110の前面112の前方空間に形成される音場121が、画像表示構成体110から悪影響を受けるのを回避できるのである。
画像表示構成体110は、1つまたは複数の制御信号により制御されて、ピクセル方式で画像をアクティブ表示し得るものでありさえすれば、いかなる形態の画像表示構成体であってもよい。その具体例を挙げるならば、画像表示構成体110は、例えば発光ダイオードディスプレイであってもよい。またその場合には、個々のピクセルが、1つまたは幾つかの無機発光ダイオード及び/又は有機発光ダイオードで構成されたものであってもよい。或いはまた、個々のピクセルが、制御信号により制御されて各々が赤色光、緑色光、青色光を発する複数の発光ダイオードの組合せから成るものであってもよい。また、画像表示構成体110は、個々のピクセルを駆動するための1つまたは幾つかの中間制御回路などの、その他の構成要素を備えているものであってもよい。画像表示構成体110のピクセル及びその他の構成要素は、例えば、画像表示構成体110の支持基板の板面上に形成ないし配設されていてもよい。ピクセルの個数は、画像表示構成体110の大きさによっても、また、画像表示構成体110の要求解像度によっても異なったものとなる。画像表示構成体110の解像度は、例えば、1280×720ピクセル、1920×1080ピクセル、4096×2160ピクセル、等々の様々な解像度とすることができる。
画像表示構成体110の前面112というのは、この画像表示構成体110の両面のうちの、ディスプレイ装置100のユーザの方を向いた面のことである。これに対して、画像表示構成体110の背面113とは、この画像表示構成体110の両面のうちの、前面112とは反対側の面のことである。
複数の音響トランスデューサ120-1、120-2、…、120-nに含まれる個々の音響トランスデューサは、変換デバイスであり、複数の駆動信号131-1、131-2、…、131-n(それらは電気信号である)の各々を、音波、即ち物理的振動波に変換するものである。その変換によって、例えば、画像表示構成体110の前面112の前方空間の然るべき位置に音圧を発生させることができる。かかる変換を行うためのそれら音響トランスデューサは、例えば、電磁作用、動電作用、静電作用、圧電作用、または圧抵抗作用などを利用して駆動信号を音波に変換し、そしてその音波を放射するように構成されたものとすることができる。
こうして放射する音波は、可聴周波数領域を超えた周波数を有する音波とすることができる。その場合に、例えば、複数の音響トランスデューサ120-1、120-2、…、120-nのうちの少なくとも1つの音響トランスデューサを、25kHz以上、40kHz以上、60kHz、100kHz以上、または更にそれ以上の周波数の音波を放射するように構成された音響トランスデューサとするのもよい。そうすることで、当該音響トランスデューサは超音波を生成することとなり、その超音波は、人間の触覚を刺激する音場121を形成することができ、これが可能であるのは、超音波は位置的に精密な調節ができるからであり、また、その超音波は人間の可聴周波数領域を超えた周波数を有している。図1から明らかなように、例えば、人は音場121の中へ手指を入れることで手指の触覚が刺激され、それによって触覚フィードバックを感知することができる。従ってここでいう音場121とは、複数の音響トランスデューサ120-1、120-2、…、120-nからの夫々の音波が、その空間の内部に広がり、それら音波が(あるいは強め合い、あるいは弱め合いながら)互いに重畳するところの、前面112の前方空間をいうものである。
ディスプレイ装置100を、小型の機器ないし装置(例えば、携帯電話端末、ラップトップ型コンピュータ、タブレット型コンピュータなど)にも採用可能にするには、ディスプレイ装置100の構成部品を、特に占有容積の小さな部品とすべきである。それゆえ、例えば、複数の音響トランスデューサ120-1、120-2、…、120-nのうちの少なくとも1つの音響トランスデューサを、MEMS(マイクロエレクトロメカニカルシステム)として構成された音響トランスデューサ、即ち、MEMS音響トランスデューサとするのもよい。そのようなMEMS音響トランスデューサは、半導体材料(例えばシリコンなど)で製作することができる。
複数の音響トランスデューサ120-1、120-2、…、120-nは、画像表示構成体110の背面113に広範に分布させて配設するようにすることも可能である。例えば、複数の音響トランスデューサ120-1、120-2、…、120-nを、画像表示構成体110の背面113に2次元的な配列で配設するのもよい。例えば、幾つかの実施例では、複数の音響トランスデューサ120-1、120-2、…、120-nが、画像表示構成体110の背面113にマトリクス状に配列されて配設されている。換言するならば、複数の音響トランスデューサ120-1、120-2、…、120-nが、並列的な複数の列を成すようにして配設されている。
制御回路130は、プロセッサ、CPU(中央処理装置)、GPU(画像処理装置)、コンピュータ、コンピュータシステム、ASiC(特定用途向け集積回路)、IC(集積回路)、SoC(システムオンチップ)、PLD(プログラマブルロジックデバイス)、または、FPGA(フィールドプログラマブルゲートアレイ)などのハードウェア上において、本明細書に記載する基本概念に従って複数の音響トランスデューサ120-1、120-2、…、120-nを制御するためのソフトウェアを走らせるように構成したものとすることができる。更に、制御回路130を、1つまたは幾つかのメモリを備えたものとして、そのメモリに、例えば、複数の音響トランスデューサ120-1、120-2、…、120-nを制御するためのソフトウェアや、その他のデータなどを格納できるようにするのもよい。記述のごとく、制御回路130は、複数の音響トランスデューサ120-1、120-2、…、120-nの夫々に対応した複数の制御信号を外部から受取るかまたは自ら生成し、そして、それら制御信号に信号改変を施すことで、複数の駆動信号131-1、131-2、…、131-nを生成することができる。換言するならば、制御回路130は、複数の音響トランスデューサ120-1、120-2、…、120-nの夫々に対応した複数の制御信号に、画像表示構成体110の少なくとも1つの音響特性に応じた事前の信号改変を施すことで、複数の駆動信号131-1、131-2、…、131-nを生成することができる。また、その事前の信号改変は、デジタル処理によって行うようにしてもよく、アナログ処理によって行うようにしてもよい。
ここでいう画像表示構成体110の少なくとも1つの音響特性とは、この画像表示構成体110と音波との相互関係を表すところの、この画像表示構成体110の特性である。例えば、画像表示構成体110の、ここでいう少なくとも1つの音響特性として、この画像表示構成体110の音響透過率が採用されることもある。この音響透過率は、音波が画像表示構成体110を透過する程度を表す量である。音響透過率の高い部位では、音波は全く或いは殆ど音響波形変歪作用を受けることなく画像表示構成体110を透過するが、音響透過率の低い部位では、透過する音波が画像表示構成体110から強い音響波形変歪作用を受け、場合によっては音波が透過不能となることもある。
画像表示構成体110の前面112に表示する画像は、静止画を成す画像であることもあり、また、時間的に連続して表示する一連の画像(即ち動画)の1コマを成す画像であることもある。
そして更に、音場121を、画像表示構成体110の前面112に表示されている画像に示されたオブジェクトに関連付けることが可能である。ここでいうオブジェクトは、基本的に、表示されている画像に示されるいかなるオブジェクトをも含むものである。その具体例を挙げるならば、例えば、ここでいうオブジェクトは、表示されている画像に示された、スイッチ、押ボタン、スライド式調節つまみ、それに回転式調節つまみなどであり得る。
かかる関連付けに関連して、制御回路130は、複数の駆動信号131-1、131-2、…、131-nを、画像に示されたオブジェクトの状態に応じた駆動信号として生成することができるものとされている。そうすることで、音場121を、画像に示されたオブジェクトの状態に適合させることができる。例えば、画像に示されたオブジェクトが、画像表示構成体110の前面112に平行な平面内で移動するとき、制御回路130は、そのオブジェクトの移動に合わせて複数の駆動信号131-1、131-2、…、131-nを生成することで、複数の音響トランスデューサ120-1、120-2、…、120-nにより形成される音場121を、そのオブジェクトの移動に合わせて画像表示構成体110の前面112に平行な平面内で移動させることができる。またその際には、例えば、制御回路130は、画像に示されたオブジェクトの位置に合わせて複数の駆動信号131-1、131-2、…、131-nを生成することで、画像に示されたオブジェクトの位置に合わせて音場121の焦点122の位置を調節することができる。尚、ここでいう焦点122とは、複数の音響トランスデューサ120-1、120-2、…、120-nの夫々から放射される複数の音波の少なくとも一部分どうしが、音場121の中のある点(位置)において互いに重畳し、その重畳した結果として当該点(位置)に発生する音圧ないし音圧変化が人間の触覚に意図した刺激を与え得るような、音場121の中の点(位置)をいうものである。尚、1つのオブジェクトに1つの焦点を対応付けるようにしてもよく、1つのオブジェクトに複数の焦点を対応付けるようにしてもよい。また、複数の焦点を、画像に示された複数のオブジェクトに対応付けるようにしてもよい。
一例として、画像に示されたオブジェクトがバーチャルの押ボタンであり、ユーザが行うユーザ入力操作がその押ボタンの押下操作であるという場合には、例えば、音場121の焦点122から画像表示構成体110の前面112までの垂直距離を変化させることによって、押下操作が行われたことを触覚によりユーザに感知させることができる。この場合には、ユーザは、音場121の焦点122から画像表示構成体110の前面112までの垂直距離によって、バーチャルの押ボタンが押下された状態にあるか否かを知ることができるのである。
また、画像に示されたオブジェクトがバーチャルの回転式調節つまみであるという場合には、例えば、音場121の焦点122がその回転運動に追従する(即ち当該焦点も円運動をする)ようにすればよい。そして、そのバーチャルの回転式調節つまみが回転限度位置に到達したときに、その回転式調節つまみの回転限度位置に対応した位置で音場121の焦点122の移動を停止させることで、限度位置に到達したことを触覚によりユーザに感知させることができる。また更に、回転限度位置に到達したときに、例えば音圧または音圧変化を強めることによって、回転限度位置への到達を知らせるようにするのもよい。
更に、音場121の焦点122は、画像表示構成体110の前面112に近接した位置に形成することも、そこから多少離隔した位置に形成することも可能であるそれには、例えば、制御回路130が、複数の駆動信号131-1、131-2、…、131-nを、画像表示構成体110の前面112からの垂直離隔距離が2cm以下、1cm以下、5mm以下、或いはそれより更に短い距離となる位置に音場121の焦点122を形成するような、複数の駆動信号として生成するようにすればよい。また、制御回路130が、複数の駆動信号131-1、131-2、…、131-nを、画像表示構成体310の前面312からの垂直離隔距離が1cm以上、2cm以上、5cm以上、10cm以上、或いはそれより更に長い距離となる位置に音場121の焦点122を形成するような、複数の駆動信号として生成するようにすればよい。
更に、制御回路130が、複数の駆動信号131-1、131-2、…、131-nのうちの1つまたは幾つかを、画像表示構成体110の前面112に設けられた基板(不図示)の少なくとも1つの音響特性に応じた駆動信号として生成するようにするとよい。そうすることで、画像表示構成体110とユーザとの間に存在する当該基板(これは例えばガラス基板などの支持層を成す基板である)によって引き起こされる、複数の音響トランスデューサ120-1、120-2、…、120-nから放射される音波に対する音響波形変歪を、補整することができる。
更に、複数の音響トランスデューサ120-1、120-2、…、120-nのうちの1つまたは幾つかを、音響情報の取得のために利用するのもよい。そうすることで、例えば、ユーザの身体で反射した反射音波を検出することによって、ユーザのジェスチャを認識することが可能となる。更に、複数の音響トランスデューサ120-1、120-2、…、120-nのうちの少なくとも1つの音響トランスデューサを、受波した音波に応じた出力信号を送出できるように構成された音響トランスデューサとするのもよい。その出力信号に、更に、制御回路130またはその他の処理回路が信号処理を施すようにするのもよい。幾つかの実施例では、例えば、適宜の駆動シーケンスを実行することによって、複数の音響トランスデューサ120-1、120-2、…、120-nのうちの1つまたは幾つかが、音場の形成を行うための動作と、音響情報の取得を行うための動作との間で、動作の切り替えが行われるようにしている。
図1に示したディスプレイ装置100では、複数の音響トランスデューサ120-1、120-2、…、120-nが、画像表示構成体110の背面に配設されている。これに対して、図2に示したディスプレイ装置200では、複数の音響トランスデューサが、画像表示構成体の前面に、即ちユーザの方を向いた面に配設されている。
ディスプレイ装置200は画像表示構成体210を備えており、この画像表示構成体210は、この画像表示構成体210の前面212に画像を表示するための複数のピクセル211-1、211-2、…、211-nを備えている。ディスプレイ装置200は更に、複数の音響トランスデューサ220-1、220-2、…、220-nを備えている。それら音響トランスデューサは、画像表示構成体210の前面212の前方空間に人間の触覚を刺激する音場221を形成するものである。複数の音響トランスデューサ220-1、220-2、…、220-nは、画像表示構成体210の前面212に配設されており、且つ、波長領域380nm~750nmに含まれる波長の光に対して透明であり、即ちその波長領域の光に対する光透過性を有している。
ディスプレイ装置100と同様に、このディスプレイ装置200でも、画像表示構成体210を介して画像を表示できることに加えて、複数の音響トランスデューサ220-1、220-2、…、220-nによって形成される音場221を介して触覚フィードバックを提供することも可能となっている。複数の音響トランスデューサ220-1、220-2、…、220-nが可視光領域における光透過性を有しているため、それら複数の音響トランスデューサ220-1、220-2、…、220-nを画像表示構成体210の前面212に配設することができるのである。これによって、複数の音響トランスデューサ220-1、220-2、…、220-nから放射される音波が、画像表示構成体210による音響波形変歪を被らずに済むものとなっている。そのため、複数の音響トランスデューサ220-1、220-2、…、220-nを駆動する上で、画像表示構成体210による音響は形変歪を考慮することが不要となっている。
画像表示構成体210は、図1に関連して説明した画像表示構成体110と、略々同一構成のものとすることが可能である。
上で説明した複数の音響トランスデューサ120-1、120-2、…、120-nと同様に、複数の音響トランスデューサ220-1、220-2、…、220-nのうちの1つまたは幾つかの音響トランスデューサを、MEMS音響トランスデューサとして構成されたものとするのもよい。また、それら複数の音響トランスデューサ220-1、220-2、…、220-nを、25kHz以上、40kHz以上、60kHz、100kHz以上、または更にそれ以上の周波数の音波を放射するように構成された音響トランスデューサとするのもよい。
複数の音響トランスデューサ220-1、220-2、…、220-nに含まれる個々の音響トランスデューサは、所定の波長領域内の光に対する光透過性を有しており、そのため、当該波長領域内の光は殆ど妨げられることなく音響トランスデューサを透過することができる。例えば、音響トランスデューサに入射する所定の波長領域内の光の入射光量の40%以上、50%以上、60%以上、または70%以上がその音響トランスデューサを透過するならば、その音響トランスデューサは当該波長領域における光透過性を有すると見なすことができる。
複数の音響トランスデューサ220-1、220-2、…、220-nに、380nm~750nmの波長領域における光透過性を付与するには、トランスデューサの基体を成す基板をガラス(例えばホウケイ酸ガラスなど)から成るものとし、そこに形成する電極をインジウムスズ酸化物(ITO)から成るものとするとよい。更に、音響トランスデューサを、例えば、窒化ケイ素(SiN)またはITOから成るメンブレンで構成したものとするのもよい。ただし、自明のことであるが、以上に挙げた材料は単に具体例を提示したものに過ぎず、その他の光透過性材料を用いることも可能である。
ディスプレイ装置100と同様に、このディスプレイ装置200でも、音場221を、画像表示構成体210の前面212に表示されている画像に示されたオブジェクトに関連付けることが可能である。これを可能とするために、ディスプレイ装置200は、複数の駆動信号を、表示されている画像に示されたオブジェクトの状態に応じた駆動信号として生成することができる制御回路(不図示)を備えている。これによって、音場221を、画像に示されたオブジェクトの状態に適合したものとすることが可能となっている。
更に、このディスプレイ装置200でも、音場221の焦点222は、画像表示構成体210の前面212に近接した位置に形成することも、そこから多少離隔した位置に形成することも可能である。それには、例えば、ディスプレイ装置200の制御回路が、画像表示構成体210の前面212からの垂直離隔距離が2cm以下、1cm以下、5mm以下、或いはそれより更に短い距離となる位置に音場221の焦点222を形成するような、複数の駆動信号を生成するようにすればよい。或いはまた、この制御回路が、画像表示構成体210の前面212からの垂直離隔距離が1cm以上、2cm以上、5cm以上、10cm以上、或いはそれより更に長い距離となる位置に音場221の焦点222を形成するような、複数の駆動信号を生成するようにすればよい。
幾つかの実施例では、複数の音響トランスデューサ220-1、220-2、…、220-nが基板(不図示)によって覆われており、即ち、それら複数の音響トランスデューサ220-1、220-2、…、220-nが、当該基板と画像表示構成体210との間に配設されている。ここでいう基板とは、例えば支持層を成す基板などである。このような場合には、制御回路が、複数の駆動信号のうちの1つまたは幾つかを、当該基板の少なくとも1つの音響特性に応じた駆動信号として生成するようにすればよい。そうすることで、複数の音響トランスデューサ220-1、220-2、…、220-nとユーザとの間に存在する当該基板によって引き起こされる、複数の音響トランスデューサ220-1、220-2、…、220-nから放射される音波に対する音響波形変歪を、補整することが可能となる。
更に、ディスプレイ装置100の複数の音響トランスデューサ120-1、120-2、…、120-nに関して上で説明したのと同様に、複数の音響トランスデューサ220-1、220-2、…、220-nのうちの少なくとも1つの音響トランスデューサを、受波した音波に応じた出力信号を送出できるように構成された音響トランスデューサとするのもよい。
ディスプレイ装置100及びディスプレイ装置200はいずれも、複数の音響トランスデューサを画像表示構成体の外面に取り付けた構造のものである。これに対して、画像表示構成体それ自体を、音場を形成するための音波の発生源として利用することも可能である。そのような構造としたものが、図3に示すディスプレイ装置300である。
ディスプレイ装置300は画像表示構成体310を備えており、この画像表示構成体310は、この画像表示構成体310の前面312に画像を表示するための複数のピクセル311-1、311-2、…、311-nを備えている。それら複数のピクセル311-1、311-2、…、311-nは、画像表示構成体310の支持基板314の板面上に配設されている。更に、ディスプレイ装置300は、複数のエレクトロメカニカル・トランスデューサ320-1、320-2、…、320-nを備えている。それらエレクトロメカニカル・トランスデューサは、複数の駆動信号331-1、331-2、…、331-nにより駆動されることで、少なくとも支持基板314を物理的に変形させ、支持基板314のその物理的な変形によって、画像表示構成体310の前面312の前方空間に人間の触覚を刺激する音場321を形成する。
上で説明した2つのディスプレイ装置と同様に、このディスプレイ装置300でも、画像表示構成体310を介して画像を表示できることに加えて、支持基板314の物理的な変形によって形成される音場321を介して触覚フィードバックを提供することも可能となっている。一方、このディスプレイ装置300では、音場を形成するために、外部の音響トランスデューサを必要としておらず、それが不要であるのは、画像表示構成体310それ自体が音波発生源として機能するからである。
画像表示構成体310は、その殆どの部分を、先に説明した画像表示構成体110及び画像表示構成体210と同一の構成とすることができるが、ただし、この画像表示構成体310には支持基板314が付加されている。
この画像表示構成体310が、複数のエレクトロメカニカル・トランスデューサ320-1、320-2、…、320-nによって、どのように励振されるかについての具体的な一例を、図3中の部分図Aに示したエレクトロメカニカル・トランスデューサ320-nを参照して以下に説明する。部分図Aは、ディスプレイ装置300の一部分を拡大して示した図である。図3から明らかなように、複数のエレクトロメカニカル・トランスデューサ320-1、320-2、…、320-nは、画像表示構成体310の支持基板314の板面上に配設することができ、より詳しくは、この画像表示構成体310の背面に配設することができる。
エレクトロメカニカル・トランスデューサ320-nは、電気エネルギを機械エネルギに変換するトランスデューサである。例えば、エレクトロメカニカル・トランスデューサ320-nは、印加された電圧または供給された電流に応じて物理的な運動ないし変形を発生するものであってもよい。この変換プロセスは、例えば、圧電作用または静電作用などによって発生するものである。そのため、幾つかの実施例では、エレクトロメカニカル・トランスデューサ320-nとして、圧電アクチュエータまたは静電アクチュエータを用いるようにしている。
例えば、エレクトロメカニカル・トランスデューサ320-nは、駆動信号331-nにより駆動されることで、図3に矢印で示したように、その長さが変化するものとするのもよい。エレクトロメカニカル・トランスデューサ320-nが支持基板314の板面上に固定されているため、エレクトロメカニカル・トランスデューサ320-nの長さが変化すると、支持基板314が部分的に変形する(例えば図3に示すように湾曲する)。支持基板314のみならず、画像表示構成体のその他の構成要素も、エレクトロメカニカル・トランスデューサ320-nによって変形させられるようにするのもよい。このことを図3では、ピクセルの変形311-nー3、311-nー2、…、311-nによって示している。このようにして、少なくとも支持基板314を、エレクトロメカニカル・トランスデューサ320-nによってある周波数で反復して変形させることができ、それによって画像表示構成体310が励振されて音波を放射することになる。
複数のエレクトロメカニカル・トランスデューサ320-1、320-2、…、320-nによって複数の位置で画像表示構成体310を励振することで、この画像表示構成体310から複数の音波を放射させるように励振することができ、放射されたそれら複数の音波は、画像表示構成体310の前面312の前方空間において、互いに重畳して、人間の触覚を刺激する音場321を形成する。
複数の駆動信号331-1、331-2、…、331-nを生成するために、ディスプレイ装置300が更に制御回路330を備えているようにするとよい。例えば、制御回路330は、複数の駆動信号331-1、331-2、…、331-nのうちの少なくとも1つの駆動信号を、画像表示構成体310の少なくとも1つの物理特性に応じた駆動信号として生成するものとするとよい。そうすることで、終的に形成される音場が、画像表示構成体310による音響波形変歪のために歪んだ音場とならぬように、支持基板314に発生する変形(即ち、画像表示構成体310に発生する変形)を、この画像表示構成体310に適合させることが可能となる。尚、ここでいう少なくとも1つの物理特性とは、画像表示構成体310の変形性能に関連した物理特性である。そのような物理特性には、例えば、画像表示構成体310またはその構成要素の、ねじり弾性係数、引張弾性係数、せん断弾性係数、圧縮弾性係数、材料係数、膨張係数、縦収縮係数などがある。
尚、複数のエレクトロメカニカル・トランスデューサ320-1、320-2、…、320-nが、複数の駆動信号331-1、331-2、…、331-nによって駆動されて、少なくとも支持基板314を変形させることで、画像表示構成体310の前面321の前方空間に、25kHz以上、40kHz以上、60kHz、100kHz以上、または更にそれ以上の周波数の音波が放射されるようにすることができる。
ディスプレイ装置100及びディスプレイ装置200と同様に、このディスプレイ装置300でも、音場321を、表示されている画像に示されたオブジェクトに関連付けることが可能である。これを可能とするために、制御回路330は、複数の駆動信号331-1、331-2、…、331-nを、表示されている画像に示されたオブジェクトの状態に応じた駆動信号として生成することができるものとされている。これについては上述した実施例と同様であるので、重複説明を避けるべく、そちらの説明を参照されたい。
更に、このディスプレイ装置300でも、音場321の焦点322は、画像表示構成体310の前面312に近接した位置に形成することも、そこから多少離隔した位置に形成することも可能である。それには、例えば、制御回路330が、複数の駆動信号331-1、331-2、…、331-nを、画像表示構成体310の前面312からの垂直離隔距離が2cm以下、1cm以下、5mm以下、或いはそれより更に短い距離となる位置に音場321の焦点322を形成するような、複数の駆動信号として生成するようにすればよい。或いはまた、この制御回路が、それら複数の駆動信号を、画像表示構成体310の前面312からの垂直離隔距離が1cm以上、2cm以上、5cm以上、10cm以上、或いはそれより更に長い距離となる位置に音場321の焦点322を形成するような、複数の駆動信号として生成するようにすればよい。
更に、制御回路330が、複数の駆動信号331-1、331-2、…、331-nのうちの1つまたは幾つかを、画像表示構成体310の前面312に設けられた基板(不図示)の少なくとも1つの音響特性に応じた駆動信号として生成するようにするとよい。そうすることで、画像表示構成体310とユーザとの間に存在する当該基板(これは例えばガラス基板などの支持層を成す基板である)によって引き起こされる、複数の画像表示構成体310から放射される音波に対する音響波形変歪を、補整することができる。
更に、ディスプレイ装置100の複数の音響トランスデューサ120-1、120-2、…、120-nに関して上で説明したのと同様に、複数の音響トランスデューサ320-1、320-2、…、320-nのうちの少なくとも1つの音響トランスデューサを、受波した音波に応じた出力信号を送出できるように構成された音響トランスデューサとするのもよい。
音波放射機能を画像表示構成体に組込んで一体化することも可能である。そのようにしたものを示したのが図4であり、同図にはディスプレイ装置のピクセル400が図示されている。ピクセル400は、第1駆動信号411により駆動されて赤色光412を発する第1サブピクセル410を備えている。また、ピクセル400は、第2駆動信号421により駆動されて青色光422を発する第2サブピクセル420を備えている。更に、ピクセル400は、第3駆動信号431により駆動されて緑色光432を発する第3サブピクセル430を備えている。これらに加えて更に、ピクセル400は、第4駆動信号441により駆動されて音波を放射する音響トランスデューサ440を備えている。
ピクセル400は、赤色光412、緑色光422、及び青色光432を発することによって視覚情報を表示できると共に、音波442を放射することによって触覚情報を提供することができるものとなっている。このように音響トランスデューサ440をピクセル400に一体的に組み込むことによって、触覚フィードバック機能を備えたディスプレイ装置の全体としての構造を簡明化することができる。
3つのサブピクセル410、420、430は、夫々、赤色光、青色光、緑色光を発する発光ダイオードで構成するようにしてもよい。また別法として、3つのサブピクセル410、420、430の、そのいずれをも、青色光を発する発光ダイオードとし、ただし、サブピクセル410とサブピクセル430は、その青色光の発光ダイオード加えて更に、その発光ダイオードの青色光を、夫々、赤色光に変換する変換素子と緑色光に変換する変換素子を備えているようにしてもよい。発光ダイオードとしては、例えば、有機半導体材料から成るものを用いてもよく、無機半導体材料から成るものを用いてもよい。ピクセル400は、赤色光412、緑色光422、及び青色光432の加色混合によって、数多くの色値(即ち混合色)を呈し得るものとなっている。
幾つかの実施例においては、音響トランスデューサ440を、MEMS音響トランスデューサとして構成されたものとしている。また更に、音響トランスデューサ440を、25kHz以上、40kHz以上、60kHz、100kHz以上、または更にそれ以上の周波数の音波を放射するように構成された音響トランスデューサとするのもよい。
更に、ディスプレイ装置100の複数の音響トランスデューサ120-1、120-2、…、120-nに関して上で説明したのと同様に、音響トランスデューサ440を、受波した音波に応じた出力信号を生成することができるように構成された音響トランスデューサとするのもよい。
かかるピクセル400を組込んだディスプレイ装置500を図5に示した。ディスプレイ装置500は、各々が図4に関連して説明した構成を有する、複数のピクセル400-1、400-2、…、400-nを備えている。それら複数のピクセル400-1、400-2、…、400-nは、ディスプレイ装置500の前面512に画像を表示するためのものである。ディスプレイ装置500は更に、それら複数のピクセル400-1、400-2、…、400-nの夫々に対応した複数の第4駆動信号441-1、441-2、…、441-nを生成する制御回路530を備えており、この制御回路530は、複数のピクセル400-1、400-2、…、400-nの夫々の音響トランスデューサによって、ディスプレイ装置500の前面512の前方空間に人間の触覚を刺激する音場521が形成されるように、それら複数の第4駆動信号441-1、441-2、…、441-nを生成するものである。
ディスプレイ装置500は、画像を表示できることに加えて、複数のピクセル400-1、400-2、…、400-nの夫々の音響トランスデューサにより形成される音場521を介して触覚フィードバックを提供することも可能となっている。
ディスプレイ装置100、200、及び300と同様に、このディスプレイ装置500でも、音場521を、ないしは音場521における焦点522の位置を、表示されている画像に示されたオブジェクトに関連付けることが可能である。これを可能とするために、制御回路530は、複数の第4駆動信号を、表示されている画像に示されたオブジェクトの状態に応じた駆動信号として生成することができるものとされている。
幾つかの実施例では、複数のピクセル400-1、400-2、…、400-nが基板(不図示)によって覆われている。換言するならば、幾つかの実施例では、音波が当該基板を透過してディスプレイ装置500の前面の前方空間へ放射されるようになっている。ここでいう基板とは、例えば支持層を成す基板などである。このような場合には、制御回路530が、複数の第4駆動信号441-1、441-2、…、441-nのうちの1つまたは幾つかの第4駆動信号を、当該基板の少なくとも1つの音響特性に応じた駆動信号として生成するようにするとよい。そうすることで、複数のピクセル400-1、400-2、…、400-nとユーザとの間に存在する当該基板によって引き起こされる、それら複数のピクセル400-1、400-2、…、400-nから放射される音波に対する音響波形変歪を、補整することができる。
更に、このディスプレイ装置500でも、音場521の焦点522は、ディスプレイ装置500の前面512に近接した位置に形成することも、そこから多少離隔した位置に形成することも可能である。それには、例えば、制御回路530が、複数の第4駆動信号441-1、441-2、…、441-nを、ディスプレイ装置500の前面512からの垂直離隔距離が2cm以下、1cm以下、5mm以下、或いはそれより更に短い距離となる位置に音場521の焦点522を形成するような、複数の駆動信号として生成するようにすればよい。或いはまた、制御回路530が、それら複数の駆動信号を、ディスプレイ装置500の前面512からの垂直離隔距離が1cm以上、2cm以上、5cm以上、10cm以上、或いはそれより更に長い距離となる位置に音場521の焦点522を形成するような、複数の駆動信号として生成するようにすればよい。
図6に、更に別のディスプレイ装置600を示した。ディスプレイ装置600は画像表示構成体610を備えている。画像表示構成体610は、この画像表示構成体610の前面612に画像を表示するための複数のピクセル611-1、611-2、…、611-nを備えている。複数のピクセル611-1、611-2、…、611-nのうちの少なくとも1つのピクセル(ここではそれをピクセル611-nとする)は、第1駆動信号641により駆動されて赤色光642を発する第1サブピクセル640を備えている。また、当該ピクセルは、第2駆動信号651により駆動されて青色光652を発する第2サブピクセル650を備えている。更に、当該ピクセルは、第3駆動信号661により駆動されて緑色光662を発する第3サブピクセル660を備えると共に、音波の透過を許容する音響透過性領域670を備えている。ディスプレイ装置600は更に、複数の音響トランスデューサ620-1、620-2、…、620-nを備えており、それら複数の音響トランスデューサは、画像表示構成体610の前面612の前方空間に人間の触覚を刺激する音場621を形成するものである。複数の音響トランスデューサ620-1、620-2、…、620-nのうちの、ある1つの音響トランスデューサ(例えば音響トランスデューサ620-n)は、当該音響トランスデューサが音波を放射する領域である当該音響トランスデューサの近傍領域が、少なくとも部分的に、ピクセルの音響透過性領域670とオーバーラップするようにして、画像表示構成体610の背面613に配設されている。
上で説明した幾つものディスプレイ装置と同様に、このディスプレイ装置600でも、画像表示構成体610を介して画像を表示できることに加えて、複数の音響トランスデューサ620-1、620-2、…、620-nにより形成される音場621を介して触覚フィードバックを提供することも可能となっている。また、複数の音響トランスデューサ620-1、620-2、…、620-nのうちの、ある1つの音響トランスデューサから放射される音波は、ピクセルの音響透過性領域670と画像表示構成体610の背面613に配設されている音響トランスデューサとが互いに位置合わせされていることから、画像表示構成体610による音響波形変歪を被らずに済むものとなっている。そのため、音響トランスデューサを駆動する上で、画像表示構成体610による音響波形変歪を考慮することが不要となっている。
更に、複数の音響トランスデューサ620-1、620-2、…、620-nのうちのその他の音響トランスデューサについても、それら音響トランスデューサの各々が音波を放射する領域であるそれら音響トランスデューサの各々の近傍領域が、少なくとも部分的に、複数のピクセル611-1、611-2、…、611-nのうちの各々のピクセルの音響透過性領域670とオーバーラップするようにして、画像表示構成体610の背面613に配設するようにするとよい。そうすることで、複数の音響トランスデューサ620-1、620-2、…、620-nから放射される夫々の音波のいずれもが、画像表示構成体610による音響波形変歪を免れることができる。
ピクセルの音響透過性領域670とは、当該ピクセルの全領域のうちの、音波が音響波形変歪作用を殆どまたは全く受けることなる透過できる領域である。この音響透過性領域670は、例えば、空隙部(孔部、開口部、スリット部など)から成るものとするのもよい。画像表示構成体610が、例えば支持基板などのその他の構成要素を備えている場合には、その構成要素の全領域のうちの、ピクセルの音響透過性領域670とオーバーラップする領域もまた、音響透過性領域とするのがよい。音響透過性領域を除いたその他の点については、画像表示構成体610は、上で説明した画像表示構成体110と略々同一構成としてもよい。
上で説明した数々の実施例と同様に、複数の音響トランスデューサ620-1、620-2、…、620-nのうちの1つまたは幾つかの音響トランスデューサを、MEMS音響トランスデューサとして構成されたものとするのもよい。また、それら複数の音響トランスデューサ620-1、620-2、…、620-nを、25kHz以上、40kHz以上、60kHz、100kHz以上、または更にそれ以上の周波数の音波を放射するように構成された音響トランスデューサとするのもよい。
上で説明した数々のディスプレイ装置と同様に、このディスプレイ装置600でも、音場621を、画像表示構成体610の前面612に表示されている画像に示されたオブジェクトに関連付けることが可能である。これを可能とするために、ディスプレイ装置600は、複数の音響トランスデューサ620-1、620-2、…、620-nを駆動するための複数の駆動信号を、表示されている画像に示されたオブジェクトの状態に応じた駆動信号として生成することができるようにした制御回路(不図示)を備えている。これによって、音場621を、画像に示されたオブジェクトの状態に適合したものとすることが可能となっている。
更に、このディスプレイ装置600でも、音場621の焦点622は、画像表示構成体610の前面612に近接した位置に形成することも、そこから多少離隔した位置に形成することも可能である。それには、例えば、ディスプレイ装置600の制御回路が、画像表示構成体610の前面612からの垂直離隔距離が2cm以下、1cm以下、5mm以下、或いはそれより更に短い距離となる位置に音場621の焦点622を形成するような、複数の駆動信号を生成するようにすればよい。或いはまた、この制御回路が、画像表示構成体610の前面612からの垂直離隔距離が1cm以上、2cm以上、5cm以上、10cm以上、或いはそれより更に長い距離となる位置に音場621の焦点622を形成するような、複数の駆動信号を生成するようにすればよい。
更に、ディスプレイ装置600の制御回路が、複数の駆動信号のうちの1つまたは幾つかを、画像表示構成体610の前面612に設けられた基板(不図示)の少なくとも1つの音響特性に応じた駆動信号として生成するようにするとよい。そうすることで、画像表示構成体610とユーザとの間に存在する当該基板(これは例えばガラス基板などの支持層を成す基板である)によって引き起こされる、複数の音響トランスデューサ620-1、620-2、…、620-nから放射される音波に対する音響波形変歪を、補整することができる。
更に、ディスプレイ装置100の複数の音響トランスデューサ120-1、120-2、…、120-nに関して上で説明したのと同様に、複数の音響トランスデューサ620-1、620-2、…、620-nのうちの少なくとも1つの音響トランスデューサを、受波した音波に応じた出力信号を送出できるように構成された音響トランスデューサとするのもよい。
以上、説明したように、本開示に係る数々の実施例は、特に、視覚的な構成要素と音響的な構成要素とを重ね合わせて一体化した構成に関するものである。また、それら2つの構成要素の夫々の特質を互いに協調させ調和させたものである。そして、かかる構成によって、アクティブ視覚ディスプレイの前方空間に、空間的及び時間的に可変の音圧場を形成し得るようにしたものである。
より具体的には、例えば、複数の音響トランスデューサをアクティブ視覚ディスプレイの背面に2次元配列で配設した構成とすることも可能である。この構成とする場合には、個々の超音波音響トランスデューサの駆動態様に補正を加えることで、駆動視覚ディスプレイの音響特性を原因とする音場の変歪を抑制するようにするとよい。或いはまた、個々の超音波音響トランスデューサを、視覚ディスプレイの音響特性に合わせて設計したものとするのもよく、その場合には特に、その視覚ディスプレイが、当該視覚ディスプレイの背面に配設される当該超音波音響トランスデューサにとっての、音響適合化層として機能するように、当該音響トランスデューサを設計するようにするのもよい。また、例えば、複数の超音波音響トランスデューサを1つにまとめて、超音波音響トランスデューサ・アレイの形態として製作するようにするのもよい。またその場合には、当該超音波音響トランスデューサ・アレイを、マイクロシステム技術を用いて製作したものとするのもよい。
或いはまた、複数の超音波音響トランスデューサをアクティブ視覚ディスプレイの前面に2次元配列で配設した構成とすることも可能である。この構成とする場合には、個々の超音波音響トランスデューサを光透過性材料で製作したものとすればよい。
或いはまた、アクティブ視覚ディスプレイそれ自体を音波発生源として利用する構成とすることも可能である。この構成とする場合には、例えば、隣り合うものどうしが音響的に絶縁された複数の超音波音響トランスデューサによって、当該視覚ディスプレイの背面に音波発生源構造を一体的に構築するなどすればよい。
これらの構成とすることで、視覚ディスプレイの前方空間に、時間的及び位置的に可変の音圧場を形成することができ、その音圧場を利用して触覚フィードバックを提供することができる。また、これらの構成によれば、視覚表示システムと音響システムとを、適に調和させて単一のユニットとすることができる。また、平板状の構造であるため、視覚ディスプレイの厚さを非常に薄くすることができる。更に加えて、視覚ディスプレイの周縁部に、超音波音響トランスデューサを配置するためのスペースを確保する必要もない。
以上に提案したディスプレイ装置は、例えば、様々な端末(例えば、スマートフォン、ラップトップ型コンピュータ、タブレット型コンピュータ、等々)にも、また、コンピュータ・グラフィックス出力装置(例えば、コンピュータ・ゲーム機など)にも、更には、コオペラティブ・ロボティクスにも好適に利用し得るものである。
本明細書の以上の記載、特許請求の範囲の記載、それに添付図面により開示されている数々の特徴は、様々な構成形態の実施例を実現する際に、個々の特徴を単独で実施例に組込むこともでき、また、幾つかの特徴を任意に組合わせて実施例に組込むことも可能なものであり、如何なる組込み方をするにせよ、それら数々の特徴は重要な意味を持つものである。
以上に装置を説明することを通して数多くの局面について論じたが、容易に理解されるように、それら局面はいずも、説明した装置に対応する方法の局面でもある。従って、ある1つの装置におけるある1つのブロック乃至はある1つの構成要素は、当該装置に対応する1つの方法における1つの方法ステップ乃至は方法ステップ中の1つの特徴としても理解されるべきものである。逆もまた同じであり、ある1つの方法ステップを説明することを通して論じた、或いは、ある方法ステップそのものとして論じた数々の局面は、方法に対応する装置における1つのブロック、又はある1つの細部構造、又はある1つの特徴としても理解されるべきものである。
以上に記載した数々の実施例は、あくまでも本発明の原理を明らかにするためのものである。当業者であれば、本明細書に記載した数々の構成並びに細部構造に改変を加えることにも、また、それらを別の形態で実施することにも想到すると考えられる。それゆえ、本発明の保護範囲は、特許請求の範囲の記載によってのみ規定されるものであって、実施例の説明並びに解説のために提示した個々の具体的な特徴によって規定されるものではない。

Claims (7)

  1. ディスプレイ装置(200)において、
    画像表示構成体(210)を備えており、該画像表示構成体は、該画像表示構成体の前面(212)に画像を表示するための複数のピクセル(211-1、211-2、…、211-n)を備えており、
    複数のMEMS音響トランスデューサ(220-1、220-2、…、220-n)を備えており、それら複数のMEMS音響トランスデューサは、前記画像表示構成体(210)の前記前面(212)の前方空間に人間の触覚を刺激する音場(221)を形成するものであり、それら複数のMEMS音響トランスデューサ(220-1、220-2、…、220-n)は、前記画像表示構成体(210)の前記前面(212)に配設されると共に、基板と前記画像表示構成体(210)との間に配設されており、且つ、波長領域380nm~750nmに含まれる波長の光に対する光透過性を有しており
    制御回路を備えており、該制御回路は、前記複数のMEMS音響トランスデューサ(220-1、220-2、…、220-n)を駆動するための複数の駆動信号のうちの少なくとも1つの駆動信号を前記基板の少なくとも1つの音響特性に応じた駆動信号として生成する
    ことを特徴とするディスプレイ装置。
  2. 前記複数のMEMS音響トランスデューサ(220-1、220-2、…、220-n)のうちの少なくとも1つのMEMS音響トランスデューサが、25kHz以上の周波数の音波を放射するように構成されている
    ことを特徴とする請求項1記載のディスプレイ装置。
  3. 前記音場(221)は、前記画像に示されたオブジェクトに関連付けられている
    ことを特徴とする請求項1または請求項2記載のディスプレイ装置。
  4. 記制御回路は、前記複数のMEMS音響トランスデューサ(220-1、220-2、…、220-n)を駆動するための複数の駆動信号を、前記画像に示された前記オブジェクトの状態に応じた駆動信号として生成する
    ことを特徴とする請求項記載のディスプレイ装置。
  5. 前記制御回路は、前記複数の駆動信号を、前記画像表示構成体(210)の前記前面からの垂直離隔距離が2cm以上となる位置に前記音場(221)の焦点(222)を形成するような駆動信号として生成する
    ことを特徴とする請求項記載のディスプレイ装置。
  6. 前記複数のMEMS音響トランスデューサ(220-1、220-2、…、220-n)のうちの少なくとも1つのMEMS音響トランスデューサが、受波した音波に応じた出力信号を送出できるように構成されている
    ことを特徴とする請求項1乃至請求項5の何れか1項記載のディスプレイ装置。
  7. 前記基板が支持層である
    ことを特徴とする請求項1乃至請求項6の何れか1項記載のディスプレイ装置。
JP2021197559A 2017-07-17 2021-12-06 ディスプレイ装置 Active JP7366109B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102017116012.4 2017-07-17
DE102017116012.4A DE102017116012A1 (de) 2017-07-17 2017-07-17 Anzeigevorrichtungen und pixel für eine anzeigevorrichtung
PCT/EP2018/065485 WO2019015882A1 (de) 2017-07-17 2018-06-12 Anzeigevorrichtungen und pixel für eine anzeigevorrichtung
JP2020502309A JP7064567B2 (ja) 2017-07-17 2018-06-12 ディスプレイ装置及びディスプレイ装置のためのピクセル

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2020502309A Division JP7064567B2 (ja) 2017-07-17 2018-06-12 ディスプレイ装置及びディスプレイ装置のためのピクセル

Publications (2)

Publication Number Publication Date
JP2022019992A JP2022019992A (ja) 2022-01-27
JP7366109B2 true JP7366109B2 (ja) 2023-10-20

Family

ID=62597523

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020502309A Active JP7064567B2 (ja) 2017-07-17 2018-06-12 ディスプレイ装置及びディスプレイ装置のためのピクセル
JP2021197559A Active JP7366109B2 (ja) 2017-07-17 2021-12-06 ディスプレイ装置

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2020502309A Active JP7064567B2 (ja) 2017-07-17 2018-06-12 ディスプレイ装置及びディスプレイ装置のためのピクセル

Country Status (6)

Country Link
US (1) US11061477B2 (ja)
EP (2) EP4345813A3 (ja)
JP (2) JP7064567B2 (ja)
KR (2) KR102367547B1 (ja)
DE (1) DE102017116012A1 (ja)
WO (1) WO2019015882A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591674B1 (ko) 2020-07-10 2023-10-23 한국전자통신연구원 음향 및 촉각 재생 장치
DE102022101316A1 (de) 2022-01-20 2023-07-20 Carl Zeiss Jena Gmbh Haptisches Hologramm

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
US20160147305A1 (en) 2014-11-21 2016-05-26 Samsung Display Co., Ltd. Display device
US20160282808A1 (en) 2015-03-24 2016-09-29 Brigham Young University Tileable, coplanar, flat-panel 3-d display with tactile and audio interfaces
JP2017503255A (ja) 2013-12-12 2017-01-26 クアルコム,インコーポレイテッド マイクロメカニカル超音波トランスデューサおよびディスプレイ
JP2017027401A (ja) 2015-07-23 2017-02-02 株式会社デンソー 表示操作装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9829977B2 (en) * 2008-04-02 2017-11-28 Immersion Corporation Method and apparatus for providing multi-point haptic feedback texture systems
TW201101137A (en) * 2009-06-29 2011-01-01 J Touch Corp Touch panel with matrix type tactile feedback
EP2325731B1 (en) * 2009-11-02 2013-11-13 SMK Corporation Holding structure for a touch panel
US8519982B2 (en) * 2010-06-21 2013-08-27 Sony Corporation Active acoustic touch location for electronic devices
JP5343946B2 (ja) 2010-08-25 2013-11-13 株式会社デンソー 触覚提示装置
US20120299853A1 (en) * 2011-05-26 2012-11-29 Sumit Dagar Haptic interface
US20130113760A1 (en) * 2011-11-07 2013-05-09 Google Inc. Techniques for providing localized tactile feedback to a user via an electro-acoustic touch display of a user device
US8570296B2 (en) * 2012-05-16 2013-10-29 Immersion Corporation System and method for display of multiple data channels on a single haptic display
GB201208853D0 (en) 2012-05-18 2012-07-04 Hiwave Technologies Uk Ltd Panel for use in vibratory panel device
DE102012208355A1 (de) 2012-05-18 2013-11-21 Robert Bosch Gmbh Anordnung und Verfahren zum Erzeugen einer Tastsinnreizung eines Benutzers
GB2513884B (en) 2013-05-08 2015-06-17 Univ Bristol Method and apparatus for producing an acoustic field
US9519346B2 (en) * 2013-05-17 2016-12-13 Immersion Corporation Low-frequency effects haptic conversion system
GB2516820A (en) * 2013-07-01 2015-02-11 Nokia Corp An apparatus
US9576445B2 (en) * 2013-09-06 2017-02-21 Immersion Corp. Systems and methods for generating haptic effects associated with an envelope in audio signals
US9817521B2 (en) * 2013-11-02 2017-11-14 At&T Intellectual Property I, L.P. Gesture detection
US9639158B2 (en) * 2013-11-26 2017-05-02 Immersion Corporation Systems and methods for generating friction and vibrotactile effects
US9612658B2 (en) 2014-01-07 2017-04-04 Ultrahaptics Ip Ltd Method and apparatus for providing tactile sensations
KR101464327B1 (ko) * 2014-03-27 2014-11-25 연세대학교 산학협력단 3차원 에어터치 피드백 장치, 시스템 및 방법
WO2016007920A1 (en) * 2014-07-11 2016-01-14 New York University Three dimensional tactile feedback system
US10403084B2 (en) * 2014-12-17 2019-09-03 Igt Canada Solutions Ulc Contactless tactile feedback on gaming terminal with 3D display
EP3259654B1 (en) * 2015-02-20 2021-12-29 Ultrahaptics Ip Ltd Algorithm improvements in a haptic system
DE102016210217A1 (de) * 2016-06-09 2017-12-14 Bayerische Motoren Werke Aktiengesellschaft Fortbewegungsmittel, Anwenderschnittstelle und Verfahren zur Interaktion zwischen einem Fortbewegungsmittel und einem Insassen
US10531212B2 (en) * 2016-06-17 2020-01-07 Ultrahaptics Ip Ltd. Acoustic transducers in haptic systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
JP2017503255A (ja) 2013-12-12 2017-01-26 クアルコム,インコーポレイテッド マイクロメカニカル超音波トランスデューサおよびディスプレイ
US20160147305A1 (en) 2014-11-21 2016-05-26 Samsung Display Co., Ltd. Display device
US20160282808A1 (en) 2015-03-24 2016-09-29 Brigham Young University Tileable, coplanar, flat-panel 3-d display with tactile and audio interfaces
JP2017027401A (ja) 2015-07-23 2017-02-02 株式会社デンソー 表示操作装置

Also Published As

Publication number Publication date
WO2019015882A1 (de) 2019-01-24
KR102367547B1 (ko) 2022-02-24
DE102017116012A1 (de) 2019-01-17
KR102337968B1 (ko) 2021-12-13
EP4345813A2 (de) 2024-04-03
KR20210147088A (ko) 2021-12-06
EP4345813A3 (de) 2024-05-08
JP7064567B2 (ja) 2022-05-10
EP3655844A1 (de) 2020-05-27
KR20200023649A (ko) 2020-03-05
JP2020527269A (ja) 2020-09-03
US20200209969A1 (en) 2020-07-02
US11061477B2 (en) 2021-07-13
JP2022019992A (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
JP7366109B2 (ja) ディスプレイ装置
RU2554518C2 (ru) Гибридное устройство отображения
US11100771B2 (en) Devices and methods for providing localized haptic effects to a display screen
US10191547B2 (en) Tactile sensation providing apparatus and control method for tactile sensation providing apparatus
JP6555608B2 (ja) ディスプレイ装置および電子機器
US9448662B2 (en) Touch panel capable of forming desired shape at desired position on detection screen, electronic device including same, and method for driiving same
US9983715B2 (en) Force detection in touch devices using piezoelectric sensors
US20110261021A1 (en) Transparent composite piezoelectric combined touch sensor and haptic actuator
WO2018062078A1 (ja) 表示装置
US10664053B2 (en) Multi-transducer tactile user interface for electronic devices
US20120320085A1 (en) Display outputting image
KR102315184B1 (ko) 표시 장치
JP2021022397A (ja) 電子デバイス用触知ユーザインターフェース
JP5784283B2 (ja) 触感呈示装置及び触感呈示装置の制御方法
US8692811B2 (en) Display device having vibration function and vibration type touch-sensing panel
JP5976662B2 (ja) 電子機器及び電子機器の制御方法
KR20110093553A (ko) 시촉각 정보 제공 장치 및 방법
KR20150068770A (ko) 햅틱 디스플레이
SE542811C2 (en) A device, system and method for generating an acoustic-potential field of ultrasonic waves

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230206

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20230428

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230607

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230911

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231010

R150 Certificate of patent or registration of utility model

Ref document number: 7366109

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150