JP7471432B2 - 液晶モジュール、電子デバイス、および画面インタラクションシステム - Google Patents

液晶モジュール、電子デバイス、および画面インタラクションシステム Download PDF

Info

Publication number
JP7471432B2
JP7471432B2 JP2022549360A JP2022549360A JP7471432B2 JP 7471432 B2 JP7471432 B2 JP 7471432B2 JP 2022549360 A JP2022549360 A JP 2022549360A JP 2022549360 A JP2022549360 A JP 2022549360A JP 7471432 B2 JP7471432 B2 JP 7471432B2
Authority
JP
Japan
Prior art keywords
infrared light
infrared
photoelectric sensor
liquid crystal
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022549360A
Other languages
English (en)
Other versions
JP2023513637A (ja
Inventor
充 熊
俊▲逸▼ 余
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2023513637A publication Critical patent/JP2023513637A/ja
Application granted granted Critical
Publication of JP7471432B2 publication Critical patent/JP7471432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/1335Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/1336Illuminating devices
    • G02F1/133602Direct backlight
    • G02F1/133605Direct backlight including specially adapted reflectors
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333Constructional arrangements; Manufacturing methods
    • G02F1/13338Input devices, e.g. touch panels
    • GPHYSICS
    • G02OPTICS
    • G02FOPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/135Liquid crystal cells structurally associated with a photoconducting or a ferro-electric layer, the properties of which can be optically or electrically varied
    • G02F1/1354Liquid crystal cells structurally associated with a photoconducting or a ferro-electric layer, the properties of which can be optically or electrically varied having a particular photoconducting structure or material
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Physics & Mathematics (AREA)
  • Nonlinear Science (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Optics & Photonics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Description

本出願は、参照によりその全体が本明細書に組み込まれる、2020年2月17日に中国国家知識産権局に出願された、「LIQUID CRYSTAL MODULE,ELECTRONIC DEVICE,AND SCREEN INTERACTION SYSTEM」という名称の中国特許出願第202010095747.5号の優先権を主張するものである。
本出願は、液晶モジュール、電子デバイス、および画面インタラクションシステムに関する。
液晶ディスプレイ(liquid crystal display、LCD)は小型で電力消費が少なく、放射がなく、画像がソフトであるなどの特徴を有し、様々な電子デバイスに広く使用されている。
現在、ユーザがLCDを有する電子デバイスとインタラクションするためのソリューションは、主にオンスクリーンのタッチインタラクションと、オフスクリーンのインタラクションとを含む。オンスクリーンのタッチインタラクションのソリューションは、例えば、金属グリッドを有する導電膜がLCDの表面に取り付けられたり、赤外線を放射するライトバーと赤外線を受光するライトバーとがLCDの外枠の上下左右に追加されたり、LCDの内部にキャパシタ検出器回路が作られたりすることである。オフスクリーンのインタラクションのソリューションは、主に、LCD内の自己静電容量によって生成された空間電界を使用してフローティングタッチが行われることや、LCDの上部に一体化された外部カメラで手の動きが取得されて、ジェスチャ認識を行うことなどを含む。いずれのソリューションにも長所と短所がある。
しかしながら、オンスクリーンのインタラクションとオフスクリーンのインタラクションとを統合する成熟したソリューション、すなわちオンスクリーンでは二次元方向の位置タッチを実行でき、かつオフスクリーンではリモートインタラクションおよび二次元の座標位置決めができるソリューションは、現状ではまだ市場に存在しない。
本出願は、オンスクリーンのインタラクションとオフスクリーンのインタラクションとの両方を実施できるソリューションを提供することを目的とする。
本出願の第1の態様は液晶モジュールを提供し、液晶モジュールは、液晶パネルと、バックライトユニットと、光電センサアレイとを備え得る。光電センサアレイと、バックライトユニットと、液晶パネルとは積み重ねて順次配置され、バックライトユニットは、光電センサアレイと液晶パネルとの間に配置される。バックライトユニットは反射部品を含む。反射部品の少なくとも部分的な領域は、赤外光が透過できる赤外線透過領域である。光電センサアレイは複数の光電センサを含み、複数の光電センサは、赤外線透過領域を透過した赤外光を受光することができる。
本出願において、光電センサアレイは、赤外光信号を受信するために液晶モジュール内に配置されて、液晶モジュールを有するデバイスに低コストのインタラクションのソリューションを提供する。
さらに、反射部品に複数の穴が配置されてもよく、複数の穴が配置される領域は赤外線透過領域である。複数の穴は、光電センサアレイ内の複数の光電センサと1対1の対応関係にあってもよい。赤外線透過領域を配置するこの方法は、コストが低く操作が簡単である。
さらに、穴を通過する赤外光を透過し、穴を通過する可視光を反射するために、複数の光電センサの表面であって、かつバックライトユニットに近接する表面に、波長選択反射板などの選択反射部品が配置されてもよく、選択反射部品の面積は穴の面積より小さくない。これにより可視光を確実に利用して、液晶画面の明瞭度を向上させる。あるいは、波長選択反射板などの選択反射部品は、赤外光を透過し可視光を反射するために反射部品の穴に配置されてもよい。同様に、選択反射部品の面積は、穴の面積より小さくない。
また、反射部品全体が、可視光を反射し赤外光を透過できる反射部品であってもよく、例えば、反射部品が波長選択反射板であってもよい。
本出願の第2の態様は電子デバイスを提供し、電子デバイスは、第1の態様、または第1の態様の実施態様のいずれか1つで提供されるメモリと、プロセッサと、液晶モジュールとを備え得る。メモリは、命令および光電センサアレイ内の光電センサの位置を記憶するように構成される。プロセッサは、命令および光電センサの位置を読み取り、光電センサの位置と、光電センサで受光した赤外光の強度とに基づいて、赤外光が液晶パネルに投影される位置を決定するように構成される。
また、プロセッサは、強度ピークに対応する位置を取得するために、光電センサの位置、および光電センサで受光した赤外光の強度に対してガウシアンフィッティングを実行し、強度ピークは光電センサで受光した赤外光の強度ピークであり、かつ強度ピークに対応する位置を、赤外光が液晶パネルに投影される位置として使用する、ように構成される。強度ピークはガウシアンフィッティングによって得た結果であるため、強度ピークはすべての光電センサで受信した強度データのうちの1つではない場合があるが、すべての光電センサで受光した赤外光の強度データよりも高い値である。赤外光の強度ピークに対応する位置は、光電センサの位置でない場合があるが、2つ以上の隣接するセンサ同士の間の位置である。この方法では、赤外光の投影位置をより正確に位置決めすることができる。
また、プロセッサは、光電センサで受光した赤外光の強度の最高強度を決定し、最高強度を受光した光電センサの位置を、赤外光が液晶パネルに投影される位置として使用する、ように構成される。この方法では、データフィッティングは行われない。その代わりに、最高の光強度を受光した光電センサが直接見出され、その位置が赤外光の投影位置として使用される。したがって、システムの応答速度が速くなる。
また、赤外光はパルス赤外光信号であってもよく、パルス赤外光信号の周波数は、光電センサアレイの駆動周波数の半分であってもよい。赤外光信号は、パルス信号を使用して、光電センサアレイの制御ユニットの駆動周波数の半分に変調される。したがって、データの2つの隣接するフレーム間の差を求めることによって干渉光信号を除去でき、システムの耐干渉性を効果的に高める。加えて、受信した赤外光信号の周波数が決定され、その結果、電子デバイスは、受信した赤外光信号が、電子デバイスに適合する赤外光エミッタによって放射された赤外光かどうかをより容易に判定することもできる。
本出願の第3の態様は画面インタラクションシステムを提供し、画面インタラクションシステムは、電子デバイスと赤外光エミッタとを含み得る。赤外光エミッタは、赤外光を放射するように構成される。電子デバイスは、液晶モジュールを備え得る。液晶モジュールは、液晶パネルと、バックライトユニットと、光電センサアレイとを備える。光電センサアレイと、バックライトユニットと、液晶パネルとは、積み重ねて順次配置される。バックライトユニットは反射部品を含む。反射部品は、可視光を反射するように構成される。反射部品の少なくとも部分的な領域は、赤外光エミッタによって放射された赤外光が透過できる、赤外線透過領域である。光電センサアレイは複数の光電センサを含み、複数の光電センサは、赤外線透過領域を透過した赤外光を受光することができる。
また、赤外光エミッタは、パルス駆動装置を備えてもよい。パルス駆動装置は、赤外光エミッタによって放射された赤外光を変調するように構成されてもよく、その結果、赤外光エミッタによって放射された光は、パルス赤外光信号になる。パルス赤外光信号の周波数は、光電センサアレイの駆動周波数の半分である。
本出願では、赤外光信号は、パルス信号を使用して、光電センサアレイの制御ユニットの駆動周波数の半分に変調される。したがって、データの2つの隣接するフレーム間の差を求めることによって干渉光信号を除去でき、システムの耐干渉性を効果的に高める。加えて、受信した赤外光信号の周波数が決定され、その結果、電子デバイスは、受信した赤外光信号が、電子デバイスに適合する赤外光エミッタによって放射された赤外光かどうかをより容易に判定することもできる。
本出願では、光電センサアレイが電子デバイスの液晶モジュール内に配置され、赤外光エミッタを使用して、電子デバイスの画面上または画面外で、電子デバイス内の光電センサアレイとの通信が行われる。したがって、ユーザと電子デバイスとの間で、オンスクリーンのインタラクションおよびオフスクリーンのインタラクションの機能を比較的低コストで実施することができる。
本出願の一実施形態による画面インタラクションシステムの概略図である。 本発明の一実施形態による電子デバイスの構造の一例を示す。 本出願の一実施形態による光電センサアレイの一例を示す。 本出願の一実施形態による赤外光エミッタの内部構造の概略図である。 本出願の一実施形態による反射板の構造の第1の例である。 本出願の一実施形態による光電センサアレイに膜を取り付ける一例を示す。 本出願の一実施形態による反射板の構造の第2の例を示す。 本出願の一実施形態による反射板の構造の第3の例を示す。 本出願の一実施形態による光電センサアレイの制御システムの一例を示す。 本出願の一実施形態による、赤外光スポットが複数の光電センサをカバーする一例を示す。 図9Aの9つの光電センサがそれぞれ受光した光強度値を示す。 本出願の一実施形態による、理想的な場合における、赤外光スポットにカバーされた9つの光電センサに対応する、光強度データのk番目のフレームの一例を示す。 本出願の一実施形態による、理想的な場合における、赤外光スポットにカバーされた9つの光電センサに対応する、光強度データの(k+1)番目のフレームの一例を示す。 本出願の一実施形態による、実際の事例における、赤外光スポットにカバーされた9つの光電センサに対応する、光強度データのk番目のフレームの一例を示す。 本出願の一実施形態による、実際の事例における、赤外光スポットにカバーされた9つの光電センサに対応する、光強度データの(k+1)番目のフレームの一例を示す。
以下、特定の実施形態と添付の図面とを参照して本出願をさらに説明する。本明細書に記載されている特定の実施形態は、本出願を説明することのみが意図され、本出願を限定することを意図するものではないことが理解されよう。加えて、説明を簡単にするために、添付の図面では、本出願に関連する構造またはプロセスが全部ではなく一部のみ図示される。本明細書において、以下の添付の図面では、同一の参照番号および符号は同一の項目を表していることに留意されたい。
本出願の例示的な実施形態は、これに限定されないが、液晶モジュールと、画面インタラクション方法と、画面インタラクションシステムとを含む。
例示的な実施形態の様々な態様が、他の当業者にその作業物質を伝えるために、当業者に一般的に使用されている用語を使用して説明される。しかしながら、当業者にとって、説明されている特徴の一部を使用して、いくつかの代替的な実施形態が実施されることは明らかである。説明する目的で、例示的な実施形態をより完全に理解するために、具体的な数や構成が記述される。しかしながら、特に詳しく説明することなく代替的な実施形態が実施され得ることが当業者には明らかである。場合によっては、本出願の例示的な実施形態が曖昧になるのを防ぐために、本明細書では一部の周知の特徴については省略または簡素化されている。
添付の図面では、いくつかの構造的特徴が、特定の配置および/または順番で示される場合がある。しかしながら、このような特定の配置および/または順番は、必ずしも必要でないことを理解されたい。いくつかの実施形態では、このような特徴が、例示的な添付の図面に示されているものとは異なる方法および/または順番で説明される場合がある。加えて、特定の添付図面に含まれている構造的特徴は、すべての実施形態がこのような特徴を含んでいる必要があることを意味しない。いくつかの実施形態ではこの特徴が含まれなくてもよく、あるいは特徴が他の特徴と結合されてもよい。
本出願の目的、技術的ソリューション、および利点をより明確にするために、以下では、添付の図面を参照して本出願の実施態様を詳細にさらに説明する。
本出願で提供されるソリューションは、ユーザと液晶ディスプレイ(liquid crystal display、LCD)を有する電子デバイスとの間の、オンスクリーンのインタラクションとオフスクリーンのインタラクションとを統合することが意図されている。したがって、LCDに適した、低コストのインタラクションのソリューションが提供される。
本出願のいくつかの実施形態では、オンスクリーンのインタラクションは、主に表示画面との接触が必要なインタラクションである。例えば、タッチペン(「スタイラス」とも呼ばれる)や指などで電子デバイスの液晶パネルの表面をタップまたはスライドし、電子デバイスは、タッチペンや指などの移動軌跡を検出し、予め設定したルールに従って対応する動作を行う。例えば、ホワイトボードはオンスクリーンのインタラクション用の典型的なアプリケーションであり、つまり液晶パネルの表面でスタイラスをスライドさせると、電子デバイスがスタイラスのスライド軌跡を検出して筆記機能を実施する。スタイラスは、アクティブスタイラスであっても、パッシブスタイラスであってもよい。アクティブスタイラスは「アクティブペン」と呼ばれる場合もある。アクティブペンには回路が配置されており、アクティブペンは画面に信号を送信でき、その結果、画面はペンの座標を検出する。パッシブスタイラスは「パッシブペン」と呼ばれる場合もある。指の機能と同様パッシブペンは信号を送信しないが、パッシブペンがタッチスクリーンに接触しているときに、タッチスクリーンの静電容量などを変更し得る。
オフスクリーンのインタラクションは、主に画面の表面との接触を必要としないインタラクションである。例えば、ユーザのインタラクション情報は、画面の表面から離れた所でのジェスチャや、位置の指差しや、手またはスタイラスの移動軌跡で識別され、電子デバイスのUIインターフェースと組み合わせて、メニューの選択または制御などの動作を実行する。一般的なオフスクリーンのインタラクションのシナリオは、スポーツゲーム(例えば、画面の前で、アクティブペンがLCD画面に対して振るように制御され、電子デバイスは、アクティブペンの振る動作の軌跡を検出することによって、「フルーツ忍者」のようないくつかのスポーツゲームを実施することができる)、またはリモートコントロール(リモコンやアクティブペンなどによってLCD画面上のメニューインターフェースがクリックされて、リモートコントロール・ショッピングなどのリモート操作を実施する)を含む。
本出願の実施形態は、LCDに適した低コストのインタラクションのソリューションを提供し、そこでは赤外光を使用して通信が行われる。図1は、本出願の一実施形態による画面インタラクションシステムを示す。
図1に示すように、本発明のこの実施形態は画面インタラクションシステム10を提供し、赤外光エミッタ200と電子デバイス100とを含む。本出願のこの実施形態では、電子デバイス100は、テレビ、ゲームコンソール、表示デバイス、屋外表示画面、音楽プレーヤ、デスクトップコンピュータ、ラップトップコンピュータ、およびタブレットコンピュータなどの、LCDを含む様々なデバイスであってよい。
図2は、本発明の一実施形態による電子デバイス100の構造の一例を示す。
図2に示すように、電子デバイス100は、プロセッサ109、ディスプレイ101、センサモジュール102、ワイヤレス通信モジュール103、メモリ104、電源105、オーディオモジュール107などを含み得る。
プロセッサ109は、1つ以上の処理ユニットまたは処理部品を含んでよく、例えば、中央処理装置CPU(Central Processing Unit)、グラフィックス処理装置GPU(Graphics Processing Unit)、デジタル信号プロセッサDSP、マイクロプロセッサMCU(Micro-programmed Control Unit)、AI(Artificial Intelligence,artificial intelligence)プロセッサ、またはプログラム可能な論理デバイスFPGA(Field Programmable Gate Array)の、処理モジュールまたは処理回路を含んでもよい。異なる処理ユニットは、独立した構成要素であってもよいし、1つ以上のプロセッサに統合されてもよい。命令および/またはデータを記憶するために、プロセッサ109に記憶ユニットが配置されてもよい。
ディスプレイ101は、人間とコンピュータとのインタラクションのインターフェース、画像、動画などを表示するように構成される。本願のこの実施形態では、ディスプレイ101はLCDであってもよい。
センサモジュール102は、以下の説明における赤外線フォトダイオードなどの、赤外光を受光するように構成された光電センサを含み得る。いくつかの実施形態では、センサモジュールは、圧力センサ、ジャイロスコープセンサ、気圧センサ、磁気センサ、距離センサ、光学式近接センサ、指紋センサ、温度センサ、またはタッチセンサなどの別のセンサをさらに含んでもよい。
ワイヤレス通信モジュール103は、アンテナをさらに含み、アンテナを使用して電磁波を送受信し得る。ワイヤレス通信モジュール103は、ワイヤレスローカルエリアネットワーク(wireless local area network、WLAN)(例えば、ワイヤレスフィデリティ(wireless fidelity、Wi-Fi)ネットワーク)、ブルートゥース(bluetooth、BT)、全地球航法衛星システム(global navigation satellite system、GNSS)、周波数変調(frequency modulation、FM)、近距離無線通信(near field communication、NFC)、または赤外線(infrared、IR)技術などを含む、電子デバイス100に適用されるワイヤレス通信ソリューションを提供し得る。電子デバイス100は、ワイヤレス通信技術を使用してネットワークおよび別の機器と通信することができる。
電源モジュール105は、電源や電源管理部品などを含み得る。電源管理部品は、電源の充電、および電源によって行われる別のモジュールへの給電を管理するように構成される。
オーディオモジュール107はデジタルオーディオ情報を出力のためにアナログオーディオ信号に変換し、あるいはアナログオーディオ入力をデジタルオーディオ信号に変換するように構成されている。オーディオモジュール107は、オーディオ信号を符号化および復号するようにさらに構成され得る。いくつかの実施形態では、オーディオモジュール107は、プロセッサ109内に配置されてもよく、またはオーディオモジュール107のいくつかの機能モジュールがプロセッサ109内に配置される。
図2に示すように、オーディオモジュール107は、スピーカ1071と、イヤピース1072と、マイクロフォン1073と、ヘッドセットジャック1074とを含み得る。「ホーン」とも呼ばれるスピーカ1071は、出力用にオーディオ信号を音声信号に変換するように構成される。マイクロフォン1073は、「マイク(mike)」または「マイク(mic)」とも呼ばれ、音響信号を電気信号に変換するように構成される。少なくとも1つのマイクロフォン1073が、電子デバイス100に配置されてもよい。いくつかの他の実施形態では、音響信号の収集に加えて、ノイズ低減機能を実施するために、2つのマイクロフォン1073が電子デバイス100内に配置されてよい。一部の他の実施形態では、代わりに、3つ、4つ、またはより多くのマイクロフォン1073が、音声信号の収集、ノイズの低減、音源の識別、および指向性録音機能の実施などのために電子デバイス100に配置されてもよい。ヘッドセットジャック1074は、ヘッドセットに接続するように構成され得る。
本発明の本実施形態に示される構造が電子デバイス100を具体的に制限するものではないことは理解できるであろう。本出願のいくつかの他の実施形態では、電子デバイス100は、図に示されたものよりも多いまたは少ない構成要素を含むことができ、いくつかの構成要素を組み合わせることができ、いくつかの構成要素を分割することができ、または異なる構成要素配置を有することができる。図に示される構成要素は、ハードウェア、ソフトウェア、またはソフトウェアとハードウェアの組合せで実装され得る。
図1を参照されたい。電子デバイス100のLCDは、液晶モジュール150を含み得る。本出願のいくつかの実施形態では、液晶モジュール150は、積み重ねて順次配置された液晶パネル110と、バックライトユニット(Backlight Unit、BLU)120と、光電センサアレイ130とを含んでもよく、BLU 120は、光電センサアレイ130と液晶パネル110との間に配置される。
液晶パネル110は、液晶モジュール150の基本部品である。液晶ディスプレイは、受動的に光を放射する。液晶パネル110は光を放射しないが、液晶パネル110の下にあるBLU 120によって照射される。液晶パネル110は、基本材料として液晶を使用する。液晶材料は2枚の平行な板の間に充填され、電圧によって液晶材料内部の分子の配置が変更され、その結果、外部光源の光透過率が変更され、電気光学変換が完了されて遮光と光透過とを実施し、異なる深度および陰影で画像が表示される。次に、R、G、およびBの3原色信号の励起の違いを利用して、2枚のフラットパネルの間に色付けされたフィルタ層を追加することによって色画像が表示され得る。BLU 120によって放射された光が液晶パネル110に照射されると、光は下偏光板によってまず上方に透過される。光の偏波方向が変更されると、光が色付けされたフィルタに接触して色を生成する。最後に、光は上偏光板に入射する。液晶が偏波方向を変更すると、一部の光は放射され、一部の光は吸収され得る。画像の生成には、放射された光の強度を判定するために、液晶パネル全体の各画素が使用され得る。
BLU 120は、十分な明るさを有する均一に分散された光を液晶パネル110に供給するように構成され、BLU 120の発光効果は、LCDの視覚効果に直接影響する。BLUは通常、発光部品、導光部品、および反射部品などの様々な部品を含む。
図1は、液晶モジュール150内のBLU 120の基本構造の一例を示す。BLU 120は、フラットパネルの一様な照明装置であってよく、光源124と、光学膜121と、導光板122と、反射板123とを備え得る。
BLUの発光部品として、光源124は、これに限定されないが、冷陰極蛍光ランプまたはLEDライトバーを含み得る。光源124は、BLU 120の全長の両側に配置されても片側に配置されてもよい(長辺側でも短辺側でもよい)。冷陰極蛍光ランプは線光源であり、LEDは点光源である。導光板122は、これらの光源を面光源に変換するために使用される必要がある。
導光板122はBLUの導光部品として機能し、導光板122の機能は、光の散乱する方向を導き、パネルの輝度を向上させ、パネルの輝度の均一性を保証することである。導光板122は、通常は光透過率の高いアクリルで作られ、その表面は非常に滑らかかつ平坦であり、その結果、ほとんどの内部光線が、導光板122の外部に放射されることなく、導光板122の平坦な表面で規則的かつ完全に反射される。液晶モジュール150の導光板122の下部には、通常は白色ドットがプリントされる。導光板上のドットがプリントされた位置では、光は規則的かつ完全には反射されずに、導光板122の上部に放射される。各位置のドット密度は制御されるので、その位置で導光板によって放射される光量を制御することができる。導光板122上に正確に設計されたドットでは、両側から入射した光は、平面全体に均一に拡散され得る。光学膜121は、導光板122の上に配置されてよく、光学膜121は、光を均一にする、正面観察用に広角の光を収束する、などの役割を果たし得る。
BLUの反射部品として、反射板123は通常は導光板122の下部に配置され、伝搬プロセスにおいて光を反射し、かつ導光板122の下部から漏れた光を導光板122が配置されている領域にはね返して、光源124によって放射された光の使用率を最大にするように構成され得る。
図1に示すBLU 120の構造は説明のための単なる一例であり、本出願を限定するために使用されないことに留意されたい。本出願の様々な実施形態では、実際の状況に基づいて、発光源が片側に配置されたエッジライトBLU、光源が直下に配置された直下型BLU、ならびに発光源として熱陰極蛍光ランプを使用し、かつ光源の熱伝導媒体として空気を使用する中空型BLUなど、構造が異なるBLUが使用される場合がある。
光電センサアレイ130は、バックライトユニット120の反射板123の下方、すなわちBLUの側面であって、かつ液晶パネル110から遠い方の側面に配置される。光電センサアレイ130は、複数の光電センサを含み得る。本出願のこの実施形態では、光電センサは赤外線光電センサであってよく、光電センサの形態は、これに限定されないが、表面実装フォトダイオード(Photo-Diode、PD)を含み得る。BLU 120が赤外光を透過できるとき、赤外光エミッタ200によって放射された赤外光は、赤外線光電センサに到達するように、液晶パネル110およびBLU 120を通して透過され得る。赤外光エミッタ200によって放射された赤外光の中心位置は、ユーザと電子デバイス100との間のインタラクションを実施するために、光電センサアレイ130内の各光電センサが受光した赤外光の光強度を判定することによって決定され得る。
以下では光電センサアレイ130の具体的な構造を説明するために、光電センサの一例として表面実装PDを使用する。図3は、本出願の一実施形態による光電センサアレイ130の一例を示す。
図3に示すように、複数の赤外線PD 132が基板131に締結され得る。本出願のいくつかの実施形態では、基板131は、プリント回路基板(Printed circuit board、PCB)であってもよい。複数の赤外線PD 132が、予め設定された配置規則に従ってPCB基板に締結されて光電センサアレイ130を形成し、これらはともに駆動ボード133によって駆動される。駆動ボード133に駆動回路および制御回路が配置されてもよく、基板131上の赤外線PD 132を駆動および制御するように構成される。
別の実装形態では、図3に示すように、基板131が複数に分割されてもよく、各基板131にいくつかの赤外線PD 132が配置される。あるいは、基板131は単独の部品であってもよく、一体化された基板131にすべての赤外線PD 132が締結される。駆動ボード133は、赤外線PD 132が配置された基板131と一体化されてもよいし、赤外線PD 132が配置された基板131から独立していてもよい。
赤外光エミッタ200は、赤外線レーザペンやリモコンなどの方式で実装されてもよく、光電センサアレイ130内の赤外線PD 132に適合する赤外光を放射するように構成される、つまり赤外光エミッタ200の波長は、赤外線PD 132の波長応答範囲に適合する必要がある。例えば、赤外光エミッタの波長が840 nmのときは、赤外線PD 132の応答波長範囲は840 nmをカバーする必要がある。
以下、図4を参照して、赤外光エミッタ200の内部構造の一例について説明する。
図4に示すように、赤外光エミッタ200は、ハウジング203と、レーザ201と、コリメーションレンズ202と、スイッチ(図示せず)とを備える。レーザ201は、垂直共振器面発光レーザ(vertical-cavity surface-emitting laser、VCSEL)であってもよい。エッジライト型レーザと比較して、VCSELによって生成される出力ビームの発散角は比較的小さく、通常は10°以内に制御され得る。コリメーションレンズ202は、VCSELによって放射された光を平行光に変換するように構成される。レーザ201とコリメーションレンズ202とが連携することによって、赤外光エミッタ200から電子デバイス100のLCD画面までの距離にかかわらず、LCD画面上の光スポットの大きさは同じに保たれ得る。ユーザは、赤外光エミッタ200が赤外光を放射して、電子デバイス100のLCDに赤外光を照射するようにスイッチで制御し、赤外線PD 132で受けた光信号に基づいて指示位置を決定し、その結果、インタラクションを実施することができる。
図4に示す赤外光エミッタ200の構造は説明のための単なる一例であり、本出願を限定するために使用されないことに留意されたい。本出願の様々な実施形態において、赤外光エミッタ200はより多い、またはより少ない構成要素を含む場合があり、その構造もまた実際の状況に基づいて変更され得る。
BLU 120の反射板123は、通常は少なくとも可視光および赤外光の98%を反射し得る。赤外線PD 132が、赤外光エミッタによって放射された赤外光をうまく受光できるように反射板123が加工されてもよく、その結果、反射板123は赤外光を透過することができる。
以下、図5Aから図7を参照して、反射板123の様々な実施形態について説明する。
図5Aは、本出願の一実施形態による反射板123の構造の一例を示す。
本出願のいくつかの実施形態では、反射板123は、一般的な材料で作られ、可視光および赤外光の両方を反射する反射板である。赤外線PD 132が、赤外光エミッタによって放射された赤外光をうまく受光できるように、赤外線PD 132の配置に基づいて、一般的な材料で作られた反射板123の表面上にあり、かつ赤外線PD 132に対応する位置に、赤外光を透過しやすくするために穴が配置されてもよい。図5Aに示すように、反射板123は、一般的な反射材401と、一般的な反射材401の表面に配置された穴402とを含む。穴402は貫通穴であってもよく、穴402の位置は赤外線PD 132の感光領域の位置に対応し、その結果、赤外線PD 132は、穴402を使用して赤外光を受光することができる。赤外線PD 132の感光領域の加工条件および形状の違いに基づいて、穴402は円形や多角形などの様々な形状で配置されてもよい。これはここでは限定されない。この方法では、穴が一般的な反射板に直接配置されて、反射板の下方に配置された赤外線PD 132が赤外光を受光するので、コストが比較的低い。赤外線PD 132は、他の光(可視光など)が赤外光とともに穴402を通過して赤外線PD 132に投影されても、赤外光を感知することができる。
本出願のいくつかの他の実施形態では、BLU 120の反射板123に穴が配置されるときは、可視光を反射し赤外光を透過する小型の波長選択反射板(高反射フィルム(Enhanced Specular Reflector、ESR)など)1320が、赤外線PD 132の表面であって、かつバックライトユニットに近接する表面に取り付けられてもよい。図5Bに示すように、波長選択反射板1320は、赤外線PD 132の表面に照射された可視光を反射し、赤外線PD 132の表面に照射された赤外光を透過するように構成される。波長選択反射板1320によって、穴402から放射された可視光は反射して導電領域に戻される。これにより、光源124によって放射された光を、液晶画面の明瞭度を向上させるために確実に利用することができる。加えて、赤外線PD 132に赤外光のみが照射されるため、赤外線PD 132に対する非赤外光からの干渉を回避することができる。これにより、赤外線PD 132の感度および効率が向上する。
本出願の様々な実施形態において、赤外線PD 132の表面に取り付けられた波長選択反射板1320の面積は、反射効果を確実なものにするために、穴402の面積より小さくないことが好ましい。加えて、赤外線PD 132の表面に取り付けられた波長選択反射板1320の形状は、穴402の形状と一致してもよく、あるいは穴402の形状と一致しなくてもよいが、その面積は、穴402の大きさを十分にカバーする大きさである。
図6は、本出願の一実施形態による反射板123の別の構造の一例を示す。
本出願のいくつかの実施形態では、反射板123は、可視光および赤外光の両方を反射する反射材501、ならびに可視光を反射し赤外光を透過できる反射材(ESRなど)502の、2種類の反射材を含み得る。ESR 502は、赤外線PD 132の感光領域に対応する位置に配置されてよく、その結果、赤外線PD 132は、ESR 502を使用して赤外光を受光することができる。この実施形態では、図5Aと同様に、一般的な材料で作られた反射板123の表面であって、かつ赤外線PD 132に対応する位置に穴が配置され得る。しかしながら、可視光を反射し赤外光を透過する反射材502は、赤外線PD 132には取り付けられずに穴に取り付けられ、その結果、赤外線PD 132の感光領域に対応する領域の反射材は、多層膜構造を有しかつ可視光を反射して赤外光を透過する反射材502になり、別の領域は、可視光も赤外光も反射する一般的な反射材501である。
図7は、本出願の一実施形態による反射板123のさらに別の構造の一例を示す。
本出願のいくつかの他の実施形態では、赤外線PD 132が赤外光をうまく受光できるように、多層膜構造を有し、かつ可視光を反射し赤外光を透過できる反射材601が反射板123として直接使用されて、赤外線PD 132の上方に配置されてもよく、つまり反射板123は、可視光を反射し赤外光を透過できる波長選択反射板である。
図5Aから図7は、反射板123の様々な設計例を示す。本出願の別の実装形態では、当業者は、あるいは前述した構造の例に基づいた別の方法で反射板123を設計してもよく、その結果、BLU 120は良好に赤外光を透過し、BLU 120の下方に配置された赤外線PD 132は、赤外光エミッタ200によって放射された赤外光を良好に受光することができる。赤外線PD 132が、赤外光エミッタ200によって放射された赤外光を受光した後は、赤外光エミッタを使用してユーザによって指示された位置が、光電センサアレイ130内の各赤外線PD 132の光強度を分析することによって決定され得る。
図8から図9Bを参照しながら、以下、本出願のこの実施形態における、光電センサアレイ130の光強度を使用して指示位置を決定する、具体的なソリューションについて説明する。
上述したように、反射板123の下方に配置された光電センサアレイ130は、複数の赤外線PD 132を含み得る。本出願のいくつかの実施形態では、各赤外線PD 132の位置は、電子デバイス100のメモリ104に予め記憶され得る。赤外線PD 132の位置は、赤外線PDの位置を表し得る座標、数字その他の情報であってもよい。本発明のこの実施形態は、一例として座標を使用して説明される。本出願のいくつかの実施形態では、表面実装赤外線PDを含む光電センサアレイ130の場合、低コストの駆動および制御のソリューションが使用され得る。図8に示すように、PDアレイの行および列に基づいて制御を行うために、シングルチップマイクロコンピュータ、FPGAなどが制御ユニット810として使用される。制御ユニット810のうちの1つのチャネルが、PDアレイの1つの行スイッチのトランジスタ、またはPDの1つの列の信号受信を制御し得る(あるいは1つのチャネルが、PDアレイの1つの列スイッチのトランジスタ、またはPDの1つの行の信号受信を制御する)。したがって、n行m列を含むPDアレイ130の場合、駆動および制御を実施するために必要とされるのは、n+m個のチャネルのみである。例えば、20行10列の200個のPDが一例として使用される。この場合、駆動を実施するために必要とされるのは30チャネルのみである。
赤外線PD部品に電圧が印加されると、PDの感光領域に光が放射された場合は、弱電が生成される。弱電が負荷抵抗器を通過すると、電圧信号が生成される。電流信号または電圧信号は、制御ユニット810によって収集され得る。制御ユニット810は、行ごとまたは列ごとに走査することによって、各PDの信号を収集し得る。例えば、制御ユニット810の駆動周波数が設定され得る。例えば、駆動周波数は240ヘルツ、つまり毎秒240回になり得る。制御ユニット810は、電子デバイス100のプロセッサ109に、PDアレイの240フレームの信号を毎秒送信し得る。ユーザが赤外光エミッタで電子デバイス100の液晶パネル110を照射すると、赤外光は液晶パネル110とバックライトモジュール120とを透過され、光電センサアレイ130に照射される。赤外光を受光する赤外線PD 132の電気信号は、赤外光を受光しない別のPDの電気信号とは大きく異なる。プロセッサ109は、240個の行列信号同士の差異を比較し、各赤外線PDの予め記憶した座標に基づいて、ユーザに指示された位置を決定して、ユーザがLCDとインタラクションしたかどうかを判定し得る。具体的な実施プロセスでは、赤外光エミッタの波長は、赤外線PD 132の波長応答範囲に適合する必要がある。例えば、赤外光エミッタの波長が840 nmのときは、赤外線PD 132の応答波長範囲は840 nmをカバーする必要がある。
本出願のいくつかの実施形態では、赤外光を受光する1つ以上の赤外線PD 132があってもよい。赤外光を受光する赤外線PD 132が1つしかないときは、赤外光を受光する赤外線PD 132の光強度は、赤外光を受光しない別の赤外線PD 132の光強度を大幅に上回る。したがって、ユーザによって指示された位置は、最高の光強度に対応する赤外線PD 132の座標を直接決定することによって決定され得る。赤外光スポットが複数の赤外線PD 132をカバーするときは、光スポットの中心位置は赤外線PD 132で受光した光強度を使用して決定でき、中心位置が指示位置として使用される、つまり、ユーザの指示位置は光強度の分布を使用して決定される。
本出願のこの実施形態では、赤外線PD 132は、BLU 120内の反射板123の下方に配置され、BLU 120内の光学膜121の材料は、通常は光を分散させる役割を果たす。したがって、液晶パネル110によって受光された赤外光は、BLU 120を通過して、光電センサアレイ130に到達し、赤外光スポットが拡大する。図1に示すように、赤外光エミッタ200によって放射された赤外光は液晶パネル110に達し、第1の光スポット310が形成される。赤外光が液晶パネル110およびBLU 120を通過して光電センサアレイ130に達すると、第2の光スポット320が形成される。光学膜121の分散機能により、第2の光スポット320の面積は第1の光スポット310の面積より大きい。加えて、いくつかの実施形態では、赤外線PD 132同士の距離が比較的小さい場合がある。この場合、赤外光エミッタによって放射された赤外光が光電センサアレイ130に当たると、赤外光スポットは複数の赤外線PD 132をカバーし得る。
図9Aおよび図9Bを参照しながら、以下、赤外光スポットが複数の赤外線PD 132をカバーし得るときに、赤外線PD 132が受光した光強度の分布に基づいて指示位置が決定される実施形態について説明する。
図9Aは、赤外光スポットが複数の赤外線PD 132をカバーする一例を示す。本出願のいくつかの実施形態では、複数の赤外線PD 132は、反射板123の下方に配置された基板131上に配置され、各赤外線PD 132の座標は、電子デバイス100のメモリに予め記憶され得る。赤外光スポット210は、ある時点において、3×3の行列に基づいて配置された9個の赤外線PD 132をカバーすると仮定される。図9Aに示すように、赤外光信号を受ける9個の赤外線PD 132によって受光された光強度は、異なっている場合がある。例えば、図9Aの9個の赤外線PD 132によってそれぞれ受けられた光強度は図9Bに示され得る。
各赤外線PD 132から信号を受信すると、電子デバイス100のプロセッサ109は、各赤外線PD 132によって受信した光強度データに基づいて指示位置を決定し得る。各赤外線PD 132の座標は、すでにプロセッサ109に予め記憶されている。したがって、領域内の光強度ピークに対応する位置を見出すために、赤外線PD 132によって収集されたデータに対してピーク判定を行う必要があるのは1度だけであり、光強度ピークに対応する位置は赤外光源の配置位置、すなわちユーザの指示位置とみなされてよい。
本出願のいくつかの実施形態では、光強度ピークは、各赤外線PD 132によって受光された光強度データを用いて、ガウシアンフィッティングによって取得され得る。その理由は、ほとんどのレーザビームの場合、光スポットの光強度の理想的な分布はガウス分布に合致するはずであり、つまり、ビームに垂直ないずれか1つの断面(x,y)において、光強度の分布は以下のガウス関数に合致するからである。
Figure 0007471432000001
この数式において、I(x,y)は断面(x,y)におけるレーザビームの光強度、Hは断面における光スポットの光強度の振幅、(x,y)は光強度ピークに対応する位置、σおよびσは2つの方向の標準偏差である。パラメータσおよびσは、赤外光源の配置位置、すなわちユーザの指示位置である(x,y)を得るために、最小二乗法の原理に基づき、かつ前述の関数および各赤外光電センサによって受光された光強度データを使用して決定され得る。
前述したガウシアンフィッティングによって得られる光強度ピークのデータI(x,y)は、すべてのPDで受光した光強度データのうちの1つではない場合があるが、すべてのPDで受光した赤外光の強度データよりも高い値である。同様に、赤外光の強度ピークに対応する位置(x,y)がPDの位置にならない場合があるが、2つ以上の隣接するPD間の位置になる。例えば、上述の例では、電子デバイス100のプロセッサ109は、図9Bに示す9個のデータを使用した計算を通じて、光強度ピークに対応する位置は、ほぼ2行1列目のPDと、2行2列目のPDとの間の位置になることを学習し得る。
前述したガウシアンフィッティングの方法では、赤外光の投影位置、すなわちユーザの指示位置を正確に位置決めすることができる。しかしながら、いくつかの実施形態では、高精度な位置決めは必要とされない場合がある。この場合、データフィッティングは行われなくてもよい。その代わりに、システムの応答速度を高めるために、各赤外線PD 132によって受信された光信号の強度に基づいて、最高光強度を受ける赤外線PD 132が直接見出され、赤外線PD 132の座標が指示位置として使用される。
本出願のいくつかの実施形態では、位置決めの精度を高めるために赤外線光電センサ132の数が増やされてもよく、あるいはコストを削減し処理が必要なデータの量を低減するために、赤外線光電センサ132の数を減らしてシステムの応答速度を高めてもよい。
図9Aおよび図9Bを参照しながら、赤外線PD 132が受光した光強度の分布に基づいて、指示位置を決定する手順の一例について前述した。しかしながら、当業者であれば、前述の指示位置を取得する方法が、本出願に対する制限を構成しないことを理解されたい。いくつかの他の実施態様では、指示位置が別の方法で取得されてもよい。これは本出願では限定されない。
本出願のこの実施形態は、ユーザの指示位置を決定する機能と、通常はユーザインターフェース(user interface、UI)設計の連携をさらに必要とする、ユーザとLCDとの間の特定のインタラクションの実施態様とを提供する。実際の適用においては、UI設計に基づいて特定のインタラクションルールが設定されてもよく、インタラクションルールは、これに限定されないが、ユーザによってタップまたはスライドで示される特定の命令を含んでもよい。例えば、インタラクションルールは、「電子デバイス100のLCDの縁部で赤外光スポットが下に向かって素早く移動したことを電子デバイス100が検出したときは、ユーザがページをめくりたいと思っていることを示す」と仮定される。この場合は、ユーザが電子デバイス100のLCDを使って写真を見ているときに、ユーザは赤外光エミッタ(例えば、移動エミッタ)を制御でき、その結果、プロセッサは計算によって、LCDに照射された赤外光が、LCDの縁部で素早く下に向かって移動すれば、次の写真を見るためにページをめくるということを学習する。
加えて、実際の適用では、赤外光は目に見えないため、ユーザが赤外光の位置を認識するのを助けるために、本出願のいくつかの実施形態では、赤外光スポットのリアルタイムの位置を識別するように、UIに識別子(例えば、マウスカーソル)が設計され得る。あるいは、本出願のいくつかの実施形態において、赤外光エミッタ200内に可視光エミッタが配置されてもよく、可視光エミッタによって放射される光の方向はVCSELによって放射された光の方向と一致させることができ、その結果、可視光エミッタによって放射された光は、ユーザが赤外光の位置を認識するのを助けるためのガイド光として使用される。
以上、図1から図9Bを参照して、本出願のいくつかの実施形態を詳しく説明した。光電センサアレイ130は電子デバイス100のLCD内に配置され、赤外光エミッタ200を使用して、電子デバイス100の画面上または画面外で、電子デバイス100内の光電センサアレイ130との通信が行われる。したがって、ユーザと電子デバイス100との間で、オンスクリーンのインタラクションおよびオフスクリーンのインタラクションの機能を比較的低コストで実施することができる。
しかしながら、実際の適用では、液晶モジュールに適合する、赤外光エミッタ200によって放射される赤外光に加えて、赤外線PD 132の応答波長範囲に属する他の赤外光が空間内に存在する場合がある。この赤外光は、システムによる位置決めに干渉し、位置決めの精度に影響を及ぼす。これを考慮して、本出願のこの実施形態では、パルスを使用して、赤外光エミッタ200によって送信された赤外光信号を変調して、干渉をなくすソリューションをさらに提供する。
図10Aおよび図10Bを参照しながら、以下、パルスを使用して赤外光信号を変調することによって、システムの耐干渉性を高めるソリューションについて説明する。
本出願のいくつかの実施形態では、赤外光エミッタ200は、パルス駆動装置をさらに含んでもよく、パルスを用いて赤外光信号を変調するように構成され、その結果、赤外光エミッタ200によって放射された光はパルス赤外光信号になり、赤外光エミッタ200の変調周波数は、赤外線PDアレイの駆動周波数の半分に設定され得る。この場合、電子デバイス100のプロセッサ109によって収集されたPDアレイの信号が変更される。データの2つの隣接するフレームにおいて、データの1つのフレームのみが、赤外光エミッタによって放射された赤外光が収集されたことを示し、データのもう一方のフレームは、赤外光エミッタによって放射された赤外光が収集されていないことを示す。
図8に示す赤外線PDアレイ130の制御システムは、一例として使用されている。赤外線PDアレイ130内の制御ユニットの駆動周波数は240 Hzとされ、つまりPDアレイの光強度データが毎秒240フレーム取得されるものと仮定する。この場合、本出願の一実施形態では、赤外線PDアレイに適合する赤外光エミッタの周波数は、赤外線PDアレイの駆動周波数の半分、すなわち120 Hzに設定され得る。この場合、制御ユニット810によって収集された240フレームのデータが変更される。データの2つの隣接するフレームにおいて、データの1つのフレームのみが、赤外光エミッタによって放射された赤外光が収集されたことを示し、データのもう一方のフレームは、赤外光エミッタによって放射された赤外光が収集されていないことを示す。
赤外光スポットは、(図9Aに示すような)3×3の行列に基づいて配置された、9個の赤外線PD 132をカバーするものと仮定される。この場合、電子デバイス100が配置された空間に他の赤外光の干渉がない理想的な事例では、赤外光を受光する9個の赤外線PD 132に対応する、データの2つの隣接するフレームは、それぞれ図10Aおよび図10Bに示すことができ、つまり、図10Aに示すように、データのk番目のフレームは、各赤外光電センサによって受光された赤外光の強度値であり、そして図10Bに示すように、データの(k+1)番目のフレームにおける、各赤外光電センサに対応する光強度値は0である。
実際の適用では、通常はこのような理想的な事例はない。電子デバイス100が配置された空間に別の干渉信号(例えば、屋内光源によって生成された赤外光)が存在するときは、制御ユニット810によって収集された信号の各フレームに干渉信号が存在する、つまりデータのk番目のフレームは、赤外光エミッタによって放射された赤外光の強度データと、干渉信号データとの両方を含み、データの(k+1)番目のフレームは、干渉信号データのみを含む。データのk番目のフレームとデータの(k+1)番目のフレームとは、それぞれ図11Aおよび図11Bに示され得る。この場合、干渉光信号はデータの2つの隣接するフレーム間の差を求めることによって除去でき、赤外光エミッタによって放射された、受信した赤外線信号は保持される。
赤外光信号は、パルス信号を使用して、光電センサアレイの制御ユニットの駆動周波数の半分に変調される。したがって、データの2つの隣接するフレーム間の差を求めることによって干渉光信号を除去でき、システムの耐干渉性を効果的に高める。加えて、受信した赤外光信号の周波数が決定され、その結果、電子デバイスは、受信した赤外光信号が、電子デバイスに適合する赤外光エミッタによって放射された赤外光かどうかをより容易に判定することもできる。
本出願で提供されるこの実施形態では、赤外光エミッタと、LCD内の特別に設計された液晶モジュールとの提携によって、赤外光エミッタは、近くにあるLCDとオンスクリーンのインタラクションを実施するために、筆記用ペンなどのオンスクリーンのインタラクションツールとして作用し得る。加えて、赤外光エミッタは、LCDとリモートでオフスクリーンのインタラクションを実施するために、リモコンやマウスなどのオフスクリーンのインタラクションツールとしても作用し得る。本出願で提供されるこの実施形態は、オンスクリーンでの筆記や家庭用ゲームやリモコンなどの様々なシナリオに適用され得る。
本明細書では、それぞれの特徴を説明するために「第1の」、「第2の」などの用語が使用される場合があるが、このような特徴は、これらの用語によって限定されるものではないことを理解されたい。これらの用語は区別するためにのみ使用され、相対的な重要性の指示もしくは暗示として理解することはできない。例えば、例示的な実施形態の範囲から逸脱せずに、第1の特徴が第2の特徴と称されてもよく、同様に、第2の特徴が第1の特徴と称されてもよい。
本出願の説明では、特に指定および限定されない限り、「配置する」、「通信する」、および「接続する」という用語は広義に理解されるべきであり、例えば、固定接続、取り外し可能な接続、または統合接続であってもよく、機械的接続または電気的接続であってもよく、直接接続または中間媒体を介した間接接続であってもよく、あるいは2つの要素間の内部通信であってもよいことにさらに留意されたい。当業者であれば、実施形態における上記用語の特定の意味は、特定の状況に基づいて理解することができる。
加えて、前述の説明に使用される「上」、「下」、「左」、「右」、「前」、「後」などの用語で示される方向または位置関係は、添付の図面に基づいて示される方向または位置関係であり、単に本発明の説明を容易にし、かつ説明を簡略化するために使用され、装置または要素が特定の方向を有する必要がある、または特定の方向に構築および操作される必要があることを示す、または暗示するためには使用されず、したがって本出願に対する限定として理解することはできない。
加えて、「有する」および「含む」という用語は、文脈上特に断りのない限り同義語である。「A/B」という語句は、「AまたはB」を示す。「Aおよび/またはB」という語句は、「(A)、(B)、または(AおよびB)」を示す。
加えて、例示的な実施形態を理解するのに最も役立つ方法で、互いに分離した複数の動作として、様々な動作が説明される。しかしながら、説明されている順番は、これらの動作が説明した順番に従わなければならないことを意味すると考えられるべきではなく、動作の多くは並行して、同時発生的に、または同時に行われてもよい。加えて、動作の順番は再配列されてもよい。説明した動作が完了されると、処理は終了され得る。しかしながら、添付の図面に含まれない追加の動作があってもよい。処理は、方法、機能、手順、サブルーチン、サブプログラムなどに対応し得る。
本明細書において「1つの実施形態」、「実施形態」、「例示的な実施形態」などと言うときは、説明した実施形態は特定の特徴、構造、または特性を含み得るが、各実施形態は、特定の特徴、構造、または特性を含む場合もあるし、必ずしも含まない場合もあることを示す。さらに、このような語句は、必ずしも同じ実施形態に固有のものとは限らない。加えて、特定の実施形態を参照して特定の特徴が説明されるときは、実施形態が具体的に説明されるかどうかにかかわらず、当業者の知識によってこれらの特徴と他の実施形態との組み合わせに影響を及ぼすことができる。
本出願の実施形態は、添付の図面を参照して上述されている。しかしながら、本出願の技術的ソリューションの使用は本特許の実施形態で言及されている様々な用途に限定されず、本明細書で言及される様々な有益な効果を達成するために、本出願の技術的ソリューションを参照して、様々な構造および変形が容易に実施され得る。当業者の知識の範囲内で、本出願の目的から逸脱することなく行われた変更はすべて本出願の範囲内に含まれるものとする。
10 画面インタラクションシステム
100 電子デバイス
101 ディスプレイ
102 センサモジュール
103 ワイヤレス通信モジュール
104 メモリ
105 電源モジュール
107 オーディオモジュール
1071 スピーカ
1072 イヤピース
1073 マイクロフォン
1074 ヘッドセットジャック
109 プロセッサ
110 液晶パネル
120 バックライトユニット(BLU)
121 光学膜
122 導光板
123 反射板
124 光源
130 光電センサアレイ、赤外線PDアレイ
131 基板
132 赤外線PD、赤外線光電センサ
1320 波長選択反射板(ESR)
133 駆動ボード
150 液晶モジュール
200 赤外光エミッタ
201 レーザ
202 コリメーションレンズ
203 ハウジング
210 赤外光スポット
310 第1の光スポット
320 第2の光スポット
401 反射材
402 穴
501 反射材
502 反射材(ESR)
601 反射材
810 制御ユニット

Claims (9)

  1. メモリと、プロセッサと、液晶モジュールとを備える電子デバイスであって、
    前記液晶モジュールは、液晶パネルと、バックライトユニットと、光電センサアレイとを備え、前記光電センサアレイと、前記バックライトユニットと、前記液晶パネルとは積み重ねて順次配置され、
    前記バックライトユニットは反射部品を含み、前記反射部品の少なくとも部分的な領域は赤外線が透過できる赤外線透過領域であり、
    前記光電センサアレイは複数の光電センサを含み、前記複数の光電センサは、前記赤外線透過領域を透過した赤外光を受光でき、
    前記メモリは、命令および前記光電センサアレイ内の全光電センサの位置を記憶するように構成され、
    前記プロセッサは、前記命令および前記光電センサの前記位置を読み取り、前記光電センサの前記位置と、前記光電センサで受光した赤外光の強度とに基づいて、前記赤外光が前記液晶パネルに投影される位置を決定するように構成され、
    前記赤外光がパルス赤外光信号であり、前記パルス赤外光信号の周波数が、前記光電センサアレイの駆動周波数の半分であり、
    前記赤外光が前記液晶パネルに投影される位置が、隣接する2つのフレーム間の赤外光の強度の差を求めることによって決定される、電子デバイス。
  2. 前記反射部品に複数の穴が配置され、前記複数の穴が配置される領域が前記赤外線透過領域である、
    請求項1に記載の電子デバイス
  3. 前記複数の穴が、前記光電センサアレイ内の前記複数の光電センサと1対1の対応関係にある、
    請求項2に記載の電子デバイス
  4. 前記穴を通過する前記赤外光を透過し、前記穴を通過する可視光を反射するために、前記複数の光電センサの表面に選択反射部品が配置され、
    前記選択反射部品の面積は、前記穴の面積より小さくない、
    請求項3に記載の電子デバイス
  5. 前記赤外光を透過し可視光を反射するために、前記反射部品の前記穴に選択反射部品が配置され、前記選択反射部品の面積は前記穴の面積より小さくない、
    請求項2に記載の電子デバイス
  6. 前記反射部品が、可視光を反射し前記赤外光を透過する選択反射部品である、
    請求項1に記載の電子デバイス
  7. 前記プロセッサが、
    強度ピークに対応する位置を取得するために、前記光電センサの前記位置、および前記光電センサで受光した前記赤外光の前記強度に対してガウシアンフィッティングを実行し、前記強度ピークは前記光電センサで受光した前記赤外光の強度ピークであり、
    前記強度ピークに対応する前記位置を、前記赤外光が前記液晶パネルに投影される前記位置として使用する、
    ように構成される、請求項に記載の電子デバイス。
  8. 前記プロセッサが、
    前記光電センサで受光した前記赤外光の前記強度の最高強度を決定し、
    前記最高強度を受光した光電センサの位置を、前記赤外光が前記液晶パネルに投影される前記位置として使用する、
    ように構成される、請求項に記載の電子デバイス。
  9. 画面インタラクションシステムであって、電子デバイスと赤外光エミッタとを含み、
    前記赤外光エミッタは、赤外光を放射するように構成され、
    前記電子デバイスは液晶モジュールを備え、前記液晶モジュールは、液晶パネルと、バックライトユニットと、光電センサアレイとを備え、前記光電センサアレイと、前記バックライトユニットと、前記液晶パネルとは積み重ねて順次配置され、前記バックライトユニットは反射部品を含み、前記反射部品は可視光を反射するように構成され、前記反射部品の少なくとも部分的な領域は、前記赤外光エミッタによって放射された赤外線が透過できる赤外線透過領域であり、前記光電センサアレイは複数の光電センサを含み、前記複数の光電センサは、前記赤外線透過領域を透過した前記赤外光を受光でき、
    前記赤外光エミッタが、
    前記赤外光エミッタによって放射された前記赤外光を変調するように構成された、パルス駆動デバイスを備え、その結果、前記赤外光エミッタによって放射された光はパルス赤外光信号になり、
    前記パルス赤外光信号の周波数は、前記光電センサアレイの駆動周波数の半分であり、 前記赤外光が前記液晶パネルに投影される位置が、隣接する2つのフレーム間の赤外光の強度の差を求めることによって決定される、画面インタラクションシステム。
JP2022549360A 2020-02-17 2021-01-08 液晶モジュール、電子デバイス、および画面インタラクションシステム Active JP7471432B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010095747.5A CN113267919A (zh) 2020-02-17 2020-02-17 液晶模组、电子设备及屏幕交互系统
CN202010095747.5 2020-02-17
PCT/CN2021/070876 WO2021164455A1 (zh) 2020-02-17 2021-01-08 液晶模组、电子设备及屏幕交互系统

Publications (2)

Publication Number Publication Date
JP2023513637A JP2023513637A (ja) 2023-03-31
JP7471432B2 true JP7471432B2 (ja) 2024-04-19

Family

ID=77227594

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022549360A Active JP7471432B2 (ja) 2020-02-17 2021-01-08 液晶モジュール、電子デバイス、および画面インタラクションシステム

Country Status (5)

Country Link
US (1) US20230081976A1 (ja)
EP (1) EP4083695A4 (ja)
JP (1) JP7471432B2 (ja)
CN (1) CN113267919A (ja)
WO (1) WO2021164455A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114884578A (zh) * 2022-04-14 2022-08-09 深圳市稳耀半导体科技有限公司 一种带led指示灯或传感器的多功能红外接收模组

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080259030A1 (en) 2007-04-18 2008-10-23 Raphael Holtzman Pre-assembled part with an associated surface convertible to a transcription apparatus
JP2009517755A (ja) 2005-11-30 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電磁ビーム投影の位置検出
US20140183342A1 (en) 2013-01-02 2014-07-03 Apple Inc. Electronic Devices With Light Sensors And Displays
JP2017527045A (ja) 2014-06-20 2017-09-14 深▲ちぇん▼印象認知技術有限公司 画像取得装置、端末装置、及び画像取得方法
US20180052555A1 (en) 2016-03-03 2018-02-22 Boe Technology Group Co., Ltd. Pressure-sensing touch system and method and display system
WO2018116462A1 (ja) 2016-12-22 2018-06-28 Necディスプレイソリューションズ株式会社 カメラ装置、電子黒板システム及び描画信号生成方法
CN109100886A (zh) 2017-06-20 2018-12-28 群创光电股份有限公司 显示装置及其操作方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4567028B2 (ja) * 2006-09-26 2010-10-20 エルジー ディスプレイ カンパニー リミテッド マルチタッチ感知機能を有する液晶表示装置とその駆動方法
KR101407300B1 (ko) * 2007-11-19 2014-06-13 엘지디스플레이 주식회사 멀티 터치 평판 표시모듈
JP4699536B2 (ja) * 2009-03-06 2011-06-15 シャープ株式会社 位置検出装置、制御方法、制御プログラムおよび記録媒体
WO2010137204A1 (ja) * 2009-05-26 2010-12-02 シャープ株式会社 液晶表示装置
CN103189823B (zh) * 2010-11-12 2016-03-09 3M创新有限公司 交互式偏振保持投影显示器
KR102630789B1 (ko) * 2016-08-01 2024-01-30 삼성전자주식회사 터치 입력을 처리하는 방법 및 전자 장치
CN107678602B (zh) * 2017-10-18 2020-11-06 京东方科技集团股份有限公司 红外触控模组和触控显示装置
DE102018203584B4 (de) * 2018-03-09 2024-06-13 Robert Bosch Gmbh Betriebsverfahren für ein LiDAR-System, Steuereinheit für ein LiDAR-System, LiDAR-System und Arbeitsvorrichtung
CN208488620U (zh) * 2018-07-31 2019-02-12 Oppo广东移动通信有限公司 显示屏及电子设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009517755A (ja) 2005-11-30 2009-04-30 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 電磁ビーム投影の位置検出
US20080259030A1 (en) 2007-04-18 2008-10-23 Raphael Holtzman Pre-assembled part with an associated surface convertible to a transcription apparatus
US20140183342A1 (en) 2013-01-02 2014-07-03 Apple Inc. Electronic Devices With Light Sensors And Displays
JP2017527045A (ja) 2014-06-20 2017-09-14 深▲ちぇん▼印象認知技術有限公司 画像取得装置、端末装置、及び画像取得方法
US20180052555A1 (en) 2016-03-03 2018-02-22 Boe Technology Group Co., Ltd. Pressure-sensing touch system and method and display system
WO2018116462A1 (ja) 2016-12-22 2018-06-28 Necディスプレイソリューションズ株式会社 カメラ装置、電子黒板システム及び描画信号生成方法
CN109100886A (zh) 2017-06-20 2018-12-28 群创光电股份有限公司 显示装置及其操作方法

Also Published As

Publication number Publication date
CN113267919A (zh) 2021-08-17
EP4083695A1 (en) 2022-11-02
US20230081976A1 (en) 2023-03-16
WO2021164455A1 (zh) 2021-08-26
EP4083695A4 (en) 2023-06-21
JP2023513637A (ja) 2023-03-31

Similar Documents

Publication Publication Date Title
RU2579952C2 (ru) Система и способ мультисенсорного взаимодействия и подсветки на основе камеры
US20190025987A1 (en) Electronic device having proximity touch function and control method thereof
US9141235B2 (en) Optical position detecting device and display device with position detecting function
JP4513918B2 (ja) 照明装置及び電気光学装置
EP3462234B1 (en) Direct-type backlight display module and display device
US20100321309A1 (en) Touch screen and touch module
EP3822738B1 (en) Display screen assembly, electronic device, and control method for electronic device
JP2009295318A (ja) 照明装置及び電気光学装置
JP7471432B2 (ja) 液晶モジュール、電子デバイス、および画面インタラクションシステム
US20140362054A1 (en) Display control system and reading device
CN209707863U (zh) 电子设备及其背光单元和感测模组
CN209707727U (zh) 导光板和背光单元
JP2010198548A (ja) 位置検出装置、電気光学装置及び電子機器
US11126349B2 (en) Display device and control method thereof
Izadi et al. Thinsight: a thin form-factor interactive surface technology
CN209044429U (zh) 一种设备
JP4228069B2 (ja) 音声情報支援システム
JP5007732B2 (ja) 位置検出方法、光学式位置検出装置、位置検出機能付き表示装置、および電子機器
CN103649879A (zh) 使用位置唯一性光学信号的数字化仪
CN109407758A (zh) 一种设备
CN209707869U (zh) 电子设备和背光单元
CN209707847U (zh) 电子设备
CN209707878U (zh) 电子设备和背光模组
CN209803489U (zh) 一种显示装置及使用该显示装置的电子设备
CN209707874U (zh) 电子设备

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220921

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230929

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240325

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240409

R150 Certificate of patent or registration of utility model

Ref document number: 7471432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150