JP7133610B2 - 電子機器、および表示画像を用いてホットキーを自動的にトリガーする方法 - Google Patents

電子機器、および表示画像を用いてホットキーを自動的にトリガーする方法 Download PDF

Info

Publication number
JP7133610B2
JP7133610B2 JP2020206164A JP2020206164A JP7133610B2 JP 7133610 B2 JP7133610 B2 JP 7133610B2 JP 2020206164 A JP2020206164 A JP 2020206164A JP 2020206164 A JP2020206164 A JP 2020206164A JP 7133610 B2 JP7133610 B2 JP 7133610B2
Authority
JP
Japan
Prior art keywords
host
display
display controller
electronic device
application
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020206164A
Other languages
English (en)
Other versions
JP2021111371A (ja
Inventor
浩鎧 黄
成龍 林
世濱 張
芝成 黄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Giga Byte Technology Co Ltd
Original Assignee
Giga Byte Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Giga Byte Technology Co Ltd filed Critical Giga Byte Technology Co Ltd
Publication of JP2021111371A publication Critical patent/JP2021111371A/ja
Application granted granted Critical
Publication of JP7133610B2 publication Critical patent/JP7133610B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A63F2300/6054—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands by generating automatically game commands to assist the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/65—Methods for processing data by generating or executing the game program for computing the condition of a game character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/807—Role playing or strategy games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0042—Universal serial bus [USB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Transfer Systems (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)

Description

本出願は、２０１９年１２月３１日に出願された台湾特許出願番号第１０８１４８４８２号についての優先権を主張するものであり、これらの全ては引用によって本願に援用される。
本発明は、表示装置に関するものであり、特に、電子機器、および表示画像を用いてホットキーを自動的にトリガーする方法に関するものである。
現在、テレビやコンピュータモニタなどの市販の表示装置は、ますます多くの機能を有しており、これらの機能の多くは、高フレームレート、低応答時間など、ゲーマー向けに特別に設計されている。ゲームプレーヤーがビデオゲームをプレイしているとき、ゲームキャラクターは、健康供給機能（ｈｅａｌｔｈ－ｓｕｐｐｌｙｉｎｇ ｆｕｎｃｔｉｏｎ）の対応するホットキーを、ユーザーの手動の操作により、押して、健康供給を行う必要がよくある。しかしながら、ゲームの状況が緊急のとき、ユーザーは対応するホットキーを手動で押して、手動でブラッド（ｂｌｏｏｄ）を補充できないことがよくある。また、誤って間違ったホットキーを押しやすい。
これに鑑み、前述の問題を解決するために、電子機器、および表示画像を用いてホットキーを自動的にトリガーする方法が提供される。
例示的な実施形態では、電子機器が提供される。電子機器は、表示パネル、表示コントローラ、およびホストを含む。表示コントローラは、表示パネルの表示を制御するように構成される。ホストは表示コントローラに電気的に接続される。ホストは、アプリケーションを実行して表示画像をレンダリングし、ホストと表示コントローラ間の画像伝送チャネルを介して表示画像を表示コントローラに送信する。表示コントローラは、表示画像の特定の領域の画素が所定の条件を満たすか否かを検出する。特定の領域の画素が所定の条件を満たすことに応答して、表示コントローラは、仮想入力信号をトリガーし、ホストと表示コントローラ間のデータ伝送チャネルを介して仮想入力信号をホストに送信し、それにより、ホストが、仮想入力信号に対応する特定の動作を実行するようにする。一実施形態では、画像伝送チャネルは、データ伝送チャネルと異なる。
いくつかの実施形態では、所定の条件は、前記特定の領域の画素の色に特定の変化が現れること、前記特定の領域の画素の色が特定の比率になること、または、前記特定の領域の画素に特定のパターンもしくは特定のテキストがあることを含む。いくつかの実施形態では、仮想入力信号は、ユニバーサルシリアルバス（ＵＳＢ）プロトコルをサポートするキーボードスキャンコードである。
いくつかの実施形態では、ホストは、検出プログラムを実行して、ホストがアプリケーションを実行しているか否かを検出する。検出プログラムがホストがアプリケーションを実行していることを検出したとき、ホストはアプリケーションの実行状況をデータ伝送チャネルを介して表示コントローラに送信し、表示コントローラが電子機器の記憶ユニットからアプリケーションに対応するファームウェアを読み出して実行することにより、特定の領域と所定の条件を設定する。
いくつかの実施形態では、特定の領域および所定の条件は、ホストにより実行された検出プログラムのユーザーインターフェースによって設定され、検出プログラムは、ホストがアプリケーションを実行しているか否かを検出する。検出プログラムがホストがアプリケーションを実行していることを検出したとき、ホストはアプリケーションの実行状況をデータ伝送チャネルを介して表示コントローラに送信する。
いくつかの実施形態では、特定の領域および所定の条件は、電子機器のオンスクリーンディスプレイ（ＯＳＤ）メニューによって設定される。
いくつかの実施形態では、電子機器は、ハブおよびキーボードコントローラをさらに含む。キーボードコントローラはハブを介して表示コントローラに接続され、ホストが認識するためのベンダ識別子および製品識別子を提供するように構成される。
いくつかの実施形態では、表示コントローラが、特定の領域の画素が所定の条件を満たすと判定したとき、表示コントローラは、ホットキー制御信号をキーボードコントローラに送信し、キーボードコントローラは、符号化手順を介してホットキー制御信号を対応する仮想入力信号に変換し、データ伝送チャネルを介して仮想入力信号をホストに送信する。
いくつかの実施形態では、表示コントローラは、表示画像のゲームキャラクターおよびそのライフバーを追跡し、ライフバーに対応する特定の領域の画素が所定の条件を満たすか否かを分析するようにさらに構成される。
もう１つの例示的な実施形態では、表示画像を用いてホットキーを自動的にトリガーする方法が提供される。方法は電子機器に用いられる。電子機器は、表示パネル、表示コントローラ、およびホストを含む。前記方法は、以下のステップ、ホストを用いてアプリケーションを実行して表示画像をレンダリングするステップと、表示コントローラを用いて表示画像の特定の領域の画素が所定の条件を満たすか否かを検出するステップと、特定の領域の画素が所定の条件を満たすことに応答して、表示コントローラを用いて、仮想入力信号をトリガーし、ホストと表示コントローラ間のデータ伝送チャネルを介して仮想入力信号をホストに送信し、それにより、ホストが、仮想入力信号に対応する特定の動作を実行するステップとを含む。
本発明は、添付の図面を参照しながら以下の詳細な説明及び例を読むことで、より完全に理解することができる。
本発明の実施形態による電子機器のブロック図である。 本発明の実施形態による電子機器のホストと表示装置間の接続図である。 本発明の実施形態による電子機器のホストと表示装置間の接続図である。 本発明の実施形態によるゲームインターフェースの図である。 本発明の実施形態によるゲームインターフェースの図である。 本発明の実施形態による、表示画像を用いてホットキーを自動的にトリガーする方法のフローチャートである。
以下の説明は、本発明の一般的な原理を例示する目的のものであり、本発明を限定するものではない。本発明の範囲は、添付の特許請求の範囲を参考にして決定される。
図１は、本発明の実施形態による電子機器のブロック図である。電子機器１０は、例えば、パーソナルコンピュータまたは表示装置を備えたサーバであってもよい。図１に示されるように、電子機器１０は、ホスト１００および表示装置２００を含み、ホスト１００は、表示装置２００と信号接続される。例えば、ホスト１００は、処理ユニット１１０、グラフィックス処理ユニット（ＧＰＵ）１２０、メモリユニット１３０、記憶装置１４０、１つ以上の伝送インターフェース１５０、および１つ以上の周辺装置１６０を含むことができる。処理ユニット１１０、グラフィックス処理ユニット１２０、メモリユニット１３０、記憶装置１４０、伝送インターフェース１５０、および周辺装置１６０は、システムバス１１１を介して互いに結合されることができる。処理ユニット１１０は、例えば、中央処理ユニット（ＣＰＵ）、汎用プロセッサなどであることができるが、本発明はそれに限定されない。グラフィックス処理ユニット１２０は、例えば、ビデオアダプタ上のグラフィックス処理ユニットであり、または処理ユニット１１０に統合されることができる。
メモリユニット１３０は、スタティックランダムアクセスメモリ（ＳＲＡＭ）またはダイナミックランダムアクセスメモリ（ＤＲＡＭ）などのランダムアクセスメモリであることができるが、本発明はそれらに限定されない。記憶装置１４０は、ハードディスクドライブ、ソリッドステートディスク（ＳＳＤ）、フラッシュメモリ、または読み取り専用メモリ（ＲＯＭ）などの不揮発性メモリであることができるが、本発明はそれらに限定されない。
伝送インターフェース１５０は、有線伝送インターフェースおよび／または無線伝送インターフェースを含むことができる。有線伝送インターフェースは、高解像度マルチメディアインターフェース（ＨＤＭＩ（登録商標）、ＤｉｓｐｌａｙＰｏｒｔ（ＤＰ）インターフェース、埋め込みＤｉｓｐｌａｙＰｏｒｔ（ｅＤＰ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、ＵＳＢ Ｔｙｐｅ－Ｃインターフェース、Ｔｈｕｎｄｅｒｂｏｌｔ（登録商標）インターフェース、デジタルビデオインターフェース（ＤＶＩ）、ビデオグラフィックスアレイ（ＶＧＡ）インターフェース、汎用入出力（ＧＰＩＯ）インターフェース、ユニバーサル非同期レシーバー／トランスミッター（ＵＡＲＴ）インターフェース、シリアル周辺インターフェース（ＳＰＩ）、内部統合回路（Ｉ２Ｃ）インターフェース、またはそれらの組み合わせを含むことができる。無線伝送インターフェースは、ブルートゥース（登録商標）、ＷｉＦｉ（登録商標）、近距離無線通信（ＮＦＣ）インターフェースなどを含むことができるが、本発明はそれらに限定されない。周辺装置１６０は、例えば、キーボード、マウス、タッチパッドなどの入力装置を含むことができるが、これらに限定されない。
例えば、記憶装置１４０は、１つ以上のアプリケーション１４１、オペレーティングシステム１４２（例えば、Ｗｉｎｄｏｗｓ（登録商標）、Ｌｉｎｕｘ（登録商標）、ＭａｃＯＳなど）、およびオンスクリーンディスプレイ（ＯＳＤ）メニュー制御プログラム１４３を記憶することができる。処理ユニット１１０は、アプリケーション１４１のうちの１つ、オペレーティングシステム１４２、およびＯＳＤメニュー制御プログラム１４３をメモリユニット１３０にロードし、実行することができる。ＯＳＤメニュー制御プログラム１４３は、ユーザーがホスト１００の周辺装置１６０を用いて表示装置２００のＯＳＤメニューを制御できるように構成されている。その詳細は後述する。グラフィックス処理ユニット１２０は、処理ユニット１１０によって実行されるアプリケーションのグラフィックス処理を実行して、１つ以上の画像を含む画像信号を生成することができ、伝送インターフェース１５０のうちの１つ（例えば、ＨＤＭＩインターフェースまたはＤｉｓｐｌａｙＰｏｒｔインターフェース）を介して画像信号を表示装置２００に送信する。
表示装置２００は、例えば、フラットパネルディスプレイ、テレビ、プロジェクタ、またはコンピュータモニタであることができるが、本発明はこれらに限定されない。表示装置２００は、表示コントローラ２１０、表示モジュール２２０、記憶ユニット２３０、画像バッファ２４０、１つ以上の伝送インターフェース２５０、入力インターフェース２６０、およびハブ２７０を含む。伝送インターフェース２５０は、有線伝送インターフェースおよび／または無線伝送インターフェースを含むことができる。有線伝送インターフェースは、高解像度マルチメディアインターフェース（ＨＤＭＩ）、ＤｉｓｐｌａｙＰｏｒｔ（ＤＰ）インターフェース、埋め込みＤｉｓｐｌａｙＰｏｒｔ（ｅＤＰ）インターフェース、低電圧差動信号（ＬＶＤＳ）インターフェース、ユニバーサルシリアルバス（ＵＳＢ）インターフェース、ＵＳＢ Ｔｙｐｅ－Ｃインターフェース、Ｔｈｕｎｄｅｒｂｏｌｔインターフェース、デジタルビデオインターフェース（ＤＶＩ）、ビデオグラフィックスアレイ（ＶＧＡ）インターフェース、汎用入出力（ＧＰＩＯ）インターフェース、ユニバーサル非同期レシーバー／トランスミッター（ＵＡＲＴ）インターフェース、シリアル周辺インターフェース（ＳＰＩ）、内部統合回路（Ｉ２Ｃ）インターフェース、またはそれらの組み合わせを含むことができる。無線伝送インターフェースは、ブルートゥース、ＷｉＦｉ、近距離無線通信（ＮＦＣ）インターフェースなどを含むことができるが、本発明はそれらに限定されない。
表示コントローラ２１０は、例えば、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、プロセッサ、またはマイクロコントローラによって実装されることができるが、本発明はそれらに限定されない。
表示モジュール２２０は、例えば、液晶表示パネル、発光ダイオード（ＬＥＤ）表示パネル、有機発光ダイオード（ＯＬＥＤ）表示パネル、陰極線管（ＣＲＴ）ディスプレイ、Ｅ－Ｉｎｋディスプレイモジュール、エレクトロルミネセントディスプレイモジュール、プラズマディスプレイモジュール、プロジェクションディスプレイモジュール、または量子ドットディスプレイモジュールであることができるが、本発明はこれらに限定されない。
記憶ユニット２３０は、例えば、読み取り専用メモリ（ＲＯＭ）、消去可能プログラム可能読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラム可能読み取り専用メモリ（ＥＥＰＲＯＭ）などの不揮発性メモリであることができるが、本発明はこれらに限定されない。記憶ユニット２３０は、表示装置２００に関連するファームウェア２３１を記憶するように構成される。記憶ユニット２３０は、表示コントローラ２１０の外部に配置されてもよく、あるいは、表示コントローラ２１０内に統合されてもよい。
ファームウェア２３１は、例えば、表示装置２００の拡張ディスプレイ識別データ（ＥＤＩＤ）および表示設定、ならびに１つ以上のオンスクリーンディスプレイ（ＯＳＤ）インターフェース２３３を含むことができる。ＥＤＩＤは、例えば、表示装置２００の製造業者、製品名、解像度、フレーム毎秒（ＦＰＳ）などの情報を含むことができる。表示装置２００の表示設定は、表示装置２００の輝度、コントラスト、シャープネス、色温度を含むことができる。ファームウェア２３２は、表示装置２００のＯＳＤインターフェース２３３を制御するのに用いられる。
一実施形態では、表示コントローラ２１０は、バス（例えば、Ｉ２Ｃバス）を介して記憶ユニット２３０に記憶されたファームウェア２３１、２３２、およびＯＳＤインターフェース２３３のプログラムコードを読み取り、対応する表示パラメータを構成することができる。さらに、表示コントローラ２１０は、表示装置２００のＥＤＩＤを、伝送インターフェース２５０の１つ（例えば、画像伝送チャネルまたはデータ伝送チャネルであってもよい）を介してホスト１００に送信することができ、これにより、ホスト１００の処理ユニット１１０およびグラフィックス処理ユニット１２０は、ＥＤＩＤに基づいて、出力画像信号の解像度および対応する同期信号を構成することができる。ＯＳＤインターフェース２３３は、例えば、ＯＳＤメニューおよび対応するオプション、情報ダッシュボード、タイマー、カウンター、クロスヘア、特定のシンボル、特定のカラー、特定のテキスト、またはそれらの組み合わせを含むことができるが、本発明は、それらに限定されない。
画像バッファ２４０は、例えば、揮発性メモリ（例えば、ＤＲＡＭ）または不揮発性メモリ（例えば、フラッシュメモリ）であることができ、これは、表示モジュール２２０に表示される出力画像を記憶するように構成されており、ホスト１００または表示コントローラ２１０は、ホスト１００によって生成されたＯＳＤ制御信号に従って、画像バッファ２４０に記憶された画像信号の特定の領域に１つ以上のＯＳＤインターフェース２３３を上書きし、出力画像を生成する。
入力インターフェース２６０は、表示装置２００のＯＳＤメニューを制御するように構成される。入力インターフェース２６０は、１つ以上の物理ボタン２６１または５方向ジョイスティック２６２によって実施されて、上、下、左、右、および確認などの指示を実施することができる。ハブ２７０は、例えばＵＳＢハブであることができ、伝送インターフェース２５０のうちの１つはＵＳＢインターフェースであることができる。ホスト１００は、ハブ２７０によって伝送インターフェース１５０および２５０のＵＳＢインターフェースを介して表示コントローラ２１０にデータを送信することができ、表示コントローラ２１０も、ハブ２７０によって伝送インターフェース１５０および２５０のＵＳＢインターフェースを介してホスト１００にデータを送信することができる。
いくつかの実施形態では、表示装置２００は、キーボードコントローラ２７１を含むことができ、キーボードコントローラ２７１は、ホスト１００によって認識されるための物理的なベンダ識別子および製品識別子を提供するように構成された組み込みマイクロコントローラまたはキーボード集積回路によって実装されることができる。いくつかの他の実施形態では、ユーザーは、ＵＳＢキーボードおよび／またはＵＳＢマウスを表示装置２００のハブ２７０に接続することができ、それによりホスト１００が、使用するための物理的なキーボード（例えば、キーボードＩＤを提供するためのキーボードコントローラを含む）およびマウスの接続があることを検出することができる。
表示装置２００がキーボードコントローラ２７１を備えているとき、キーボードコントローラ２７１は、符号化手順を介して、表示コントローラ２１０からのホットキー制御信号に従って、対応する仮想入力信号を生成することができる。キーボードコントローラ２７１は、生成された仮想入力信号をハブ２７０を介してホスト１００に送信することができる。例えば、ハブ２７０は、伝送インターフェース１５０および２５０のＵＳＢインターフェースを介してホスト１００と電気的に接続されるため、仮想入力信号は、ＵＳＢプロトコルに対応するキーボードスキャンコードであることができるが、本発明はそれに限定されない。
一実施形態では、ユーザーが５方向ジョイスティック２６２のうちの１つの方向における操作を行ったとき（または物理ボタン２６１のうちの１つを押したとき）、表示コントローラ２１０は、記憶ユニット２３０からファームウェア２３２と、ＯＳＤインターフェース２３３のＯＳＤメニュー及び対応するオプションのプログラムコードまたはファームウェアとを読み取り、ＯＳＤメニューおよび対応するオプションを表示モジュール２２０に表示することができる。一実施形態では、ユーザーは、入力インターフェース２６０に操作を行い、表示装置２００のＯＳＤメニューを制御して、輝度、コントラスト、シャープネス、色温度を調整するか、またはＯＳＤインターフェース２３３の他のインターフェースをアクティブ化または非アクティブ化することができる。もう１つの実施形態では、例えば、ＯＳＤインターフェース２３３およびＯＳＤインターフェース２３３上に表示されるコンテンツのアクティブ化および非アクティブ化は、ホスト１００の周辺装置１６０によって制御されることができ、詳細は後述する。例えば、ファームウェア２３１は、表示装置２００のデフォルトのファームウェアとみなすことができ、ユーザーは、５方向ジョイスティック２６２（または物理ボタン２６１）を介して表示装置２００に表示されるＯＳＤインターフェース２３３の設定を制御することができる。
一実施形態では、表示コントローラ２１０は、画像スカラー２１１およびタイミングコントローラ２１２を含むことができる。表示コントローラ２１０は、伝送インターフェース２５０のうちの１つを介して、ホスト１００からの画像信号および／または他のホストからの別の信号を受信することができ、画像スカラー２１１は、受信した画像信号について画像スケーリングプロセスおよび／または画像オーバーレイプロセスを行い、表示モジュール２２０の解像度に適合させ、画像スケーリングプロセスによって生成された画像（例えば、出力画像）を画像バッファ２４０に記憶することができる。タイミングコントローラ２１２は、表示モジュール２２０を制御して、画像バッファ２４０から出力画像を読み取り、表示するようにさせることができる。
もう１つの実施形態では、表示コントローラ２１０は、タイミングコントローラ２１２を含むことができ、ホスト１００からの画像信号の解像度は、表示モジュール２２０の解像度に適合することができる。従って、表示コントローラ２１０は、画像スケーリングプロセスを行うことなく、ホスト１００から受信した画像信号を画像バッファ２４０に直接記憶することができる。タイミングコントローラ２１２は、画像バッファ２４０に記憶された出力画像を読み取り、表示モジュール２２０を制御して出力画像を表示させることができる。
図２Ａおよび図２Ｂは、本発明の実施形態による、電子機器のホストと表示装置間の接続図である。
一実施形態では、図２Ａに示すように、ホスト１００のグラフィックス処理ユニット１２０によって生成された画像信号は、ホスト１００の伝送インターフェース１５０Ａ（例えば、ＨＤＭＩインターフェース）および表示装置２００の伝送インターフェース２５０Ａ（例えば、ＨＤＭＩインターフェース）を介して、表示装置２００の表示コントローラ２１０に送信されることができる。例えば、伝送インターフェース１５０Ａと２５０Ａ間の伝送チャネルは、画像伝送チャネルとみなすことができる。伝送インターフェース１５０Ｂと２５０Ｂ間の伝送チャネルは、データ伝送チャネルまたは制御信号伝送チャネルとみなすことができる。いくつかの実施形態では、電子機器１０がラップトップコンピュータである場合、伝送インターフェース１５０Ａおよび２５０Ａは、ｅＤＰインターフェースまたはＬＶＤＳインターフェースであることができ、伝送インターフェース１５０Ｂおよび２５０Ｂは、内部バスインターフェース、Ｉ２Ｃインターフェース、またはＳＰＩインターフェースであることができるが、本発明はそれに限定されない。
いくつかの他の実施形態では、図２Ｂに描かれているように、ホスト１００のグラフィックス処理ユニット１２０によって生成された画像信号は、ホスト１００の伝送インターフェース１５０Ｃ（例えば、ＵＳＢ Ｔｙｐｅ－Ｃインターフェース）と、表示装置２００の対応する伝送インターフェース２５０Ｃ（例えば、ＵＳＢ Ｔｙｐｅ－Ｃインターフェース）とを介して、表示装置２００の表示コントローラ２１０に送信されることができる。
ＵＳＢ Ｔｙｐｅ－Ｃプロトコルは、画像／ビデオ伝送（例えば、ＤｉｓｐｌａｙＰｏｒｔまたはＨＤＭＩ規格をサポートする）に加えて、Ｈｉ－ＳｐｅｅｄおよびＳｕｐｅｒＳｐｅｅｄデータ送信をサポートすることができることに留意されたい。即ち、画像伝送チャネルとデータ伝送チャネルは、ＵＳＢ Ｔｙｐｅ－Ｃインターフェースに統合されることができる。したがって、ホスト１００は、ホスト１００の伝送インターフェース１５０Ｃ（例えば、ＵＳＢ Ｔｙｐｅ－Ｃインターフェース）と、表示装置２００の対応する伝送インターフェース２５０Ｃ（例えば、ＵＳＢ ＴｙｐｅＣインターフェース）とを介して、ＯＳＤ制御信号を表示装置２００に送信することができる。
さらに、図２Ａまたは図２Ｂの実施形態では、表示装置２００の表示コントローラ２１０は、ホスト１００の表示画像の特定の領域または選択された領域の画素が所定の条件を満たすか否かを検出することができる。例えば、ホスト１００がコンピュータゲームを実行しており、且つコンピュータゲームのユーザーインターフェースにより表示される情報が、ゲームキャラクターのライフバーまたはマナバーを含むことができる場合、ホスト１００は、コンピュータゲームの表示画像の画像信号を、伝送インターフェース１５０および２５０を介して表示コントローラ２１０に送信する（例えば、図２Ａまたは図２Ｂに示される接続によって実施されることができる）。したがって、表示コントローラ２１０は、特定の領域または選択された領域の画素が所定の条件を満たすか否かを分析することができ、前述の所定の条件は、例えば、特定の領域もしくは選択された領域の画素の色に特定の変化が現れること、特定の領域もしくは選択された領域の画素の色が特定の比率になること、または、特定のパターンもしくは特定のテキストが特定の領域もしくは選択された領域の画素にあることであることができる。
具体的には、表示コントローラ２１０によって検出される表示画像の特定の領域または選択された領域は、異なる方法で設定されることができる。例えば、一実施形態では、ホスト１００によって実行されたプログラム（例えば、特定のコンピュータゲームまたはユーティリティプログラム）に対応するファームウェア設定が事前設定されて、表示装置２００の記憶ユニット２３０に記憶されることができる。ホスト１００は、検出プログラムを実行して、ホスト１００が現在特定のコンピュータゲームまたはアプリケーションを実行しているか否かを検出することができる。ホスト１００が現在特定のコンピュータゲームまたはアプリケーションプログラムを実行していることが検出された場合、ホスト１００は、データ伝送チャネルを介して、特定のコンピュータゲームまたはアプリケーションの実行状況を表示コントローラ２１０に送信することができるため、表示コントローラ２１０は、記憶ユニット２３０に事前に記憶された特定のコンピュータゲームまたはアプリケーションに対応するファームウェアを読み取って実行することができ、それにより、特定のコンピュータゲームまたはアプリケーションの表示画像の特定の領域の画素が所定の条件を満たすか否かを検出することができる。
もう１つの実施形態では、ホスト１００が特定のコンピュータゲームまたはアプリケーションを実行しているか否かを検出することに加えて、ホスト１００により実行された検出プログラムは、ユーザーインターフェースも提供することができる。該ユーザーインターフェースでは、ユーザーがボックスフレームを用いて、表示装置２００により検出される表示画像の領域の大きさおよび位置を選択でき、選択した領域でトリガーするための所定の条件を選択できる。例えば、所定の条件は、ゲーム画面のライフバーが緑色から赤色に変化したこと、またはライフバーが所定の比率以下になったことである。あるいは、表示装置２００がゲームキャラクターおよびそのライフバー（例えば、異なる形状または色を有することができる）またはライフテキスト（ｌｉｆｅ ｔｅｘｔ）、またはポイズン記号（ｐｏｉｓｏｎ ｓｙｍｂｏｌ）などを追跡するように設定することができるが、本発明はそれらに限定されない。設定が完了した後、ホスト１００は、設定後の選択した領域をデータ伝送チャネルを介して表示装置２００の表示コントローラ２１０に送信することができ、表示コントローラ２１０は、表示画像の選択した領域の画素が所定の条件を満たすか否かを検出する。
さらにもう１つの実施形態では、ユーザーは、表示装置２００の５方向ジョイスティック２６２または物理ボタン２６１を操作することにより表示装置２００のＯＳＤメニューを呼び出すことができ、ＯＳＤメニューから対応する検出設定オプションを選択して、表示画像で検出される領域を選択し、選択された領域でトリガーする所定の条件を選択することができる。例えば、所定の条件は、ゲーム画面のライフバーが緑色から赤色に変化したこと、またはライフバーが所定の比率以下になったことである。あるいは、表示装置２００がゲームキャラクターおよびそのライフバー（例えば、異なる形状または色を有することができる）またはライフテキスト（ｌｉｆｅ ｔｅｘｔ）、またはポイズン記号（ｐｏｉｓｏｎ ｓｙｍｂｏｌ）などを追跡するように設定することができるが、本発明はそれらに限定されない。設定が完了した後、ホスト１００は、設定後の選択した領域をデータ伝送チャネルを介して表示装置２００の表示コントローラ２１０に送信することができ、表示コントローラ２１０は、表示画像の選択した領域の画素が所定の条件を満たすか否かを検出する。
表示装置２００がキーボードコントローラ２７１を含まない場合、表示コントローラ２１０が画像信号の特定の領域または選択された領域の画素が所定の条件を満たすことを検出したとき、表示コントローラ２１０は、特定のキーまたはキーの組み合わせをトリガーするための仮想入力信号を生成し、伝送インターフェース１５０および２５０を介して仮想入力信号をホスト１００に送信することができる。仮想入力信号は、例えば、ＵＳＢプロトコルと互換性のあるキーボードスキャンコードであることができる。ホスト１００が仮想入力信号を受信した後、ホスト１００は、仮想入力信号を複号化して、特定のキーまたはキーの組み合わせを表す入力信号を取得し、入力信号によって表された特定のキーまたはキーの組み合わせを実行する。
表示装置２００がキーボードコントローラ２７１を含む場合、表示コントローラ２１０は、ホットキー制御信号をキーボードコントローラ２７１（例えば、ハブ２７０を介して、または直接キーボードコントローラ２７１）に送信することができ、キーボードコントローラ２７１は、符号化手順を介してホットキー制御信号を対応する仮想入力信号に変換することができ、仮想入力信号は、例えば、ＵＳＢプロトコルをサポートするキーボードスキャンコードであることができる。仮想入力信号を受信した後、ホスト１００は、仮想入力信号を復号化して、特定のキーまたはキーの組み合わせを表す入力信号を取得し、入力信号によって表される特定の操作を実行する（例えば、特定のキーまたはキーの組み合わせを押す）。
例えば、コンピュータゲームでは、入力信号によって表される特定のキーまたはキーの組み合わせは、例えば、ブラッド補充アイテム（ｂｌｏｏｄ－ｒｅｐｌｅｎｉｓｈｉｎｇ ｉｔｅｍｓ）を用いる、解毒剤（解毒剤）を用いる、またはキャラクタースキル（ｃｈａｒａｃｔｅｒ ｓｋｉｌｌｓ）やビッグトリック（ｂｉｇ ｔｒｉｃｋ）を用いるなど、コンピュータゲームで設定された特定のホットキーまたはホットキーの組み合わせであることができる。しかしながら、本発明は、コンピュータゲームにのみ適用されることに限定されるものではなく、他の一般的な用途にも適用されることができる。
図３Ａおよび図３Ｂは、本発明の実施形態によるゲームインターフェースの図である。
具体的には、表示コントローラ２１０が弱い演算能力を有するマイクロコントローラで実装された場合、表示コントローラ２１０も、特定の領域または選択された領域の画素の色の変化または特定の比率を決定することができる。例えば、ホスト１００から表示コントローラ２１０に送信される画像信号は、伝送インターフェース１５０を介してチャネル符号化されたＲＧＢ信号であることができる。表示装置２００の伝送インターフェース２５０が、受信した画像信号に対してチャネル復号化を行ったとき、ＲＧＢ信号が得られることができ、したがって、表示コントローラ２１０が表示画像の各画素の色を決定することができる。例えば、異なる所定の範囲の赤色、緑色、および青色のサブピクセルの値が異なる色に分類されることができる。従って、表示コントローラ２１０は、選択された範囲の画素の色変化または色分布比に関する情報を取得し、仮想入力信号をトリガーするか否かを決定することができる。
さらに、表示コントローラ２１０が強い演算能力を有するプロセッサによって実装された場合、表示コントローラ２１０は、ゲームキャラクターおよびそのライフバーを追跡することができる。例えば、いくつかのコンピュータゲームは、表示画像の固定位置に配置されていないゲームキャラクターを有するため、表示画像でゲームキャラクターの位置を検出し、その対応するキャラクターのライフバーを判定する必要がある。しかしながら、キャラクターのライフバーは、必ずしも長いバーやグリッドで表示されるとは限らないが、ライフテキストや数字で表示されることもできる。一実施形態では、表示コントローラ２１０は、表示画像のキャラクターのライフテキストまたは数字を認識して、ゲームキャラクターの現在のライフ値を取得し、ゲームキャラクターの現在のライフ値が所定の値または所定の比率よりも小さいか否かを判定することができる。当業者は、画像の文字または数字を認識する技術的内容を理解することができるであろう。したがって、ここではその詳細を繰り返さない。
図３Ａに示されるように、ゲームキャラクター３１０は、例えば、ユーザーインターフェース３００の中央に配置されることができ、ゲームキャラクター３１０が活気に満ちているとき、ブロック３２０のゲームキャラクターのライフバーは、一定の長さまたは数のセル（ｃｅｌｌ）（例えば、５セル）を有し、緑色で表されることができるが、本発明はそれに限定されない。
ゲームキャラクターの健康レベルがゲームで損傷したとき、ブロック３２０のキャラクターの寿命（ｃｈａｒａｃｔｅｒ’ｓ ｌｉｆｅ）のセルの長さまたは数は減少され、黄色（例えば、寿命が５０％から１００％の間）または赤（例えば、寿命が５０％以下）に表示されることがある。表示コントローラ２１０が、コンピュータゲームの表示画像の特定の領域（即ち、ブロック３２０）のライフセルの長さまたは数が、図３Ｂの２つのライフセルによって示されるように、所定の比率よりも低い（例えば、３セル以下または５０％以下）と判定した場合、このとき、表示装置２００は、仮想入力信号（例えば、寿命を補充する（ｌｉｆｅ－ｒｅｐｌｅｎｉｓｈｉｎｇ）ホットキーＨが押されていることを表している）をトリガーし、仮想入力信号をホスト１００に送信することができる。さらに、前述の判定方法に加えて、表示コントローラ２１０が、コンピュータゲームの表示画像の特定の領域（即ち、ブロック３２０）のライフバーの色が赤色になったと判定したとき、仮想入力信号がトリガーされるようにしてもよい。
したがって、仮想入力信号を受信した後、ホスト１００は、仮想入力信号に対応する特定の動作（例えば、寿命を補充するホットキーＨを押す）を実行することができる。上述の実施形態は、図２Ａまたは図２Ｂのアーキテクチャに適用可能であるだけでなく、キーボードコントローラ２７１を備えたまたは備えていない表示装置２００のアーキテクチャにも適用可能であることに留意されたい。
図４は、本発明の実施形態による、表示画像を用いたホットキーを自動的にトリガーする方法のフローチャートである。
ステップＳ４１０では、ホスト１００は、アプリケーションを実行して表示画像をレンダリングし、ホスト１００と表示コントローラ２１０間の画像伝送チャネルを介して、表示画像を表示コントローラ２１０に送信する。例えば、ホスト１００は、表示画像の画像信号を画像伝送チャネルを介して、表示装置２００に送信することができ、且つ表示装置２００が仮想入力信号をトリガーすることを判定したとき、表示装置２００は、データ伝送チャネルを介して仮想入力信号をホスト１００に送信し、データ伝送チャネルと画像伝送チャネルの接続は、図２Ａおよび図２Ｂの実施形態を参照することができる。
ステップＳ４２０では、表示コントローラ２１０は、表示画像の特定の領域の画素が所定の条件を満たすか否かを検出する。例えば、表示コントローラ２１０は、ホスト１００からの表示画像の画像信号を画像バッファ２４０に記憶することができ、表示コントローラ２１０は、画像バッファ２４０に記憶された表示画像の特定の領域の画素を読み出して分析し、特定の領域の画素が所定の条件を満たすか否かを判定することができる。例えば、所定の条件は、特定の領域（もしくは選択された領域）の画素の色に特定の変化が現れること、特定の領域（もしくは選択された領域）の画素の色が特定の比率になること、または、特定のパターンもしくは特定のテキストが特定の領域（もしくは選択された領域）の画素にあることであることができる。例えば、ホスト１００によって実行されたアプリケーションはコンピュータゲームであることができ、特定の領域はゲームキャラクターのライフバーの周囲の領域であることができる。
前述の実施形態では、表示コントローラ２１０によって検出される特定の領域または選択された領域は、様々な方法で設定されることができる。例えば、（１）事前に設定された特定のコンピュータゲームまたはアプリケーションのファームウェアが用いられ、ホスト１００により実行された検出プログラムは、ホスト１００が特定のコンピュータゲームまたはアプリケーションを実行しているか否かを検出することができる。ホスト１００が特定のコンピュータゲームまたはアプリケーションを実行していることが検出された場合、ホスト１００は、データ伝送チャネルを介して、特定のコンピュータゲームまたはアプリケーションの実行状況を表示コントローラ２１０に送信することができるため、表示コントローラ２１０は、記憶ユニット２３０に事前に記憶された特定のコンピュータゲームまたはアプリケーションに対応するファームウェアを読み取って実行することができ、それにより、特定のコンピュータゲームまたはアプリケーションの表示画像の特定の領域の画素が所定の条件を満たすか否かを検出することができる。（２）ホスト１００により実行された検出プログラムのユーザーインターフェースを用いることができる。該ユーザーインターフェースでは、ユーザーがボックスフレームを用いて、表示コントローラ２１０により検出された表示画像の領域の大きさおよび位置を選択でき、選択した領域でトリガーするための所定の条件を選択できる。（３）ユーザーは、表示装置２００の５方向ジョイスティック２６２または物理ボタン２６１を操作することにより表示装置２００のＯＳＤメニューを呼び出すことができ、ＯＳＤメニューから対応する検出設定オプションを選択して、表示画像で検出される領域を選択し、選択された領域でトリガーする所定の条件を選択することができる。
ステップＳ４３０では、特定の領域の画素が所定の条件を満たすことに応答して、表示コントローラ２１０は、仮想入力信号を生成し、仮想入力信号をデータ伝送チャネルを介してホスト１００に送信し、それにより、ホスト１００が仮想入力信号に対応する特定の動作を実行する。例えば、仮想入力信号は、ＵＳＢプロトコルをサポートするキーボードスキャンコードであることができる。仮想入力信号を受信した後、ホスト１００は、仮想入力信号を復号化して、仮想入力信号によって表された特定のキーまたはキーの組み合わせの入力信号を取得し、入力信号によって表された特定のキーまたはキーの組み合わせを実行することができる。上述の実施形態は、図２Ａまたは図２Ｂのアーキテクチャに適用可能であるだけでなく、キーボードコントローラ２７１を備えたまたは備えていない表示装置２００のアーキテクチャにも適用可能であることに留意されたい。
要約すると、表示画像を用いてホットキーを自動的にトリガーする電子機器および方法が提供される。電子機器および方法は、特定の領域または選択された領域の画素が所定の条件を満たすか否かを検出し、画素が所定の条件を満たすと表示コントローラが判定した場合、仮想入力信号を生成することができる。表示コントローラは、ホストと表示装置との間のデータ伝送チャネルを介して仮想入力信号をホストに送信することができ、それにより、ホストは、仮想入力信号に対応する特定の操作（例えば、特定のキーまたはキーの組み合わせを押す）を実行することができる。従って、表示装置による表示画像の分析によりホットキーを自動トリガーする機能は、ユーザーがゲームをプレイしているときにゲームキャラクターの寿命を手動でしか補充できないか、または寿命を補充できないという状況を回避し、これによってユーザーエクスペリエンスを向上させることができる。
請求項における「第１」、「第２」、および「第３」などの用語の使用は、請求項における要素を変更するために使用され、優先順位があること、先行関係があること、または別の要素より先行する要素があること、または方法のステップを実行するときの時系列順があることを示すために用いられるものではなく、同じ名前の要素を区別するためにのみ用いられるものである。
本発明は、例として及び望ましい実施の形態によって記述されているが、本発明は開示された実施形態に限定されるものではない。逆に、当業者には自明の種々の変更及び同様の配置をカバーするものである。よって、添付の特許請求の範囲は、最も広義な解釈が与えられ、全てのこのような変更及び同様の配置を含むべきである。
１０ 電子機器
１００ ホスト
２００ 表示装置
１１０ 処理ユニット
１１１ システムバス
１２０ グラフィックス処理ユニット（ＧＰＵ）
１３０ メモリユニット
１４０ 記憶装置
１４１ アプリケーション
１４２ オペレーティングシステム
１４３ オンスクリーンディスプレイ（ＯＳＤ）メニュー制御プログラム
１５０、１５０Ａ～１５０Ｃ 伝送インターフェース
１６０ 周辺装置
２１０ 表示コントローラ
２１１ 画像スカラー
２１２ タイミングコントローラ
２２０ 表示モジュール
２３０ 記憶ユニット
２３１、２３２ ファームウェア
２３３ オンスクリーンディスプレイ（ＯＳＤ）インターフェース
２４０ 画像バッファ
２５０、２５０Ａ～２５０Ｃ 伝送インターフェース
２６０ 入力インターフェース
２６１ 物理ボタン
２６２ ５方向ジョイスティック
２７０ ハブ
２７１ キーボードコントローラ
３００ ユーザーインターフェース
３１０ ゲームキャラクター
３２０ ブロック
Ｓ４１０～Ｓ４３０ ステップ

Claims (18)

  1. 表示パネル、
    前記表示パネルの表示を制御するように構成された表示コントローラ、
    キーボードコントローラ、および
    前記表示コントローラに電気的に接続されたホスト
    を含み、
    前記ホストは、
    アプリケーションを実行して表示画像をレンダリングし、前記ホストと前記表示コントローラ間の画像伝送チャネルを介して前記表示画像を前記表示コントローラに送信し、
    前記表示コントローラは、前記表示画像の特定の領域の画素が所定の条件を満たすか否かを検出し、且つ
    前記表示コントローラが、前記特定の領域の前記画素が前記所定の条件を満たすと判定したとき、前記表示コントローラは、ホットキー制御信号を前記キーボードコントローラに送信し、前記キーボードコントローラは、符号化手順を介して前記ホットキー制御信号を対応する仮想入力信号に変換し、前記ホストと前記表示コントローラ間のデータ伝送チャネルを介して前記仮想入力信号を前記ホストに送信し、それにより、前記ホストが、前記仮想入力信号に対応する特定の動作を実行するようにする電子機器。
  2. 前記画像伝送チャネルは、前記データ伝送チャネルと異なる請求項１に記載の電子機器。
  3. 前記所定の条件は、前記特定の領域の前記画素の色に特定の変化が現れること、前記特定の領域の前記画素の色が特定の比率になること、または、前記特定の領域の画素に特定のパターンもしくは特定のテキストがあることを含む請求項１に記載の電子機器。
  4. 前記仮想入力信号は、ユニバーサルシリアルバス（ＵＳＢ）プロトコルをサポートするキーボードスキャンコードである請求項１に記載の電子機器。
  5. 前記ホストは、検出プログラムを実行して、前記ホストが前記アプリケーションを実行しているか否かを検出し、
    前記検出プログラムが前記ホストが前記アプリケーションを実行していることを検出したとき、前記ホストは前記アプリケーションの実行状況を前記データ伝送チャネルを介して前記表示コントローラに送信し、前記表示コントローラが前記電子機器の記憶ユニットから前記アプリケーションに対応するファームウェアを読み出して実行することにより、前記特定の領域と前記所定の条件を設定する請求項１に記載の電子機器。
  6. 前記特定の領域および前記所定の条件は、前記ホストにより実行された検出プログラムのユーザーインターフェースによって設定され、前記検出プログラムは、前記ホストが前記アプリケーションを実行しているか否かを検出し、
    前記検出プログラムが前記ホストが前記アプリケーションを実行していることを検出したとき、前記ホストは前記アプリケーションの実行状況を前記データ伝送チャネルを介して前記表示コントローラに送信する請求項１に記載の電子機器。
  7. 前記特定の領域および前記所定の条件は、前記電子機器のオンスクリーンディスプレイ（ＯＳＤ）メニューによって設定される請求項１に記載の電子機器。
  8. ハブをさらに含み、前記キーボードコントローラは、前記ハブを介して前記表示コントローラに接続され、前記ホストが認識するためのベンダ識別子および製品識別子を提供するように構成される請求項１に記載の電子機器。
  9. 前記表示コントローラは、前記表示画像のゲームキャラクターおよびそのライフバーを追跡し、前記ライフバーに対応する前記特定の領域の画素が前記所定の条件を満たすか否かを分析するようにさらに構成される請求項１に記載の電子機器。
  10. 表示画像を用いてホットキーを自動的にトリガーする方法であって、前記方法は電子機器に用いられ、前記電子機器は、表示パネル、表示コントローラ、キーボードコントローラ、およびホストを含み、前記方法は、
    前記ホストを用いてアプリケーションを実行して表示画像をレンダリングするステップ、
    前記表示コントローラを用いて前記表示画像の特定の領域の画素が所定の条件を満たすか否かを検出するステップ、および
    前記特定の領域の前記画素が前記所定の条件を満たすことに応答して、前記表示コントローラを用いて、ホットキー制御信号を前記キーボードコントローラに送信し、前記キーボードコントローラを用いて、符号化手順を介して前記ホットキー制御信号を対応する仮想入力信号に変換し、前記ホストと前記表示コントローラ間のデータ伝送チャネルを介して前記仮想入力信号を前記ホストに送信し、それにより、前記ホストが、前記仮想入力信号に対応する特定の動作を実行するステップを含む方法。
  11. 前記ホストが、前記ホストと前記表示コントローラ間の画像伝送チャネルを介して前記表示画像を前記表示コントローラに送信し、
    前記画像伝送チャネルは、前記データ伝送チャネルと異なる請求項１０に記載の方法。
  12. 前記所定の条件は、前記特定の領域の前記画素の色に特定の変化が現れること、前記特定の領域の前記画素の色が特定の比率になること、または、前記特定の領域の画素に特定のパターンもしくは特定のテキストがあることを含む請求項１０に記載の方法。
  13. 前記仮想入力信号は、ユニバーサルシリアルバス（ＵＳＢ）プロトコルをサポートするキーボードスキャンコードである請求項１０に記載の方法。
  14. 前記ホストを用いて、検出プログラムを実行して、前記ホストが前記アプリケーションを実行しているか否かを検出するステップをさらに含み、
    前記検出プログラムが前記ホストが前記アプリケーションを実行していることを検出したとき、前記ホストを用いて、前記アプリケーションの実行状況を前記データ伝送チャネルを介して前記表示コントローラに送信し、前記表示コントローラが前記電子機器の記憶ユニットから前記アプリケーションに対応するファームウェアを読み出して実行することにより、前記特定の領域と前記所定の条件を設定する請求項１０に記載の方法。
  15. 前記特定の領域および前記所定の条件は、前記ホストにより実行された検出プログラムのユーザーインターフェースによって設定され、前記検出プログラムは、前記ホストが前記アプリケーションを実行しているか否かを検出し、前記方法は、
    前記検出プログラムが前記ホストが前記アプリケーションを実行していることを検出したとき、前記ホストを用いて前記アプリケーションの実行状況を前記データ伝送チャネルを介して前記表示コントローラに送信するステップをさらに含む請求項１０に記載の方法。
  16. 前記特定の領域および前記所定の条件は、前記電子機器のオンスクリーンディスプレイ（ＯＳＤ）メニューによって設定される請求項１０に記載の方法。
  17. 前記電子機器は、ハブをさらに含み、前記キーボードコントローラは、前記ハブを介して前記表示コントローラに接続され、前記ホストが認識するためのベンダ識別子および製品識別子を提供するように構成される請求項１１に記載の方法。
  18. 前記表示コントローラを用いて、前記表示画像のゲームキャラクターおよびそのライフバーを追跡し、前記ライフバーに対応する前記特定の領域の画素が前記所定の条件を満たすか否かを分析するステップをさらに含む請求項１０に記載の方法。
JP2020206164A 2019-12-31 2020-12-11 電子機器、および表示画像を用いてホットキーを自動的にトリガーする方法 Active JP7133610B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108148482A TWI719789B (zh) 2019-12-31 2019-12-31 電子裝置及利用顯示畫面的熱鍵自動觸發方法
TW108148482 2019-12-31

Publications (2)

Publication Number Publication Date
JP2021111371A JP2021111371A (ja) 2021-08-02
JP7133610B2 true JP7133610B2 (ja) 2022-09-08

Family

ID=73554246

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020206164A Active JP7133610B2 (ja) 2019-12-31 2020-12-11 電子機器、および表示画像を用いてホットキーを自動的にトリガーする方法

Country Status (6)

Country Link
US (1) US11471757B2 (ja)
EP (1) EP3845283B1 (ja)
JP (1) JP7133610B2 (ja)
KR (1) KR102519683B1 (ja)
CN (1) CN113117319A (ja)
TW (1) TWI719789B (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI719789B (zh) * 2019-12-31 2021-02-21 技嘉科技股份有限公司 電子裝置及利用顯示畫面的熱鍵自動觸發方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140268A (ja) 2007-12-07 2009-06-25 Fujitsu Ltd 後続処理の自動処理プログラム，後続処理の自動処理装置および後続処理の自動処理方法

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088018A (en) 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
US6287198B1 (en) * 1999-08-03 2001-09-11 Mccauley Jack J. Optical gun for use with computer games
US20040212610A1 (en) * 2003-04-25 2004-10-28 Dell Products L.P. Method and apparatus for associating display configuration information with respective displays of an information handling system
KR100458209B1 (ko) 2004-05-27 2004-11-26 손해열 입력디바이스 실행명령 제어장치 및 방법
KR100911245B1 (ko) 2007-11-05 2009-08-06 옵티시스 주식회사 디지털 영상 데이터를 전송하는 디지털 영상 전송 시스템
JP2012118716A (ja) 2010-11-30 2012-06-21 Secom Co Ltd 画像監視装置
KR101522399B1 (ko) * 2011-12-23 2015-05-22 주식회사 케이티 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말
TWI530184B (zh) * 2012-02-02 2016-04-11 Tpv Display Technology Xiamen A display system with a memorandum function and a control method thereof
KR20130126067A (ko) * 2012-05-10 2013-11-20 삼성전자주식회사 원격제어장치를 이용한 디스플레이 디바이스의 기능 제어 방법 및 시스템
CA2907306C (en) * 2013-03-15 2021-10-19 Videri Inc. Systems and methods for displaying, distributing, viewing, and controlling digital art and imaging
TWI608428B (zh) * 2014-03-27 2017-12-11 緯創資通股份有限公司 利用影像辨識產生相對應資訊之影像處理系統及其相關方法
KR101893153B1 (ko) * 2014-09-03 2018-10-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102254671B1 (ko) * 2014-09-25 2021-05-21 삼성전자주식회사 디스플레이의 위치에 따라 데이터 전송 순서를 결정할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들
US10102089B2 (en) * 2014-12-17 2018-10-16 Intel Corporation Input/output (I/O) device configuration signature
WO2016122626A1 (en) * 2015-01-30 2016-08-04 Hewlett-Packard Development Company, L.P. Calibration of an input device to a display using the input device
KR102364674B1 (ko) * 2015-04-27 2022-02-18 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102275707B1 (ko) 2015-05-04 2021-07-09 삼성전자주식회사 디스플레이 드라이버, 디스플레이 장치 및 디스플레이 시스템
WO2017068454A1 (en) * 2015-10-23 2017-04-27 Semiconductor Energy Laboratory Co., Ltd. Display panel, input/output device, and data processing device
TW201732385A (zh) * 2015-11-30 2017-09-16 半導體能源研究所股份有限公司 顯示裝置、輸入輸出裝置、資料處理裝置以及資料處理裝置的驅動方法
TWI751987B (zh) * 2016-06-15 2022-01-11 日商半導體能源研究所股份有限公司 顯示裝置、顯示模組及電子裝置
CN106991424B (zh) 2017-04-01 2019-08-20 武汉大学 一种基于面向对象的特定区域全自动变化监测方法
KR102444156B1 (ko) * 2017-09-22 2022-09-16 삼성디스플레이 주식회사 표시 장치 및 그 구동방법
CN110599479A (zh) 2019-09-16 2019-12-20 北京航天宏图信息技术股份有限公司 一种监测区域变化检测方法、装置及存储介质
US11747802B2 (en) * 2019-12-11 2023-09-05 Mason Electric Co. Ruggedized remote control display management system for harsh and safety-critical environments
TWI719789B (zh) * 2019-12-31 2021-02-21 技嘉科技股份有限公司 電子裝置及利用顯示畫面的熱鍵自動觸發方法
TWI734329B (zh) * 2019-12-31 2021-07-21 技嘉科技股份有限公司 電子裝置及利用外部輸入信號的按鍵巨集之觸發方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009140268A (ja) 2007-12-07 2009-06-25 Fujitsu Ltd 後続処理の自動処理プログラム，後続処理の自動処理装置および後続処理の自動処理方法

Also Published As

Publication number Publication date
EP3845283B1 (en) 2023-10-11
TW202127188A (zh) 2021-07-16
US20210197084A1 (en) 2021-07-01
JP2021111371A (ja) 2021-08-02
EP3845283A1 (en) 2021-07-07
KR102519683B1 (ko) 2023-04-10
TWI719789B (zh) 2021-02-21
US11471757B2 (en) 2022-10-18
KR20210086962A (ko) 2021-07-09
CN113117319A (zh) 2021-07-16

Similar Documents

Publication Publication Date Title
TWI673645B (zh) 電腦系統、顯示裝置、及螢幕上顯示介面的顯示方法
TW202205249A (zh) 顯示系統及顯示裝置
JP7178397B2 (ja) 電子装置、および、外部入力信号を用いたマクロキーのトリガー方法
JP7133610B2 (ja) 電子機器、および表示画像を用いてホットキーを自動的にトリガーする方法
EP3846485A1 (en) Electronic device and display method of on-screen-display interface
CN111782169A (zh) 电脑系统、显示装置及屏幕上显示界面的操作方法
TW202038080A (zh) 電腦系統、顯示裝置及螢幕上顯示介面的操作方法
TWI732407B (zh) 電子裝置及顯示裝置的防烙印方法
TWI826203B (zh) 電腦裝置及顯示裝置
TWI766518B (zh) 顯示裝置及滑鼠靈敏度同步方法
JP2023093337A (ja) 表示装置およびその画像焼き付きを防止する方法
CN114697622A (zh) 显示装置及投影式屏幕上显示界面的控制方法
CN114690917A (zh) 显示装置及鼠标灵敏度同步方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201211

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20211130

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220104

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220829

R150 Certificate of patent or registration of utility model

Ref document number: 7133610

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150