KR102519683B1 - 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치 - Google Patents

디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치 Download PDF

Info

Publication number
KR102519683B1
KR102519683B1 KR1020200182289A KR20200182289A KR102519683B1 KR 102519683 B1 KR102519683 B1 KR 102519683B1 KR 1020200182289 A KR1020200182289 A KR 1020200182289A KR 20200182289 A KR20200182289 A KR 20200182289A KR 102519683 B1 KR102519683 B1 KR 102519683B1
Authority
KR
South Korea
Prior art keywords
host
display
display controller
specific area
predetermined condition
Prior art date
Application number
KR1020200182289A
Other languages
English (en)
Other versions
KR20210086962A (ko
Inventor
하오-카이 후앙
쳉-룽 린
시-핀 창
치-쳉 후앙
Original Assignee
기가 바이트 테크놀러지 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 기가 바이트 테크놀러지 컴퍼니 리미티드 filed Critical 기가 바이트 테크놀러지 컴퍼니 리미티드
Publication of KR20210086962A publication Critical patent/KR20210086962A/ko
Application granted granted Critical
Publication of KR102519683B1 publication Critical patent/KR102519683B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0233—Character input methods
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/25—Output arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/822—Strategy games; Role-playing games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
    • G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
    • G06F3/0238—Programmable keyboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/30—Interconnection arrangements between game servers and game devices; Interconnection arrangements between game devices; Interconnection arrangements between game servers
    • A63F13/35—Details of game servers
    • A63F13/355—Performing operations on behalf of clients with restricted processing capabilities, e.g. servers transform changing game scene into an encoded video stream for transmitting to a mobile phone or a thin client
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/50—Controlling the output signals based on the game progress
    • A63F13/53—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game
    • A63F13/537—Controlling the output signals based on the game progress involving additional visual information provided to the game scene, e.g. by overlay to simulate a head-up display [HUD] or displaying a laser sight in a shooting game using indicators, e.g. showing the condition of a game character on screen
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A63F2300/6054—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands by generating automatically game commands to assist the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/65—Methods for processing data by generating or executing the game program for computing the condition of a game character
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/80—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game specially adapted for executing a specific type of game
    • A63F2300/807—Role playing or strategy games
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2213/00—Indexing scheme relating to interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
    • G06F2213/0042—Universal serial bus [USB]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Information Transfer Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)

Abstract

전자 장치가 제공된다. 상기 전자 장치는 디스플레이 패널, 디스플레이 컨트롤러 및 호스트를 포함한다. 상기 디스플레이 컨트롤러는 상기 디스플레이 패널의 디스플레이를 제어하도록 구성된다. 상기 호스트는 상기 디스플레이 컨트롤러에 전기적으로 접속된다. 상기 호스트는 디스플레이 이미지를 렌더링하기 위한 애플리케이션을 실행하고, 상기 호스트와 상기 디스플레이 컨트롤러 간 이미지 전송 채널을 통해 상기 디스플레이 이미지를 상기 디스플레이 컨트롤러로 전송한다. 상기 디스플레이 컨트롤러는 상기 디스플레이 이미지의 특정 영역 내 픽셀들이 소정의 조건을 만족하는지를 검출한다. 상기 소정의 조건을 만족하는 특정 영역 내 픽셀들에 응답하여, 상기 디스플레이 컨트롤러는 가상 입력 신호를 트리거하고, 상기 호스트와 상기 디스플레이 컨트롤러 간 데이터 전송 채널을 통해 상기 가상 입력 신호를 상기 호스트로 전송하고, 그럼으로서 상기 호스트는 상기 가상 입력 신호에 해당하는 특정 조작을 실행하게 된다.

Description

디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치{electronic device and method of automatically triggering hot key using display image}
관련 출원에 대한 상호 참조
본원은 2019년 12월 31일자 출원된 대만 특허 출원 제108148482호의 우선권을 주장하며, 그 전체가 인용에 의해 본원에 보완된다.
기술분야
본 발명은 디스플레이 장치에 관한 것이며, 구체적으로는 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치에 관한 것이다.
현재, 텔레비전 및 컴퓨터 모니터와 같은, 시판되고 있는 디스플레이 장치는 점점 많은 기능을 지니고 있으며, 이러한 기능들 중 다수는 높은 프레임 속도, 적은 응답 시간 등과 같이 게이머를 위해 특별히 설계되어 있다. 게임 플레이어가 비디오 게임을 플레이할 때, 게임 캐릭터는 종종 건강 공급(health supplying)을 수행하기 위해 사용자의 수동 조작을 통해 건강 공급 기능의 해당 단축키를 눌러야 한다. 그러나 게임 상황이 긴급한 경우 사용자는 종종 수동으로 혈액을 보충하기 위해 해당 단축키를 수동으로 누르지 못할 수 있다. 또한, 실수를 하여 잘못된 단축키를 누르기 쉽다.
위 내용을 감안하여, 위에서 언급한 문제점들을 해결하기 위해 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치가 제공된다.
한 대표적인 실시 예에서는, 전자 장치가 제공된다. 상기 전자 장치는 디스플레이 패널, 디스플레이 컨트롤러 및 호스트를 포함한다. 상기 디스플레이 컨트롤러는 상기 디스플레이 패널의 디스플레이를 제어하도록 구성된다. 상기 호스트는 상기 디스플레이 컨트롤러에 전기적으로 접속된다. 상기 호스트는 디스플레이 이미지를 렌더링하기 위해 애플리케이션을 실행하고, 상기 호스트와 상기 디스플레이 컨트롤러 간 이미지 전송 채널을 통해 상기 디스플레이 이미지를 상기 디스플레이 컨트롤러로 전송한다. 상기 디스플레이 컨트롤러는 상기 디스플레이 이미지의 특정 영역 내 픽셀들이 소정의 조건을 만족하는지를 검출한다. 상기 소정의 조건을 만족하는 특정 영역 내 픽셀들에 응답하여, 상기 디스플레이 컨트롤러는 가상 입력 신호를 트리거하고, 상기 호스트와 상기 디스플레이 컨트롤러 간 데이터 전송 채널을 통해 상기 가상 입력 신호를 상기 호스트로 전송하며, 그럼으로써 상기 호스트가 상기 가상 입력 신호에 상응하는 특정 조작을 실행하게 한다. 상기 실시 예에서는, 상기 이미지 전송 채널이 데이터 전송 채널과는 다르다.
일부 실시 예들에서, 상기 소정의 조건은 상기 특정 영역 내 픽셀들, 또는 특정 패턴 또는 특정 텍스트를 지니는 특정 영역 내 픽셀들로 이루어지는 컬러의 특정 변경 또는 특정 비율을 포함한다. 일부 실시 예들에서, 상기 가상 입력 신호는 범용 직렬 버스(Universal Serial Bus; USB) 프로토콜을 지원하는 키보드 스캔 코드이다.
일부 실시 예들에서, 상기 호스트는 상기 호스트가 상기 애플리케이션을 실행하고 있는지를 검출하기 위해 검출 프로그램을 실행한다. 상기 검출 프로그램이 상기 호스트가 상기 애플리케이션을 실행하고 있다고 검출할 경우, 상기 호스트는 상기 데이터 전송 채널을 통해 상기 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러로 전송하고, 그럼으로써 상기 디스플레이 컨트롤러가 상기 애플리케이션에 해당하는 펌웨어를 상기 전자 장치의 저장 유닛으로부터 판독하여 이를 실행함으로써, 상기 특정 영역과 상기 소정의 조건을 설정하게 한다.
일부 실시 예들에서, 상기 특정 영역 및 상기 소정의 조건은 상기 호스트에 의해 실행되는 검출 프로그램의 사용자 인터페이스를 사용하여 설정되고, 상기 검출 프로그램은 상기 호스트가 상기 애플리케이션을 실행하고 있는지를 검출한다. 상기 검출 프로그램이 상기 호스트가 상기 애플리케이션을 실행하고 있다고 검출할 경우, 상기 호스트는 상기 데이터 전송 채널을 통해 상기 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러로 전송한다.
일부 실시 예들에서, 상기 특정 영역 및 상기 소정의 조건은 상기 디스플레이 장치의 온-스크린 디스플레이(on-screen-display; OSD) 메뉴에 의해 설정된다.
일부 실시 예들에서, 상기 전자 장치는 허브 및 키보드 컨트롤러를 더 포함한다. 상기 키보드 컨트롤러는 상기 허브를 통해 상기 디스플레이 컨트롤러에 접속되며 상기 호스트에 의한 인식을 위해 벤더 식별자(vendor identifier)와 제품 고유정보(product identifier)를 제공하도록 구성된다.
일부 실시 예들에서, 상기 디스플레이 컨트롤러가 상기 특정 영역 내 픽셀들이 상기 소정의 조건을 만족한다고 결정할 경우, 상기 디스플레이 컨트롤러는 상기 키보드 컨트롤러로 단축키 제어 신호를 전송하고, 상기 키보드 컨트롤러는 상기 단축키 제어 신호를 인코딩 절차를 통해 해당 가상 입력 신호로 변환하고, 상기 가상 입력 신호를 상기 데이터 전송 채널을 통해 상기 호스트로 전송한다.
일부 실시 예들에서, 상기 디스플레이 컨트롤러는 상기 디스플레이 이미지에서 게임 캐릭터 및 게임 캐릭터의 라이프 바(life bar)를 추적하고, 상기 라이프 바에 해당하는 특정 영역 내 픽셀들이 상기 소정의 조건을 만족하는지를 분석하도록 더 구성된다.
다른 한 대표적인 실시 예에서, 상기 전자 장치에서 사용하기 위한, 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법이 제공된다. 상기 전자 장치는 디스플레이 패널, 디스플레이 컨트롤러 및 호스트를 포함한다. 상기 방법은 이하의 단계들, 상기 호스트를 이용하여 디스플레이 이미지를 렌더링하기 위해 애플리케이션을 실행하는 단계; 상기 디스플레이 컨트롤러를 이용하여 상기 디스플레이 이미지의 특정 영역 내 픽셀들이 소정의 조건을 만족하는지를 검출하는 단계; 및 상기 소정의 조건을 만족하는 특정 영역 내 픽셀들에 응답하여, 상기 디스플레이 컨트롤러를 이용하여 가상 입력 신호를 트리거하고, 상기 가상 입력 신호를 상기 호스트와 상기 디스플레이 컨트롤러 간 데이터 전송 채널을 통해 상기 호스트로 전송하고, 그럼으로써 상기 호스트가 상기 가상 입력 신호에 해당하는 특정 조작을 실행하게 하는 단계;를 포함한다.
본 발명은 첨부 도면을 참조하여 이하의 상세한 설명 및 예들을 정독함으로써 더 완전히 이해될 수 있다.
도 1은 본 발명의 한 실시 예에 따른 전자 장치의 블록도이다.
도 2a 및 도 2b는 본 발명의 한 실시 예에 따른 전자 장치 내 호스트와 디스플레이 장치 간 접속을 보여주는 도면들이다.
도 3a 및 도 3b는 본 발명의 한 실시 예에 따른 게임 인터페이스를 보여주는 도면이다.
도 4는 본 발명의 한 실시 예에 따른 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법을 보여주는 흐름도이다.
이하의 설명은 본 발명의 일반적인 원리를 보여주기 위한 목적으로 이루어진 것이며 제한적인 의미로 취해져서는 아니 된다. 본 발명의 범위는 첨부된 청구범위를 참조하여 최선으로 결정된다.
도 1은 본 발명의 한 실시 예에 따른 전자 장치의 블록도이다. 예를 들어, 상기 전자 장치(10)는 디스플레이 장치가 장착된 개인용 컴퓨터 또는 서버일 수 있다. 도 1에 도시된 바와 같이, 상기 전자 장치(10)는 호스트(100) 및 디스플레이 장치(200)를 포함하고, 상기 호스트(100)는 상기 디스플레이 장치(200)와의 신호 접속을 지닌다. 예를 들어, 상기 호스트(100)는 프로세싱 유닛(110), 그래픽스 프로세싱 유닛(graphics processing unit; GPU)(120), 메모리 유닛(130), 저장 장치(140), 하나 이상의 전송 인터페이스들(150) 및 하나 이상의 주변 장치들(160)을 포함할 수 있다. 상기 프로세싱 유닛(110), 상기 그래픽스 프로세싱 유닛(120), 상기 메모리 유닛(130), 상기 저장 장치(140), 상기 전송 인터페이스들(150) 및 상기 주변 장치들(160)은 상기 시스템 버스(111)를 통해 서로 연결될 수 있다. 상기 프로세싱 유닛(110)은 예를 들어 중앙 프로세싱 장치(central processing unit; CPU), 범용 프로세서 등일 수 있지만, 본 발명은 이에 국한되지 않는다. 예를 들어, 상기 그래픽스 프로세싱 유닛(120)은 비디오 어댑터 상의 그래픽스 프로세싱 유닛일 수도 있고 상기 프로세싱 유닛(110) 내에 통합될 수도 있다.
상기 메모리 유닛(130)은 SRAM(static random access memory) 또는 DRAM(dynamic random access memory)과 같은 랜덤 액세스 메모리일 수 있지만, 본 발명은 이에 국한되지 않는다. 상기 저장 장치(140)는 하드 디스크 드라이브, SSD(solid-state disk), 플래시 메모리, ROM(read-only Memory)과 같은 비-휘발성 메모리일 수 있지만, 본 발명은 이에 국한되지 않는다.
상기 전송 인터페이스들(150)은 유선 전송 인터페이스들 및/또는 무선 전송 인터페이스들을 포함할 수 있다. 상기 유선 전송 인터페이스들에는 HDMI(high definition multimedia interface), DP(DisplayPort) 인터페이스, eDP(embedded DisplayPort) 인터페이스, USB(Universal Serial Bus) 인터페이스, USB Type-C 인터페이스, Thunderbolt 인터페이스, DVI(digital video interface), VGA(video graphics array) 인터페이스, GPIO(general purpose input/output) 인터페이스, UART(universal asynchronous receiver/transmitter) 인터페이스, SPI(serial peripheral interface), I2C(inter-integrated circuit) 인터페이스, 또는 이들의 조합이 포함될 수 있다. 상기 무선 전송 인터페이스들은 블루투스, WiFi, 근접장 통신(near-field communication; NFC) 인터페이스 등을 포함할 수 있지만, 본 발명은 이에 국한되지 않는다. 예를 들어, 상기 주변 장치들(160)은 키보드, 마우스, 터치 패드 등과 같은 입력 장치들을 포함할 수 있지만, 본 발명은 이에 국한되지 않는다.
예를 들어, 상기 저장 장치(140)는 하나 이상의 애플리케이션들(141), 운영 체제(142)(예컨대, Windows, Linux, MacOS 등), 및 OSD-메뉴 제어 프로그램(143)을 저장할 수 있다. 상기 프로세싱 유닛(110)은 상기 운영 체제(142), 상기 OSD-메뉴 제어 프로그램(143) 및 상기 애플리케이션들(141) 중 한 애플리케이션을 상기 메모리 유닛(130)으로 로드하여 이를 실행할 수 있다. 상기 OSD-메뉴 제어 프로그램(143)은 사용자가 상기 호스트(100)의 주변 장치(160)를 사용하여 상기 디스플레이 장치(200)의 OSD 메뉴를 제어하는 것을 허용하도록 구성되며, 그 세부내용은 후술하기로 한다. 예를 들어, 상기 그래픽스 프로세싱 유닛(120)은 상기 프로세싱 유닛(110)에 의해 실행되는 애플리케이션의 그래픽스 프로세싱을 수행하여 하나 이상의 이미지들을 포함하는 이미지 신호를 생성하고, 상기 이미지 신호를 상기 전송 인터페이스들(150) 중 하나(예컨대, HDMI 또는 DisplayPort 인터페이스)를 통해 상기 디스플레이 장치(200)로 전송할 수 있다.
예를 들어, 상기 디스플레이 장치(200)는 평판 디스플레이, 텔레비전, 프로젝터 또는 컴퓨터 모니터일 수 있지만, 본 발명은 이에 국한되지 않는다. 상기 디스플레이 장치(200)는 디스플레이 컨트롤러(210), 디스플레이 패널(220), 저장 유닛(230), 이미지 버퍼(240), 하나 이상의 전송 인터페이스들(250), 입력 인터페이스(260) 및 허브(270)를 포함한다. 상기 전송 인터페이스들(250)은 유선 전송 인터페이스들 및/또는 무선 전송 인터페이스들을 포함할 수 있다. 유선 전송 인터페이스들에는 HDMI(high definition multimedia interface), DP(DisplayPort) 인터페이스, eDP(embedded DisplayPort) 인터페이스, LVDS(low-voltage differential signaling) 인터페이스, USB(Universal Serial Bus) 인터페이스, USB Type-C 인터페이스, Thunderbolt 인터페이스, DVI(digital video interface), VGA(video graphics array) 인터페이스, GPIO(general purpose input/output) 인터페이스, UART(universal asynchronous receiver/transmitter) 인터페이스, SPI(serial peripheral interface), I2C(inter-integrated circuit) 인터페이스, 또는 이들의 조합이 포함될 수 있다. 상기 무선 전송 인터페이스들은 블루투스, WiFi, 근접장 통신(near-field communication; NFC) 인터페이스 등을 포함할 수 있지만, 본 발명은 이에 국한되지 않는다.
예를 들어, 상기 디스플레이 컨트롤러(210)는 ASIC(application-specific integrated circuit), SoC(system-on-chip), 프로세서 또는 마이크로컨트롤러에 의해 구현될 수 있지만, 본 발명은 이에 국한되지 않는다.
예를 들어, 상기 디스플레이 모듈(220)은 액정 디스플레이 패널, 발광 다이오드(light-emitting diode; LED) 디스플레이 패널, 유기 발광 다이오드(organic light-emitting diode; OLED) 디스플레이 패널, 음극선관(cathode ray tube; CRT) 디스플레이, E-Ink 디스플레이 모듈, 전자 발광(electroluminescent) 디스플레이 모듈, 플라즈마 디스플레이 모듈, 프로젝션 디스플레이 모듈, 또는 양자 도트(quantum dot) 디스플레이 모듈일 수 있지만, 본 발명은 이에 국한되지 않는다.
상기 저장 유닛(230)은 예를 들어 ROM(read-only memory), EPROM(eraseable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory) 등과 같은 비-휘발성 메모리일 수 있지만, 본 발명은 이에 국한되지 않는다. 상기 저장 유닛(230)은 상기 디스플레이 장치(200)에 연관된 펌웨어(231)를 저장하도록 구성된다. 상기 저장 유닛(230)은 상기 디스플레이 컨트롤러(210) 외부에 배치될 수도 있고 변형적으로는 상기 디스플레이 컨트롤러(210) 내에 통합될 수도 있다.
예를 들어, 상기 펌웨어(231)는 상기 디스플레이 장치(200)의 확장된 디스플레이 식별 데이터(extended display identification data; EDID) 및 디스플레이 설정들, 및 하나 이상의 온-스크린 디스플레이(OSD) 인터페이스(233)를 포함할 수 있다. 상기 EDID는 예를 들어, 상기 디스플레이 장치(200)의 제조사, 제품명, 해상도, 초당 프레임들(frames per second; FPS)과 같은 정보를 포함할 수 있다. 상기 디스플레이 장치(200)의 디스플레이 설정들은 상기 디스플레이 장치(200)의 밝기, 콘트라스트, 선명도, 색 온도(color temperature)를 포함할 수 있다. 상기 펌웨어(232)는 상기 디스플레이 장치(200)의 OSD 인터페이스들(233)을 제어하는데 사용된다.
일 실시 예에서, 상기 디스플레이 컨트롤러(210)는 버스(예컨대, I2C 버스)를 통해 상기 저장 유닛(230)에 저장된 펌웨어(231, 232) 및 OSD 인터페이스(233)의 프로그램 코드를 판독하고 해당 디스플레이 매개변수들을 구성할 수 있다. 또한, 상기 디스플레이 컨트롤러(210)는 상기 전송 인터페이스들(250) 중 하나를 통해 상기 디스플레이 장치(200)의 EDID를 상기 호스트(100)로 전송할 수 있고(예컨대, 이미지 전송 채널 또는 데이터 전송일 수 있고), 그럼으로써 상기 호스트(100) 내 프로세싱 유닛(110) 및 그래픽스 프로세싱 유닛(120)은 상기 EDID에 기반하여 상기 출력 이미지 신호의 해상도 및 이에 상응하는 동기 신호들을 구성할 수 있다. 예를 들어, 상기 OSD 인터페이스(233)는 OSD 메뉴 및 이에 상응하는 옵션들, 정보 대시보드, 타이머, 카운터, 십자선(crosshair), 특정 심벌, 특정 컬러, 특정 텍스트 또는 이들의 조합을 포함할 수 있지만, 본 발명은 이에 국한되지 않는다.
예를 들어, 상기 이미지 버퍼(240)는 상기 디스플레이 패널(220) 상에 디스플레이될 출력 이미지들을 저장하도록 구성된, 휘발성 메모리(예컨대, DRAM) 또는 비-휘발성 메모리(예컨대, 플래시 메모리)일 수 있으며, 상기 호스트(100) 또는 상기 디스플레이 컨트롤러(210)는 상기 호스트(100)에 의해 생성된 OSD 제어 신호에 따라 상기 이미지 버퍼(240)에 저장된 이미지 신호의 특정 영역을 상기 하나 이상의 OSD 인터페이스들(233)로 중복기록하여 출력 이미지를 생성할 수 있다.
상기 입력 인터페이스(260)는 상기 디스플레이 장치(200)의 OSD 메뉴를 제어하도록 구성된다. 상기 입력 인터페이스(260)는 상, 하, 좌, 우와 같은 명령어들을 구현하여 이를 확인하도록 하나 이상의 물리적 버튼(261) 또는 5-방향 조이스틱(262)에 의해 구현될 수 있다. 예를 들어, 상기 허브(270)는 USB 허브일 수 있고, 상기 전송 인터페이스들(250) 중 하나는 USB 인터페이스일 수 있다. 상기 호스트(100)는 상기 허브(270)를 통해 상기 전송 인터페이스들(150, 250)의 USB 인터페이스를 통해 데이터를 상기 디스플레이 컨트롤러로 데이터를 전송할 수 있으며, 상기 디스플레이 컨트롤러(210)는 상기 허브(270)를 통해 상기 전송 인터페이스들(150, 250)의 USB 인터페이스를 거쳐 데이터를 상기 호스트(100)로 전송할 수 있다.
일부 실시 예들에서, 상기 디스플레이 장치(200)는 키보드 컨트롤러(271)를 포함할 수 있으며, 상기 키보드 컨트롤러(271)는 상기 호스트(100)에 의한 인식을 위해 물리적 벤더 식별자(ID) 및 제품 ID를 제공하도록 구성된 내장형 마이크로컨트롤러 또는 키보드 집적 회로에 의해 구현될 수 있다. 일부 다른 실시 예들에서, 사용자는 USB 키보드 및/또는 USB 마우스를 상기 디스플레이 장치(200)의 허브(270)에 접속할 수 있으며, 그럼으로써 상기 호스트(100)는 사용을 위한 물리적 키보드(예컨대, 키보드 ID를 제공하기 위한 키보드 컨트롤러를 포함함) 및 마우스의 접속이 존재한다고 검출할 수 있게 된다.
상기 디스플레이 장치(200)에 키보드 컨트롤러(271)가 장착될 경우에, 상기 키보드 컨트롤러(271)는 인코딩 절차를 거쳐 상기 디스플레이 컨트롤러(210)로부터의 단축키 제어 신호에 따라 해당 가상 입력 신호를 생성할 수 있다. 상기 키보드 컨트롤러(271)는 상기 생성된 가상 입력 신호를 상기 허브(270)를 통해 상기 호스트(100)로 전송할 수 있다. 예를 들어, 상기 허브(270)는 상기 전송 인터페이스들(150, 250) 내 USB 인터페이스들을 통해 상기 호스트(100)와 전기적으로 접속되고, 그래서 상기 가상 입력 신호가 상기 USB 프로토콜에 해당하는 키보드 스캔 코드일 수 있지만, 본 발명은 이에 국한되지 않는다.
한 실시 예에서, 사용자가 상기 5-방향 조이스틱(262)의 한 방향으로 조작을 수행할(또는 물리적 버튼들(261) 중 하나를 누를) 경우, 상기 디스플레이 컨트롤러(210)는 상기 저장 유닛(230)으로부터 펌웨어(232) 및 상기 OSD 인터페이스들(233)의 OSD 메뉴 및 이에 상응하는 옵션들의 프로그램 코드 및 펌웨어를 판독하고 상기 디스플레이 패널(220) 상에 상기 OSD 메뉴 및 이에 상응하는 옵션들을 디스플레이할 수 있다. 일 실시 예에서, 사용자는 상기 입력 인터페이스(260) 상에서 조작들을 수행해 상기 디스플레이 장치의 OSD 메뉴를 제어하여 상기 OSD 인터페이스들(233) 간 밝기, 콘트라스트, 선명도, 색 온도(color temperature)를 조정할 수 있게 하거나 다른 인터페이스들을 활성화 또는 비활성화할 수 있게 한다. 다른 한 실시 예에서, 상기 OSD 인터페이스들(233) 및 상기 OSD 인터페이스(233) 상에 디스플레이된 콘텐츠의 활성화 및 비활성화는 예를 들어, 상기 호스트(100)의 주변 장치(160)에 의해 제어될 수 있으며, 그 세부내용은 후술하기로 한다. 예를 들어, 상기 펌웨어(231)는 상기 디스플레이 장치(200)의 기본 펌웨어(default firmware)로 간주될 수 있으며, 사용자는 5-방향 조이스틱(262)(또는 물리적 버튼들(261))을 통해 상기 디스플레이 장치(200) 상에 디스플레이된 OSD 인터페이스(233)의 설정들을 제어할 수 있다.
한 실시 예에서, 상기 디스플레이 컨트롤러(210)는 이미지 스칼라(211) 및 타이밍 컨트롤러(212)를 포함할 수 있다. 상기 디스플레이 컨트롤러(210)는 상기 전송 인터페이스들(250) 중 하나를 통해 상기 호스트(100)로부터의 이미지 신호 및/또는 다른 호스트들로부터의 다른 신호를 수신할 수 있고, 상기 이미지 스칼라(211)는 상기 수신된 이미지 신호들에 대해 상기 디스플레이 패널(220)의 해상도에 맞게 이미지-스케일링 프로세스 및/또는 이미지-오버레이 프로세스를 수행하고, 상기 이미지-스케일링 프로세스에 의해 생성된 이미지들(예컨대, 출력 이미지들)을 상기 이미지 버퍼(240)에 저장할 수 있다. 상기 타이밍 컨트롤러(212)는 상기 디스플레이 패널(220)을 제어하여 상기 이미지 버퍼(240)로부터의 출력 이미지들을 디스플레이를 위해 판독할 수 있다.
다른 한 실시 예에서, 상기 디스플레이 컨트롤러(210)는 상기 타이밍 컨트롤러(212)를 포함할 수 있고, 상기 호스트(100)로부터의 이미지 신호의 해상도는 상기 디스플레이 패널(220)의 해상도에 맞을 수 있다. 따라서, 상기 디스플레이 컨트롤러(210)는 상기 이미지-스케일링 프로세스를 수행하지 않고 상기 호스트(100)로부터 수신된 이미지를 상기 이미지 버퍼(240)에 직접 저장할 수 있다. 상기 타이밍 컨트롤러(212)는 상기 이미지 버퍼(240)에 저장된 출력 이미지를 판독하고, 상기 디스플레이 패널(220)을 상기 출력 이미지들을 디스플레이하도록 제어한다.
도 2a 및 도 2b는 본 발명의 한 실시 예에 따른 전자 장치 내 호스트와 디스플레이 장치 간 접속을 보여주는 도면들이다.
한 실시 예에서, 도 2a에 도시된 바와 같이, 상기 호스트(100)의 그래픽스 프로세싱 유닛(120)에 의해 생성된 이미지 신호는 상기 호스트(100)의 전송 인터페이스(150A)(예컨대, HDMI 인터페이스) 및 상기 디스플레이 장치(200)의 전송 인터페이스(250A)(예컨대, HDMI 인터페이스)를 통해 상기 디스플레이 장치(200)의 디스플레이 컨트롤러(210)로 전송될 수 있다. 예를 들어, 상기 전송 인터페이스들(150A, 250A) 간 전송 채널은 이미지-전송 채널로서 간주될 수 있다. 상기 전송 인터페이스들(150B, 250B) 간 전송 채널은 데이터 전송 채널 또는 제어 신호 전송 채널로서 간주될 수 있다. 일부 실시 예들에서, 상기 전자 장치(10)가 랩톱 컴퓨터일 경우, 상기 전송 인터페이스들(150A, 250A)은 eDP 인터페이스들 또는 LVDS 인터페이스들일 수 있고, 상기 전송 인터페이스들(150B, 250B)은 내부 버스 인터페이스들, I2C 인터페이스들 또는 SPI 인터페이스들일 수 있지만, 본 발명은 이에 국한되지 않는다.
다른 일부 실시 예들에서, 도 2b에 도시된 바와 같이, 상기 호스트(100)의 그래픽스 프로세싱 유닛(120)에 의해 생성된 이미지 신호는 상기 호스트(100)의 전송 인터페이스(150C)(예컨대, USB Type-C 인터페이스) 및 상기 디스플레이 장치(200)의 해당 전송 인터페이스(250C)(예컨대, USB Type-C 인터페이스)를 통해 상기 디스플레이 장치(200)의 디스플레이 컨트롤러(210)로 전송될 수 있다.
여기서 유념해야 할 점은 상기 USB Type-C 프로토콜이 이미지/비디오 전송(예컨대, DisplayPort 또는 HDMI 표준을 지원함)에 추가하여 Hi-Speed 및 SuperSpeed 데이터 전송을 지원할 수 있다는 점이다. 다시 말하면, 상기 이미지-전송 채널과 상기 데이터-전송 채널은 상기 USB Type-C 인터페이스 내에 통합될 수 있다. 따라서, 상기 호스트(100)는 상기 호스트(100)의 전송 인터페이스(150C)(예컨대, USB Type-C 인터페이스) 및 상기 디스플레이 장치(200)의 해당 전송 인터페이스(250C)(예컨대, USB Type-C 인터페이스)를 통해 상기 OSD 제어 신호를 상기 디스플레이 장치(200)로 전송할 수 있다.
또한, 도 2a 또는 도 2b의 실시 예에서, 상기 디스플레이 장치(200)의 디스플레이 컨트롤러(210)는 상기 호스트(100)의 디스플레이 이미지 내 특정 영역 또는 선택 영역의 픽셀들이 소정의 조건을 만족하는지를 검출할 수 있다. 예를 들어, 상기 호스트(100)가 컴퓨터 게임을 실행하고 있고 상기 컴퓨터 게임의 사용자 인터페이스에 의해 디스플레이된 정보가 상기 게임 캐릭터의 라이프 바 또는 마나 바(mana bar)를 포함할 수 있는 경우, 상기 호스트(100)는 상기 전송 인터페이스들(150, 250)을 통해 상기 컴퓨터 게임의 디스플레이 이미지의 이미지 신호를 상기 디스플레이 컨트롤러로 전송하게 된다(예컨대, 이는 도 2a 및 도 2b에 도시된 접속들에 의해 구현될 수 있다). 따라서, 상기 디스플레이 컨트롤러(210)는 특정 영역 또는 선택 영역 내 픽셀이 소정의 조건을 만족하는지를 분석할 수 있으며, 위에서 언급한 소정의 조건은 예를 들어, 상기 특정 영역 또는 선택 영역, 또는 특정 패턴 또는 특정 텍스트를 지니는 특정 영역 또는 선택 영역 내 픽셀 컬러들의 특정 변경 또는 특정 비율일 수 있다.
구체적으로는, 상기 디스플레이 컨트롤러(210)에 의해 검출된 디스플레이 이미지 내 특정 영역 또는 선택 영역은 서로 다른 방식으로 설정될 수 있다. 예를 들어, 한 실시 예에서, 상기 호스트에 의해 실행되는 프로그램(예컨대, 특정 컴퓨터 게임 또는 유틸리티 프로그램)에 해당하는 펌웨어 설정은 사전에 설정되어 상기 디스플레이 장치(200)의 저장 유닛(230)에 저장될 수 있다. 상기 호스트(100)는 상기 호스트(100)가 현재 특정 컴퓨터 게임 또는 애플리케이션을 실행하고 있는지를 검출하기 위해 검출 프로그램을 실행할 수 있다. 상기 호스트(100)가 현재 특정 컴퓨터 게임 또는 애플리케이션을 실행하고 있다는 것이 검출되면, 상기 호스트(100)는 상기 데이터 전송 채널을 통해 상기 특정 컴퓨터 게임 또는 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러(210)로 전송할 수 있으며, 따라서 상기 디스플레이 컨트롤러(210)는 상기 저장 유닛에 사전에 저장된 특정 컴퓨터 게임 또는 애플리케이션에 해당하는 펌웨어를 실행을 위해 판독함으로써, 상기 특정 컴퓨터 게임 또는 애플리케이션의 디스플레이 이미지 내 특정 영역의 픽셀들이 소정의 조건을 만족하는지를 검출할 수 있다.
다른 한 실시 예에서, 상기 호스트(100)가 특정 컴퓨터 게임 또는 애플리케이션을 실행하고 있는지를 검출하는 것 외에도, 상기 호스트(100)에 의해 실행되는 검출 프로그램은 또한 사용자가 상기 디스플레이 장치(200)에 의해 검출될 상기 디스플레이 이미지 내 영역의 크기 및 위치를 선택하고, 상기 선택된 영역에서 트리거하기 위한 소정의 조건을 선택하는 것을 허용하는 사용자 인터페이스를 제공할 수 있다. 예를 들어, 상기 소정의 조건은 녹색으로부터 적색으로 변경되는 게임 스크린 내 라이프 바, 소정의 비율보다 낮은 라이프 바, 또는 상기 디스플레이 장치(200)를 게임 캐릭터 및 상기 게임 캐릭터의 라이프 바(예컨대, 이는 서로 다른 형상들 또는 컬러들을 지닐 수 있음) 또는 라이프 텍스트들, 또는 포이즌(poison) 심벌들 등을 추적하도록 설정하는 것일 수 있지만, 본 발명은 이에 국한되지 않는다. 상기 설정이 완료된 후에는, 상기 호스트(100)가 상기 데이터 전송 채널을 통해 상기 설정된 선택 영역을 상기 디스플레이 장치(200)의 디스플레이 컨트롤러(210)로 전송할 수 있고, 상기 디스플레이 컨트롤러(210)는 상기 디스플레이 이미지의 선택 영역 내 픽셀들이 상기 소정의 조건을 만족하는지를 검출한다.
또 다른 한 실시 예에서, 사용자는 상기 디스플레이 장치(200)의 5-방향 조이스틱(262) 또는 물리적 버튼들(261)을 조작함으로써 상기 디스플레이 장치(200)의 OSD 메뉴를 호출할 수 있고, 상기 OSD 메뉴로부터 해당 검출 설정 옵션을 선택하여 상기 디스플레이 이미지에서 검출될 영역을 선택할 수 있으며, 선택된 영역에서 트리거하기 위한 소정의 조건을 선택할 수 있다. 예를 들어, 상기 소정의 조건은 녹색으로부터 적색으로 변경되는 게임 스크린 내 라이프 바, 소정의 비율보다 작은 라이프 바, 또는 상기 디스플레이 장치(200)를 게임 캐릭터 및 상기 게임 캐릭터의 라이프 바(예컨대, 이는 서로 다른 형상들 또는 컬러들을 지닐 수 있음) 또는 라이프 텍스트들, 또는 포이즌(poison) 심벌들 등을 추적하도록 설정하는 것일 수 있지만, 본 발명은 이에 국한되지 않는다. 상기 설정이 완료된 후에는, 상기 호스트(100)가 상기 데이터 전송 채널을 통해 상기 설정된 선택 영역을 상기 디스플레이 장치(200)의 디스플레이 컨트롤러(210)로 전송할 수 있고, 상기 디스플레이 컨트롤러(210)는 상기 디스플레이 이미지의 선택 영역 내 픽셀들이 상기 소정의 조건을 만족하는지를 검출한다.
상기 디스플레이 장치(200)가 상기 키보드 컨트롤러(271)를 포함하지 않는 경우, 상기 디스플레이 컨트롤러(210)는 상기 이미지 신호 내 특정 영역 또는 선택 영역 내 픽셀들이 상기 소정의 조건을 만족한다고 검출할 때, 상기 디스플레이 컨트롤러(210)는 특정 키 또는 키 조합을 트리거하기 위한 가상 입력 신호를 생성하고, 상기 전송 인터페이스(150)를 통해 상기 가상 입력 신호를 상기 호스트(100)로 전송할 수 있으며, 상기 가상 입력 신호는 예를 들어 USB 프로토콜과 호환되는 키보드 스캔 코드일 수 있다. 상기 호스트(100)가 상기 가상 입력 신호를 수신한 후에, 상기 호스트(100)는 상기 가상 입력 신호를 특정 키 또는 키 조합을 나타내도록 디코딩하고, 상기 입력에 의해 나타나게 되는 특정 키 또는 키 조합을 실행하게 된다.
상기 디스플레이 장치가 상기 키보드 컨트롤러(271)를 포함하는 경우에, 상기 디스플레이 컨트롤러(271)는 단축키 제어 신호를 (예컨대, 상기 허브(270)를 거처 또는 직접) 상기 키보드 컨트롤러(271)로 송신할 수 있고, 상기 키보드 컨트롤러(271)는 인코딩 절차를 통해 상기 단축키 제어 신호를 해당 가상 입력 신호로 변환할 수 있으며, 상기 가상 입력 신호는 예를 들어 상기 USB 프로토콜을 지원하는 키보드 스캔 코드일 수 있다. 상기 가상 입력 신호를 수신한 후에, 상기 호스트(100)는 상기 가상 입력 신호를 특정 키 또는 키 조합을 나타내는 입력 신호를 획득하도록 디코딩하고, (예컨대, 상기 특징 키 또는 키 조합을 누름으로써) 상기 입력 신호에 의해 나타나게 되는 특정 조작을 실행하게 된다.
예를 들어, 컴퓨터 게임에서, 상기 입력 신호에 의해 나타나게 되는 특정 키 또는 키 조합은 예를 들어, 혈액 보충 아이템들을 사용하는 것, 안티도트(antidote)를 사용하는 것, 또는 캐릭터 스킬(character skill)들 또는 빅 트릭(big trick)들을 사용하는 것 등과 같이 컴퓨터 게임에서 설정된 특정 단축키 또는 단축키 조합일 수 있다. 그러나 본 발명은 컴퓨터 게임들에만 적용되는 것에 국한되지 않고 다른 일반적인 애플리케이션들에도 적용될 수 있다.
도 3a 및 도 3b는 본 발명의 한 실시 예에 따른 게임 인터페이스를 보여주는 도면이다.
구체적으로는, 상기 디스플레이 컨트롤러(210)가 컴퓨팅 전력이 미약한 마이크로 컨트롤러에 의해 구현될 경우, 상기 디스플레이 컨트롤러(210)는 또한 상기 특정 영역 또는 선택 영역 내 픽셀들의 컬러들의 변경 또는 특정 비율을 결정할 수 있다. 예를 들어, 상기 호스트(100)로부터 상기 디스플레이 컨트롤러(210)로 전송되는 이미지 신호는 상기 전송 인터페이스(150)를 통해 채널 인코딩된 RGB 신호일 수 있다. 상기 디스플레이 장치(200)의 전송 인터페이스(250)가 수신된 이미지에 대해 채널 디코딩을 수행할 경우에, 상기 RGB 신호가 획득될 수 있고, 그래서 상기 디스플레이 컨트롤러(210)는 상기 디스플레이 이미지 내 각각 픽셀의 컬러를 결정할 수 있다. 예를 들어, 서로 다른 소정의 범위들을 이루는 적색, 녹색 및 청색 서브픽셀들의 값들은 서로 다른 컬러들로 분류될 수 있다. 따라서, 상기 디스플레이 컨트롤러(210)는 선택된 범위에서 픽셀들의 컬러 변경 또는 컬러 분포 부분에 대한 정보를 획득하고, 상기 가상 입력 신호를 트리거해야 할 지를 결정할 수 있다.
또한, 상기 디스플레이 컨트롤러(210)가 컴퓨팅 전력이 강력한 프로세서에 의해 구현될 경우에, 상기 디스플레이 컨트롤러(210)는 상기 게임 캐릭터 및 상기 게임 캐릭터의 라이프 바를 추적할 수 있다. 예를 들어, 일부 컴퓨터 게임들은 상기 디스플레이 이미지 내 고정 위치에 있지 않은 게임 캐릭터를 지니고, 그래서 상기 디스플레이 이미지 내 상기 게임 캐릭터의 위치를 검출하고 상기 게임 캐릭터의 의 해당 캐릭터 라이프 바를 결정하는 것이 필요하다. 그러나 상기 캐릭터 라이프 바는 반드시 긴 바 또는 그리드로 표시될 필요가 없고, 라이프 텍스트 또는 숫자들로 표시될 수도 있다. 본 실시 예에서, 상기 디스플레이 컨트롤러(210)는 또한 상기 디스플레이 이미지 내 캐릭터의 라이프 텍스트 또는 숫자들을 상기 게임 캐릭터의 현재 라이프 값을 획득하도록 인식하고, 상기 게임 캐릭터의 현재 라이프 값이 소정의 값 또는 소정의 비율보다 작은지를 결정할 수 있다. 본 기술 분야에서 통상의 지식을 가진 자라면 이미지 내 캐릭터들 또는 숫자를 인식하는 기술적 내용을 이해할 수 있을 것이며, 이에 대한 세부 내용은 본원에서 반복하지 않을 것이다.
도 3a에 도시된 바와 같이, 상기 게임 캐릭터(310)는 예를 들어 사용자 인터페이스(300)의 중앙에 위치할 수 있으며, 상기 게임 캐릭터(310)의 라이프가 충만할 경우, 블록 320에서 게임 캐릭터의 라이프 바는 셀들의 일정 길이 또는 개수(예컨대, 5개의 셀)를 지니게 되며 녹색 컬러로 나타나게 될 수 있지만, 본 발명은 이에 국한되지 않는다.
게임에서 상기 게임 캐릭터의 건강 레벨이 손상을 받게 될 경우, 블록 320에서 상기 캐릭터의 라이프의 셀들의 길이 또는 개수는 감소하게 되고, 황색(예컨대, 상기 라이프가 50% - 100% 범위임) 또는 적색(예컨대, 상기 라이프가 50% 미만임)으로 나타날 수 있다. 상기 디스플레이 컨트롤러(210)는 상기 컴퓨터 게임의 디스플레이 이미지 내 특정 영역(다시 말하면, 블록 320)의 라이프 셀들의 길이 또는 개수가 도 3b에서 2개의 라이프 셀로 도시되어 있는 바와 같이, 소정의 비율보다 낮은 것(예컨대, 3개의 셀 미만인 것 또는 50% 미만인 것)으로 결정할 경우에, 이때, 상기 디스플레이 장치(200)는 상기 가상 입력 신호(예컨대, 라이프 보충 단축키 H가 눌려짐을 나타냄)를 트리거하고, 상기 가상 입력 신호를 상기 호스트(100)로 전송할 수 있다. 또한, 위에서 언급한 판단 방법들 외에도, 상기 디스플레이 컨트롤러(210)는 또한, 상기 컴퓨터 게임의 디스플레이 이미지 내 특정 영역(다시 말하면, 블록 320)의 라이프 바의 컬러가 적색이 되면 가상 입력 신호가 트리거되는 것으로 결정할 수 있다.
그러므로 상기 가상 입력 신호를 수신한 후에, 상기 호스트(100)는 상기 가상 입력 신호에 해당하는 특정 조작(예컨대, 라이프 보충 단축키 H를 누름)을 수행할 수 있다. 여기서 유념해야 할 점은 위에서 언급한 실시 예가 도 2a 또는 도 2bd의 아키텍처와 아울러 상기 키보드 컨트롤러(271)를 구비하거나 구비하지 않은 디스플레이 장치(200)의 아키텍처에 적용 가능하다는 점이다.
도 4는 본 발명의 한 실시 예에 따른 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법을 보여주는 흐름도이다.
단계 S410에서, 상기 호스트(100)는 디스플레이 이미지를 렌더링하기 위해 애플리케이션을 실행하고, 상기 디스플레이 이미지를 상기 호스트(100)와 상기 디스플레이 컨트롤러(210) 간 이미지 전송 채널을 통해 상기 디스플레이 컨트롤러(210)로 전송한다. 예를 들어, 상기 호스트(100)는 상기 디스플레이 이미지의 이미지 신호를 이미지 전송 채널을 통해 상기 디스플레이 장치(200)로 전송할 수 있으며, 상기 디스플레이 장치(200)가 가상 입력 신호를 트리거하는 것으로 결정할 경우에, 상기 디스플레이장치(200)는 상기 가상 입력 신호를 데이터 전송 채널을 통해 상기 호스트(100)로 전송하게 되며, 상기 데이터 전송 채널 및 상기 이미지 전송 채널의 접속들은 도 2a 및 도 2b의 실시 예들에 적용될 수 있다.
단계 S420에서, 상기 디스플레이 컨트롤러(210)는 상기 디스플레이 이미지의 특정 영역 내 픽셀들이 소정의 조건을 만족하는지를 검출한다. 예를 들어, 상기 디스플레이 컨트롤러(210)는 상기 호스트(100)로부터의 디스플레이 이미지의 이미지 신호를 상기 이미지 버퍼(240)에 저장할 수 있고, 상기 디스플레이 컨트롤러(210)는 상기 이미지 버퍼(240)에 저장된 디스플레이 이미지의 특정 영역 내 픽셀들을 분석을 위해 판독하고, 상기 특정 영역 내 픽셀들이 상기 소정의 조건을 만족하는지를 결정할 수 있다. 예를 들어, 상기 소정의 조건은 상기 특정 영역(또는 선택 영역) 내 픽셀 컬러들, 또는 특정 패턴 또는 특정 텍스트를 지니는 특정 영역(또는 선택 영역) 내 픽셀들의 특정 변경 또는 특정 비율일 수 있다. 예를 들어, 상기 호스트(100)에 의해 실행되는 애플리케이션은 컴퓨터 게임일 수 있고, 상기 특정 영역은 상기 게임 캐릭터의 라이프 바 주변 영역일 수 있다.
위에서 언급한 실시 예들에서, 상기 디스플레이 컨트롤러(210)에 의해 검출된 특정 영역 또는 선택 영역은 다양한 방식으로 설정될 수 있는데, 예를 들어, (1) 사전에 설정된 특정 컴퓨터 게임 또는 애플리케이션의 펌웨어가 사용될 수 있으며, 상기 호스트(100)에 의해 실행되는 검출 프로그램은 상기 호스트(100)가 상기 특정 컴퓨터 게임 또는 애플리케이션을 실행하고 있는지를 검출할 수 있다. 상기 호스트(100)가 상기 특정 컴퓨터 게임 또는 애플리케이션을 실행하고 있는 것이 검출되면, 상기 호스트(100)는 상기 데이터 전송 채널을 통해 상기 특정 컴퓨터 게임 또는 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러(210)로 전송할 수 있고, 그래서 상기 디스플레이 컨트롤러(210)는 상기 저장 유닛(230)에 사전에 저장된 특정 컴퓨터 게임 또는 애플리케이션에 해당하는 펌웨어를 실행을 위해 판독함으로써 상기 특정 컴퓨터 게임 또는 애플리케이션의 디스플레이 이미지의 특정 영역 내 픽셀들이 상기 소정의 조건을 만족하는지를 검출할 수 있으며, (2) 상기 호스트(100)에 의해 실행되는 검출 프로그램의 사용자 인터페이스는 사용자가 박스 프레임을 사용하여 상기 디스플레이 컨트롤러(210)에 의해 검출될 디스플레이 이미지 내 상기 영역의 크기 및 위치를 선택하고, 상기 선택된 영역에서 트리거하기 위해 상기 소정의 조건을 선택하는 것을 허용할 수 있으며, (3) 사용자는 상기 디스플레이 장치(200)의 5-방향 조이스틱(262) 또는 물리적 버튼들(261)을 조작함으로써 상기 디스플레이 장치(200)의 OSD 메뉴를 호출할 수 있고, 상기 OSD 메뉴로부터 해당 감지 설정 옵션을 선택하여 상기 디스플레이 이미지에서 검출될 상기 영역을 선택하고, 상기 선택된 영역에서 트리거하기 위해 상기 소정의 조건을 선택할 수 있다.
단계 S430에서, 상기 소정의 조건을 만족하는 특정 영역 내 픽셀들에 응답하여, 상기 디스플레이 컨트롤러(210)는 가상 입력 신호를 생성하고, 상기 가상 입력 신호를 상기 데이터 전송 채널을 통해 상기 호스트(100)로 전송하며, 그럼으로써 상기 호스트(100)는 상기 가상 입력 신호에 해당하는 특정 조작을 실행할 수 있게 된다. 예를 들어, 상기 가상 입력 신호는 상기 USB 프로토콜을 지원하는 키보드 스캔 코드일 수 있다. 상기 가상 입력 신호를 수신한 후에, 상기 호스트(100)는 상기 가상 입력 신호를 상기 가상 입력 신호에 의해 나타나게 되는 특정 키 또는 키 조합의 입력 신호를 획득하도록 디코딩하고, 상기 입력 신호에 의해 나타나게 되는 특정 키 또는 키 조합을 실행할 수 있다. 여기서 유념해야 할 점은 위에서 언급한 실시 예가 도 2a 또는 도 2b의 아키텍처와 아울러 상기 키보드 컨트롤러(271)를 구비하거나 구비하지 않는 디스플레이 장치(200)의 아키텍처에 적용 가능하다는 점이다.
위의 내용을 고려하여, 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치가 제공된다. 상기 방법 및 전자 장치는 특정 영역 또는 선택 영역 내 픽셀들이 사전의 조건을 만족하는지를 검출하고, 상기 픽셀들이 상기 소정의 조건을 만족한다고 상기 디스플레이 컨트롤러가 결정함에 응답하여 가상 입력 신호를 생성하는 것이 가능하다. 상기 디스플레이 컨트롤러는 상기 호스트와 상기 디스플레이 장치 간 데이터 전송 채널을 통해 상기 가상 입력 신호를 상기 호스트로 전송할 수 있고, 그럼으로써 상기 호스트는 상기 가상 입력 신호에 해당하는 특정 조작(예컨대 특정 키 또는 키 조합을 누름)을 수행할 수 있게 된다. 따라서, 상기 디스플레이 장치에 의한 상기 디스플레이 이미지의 분석을 통해 상기 단축키를 자동으로 트리거하는 기능은 사용자가 게임을 플레이할 때 라이프를 단지 수동으로만 보충할 수 있거나 게임 캐릭터의 라이프를 보충할 수 없는 상황을 회피함으로써, 사용자 경험을 증가시킬 수 있다.
청구범위에서 "제1", "제2" 및 "제3"과 같은 용어의 사용은 청구범위에서 요소들을 수정하는 데 사용되며, 단지 동일한 명칭을 지니는 요소들을 구별하는데에만 사용되는 방법 단계를 수행할 경우에 우선순위, 선행관계, 다른 한 요소가 선행하는 요소, 또는 시간순서가 있음을 나타내는 데 사용되지 않는다.
본 발명이 지금까지 예로서 그리고 바람직한 실시 예들의 관점에서 설명되었지만, 여기서 이해해야 할 점은 본 발명이 개시된 실시 예들에만 국한되지 않는다는 점이다. 반대로, 당업자에게 명백한 바와 같은 다양한 수정 및 유사한 구조를 포함하도록 의도된 것이다. 그러므로 첨부된 청구항들의 범위는 그러한 모든 수정 및 유사한 구조를 포괄하도록 가장 광범위하게 해석되어야 한다.

Claims (20)

  1. 전자 장치에 있어서,
    상기 전자 장치는,
    디스플레이 패널;
    상기 디스플레이 패널의 디스플레이를 제어하도록 구성된 디스플레이 컨트롤러; 및
    상기 디스플레이 컨트롤러에 전기적으로 접속된 호스트;
    를 포함하며,
    상기 호스트는 디스플레이 이미지를 렌더링하기 위한 애플리케이션을 실행하고, 상기 디스플레이 이미지를 상기 호스트와 상기 디스플레이 컨트롤러 간 이미지 전송 채널을 통해 상기 디스플레이 컨트롤러로 전송하며,
    상기 디스플레이 컨트롤러는 상기 디스플레이 이미지의 특정 영역 내 픽셀들이 소정의 조건을 만족하는지를 검출하고, 상기 특정 영역은 상기 실행된 애플리케이션에 연관되며,
    상기 소정의 조건을 만족하는 특정 영역 내 픽셀들에 응답하여, 상기 디스플레이 컨트롤러는 가상 입력 신호를 트리거하며, 상기 호스트와 상기 디스플레이 컨트롤러 간 데이터 전송 채널을 통해 상기 가상 입력 신호를 상기 호스트로 전송하고 그럼으로써 상기 호스트는 상기 가상 입력 신호에 해당하는 특정 조작을 실행하게 되는, 전자 장치.
  2. 제1항에 있어서,
    상기 이미지 전송 채널은 상기 데이터 전송 채널과는 다른, 전자 장치.
  3. 제1항에 있어서,
    상기 소정의 조건은 상기 특정 영역 내 픽셀들 또는 특정 패턴 또는 특정 텍스트를 지니는 특정 영역 내 픽셀들의 컬러의 특정 변경 또는 특정 비율을 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 가상 입력 신호는 USB(Universal Serial Bus) 프로토콜을 지원하는 키보드 스캔 코드인, 전자 장치.
  5. 제1항에 있어서,
    상기 호스트는 상기 호스트가 상기 애플리케이션을 실행하고 있는지를 검출하도록 검출 프로그램을 실행하고,
    상기 검출 프로그램은 상기 호스트가 상기 애플리케이션을 실행하고 있음을 검출하면, 상기 호스트는 상기 데이터 전송 채널을 통해 상기 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러로 전송하고, 그럼으로써 상기 디스플레이 컨트롤러는 상기 전자 장치의 저장 유닛으로부터의 상기 애플리케이션에 해당하는 펌웨어를 실행을 위해 판독함으로써, 상기 특정 영역과 상기 소정의 조건을 설정하게 되는, 전자 장치.
  6. 제1항에 있어서,
    상기 특정 영역 및 상기 소정의 조건은 상기 호스트에 의해 실행되는 검출 프로그램의 사용자 인터페이스를 이용하여 설정되고, 상기 검출 프로그램은 상기 호스트가 상기 애플리케이션을 실행하고 있는지를 검출하며,
    상기 검출 프로그램은 상기 호스트가 상기 애플리케이션을 실행하고 있음을 검출하면, 상기 호스트는 상기 데이터 전송 채널을 통해 상기 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러로 전송하는, 전자 장치.
  7. 제1항에 있어서,
    상기 특정 영역 및 상기 소정의 조건은 상기 디스플레이 장치의 온-스크린 디스플레이(OSD) 메뉴에 의해 설정되는, 전자 장치.
  8. 제1항에 있어서,
    상기 전자 장치는 허브 및 키보드 컨트롤러를 더 포함하고, 상기 키보드 컨트롤러는 상기 허브를 통해 상기 디스플레이 컨트롤러에 접속되며, 벤더 식별자 및 제품 식별자를 상기 호스트에 의한 인식을 위해 제공하도록 구성되는, 전자 장치.
  9. 제8항에 있어서,
    상기 디스플레이 컨트롤러는 상기 특정 영역 내 픽셀들이 상기 소정의 조건을 만족하는 것으로 결정하면, 상기 디스플레이 컨트롤러는 상기 키보드 컨트롤러로 단축키 제어 신호를 전송하고, 상기 키보드 컨트롤러는 인코딩 절차를 통해 상기 단축키 제어 신호를 해당 가상 입력 신호로 변환하며, 상기 데이터 전송 채널을 통해 상기 가상 입력 신호를 상기 호스트로 전송하는, 전자 장치.
  10. 제1항에 있어서,
    상기 디스플레이 컨트롤러는 상기 디스플레이 이미지에서 게임 캐릭터 및 상기 게임 캐릭터의 라이프 바를 추적하고, 상기 라이프 바에 해당하는 특정 영역 내 픽셀들이 상기 소정의 조건을 만족하는지를 분석하도록 더 구성되는, 전자 장치.
  11. 전자 장치에서 사용하기 위한, 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법으로서, 상기 전자 장치는 디스플레이 패널, 디스플레이 컨트롤러 및 호스트를 포함하는 단축키의 자동 트리거 방법에 있어서,
    상기 단축키의 자동 트리거 방법은,
    상기 호스트를 이용하여 상기 호스트와 상기 디스플레이 컨트롤러 간 이미지 전송 채널을 통해 디스플레이 이미지를 렌더링하기 위한 애플리케이션을 실행하는 단계;
    상기 디스플레이 컨트롤러를 이용하여 상기 디스플레이 이미지의 특정 영역 내 픽셀들이 소정의 조건을 만족하는지를 검출하는 단계 - 상기 특정 영역은 상기 실행된 애플리케이션에 연관됨 -; 및
    상기 소정의 조건을 만족하는 특정 영역 내 픽셀들에 응답하여, 상기 디스플레이 컨트롤러를 이용하여 가상 입력 신호를 트리거하고, 상기 호스트와 상기 디스플레이 컨트롤러 간 데이터 전송 채널을 통해 상기 가상 입력 신호를 상기 호스트로 전송하며, 그럼으로써 상기 호스트는 상기 가상 입력 신호에 해당하는 특정 조작을 실행하게 되는 단계;
    를 포함하는, 단축키의 자동 트리거 방법.
  12. 제11항에 있어서,
    상기 이미지 전송 채널은 상기 데이터 전송 채널과는 다른, 단축키의 자동 트리거 방법.
  13. 제11항에 있어서,
    상기 소정의 조건은 상기 특정 영역 내 픽셀들 또는 특정 패턴 또는 특정 텍스트를 지니는 특정 영역 내 픽셀들의 컬러의 특정 변경 또는 특정 비율을 포함하는, 단축키의 자동 트리거 방법.
  14. 제11항에 있어서,
    상기 가상 입력 신호는 USB(Universal Serial Bus) 프로토콜을 지원하는 키보드 스캔 코드인, 단축키의 자동 트리거 방법.
  15. 제11항에 있어서,
    상기 단축키의 자동 트리거 방법은,
    상기 호스트를 이용하여 상기 호스트가 상기 애플리케이션을 실행하고 있는지를 검출하도록 검출 프로그램을 실행하는 단계;
    상기 검출 프로그램은 상기 호스트가 상기 애플리케이션을 실행하고 있음을 검출하면, 상기 호스트를 이용하여 상기 데이터 전송 채널을 통해 상기 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러로 전송하고, 그럼으로써 상기 디스플레이 컨트롤러는 상기 전자 장치의 저장 유닛으로부터의 상기 애플리케이션에 해당하는 펌웨어를 실행을 위해 판독함으로써, 상기 특정 영역과 상기 소정의 조건을 설정하게 되는 단계;
    를 더 포함하는, 단축키의 자동 트리거 방법.
  16. 제11항에 있어서,
    상기 특정 영역 및 상기 소정의 조건은 상기 호스트에 의해 실행되는 검출 프로그램의 사용자 인터페이스를 이용하여 설정되고, 상기 검출 프로그램은 상기 호스트가 상기 애플리케이션을 실행하고 있는지를 검출하며,
    상기 단축키의 자동 트리거 방법은,
    상기 검출 프로그램은 상기 호스트가 상기 애플리케이션을 실행하고 있음을 검출하면, 상기 호스트를 이용하여 상기 데이터 전송 채널을 통해 상기 애플리케이션의 실행 상태를 상기 디스플레이 컨트롤러로 전송하는 단계;
    를 더 포함하는, 단축키의 자동 트리거 방법.
  17. 제11항에 있어서,
    상기 특정 영역 및 상기 소정의 조건은 상기 디스플레이 장치의 온-스크린 디스플레이(OSD) 메뉴에 의해 설정되는, 단축키의 자동 트리거 방법.
  18. 제12항에 있어서,
    상기 전자 장치는 허브 및 키보드 컨트롤러를 더 포함하고, 상기 키보드 컨트롤러는 상기 허브를 통해 상기 디스플레이 컨트롤러에 접속되며, 벤더 식별자 및 제품 식별자를 상기 호스트에 의한 인식을 위해 제공하도록 구성되는, 단축키의 자동 트리거 방법.
  19. 제18항에 있어서,
    상기 단축키의 자동 트리거 방법은,
    상기 특정 영역 내 픽셀들이 상기 소정의 조건을 만족할 경우, 상기 디스플레이 컨트롤러를 이용하여 상기 키보드 컨트롤러로 단축키 제어 신호를 전송하는 단계; 및
    상기 키보드 컨트롤러를 이용하여 인코딩 절차를 통해 상기 단축키 제어 신호를 해당 가상 입력 신호로 변환하며, 상기 데이터 전송 채널을 통해 상기 가상 입력 신호를 상기 호스트로 전송하는 단계;
    를 더 포함하는, 단축키의 자동 트리거 방법.
  20. 제11항에 있어서,
    상기 단축키의 자동 트리거 방법은,
    상기 디스플레이 컨트롤러를 이용하여 상기 디스플레이 이미지에서 게임 캐릭터 및 상기 게임 캐릭터의 라이프 바를 추적하고, 상기 라이프 바에 해당하는 특정 영역 내 픽셀들이 상기 소정의 조건을 만족하는지를 분석하는 단계;
    를 더 포함하는, 단축키의 자동 트리거 방법.
KR1020200182289A 2019-12-31 2020-12-23 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치 KR102519683B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW108148482 2019-12-31
TW108148482A TWI719789B (zh) 2019-12-31 2019-12-31 電子裝置及利用顯示畫面的熱鍵自動觸發方法

Publications (2)

Publication Number Publication Date
KR20210086962A KR20210086962A (ko) 2021-07-09
KR102519683B1 true KR102519683B1 (ko) 2023-04-10

Family

ID=73554246

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200182289A KR102519683B1 (ko) 2019-12-31 2020-12-23 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치

Country Status (6)

Country Link
US (1) US11471757B2 (ko)
EP (1) EP3845283B1 (ko)
JP (1) JP7133610B2 (ko)
KR (1) KR102519683B1 (ko)
CN (1) CN113117319A (ko)
TW (1) TWI719789B (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI719789B (zh) * 2019-12-31 2021-02-21 技嘉科技股份有限公司 電子裝置及利用顯示畫面的熱鍵自動觸發方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100458209B1 (ko) * 2004-05-27 2004-11-26 손해열 입력디바이스 실행명령 제어장치 및 방법
US20150278624A1 (en) * 2014-03-27 2015-10-01 Wistron Corporation Image processing system for generating information by image recognition and related method

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6088018A (en) 1998-06-11 2000-07-11 Intel Corporation Method of using video reflection in providing input data to a computer system
US6287198B1 (en) * 1999-08-03 2001-09-11 Mccauley Jack J. Optical gun for use with computer games
US20040212610A1 (en) * 2003-04-25 2004-10-28 Dell Products L.P. Method and apparatus for associating display configuration information with respective displays of an information handling system
KR100911245B1 (ko) 2007-11-05 2009-08-06 옵티시스 주식회사 디지털 영상 데이터를 전송하는 디지털 영상 전송 시스템
JP4842917B2 (ja) * 2007-12-07 2011-12-21 富士通株式会社 後続処理の自動処理プログラム，後続処理の自動処理装置および後続処理の自動処理方法
JP2012118716A (ja) 2010-11-30 2012-06-21 Secom Co Ltd 画像監視装置
KR101522399B1 (ko) * 2011-12-23 2015-05-22 주식회사 케이티 휴대 단말에서 외부 디스플레이 기기로의 화면 표출 방법 및 그 휴대 단말
TWI530184B (zh) * 2012-02-02 2016-04-11 Tpv Display Technology Xiamen A display system with a memorandum function and a control method thereof
KR20130126067A (ko) * 2012-05-10 2013-11-20 삼성전자주식회사 원격제어장치를 이용한 디스플레이 디바이스의 기능 제어 방법 및 시스템
KR102211212B1 (ko) * 2013-03-15 2021-02-03 비데리 인코포레이티드 디지털 아트 및 이미징을 디스플레이하고, 배포하고, 뷰잉하고 제어하기 위한 시스템 및 방법
KR101893153B1 (ko) * 2014-09-03 2018-10-04 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR102254671B1 (ko) * 2014-09-25 2021-05-21 삼성전자주식회사 디스플레이의 위치에 따라 데이터 전송 순서를 결정할 수 있는 애플리케이션 프로세서와 이를 포함하는 장치들
US10102089B2 (en) * 2014-12-17 2018-10-16 Intel Corporation Input/output (I/O) device configuration signature
CN107209596B (zh) * 2015-01-30 2020-12-08 惠普发展公司，有限责任合伙企业 使用输入设备将输入设备校准到显示器
KR102364674B1 (ko) * 2015-04-27 2022-02-18 엘지전자 주식회사 디스플레이 디바이스 및 그 제어 방법
KR102275707B1 (ko) 2015-05-04 2021-07-09 삼성전자주식회사 디스플레이 드라이버, 디스플레이 장치 및 디스플레이 시스템
WO2017068454A1 (en) * 2015-10-23 2017-04-27 Semiconductor Energy Laboratory Co., Ltd. Display panel, input/output device, and data processing device
TW201732385A (zh) * 2015-11-30 2017-09-16 半導體能源研究所股份有限公司 顯示裝置、輸入輸出裝置、資料處理裝置以及資料處理裝置的驅動方法
TWI751987B (zh) * 2016-06-15 2022-01-11 日商半導體能源研究所股份有限公司 顯示裝置、顯示模組及電子裝置
CN106991424B (zh) 2017-04-01 2019-08-20 武汉大学 一种基于面向对象的特定区域全自动变化监测方法
KR102444156B1 (ko) * 2017-09-22 2022-09-16 삼성디스플레이 주식회사 표시 장치 및 그 구동방법
CN110599479A (zh) 2019-09-16 2019-12-20 北京航天宏图信息技术股份有限公司 一种监测区域变化检测方法、装置及存储介质
US11747802B2 (en) * 2019-12-11 2023-09-05 Mason Electric Co. Ruggedized remote control display management system for harsh and safety-critical environments
TWI719789B (zh) * 2019-12-31 2021-02-21 技嘉科技股份有限公司 電子裝置及利用顯示畫面的熱鍵自動觸發方法
TWI734329B (zh) * 2019-12-31 2021-07-21 技嘉科技股份有限公司 電子裝置及利用外部輸入信號的按鍵巨集之觸發方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100458209B1 (ko) * 2004-05-27 2004-11-26 손해열 입력디바이스 실행명령 제어장치 및 방법
US20150278624A1 (en) * 2014-03-27 2015-10-01 Wistron Corporation Image processing system for generating information by image recognition and related method

Also Published As

Publication number Publication date
EP3845283B1 (en) 2023-10-11
KR20210086962A (ko) 2021-07-09
TW202127188A (zh) 2021-07-16
JP2021111371A (ja) 2021-08-02
US11471757B2 (en) 2022-10-18
CN113117319A (zh) 2021-07-16
TWI719789B (zh) 2021-02-21
US20210197084A1 (en) 2021-07-01
JP7133610B2 (ja) 2022-09-08
EP3845283A1 (en) 2021-07-07

Similar Documents

Publication Publication Date Title
TWI673645B (zh) 電腦系統、顯示裝置、及螢幕上顯示介面的顯示方法
KR102526096B1 (ko) 디스플레이 시스템 및 디스플레이 장치
JP7178397B2 (ja) 電子装置、および、外部入力信号を用いたマクロキーのトリガー方法
KR102519683B1 (ko) 디스플레이 이미지를 이용하여 단축키를 자동으로 트리거하는 방법 및 전자 장치
CN111782169A (zh) 电脑系统、显示装置及屏幕上显示界面的操作方法
CN113126860B (zh) 电子装置及屏幕上显示界面的显示方法
TW202038080A (zh) 電腦系統、顯示裝置及螢幕上顯示介面的操作方法
TWI766518B (zh) 顯示裝置及滑鼠靈敏度同步方法
TWI826203B (zh) 電腦裝置及顯示裝置
TWI766509B (zh) 顯示裝置及投影式螢幕上顯示介面的控制方法
CN114697622A (zh) 显示装置及投影式屏幕上显示界面的控制方法
CN114690917A (zh) 显示装置及鼠标灵敏度同步方法
EP3846157A1 (en) Electronic device and method of burn-in prevention for electronic device

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant