KR101416106B1 - 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 - Google Patents

사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 Download PDF

Info

Publication number
KR101416106B1
KR101416106B1 KR1020120106931A KR20120106931A KR101416106B1 KR 101416106 B1 KR101416106 B1 KR 101416106B1 KR 1020120106931 A KR1020120106931 A KR 1020120106931A KR 20120106931 A KR20120106931 A KR 20120106931A KR 101416106 B1 KR101416106 B1 KR 101416106B1
Authority
KR
South Korea
Prior art keywords
rendering
interface
event
display screen
mode
Prior art date
Application number
KR1020120106931A
Other languages
English (en)
Other versions
KR20140040389A (ko
Inventor
오재천
Original Assignee
주식회사 인프라웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 인프라웨어 filed Critical 주식회사 인프라웨어
Priority to KR1020120106931A priority Critical patent/KR101416106B1/ko
Publication of KR20140040389A publication Critical patent/KR20140040389A/ko
Application granted granted Critical
Publication of KR101416106B1 publication Critical patent/KR101416106B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 사용자 인터페이스에 대한 응답성을 개선한 렌더링 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 사용자 단말에서 사용자 인터페이스의 종류와 렌더링 대상 객체의 종류를 식별하여 RM 모드 렌더링과 VM 모드 렌더링을 최적으로 적용함으로써 사용자의 인터페이스 조작에 대응하여 응답성이 개선되도록 구성한 렌더링 기술에 관한 것이다. 본 발명에 따르면 동일한 그래픽 처리능력에서도 사용자 인터페이스의 조작 입력에 대응하는 디스플레이 화면의 실시간 반응성을 향상시켜 전반적인 고객 만족도를 제고할 수 있는 장점이 있다. 또한, 본 발명에 따르면 사용자의 연속적인 조작 입력에 실시간 대응함으로써 조작감을 제고할 수 있는 효과를 제공한다. 그에 따라, 본 발명에 따르면 연속적인 조작 입력이 빠르게 제공되는 어플리케이션(예: 게임 어플리케이션)을 사용자 단말이 무리없이 처리할 수 있는 장점이 있다.

Description

사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 {COMBINATION-TYPE RENDERING METHOD FOR IMPROVING USER RESPONSIVENESS, AND COMPUTER-READABLE RECORDING MEDIUM WITH RENDERING PROGRAM FOR THE SAME}
본 발명은 사용자 인터페이스에 대한 응답성을 개선한 렌더링 기술에 관한 것이다. 더욱 상세하게는, 본 발명은 사용자 단말에서 사용자 인터페이스의 종류와 렌더링 대상 객체의 종류를 식별하여 RM 모드 렌더링과 VM 모드 렌더링을 최적으로 적용함으로써 사용자의 인터페이스 조작에 대응하여 응답성이 개선되도록 구성한 렌더링 기술에 관한 것이다.
현재 스마트폰이나 스마트패드와 같은 각종의 사용자 단말이 폭발적으로 보급되고 있다. 이들 사용자 단말에서는 일반적으로 터치스크린을 통해 사용자 인터페이스를 구현하는데, 터치스크린 상의 터치 조작을 통해 화면 확대/축소, 플리킹(flicking), 스크롤링, 패닝(panning), 각종 화면변경 등의 인터페이스 조작을 제공한다.
이러한 사용자 단말에서 사용자 인터페이스 조작의 인터페이스 이벤트가 발생되면 사용자 단말은 그에 대응하여 일련의 렌더링 작업을 수행한 후 그 결과를 화면에 출력한다. 이때 렌더링 작업에 많은 시간이 소요되면 사용자는 인터페이스 조작의 결과가 늦게 화면에 반영된다고 느끼게 되며, 그에 따라 사용자 단말에 대해 조작 응답성이 느리다는 불만을 갖게 된다.
좀더 구체적으로 살펴보면, 종래 기술에서 사용자 인터페이스를 통해 각종의 인터페이스 이벤트가 발생하면 그에 따른 렌더링 작업을 수행하고 그 결과를 화면에 출력하는데, 본 발명자는 이때 사용자 인터페이스에 대한 응답성을 저해하는 요인으로 다음과 같은 4가지 원인을 선정하였다.
첫째로, 렌더링되는 이미지 사이즈가 원본데이터 로딩, 크기변경, 화면 출력 과정에서 응답성에 영향을 줄 정도로 큰 경우에(즉, 대용량 이미지인 경우에) 응답 시간이 오래 걸리게 된다.
둘째로, 사용자 인터페이스 화면에 출력하는 객체의 수가 많아 응답성이 저하되는 경우가 발생한다.
셋째로, 인터페이스 조작에서 요구하는 화면 변화의 속도가 너무 빠르기에 그에 맞추기 위해서는 렌더링 작업 시간이 부족하며 그에 따라 렌더링 작업에 의해 화면 변화가 느려지는 경우가 발생한다.
넷째로, 3차원 화면과 같은 특수한 객체표현 효과로 인해 렌더링 처리양이 많은 경우 렌더링을 위한 프로세싱 양이 너무 많거나 렌더링 속도 요구량이 너무 높아서 일반적인 사양의 사용자 단말에서는 사용자의 조작에 즉각적인 반응을 하지 못하게 된다. 그에 따라 화면 전환이 매끄럽지 못하고 사용자의 연속 조작에 적절한 응답성을 제공하지 못한다.
이에 따라, 해당 기술 분야에 있어서는 이러한 문제점을 해결하기 위해 종래로 그래픽 프로세서의 성능을 높이는 방향으로 노력을 해왔으나, 이러한 접근 방식에는 비용상승과 배터리 용량의 문제점이 수반되는 단점이 있다. 그에 따라 본 발명에서는 렌더링 운용 체계를 변경하여 렌더링 효율을 제고함으로써 사용자 인터페이스 조작에 따른 실시간 응답성을 제고하고 그에 따라 사용자 단말에 대한 고객 만족도를 제고하고자 한다.
[관련기술문헌]
1. 멀티미디어 장면의 렌더링 최적화 방법, 해당 프로그램,신호, 데이터 저장매체, 단말 및 수신 방법(특허출원 제10-2008-7012492호)
본 발명의 목적은 사용자 인터페이스에 대한 응답성을 개선한 렌더링 기술을 제공하는 것이다. 더욱 상세하게는, 본 발명의 목적은 사용자 단말에서 사용자 인터페이스의 종류와 렌더링 대상 객체의 종류를 식별하여 RM 모드 렌더링과 VM 모드 렌더링을 최적으로 적용함으로써 사용자의 인터페이스 조작에 대응하여 응답성이 개선되도록 구성한 렌더링 기술을 제공하는 것이다.
이러한 과제를 달성하기 위한 본 발명은 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법으로서, 듀얼렌더링 모듈이 디스플레이 화면의 사용자 인터페이스들 중에서 신속한 응답성을 요구하는 인터페이스의 종류를 판단하기 위한 VM 인터페이스 테이블을 식별하는 제 1 단계; 듀얼렌더링 모듈이 디스플레이 화면을 구성하는 객체들 중에서 높은 렌더링 프로세싱을 요구하는 고부하 객체의 종류를 판단하기 위한 VM 객체 테이블을 식별하는 제 2 단계; 듀얼렌더링 모듈이 사용자 조작에 대응하여 인터페이스 이벤트를 식별하는 제 3 단계; 인터페이스 이벤트가 VM 인터페이스 테이블에 해당 여부를 판단하는 제 4 단계; 인터페이스 이벤트가 VM 인터페이스 테이블에 해당하지 않는 경우, 듀얼렌더링 모듈이 인터페이스 이벤트에 따른 디스플레이 화면 구현을 RM 모드로 렌더링 처리하는 제 5 단계; 인터페이스 이벤트가 VM 인터페이스 테이블에 해당하는 경우, 듀얼렌더링 모듈이 디스플레이 화면에서 인터페이스 이벤트에 의해 렌더링 처리할 하나 이상의 목적 객체에 대해 VM 객체 테이블의 해당 여부에 따라 RM 모드와 VM 모드를 선택적으로 적용하여 렌더링 처리하는 제 6 단계;를 포함하여 구성된다.
본 발명의 조합형 렌더링 방법에서 제 6 단계는, 듀얼렌더링 모듈이 디스플레이 화면에서 인터페이스 이벤트에 따라 렌더링 처리해야할 하나 이상의 목적 객체를 식별하는 단계; 목적 객체에 대해 VM 객체 테이블에 해당 여부를 판단하는 단계; VM 객체 테이블에 해당하지 않는 객체에 대해서는 RM 모드로 렌더링 처리하는 단계; VM 객체 테이블에 해당하는 객체에 대해서는 VM 모드로 렌더링 처리하는 단계;를 포함하여 구성된다.
본 발명에 따른 조합형 렌더링 방법은, 인터페이스 이벤트가 VM 인터페이스 테이블에 해당하고 제 6 단계 이후에 디스플레이 화면에 대한 리프레시 이벤트의 발생을 검출하면 VM 렌더링된 목적 객체에 대한 RM 렌더링 변환을 수행하는 제 7 단계;를 더 포함하여 구성될 수 있다. 또한, 본 발명에 따른 조합형 렌더링 방법은, 인터페이스 이벤트가 VM 인터페이스 테이블에 해당하고 제 6 단계 이후에 디스플레이 화면에 대한 리프레시 이벤트의 발생을 검출하면 디스플레이 화면 전체에 대한 RM 렌더링 변환을 수행하는 제 8 단계;를 더 포함하여 구성될 수 있다. 이때, 리프레시 이벤트는 터치업 이벤트와 아이들타임 이벤트 중 하나 이상을 포함하여 구성된다.
한편, 본 발명에 따른 컴퓨터로 판독가능한 기록매체는 이상과 같은 사용자 인터페이스에 대한 응답성 개선을 위한 조합형 렌더링 방법을 수행하기 위한 렌더링 프로그램을 기록한 것이다.
본 발명에 따르면 동일한 그래픽 처리능력에서도 사용자 인터페이스의 조작 입력에 대응하는 디스플레이 화면의 실시간 반응성을 향상시켜 전반적인 고객 만족도를 제고할 수 있는 장점이 있다.
또한, 본 발명에 따르면 사용자의 연속적인 조작 입력에 실시간 대응함으로써 조작감을 제고할 수 있는 효과를 제공한다. 그에 따라, 본 발명에 따르면 연속적인 조작 입력이 빠르게 제공되는 어플리케이션(예: 게임 어플리케이션)을 사용자 단말이 무리없이 처리할 수 있는 장점이 있다.
[도 1]은 본 발명에 따른 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법이 구현되는 사용자 단말의 내부 구성을 나타내는 도면.
[도 2]는 본 발명에서 듀얼렌더링 모듈의 상세 구성을 나타내는 도면.
[도 3]은 본 발명에서 렌더링 준비 과정을 나타내는 순서도.
[도 4]는 본 발명에 따른 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법이 구현되는 전체 과정을 나타내는 순서도.
이하에서는 도면을 참조하여 본 발명을 상세하게 설명한다.
[도 1]은 본 발명에 따른 응답성 개선을 위한 조합형 렌더링 방법이 구현되는 사용자 단말(10)의 내부 구성을 나타내는 도면이고, [도 2]는 본 발명에서 듀얼렌더링 모듈(13)의 상세 구성을 나타내는 도면이다. 먼저, [도 1]을 참조하면, 사용자 단말(10)은 터치스크린(11), 제어부(12), 듀얼렌더링 모듈(13), 저장부(14)를 포함하여 이루어진다. 그리고 제어부(12)는 그래픽 엔진모듈(12a)과 VM 처리모듈(12b)을 구비하고, 저장부(14)는 VM 인터페이스 테이블(14a)과 VM 객체 테이블(14b)을 구비한다.
이때, 듀얼렌더링 모듈(13)은 사용자가 터치스크린(11) 상에서 화면 변경을 유발하는 인터페이스 조작을 제공하면 그에 대응하여 RM 모드(Real-Mode)와 VM 모드(Virtual-Mode)에 따른 렌더링 프로세스를 적절하게 조합 적용하여 디스플레이 화면을 업데이트하는 구성이다.
본 발명의 이해를 위해 RM 모드의 렌더링과 VM 모드의 렌더링에 대해 먼저 살펴본다. RM 모드에서는 디스플레이 화면을 구성하기 위한 각종 정보를 그래픽 엔진모듈(12a)에 제공하고, 그래픽 엔진모듈(12a)에서 정교한 그래픽 프로세싱을 통해 출력되는 이미지가 화면에 출력되도록 한다. RM 모드는 디스플레이 화면이 매우 깨끗하고 정교하게 이루어지는 대신 복잡한 그래픽 프로세싱 과정에 상당한 시간이 소요된다. 일반적으로 사용자 단말(10)에서 구현되는 디스플레이 화면은 RM 모드로 구현된다.
반면, VM 모드에서는 복잡한 그래픽 프로세싱 없이 디스플레이 화면을 구성한다. 즉, 현재의 디스플레이 화면에 대해 간단한 가공 작업(예: 확대, 축소, 회전, 이동 등)을 가하여 다음의 디스플레이 화면을 구현한다. VM 모드는 화면 품질이 RM 모드에 비해 상대적으로 조악한 대신 간단한 이미지 프로세싱으로 개략적으로 처리하는 것이므로 시간 소모가 적다. 이러한 VM 모드의 렌더링을 수행하는 구성요소로 VM 처리모듈(12b)를 표시하였다.
이어서, 저장부(14)의 VM 인터페이스 테이블(14a)과 VM 객체 테이블(14b)을 살펴본다. 먼저, VM 인터페이스 테이블(14a)은 터치스크린(11)에 구현되는 사용자 인터페이스 중에서 특별히 신속한 응답성을 요구하는 것으로 구분된 인터페이스의 종류에 관한 정보를 구비한다. 그에 따라, 듀얼렌더링 모듈(13)은 VM 인터페이스 테이블(14a)을 조회함으로써 특정의 인터페이스가 신속한 응답성을 요구하는 것인지 여부를 식별할 수 있다.
또한, VM 객체 테이블(14b)은 디스플레이 화면을 구성하는 객체들(objects) 중에서 특별히 높은 렌더링 프로세싱을 요구하는 고부하 객체라고 구분된 객체의 종류에 관한 정보를 구비한다. 그에 따라, 듀얼렌더링 모듈(13)은 VM 객체 테이블(14b)을 조회함으로써 특정의 객체가 높은 렌더링 프로세싱을 요구하는 고부하 객체인지 여부를 식별할 수 있다.
이러한 VM 인터페이스 테이블(14a)과 VM 객체 테이블(14b)은 외부에서 생성하여 사용자 단말(10)로 제공하는 것이 바람직하다.
한편, [도 2]를 참조하면, 듀얼렌더링 모듈(13)은 VM 인터페이스 테이블 식별수단(13a), VM 객체 테이블 식별수단(13b), 인터페이스 판단수단(13c), 객체 판단수단(13d), RM 렌더링 수단(13e), VM 렌더링 수단(13f), 렌더링 변환수단(13g)을 구비하여 이루어진다. 이하에서는 듀얼렌더링 모듈(13)을 중심으로 사용자 단말(10)을 구체적으로 살펴보도록 한다.
먼저, VM 인터페이스 테이블 식별수단(13a)은 디스플레이 화면의 사용자 인터페이스 중에서 특별히 신속한 응답성을 요구하는 인터페이스의 종류를 판단하기 위한 VM 인터페이스 테이블(14a)을 저장부(14)로부터 식별한다. 여기서 VM 인터페이스 테이블(14a)에 저장되는 인터페이스의 종류는 특별히 빠른 응답성을 요구한다고 구분된 것으로 예컨대 화면 확대ㆍ축소ㆍ회전ㆍ이동, 플리킹, 스크롤링, 화면변경 등을 생각할 수 있다. 반대로 느린 스크롤이나 패닝 등과 같이 별달리 신속한 응답성을 요구하지 않는 성격의 인터페이스는 VM 인터페이스 테이블(14a)에 저장되지 않을 것이다.
VM 객체 테이블 식별수단(13b)은 디스플레이 화면을 구성하는 객체들 중에서 높은 렌더링 프로세싱을 요구하는 고부하 객체의 종류를 판단하기 위한 VM 객체 테이블(14b)을 저장부(14)로부터 식별한다. 여기서 VM 객체 테이블(14b)에 해당되는 고부하 객체의 종류는 미리 설정되는데, 듀얼렌더링 모듈(13)이 그래픽 엔진모듈(12a)에 의한 데이터 프로세싱 로드를 모니터링하여 VM 객체 테이블(14b)을 업데이트하는 구성도 가능하다.
사용자 단말(10)이 디스플레이 화면을 구성할 때 다양한 객체가 활용되는데, 이러한 객체들 중에서 렌더링에 상당한 프로세싱을 요구하여 상황에 따라서는 VM 모드로 처리할 필요가 있는 객체에 관한 식별정보가 VM 객체 테이블(14b)에 포함되어 있다. 이러한 고부하 객체로는 객체표현 효과(예: 3D 효과)가 적용된 객체, 임계치 이상의 대형 이미지, 특정 스타일의 객체[예: 그라데이션(Gradation) 스타일] 등이 될 수 있다.
인터페이스 판단수단(13c)은 터치스크린(11)로 인가되는 사용자 조작에 대응하여 인터페이스 이벤트를 추출하고, 당해 인터페이스 이벤트가 VM 인터페이스 테이블(14a)에 해당하는지 여부를 판단한다.
객체 판단수단(13d)은 인터페이스 이벤트에 의해 렌더링 처리를 수행할 목적 객체에 대해 VM 객체 테이블(14b)에 저장된 고부하 객체에 해당하는지 여부를 판단한다.
RM 렌더링 수단(13e)은 인터페이스 이벤트에 의해 렌더링 처리를 수행할 목적 객체를 그래픽 엔진모듈(12a)로 제공하여 정교한 그래픽 프로세싱을 통해 디스플레이 화면을 구성하는 RM 모드 렌더링을 수행한다.
VM 렌더링 수단(13f)은 인터페이스 이벤트에 의해 렌더링 처리를 수행할 목적 객체를 VM 처리모듈(12b)로 제공하여 그래픽 품질보다 속도 위주로 디스플레이 화면을 구성하는 VM 모드 렌더링을 수행한다. 이와 같은 VM 모드 렌더링의 예를 살펴본다. 먼저, 3D 객체표현 효과가 적용된 객체를 단순히 2D로 표현하는 것을 생각할 수 있다. 다른 예로서, 이미지 스케일링이나 각종 효과를 적용할 때 그래픽 품질은 떨어지더라도 상대적으로 프로세싱 부하가 낮은 알고리즘 적용한다. 예를 들어, 스케일링(축소/확대) 조작의 경우에 바이리니어(bi-linear) 알고리즘이나 바이큐빅(bi-cubic) 알고리즘이 그래픽 품질이 우수하기 때문에 RM 모드 렌더링에서는 사용되는데, VM 모드 렌더링에서는 이보다 품질은 떨어지지만 프로세싱 부하가 낮은 다른 알고리즘[예: 니어리스트 픽셀(nearnest pixel) 알고리즘)을 사용한다. 또다른 예로서, 다양한 컬러/패턴을 갖는 객체에 대해서는 색상과 패턴을 단순화하여 표현할 수 있는데, 예컨대 복잡한 패턴의 색상은 중간 정도의 색상으로 채워 표현할 수 있고, 그라데이션의 경우에는 5-레벨 그라데이션을 2-레벨 그라데이션으로 처리할 수 있다.
렌더링 변환수단(13g)은 일단 VM 모드로 렌더링된 객체에 대해 일정 조건(본 명세서에서는 '리프레시 이벤트'라고 부른다)이 발생하면 이를 RM 모드로 다시 렌더링한다. VM 모드로 렌더링한 경우에는 그래픽 품질이 아무래도 떨어지기 때문에 일정 조건이 만족한다면 RM 모드로 다시 렌더링하여 사용자 단말(10)의 디스플레이 화면 품질을 높이려는 것이다.
이러한 렌더링 변환수단(13g)이 실행되는 경우의 예로서 사용자가 터치 조작으로 확대/축소/이동 등을 한 경우를 살펴본다. 확대/축소 조작은 VM 인터페이스 테이블(14a)에 등록되어 있으므로 일단은 VM 모드로 렌더링을 수행한 뒤, 터치업(touch-up) 이벤트가 검출(즉, 손가락을 디스플레이 화면에서 뗀 상황)되거나 미리 설정된 아이들타임(idle-time) 이벤트가 검출(손가락을 화면에서 떼지는 않았으나 한동안 손가락을 움직이지 않고 가만히 관찰하고 있는 상황)되면 디스플레이 화면을 깨끗하게 다시 렌더링한다. 전체 화면을 완전히 RM 모드로 렌더링할 수도 있고 VM 렌더링한 객체에 대해서만 선택적으로 RM 모드로 렌더링할 수도 있다. 이러한 조건을 본 명세서에서는 '리프레시 이벤트'라 부른다.
[도 3]은 본 발명에 따른 응답성을 개선한 조합형 렌더링 방법 중에서 렌더링 준비 과정을 나타내는 순서도이다.
먼저, 듀얼렌더링 모듈(13)은 터치스크린(11)에 구현되는 사용자 인터페이스들 중에서 특별히 신속한 응답성을 요구하는 인터페이스의 종류를 판단하기 위한 VM 인터페이스 테이블(14a)을 식별한다(S11). 이때 VM 인터페이스 테이블(14a)은 미리 외부에서 작성하여 사용자 단말(10)을 제조하는 과정 또는 사용자 단말(10)에 특정 어플리케이션 프로그램을 설치하는 과정에서 저장부(14)에 저장되는 것이 바람직하다. 단계 S11은 듀얼렌더링 모듈(13)이 저장부(14)로부터 VM 인터페이스 테이블(14a)을 식별하는 단계이다.
단계(S11) 이후, 듀얼렌더링 모듈(13)은 디스플레이 화면을 구성하는 객체들 중에서 높은 렌더링 프로세싱을 요구하는 고부하 객체의 종류를 판단하기 위한 VM 객체 테이블(14b)을 식별한다(S12). 마찬가지로 VM 객체 테이블(14b)은 미리 외부에서 작성하여 사용자 단말(10)을 제조하는 과정 또는 사용자 단말(10)에 특정 어플리케이션 프로그램을 설치하는 과정에서 저장부(14)에 저장되는 것이 바람직하다. 단계 S12는 듀얼렌더링 모듈(13)이 저장부(14)로부터 VM 객체 테이블(14b)을 식별하는 단계이다.
[도 4]는 본 발명에 따른 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법이 구현되는 과정을 순서도이다. [도 1] 내지 [도 4]를 참조하면, 먼저 듀얼렌더링 모듈(13)은 터치스크린(11) 상에 인가되는 사용자 조작에 대응하여 인터페이스 이벤트를 식별한다(S21).
단계(S21) 이후, 듀얼렌더링 모듈(13)은 그 식별된 인터페이스 이벤트가 VM 인터페이스 테이블(14a)에 저장된 신속한 응답성을 요구하는 인터페이스에 해당되는지 여부를 판단한다(S22).
단계(S22)의 판단 결과 인터페이스 이벤트가 VM 인터페이스 테이블(14a)에 해당하지 않는 경우, 듀얼렌더링 모듈(13)은 그 인가된 인터페이스 이벤트가 별달리 신속한 응답성을 요구하지 않는 것으로 판단하며, 그에 따라 인터페이스 이벤트에 해당하는 화면 렌더링 작업을 그래픽 엔진모듈(12a)을 활용하여 RM 모드로 렌더링 처리하도록 한다(S23).
단계(S22)의 판단 결과 인터페이스 이벤트가 VM 인터페이스 테이블(14a)에 해당하는 경우, 듀얼렌더링 모듈(13)은 그 인가된 인터페이스 이벤트가 특별히 신속한 응답성을 요구하는 것으로 판단하며, 그에 따라 VM 모드 렌더링과 RM 모드 렌더링을 조합함으로써 렌더링 속도 향상을 도모한다.
먼저, 인터페이스 이벤트에 따라 디스플레이 화면의 렌더링에 필요한 하나 이상의 목적 객체를 식별한다(S24). 즉, 인터페이스 이벤트에 따라 디스플레이 화면을 변경하여 렌더링해야 하는데, 이때 그래픽 처리를 수행해야 할 객체 전체를 목적 객체로서 식별하는 것이다.
그리고 나서, 이들 목적 객체에 대해 VM 객체 테이블(14b)에 따른 고부하 객체에 해당하는지 여부를 판단한다(S25).
단계(S25)의 판단 결과 목적 객체가 VM 객체 테이블(14b)에 해당하지 않는 경우라면 듀얼렌더링 모듈(13)은 당해 목적 객체에 대해 그래픽 엔진모듈(12a)을 활용하는 RM 모드 렌더링을 수행한다(S26). 반대로, VM 객체 테이블(14b)에 해당하는 경우에는 듀얼렌더링 모듈(13)은 당해 목적 객체를 VM 처리모듈(12b)를 활용하는 VM 모드 렌더링을 수행한다(S27).
이와 같은 작업을 목적 객체 전체에 대해 수행한다(S28). 이를 통해, 그 인가된 인터페이스 이벤트에 대해 VM 모드 렌더링과 RM 모드 렌더링을 최적으로 조합하여 적절한 그래픽 품질과 빠른 응답성을 모두 만족하면서 디스플레이 조작을 달성할 수 있다.
그리고 나서, 듀얼렌더링 모듈(13)은 전술하였던 터치업 이벤트나 아이들타임 이벤트와 같은 리프레시 이벤트의 발생 여부를 판단한다(S29).
단계(S29)의 판단 결과 리프레시 이벤트가 검출되지 않는다면 그대로 종료하는데, 이는 현재의 인터페이스 이벤트에 이어서 바로 다음 인터페이스 이벤트가 들어온 경우를 생각할 수 있다. 즉, 터치업 이벤트나 아이들타임 이벤트가 발생할 겨를도 없이 바로 확대/축소/스크롤링/패닝 등의 인터페이스 이벤트가 잇달아 들어오는 경우이다.
단계(S29)의 판단 결과 리프레시 이벤트가 검출된 경우에는 듀얼렌더링 모듈(13)의 렌더링 변환수단(13g)은 현재 디스플레이 화면에서 VM 모드로 렌더링된 목적 객체를 선택적으로 RM 모드로 렌더링 변환하거나 아예 화면 전체를 RM 모드로 렌더링 변환한다(S30).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드의 형태로 구현하는 것이 가능하다. 이때, 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 캐리어웨이브(예: 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산된 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인 프로그램, 코드, 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상과 같이, 본 명세서와 도면에는 본 발명의 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형예가 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명하다.
10: 사용자 단말
11: 터치스크린
12: 제어부
12a: 그래픽 엔진모듈
12b: VM 처리모듈
13: 듀얼렌더링 모듈
13a: VM 인터페이스 테이블 식별수단
13b: VM 객체 테이블 식별수단
13c: 인터페이스 판단수단
13d: 객체 판단수단
13e: RM 렌더링 수단
13f: VM 렌더링 수단
13g: 렌더링 변환수단
14: 저장부
14a: VM 인터페이스 테이블
14b: VM 객체 테이블

Claims (6)

  1. 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법으로서,
    듀얼렌더링 모듈이 디스플레이 화면의 사용자 인터페이스들 중에서 신속한 응답성을 요구하는 인터페이스 이벤트의 종류를 하나이상 포함하는 VM 인터페이스 테이블을 식별하는 제 1 단계;
    상기 듀얼렌더링 모듈이 디스플레이 화면을 구성하는 객체들 중에서 높은 렌더링 프로세싱을 요구하는 고부하 객체의 종류를 하나이상 포함하는 VM 객체 테이블을 식별하는 제 2 단계;
    상기 듀얼렌더링 모듈이 사용자 조작에 의한 인터페이스 이벤트를 식별하는 제 3 단계;
    상기 인터페이스 이벤트가 상기 VM 인터페이스 테이블에 포함되는지 여부를 판단하는 제 4 단계;
    상기 인터페이스 이벤트가 상기 VM 인터페이스 테이블에 포함되지 않는 경우, 상기 듀얼렌더링 모듈이 상기 인터페이스 이벤트에 따른 디스플레이 화면 구현을 RM 모드로 렌더링 처리하는 제 5 단계;
    상기 인터페이스 이벤트가 상기 VM 인터페이스 테이블에 포함되는 경우, 상기 듀얼렌더링 모듈이 디스플레이 화면에서 상기 인터페이스 이벤트에 의해 렌더링 처리할 하나 이상의 목적 객체에 대해 상기 VM 객체 테이블에 포함되는지 여부에 대응하여 상기 목적 개체에 대해 RM 모드와 VM 모드를 선택적으로 적용하여 렌더링 처리하는 제 6 단계;
    를 포함하여 구성되는 응답성 개선을 위한 조합형 렌더링 방법.
  2. 청구항 1에 있어서,
    상기 제 6 단계는,
    상기 듀얼렌더링 모듈이 디스플레이 화면에서 상기 인터페이스 이벤트에 따라 렌더링 처리해야할 하나 이상의 목적 객체를 식별하는 단계;
    상기 목적 객체가 상기 VM 객체 테이블에 포함되는지 여부를 판단하는 단계;
    상기 VM 객체 테이블에 포함되지 않는 객체는 RM 모드로 렌더링 처리하는 단계;
    상기 VM 객체 테이블에 포함되는 객체는 VM 모드로 렌더링 처리하는 단계;
    를 포함하여 구성되는 것을 특징으로 하는 응답성 개선을 위한 조합형 렌더링 방법.
  3. 청구항 2에 있어서,
    상기 인터페이스 이벤트가 상기 VM 인터페이스 테이블에 포함되고 상기 제 6 단계 이후에 디스플레이 화면에 대한 리프레시 이벤트의 발생을 검출하면 상기 VM 렌더링된 목적 객체에 대한 RM 렌더링 변환을 수행하는 제 7 단계;
    를 더 포함하여 구성되는 응답성 개선을 위한 조합형 렌더링 방법.
  4. 청구항 2에 있어서,
    상기 인터페이스 이벤트가 상기 VM 인터페이스 테이블에 포함되고 상기 제 6 단계 이후에 디스플레이 화면에 대한 리프레시 이벤트의 발생을 검출하면 디스플레이 화면 전체에 대한 RM 렌더링 변환을 수행하는 제 8 단계;
    를 더 포함하여 구성되는 응답성 개선을 위한 조합형 렌더링 방법.
  5. 청구항 3 또는 청구항 4에 있어서,
    상기 리프레시 이벤트는 터치업 이벤트와 아이들타임 이벤트 중 하나 이상을 포함하여 구성되는 것을 특징으로 하는 응답성 개선을 위한 조합형 렌더링 방법.
  6. 청구항 1 내지 청구항 4 중의 어느 하나의 항에 따른 사용자 인터페이스에 대한 응답성 개선을 위한 조합형 렌더링 방법을 수행하기 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
KR1020120106931A 2012-09-26 2012-09-26 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체 KR101416106B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120106931A KR101416106B1 (ko) 2012-09-26 2012-09-26 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120106931A KR101416106B1 (ko) 2012-09-26 2012-09-26 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Publications (2)

Publication Number Publication Date
KR20140040389A KR20140040389A (ko) 2014-04-03
KR101416106B1 true KR101416106B1 (ko) 2014-07-10

Family

ID=50650592

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120106931A KR101416106B1 (ko) 2012-09-26 2012-09-26 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체

Country Status (1)

Country Link
KR (1) KR101416106B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473085B1 (en) 1999-12-17 2002-10-29 International Business Machines Corporation System for dynamically adjusting image quality for interactive graphics applications
US20080122835A1 (en) 2006-11-28 2008-05-29 Falco Jr Peter F Temporary Low Resolution Rendering of 3D Objects
KR20080069646A (ko) * 2005-11-02 2008-07-28 스트레아메조 멀티미디어 장면의 렌더링 최적화 방법, 해당 프로그램,신호, 데이터 저장 매체, 단말 및 수신 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6473085B1 (en) 1999-12-17 2002-10-29 International Business Machines Corporation System for dynamically adjusting image quality for interactive graphics applications
KR20080069646A (ko) * 2005-11-02 2008-07-28 스트레아메조 멀티미디어 장면의 렌더링 최적화 방법, 해당 프로그램,신호, 데이터 저장 매체, 단말 및 수신 방법
US20080122835A1 (en) 2006-11-28 2008-05-29 Falco Jr Peter F Temporary Low Resolution Rendering of 3D Objects

Also Published As

Publication number Publication date
KR20140040389A (ko) 2014-04-03

Similar Documents

Publication Publication Date Title
CN109166159B (zh) 获取图像的主色调的方法、装置及终端
JP6073533B1 (ja) タイルベースのアーキテクチャ上での最適化されたマルチパスレンダリング
KR101650999B1 (ko) 그래픽 프로세싱 유닛들에서의 렌더링 모드 선택
US8643677B2 (en) Image processing apparatus and image processing method, and program therefor
EP2756481B1 (en) System and method for layering using tile-based renderers
US8928694B2 (en) Image Processing apparatus receiving editing operation, image display device, and image processing method thereof
CN112596843B (zh) 图像处理方法、装置、电子设备及计算机可读存储介质
US9053529B2 (en) System and method for capturing digital images
US10068370B2 (en) Render-time linking of shaders
US9721359B2 (en) Apparatus and method of decompressing rendering data and recording medium thereof
CN116391205A (zh) 用于图形处理单元混合渲染的装置和方法
CN108509241B (zh) 一种图像的全屏显示方法、全屏显示装置及移动终端
US9881392B2 (en) Mipmap generation method and apparatus
CN115315727A (zh) 图形处理单元渲染模式选择系统
CN108290071B (zh) 用于在预测游戏者的意图的情况下确定用于执行绘制的资源分配的介质、装置、系统和方法
KR102248787B1 (ko) Gpu의 리소스에 대한 전력 소비 제어방법 및 장치
CN109598672B (zh) 一种地图道路渲染方法及装置
CN111614906B (zh) 一种图像预处理方法、装置、电子设备及存储介质
KR101416106B1 (ko) 사용자 인터페이스에 대한 응답성을 개선한 조합형 렌더링 방법, 및 이를 위한 렌더링 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US9741155B2 (en) Apparatus and method for tile-based graphic data rendering
CN111243069B (zh) 一种Unity3D引擎的场景切换方法和系统
CN112231029A (zh) 应用于主题的帧动画处理方法
CN109069926B (zh) 一种信息处理方法及计算机可读介质
CN110264393B (zh) 一种信息处理方法、终端和存储介质
CN112346813B (zh) 操作列表的控制方法、装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170612

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee