KR20190117635A - 이미지 유창성을 향상하는 방법 및 장치 - Google Patents

이미지 유창성을 향상하는 방법 및 장치 Download PDF

Info

Publication number
KR20190117635A
KR20190117635A KR1020197026750A KR20197026750A KR20190117635A KR 20190117635 A KR20190117635 A KR 20190117635A KR 1020197026750 A KR1020197026750 A KR 1020197026750A KR 20197026750 A KR20197026750 A KR 20197026750A KR 20190117635 A KR20190117635 A KR 20190117635A
Authority
KR
South Korea
Prior art keywords
frame data
current frame
processing
display
completed
Prior art date
Application number
KR1020197026750A
Other languages
English (en)
Inventor
밍동 판
Original Assignee
지티이 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 지티이 코포레이션 filed Critical 지티이 코포레이션
Publication of KR20190117635A publication Critical patent/KR20190117635A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/647—Control signaling between network components and server or clients; Network processes for video distribution between server and clients, e.g. controlling the quality of the video stream, by dropping packets, protecting content from unauthorised alteration within the network, monitoring of network load, bridging between two different networks, e.g. between IP and wireless
    • H04N21/64784—Data processing by the network
    • H04N21/64792—Controlling the complexity of the content stream, e.g. by dropping packets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

본 발명은 이미지 유창성을 향상하는 방법 및 장치를 개시하였다. 상기 방법은: 디스플레이에 의해 전송된 수직 동기 신호가 도달할 때, 현재 프레임 데이터를 처리하기 시작하는 단계; 현재 프레임 데이터의 처리가 수직 동기 신호 주기 내에 완료되지 않을 경우, 소정 지연 시간 동안 현재 프레임 데이터를 계속해서 처리하는 단계; 및 현재 프레임 데이터의 처리가 상기 소정 지연 시간 내에 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하는 단계;를 포함한다.

Description

이미지 유창성을 향상하는 방법 및 장치
본 발명은 단말기 기술분야에 관한 것이지만 이에 한정되지 않는다.
현재 휴대폰과 같은 전자기기는 프로세싱 칩과 스크린 사이에서 모바일 산업 프로세서 인터페이스(Mobile Industry Processor Interface, MIPI)의 전송 프로토콜을 기본적으로 사용하며, 프로토콜 규정에 따라 비디오 모드(video mode) 및 명령 모드(cmd mode) 두가지 방식으로 구분하여 전송할 수 있으며, 이 두 모드에서 수직 동기 신호(vertical synchronization, VSync)가 생성되는 방식도 부동하다. 비디오 모드 전송 방식을 채택하면, VSync 동기 신호는 전자기기의 프로세싱 칩에 의해 전송된다. 재생률 60fps로 계산하면 약 16.7ms에 하나의 Vsync가 생성된다. 즉, 전자기기의 프로세싱 칩은 이 시간 내에 표시할 이미지를 처리하여 스크린에 전송하여 표시해야 한다. 그러나 칩 성능 문제 및 멀티태스킹(multitasking)에서 리소스 경쟁 문제로 인해 16.7ms 내에 한 프레임의 이미지를 처리하지 못할 경우가 있을 수 있으며, 이때 프로세싱 칩은 이전 프레임 이미지를 스크린에 다시 전송하여 표시, 즉, 이전 프레임의 이미지를 반복적으로 표시하여야 하는데, 이때 사용자는 렉걸림 현상을 확실하게 느낀다. 이러한 유형의 렉걸림 문제에 대해 아직 효과적인 해결방안이 제기되지 않았다.
본 발명의 실시예에 따르면 이미지 유창성을 향상하는 방법을 제공하였으며, 디스플레이에 의해 전송된 VSync가 도달할 때, 현재 프레임 데이터를 처리하기 시작하는 단계; 현재 프레임 데이터의 처리가 VSync 주기 내에 완료되지 않을 경우, 소정 지연 시간 동안 현재 프레임 데이터를 계속해서 처리하는 단계; 및 현재 프레임 데이터의 처리가 상기 소정 지연 시간 내에 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하는 단계; 를 포함한다.
본 발명의 실시예에 따르면 이미지 유창성을 향상하는 장치를 더 제공하였으며, 디스플레이에 의해 전송된 VSync가 도달할 때, 현재 프레임 데이터를 처리하기 시작하도록 배치된 트리거 모듈; 현재 프레임 데이터의 처리가 VSync 주기 내에 완료되지 않을 경우, 소정 지연 시간 동안 현재 프레임 데이터를 계속해서 처리하도록 배치된 지연 모듈; 및 현재 프레임 데이터의 처리가 상기 소정 지연 시간 내에 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하도록 배치된 감지 모듈; 을 포함한다.
본 발명의 실시예에 따르면 전자기기를 더 제공하였으며, 디스플레이; 컴퓨터 프로그램이 저장되어 있는 메모리; 및 프로세서를 포함하며, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로세서가 본 발명에 따른 이미지 유창성을 향상하는 방법을 실행한다.
컴퓨터 판독가능 기억매체에는 컴퓨터 프로그램이 저장되어 있고, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서가 본 발명에 따른 이미지 유창성을 향상하는 방법을 실행한다.
본 발명의 기타 특징 및 이점은 아래의 명세서에서 설명될 것이며, 명세서에 의해 부분적으로 명백해지거나 또는 본 발명의 구현에 의해 이해될 것이다. 본 발명의 목적 및 기타 이점들은 명세서, 청구범위 및 도면에서 특별히 제시한 구조에 의해 구현 및 획득된다.
첨부도면은 본 발명의 기술방안에 대한 추가적인 이해를 제공하기 위한 것이고, 명세서의 일부를 구성하며, 본 발명의 실시예와 함께 본 발명의 기술방안을 해석하며, 본 발명의 기술방안에 대한 한정을 구성하지 않는다.
도 1 및 도 2는 관련기술에 따른 CPU, GPU의 이미지 처리와 VSync의 동기화 예시도이다.
도 3은 본 발명의 실시예에 따른 이미지 유창성을 향상하는 방법의 개략적인 흐름도이다.
도 4는 본 발명의 실시예에 따른 VSync 지연의 예시도이다.
도 5는 본 발명의 실시예에 따른 이미지 유창성을 향상하는 장치의 구조 개략도이다.
도 6은 본 발명의 실시예에 따른 전자기기의 예시적인 구조 개략도이다.
도 7은 본 발명의 실시예에 따른 이미지 유창성을 향상하는 방법의 예시적인 흐름 개략도이다.
본 발명의 목적, 기술방안 및 이점을 더 명백하게 하기 위해, 아래에서는 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다. 설명하여야 할 것은, 모순되지 않을 경우 본 발명의 실시예 및 실시예 중의 특징들은 서로 임의로 결합될 수 있다.
첨부 도면의 흐름도에 도시된 단계들은 컴퓨터 실행 가능 명령 세트와 같은 컴퓨터 시스템에서 실행될수 있다. 또한, 흐름도에 논리적 순서가 도시되어 있지만, 어떤 경우에는 도시되거나 기술된 단계를 여기서 설명한 순서와 다른 순서로 수행할 수 있다.
도 1 및 도 2는 관련기술에 따른 CPU, GPU의 이미지 처리와 VSync의 동기화 예시도이다.
도 1에 도시된 바와 같이, 중앙 처리 장치(Central Processing Unit, CPU) 및 그래픽 처리 장치(Graphics Processing Unit, GPU)가 VSync의 한 주기에서 한 프레임의 데이터 처리가 완료되면, 해당 프레임 이미지가 정상적으로 스크린에 표시되고 렉걸림이 현상이 발생하지 않는다. 도 2에 도시된 바와 같이, CPU 및 GPU가 VSync의 한 주기에서 한 프레임의 데이터 처리가 완료되지 않으면, 해당 프레임 이미지가 스크린에 정상적으로 표시되지 못하고 렉걸림이 현상이 발생하게 된다.
해당 렉걸림 현상에 대해, 본 발명은 VSync의 주기를 실시간으로 조정하여 CPU 및 GPU가 VSync의 한 주기에서 한 프레임의 데이터 처리를 완료하도록 확보함으로써 렉걸림을 방지하고 표시의 유창성을 효과적으로 향상시키는 기술방안을 제공한다.
본 발명의 실시예에 따르면, 이미지를 한번 처리할 때 CPU 및 GPU의 프레임 데이터의 처리가 VSync의 동기화 주기(예를 들어, 16.7ms) 내에 완료되지 않으면, VSync의 동기화 주기를 1~2ms 연장하여 CPU 및 GPU가 Vsync의 동기화 주기 내에 해당 화면의 프레임 데이터의 처리를 완료하도록 함으로써, 화면이 스크린에 정상적 표시되도록 확보하여 시스템의 유창성을 향상시킨다. 본 발명의 실시예는 실시간에 대한 요구가 높지 않지만 표시 효과에 대한 요구가 높은 시나리오(예를 들어, 동영상 파일을 재생하는 시나리오)에 적용된다.
본 발명의 기술방안은 동영상 재생 또는 이미지 표시를 지원하는 전자기기를 통해 구현될 수 있다. 해당 전자기기는 다양한 형식으로 실시될 수 있다. 예를 들어, 전자기기는 휴대폰, 태블릿 컴퓨터, 노트북 컴퓨터, 팜탑 컴퓨터(palmtop computer), 개인용 정보 단말기(personal digital assistant, PDA), 휴대용 미디어 플레이어(portable media player, PMP), 내비게이션 장치, 착용형 기기, 스마트 팔찌, 도보계 등과 같은 이동 단말기, 및 디지털 TV, 데스크톱 컴퓨터 등와 같은 고정 단말기일 수 있지만, 이에 한정되는 것은 아니다.
아래에서는 본 발명의 실시방안의 실시형태에 대해 상세히 설면하도록 한다.
도 3은 본 발명의 실시예에 따른 이미지 유창성을 향상하는 방법의 개략적인 흐름도이다.
도 3에 도시된 바와 같이, 본 발명의 실시예에 따른 이미지 유창성을 향상하는 방법은 단계(301) 내지 단계(303)를 포함할 수 있다.
단계(301)에서, 디스플레이에 의해 전송된 VSync가 도달할 때, 현재 프레임 데이터를 처리하기 시작한다.
단계(302)에서, 현재 프레임 데이터의 처리가 Vsync 주기 내에 완료되지 않을 경우, 소정 지연 시간 동안 현재 프레임 데이터를 계속해서 처리한다.
단계(303)에서, 현재 프레임 데이터의 처리가 소정 지연 시간 내에 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시한다.
실제 응용에서, 디스플레이의 표시 과정을 전자기기 시스템의 동영상 컨트롤러와 동기화하기 위해, 한 프레임의 화면을 드로잉(draw)한 후, 다음 프레임을 드로잉하기 전에 디스플레이는 하나의 VSync를 전송한다. 일반적으로, 디스플레이는 고정된 빈도로 재생을 수행하고, 이 재생률은 VSync가 생성되는 빈도이다.
본 발명의 실시예에 따르면, 다양한 방식으로 Vsync 주기를 소정 시간만큼 지연시킬 수 있다. 하나의 구현형태에서, 타이머를 배치하는 방식을 통해 Vsync 주기를 지연시킬 수 있다. 예를 들어, 각 프레임 데이터를 처리하기 시작할 때 프로세서에 타이머를 배치하고, 터이머에 설정한 시간은 Vsync 주기와 소정 시간의 합(예를 들어, Vsync 주기가 16.7ms, 소정 시간이 2ms이면, 설정한 시간은 16.7+2 ms)일 수 있다. VSync가 도달하면 타이머가 트리거되어 타이밍이 시작되며, 타이머의 타이밍이 설정된 시간에 도달할 때 현재 프레임 데이터의 처리가 여전히 완료되지 않으면, 프로세서는 해당 프레임 데이터의 처리를 포기하고 디스플레이에 인터럽트 신호(interrupt signal)를 전송하여 디스플레이가 이전 프레임의 이미지를 계속해서 표시하도록 하고, 타이머의 타이밍이 설정된 시간에 도달하지 않으면 프로세서는 처리가 완료될 때까지 현재 프레임 데이터를 계속해서 처리한다.
본 발명의 실시예에 따르면, 소정 지연 시간은 1~2ms일 수 있다. 상기 소정 시간을 다른 값으로 설정할 수 있음은 물론이며, 본 발명에서는 이에 대해 한정하지 않는다.
도 4는 본 발명의 실시예에 따른 VSync 지연의 예시도이다.
도 4에 도시된 바와 같이, 본 실시예의 상기 처리를 채택하면, 어느 한 프레임 데이터의 처리가 Vsync 주기와 동기화 되지 않을 경우, 처리 시간을 적당히 연장하여 CPU 및 GPU가 연장된 처리 시간 내에서 현재 프레임 데이터의 처리를 완료할 수 있도록 함으로써 화면이 스크린에 정상적으로 표시되도록 확보한다.
프레임 데이터의 처리는: CPU가 현재 프레임 데이터의 표시 내용을 계산하고, 계산이 완료된 후 GPU에 제출하는 단계; GPU가 변환 처리, 합성 처리, 렌더링(rendering) 처리를 실행한 후, 렌더링 결과를 프레임 버퍼 영역에 제출하는 단계; 및 동영상 컨트롤러가 상기 프레임 버퍼 영역에서 상기 렌더링 결과를 읽고 상기 디스플레이에 로딩하는 단계; 를 포함한다.
도 5는 본 발명의 실시예에 따른 이미지 유창성을 향상하는 장치의 구조 개략도이다.
도 5에 도시된 바와 같이, 본 발명에 따른 이미지 유창성을 향상하는 장치는 트리거 모듈(51), 지연 모듈(52) 및 감지 모듈(53)을 포함할 수 있다.
트리거 모듈(51)은, 디스플레이에 의해 전송된 VSync가 도달할 때, 현재 프레임 데이터를 처리하기 시작하도록 배치된다.
지연 모듈(52)은, 현재 프레임 데이터의 처리가 Vsync 주기 내에 완료되지 않을 경우, 소정 지연 시간 동안 현재 프레임 데이터를 계속해서 처리하도록 배치된다.
감지 모듈(53)은, 현재 프레임 데이터의 처리가 상기 소정 지연 시간 내에 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하도록 배치된다.
본 발명의 실시예에 따른 이미지 유창성을 향상하는 장치는 타이머를 더 포함할 수 있다. 타이머의 설정 시간은 Vsync 주기와 상기 소정 지연 시간의 합이다. 타이머는 수직 동기 신호가 도달할 때 타이밍을 시작하고, 타이머의 타이밍이 설정 시간에 도달하지 않을 경우, 트리거 모듈(51) 또는 지연 모듈(52)은 현재 프레임 데이터의 처리가 완료될 때까지 현재 프레임 데이터를 계속하여 처리한다.
본 발명의 실시예에 따르면, 타이머의 타이밍이 설정 시간에 도달하였을 때 현재 프레임 데이터의 처리가 여전히 완료되지 않을 경우, 감지 모듈(53)은 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하며; 타이머의 타이밍이 설정 시간에 도달하기 전에 현재 프레임 데이터의 처리가 완료되면, 디스플레이가 현재 프레임 데이터에 대응되는 이미지를 표시한다.
본 발명의 실시예에 따르면, 소정 지연 시간은 1~2ms일 수 있다. 상기 소정 시간을 다른 값으로 설정할 수 있음은 물론이며, 본 발명에서는 이에 대해 한정하지 않는다.
본 발명의 실시예에 따른 이미지 유창성을 향상하는 장치는 CPU, GPU, 프레임 버퍼 영역 및 동영상 컨트롤러를 더 포함할 수 있다. CPU는 현재 프레임 데이터의 표시 내용을 계산하고, 계산이 완료된 후 GPU에 제출한다. GPU는 변환 처리, 합성 처리, 렌더링 처리를 실행한 후, 렌더링 결과를 프레임 버퍼 영역에 제출한다. 동영상 컨트롤러는 프레임 버퍼 영역에서 상기 렌더링 결과를 읽고 상기 디스플레이에 로딩한다.
실제 응용에서, 본 실시예의 상기 설명의 각 모듈은 소프트웨어, 하드웨어 또는 이들의 조합일 수 있다. 예를 들면, 상기 각 모듈은 전자기기(예를 들어, 휴대폰) 내의 CPU에 의해 구현될 수 있다. 실제 응용에서, 본 실시예의 상기 장치는 동영상 재생 또는 이미지 표시를 지원하는 전자기기에 응용될 수 있다.
도 6은 본 발명 실시예에 따른 전자기기의 예시적인 구조 개략도이다.
도 6에 도시된 바와 같이, 본 발명 실시예에 따른 전자기기는 디스플레이, 메모리 및 프로세서(예를 들어, CPU 및 GPU)를 포함할 수 있다. 메모리에는 컴퓨터 프로그램이 저장되어 있고, 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 프로세서는 본 발명의 다양한 실시예에 따른 이미지 유창성을 향상하는 방법을 실행한다.
하나의 구현형태에서, 도 6에 도시된 바와 같이, 전자기기는 영상 컨트롤러 및 버스를 포함할 수도 있지만, 이에 한정되는 것은 아니다. CPU, GPU 및 메모리는 버스를 통해 서로 통신 가능하게 연결된다. CPU는 표시 내용을 계산하여 GPU에 제출하는 역할을 하고, GPU는 렌더링 등 처리를 수행하고 렌더링이 완료되면 렌더링 결과를 프레임 버퍼 영역에 저장하는 역할을 하며, 동영상 컨트롤러는 GPU의 제어하에 VSync에 따라 프레임 버퍼 영역의 데이터를 한 줄씩 읽고, 가능한 디지털-아날로그 변환을 통해 디스플레이에 전달하여 표시하는 역할을 한다.
본 발명의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독가능 기억매체를 더 제공하며, 상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서는 본 발명의 각 실시예에 따른 이미지 유창성을 향상하는 방법을 실행한다.
실제 응용에서 해당 컴퓨터 판독가능 기억매체는 본 발명에 따른 전자기기에 응용될 수 있다.
아래에서는 상기 각 실시예의 예시적 구현방법에 대해 상세히 설명하도록 한다. 설명해야 할 것은, 다음의 각 예시들은 임의로 조합될 수 있다. 또한, 실제 응용에서 상기 각 실시예들은 다른 방식으로 구현될 수도 있으며, 다음의 예시들의 각 흐름, 실행 과정 역시 실제 응용에 따라 조정할 수 있다.
본 예시에서는 디스플레이의 재생율 60fps을 예로 들어 이미지 유창성 향상을 구현하는 흐름을 상세히 설명한다.
도 7은 본 발명의 실시예에 따른 이미지 유창성을 향상하는 방법의 예시의 개략적인 흐름도이다.
도 7에 도시된 바와 같이, 본 예시에 따른 흐름은 단계(701) 내지 단계(708)를 포함할 수 있다.
단계(701)에서, 디스플레이가 N 번째 프레임 화면을 드로잉하고 표시한다.
단계(702)에서, N+1 번째 프레임 화면을 준비하기 전에 디스플레이가 VSync를 전송한다.
단계(703)에서, VSync가 도달한 후, N+1 번째 프레임 데이터의 처리를 시작한다.
단계(704)에서, VSync 주기(즉, 16.7ms)에서 N+1 번째 프레임 데이터의 처리가 완료되었는지 여부를 판단한다. 처리가 완료되었으면 단계(707)를 실행하고; 처리가 완료되지 않았으면 계속하여 단계(705)를 실행한다.
단계(705)에서, 지연 시간(예를 들어, 2ms) 내에서 N+1 번째 프레임 데이터를 계속하여 처리한다.
단계(706)에서, 지연된 시간(예를 들어, 2ms) 내에서 N+1 번째 프레임 데이터의 처리가 완료되었는지 여부를 판단한다. 처리가 완료되었으면 단계(707)를 실행하고; 처리가 완료되지 않았으면 단계(708)를 실행한다.
단계(707)에서, 디스플레이는 N+1 번째 프레임 화면을 표시한다.
단계(708)에서, N+1 번째 프레임 데이터의 처리를 포기하고, 계속하여 N 번째 프레임 화면을 표시한다.
본 분야 당업자는 상기 방법 중의 전부 또는 일부 단계는 판독 전용 메모리, 자기 디스크 또는 광 디스크 등과 같은 컴퓨터 판독가능 기억매체에 저장될 수 있는 프로그램을 통해 관련 하드웨어(예를 들어, 프로세서)를 지시하여 완료할 수 있다는 것을 이해할 것이다. 대안적으로, 상기 실시예의 전부 또는 일부 단계는 하나 또는 복수 개의 집적 회로를 사용하여 구현될 수도 있다. 이에 대응하여, 상기 실시예에서의 각 모듈/유닛은 집적 회로를 통해 대응되는 기능을 구현하는 하드웨어의 형태로 구현될 수 있거나, 프로세서를 통해 메모리에 저장된 프로그램/명령을 실행하여 대응되는 기능을 구현하는 소프트웨어 기능 모듈의 형태로 구현될 수도 있다. 본 발명은 임의의 특정된 형태의 하드웨어 및 소프트웨어의 조합에 한정되지 않는다.
이상으로 본 발명의 기본 원리, 주요 특징 및 본 발명의 장점들을 도시하고 기술하였다. 본 발명은 상기 실시예에 한정되지 않고, 상기 실시예 및 명세서의 기술은 본 발명의 원리를 설명하기 위한 것일 뿐이며, 본 발명의 사상 및 범위를 벗어나지 않는 전제하에서, 본 발명은 다양하게 변경 및 개진시킬 수 있으며, 이러한 변경 및 개진은 본 발명의 청구범위 내에 포함된다.

Claims (12)

  1. 디스플레이에 의해 전송된 수직 동기 신호가 도달할 때, 현재 프레임 데이터를 처리하기 시작하는 단계;
    현재 프레임 데이터의 처리가 수직 동기 신호 주기 내에 완료되지 않을 경우, 소정 지연 시간 동안 현재 프레임 데이터를 계속해서 처리하는 단계; 및
    현재 프레임 데이터의 처리가 상기 소정 지연 시간 내에 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하는 단계; 를 포함하는 이미지 유창성을 향상하는 방법.
  2. 제 1 항에 있어서,
    타이머를 배치하고, 상기 터이머의 설정 시간은 상기 수직 동기 신호의 주기와 상기 소정 지연 시간의 합이며, 상기 타이머는 수직 동기 신호가 도달할 때 타이밍을 시작하고, 상기 타이머의 타이밍이 설정 시간에 도달하지 않을 경우, 현재 프레임 데이터의 처리가 완료될 때까지 현재 프레임 데이터를 계속 처리하는 이미지 유창성을 향상하는 방법.
  3. 제 2 항에 있어서,
    상기 타이머의 타이밍이 설정 시간에 도달하였을 때 현재 프레임 데이터의 처리가 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하며,
    상기 타이머의 타이밍이 설정 시간에 도달하기 전에 현재 프레임 데이터의 처리가 완료될 경우, 상기 디스플레이가 현재 프레임 데이터에 대응되는 이미지를 표시하는 이미지 유창성을 향상하는 방법.
  4. 제 1 항 내지 제 3 항의 어느 한 항에 있어서,
    상기 소정 지연 시간은 1 ~ 2ms인 이미지 유창성을 향상하는 방법.
  5. 제 1 항에 있어서,
    현재 프레임 데이터를 처리하는 단계는:
    CPU가 현재 프레임 데이터의 표시 내용을 계산하고, 계산이 완료된 후 GPU에 제출하는 단계;
    GPU가 변환 처리, 합성 처리, 렌더링 처리를 실행한 후, 렌더링 결과를 프레임 버퍼 영역에 제출하는 단계; 및
    동영상 컨트롤러가 상기 프레임 버퍼 영역에서 상기 렌더링 결과를 읽고 상기 디스플레이에 로딩하는 단계;를 포함하는 이미지 유창성을 향상하는 방법.
  6. 디스플레이에 의해 전송된 수직 동기 신호가 도달할 때, 현재 프레임 데이터를 처리하기 시작하도록 배치된 트리거 모듈;
    현재 프레임 데이터의 처리가 수직 동기 주기 내에 완료되지 않을 경우, 소정 지연 시간 동안 현재 프레임 데이터를 계속해서 처리하도록 배치된 지연 모듈; 및
    현재 프레임 데이터의 처리가 상기 소정 지연 시간 내에 여전히 완료되지 않을 경우, 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하도록 배치된 감지 모듈; 을 포함하는 이미지 유창성을 향상하는 장치.
  7. 제 6 항에 있어서,
    타이머를 더 포함하며, 상기 터이머의 설정 시간은 상기 수직 동기 신호의 주기와 상기 소정 지연 시간의 합이며, 상기 타이머는 수직 동기 신호가 도달할 때 타이밍을 시작하고, 상기 타이머의 타이밍이 설정 시간에 도달하지 않을 경우, 상기 트리거 모듈 또는 상기 지연 모듈이 현재 프레임 데이터의 처리가 완료될 때까지 현재 프레임 데이터를 계속하여 처리하는 이미지 유창성을 향상하는 장치.
  8. 제 7 항에 있어서,
    상기 타이머의 타이밍이 설정 시간에 도달하였을 때 현재 프레임 데이터의 처리가 여전히 완료되지 않을 경우, 상기 감지 모듈은 현재 프레임 데이터의 처리를 포기하고, 상기 디스플레이에 이전 프레임의 이미지를 계속해서 표시하며,
    상기 타이머의 타이밍이 설정 시간에 도달하기 전에 현재 프레임 데이터의 처리가 완료되면, 상기 디스플레이가 현재 프레임 데이터에 대응되는 이미지를 디스플레이에 표시하는 이미지 유창성을 향상하는 장치.
  9. 제 6 항 내지 제 8 항의 어느 한 항에 있어서,
    상기 소정 지연 시간은 1 ~ 2ms인 이미지 유창성을 향상하는 장치.
  10. 제 6 항에 있어서,
    CPU, GPU, 프레임 버퍼 영역 및 동영상 컨트롤러를 더 포함하며,
    상기 CPU는 현재 프레임 데이터의 표시 내용을 계산하고, 계산이 완료된 후 상기 GPU에 제출하며,
    상기 GPU는 변환 처리, 합성 처리, 렌더링 처리를 실행한 후, 렌더링 결과를 상기 프레임 버퍼 영역에 제출하며,
    상기 동영상 컨트롤러는 상기 프레임 버퍼 영역에서 상기 렌더링 결과를 읽고 상기 디스플레이에 로딩하는 이미지 유창성을 향상하는 장치.
  11. 디스플레이, 메모리 및 프로세서를 포함하며,
    상기 메모리에는 컴퓨터 프로그램이 저장되어 있고,
    상기 프로세서가 상기 컴퓨터 프로그램을 실행할 때, 상기 프로세서가 제 1 항 내지 제 5 항의 어느 한 항에 따른 이미지 유창성을 향상하는 방법을 실행하는 전자기기.
  12. 컴퓨터 프로그램이 저장되어 있고,
    상기 컴퓨터 프로그램이 프로세서에 의해 실행될 때, 상기 프로세서가 제 1 항 내지 제 5 항의 어느 한 항에 따른 이미지 유창성을 향상하는 방법을 실행하는 컴퓨터 판독가능 기억매체.
KR1020197026750A 2017-09-08 2018-09-10 이미지 유창성을 향상하는 방법 및 장치 KR20190117635A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710807246.3A CN109474768A (zh) 2017-09-08 2017-09-08 一种提高图像流畅度的方法及装置
CN201710807246.3 2017-09-08
PCT/CN2018/104884 WO2019047956A1 (zh) 2017-09-08 2018-09-10 一种提高图像流畅度的方法及装置

Publications (1)

Publication Number Publication Date
KR20190117635A true KR20190117635A (ko) 2019-10-16

Family

ID=65633575

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197026750A KR20190117635A (ko) 2017-09-08 2018-09-10 이미지 유창성을 향상하는 방법 및 장치

Country Status (5)

Country Link
EP (1) EP3681143A4 (ko)
JP (1) JP6894976B2 (ko)
KR (1) KR20190117635A (ko)
CN (1) CN109474768A (ko)
WO (1) WO2019047956A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110018874B (zh) * 2019-04-09 2021-07-13 Oppo广东移动通信有限公司 垂直同步方法、装置、终端及存储介质
WO2020258031A1 (zh) * 2019-06-25 2020-12-30 深圳市大疆创新科技有限公司 控制方法、图像传输系统、显示装置及无人机系统
CN110609645B (zh) * 2019-06-25 2021-01-29 华为技术有限公司 一种基于垂直同步信号的控制方法及电子设备
CN116153228A (zh) 2020-01-17 2023-05-23 华为技术有限公司 显示驱动器及控制方法、显示控制电路系统、电子设备
WO2021142780A1 (en) * 2020-01-17 2021-07-22 Qualcomm Incorporated Methods and apparatus for reducing frame latency
CN113327554B (zh) * 2020-02-28 2022-07-08 北京小米移动软件有限公司 显示控制方法和装置、驱动模组、电子设备
CN111752520A (zh) * 2020-06-28 2020-10-09 Oppo广东移动通信有限公司 图像显示方法、装置、电子设备和计算机可读存储介质
CN116847039A (zh) * 2020-09-30 2023-10-03 华为技术有限公司 一种基于垂直同步信号的图像处理方法及电子设备
CN112422873B (zh) * 2020-11-30 2022-09-16 Oppo（重庆）智能科技有限公司 插帧方法、装置、电子设备及存储介质
CN113225600B (zh) * 2021-04-30 2022-08-26 卡莱特云科技股份有限公司 一种防止led显示屏出现闪屏问题的方法及装置
CN113364767B (zh) * 2021-06-03 2022-07-12 北京字节跳动网络技术有限公司 一种流媒体数据显示方法、装置、电子设备及存储介质
CN113805831B (zh) * 2021-09-15 2024-01-30 Oppo广东移动通信有限公司 图像数据传输方法、装置、终端及介质
CN113781949B (zh) * 2021-09-26 2023-10-27 Oppo广东移动通信有限公司 图像显示方法、显示驱动芯片、显示屏模组及终端
CN117991961A (zh) * 2022-11-07 2024-05-07 荣耀终端有限公司 数据处理方法、设备及存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6747656B2 (en) * 2000-04-07 2004-06-08 Sony Corporation Image processing apparatus and method of the same, and display apparatus using the image processing apparatus
JP4225241B2 (ja) * 2004-05-13 2009-02-18 ソニー株式会社 画像表示装置
CN101039442A (zh) * 2006-03-13 2007-09-19 硕颉科技股份有限公司 影像处理方法及装置
TWI314017B (en) * 2006-07-12 2009-08-21 Quanta Comp Inc System and method for synchronizing video frames and audio frames
US8754904B2 (en) * 2011-04-03 2014-06-17 Lucidlogix Software Solutions, Ltd. Virtualization method of vertical-synchronization in graphics systems
JP5251926B2 (ja) * 2010-06-16 2013-07-31 セイコーエプソン株式会社 撮影装置およびタイミング制御回路
US8797340B2 (en) * 2012-10-02 2014-08-05 Nvidia Corporation System, method, and computer program product for modifying a pixel value as a function of a display duration estimate
JP6515455B2 (ja) * 2014-07-22 2019-05-22 セイコーエプソン株式会社 撮像装置及び撮像表示装置
US9679345B2 (en) * 2014-08-08 2017-06-13 Advanced Micro Devices, Inc. Method and system for frame pacing
US9811388B2 (en) * 2015-05-14 2017-11-07 Qualcomm Innovation Center, Inc. VSync aligned CPU frequency governor sampling
US9728166B2 (en) * 2015-08-20 2017-08-08 Qualcomm Incorporated Refresh rate matching with predictive time-shift compensation
US10019968B2 (en) * 2015-12-31 2018-07-10 Apple Inc. Variable refresh rate display synchronization
US10462336B2 (en) * 2017-03-15 2019-10-29 Microsoft Licensing Technology, LLC Low latency tearing without user perception

Also Published As

Publication number Publication date
JP6894976B2 (ja) 2021-06-30
EP3681143A1 (en) 2020-07-15
EP3681143A4 (en) 2021-04-07
CN109474768A (zh) 2019-03-15
JP2020507244A (ja) 2020-03-05
WO2019047956A1 (zh) 2019-03-14

Similar Documents

Publication Publication Date Title
KR20190117635A (ko) 이미지 유창성을 향상하는 방법 및 장치
WO2020207251A1 (zh) 图像更新方法、装置、终端及存储介质
CN110018874B (zh) 垂直同步方法、装置、终端及存储介质
EP3588284B1 (en) Method and device for layer drawing control, and mobile terminal
CN106941563B (zh) 一种移动终端刷新率的控制方法、装置及移动终端
JP6069354B2 (ja) 受信装置、ビデオリフレッシュ周波数の制御方法、装置及びシステム
CN108476306B (zh) 一种图像显示的方法及终端设备
TW201602986A (zh) 中框消隱
CN110597444B (zh) 一种书写笔迹显示方法、装置、终端设备及存储介质
JP2011095566A (ja) 画像プロセッサの制御方法およびプログラム
US9984651B2 (en) Method and apparatus for displaying composition screen image by composing screen images of operating systems (OSs)
JP2013545156A (ja) 表示動作を制御する技術
WO2021164004A1 (en) Reduced display processing unit transfer time to compensate for delayed graphics processing unit render time
WO2017133475A1 (zh) 播放多媒体数据的方法、界面渲染方法及装置、设备
CN108206018B (zh) 自适应画面刷新率调整方法及其装置
US8907963B2 (en) Concurrent graphic content on multiple displays
KR20150081765A (ko) 영상 데이터 출력 제어 방법 및 이를 지원하는 장치
CN108769815B (zh) 视频处理方法及其装置
CN112905134A (zh) 一种刷新显示的方法、装置和电子设备
KR20230119169A (ko) 다중 디스플레이 시스템에서 비동기식 메모리 클록변경 수행
US20230074876A1 (en) Delaying dsi clock change based on frame update to provide smoother user interface experience
CN110992862B (zh) 对电子设备执行显示控制的方法、主处理器和显示面板
JP6612292B2 (ja) 変換システム、映像出力装置及び変換方法
JP2015158751A (ja) 描画方法、描画装置及びプログラム
CA2757867C (en) Concurrent graphic content on multiple displays

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application