KR101970787B1 - Video decoding apparatus and method based on android platform using dual memory - Google Patents

Video decoding apparatus and method based on android platform using dual memory Download PDF

Info

Publication number
KR101970787B1
KR101970787B1 KR1020120012382A KR20120012382A KR101970787B1 KR 101970787 B1 KR101970787 B1 KR 101970787B1 KR 1020120012382 A KR1020120012382 A KR 1020120012382A KR 20120012382 A KR20120012382 A KR 20120012382A KR 101970787 B1 KR101970787 B1 KR 101970787B1
Authority
KR
South Korea
Prior art keywords
image
post
video
memory unit
processing unit
Prior art date
Application number
KR1020120012382A
Other languages
Korean (ko)
Other versions
KR20130091104A (en
Inventor
나진영
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020120012382A priority Critical patent/KR101970787B1/en
Publication of KR20130091104A publication Critical patent/KR20130091104A/en
Application granted granted Critical
Publication of KR101970787B1 publication Critical patent/KR101970787B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11C—STATIC STORES
    • G11C29/00—Checking stores for correct operation ; Subsequent repair; Testing stores during standby or offline operation
    • G11C29/70—Masking faults in memories by using spares or by reconfiguring
    • G11C29/78—Masking faults in memories by using spares or by reconfiguring using programmable devices
    • G11C29/80—Masking faults in memories by using spares or by reconfiguring using programmable devices with improved layout
    • G11C29/816—Masking faults in memories by using spares or by reconfiguring using programmable devices with improved layout for an application-specific layout
    • G11C29/818—Masking faults in memories by using spares or by reconfiguring using programmable devices with improved layout for an application-specific layout for dual-port memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/41407—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a portable device, e.g. video client on a mobile phone, PDA, laptop

Abstract

안드로이드 플랫폼 기반에서 듀얼 메모리를 이용하여 비디오 디코딩 속도를 향상시키기 위한 디코딩 장치 및 방법이 개시된다. 본 발명의 일 면에 따른 디코딩 장치는 처리되어야 할 영상 데이터가 저장되는 제1 메모리부와, 상기 제1 메모리부에 저장된 영상 데이터를 처리하여 재생 이미지를 생성하는 비디오/이미지 처리부와, 상기 재생 이미지에 대하여 후처리 작업을 수행하는 후처리부와, 상기 후처리부에 의해 처리된 이미지가 저장되는 제2 메모리부를 포함한다. 본 발명에 따르면, 비디오 디코더와 그래픽 유저 인터페이스(Graphic User Interface, 이하 GUI)를 담당하는 메모리를 서로 분리하여 비디오 디코딩 작업과 Color Conversion 및 Image merge와 같은 후처리 작업을 병렬적으로 처리하게 함으로써, 메모리에 동시에 액세스할 수 없어 생기는 부하를 방지할 수 있다.Disclosed is a decoding apparatus and method for enhancing a video decoding speed using a dual memory based on an Android platform. A decoding apparatus according to one aspect of the present invention includes a first memory unit for storing image data to be processed, a video / image processing unit for processing a video data stored in the first memory unit to generate a reproduction image, A post-processing unit for performing a post-processing operation on the post-processing unit, and a second memory unit for storing the image processed by the post-processing unit. According to the present invention, a video decoder and a memory for a graphic user interface (GUI) are separated from each other, and a video decoding operation and a post-processing operation such as color conversion and image merge are processed in parallel, It is possible to prevent a load that can not be simultaneously accessed.

Description

안드로이드 플랫폼 기반 듀얼 메모리를 이용한 비디오 디코딩 장치 및 방법{Video decoding apparatus and method based on android platform using dual memory}[0001] The present invention relates to a video decoding apparatus and method using dual memory based on an Android platform,

본 발명은 비디오 디코딩 장치 및 디코딩 방법에 관한 것으로서, 더욱 상세하게는 안드로이드 플랫폼 기반에서 듀얼 메모리를 이용하여 비디오 디코딩 속도를 향상시킬 수 있는 기술에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a video decoding apparatus and a decoding method, and more particularly, to a technique capable of improving a video decoding speed using a dual memory based on an Android platform.

현재 안드로이드 기반에서 동영상 재생 시, 디스플레이 과정은 비디오 디코딩 후, 서페이스 플린저(이하, Surface flinger)에서 비디오/카메라/사용자 인터페이스 등의 모든 이미지를 LCD Image Format에 따른 색 변환(이하, Color Conversion) 및 이미지 병합(이하, Image Merge) 등의 작업 후, LCD에 디스플레이하는 구조로 수행된다. 즉, 비디오 디코딩, 특정 비디오 포맷에 따른 Color Conversion 및 Image Merge 등의 작업이 순차적으로 처리된다. In the current Android-based video playback, the display process is video decoding, and then all images such as video / camera / user interface from the surface flinger are converted into color conversion according to the LCD image format Image merging (hereinafter referred to as " Image Merge "), and the like. That is, operations such as video decoding, color conversion according to a specific video format, and image merge are sequentially processed.

이는 상술한 비디오 디코딩, Color Conversion 및 Image Merge의 작업이 단일 메모리를 사용하기 때문인데, 각 처리를 병렬적으로 처리하기 위해서는 동시에 메모리에 액세스할 필요가 있는데, 현재의 메모리를 동시에 액세스할 수 없는 구조에서는 비디오 코덱 성능 저하로 이미지의 프레임 레이트가 떨어지거나 비디오 코덱의 성능을 빠르나, 후처리 과정(Color Conversion 및 Image Merge)의 속도가 느려져서 디스플레이 성능 저하가 발생될 수 있다. This is because the video decoding, color conversion, and image merge operations described above use a single memory. In order to process each processing in parallel, it is necessary to access the memory at the same time. The performance of the video codec may be degraded due to the degradation of the video codec performance, and the performance of the post-processing (color conversion and image merge) may be slowed down, resulting in degraded display performance.

최근에는 비디오 디코더가 하드웨어 방식으로 동작하여, 디코딩 수행 과정의 효율이 많이 향상되었으나, Surface flinger에서 Color Conversion 및 Image Merge 작업 수행 동작이 순차적으로 이루어지게 됨으로써, 후처리 작업 시, 시간이 많이 걸리게 되어 비디오 디코더의 실제 성능만큼 퍼포먼스를 기대할 수 없게 된다.In recent years, the video decoder operates in a hardware manner, and the efficiency of the decoding process is improved. However, since the color conversion and the image merge operation are sequentially performed in the surface flinger, The performance can not be expected as much as the actual performance of the decoder.

본 발명은 상술한 문제점을 해결하기 위하여, 듀얼 포트 메모리를 이용하여 비디오 디코딩 속도를 향상시킬 수 있는 방법 및 장치를 제공하는 것을 목적으로 한다.SUMMARY OF THE INVENTION It is an object of the present invention to provide a method and apparatus for improving a video decoding speed using a dual port memory in order to solve the above problems.

본 발명의 다른 목적은 비디오 디코딩 작업과 후처리 작업(Color Conversion 및 Image Merge)을 병렬적으로 처리할 수 있는 비디오 디코딩 장치 및 방법을 제공하는 것이다.It is another object of the present invention to provide a video decoding apparatus and method capable of processing video decoding and post-processing operations (Color Conversion and Image Merge) in parallel.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

전술한 목적을 달성하기 위한 본 발명의 일 면에 따른 디코딩 장치는 처리되어야 할 영상 데이터가 저장되는 제1 메모리부와, 상기 제1 메모리부에 저장된 영상 데이터를 처리하여 재생 이미지를 생성하는 비디오/이미지 처리부와, 상기 재생 이미지에 대하여 후처리 작업을 수행하는 후처리부와, 상기 후처리부에 의해 처리된 이미지가 저장되는 제2 메모리부를 포함한다.According to an aspect of the present invention, there is provided a decoding apparatus including a first memory unit for storing image data to be processed, a video memory for processing the video data stored in the first memory unit, An image processing unit, a post-processing unit for performing a post-processing operation on the reproduced image, and a second memory unit for storing images processed by the post-processing unit.

여기서, 후처리부는 상기 재생 이미지와 사용자 인터페이스 이미지를 병합하거나, 병합된 이미지를 디스플레이에 출력하기 위한 포맷으로 변환하는 것을 특징으로 한다.Here, the post-processing unit merges the playback image and the user interface image, or converts the merged image into a format for output to the display.

또한, 상기 재생 이미지에 소정의 큐(queue)를 적용하여 임시 저장하기 위한 공유 메모리부를 더 포함할 수 있고, 이 때 상기 후처리부는 상기 공유 메모리부에 임시 저장된 재생 이미지에 대하여 후처리 작업을 수행하는 것을 특징으로 한다.In addition, the image processing apparatus may further include a shared memory unit for applying a predetermined queue to the playback image to temporarily store the playback image, wherein the post-processing unit performs a post-processing operation on the playback image temporarily stored in the shared memory unit .

본 발명의 다른 면에 따른 디코딩 방법은 제1 메모리에 저장된 영상 데이터를 처리하여 재생 이미지를 생성하는 단계와, 상기 재생 이미지를 소정의 큐(queue)를 적용하여 공유 메모리부에 임시 저장하는 단계와, 상기 공유 메모리부에 임시 저장된 재생 이미지에 대하여 후처리 작업을 수행하는 단계와, 후처리된 재생 이미지를 제2 메모리부에 저장하는 단계를 포함한다.According to another aspect of the present invention, there is provided a decoding method comprising the steps of: generating a reproduction image by processing image data stored in a first memory; temporarily storing the reproduction image in a shared memory by applying a predetermined queue; Performing a post-processing operation on the reproduction image temporarily stored in the shared memory unit, and storing the post-processed reproduction image in the second memory unit.

상술한 바와 같이 본 발명에 따르면, 비디오 디코더와 그래픽 유저 인터페이스(Graphic User Interface, 이하 GUI)를 담당하는 메모리를 서로 분리하여 비디오 디코딩 작업과 Color Conversion 및 Image merge와 같은 후처리 작업을 병렬적으로 처리하게 함으로써, 메모리에 동시에 액세스할 수 없어 생기는 부하를 방지할 수 있다.As described above, according to the present invention, a video decoder and a memory for a graphical user interface (hereinafter, referred to as GUI) are separated from each other, and a video decoding operation and a post processing operation such as color conversion and image merge are processed in parallel , It is possible to prevent a load that can not be simultaneously accessed to the memory.

도 1은 본 발명의 일 실시예에 따른 비디오 디코딩 장치의 개략적인 구성을 도시한 블록 구성도.
도 2는 본 발명의 다른 실시예에 따른 비디오 디코딩 방법을 순서를 도시한 순서도.1 is a block diagram showing a schematic configuration of a video decoding apparatus according to an embodiment of the present invention;
2 is a flowchart showing a procedure of a video decoding method according to another embodiment of the present invention.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention and the manner of achieving them will become apparent with reference to the embodiments described in detail below with reference to the accompanying drawings. The present invention may, however, be embodied in many different forms and should not be construed as being limited to the embodiments set forth herein. Rather, these embodiments are provided so that this disclosure will be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. Is provided to fully convey the scope of the invention to those skilled in the art, and the invention is only defined by the scope of the claims. It is to be understood that the terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

안드로이드 어플리케이션에서 뷰(View)의 내용은 GDI Thread를 통해 Surface에 그려지게 된다. 만약, 뷰에 동영상 또는 카메라 프리뷰와 같이 그려지는 양이 매우 많거나 빠른 화면 변화를 원한다면 Surface View를 사용해야 한다. Surface View의 내용은 GDI Thread를 통해서 Surface에 그려지지 않고 다른 Thread를 통해서 그려지기 때문이다. In the Android application, the contents of the view are drawn on the surface through the GDI thread. If you want a very large or fast screen change in the view, such as a movie or camera preview, you should use the Surface View. This is because the contents of the surface view are not drawn on the surface through GDI threads but drawn through other threads.

Surface View는 Window의 아래쪽에 위치하며, Window를 뚫어서 자신이 보여지게끔 한다. 단, 해당 Window 위에 다른 뷰가 있는 경우, 블렌딩(blended)이 되어 보여지게 된다.The Surface View is located at the bottom of the Window, allowing you to drill through the Window. However, if there is another view on the window, it will be blended.

구체적으로, 동영상 재생을 담당하는 PVPlayer(Packet Video Player)에서 Surface View에 연결된 Surface에 동영상을 그린다. 그려진 Surface와 다른 내용(예를 들어, GUI)을 담고 있는 View의 Surface들을 모두 합쳐서(composition) 하나의 화면으로 Frame Buffer에 쓰는 역할을 하는 것이 SurfaceFlinger Service이다.Specifically, the PVPlayer (Packet Video Player) responsible for video playback draws the video on the Surface connected to the Surface View. SurfaceFlinger Service is a function that composes all of the surfaces of the View containing the drawn Surface and other contents (eg GUI) and writes them to the Frame Buffer in a single screen.

SurfaceFlinger는 연산량이 많기 때문에 독립적인 프로세스로 동작하게 된다. 동영상 화면이 크고 위에 블렌딩되어야 하는 GUI가 많은 경우, 오버레이를 위한 하드웨어 가속기를 사용한다.Since SurfaceFlinger has a large amount of computation, it operates as an independent process. If the video screen is large and there are many GUIs that need to be blended on top of it, use a hardware accelerator for overlaying.

이와 같이, 안드로이드 플랫폼 기반에서 비디오/이미지를 처리하여 Surface에 출력하기 위해서는, 비디오/이미지 데이터에 대한 디코딩 작업, 디코딩된 비디오/이미지 데이터를 기본적인 GUI와 병합하는 과정, 병합된 데이터를 출력 포맷으로 변환하는 과정이 필요하고, 이는 SurfaceFlinger에서 수행된다.In order to process videos / images on the Android platform and output them to the surface, it is necessary to perform decoding operations on video / image data, merging decoded video / image data with a basic GUI, converting merged data into an output format This is done in SurfaceFlinger.

상술한 바와 같이, 비디오/이미지 데이터에 대한 디코딩 작업과, SurfaceFlinger에서의 병합 및 포맷 변환 등의 후처리 작업은 별개의 작업으로, 각 작업 모두 연산량이 큰 특징을 가진다. As described above, the decoding operation for the video / image data and the post-processing operation such as merging and format conversion in the SurfaceFlinger are separate operations, and each operation has a large amount of computation.

일반적으로 이와 같은 영상 재생 프로세스는 동일 메모리를 사용하여 순차적으로 작업을 수행하므로, 디코딩 및 후처리 작업 시, 동시에 메모리를 액세스할 수 없기 때문에 성능 저하의 원인이 될 수 있다. 따라서, 듀얼 포트 메모리를 이용하여 비디오 디코더는 자기 포트의 영역에서 디코딩 작업을 계속할 수 있고, 미리 디코딩된 이미지를 공유 메모리에 일정 큐를 이용하여 임시 저장해두면, SurfaceFlinger에서는 공유 메모리의 디코딩된 이미지를 이용하여 카메라 영상이나 GUI 영상과 병합하고, 파일 포맷의 변환 작업을 병렬적으로 수행할 수 있게 된다.In general, such a video reproduction process performs sequential operations using the same memory, so that it is not possible to simultaneously access memory during decoding and post-processing, which may cause a performance degradation. Therefore, using the dual port memory, the video decoder can continue the decoding operation in the area of the magnetic port. If a pre-decoded image is temporarily stored in a shared memory using a certain queue, SurfaceFlinger uses the decoded image of the shared memory And merges it with a camera image or a GUI image, and can perform a conversion operation of a file format in parallel.

본 발명은 비디오 디코딩과 디코딩된 이미지의 후처리 작업을 병렬적으로 처리함으로써, 영상 재생 프로세스 시 걸리는 부하를 현저하게 줄일 수 있는데, 이하 도 1 및 도 2를 참조하여 이에 대하여 구체적으로 설명한다.The present invention can significantly reduce the load imposed on the image reproduction process by processing video decoding and post-processing of the decoded image in parallel, which will be described in detail with reference to FIGS. 1 and 2. FIG.

도 1은 본 발명의 일 실시예에 따른 비디오 디코딩 장치의 개략적인 구성을 도시한 블록 구성도이고, 도 2는 본 발명의 다른 실시예에 따른 비디오 디코딩 방법을 순서를 도시한 순서도이다.FIG. 1 is a block diagram showing a schematic configuration of a video decoding apparatus according to an embodiment of the present invention, and FIG. 2 is a flowchart illustrating a procedure of a video decoding method according to another embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 안드로이드 플랫폼 기반 듀얼 메모리를 이용한 디코딩 장치는 처리되어야 할 영상 데이터가 저장되는 제1 메모리부(11), 상기 제1 메모리부(11)에 저장된 영상 데이터를 처리하여 재생 이미지를 생성하는 비디오/이미지 처리부(10), 상기 재생 이미지에 대하여 후처리 작업을 수행하는 후처리부(20), 상기 후처리부(20)에 의해 처리된 이미지가 저장되는 제2 메모리부(21), 비디오/이미지 처리부(10)에서 처리된 재생 이미지를 임시 저장하는 공유 메모리부(30)를 포함하여 구성된다.1, an apparatus for decoding an Android platform-based dual memory according to an exemplary embodiment of the present invention includes a first memory unit 11 for storing image data to be processed, a first memory unit 11, A video / image processing unit 10 for processing video data stored in the post-processing unit 20 to generate a playback image, a post-processing unit 20 for performing a post-processing operation on the playback image, And a shared memory unit 30 for temporarily storing the reproduced image processed by the video / image processing unit 10.

제1 메모리부(11)에서 영상 재생을 위해 처리되어야 할 영상 데이터가 저장되고, 비디오/이미지 처리부(10)는 제1 메모리부(11)에 저장된 영상 데이터에 대한 디코딩 작업을 수행한다(S210). 즉, 제1 메모리부(11)는 비디오 디코딩을 위한 전용 메모리로 사용된다. 비디오/이미지 처리부(10)에서 수행되는 디코딩 작업은 공지된 기술에 의해 수행되는 것이므로 이에 대한 구체적인 설명은 생략하도록 한다.Image data to be processed for image reproduction is stored in the first memory unit 11 and the video / image processing unit 10 performs a decoding operation on image data stored in the first memory unit 11 (S210) . That is, the first memory unit 11 is used as a dedicated memory for video decoding. Since the decoding operation performed in the video / image processing unit 10 is performed by a known technique, a detailed description thereof will be omitted.

비디오/이미지 처리부(10)에서 처리된 재생 이미지는 공유 메모리부(30)로 전달되어 임시 저장된다(S220). 구체적으로, 재생 이미지는 소정의 큐(queue)를 적용하여 공유 메모리부(30)에 임시 저장되고, 이는 후처리부(20)에 의해 후처리된다. The reproduced image processed in the video / image processing unit 10 is transferred to the shared memory unit 30 and temporarily stored (S220). Specifically, the reproduced image is temporarily stored in the shared memory unit 30 by applying a predetermined queue, and is post-processed by the post-processing unit 20. [

즉, 본 발명에서 제1 메모리부(11)는 비디오 디코딩을 위한 전담 메모리로 동작하고, 디코딩된 데이터는 공유 메모리부(30)로 전달되어 후처리됨으로써, 비디오 디코딩 작업과 후처리 작업은 병렬적으로 동시에 수행될 수 있게 된다.That is, in the present invention, the first memory unit 11 operates as a dedicated memory for video decoding, and the decoded data is transferred to the shared memory unit 30 for post-processing so that the video decoding operation and the post- As shown in FIG.

비디오/이미지 처리부(10)에서 디코딩 작업을 통해 처리된 비디오 데이터 또는 오디오 데이터는 각각의 프레임마다 타임 스탬프(Time Stamp)를 가진다. 타임 스탬프는 어느 시점에 데이터가 존재했다는 사실을 증명하기 위하여 해당 프레임의 특정 위치에 표시하는 시각을 의미하는 것으로서, 공통적으로 참고하는 시각에 대해 시간의 기점을 표시하는 시간 변위 매개 변수이다. 디코딩 처리된 비디오 또는 오디오 데이터의 각 프레임 마다 타임 스탬프와 실시간 클록(real-time clock)은 비교되고(S230), 실시간 클록 이전의 타임 스탬프를 가지는 비디오 또는 오디오 데이터 프레임은 후술할 후처리 과정을 거치기 위하여 공유 메모리부(30)에 남아있게 되지만, 실시간 클록 이후의 타임 스탬프를 가지는 비디오 또는 오디오 데이터 프레임은 버려진다. The video data or audio data processed through the decoding operation in the video / image processing unit 10 has a time stamp for each frame. The time stamp is a time displacement parameter that indicates the time point at which a time point is referenced with respect to a commonly referred time, which means a time at which the data is displayed at a specific position of the frame to prove the fact that the data existed. A time stamp and a real-time clock are compared for each frame of the decoded video or audio data (S230). A video or audio data frame having a time stamp before the real-time clock is subjected to a post- The video or audio data frame having the time stamp after the real time clock is discarded.

한편, 공유 메모리부(30)에 임시 저장된 재생 이미지는 소정의 후처리 과정을 거친 후, 디스플레이 상에 출력된다(S240). 후처리부(20)는 공유 메모리부(30)에 임시 저장되어 있는 재생 이미지를 독출하고, 독출된 재생 이미지와 사용자 인터페이스 이미지를 병합하거나, 병합된 이미지를 디스플레이에 출력하기 위한 포맷으로 변환한다. 최종적으로 후처리된 이미지는 제2 메모리부(21)에 저장된다. On the other hand, the reproduction image temporarily stored in the shared memory unit 30 is output on the display after a predetermined post-processing process (S240). The post-processing unit 20 reads the playback image temporarily stored in the shared memory unit 30, merges the read playback image and the user interface image, or converts the merged image into a format for output to the display. The finally processed image is stored in the second memory unit 21.

본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
It will be understood by those skilled in the art that the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. The scope of the present invention is defined by the appended claims rather than the detailed description, and all changes or modifications derived from the scope of the claims and their equivalents should be construed as being included within the scope of the present invention.

Claims (5)

처리되어야 할 영상 데이터가 저장되는 제1 메모리부;
상기 제1 메모리부에 저장된 영상 데이터를 디코딩 처리하여 재생 이미지를 생성하는 비디오/이미지 처리부;
상기 재생 이미지에 대하여 후처리 작업을 수행하는 후처리부; 및
상기 후처리부에 의해 처리된 이미지가 저장되는 제2 메모리부를 포함하되,
상기 후처리부는 상기 재생 이미지와 사용자 인터페이스 이미지를 병합하거나, 병합된 이미지를 디스플레이에 출력하기 위한 포맷으로 변환하고,
상기 재생 이미지에 소정의 큐(queue)를 적용하여 임시 저장하기 위한 공유 메모리부를 더 포함하되,
상기 비디오/이미지 처리부는, 상기 디코딩 처리된 영상 데이터의 각 프레임 마다 타임 스탬프와 실시간 클록(real-time clock)을 비교하여, 실시간 클록 이전의 타임 스탬프를 가지는 영상 데이터 프레임은 상기 공유 메모리에 남기고, 실시간 클록 이후의 타임 스탬프를 가지는 영상 데이터 프레임은 버리고,
상기 후처리부는 상기 공유 메모리부에 임시 저장된 재생 이미지에 대하여 상기 재생 이미지와 사용자 인터페이스 이미지를 병합하거나, 병합된 이미지를 디스플레이에 출력하기 위한 포맷으로 변환하는 것과 같은 후처리 작업을 수행하는 것인 안드로이드 플랫폼 기반 듀얼 메모리를 이용한 디코딩 장치.A first memory unit for storing image data to be processed;
A video / image processing unit for decoding the image data stored in the first memory unit to generate a reproduced image;
A post-processing unit for performing a post-processing operation on the reproduced image; And
And a second memory unit for storing images processed by the post-processing unit,
The post-processing unit merges the playback image and the user interface image, or converts the merged image into a format for outputting to the display,
Further comprising: a shared memory unit for applying a predetermined queue to the playback image to temporarily store the playback image,
Wherein the video / image processing unit compares a time stamp and a real-time clock for each frame of the decoded image data, and stores an image data frame having a time stamp prior to the real-time clock in the shared memory, The video data frame having the time stamp after the real time clock is discarded,
The post-processing unit performs a post-processing operation such as merging the playback image and the user interface image with respect to the playback image temporarily stored in the shared memory unit, or converting the merged image into a format for outputting to the display, A platform-based dual memory decoding device. 삭제delete 삭제delete 제1 메모리에 저장된 영상 데이터를 처리하여 재생 이미지를 생성하는 단계;
상기 재생 이미지를 소정의 큐(queue)를 적용하여 공유 메모리부에 임시 저장하는 단계;
디코딩 처리된 영상 데이터의 각 프레임 마다 타임 스탬프와 실시간 클록(real-time clock)을 비교하여, 실시간 클록 이전의 타임 스탬프를 가지는 영상 데이터 프레임은 상기 공유 메모리에 남기고, 실시간 클록 이후의 타임 스탬프를 가지는 영상 데이터 프레임은 버리는 단계;
상기 공유 메모리부에 임시 저장된 재생 이미지에 대하여 후처리 작업을 수행하는 단계; 및
후처리된 재생 이미지를 제2 메모리부에 저장하는 단계를 포함하되,
상기 후처리 작업을 수행하는 단계는,
상기 재생 이미지와 사용자 인터페이스 이미지를 병합하거나, 병합된 이미지를 디스플레이에 출력하기 위한 포맷으로 변환하는 단계를 포함하는 것인 안드로이드 플랫폼 기반 듀얼 메모리를 이용한 디코딩 방법.Processing the image data stored in the first memory to generate a reproduction image;
Temporarily storing the playback image in a shared memory unit by applying a predetermined queue;
A video data frame having a time stamp before the real-time clock is left in the shared memory, and a time stamp after the real-time clock is compared with a time stamp and a real-time clock for each frame of the decoded video data. Discarding the image data frame;
Performing a post-processing operation on a reproduction image temporarily stored in the shared memory unit; And
And storing the post-processed reproduction image in the second memory unit,
The step of performing the post-
Merging the playback image with a user interface image, or converting the merged image into a format for output to a display. 삭제delete
KR1020120012382A 2012-02-07 2012-02-07 Video decoding apparatus and method based on android platform using dual memory KR101970787B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120012382A KR101970787B1 (en) 2012-02-07 2012-02-07 Video decoding apparatus and method based on android platform using dual memory

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120012382A KR101970787B1 (en) 2012-02-07 2012-02-07 Video decoding apparatus and method based on android platform using dual memory

Publications (2)

Publication Number Publication Date
KR20130091104A KR20130091104A (en) 2013-08-16
KR101970787B1 true KR101970787B1 (en) 2019-04-19

Family

ID=49216430

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120012382A KR101970787B1 (en) 2012-02-07 2012-02-07 Video decoding apparatus and method based on android platform using dual memory

Country Status (1)

Country Link
KR (1) KR101970787B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6662784B2 (en) 2014-02-28 2020-03-11 サムスン エレクトロニクス カンパニー リミテッド Method and apparatus for displaying application data in a wireless communication system
KR101716862B1 (en) * 2016-10-04 2017-03-15 (주)볼트마이크로 Apparatus for managing video data and method the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199405A (en) * 2000-12-25 2002-07-12 Seiko Epson Corp Moving image reproducing device, and moving image reproducing method

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040057335A (en) * 2002-12-26 2004-07-02 (주)씨앤에스 테크놀로지 Method for remote Up-grading application software in video telephone system
KR20110077591A (en) * 2009-12-30 2011-07-07 링크젠 주식회사 Multi platform transformation apparatus and method for wipi based applications

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199405A (en) * 2000-12-25 2002-07-12 Seiko Epson Corp Moving image reproducing device, and moving image reproducing method

Also Published As

Publication number Publication date
KR20130091104A (en) 2013-08-16

Similar Documents

Publication Publication Date Title
CN109600666B (en) Video playing method, device, medium and electronic equipment in game scene
JP6438598B2 (en) Method and device for displaying information on a video image
KR101342781B1 (en) Transforming video data in accordance with three dimensional input formats
CN103503455B (en) Carry out the system and method that video caption covers again for video self adaptation and repurposing
KR101331334B1 (en) Preparing video data in accordance with a wireless display protocol
US10891032B2 (en) Image reproduction apparatus and method for simultaneously displaying multiple moving-image thumbnails
TWI479332B (en) Selective hardware acceleration in video playback systems
CN109891893B (en) Media content processing method
JP6429588B2 (en) Image processing apparatus and image processing method
CN110505471B (en) Head-mounted display equipment and screen acquisition method and device thereof
US11616937B2 (en) Media processing systems
CN105765968A (en) Frame manipulation to reduce rolling shutter artifacts
CN109327698B (en) Method, system, medium and electronic device for generating dynamic preview chart
WO2023035882A9 (en) Video processing method, and device, storage medium and program product
CN112511896A (en) Video rendering method and device
US9055272B2 (en) Moving image reproduction apparatus, information processing apparatus, and moving image reproduction method
KR20220143442A (en) Method and apparatus for timed and event triggered updates in a scene
CN110049347B (en) Method, system, terminal and device for configuring images on live interface
KR101970787B1 (en) Video decoding apparatus and method based on android platform using dual memory
CN112804410A (en) Multi-display-screen synchronous display method and device, video processing equipment and storage medium
US9729919B2 (en) Remultiplexing bitstreams of encoded video for video playback
EP4348571A1 (en) High quality ui element boundaries using masks in temporally interpolated frames
CN116132719A (en) Video processing method, device, electronic equipment and readable storage medium
JP2008053884A (en) Image processing method and apparatus and electronic device utilizing them
JP2014041455A (en) Image processing device, image processing method, and program

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant