KR100878640B1 - Image frame processing method and device for displaying moving images to a variety of displays - Google Patents
Image frame processing method and device for displaying moving images to a variety of displays Download PDFInfo
- Publication number
- KR100878640B1 KR100878640B1 KR1020067026725A KR20067026725A KR100878640B1 KR 100878640 B1 KR100878640 B1 KR 100878640B1 KR 1020067026725 A KR1020067026725 A KR 1020067026725A KR 20067026725 A KR20067026725 A KR 20067026725A KR 100878640 B1 KR100878640 B1 KR 100878640B1
- Authority
- KR
- South Korea
- Prior art keywords
- image frame
- image
- rendering
- frame
- frame sequence
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
- G09G3/2096—Details of the interface to the display terminal specific for a flat panel
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2320/00—Control of display operating conditions
- G09G2320/02—Improving the quality of display appearance
- G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/12—Frame memory handling
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
Abstract
화상 프레임을 렌더링하기 위한 렌더링 처리와 화상 프레임을 표시장치에 적합하도록 변경하는 후처리는 분리되어 있다. 렌더링 처리 유닛(42)은 화상 프레임이 표시장치에 출력하기 위해 만족해야 하는 조건에 관계없이 소정의 프레임 비율로 렌더링을 수행함으로써 화상 프레임 시퀀스를 생성한다. 후처리 유닛(50)은 렌더링 처리 유닛에 의해 생성된 화상 프레임 시퀀스에 병합 처리를 하여 상기 조건을 만족하는 업데이트된 화상 프레임 시퀀스를 생성하고 출력한다. 렌더링 처리와 후처리가 분리되어 있기 때문에, 화상 프레임 시퀀스는 표시장치의 해상도와 프레임 비율과 같은 표시장치의 사양에 관계없이 생성될 수 있다. The rendering process for rendering the image frame and the post-processing for changing the image frame to suit the display device are separated. The rendering processing unit 42 generates an image frame sequence by performing rendering at a predetermined frame rate irrespective of the condition that the image frame must be satisfied to output to the display device. The post-processing unit 50 merges the image frame sequence generated by the rendering processing unit to generate and output an updated image frame sequence satisfying the above condition. Since the rendering process and the post-processing are separated, the image frame sequence can be generated regardless of the display device's specifications such as the display device's resolution and frame rate.
화상 프레임, 렌더링, 후처리, 화상 프레임 시퀀스, 동화상, 빨리 돌리기 Image Frames, Rendering, Post-Processing, Image Frame Sequences, Moving Pictures, Fast Forward
Description
본 발명은 화상 프레임 처리 기술에 관한 것으로, 좀더 구체적으로는 다양한 렌더링 조건에 적합하도록 변경된 화상 프레임 시퀀스를 생성하는 화상 프레임 처리 기술에 관한 것이다. TECHNICAL FIELD The present invention relates to an image frame processing technique, and more particularly, to an image frame processing technique for generating an image frame sequence modified to suit various rendering conditions.
액정 디스플레이(Liquid Crystal Display)와 플라즈마 디스플레이(Plasma Display)와 같은 박형 표시장치의 제조 기술의 향상과 가격의 저하에 따라, 현재는 동화상을 재현하기 위한 다양한 표시장치가 우리 주위에 있다. BACKGROUND ART With the improvement of manufacturing technology and lowering the price of thin display devices such as liquid crystal display and plasma display, various display devices for reproducing moving images are currently around us.
프레임 비율과 해상도를 포함하는 표시할 수 있는 화상 데이터의 사양은 표시장치의 종류에 따라 다르다. 종래 기술에 따르면, 화상 렌더링 장치로부터 출력된 화상 데이터는 표시장치에서 처리되어 표시장치에 적합하도록 변경된 화상이 생성된다. 이러한 조정에서, 표시장치에 적합하도록 변경되어야 하는 다양한 프레임 비율과 해상도의 증가로 인해 회로나 소프트웨어를 개발하기 위해 필요한 인력의 증가가 있다. 표시장치에 가해지는 처리 부하 또한 이러한 것과 연관하여 증가된다. The specification of displayable image data including frame rate and resolution varies depending on the type of display device. According to the prior art, image data output from an image rendering device is processed in a display device to generate an image adapted to be suitable for the display device. In these adjustments, there is an increase in manpower required to develop circuits or software due to the increase in various frame rates and resolutions that must be adapted to the display. The processing load on the display device is also increased in connection with this.
본 발명은 전술한 문제점을 고려하여 이루어졌고, 본 발명의 목적은 다양한 종류의 표시장치에 적합한 화상 프레임 처리 기술을 제공하는 것이다. The present invention has been made in view of the above problems, and an object of the present invention is to provide an image frame processing technique suitable for various kinds of display devices.
본 발명의 하나의 관점은 화상 프레임 처리 방법에 관한 것이다. 이러한 방법은 화상 프레임 시퀀스를 렌더링하는 렌더링 처리와 렌더링 처리에 의해 생성된 화상 프레임 시퀀스를 표시장치에 적합하도록 변경하는 후처리를 포함한다. 렌더링 처리에서, 화상 프레임 시퀀스는 화상 프레임이 표시장치에 출력하기 위해 만족해야 하는 조건에 관계없이 소정의 프레임 비율로 렌더링을 수행하는 것에 의해 생성된다. 후처리에서, 렌더링 처리에 의해 생성된 화상 프레임 시퀀스에 소정의 처리가 가해져 상기 조건을 만족하는 화상 프레임 시퀀스를 생성하고 출력한다. One aspect of the present invention relates to an image frame processing method. Such a method includes a rendering process of rendering an image frame sequence and a post process of changing the image frame sequence generated by the rendering process to be suitable for the display device. In the rendering process, an image frame sequence is generated by performing rendering at a predetermined frame rate irrespective of a condition that an image frame must satisfy to output to a display device. In post-processing, predetermined processing is applied to the image frame sequence generated by the rendering process to generate and output an image frame sequence satisfying the above conditions.
렌더링 처리와 후처리가 분리되어 있기 때문에, 화상 프레임 시퀀스는 표시장치의 해상도와 프레임 비율과 같은 표시장치의 사양에 관계없이 생성될 수 있다. Since the rendering process and the post-processing are separated, the image frame sequence can be generated regardless of the display device's specifications such as the display device's resolution and frame rate.
본 발명의 다른 관점은 메모리로부터 화상 프레임 시퀀스를 판독하고, 소정의 처리를 하여 상기 화상 프레임 시퀀스를 표시하도록 하는 동화상 표시 방법으로서, 빨리 돌리기 요청이 발생할 때 메모리로부터 빨리 돌리기 영상(picture)으로 표시되는 화상 프레임을 선택적으로 판독하는 단계와, 화상 프레임 판독된 화상 프레임에 소정의 통합 처리를 수행함으로써 업데이트된 화상 프레임을 생성하는 단계 및 업데이트된 화상 프레임을 표시하는 단계를 포함한다. Another aspect of the present invention is a moving picture display method of reading an image frame sequence from a memory, and performing a predetermined process to display the image frame sequence, wherein the image is displayed as a quick turn picture from the memory when a quick turn request occurs. Selectively reading the image frame, generating an updated image frame by performing a predetermined integration process on the image frame read image frame, and displaying the updated image frame.
이러한 관점에 따르면, 빨리 돌리기 프레임이 복수의 화상 프레임을 통합하여 생성되므로, 부가가치를 가지는 빨리 돌리기 영상을 얻을 수 있다. 여기서 "통합 처리"는 복수의 화상 프레임에 포함된 화상 정보의 일부 또는 전부를 사용하는 업데이트된 화상 프레임을 생성하는 과정을 말한다.According to this aspect, since the quick turn frame is generated by integrating a plurality of image frames, a quick turn image having added value can be obtained. Here, the "integration process" refers to a process of generating an updated image frame using some or all of the image information included in the plurality of image frames.
방법, 장치, 시스템, 컴퓨터 프로그램 및 기록 매체의 형태로 된 본 발명의 실시예는 본 발명의 부가적인 방식으로서 실시할 수 있다. Embodiments of the present invention in the form of methods, apparatuses, systems, computer programs and recording media may be practiced as additional methods of the present invention.
도 1은 엔터테인먼트(entertainment) 장치의 하드웨어 구조를 나타내는 도면이다. 1 is a diagram illustrating a hardware structure of an entertainment device.
도 2는 화상 프레임 처리 장치의 기능 블록도이다. 2 is a functional block diagram of an image frame processing apparatus.
도 3은 프리미티브(primitive) 좌표계를 나타내는 도면이다. 3 is a diagram illustrating a primitive coordinate system.
도 4는 렌더링 처리 유닛으로부터 출력된 화상 프레임 시퀀스에서 매 4개의 프레임마다 오프셋 값이 어떻게 변하는지를 나타내는 도면이다. 4 is a diagram showing how the offset value changes every four frames in the image frame sequence output from the rendering processing unit.
도 5는 4개의 화상 프레임을 포함하는 포인트 샘플링을 도시하는 도면이다. 5 is a diagram illustrating point sampling including four image frames.
도 6은 원래 4개의 화상 프레임의 4배 크기의 화상 프레임을 생성하는 것을 도시하는 도면이다. FIG. 6 is a diagram showing the generation of an image frame four times the size of the original four image frames.
도 7은 4개의 화상 프레임을 사용하는 모션 블러(motion blur)를 도시하는 도면이다. FIG. 7 is a diagram showing motion blur using four picture frames. FIG.
도 8은 4개의 화상 프레임을 병합하여 동일한 크기의 하나의 화상 프레임을 생산하는 것을 도시하는 도면이다. 8 is a diagram showing merging four image frames to produce one image frame of the same size.
도 9는 4개의 화상 프레임에 대한 포인트 샘플링을 수행한 뒤 2차 선형 보간법(bilinear interpolation)을 수행하는 것에 의해 확대된 화상을 생성하는 것을 도시하는 도면이다. FIG. 9 is a diagram illustrating generating an enlarged image by performing point linear sampling on four image frames and then performing bilinear interpolation.
도 10은 2차 선형 샘플링(bilinear sampling)을 도시하는 도면이다. FIG. 10 is a diagram illustrating bilinear sampling. FIG.
도 11은 병합 조건 설정 유닛에서 병합 방법을 결정하는 것을 나타내는 플로우 차트이다. 11 is a flowchart illustrating determining a merging method in a merging condition setting unit.
도 12는 본 발명의 제2 실시 형태에 따른 화상 프레임 처리 장치(200)의 하드웨어 구성을 나타내는 도면이다. 12 is a diagram illustrating a hardware configuration of the image
도 13은 제4 실시예에 따른 화상 프레임 처리 장치의 기능 블록도이다. 13 is a functional block diagram of an image frame processing apparatus according to the fourth embodiment.
도 14는 화상 프레임 시퀀스로부터 화상 프레임을 추출하고 빨리 돌리기 프레임을 생성하는 과정을 개념적으로 나타내는 도면이다. 14 is a diagram conceptually illustrating a process of extracting an image frame from an image frame sequence and generating a quick turn frame.
도 15는 복수의 화상 프레임을 병합하여 빨리 돌리기 프레임을 생성하는 과정을 개념적으로 나타내는 도면이다. 15 is a diagram conceptually illustrating a process of generating a quick turn frame by merging a plurality of image frames.
도 16은 병합된 화상 프레임의 수를 줄이고 감소된 돌리기 속도로 빨리 돌리기 영상을 생성하는 과정을 개념적으로 나타내는 도면이다. 16 is a diagram conceptually illustrating a process of generating a rotated image by reducing the number of merged image frames and at a reduced rotational speed.
도 17은 제5 실시예에 따른 화상 프레임 처리 장치의 기능 블록도이다. 17 is a functional block diagram of an image frame processing apparatus according to the fifth embodiment.
도 18은 휘도 정보에 근거하여 화상 프레임을 추출하는 과정을 개념적으로 나타내는 도면이다. 18 is a diagram conceptually illustrating a process of extracting an image frame based on luminance information.
도 19는 제6 실시예에 따른 화상 프레임 처리 장치의 기능 블록도이다. 19 is a functional block diagram of an image frame processing apparatus according to the sixth embodiment.
도 20은 화상 프레임을 특정 영역과 비특정 영역으로 분리하는 과정을 개념적으로 나타내는 도면이다. 20 is a diagram conceptually illustrating a process of separating an image frame into a specific region and a non-specific region.
도 21은 제7 실시예에 따른 화상 프레임 처리 장치의 기능 블록도이다. 21 is a functional block diagram of an image frame processing apparatus according to the seventh embodiment.
도 22는 경로 표시 과정을 개념적으로 나타내는 도면이다. 22 is a diagram conceptually illustrating a path display process.
도 23은 제4 내지 제7 실시예에 따른 처리를 실행할 수 있는 화상 프레임 처리 장치의 기능 블록도이다. 23 is a functional block diagram of an image frame processing apparatus capable of executing a process according to the fourth to seventh embodiments.
(제1 실시 형태)(1st embodiment)
3차원 컴퓨터 그래픽(CG) 화상을 렌더링하기 위해 엔터테인먼트 장치에 적용되는 독창적인 장치에 관한 실시 형태를 소개하는 것에 의해, 본 발명에 따른 화상 프레임 처리 장치에 대하여 기술한다. An image frame processing apparatus according to the present invention will be described by introducing an embodiment of an inventive apparatus applied to an entertainment apparatus for rendering a three-dimensional computer graphics (CG) image.
도 1은 엔터테인먼트 장치(100)의 하드웨어 구조를 나타낸다. 엔터테인먼트 장치(100)는 그래픽 칩(18)을 구비하고, 렌더링을 수행함으로써 표시장치(26)에 3차원 화상을 실시간으로 표시하는 것이 가능하다. 1 shows a hardware structure of the
엔터테인먼트 장치(100)는 메인 CPU(12), 메인 메모리(14), 형상 프로세서(16), 그래픽 칩(18), 표시 제어기(28) 및 입출력 포트(I/O port, 30)을 구비한다. 이러한 블록들은 그래픽 버스(36)를 통하여 서로 연결되어 상호 데이터 송수신이 가능하다. 표시 제어기(28)는 각각 다른 표시 조건과 사양을 구비하는 다양한 표시장치(26) 중 하나에 연결될 수 있다. The
입출력 포트(30)는 CD-ROM 드라이브, DVD-ROM 드라이브 또는 하드 디스크 드라이브와 같은 외부 저장 장치(32)와 연결되고, 키 입력 데이터 및 좌표 데이터를 엔터테인먼트 장치(100)에 입력하기 위한 키보드 또는 마우스와 같은 입력 장치(34)에 연결된다. 입출력 포트(30)는 외부 저장 장치(32)와 입력 장치(34) 양쪽 모두에 들어가고 나가는 데이터를 제어한다. 입출력 포트(30)는 외부 저장 장치(32)에 저장된 렌더링 데이터나 프로그램을 판독하여 메인 CPU(12)와 형상 프로세서(16)에 제공한다. 예를 들어, 렌더링 데이터는 렌더링된 오브젝트(object)를 위한 오브젝트 데이터일 수 있다. 입출력 포트(30)는 다른 장치와 통신하여 렌더링 데이터나 프로그램을 받아들이도록 설정할 수 있다. The input /
메인 CPU(12)는 엔터테인먼트 장치(100)를 전체적으로 제어하고 외부 저장 장치(32)에 저장된 렌더링 프로그램을 실행한다. 프로그램이 실행될 때, 메인 CPU(12)는 입력 장치(34)를 사용하는 사용자로부터의 입력에 따라 그래픽 칩(18)을 제어함으로써 화상 표시를 제어한다. The
메인 CPU(12)는 구성 장치 사이의 데이터 전송을 제어함으로써 엔터테인먼트 장치(100)을 제어한다. 예를 들어, 메인 CPU(12)는 형상 프로세서(16)에 의해 생성된 형상 데이터를 메인 메모리(14)를 버퍼로 사용하는 그래픽 칩(18)에 전송하는 것을 제어한다. 메인 CPU(12)는 또한 그래픽 칩(18), 외부 저장 장치(32), 입력 장치(34) 및 표시장치(26) 사이의 데이터 전송 동기화를 관리한다. 본 실시 형태에서, 형상 프로세서(16)와 메인 CPU(12)는 분리되어 설치된다. 다른 실시 형태에서는, 이러한 구성 요소들을 통합하여 메인 CPU(12)가 형상 프로세서(16)의 기능을 수행하도록 할 수 있다. The
메인 메모리(14)는 외부 저장 장치(32)로부터 판독한 오브젝트 형태 데이터와 렌더링 프로그램을 저장한다. 각각의 오브젝트 데이터는 관련된 오브젝트를 구성하는 복수의 다각형의 꼭지점 데이터를 포함한다. 메인 메모리(14)는 텍스쳐 매핑(texture mapping)에 사용되는 텍스쳐 버퍼 영역을 구비한다. The
메인 CPU(12)의 제어하에서, 형상 프로세서(16)는 위치 또는 형태를 정의하기 위한 좌표 이동이나 변환과 같은 메인 메모리(14)에 저장된 오브젝트 데이터에 대하여 형상 처리를 수행하거나, 광원이 꼭지점들을 밝게하는 것과 관련된 처리를 한다. 형상 처리의 결과로서 얻어지는 형상 데이터는 오브젝트의 꼭지점 좌표, 꼭지점에서의 텍스쳐 좌표 및 꼭지점 휘도와 같은 오브젝트 속성을 포함한다.Under the control of the
그래픽 칩(18)은 렌더링 프로세서(20), 메모리 인터페이스(22) 및 EDRAM과 같은 화상 메모리(24)를 포함한다. 렌더링 프로세서(20)는 순차적으로 메인 CPU(12)의 제어하에서 형상 프로세서(16)에 의해 생성된 형상 데이터를 판독하고, 형상 데이터에 대하여 렌더링 처리를 수행하여 화상 프레임을 생성하도록 한다. 화상 프레임 내의 픽셀의, 투명도를 나타내는 RGB값과 α값은 화상 메모리(24)에 저장된다. 픽셀의 깊이를 나타내는 Z값은 Z 버퍼 영역(도시되지 않음)에 저장된다. Z 버퍼 영역은 화상 메모리(24)에 존재할 수 있다. The
그래픽 칩(18)의 렌더딩 프로세서(20)는 메인 CPU(12)로부터 제공된 렌더링 명령에 따라 메모리 인터페이스(22)를 통하여 화상 메모리(24)에서 화상 프레임을 렌더링한다. 빠른 속도 버스 연결(high-speed bus connection)은 렌더링 프로세서(20)와 메모리 인터페이스(22) 사이에, 그리고 메모리 인터페이스(22)와 화상 메모리(24) 사이에 형성되어 있어서, 렌더링 프로세서(20)는 빠른 속도로 화상 메모리(24)에서 렌더링 처리를 수행할 수 있다. 실례로서, 렌더링 프로세서(20)는 640*480 픽셀의 화상 프레임을 렌더링한다. The
렌더링 프로세서(20)에 의해 렌더링 된 화상 프레임은 임시적으로 화상 메모리(24)에 저장된다. 메인 CPU(12)는 메모리 인터페이스(22)를 통하여 화상 메모리(24)로부터 화상 프레임을 검색하고, 메인 메모리(14)와 같은 다른 메모리에 화상 프레임을 기록한다. 메인 CPU(12)는 화상 프레임을 표시장치(26)에 표시할 수 있는 화상 프레임으로 변환한다. 그 다음에 표시 제어기(28)는 버스(36)를 통하여 화상 프레임을 수신하여 표시장치(26)에 표시한다. The picture frame rendered by the
도 2는 화상 프레임 처리 장치(10)의 기능 블록도이다. 도 2의 기능은 주로 그래픽 칩(18), 메인 CPU(12) 및 메인 메모리(14)에 의해 실시된다. 도 2는 기능에 초점을 맞춘 도면이다. 따라서, 이러한 기능들은 하드웨어만, 소프트웨어만, 또는 하드웨어와 소프트웨어의 조합에 의해 다양하게 실시될 수 있다. 2 is a functional block diagram of the image
오브젝트 데이터 판독 유닛(40)은 렌더링하기 위한 오브젝트의 형상 데이터를 판독한다. 렌더링 처리 유닛(42)은 순차적으로 소정의 해상도를 가지는 오브젝트를 구비한 화상 프레임을 소정의 화상 비율로 렌더링한다. 렌더링된 화상 프레임은 버퍼로서 제1 메모리(44)에 저장된다. 렌더링 처리 유닛(42)은 사용 예정인 표시장치(26)의 최고 프레임 비율과 동일하거나 그보다 높은 프레임 비율로 화상 프레임을 렌더링한다. 예를 들어, 렌더링 처리 유닛(42)은 도 1의 렌더링 프로세서(20)와 대응된다. The object
전송 제어기(46)는 제1 메모리(44)에 저장된 화상 프레임을 판독하고 제2 메모리(48)에 저장한다. 제2 메모리(48)는 복수의 화상 프레임을 저장하여 복수의 화상 프레임 사이의 시간 순서(time-order)를 식별할 수 있다. 예를 들어, 제1 메모 리(44)는 도 1의 화상 메모리(24)에 대응되고, 제2 메모리(48)는 메인 메모리(14)에 대응된다. 다른 실시 형태에서는, 제2 메모리는 화상 프레임 처리 장치(10)에 구비되는 외부 저장 장치(32)와 같은 메모리 또는 어떤 저장 장치라도 될 수 있다. 또 다른 실시 형태에서는, 제1 메모리(44) 또는 제2 메모리(48) 각각은 물리적으로 동일한 메모리 내의 다른 메모리 영역에 대응될 수도 있다. The
인터페이스 유닛(52)은 화상 프레임 처리 장치(10)에 연결된 표시장치(26)의 해상도 또는 프레임 비율 정보를 획득한다. 인터페이스 유닛(52)은 메인 CPU(12) 또는 렌더링 프로그램으로부터 화상이 정지 화상인지 또는 동화상인지를 나타내는 정보와 같은 컨텐츠 정보를 획득할 수 있다. 인터페이스 유닛(52)은 입력 장치(34)를 통하여 사용자로부터 표시장치의 해상도 또는 프레임 비율 정보를 획득할 수 있다. 획득된 정보는 후처리 유닛(50)에 전달된다. 예를 들어, 후처리 유닛(50)은 도 1의 메인 CPU(12)에 대응될 수 있다. The
후처리 유닛(50)은 병합 조건 설정 유닛(54), 프레임 시퀀스 획득 유닛(56) 및 병합 실행 유닛(58)을 포함한다. 후처리 유닛(50)은 렌더링 유닛(42)에 의해 렌더링 되어 제2 메모리(48)에 저장된 화상 프레임 시퀀스에 후처리를 수행하여 표시장치에 표시할 수 있는 화상을 생성한다. The
특히, 병합 조건 설정 유닛(54)은 인터페이스 유닛(52)로부터 수신된 정보에 근거하여 화상 프레임 시퀀스에 대한 적절한 병합 조건을 설정한다. 이에 대한 설명은 후술하는 도 10에 대한 설명에서 기술할 것이다. 프레임 시퀀스 획득 유닛(56)은 병합 조건 설정 유닛(54)에 의해 설정된 조건에 따라 화상 프레임의 시퀀 스를 검색하고, 검색된 화상 프레임을 병합 실행 유닛(58)에 전달한다. 병합 실행 유닛(58)은 수신된 화상 프레임에 병합 처리를 실행한다. 여기서 "병합 처리"는 복수의 화상 프레임으로부터 하나의 화상 프레임을 생성하는 것을 의미한다. In particular, the merging
병합 실행 유닛(58)에 의한 병합 처리에 의해 생성된 화상 프레임은 병합 조건 설정 유닛(54)에 의해 설정된 프레임 비율로 화상 표시 유닛(60)에 출력된다. The image frame generated by the merging process by the merging
상술한 바와 같이, 제1 실시 형태의 특징 중 하나는 화상 프레임 시퀀스의 "렌더링"과 "후처리"가 동일한 칩에서 실행되는 것이 아니라 각각 분리되어 실행된다는 것이다. 렌더링과 후처리를 분리하는 것에 의해 얻을 수 있는 이점은 화상 프레임 처리 장치에 연결된 표시장치의 종류에 대한 의존성을 제거할 수 있다는 것이다. As described above, one of the features of the first embodiment is that "rendering" and "post-processing" of the image frame sequence are not executed on the same chip but are executed separately. An advantage of separating rendering and post-processing is that it eliminates the dependency on the type of display device connected to the image frame processing apparatus.
특히, 인터페이스 유닛(52)이 표시장치에 출력된 화상 프레임이 만족해야 하는 조건을 획득하여도, 렌더링 처리 유닛(42)는 인터페이스 유닛(52)에 의해 획득된 조건에 관계없이 화상 프레임 시퀀스를 생성한다. 그 결과로서, 후처리 유닛(50)은 렌더링 처리 유닛(42)에 의해 생성된 화상 프레임 시퀀스에 인터페이스 유닛(52)에 의해 획득한 조건에 따라 소정의 처리를 가하여 표시장치에 적합한 업데이트된 화상 프레임 시퀀스를 생성한다. 이것으로, 렌더링 처리 유닛(42)에서의 렌더링 방법은 화상 프레임이 만족해야 하는 조건에 따라 바꿀 필요가 없다. 그러므로, 렌더링 처리 유닛(42)은 범용적인 구조를 가지면 된다. 화상 프레임 처리 장치(10)에 연결된 표시장치가 다른 종류로 변경될 때, 후처리 유닛(50)에서의 처리의 변경에 의해 변경이 조절된다. 따라서, 좀더 다양한 종류의 표시장치가 연결될 수 있어 상당히 높은 수준의 호환성이 확보된다. 이것은 결국 다양한 표시장치에 적합하도록 처리 장치를 변경하기 위한 회로 또는 소프트웨어의 개발에 필요한 인력을 감소시킬 것이다. In particular, even if the
게다가, 종래 기술에 따르면, 렌더링 프로세서가 높은 렌더링 능력을 가지고 있는 경우라도, 표시장치의 사양이 렌더링 능력을 변경하는 것을 하지 못하여, 렌더링 프로세서의 렌더링 능력을 제한하는 것이 필요하다. 그러나, 제1 실시 형태에 따르면, 렌더링 프로세서의 능력은 제한되지 않고 충분히 활용될 수 있다. 후처리가 조정되어 높은 프레임 비율로 렌더링하기 위한 능력은 해상도를 개선하는 것 등에 할당된다. 후처리가 높은 범용성을 갖도록 확보하는 것에 의해, 화상 프레임 처리 장치의 설계에서 융통성은 개선될 것이다. 또한, 표시장치가 화상 프레임 처리를 수행하는 일을 하지 않으므로, 표시장치에 가해진 처리 부하도 감소될 것이다. In addition, according to the prior art, even if the rendering processor has a high rendering capability, it is necessary to limit the rendering capability of the rendering processor because the specification of the display device does not change the rendering capability. However, according to the first embodiment, the capability of the rendering processor is not limited and can be fully utilized. Post-processing is adjusted so that the ability to render at high frame rates is assigned to improving resolution, and the like. By ensuring that the post-processing has a high versatility, flexibility in the design of the image frame processing apparatus will be improved. In addition, since the display device does not perform image frame processing, the processing load applied to the display device will also be reduced.
추가적으로 고려해야 할 점은, 애니메이션(animation) 비디오와 같은 동화상을 렌더링하는 프레임 비율이 변화할 때, 화상 창작자가 의도한 것과 다른 움직임을 나타내는 애니메이션 화상이 표시장치에 표시될 수 있다는 것이다. 선행 기술에 따르면 이 문제를 처리하기 위한 하나의 접근은 표시장치에 최종적으로 표시되는 화상 프레임의 프레임 비율을 고려하여 복수의 화상 시퀀스를 준비함으로써, 어떤 프레임 비율에서도 최적의 시청 경험을 즐길 수 있게 하는 것이다. 이와 대조적으로, 제1 실시 형태에 따르면, 표시장치의 프레임 비율에 관계없이 높은 프레임 비율을 가지는 하나의 화상 프레임 시퀀스만 준비되면 충분하다. An additional consideration is that when the frame rate of rendering a moving image, such as animation video, changes, an animated image representing movement different from that intended by the image creator may be displayed on the display device. According to the prior art, one approach to dealing with this problem is to prepare a plurality of image sequences in consideration of the frame rate of the image frame finally displayed on the display device, so that an optimal viewing experience can be enjoyed at any frame rate. will be. In contrast, according to the first embodiment, it is sufficient that only one image frame sequence having a high frame rate is prepared regardless of the frame rate of the display device.
제1 메모리(44)는 렌더링 처리 유닛(42)에 의해 하나의 프레임으로 렌더링 된 화상 프레임 시퀀스를 저장하는 프레임 버퍼로서 작동한다. 임시적으로 제1 메모리(44)에 저장된 화상 프레임은 결국 제2 메모리(48)에 전달된다. 그래서, 제2 메모리(48)는 후처리 유닛(50)을 위한 작업 영역으로서 주요하게 작동한다. 프레임 버퍼로서 작동하는 제1 메모리(44)는 일반적으로 비용이 높은 EDRAM이나 그와 유사한 것을 구비한 채로 실시된다. 본 실시 형태에서 제2 메모리가 없다면, 후술하는 바와 같이, 4 프레임 시간 동안 병합 처리를 위해 4 프레임의 최대가 저장되어야 하기 때문에 제1 메모리는 대용량 메모리가 될 필요가 있다. 제2 메모리(48)를 구비함으로써, 제1 메모리(44)는 렌더링 처리 유닛(42)에 의해 렌더링된 적어도 하나의 화상 프레임을 저장하기 위한 용량을 구비할 것만을 필요로 한다. 따라서, 후처리 유닛(50)을 위한 작업 영역으로서 제2 메모리(48)를 제1 메모리(44)와 분리하여 제공하는 것은 이점이 있다. 제1 메모리(44)는 렌더링 처리 유닛(42)이 형성되는 반도체 회로 소자와 동일한 반도체 회로 소자 내에 형성된다. The
도 3은 렌더링 처리 유닛(42)에서 화상 프레임 각각의 픽셀이 위치하는 프리미티브 좌표계를 나타낸다. 가로축은 x로 표시되고 세로축은 y로 표시된다. 픽셀 좌표의 배치는 (x, y)로 표시된다. x와 y 좌표값 각각은 12비트의 정수부와 4비트의 소수부로 나타내지는 고정 소수점 값(fixed-point value)이다. 도시된 바와 같이, 각 픽셀의 중심은 프리미티브 좌표계에서 좌표의 정수점에 위치한다. 렌더링 된 화상 프레임은 제1 메모리에 픽셀 단위(pixel by pixel)로 저장된다. 제1 메모리 내의 위치를 나타내기 위한 좌표계는 윈도우 좌표계(window coordinate system)라고 불린다. 메모리 주소 계산은 이 좌표계를 사용하여 행해진다. 윈도우 좌표계 는 버퍼의 직사각형 영역의 왼쪽 위 점을 원점으로 하여 프레임 버퍼 내의 위치를 나타내기 위한 좌표계이다. 3 shows a primitive coordinate system in which a pixel of each image frame is located in the
주어진 프리미티브 좌표값은 (Px, Py)이고 오프셋 값은 (Offx, Offy)이며, 윈도우 좌표값은 다음의 식으로 주어진다. Given primitive coordinates are (Px, Py) and offsets are (Offx, Offy), the window coordinates are given by
Wx=Px-OffxWx = Px-Offx
Wy=Py-OffyWy = Py-Offy
후처리에서 도 2에 도시된 화상 프레임 처리 장치에 의해 다양한 표시 조건에 적합하도록 변경된 화상 프레임 시퀀스를 생성하는 몇 가지 실시예를 기술한다. 렌더링 처리 유닛(42)은 240 초당 프레임(frame per second, 이하에서 fps라 함)의 프레임 비율로 640*480의 화상을 렌더링하는 것으로 가정한다. Some embodiments in which the image frame processing apparatus shown in FIG. 2 is used to generate an image frame sequence modified to suit various display conditions in post processing will be described. The
(제1 실시예)(First embodiment)
도 4는 렌더링 처리 유닛(42)으로부터 출력된 화상 프레임 시퀀스에서 매 4 프레임마다 오프셋 값이 어떻게 변하는지를 나타낸다. 설명의 편의를 위해, 화상 프레임 F1, F2, F3 및 F4는 상기 언급한 순서에 따라 렌더링에 의해 생성된다고 가정한다. 렌더링 처리 유닛(42)은 제1 화상 프레임 F1을 오프셋 없이 렌더링하고, 제2 화상 프레임 F2를 (0.5, 0)의 오프셋으로 렌더링하고, 제3 화상 프레임 F3을 (0, 0.5)의 오프셋으로 렌더링하고, 제4 화상 프레임 F4를 (0.5, 0.5)의 오프셋으로 렌더링한다. 렌더링 처리 유닛(42)에 의한 렌더링에서 오프셋은 렌더링 공간에 서 렌더링의 시작점으로서 연속적으로 변위된 좌표에 의해 영향을 받는다. 이하에서, 이러한 처리는 "픽셀 변위 처리"라고 한다. 4 shows how the offset value changes every four frames in the image frame sequence output from the
도 5와 도 6은 병합 처리의 제1 실시예를 나타낸다. 제1 실시예에서, 프레임의 시퀀스는 병합되어 렌더링된 화상 프레임의 4배 크기의 화상 프레임이 생성된다. 5 and 6 show a first embodiment of the merging process. In the first embodiment, the sequence of frames is merged to produce an image frame four times the size of the rendered image frame.
도 5는 픽셀 변위를 가지고 렌더링 처리 유닛(42)에 의해 렌더링 된 픽셀이 어떻게 동일한 윈도우 좌표계에 위치하는지를 보여주는 개략도이다. 도 5와 도 6에서, "1"로 표시되는 원은 제1 화상 프레임 F1의 픽셀을 나타내고, "2"로 표시되는 원은 제2 화상 프레임 F2의 픽셀을 나타내고, "3"으로 표시되는 원은 제3 화상 프레임의 픽셀을 나타내며, "4"로 표시되는 원은 제4 화상 프레임 F4의 픽셀을 나타낸다. 5 is a schematic diagram showing how pixels rendered by the
각 프레임 내의 인접한 픽셀들의 중심 사이의 거리는 x와 y 방향 모두 "1"이다. 렌더링 처리 유닛(42)에 의한 픽셀 변위 처리의 결과로서, 화상 프레임 F2의 픽셀은 화상 프레임 F1의 결합된 픽셀에 대하여 x 방향으로 0.5만큼 변위되고, 화상 프레임 F3의 픽셀은 화상 프레임 F1의 결합된 픽셀에 대하여 y 방향으로 0.5만큼 변위되며, 화상 프레임 F4의 픽셀은 화상 프레임 F1의 결합된 픽셀에 대하여 x 방향으로 0.5만큼 변위되고 y 방향으로 0.5만큼 변위된다. 그러므로, 4 화상 프레임이 동일한 좌표계에 위치할 때, 도 5에 도시된 바와 같이, 각 화상 프레임의 픽셀들은 x 방향과 y 방향 모두 0.5만큼 거리를 두고 있다. The distance between the centers of adjacent pixels in each frame is "1" in both the x and y directions. As a result of the pixel displacement processing by the
윈도우 좌표계에서 1 픽셀 단위 대신에 0.5 픽셀 단위의 격자 샘플링에 의 해, x 방향과 y 방향에 2배의 픽셀을 갖는 화상 프레임이 생성될 수 있다. 이것은 도 6을 참조하여 설명한다. 도 6은 픽셀이 어떻게 정렬되는지를 보여주는 개략도이다. 도 6은 화상 프레임들(102, 104, 106 및 108)을 간략하게 하기 위해 가로로 4 픽셀과 세로로 3 픽셀만 나타내고 있지만, 실제로는 각각의 프레임마다 가로로 640 픽셀과 세로로 480 픽셀이 있다. 픽셀 전체는 도 6에서 화상 프레임(110)에 도시되어 있는 관계로 정렬된다. 상술한 바와 같이 격자에서 640×480 픽셀 화상 프레임(102, 104, 106 및 108)을 정렬하는 것에 의해, 640×480 픽셀 화상 프레임의 4배 크기인 1280×960 픽셀 크기인 화상 프레임(110)이 만들어진다. 이하에서, 이러한 샘플링 방법을 "포인트 샘플링"이라 한다. By lattice sampling in 0.5 pixel units instead of 1 pixel units in the window coordinate system, an image frame having twice the pixels in the x direction and the y direction can be generated. This is described with reference to FIG. 6. 6 is a schematic diagram showing how pixels are aligned. 6 shows only 4 pixels horizontally and 3 pixels vertically to simplify the picture frames 102, 104, 106, and 108, but in practice there are 640 pixels horizontally and 480 pixels vertically in each frame. . The entire pixel is aligned in the relationship shown in
제1 실시예에 따르면, 복수의 화상 프레임은 렌더링 처리 유닛(42)에서 공간적인 변위로 렌더링함으로써 생성된다. 그 결과로서, 후처리 유닛(50)은 화상 프레임들 사이의 변위를 유지하는 화상 프레임에 병합 처리를 수행하여 렌더링 처리 유닛(42)으로부터 출력된 화상 프레임 시퀀스보다 높은 공간적인 해상도로 화상 프레임 시퀀스를 생성한다. "화상 프레임들 사이의 변위를 유지"라는 문구는 각각의 오프셋 화상 프레임의 픽셀을 어떤 변형없이 사용하여 최종적인 화상 프레임을 획득하는 것을 의미한다. 이것으로, 다른 표시장치의 다른 해상도에 적합하도록 변경된 화상 프레임 시퀀스가 후처리에 의해 생성된다. According to the first embodiment, a plurality of image frames are generated by rendering with spatial displacement in the
제1 실시예는 또한 프레임 비율의 감소를 위한 수단으로 이해될 수 있다. 예를 들어, 도 3에 도시된 바와 같이 4 화상 프레임으로부터 화상 프레임을 생성하는 것에 의해, 프레임 비율을 1/4로 감소할 것이다. 표시장치의 최대 프레임 비율이 렌더링 처리 유닛(42)의 프레임 비율보다 낮은 상황에서, 포인트 샘플링을 수행함으로써 낮은 프레임 비율과 높은 해상도 화상을 얻을 수 있는 이점이 있다. The first embodiment can also be understood as a means for reducing the frame rate. For example, by generating an image frame from four image frames as shown in FIG. 3, the frame rate will be reduced to one quarter. In a situation where the maximum frame rate of the display device is lower than the frame rate of the
현재의 실시 형태는 4 화상 프레임으로부터 하나의 화상 프레임을 생성하는 것에 한정되지 않는다. 다른 실시 형태에서, 9 화상 프레임으로부터 하나의 화상 프레임을 생성함으로써, 원래 화상 프레임보다 9배 더 많은 픽셀을 가지는 화상 프레임을 생성하는 것이 가능하다. 더 많은 화상 프레임을 포함하는 경우에도 동일하다. 화상 프레임의 수가 많을 수록, 최종적으로 획득된 화상 프레임의 프레임 비율은 낮아진다. The present embodiment is not limited to generating one image frame from four image frames. In another embodiment, by generating one image frame from nine image frames, it is possible to generate an image frame having nine times more pixels than the original image frame. The same is true when including more image frames. The larger the number of image frames, the lower the frame rate of the finally obtained image frame.
(제2 실시예)(2nd Example)
도 7과 도 8은 병합 처리의 제2 실시예를 도시한다. 제2 실시예에서, 모션 블러(motion blur) 효과는 연속 프레임들(consecutive frames)의 병합에 의해 달성된다. 7 and 8 show a second embodiment of the merging process. In the second embodiment, the motion blur effect is achieved by merging consecutive frames.
도 7에 도시된 바와 같이, 비어 있는 원(open circle)은 픽셀 변위 처리를 가한 화상 프레임 F1-F4의 픽셀을 나타낸다. 본 실시예에서, 평균 RGB 값은 4개의 인접한 픽셀의 RGB 값으로 결정되고, 결과값은 새로운 RGB 값으로 사용된다. 각각의 픽셀이 도 7에서 대각선으로 빗금 친 원으로 도시되어 있는 4개의 비어 있는 원 픽셀의 중심 사이의 중점을 중심으로 하는 화상 프레임은 생성된다. As shown in Fig. 7, open circles represent pixels of image frames F1 to F4 subjected to pixel displacement processing. In this embodiment, the average RGB value is determined by the RGB values of four adjacent pixels, and the resulting value is used as the new RGB value. An image frame is created centering on the midpoint between the centers of the four empty circle pixels, with each pixel shown as diagonally hatched circles in FIG.
도 8은 이러한 정렬을 개략적으로 나타낸다. 즉, 680×480 화상 프레임 F1-F4의 픽셀의 RGB 값에 0.25를 곱하여 획득한 RGB 값을 가지는 680×480 화상 프레 임이 생성된다. 8 schematically illustrates this alignment. In other words, a 680x480 image frame having an RGB value obtained by multiplying the RGB value of the pixels of the 680x480 image frames F1-F4 by 0.25 is generated.
제2 실시예에 따르면, 복수의 화상 프레임들은 복수의 화상 프레임은 렌더링 처리 유닛(42)에서 공간적인 변위로 렌더링함으로써 생성된다. 그 결과로서, 후처리 유닛(50)은 화상 프레임에 병합 처리를 수행하여 화상 프레임 사이의 변위를 취소한다. 그 결과, 업데이트된 화상 프레임 시퀀스는 렌더링 처리 유닛(42)으로부터 출력된 화상 프레임 시퀀스와 동일한 공간 해상도로 생성된다. "화상 프레임 사이의 변위를 취소"라는 문구는 화상 프레임을 렌더링한 오프셋을 섞음(blending)으로써 최종적으로 비오프셋(non-offset) 화상 프레임을 획득하는 것을 의미한다. 본 실시 형태에서, 4개의 픽셀을 섞여 하나의 픽셀을 생성한다. 화상 프레임 사이의 변위의 취소는 2개의 시간적으로 연속적인 화상 프레임 사이의 시간 프레임으로 나누는 것에 의해 획득된 화상을 생성하고, 나누어진 화상들의 평균화된 화상을 표적 프레임(target frame)의 화상으로 사용하는 것과 실질적으로 동일하다. 그러므로, 만약 렌더링 처리 유닛에 의해 렌더링된 화상 프레임 시퀀스의 컨텐츠가 동화상이라면, 변위의 취소는 동화상에 대한 모션 블러의 효과에 적용할 수 있다. 제1 실시예와 마찬가지로, 제2 실시예는 프레임 비율의 감소를 위한 수단으로 이해될 수 있다. 보다 상세하게는, 제2 실시예는 원래 화상 프레임의 해상도를 유지하면서, 렌더링 처리 유닛(42)의 프레임 비율의 1/4 프레임 비율을 가지는 화상 프레임 시퀀스를 출력하는 것이 가능하다. According to the second embodiment, the plurality of image frames are generated by rendering the plurality of image frames with spatial displacement in the
제2 실시예는 또한 컨텐츠가 정지 화상인 경우에도 사용할 수 있다. 이 경우에는, 병합 처리에 의해 획득된 정지 화상에 앤티앨이어싱(antialiasing) 효과가 적용된다. 이 경우에, 병합 처리는 화상에서 표적 픽셀에 대한 데이터를 얻기 위해 원래 픽셀을 서브 픽셀(subpixel)로 나누고, 서브 픽셀에서 평균화한 데이터가 픽셀 데이터로 사용되는 "슈퍼 샘플링(super sampling)과 유사하다The second embodiment can also be used when the content is a still picture. In this case, an antialiasing effect is applied to the still picture obtained by the merging process. In this case, the merging process is similar to "super sampling" in which the original pixel is divided into subpixels to obtain data for the target pixel in the image, and the data averaged in the subpixels is used as pixel data.
(제3 실시예)(Third Embodiment)
도 9는 제3 실시예에 따른 병합 처리는 나타낸다. 제3 실시예에서, 화상 프레임은 렌더링 처리 유닛(42)에 의해 생성된 원래 화상 프레임의 수평 대 수직 비율(horizontal to vertical ratio)과는 다른 수평 대 수직 비율로 생성된다. 예를 들어, 렌더링 처리 유닛(42)은 각각 720×480의 해상도를 가지는 제1 화상 프레임(112), 제2 화상 프레임(114), 제3 화상 프레임(116) 및 제4 화상 프레임(118)을 생성하고, 표적 화상 프레임(122)은 원래 화상 프레임(112-118)의 수직 대 수평 비율(vertical to horizontal ratio)과는 다른 수직 대 수평 비율인, 1920×1080 픽셀의 해상도를 가지는 화상 프레임(112-118)으로부터 생성된다고 가정한다. 도 9에서, 숫자 "1", "2", "3" 및 "4"는 결합된 픽셀이 각각 제1 화상 프레임(112), 제2 화상 프레임(114), 제3 화상 프레임(116) 및 제4 화상 프레임의 픽셀이라는 것을 나타낸다. 9 shows a merge process according to the third embodiment. In the third embodiment, the image frame is generated at a horizontal to vertical ratio different from the horizontal to vertical ratio of the original image frame generated by the
제1 단계(130)에서, 제1 실시예에서 기술한 포인트 샘플링이 수행된다. 이것으로, 원래 화상 프레임(112-118) 각각의 4배 크기인 1440×960의 화상 프레임(120)이 생성된다. 다음으로, 2차 선형 샘플링(bilinear sampling)이 제2 단계(132)에서 수행되어 1920×1080 픽셀의 해상도를 갖는 화상 프레임(122)을 생성 한다. 본 실시예에서, 렌더링되는 픽셀의 색(color)은 둘러싸는 4개의 픽셀의 RGB 값의 선형 보간법(linear interpolation)에 의해 결정된다. In a
도 10을 참고하여 2차 선형 샘플링에 대하여 서술한다. 화상 프레임(112) (1920×1080)은 화상 프레임(120)(1440×960)로 축소되면, 화상 프레임(120)의 좌표계에서 화상 프레임(122)의 픽셀 중심의 좌표가 계산된다. 도 10은 도 9의 화상 프레임(120)의 일부(124)를 나타낸다. 비어 있는 원(140)은 화상 프레임(122)에서 픽셀의 중심을 나타낸다. 이러한 좌표에서 픽셀을 렌더링하기 위해 사용되는 색을 결정하기 위해, 도 10의 픽셀들(124a, 124b, 124c 및 124d)의 중심으로부터 좌표 변위에 따라 RGB 값에 선형 보간법을 적용한다. 픽셀 124a는 도 9의 제1 화상 프레임(112)의 픽셀이고, 픽셀 124b는 제2 화상 프레임(114)의 픽셀이고, 픽셀 124c는 제3 화상 프레임(116)의 픽셀이고, 픽셀 124d는 제4 화상 프레임(118)의 픽셀이라는 것을 알고 있어야 한다. 4개의 픽셀(124a-124d)의 중심으로부터 수평 방향의 변위는 α이고, 수직 방향의 변위는 β로 주어진다면(도 10 참조), 선형 보간법으로 계산되는 비어 있는 원(140)의 RGB 값은 다음의 계산식으로 주어진다. A second linear sampling will be described with reference to FIG. 10. When the image frame 112 (1920 × 1080) is reduced to the image frame 120 (1440 × 960), the coordinates of the pixel center of the
R=(1-α)(1-β)Rs1+α(1-β)Rs2+(1-α)βRs3+αβRs4 (1)R = (1-α) (1-β) Rs1 + α (1-β) Rs2 + (1-α) βRs3 + αβRs4 (1)
G=(1-α)(1-β)Gs1+α(1-β)Gs2+(1-α)βGs3+αβGs4 (2)G = (1-α) (1-β) Gs1 + α (1-β) Gs2 + (1-α) βGs3 + αβGs4 (2)
B=(1-α)(1-β)Bs1+α(1-β)Bs2+(1-α)βBs3+αβBs4 (3)B = (1-α) (1-β) Bs1 + α (1-β) Bs2 + (1-α) βBs3 + αβBs4 (3)
여기서 Rs, Gs 및 Bs는 각각 4개의 픽셀(124a-124d)의 RGB 값을 나타내고, 첨자 s1, s2, s3 및 s4는 각각 픽셀 124a, 124b, 124c 및 124d 픽셀의 성분을 나타낸다. 화상 프레임(122)에 포함된 모든 픽셀에 대하여 계산식 (1)-(3)을 계산하여 색을 결정하는 것에 의해, 화상 프레임(122)은 생성된다. 계산식 (1) 내지 (3)은 일반적인 2차 선형 샘플링의 계산과 동일한 개념에 근거한다. 일반적인 2차 선형 샘플링과 다른 점은 색 성분이 다른 화상 프레임의 픽셀로부터 획득된다는 것이다. Where Rs, Gs, and Bs represent the RGB values of four
렌더링 처리 유닛(42)에 의해 렌더링된 화상 프레임 시퀀스의 해상도와 표시장치에 표시된 해상도가 하나가 다른 것의 정수배가 되는 관계가 아닌 경우, 즉, 예를 들어, 렌더링된 화상 프레임이 720×480이고, 표시장치에 표시된 화상 프레임의 해상도가 1920×1080인 경우, 표적 해상도는 단순히 픽셀 변위 처리와 포인트 샘플링을 실행하는 것에 의해 얻을 수 없다. 이러한 경우에, 픽셀 변위 처리와 포인트 샘플링에 의해 1440×960의 중간 화상 프레임이 생성되고, 다음에 2차 선형 샘플링을 실행하여 1920×1080의 화상 프레임을 얻는다. 이것으로, 프레임 비율이 1/(포인트 샘플링에 사용된 화상 프레임의 수)로 떨어진다. If the resolution of the image frame sequence rendered by the
픽셀 변위 처리가 반드시 실행되어야 하는 것은 아니다. 보다 구체적으로, 렌더링 처리 유닛(42)에 의해 렌더링된 원래 화상 프레임에 직접적으로 2차 선형 샘플링을 수행하여 최종적인 화상 프레임을 얻는다. 그러나, 2차 선형 샘플링에 앞서 픽셀 변위 처리와 포인트 샘플링을 수행함으로써, 확대되는 경우에 덜 악화된 화상을 얻을 수 있다. 다른 실시예에서는, 화상 프레임 시퀀스의 4개의 화상 프레임(예를 들어, 720×480 크기) 각각은 표시장치에 적합하도록 변경된 화상 프레임(예를 들어, 1920×1080)까지 확대한 후에, 4개의 확대된 화상 프레임을 혼합하여 최종적인 화상을 얻을 수 있다. Pixel displacement processing does not necessarily have to be performed. More specifically, second order linear sampling is performed directly on the original image frame rendered by the
사용자는 상기한 제1 내지 제3 실시예 중 하나를 선택하는 기회를 가질 수 있다. 본 실시 형태를 실시하는 하나의 접근에서, 화상 프레임 처리 장치가 자동적으로 이러한 결정을 할 수 있다. 도 11은 병합 조건 설정 유닛(54)에 의해 수행된 자동 결정을 나타내는 플로우 차트이다. 이 플로우 차트에서, 프레임 비율, 해상도 및 컨텐츠에 따라, 제1 내지 제3 실시예에 기술되어 있는 후처리 중 어느 것이 렌더링 처리 유닛(42)에 의해 렌더링된 화상 프레임 시퀀스에 수행되도록 할지가 결정된다. The user may have the opportunity to select one of the first to third embodiments described above. In one approach to implementing this embodiment, the image frame processing apparatus can automatically make this determination. 11 is a flowchart showing automatic determination performed by the merging
병합 조건 설정 유닛(54)는 렌더링 처리 유닛(42)에 의해 렌더링된 화상 프레임의 프레임 비율을 가지고 인터페이스 유닛(52)을 통하여 획득한 표시장치의 프레임 비율 정보를 비교하여 이러한 프레임 비율이 일치하는지 여부를 결정한다(S10). 프레임 비율이 일치하는 경우(S10에서 Yes), 전송 제어기(46)는 제1 메모리(44)로부터 제2 메모리(48)에 화상 프레임을 전송한다. 프레임 시퀀스 획득 유닛(56)은 제2 메모리(48)로부터 렌더링 처리 유닛(42)의 프레임 비율과 동일한 시간 간격으로 화상 프레임을 판독한다. 병합 실행 유닛(58)은 병합 처리(S12)와 같은 후처리를 수행하지 않고 화상 표시 유닛(60)에 화상을 출력한다. 이것으로, 렌더링 처리 유닛(42)의 렌더링 수행은 충분히 활용될 수 있고, 화상은 풀 스펙(full-spec) 프레임 비율로 렌더링될 수 있다. 다른 실시예로 접근하면, 화상 프레임 시퀀스는 제2 메모리(48)에 임시로 저장되지 않고 출력될 수 있다. 보다 상세하게는, 프레임 시퀀스 획득 유닛(56)은 제1 메모리(44)를 버퍼로 사용하여 렌더링 처리 유닛(42)에 의해 렌더링된 화상 프레임 시퀀스를 직접 판독하고, 화상 표시 유닛(60)에 화상 프레임을 출력한다. The merging
프레임 비율이 일치하지 않는 경우(S10에서 No), 병합 조건 설정 유닛(54)은 인터페이스 유닛(52)을 통하여 획득한 표시장치의 해상도 정보를 가지고 렌더링 처리 유닛(42)에 의해 렌더링된 화상 프레임(이하에서 "렌더링된 화상 프레임"이라 한다)의 해상도를 비교하여 해상도가 일치하는지 아닌지를 결정한다(S14). 만약 표시장치의 해상도가 렌더링된 화상 프레임의 해상도보다 높다면(S14에서 Yes), 병합 조건 설정 유닛(54)은 표시장치에 표시되는 화상 프레임의 컨텐츠가 정지 화상인지 동화상인지 결정한다(S16). 이러한 결정은 헤더 또는 프로그램의 헤더와 같은 것에 등록된 정보를 판독하는 것에 의해 내려진다. 다른 실시예에서, 정지 화상인지 동화상인지에 대한 결정은 모션 결정 유닛(도시되지는 않음)에 의해 계산된 인접한 화상 프레임의 차이인 모션(motion) 성분의 크기에 근거하여 내려진다. 만약 컨텐츠가 워드 프로세서 문서 또는 HTML 문서의 화면(screen) 화상과 같은 정지 화상이라면(S16에서 Yes), 병합 조건 설정 유닛(54)은 표시장치의 해상도가 렌더링된 화상의 해상도의 정수배인지 결정한다. "정수배"의 결정은 비교된 해상도 중 하나의 수직과 수평 픽셀 카운트(count) 모두가 다른 해상도의 수직과 수평 픽셀 카운트의 동일한 정수로 곱해지는 경우, 즉, 예를 들어, 렌더링된 화상 프레임은 640×480이고 표시장치의 해상도는 1280×960 또는 1920×1440인 경우에 내려진다. 표시장치의 해상도가 렌더링된 화상 프레임의 해상도의 정수배인 경우(S18에서 Yes), 도 5와 도 6을 참조하여 기술된 제1 실시예가 수행되어 원하는 해상도의 화상 프레임 시퀀스를 얻는다(S22). 그러므로, 표시장치의 해상도가 2배로 높아지는 경우, 병합 조건 설정 유닛(54)은 프레임 시퀀스 획득 유닛(56)에 4개의 화상 프레임을 검색하도록 지시한다. 표시장치의 해상도가 3배로 높아지는 경우, 병합 조건 설정 유닛(54)는 프레임 시퀀스 획득 유닛(56)에 9개의 화상 프레임을 검색하도록 지시한다. 프레임 시퀀스 획득 유닛(56)은 획득된 화상 프레임을 병합 실행 유닛(58)에 넘겨준 후, 병합 실행 유닛(58)은 넘겨진 화상 프레임에 포인트 샘플링을 실행하여 원하는 해상도를 갖는 화상 프레임을 화상 표시 유닛(60)에 출력한다. If the frame rates do not match (No in S10), the merging
S18에서 표시장치의 해상도가 렌더링된 화상 프레임의 정수배가 아니라고 결정하는 경우, 도 9와 도 10을 참조하여 기술된 제3 실시예가 실행되어 원하는 해상도의 화상 프레임 시퀀스를 얻는다(S20). 보다 상세하게는, 병합 조건 설정 유닛(54)은 렌더링된 화상 프레임의 해상도의 정수배이고 원하는 해상도에 가장 가까운 해상도의 화상 프레임을 생성한다. 생성된 화상 프레임에 2차 선형 샘플링을 수행함으로써, 병합 조건 설정 유닛(54)은 수평 대 수직 비율이 유지되지 않는 화상 프레임을 생성한다. If it is determined in S18 that the resolution of the display device is not an integer multiple of the rendered image frame, the third embodiment described with reference to Figs. 9 and 10 is executed to obtain an image frame sequence of a desired resolution (S20). More specifically, the merging
컨텐츠가 모션 CG 또는 영화와 같은 동화상이라고 결정하는 경우(S16에서 No), 병합 조건 설정 유닛(54)은 도 7과 도 8을 참조하여 기술된 제2 실시예가 실행되어 모션 블러 효과를 갖는 동화상을 얻는다(S24). 보다 상세하게는, 병합 조건 설정 유닛(54)은 (렌더링된 화상 프레임의 프레임 비율)/(표시장치의 프레임 비율)에 의해 결정된 화상 프레임의 수를 사용하여 병합 처리를 실행한다. 예를 들어, 렌더링된 화상 프레임의 프레임 비율은 240 fps이고 표시장치의 프레임 비율이 60 fps인 경우, 4(=240/60) 프레임이 병합 처리에 사용된다. 만약 이 나누기의 결과가 정수가 아니라면, 예를 들어, 렌더링된 화상의 프레임 비율이 240 fps이고 표시장치의 프레임 비율이 70 fps인 경우, 나누기의 결과는 3.4(=240/70)이다. 이러한 경우, 소수점 부분은 버리고, 병합 처리는 3 화상 프레임에 실행되어 70 fps로 결과 화상 프레임을 출력한다. If it is determined that the content is a moving picture such as a motion CG or a movie (No in S16), the merging
어떠한 경우에도, 후처리 유닛(50)으로부터 출력된 화상 프레임 시퀀스의 프레임 비율은 렌더링 처리 유닛(42)에 의해 생산된 렌더링된 화상 프레임의 프레임 비율보다 낮다. 예를 들어, 포인트 샘플링의 실행에 의해 프레임 비율이 1/4로 떨어져 2배 높은 해상도가 생산되고, 포인트 샘플링의 실행에 의해 프레임 비율이 1/9로 떨어져 3배 높은 해상도가 생산된다. 따라서, S20 또는 S22 처리의 결과로서 원하는 해상도를 얻는 경우라도, 낮은 프레임 비율 때문에 화면상에 깜빡임 또는 그와 비슷한 것이 생길 수 있다. 다른 실시예로 접근하면, 원하는 해상도를 얻는 경우 프레임 비율은 현저하게 떨어질 것이라는 것을 화면상으로 사용자에게 경고하고, 사용자에게 받아들이도록 촉구하는 사용자 프롬프트(prompt) 유닛(도시되지 않음)이 제공될 수 있다. 사용자가 받아들이는 경우, 포인트 샘플링은 실행된다. 받아들이지 않는 경우, 포인트 샘플링은 실행되지 않는다. 또 다른 실시예로 접근하면, 병합 조건 설정 유닛(54)은 표시장치의 (해상도와 프레임 비율) 사양과 후처리 유닛(50)에서 실행될 수 있는 후처리를 참고하고, 해상도와 프레임 비율의 가능한 쌍의 목록을 화면상에 표시할 수 있다. 사용자 프롬프트 유닛(도시되지 않음)은 사용자가 원하는 쌍을 선택하도록 촉구하고 선택된 쌍을 병합 조건 설정 유닛(54)에 전달하도록 할 수 있다. 이에 응답하여, 병합 조건 설정 유닛(54)은 프레임 시퀀스 획득 유닛(56)과 병합 실행 유닛(58)에 지시한다. In any case, the frame rate of the image frame sequence output from the
상기한 처리는 렌더링된 화상 프레임의 표시에 앞서 수행될 수 있다. 다른 실시예에서, 병합 처리가 가해진 화상 프레임은 소정의 알고리즘에 따라 표시되어 표시된 결과를 보는 사용자가 사용자의 취향에 따라 상기 언급한 처리를 계속할지를 결정할 수 있다. The above processing may be performed prior to the display of the rendered image frame. In another embodiment, image frames subjected to merge processing may be displayed according to a predetermined algorithm so that a user viewing the displayed results may decide whether to continue the above-mentioned processing according to the user's taste.
S14로 다시 돌아가서, 표시장치의 해상도가 렌더링된 화상 프레임의 해상도보다 같거나 낮은 경우(S14에서 No), 병합 조건 설정 유닛(54)는 컨텐츠가 정지 화상인지 결정한다(S26). 컨텐츠가 정지 화상인 경우(S26에서 Yes), 병합 조건 설정 유닛(54)은 일부의 화상 프레임을 스킵(skip)하여 표시한다. 보다 구체적으로, 병합 조건 설정 유닛(54)은 프레임 시퀀스 획득 유닛(56)이 렌더링된 화상 프레임의 특정 수로부터 하나의 화상 프레임을 획득하도록 지시한다.병합 실행 유닛(58)은 상기 화상 프레임에 후처리를 하지 않고 화상 표시 유닛(60)에 상기 화상 프레임을 출력한다. 예를 들어, 렌더링된 화상 프레임의 프레임 비율이 240 fps이고 표시장치의 프레임 비율이 60 fps인 경우, 매 4번째 화상 프레임이 출력된다. Returning back to S14, when the resolution of the display device is equal to or lower than the resolution of the rendered image frame (No in S14), the merging
S26에서 컨텐츠가 동화상이라고 결정되는 경우(S26에서 No), 상기 기술한 바와 같이 제2 실시예가 실시되어 모션 블러된 동화상을 얻는다(S30). If it is determined in S26 that the content is a moving image (No in S26), as described above, the second embodiment is implemented to obtain a motion blurred moving image (S30).
그러므로, 병합 조건 설정 유닛(54)는 렌더링 처리 유닛(42)에 의해 렌더링된 화상 프레임 시퀀스의 프레임 비율 또는 해상도와 화상 프레임 처리 장치에 연결된 표시장치의 프레임 비율 또는 해상도와 비교하여 후처리를 위한 조건을 자동 적으로 결정할 수 있다.Therefore, the merging
상기한 바와 같이, 렌더링 처리 유닛은 표시장치에 출력되는 화상 프레임이 만족해야 하는 조건에 관계없이 소정의 프레임 비율로 렌더링을 수행하여 화상 프레임 시퀀스를 생성하도록 한다. 후처리 유닛은 렌더링 처리에 의해 생성된 화상 프레임 시퀀스에 소정의 처리를 수행하고 상기 언급한 조건을 따르는 업데이트된 화상 프레임 시퀀스를 출력한다. As described above, the rendering processing unit performs rendering at a predetermined frame rate to generate an image frame sequence irrespective of a condition that an image frame output to the display device must satisfy. The post-processing unit performs predetermined processing on the image frame sequence generated by the rendering process and outputs an updated image frame sequence complying with the above-mentioned condition.
렌더링 처리와 후처리가 분리되어 실행되기 때문에, 해상도 또는 프레임 비율과 같은 표시장치의 사양에 관계없이 소정의 프레임 비율로 렌더링을 수행하여 화상 프레임 시퀀스를 생성하는 것이 가능하다. Since the rendering process and the post-processing are executed separately, it is possible to generate an image frame sequence by performing rendering at a predetermined frame rate regardless of the specification of the display device such as resolution or frame rate.
렌더링 처리 유닛(42)은 640×480 화상 프레임을 240 fps로 렌더링하는 것으로 기술된다. 다른 픽셀수의 화상 프레임도 렌더링될 수 있다. 물론 화상 프레임의 렌더링 속도는 낮거나 높을 수 있다. 예를 들어, 화상 프레임 시퀀스는 300 fps로 렌더링될 수 있다. 이 경우, 화상 프레임 시퀀스는 50 Hz 표시장치 또는 60 Hz 표시장치 모두에 적합하도록 변경되어 생성될 수 있다.The
본 실시 형태를 기술하면서, 병합 처리는 4개 화상 프레임의 픽셀에 수행하는 것으로 기술된다. 다른 실시예에서, 병합 처리는 다수의 픽셀에 수행될 수도 있다. 예를 들어, 6개 화상 프레임은 픽셀 변위로 렌더링되어서 각 프레임의 픽셀은 대응하는 6각형의 꼭지점에 위치하고, 6개 픽셀의 평균 RGB 값을 가지는 픽셀의 형태로 하나의 화상 프레임이 생성될 수 있다. In describing this embodiment, the merge process is described as performing to pixels of four image frames. In another embodiment, the merging process may be performed on multiple pixels. For example, six image frames may be rendered with pixel displacement such that a pixel of each frame is located at a vertex of a corresponding hexagon, and one image frame may be generated in the form of pixels having an average RGB value of six pixels. .
본 실시 형태를 기술하면서, 화상 프레임 처리 장치는 CG 화상을 렌더링하는 엔터테인먼트 장치에 형성되는 것으로 기술된다. 그러나, 본 발명에 따른 화상 프레임 처리 기술은 DVD 플레이어, 퍼스널 컴퓨터(personal computer), 디지털 비디오 카메라 및 그와 유사한 것에도 적용될 수 있다. In describing this embodiment, the image frame processing apparatus is described as being formed in an entertainment apparatus that renders a CG image. However, the image frame processing technique according to the present invention can be applied to DVD players, personal computers, digital video cameras and the like.
(제2 실시 형태)(2nd embodiment)
제1 실시 형태에서, 표시장치에 동화상을 표시하기 위하여 필요한 화상 프레임 이상의 화상 프레임이 렌더링된다. 그 다음에, 렌더링된 화상 프레임에 소정의 처리를 하여 표시를 위한 화상 프레임을 출력한다. 이와 대조적으로, 동화상이 미리 제공되는 경우, 다수의 화상 프레임이 동화상으로부터 선택되어 소정의 처리가 가해지고, 판독된 화상 프레임 이하의 화상 프레임이 출력되는 것과 같은 실시 형태 또한 생각된다. 후자의 실시 형태에 의해, 원래 동화상의 빨리 돌려진 영상이 생성될 수 있다. 게다가, 빨리 되감기(fast rewinding) 동화상 또한 생성될 수 있다. 빨리 되감겨진 동화상은 동화상에 관한 시간축에서 역방향으로 출력된 화상이다. 이하에서, "빨리 돌리기"는 빨리 되감기 동작도 포함한다. In the first embodiment, image frames equal to or greater than those required for displaying a moving image on the display device are rendered. Then, predetermined processing is performed on the rendered image frame to output an image frame for display. In contrast, when a moving image is provided in advance, an embodiment is also conceived in which a plurality of image frames are selected from the moving images, a predetermined process is applied, and image frames below the read image frame are output. By the latter embodiment, a fast-turned image of the original moving image can be generated. In addition, fast rewinding moving pictures can also be generated. The fast rewound moving picture is an image output in the reverse direction on the time axis of the moving picture. Hereinafter, "fast turn" also includes a fast rewind operation.
이러한 2개의 실시 형태는 얼핏 보기에는 다른 것처럼 보인다. 그러나, 2개의 실시 형태는 사용자에게 마지막으로 나타내지는 프레임 이상의 화상 프레임에 소정의 처리가 가해지고 업데이트된 화상 프레임이 출력된다는 점에서 동일한 개념을 가진다. 다시 말하면, 2개의 실시 형태의 차이는 단지 출력되는 화상 프레임의 간격의 길이이다. These two embodiments appear to be different at first glance. However, the two embodiments have the same concept in that predetermined processing is applied to the image frames of the frames or more finally displayed to the user and the updated image frames are output. In other words, the difference between the two embodiments is only the length of the interval of the image frames to be output.
최근에, HDD(Hard Disk Drive) 비디오 기록 장치와 같은 디지털 동화상 레코 더(recorder)가 널리 보급되었다. 그러므로, 많은 양의 동화상 데이터가 개인적으로 만들어져, 쉽게 기록되거나 재생될 수 있다. 이러한 장치에서, 사용자는 기록된 동화상 데이터의 관심있는 부분을 찾기 위해 빨리 돌리기 기능을 사용한다. 그러나, 동화상이 빨리 돌리기 될 때, 사용자는 찾는 동안 관심있는 부분을 종종 놓치고 때로는 찾는 것이 불편하다고 느낀다. Recently, digital moving picture recorders such as HDD (Hard Disk Drive) video recording devices have become widespread. Therefore, a large amount of moving image data can be made personally and easily recorded or reproduced. In such a device, the user uses the quick turn function to find the portion of interest of the recorded moving image data. However, when a moving picture is rotated quickly, the user often misses the part of interest while searching and sometimes feels inconvenient to find.
그러므로, 제2 실시 형태에서, 화상 프레임 처리 기술은 동화상이 빨리 돌리기 되는 경우라도 쉽게 보는 동화상을 출력하기 위하여 제공된다. Therefore, in the second embodiment, an image frame processing technique is provided for outputting moving images that are easily viewed even when the moving images are rotated quickly.
도 12는 제2 실시 형태에 따른 화상 프레임 처리 장치(200)의 하드웨어 설정을 나타낸다. 메인 CPU(12), 메인 메모리(14), 표시장치(26), 표시장치 제어기(28), 입출력(I/O) 포트(30) 및 외부 저장 장치(32)는 제1 실시 형태에 따른 도 1에서 도시되는 블록들과 같고, 따라서 이러한 블록들에는 같은 참조 번호를 부여하고 더 이상의 자세한 설명은 생략한다. 입출력 포트(30)에는 디지털 비디오 카메라와 같은 카메라 장치(38)가 연결된다. 카메라 장치(38)에 의해 캡쳐된 동화상은 DVD(Digital Versatile Disc) 드라이브와 하드 디스크 드라이브와 같은 외부 저장 장치(32)에 디지털 데이터로 저장된다. 그래픽 프로세서(80)는 외부 저장 장치(32)에 저장된 동화상 데이터로부터 화상 프레임 시퀀스를 선택하여 메인 메모리(14)에 저장한다. 그 다음에, 그래픽 프로세서(80)는 화상 프레임 시퀀스에 소정의 처리를 수행하여 업데이트된 화상 프레임 시퀀스를 생성하고, 업데이트된 시퀀스를 표시장치(26)에 출력한다. 12 shows hardware settings of the image
화상 프레임 처리 장치(200)는 화상 프레임 시퀀스로 구성된 동화상을 표시 장치(26)에 표시하는 다양한 종류의 동화상 표시 기구에 결합될 수 있다. 이러한 동화상 표시 기구는 DVD 플레이어와 HDD 비디오 레코더와 같은 영화 컨텐츠를 저장하거나 재생하는 다양한 기구를 포함할 수 있다. 게다가, 동화상 표시 기구는 퍼스널 컴퓨터, 디지털 비디오 카메라 또는 엔터테인먼트 기구에 결합될 수 있다. The image
입력 장치(84)는 화상 프레임 처리 장치(200)에 어떤 입력을 한다. 입력 장치(84)로서, 동화상 표시 기구의 형태에 따라 다양한 형태의 장치가 사용될 수 있다. 예를 들어, 동화상 표시 기구가 DVD 플레이어 또는 HDD 비디오 레코더라고 가정하면, 입력 장치(84)는 원격 제어기 또는 동화상 표시 기구에 제공되는 다양한 버튼들이 될 수 있다. 동화상 표시 기구가 범용적인 컴퓨터라고 가정하면, 입력 장치(84)는 키보트 또는 마우스가 될 수 있다. The
제2 실시 형태에서, 이미 만들어진 영화 컨텐츠에 대한 빨리 돌리기 요청이 사용자로부터 수신되고 DVD 드라이브 또는 HDD 드라이브와 같은 대용량 저장 장치에 기록될 때 빨리 돌리기 화상이 만들어지는 것으로 기술될 것이다. 제1 실시 형태와 마찬가지로, 제2 실시 형태는 표시장치에 표시하기 위한 새로운 화상 프레임 시퀀스를 생성하는 렌더링 처리를 수행하는 엔터테인먼트 기구에 적용될 수 있다. In the second embodiment, it will be described that a quick turn image is created when a quick turn request for already made movie content is received from a user and recorded in a mass storage device such as a DVD drive or an HDD drive. Similar to the first embodiment, the second embodiment can be applied to an entertainment apparatus that performs rendering processing for generating a new image frame sequence for display on a display device.
이하, 도 12에 도시된 화상 프레임 처리 장치(200)에서, 부가가치를 가지는 빨리 돌리기 동화상을 생성하는 방법은 몇 가지 예를 참조하여 기술한다.Hereinafter, in the image
(제4 실시예)(Example 4)
도 13은 제4 실시예에 따른 화상 프레임 처리 장치(200)의 기능 블록도이다. 도 13의 특징은 주로 그래픽 프로세서(80), 메인 CPU(12) 및 메인 메모리(14)를 구비하여 실시된다는 것이다. 제4 실시예에서, 사용자로부터의 빨리 돌리기 요청에 응답하여 부드러운 빨리 돌리기 동화상을 제공하는 방법에 관해 설명한다. 13 is a functional block diagram of the image
인터페이스 유닛(202)은 사용자의 입력 장치(84)를 통한 빨리 돌리기 요청을 획득한다. 예를 들어, 화상 프레임 처리 장치(200)가 DVD 플레이어에 결합되어 있다고 가정하면, 이 빨리 돌리기 요청은 본체 또는 원격 제어기에 제공되는 돌리기 버튼 또는 다이얼로 지정된 "2배속" "4배속" 과 같은 빨리 돌리기 속도 정보에 대응된다. 빨리 돌리기 요청은 사용자로부터 주어지는 대신에 동화상 데이터의 헤더(header) 부분에 지정될 수도 있다. 인터페이스 유닛(202)은 획득된 정보를 전송 프레임 수 결정 유닛(206)에 전달한다. 전송 프레임 수 결정 유닛(206)은 수신된 빨리 돌리기 속도 정보에 따라 빨리 돌리기 동화상을 실현하기 위해 필요한 화상 프레임의 수를 결정한다. 프레임 전달 유닛(208)은 저장 유닛(250)에 일정한 타이밍(timing)으로 저장된 화상 프레임 시퀀스로부터 전송 프레임 수 결정 유닛(206)에 의해 결정된 화상 프레임 수를 판독한다. 그 다음에 프레임 전송 유닛(208)은 프레임을 빨리 돌리기 유닛(220)에 전송한다. 일예로써, 저장 유닛(250)은 도 12의 메인 메모리(14)에 대응된다. 그러나, 저장 유닛(250)은 어떤 저장 유닛 또는 화상 프레임 처리 장치(200)에 제공되는 외부 저장 장치(32)와 같은 메모리가 될 수 있다. 게다가, 저장 유닛(250) 안에 있는 화상 프레임은 압축되지 않은 화상일 수 있다. 저장 유닛(250) 안에 있는 화상 프레임은 또한 DCT(Discrete Cosine Transformation)를 사용하는 압축된 화상일 수 있다. The
빨리 돌리기 유닛(220)은 프레임 시퀀스 획득 유닛(222)과 병합 실행 유닛(224)을 포함한다. 프레임 시퀀스 획득 유닛(222)은 전송된 화상 프레임을 획득하고 일시적으로 저장한다. 병합 실행 유닛(224)은 프레임 시퀀스 획득 유닛(222)에 저장된 복수의 화상 프레임으로부터 하나의 업데이트된 화상 프레임을 생성하는 병합 처리를 수행한다. 이 병합 처리는 제1 실시 형태에 기술된 혼합 처리일 수 있다. 업데이트된 화상 프레임은 "빨리 돌리기 프레임"으로 언급한다. The
병합 실행 유닛(224)에 의해 생성된 빨리 돌리기 프레임은 영상 구성 유닛(240)에 생성된 순서대로 전송된다. 영상 구성 유닛(240)은 빨리 돌리기 프레임을 표시장치(26)에 표시할 수 있는 소정의 프레임 비율로 출력한다. 이것으로, 사용자는 표시장치(26)에서 원하는 빨리 돌리기 영상을 볼 수 있다. The quick turn frames generated by the
복수의 화상 프레임에 병합 처리가 실행되는 경우, 빨리 돌리기 프레임 안에 허위의 잔상이 생성된다. 이러한 빨리 돌리기 프레임을 순차적으로 출력함으로써, 모션 블러 효과를 갖는 빨리 돌리기 영상이 획득된다. 그래서, 사용자는 자연스럽고 부드러운 동영상을 즐길 수 있다. When the merge process is performed on a plurality of image frames, false afterimages are generated in the quick turn frame. By sequentially outputting these quick turn frames, a fast turn image having a motion blur effect is obtained. Thus, the user can enjoy a natural and smooth video.
그런데, 이러한 처리는 화상 프레임을 저장 유닛(250) 안에 있는 화상 프레임 시퀀스로부터 소정의 프레임 수마다 추출하여, 빨리 돌리기 영상을 생성하기 위한 어떤 병합 처리를 하지 않으면서 추출된 프레임을 소정의 프레임 비율로 출력할 수 있다. 제4 실시예의 효과를 이해하기 위해, 이러한 처리로 생성된 빨리 돌리기 영상의 단점을 도 14를 참조하여 기술한다. However, this processing extracts the image frame from the image frame sequence in the
도 14는 미리 준비한 화상 프레임 시퀀스(300)으로부터 적절한 수의 화상 프 레임을 추줄하여 빨리 돌리기 프레임 시퀀스(310)을 생성하는 단계를 포함하는 처리의 개념을 나타낸다. FIG. 14 shows the concept of a process including generating a fast-
화상 프레임 시퀀스(300)은 화상 프레임들(301-309)과 이러한 화상 프레임들 앞뒤의 다른 많은 프레임들을 포함한다. 화상 프레임들(301-309)은 원형의 오브젝트(400)가 화면에서 좌상방에서 우하방까지 움직이는 동화상을 나타낸다. 실제로, 프레임들(301-309)보다 더 많은 화상 프레임들을 사용하지 않고서, 원형의 오브젝트(400)를 부드럽게 이동하는 것은 불가능하다. 그러나, 도 14에서 설명을 간단하게 하기 위해서, 원형의 오브젝트(400)의 부드러운 움직임은 화상 프레임들(301-309)만으로 실현한다고 가정한다.
화상 프레임(303, 304)에 도시되어 있는 별 형상(401)은 원형의 오브젝트(400)의 깜빡임을 나타낸다. 화상 프레임 시퀀스(300)에서, 원형의 오브젝트(400)는 화면의 좌상방 코너에 보이고 두번 깜박이면서 우하방으로 이동한다. The
본 실시예에서, 하나의 화상 프레임은 매 3개의 화상 프레임마다 추출된다. 보다 상세하게는, 화상 프레임(301, 304, 307)은 화상 프레임 시퀀스(300)에서 매 3개의 화상 프레임마다 추출된다. 그 다음에, 이러한 추출된 화상 프레임들은 어떤 처리를 하지 않고 각각 빨리 돌리기 프레임(311, 312, 313)이 된다. 그러므로, 빨리 돌리기 영상은 화상 프레임의 매 적정한 수마다 하나의 화상 프레임을 추출하여 빨리 돌리기 프레임 시퀀스(310)를 생성하고, 소정의 프레임 비율로 시퀀스(310)을 출력하는 것에 의해 생성될 수 있다. 도 14에 도시된 본 실시예에서, 3배 빨리 돌리기 영상은 획득될 수 있다. In this embodiment, one picture frame is extracted every three picture frames. More specifically, picture frames 301, 304, and 307 are extracted every three picture frames in the
그러나, 이러한 처리에서, 원래 화상 프레임 시퀀스로부터 추출한 화상 프레임들 사이의 차이가 큰 경우, 특히 고속의 빨리 돌리기에서 영상은 프레임 단위(frame by frame)로 불연속이 될 수 있다. 그러므로, 영상은 사용자가 알아보기 힘든 것이 된다. 게다가, 화상 프레임 시퀀스(300)는 원형의 오브젝트(400)가 깜빡이는 것을 나타내는 화상 프레임(303)을 포함한다. 그러나, 빨리 돌리기 프레임 시퀀스(310)는 이 화상 프레임(303)을 포함하지 않는다. 그러므로, 프레임 시퀀스(310)으로 구성된 빨리 돌리기 영상을 보는 사용자는 원형의 오브젝트(400)가 두번 깜빡이는 것을 인식할 수 없다. However, in this process, when the difference between the picture frames extracted from the original picture frame sequence is large, the image may be discontinuous in frame by frame, especially at high speed and fast rotation. Therefore, the image is difficult for the user to recognize. In addition, the
이것으로부터 알 수 있듯이, 이러한 처리에서, 중요한 정보를 가진 화상 프레임은 도 14에서의 오브젝트의 깜빡임을 제외한 빨리 돌리기 영상에 포함되지 않는다. 다시 말하면, 원래 화상 프레임 시퀀스에서 어떤 이벤트(event) 발생할지라도, 사용자가 빨리 돌리기 영상을 보는 경우 이벤트를 보지 못하는 것이 가능하다. 그래서, 사용자가 특정 정보를 단서로 하여 빨리 돌리기 영상으로부터 관심있는 장면을 검색하는 경우, 만약 빨리 돌리기 영상으로부터 특정 정보가 결여되어 있다면 사용자는 그 장면을 찾을 수 없다. As can be seen from this, in this process, an image frame having important information is not included in the fast-turning image except for flickering of the object in FIG. In other words, no matter what event occurs in the original picture frame sequence, it is possible for the user to not see the event if he / she sees the fast spinning image. Thus, when the user searches for a scene of interest from the quick turn image with the specific information as a clue, if the user lacks specific information from the fast turn image, the user cannot find the scene.
다음으로, 도 15를 참조하여 실시예 4에 따라 빨리 돌리기 영상을 생성하는 방법을 기술한다. 매 3개의 화상 프레임마다 하나의 화상 프레임을 추출하는 대신에, 병합 실행 유닛(224)은 화상 프레임 시퀀스(300)에서 3개의 화상 프레임에 병합 처리를 실행하여 하나의 빨리 돌리기 프레임을 생성한다. 보다 상세하게는, 병합 실행 유닛(224)은 화상 프레임들(301-303)에 병합 처리를 실행하여 빨리 돌리기 프레임(321)을 생성한다. 병합 실행 유닛(224)은 화상 프레임들(304-306)에 병합 처리를 실행하여 빨리 돌리기 프레임(322)을 생성한다. 병합 실행 유닛(224)은 화상 프레임들(307-309)에 병합 처리를 실행하여 빨리 돌리기 프레임(323)을 생성한다. Next, a method of generating a quick-turn image according to the fourth embodiment will be described with reference to FIG. 15. Instead of extracting one image frame for every three image frames, the
이러한 병합 처리는 화상 프레임들에서 같은 위치에 위치하는 픽셀들의 중량감 평균화를 한 픽셀들의 각각의 픽셀을 갖는 화상 프레임을 생성하는 것에 대응된다. 보다 상세하게는, 하나의 빨리 돌리기 프레임 Ff를 생성하기 위해 화상 프레임 Fm (m=1,…, n, n은 양의 정수)의 n개의 조각이 사용되는 경우, This merging process corresponds to generating an image frame having each pixel of pixels that has been weighted averaged of pixels located at the same position in the image frames. More specifically, when n pieces of image frame F m (m = 1,…, n, n are positive integers) are used to generate one fast-turn frame F f ,
Ff =∑αm / Fm (4)F f = ∑α m / F m (4)
이며, 여기서αm는 각 화상 프레임에 대한 중량감 계수이고 ∑αm =1을 만족한다. 식 (4)에서 알 수 있듯이, 중량감 비율은 각 화상 프레임마다 똑같지 않다. 예를 들어, 높은 중량감 비율은 특정 화상 프레임에 인접한 화상 프레임에 적용할 수 있고, 특정 화상 프레임으로부터 더 멀리 위치하는 화상 프레임에 낮은 중량감 비율은 적용될 수 있다. αm의 값을 어떻게 분배하는지는 빨리 돌리기 프레임 Ff의 특성에 달려있다. Where α m is a weighting coefficient for each image frame and satisfies Σ α m = 1. As can be seen from equation (4), the weight ratio is not the same for each image frame. For example, a high weight ratio may be applied to an image frame adjacent to a particular image frame, and a low weight ratio may be applied to an image frame located farther from the specific image frame. How the value of α m is distributed depends on the characteristics of the fast-turn frame F f .
상기한 병합 처리에 의해, 화상 프레임들 사이를 움직이는 원형의 오브젝트(400)의 허위의 잔상을 가지는 빨리 돌리기 프레임들(321, 322, 323)을 얻는다. 도 15에서, 원형의 오브젝트(400)의 잔상은 비어 있는 원 또는 별 형상으로 표시된 다. 이것으로, 빨리 돌리기 프레임(321-323)을 구비한 빨리 돌리기 프레임 시퀀스(320)가 재생산되는 경우, 모션 블러되고 부드러운 동화상을 얻을 수 있다. 그러므로, 사용자의 시야 제한은 완화된다. 게다가, 빨리 돌리기 프레임들(321, 323)로부터 알 수 있듯이, 화상을 깜박이는 오브젝트는 허위의 잔상으로 이러한 프레임에 남아있다. 그래서, 원래 화상 프레임에서의 정보는 빨리 돌리기 프레임을 생성하는 것에 기인하여 프레임으로부터 상실되지 않을 것이다. 다시 말하면, 원래 화상 프레임의 정보의 일부는 항상 빨리 돌리기 프레임에 남는다. 그러므로, 사용자가 특정 정보를 단서로 하여 빨리 돌리기 영상으로부터 관심있는 장면을 검색하는 경우, 사용자는 남아있는 정보 때문에 그 장면을 찾는 것이 쉽다고 느낀다. By the merging process described above, quick turn frames 321, 322, and 323 having false afterimages of the
도 16은 다른 돌리기 속도를 갖는 빨리 돌리기 영상을 생성하는 병합을 하기 위한 화상 프레임의 수의 증가 또는 감소의 처리의 개념을 나타낸다. 화상 프레임 시퀀스(350)는 화상 프레임들(351-362)과 이러한 화상 프레임들 앞뒤의 많은 프레임들을 포함한다. 정상적인 빨리 돌리기 영상을 생성하는 경우, 병합 실행 유닛(224)은 4개의 화상 프레임에 병합 처리를 실행하여 하나의 빨리 돌리기 프레임을 생성한다. 보다 상세하게는, 병합 실행 유닛(224)은 화상 프레임들(351-354)에 병합 처리를 실행하여 빨리 돌리기 프레임(371)을 생성하고, 병합 실행 유닛(224)은 화상 프레임들(355-358)에 병합 처리를 하여 빨리 돌리기 프레임(372)를 생성한다. Fig. 16 shows the concept of a process of increasing or decreasing the number of image frames for merging to generate a fast-turned image having a different turn speed. The
빨리 돌리기 프레임을 생성하는 동안 프레임 시퀀스 획득 유닛(222)에 의해 특정 조건을 갖는 특정 화상 프레임이 검색되는 경우, 병합 실행 유닛(224)은 매 2 개의 화상 프레임마다 병합 처리를 실행하여 하나의 빨리 돌리기 프레임을 생성한다. 도 16에서, 화상 프레임(359)이 특정 조건을 만족하는 경우, 병합 실행 유닛(224)은 화상 프레임들(359, 360)에 병합 처리를 수행하여 빨리 돌리기 프레임(373)을 생성하고, 병합 실행 유닛(224)은 화상 프레임들(361, 362)에 병합 처리를 수행하여 빨리 돌리기 프레임(374)을 생성한다. When a specific picture frame having a specific condition is retrieved by the frame
빨리 돌리기 프레임들(371-374)을 포함하는 빨리 돌리기 프레임 시퀀스(370)로 구성된 빨리 돌리기 영상은 처음에는 4배 돌리기 속도를 갖지만, 빨리 돌리기 프레임(373) 후에는 돌리기 속도가 2배 감소한다. 그러므로, 병합되어 화상 프레임 수가 적절히 증가 또는 감소하는 것에 의해, 어떤 시점에서 속도가 변화하는 빨리 돌리기 영상은 획득될 수 있다. The quick turn image consisting of the fast
특정 화상 프레임을 검색하기 위해, 어떤 공지의 기술을 사용할 수 있다. 예를 들어, 장면 변화 검색 기술을 사용하여, 장면이 변화하는 특정 화상 프레임을 검색할 수 있다. 이것으로, 어떤 특정한 장면에서 감소된 돌리기 속도를 갖는 빨리 돌리기 영상을 얻을 수 있다. 다른 실시예에서, 화상 프레임들 사이의 움직임 벡터(motion vector)는 계산되고, 그 다음에 소정의 값보다 큰 움직임 벡터의 절대값을 가지는 특정 화상 프레임이 검색될 수 있다. 이것으로, 화면 안에서 오브젝트의 움직임이 커지는 화상 프레임을 검색함으로써, 돌리기 속도가 감소된 빨리 돌리기 영상을 특정 프레임 후에 획득할 수 있다. In order to search for a specific picture frame, any known technique can be used. For example, a scene change search technique can be used to search for a particular picture frame whose scene changes. With this, you can get a fast turn image with a reduced turn speed in some particular scenes. In another embodiment, a motion vector between picture frames is calculated and then a particular picture frame with an absolute value of the motion vector greater than a predetermined value can be retrieved. In this way, by searching for an image frame in which the movement of an object increases in the screen, a fast-turning image having a reduced rotational speed can be obtained after a specific frame.
사용자가 영상을 빨리 돌리기 할지라도 주어진 점에서 빨리 돌리기 속도가 자동적으로 감소하므로, 사용자는 관심있거나 중요한 장면을 쉽게 찾을 수 있다. 게다가, 사용자가 특정 정보를 단서로 하여 빨리 돌리기 영상으로부터 관심있는 장면을 검색하는 경우, 빨리 돌리기 속도는 이러한 정보를 갖는 프레임에서 자동적으로 감소할 것이다. 그러므로, 사용자는 보다 쉽게 장면을 찾을 수 있다. 이하 실제적인 사용이 기재된다. 영상 컨텐츠가 드라마라고 가정하면, 특정 배우가 나타나는 장면은 빨리 돌리기를 하는 동안 감소된 속도로 재생산될 수 있다. 영상 컨텐츠가 축구 경기 방송이라고 가정하면, 득점 장면은 빨리 돌리기를 하는 동안 감소된 속도로 재생산될 수 있다. Even if the user rotates the image quickly, the fast rotation speed is automatically reduced at a given point, so that the user can easily find an interesting or important scene. In addition, if a user searches for a scene of interest from a quick turn image with specific information as a clue, the fast turn speed will automatically decrease in the frame with this information. Therefore, the user can find the scene more easily. The practical use is described below. Assuming that the image content is a drama, the scene in which a particular actor appears can be reproduced at a reduced speed during a fast turn. Assuming the video content is a soccer game broadcast, the scoring scene can be reproduced at a reduced speed during a fast turn.
(제5 실시예)(Example 5)
제4 실시예에서, 매 화상 프레임의 특성을 고려하지 않고, 소정 수의 화상 프레임들은 화상 프레임 시퀀스로부터 추출되어, 추출된 화상 프레임에 병합 처리가 실행되어 빨리 돌리기 프레임을 생성한다. 이러한 처리는 바람직하게 부드럽게 움직이는 빨리 돌리기 영상을 만든다. 그러나, 어떤 경우에, 우선적으로 어떤 특징을 가지는 일부 화상 프레임을 추출하여 빨리 돌리기 영상을 생성하는 것이 더 바람직하다. 본 제5 실시예에서, 특정한 조건을 만족시키는 일부 화상 프레임을 우선적으로 추출함으로써 높은 시청 능률을 갖는 빨리 돌리기 영상을 생성하기 위한 화상 프레임 처리 장치가 제공된다. In the fourth embodiment, without considering the characteristics of every image frame, a predetermined number of image frames are extracted from an image frame sequence, and merge processing is performed on the extracted image frames to generate a quick turn frame. This treatment preferably produces a smooth, fast-moving image. In some cases, however, it is more desirable to first extract some image frames having certain characteristics to produce a fast-turning image. In the fifth embodiment, there is provided an image frame processing apparatus for generating a fast-turned image having high viewing efficiency by first extracting some image frames satisfying a specific condition.
도 17은 제5 실시예에 따른 화상 프레임 처리 장치의 기능 블록도이다. 인터페이스 유닛(202), 전송 프레임 수 결정 유닛(206), 프레임 전송 유닛(208), 프레임 시퀀스 획득 유닛(222), 영상 구성 유닛(240) 및 저장 유닛(250)은 도 13에 도 시된 블록과 같은 것이고, 따라서 이러한 블록들에는 같은 참조 번호를 부여하고 더 이상의 자세한 설명은 생략한다.17 is a functional block diagram of an image frame processing apparatus according to the fifth embodiment. The
빨리 돌리기 유닛(220)은 프레임 시퀀스 획득 유닛(222)과 특징적인 프레임 추출 유닛(226)을 포함한다. 특징적인 프레임 추출 유닛(226)은, 특징적인 프레임으로서, 프레임 전송 유닛(208)으로부터 전송된 화상 프레임들에서 그것의 휘도 정보에 기초하여 소정의 조건을 만족하는 화상 프레임을 추출한다. 예를 들어, 특징적인 프레임 추출 유닛(226)은 특정 화상 프레임을 포함하는 전후 10개의 프레임들에 포함된 각 픽셀에 대한 픽셀의 평균을 계산하여, 그 다음에 평균값보다 50% 큰 값을 가지는 픽셀을 포함하는 화상 프레임을 특징적인 프레임으로 추출한다. 특징적인 프레임 추출 유닛(226)은 이러한 특징적인 프레임 외 다른 적당한 수의 화상 프레임을 추출하고, 빨리 돌리기 프레임을 생성하여, 그것을 영상 구성 유닛(240)에 전달한다. 영상 구성 유닛(240)은 표시장치(26)에 표시할 수 있는 빨리 돌리기 프레임을 소정의 프레임 비율로 출력한다. The
이하, 제5 실시예에 따른 특징적인 프레임을 추출하는 것에 대해 보다 상세하게 기술한다. 도 18은 화상 프레임 시퀀스로부터 휘도 정보에 기초하여 일부 화상 프레임을 추출하는 과정을 개념을 나타낸다. 화상 프레임 시퀀스(300)는 화상 프레임들(301-309)과 도 14와 같이 이러한 프레임들 전후의 많은 다른 프레임들을 포함한다. 특징적인 프레임 추출 유닛(226)은 다른 인접한 화상 프레임들보다 큰 휘도의 픽셀을 포함하는 화상 프레임을 특징적인 화상 프레임으로 추출한다. 상기한 바와 같이, 원형의 오브젝트(400)는 화상 프레임들(303, 307)에서 깜빡인다. 그 러므로, 화상 프레임들(303, 307)은 인접한 화상 프레임들보다 큰 휘도의 픽셀을 포함하기 때문에 각각 특징적인 프레임으로 추출된다. 이러한 특징적인 프레임들은 어떤 처리를 하지 않고 각각 빨리 돌리기 프레임들(331, 332)이 된다. Hereinafter, the extraction of the characteristic frame according to the fifth embodiment will be described in more detail. 18 shows a concept of a process of extracting some image frames based on luminance information from an image frame sequence. The
요청된 돌리기 속도로 빨리 돌리기 영상을 구성하기 위해 필요한 프레임들은 화상 프레임 시퀀스(300)로부터 특징적인 프레임을 추출하는 것에 의해서만 추출되지 않는 것이 가능하다. 그래서, 만약 소정의 수의 프레임에서 추출된 특징적인 프레임이 없다면, 특징적인 프레임 추출 유닛(226)이 휘도 정보에 관계없이 소정의 수의 화상 프레임으로부터 하나의 프레임을 추출하는 것이 바람직하다. 대조적으로, 만약 소정의 수의 프레임에서 추출된 복수의 특징적인 프레임이 있다면, 특징적인 프레임 추출 유닛(226)이 하나의 프레임만을 추출하는 것이 바람직하다. 이러한 방식에서, 빨리 돌리기 프레임 시퀀스(300)를 만들 수 있다. It is possible that the frames needed to construct a fast-turn image at the requested turn rate are not extracted only by extracting the characteristic frames from the
다른 실시예에서, 소정의 수의 화상 프레임에서 휘도 정보에 기초하여 추출된 복수의 특징적인 프레임이 있는 경우, 특징적인 프레임으로 결정된 모든 화상 프레임들은 돌리기 속도 정보에 관계없이 빨리 돌리기 프레임이 될 수 있다. 이러한 방식에서, 큰 휘도의 픽셀을 포함하는 화상 프레임들은 특정 기간 동안 연속적으로 추출된다. 그래서, 이 특정 기간 동안, 정상적인 재생 속도를 갖는 속도가 감소된 빨리 돌리기 영상을 획득할 수 있다. 이것으로, 빨리 돌리기 영상에서도 특징적인 장면에서 정상적인 재생과 거의 비슷한 동화상을 얻을 수 있으므로, 특징적인 장면에서 사용자가 중요한 정보를 놓치게 될 가능성이 줄어들게 된다. 사용자가 얻기를 원하는 정보의 종류에 따라 특징적인 프레임에 대한 조건을 설정하는 것이 바 람직하다. In another embodiment, when there are a plurality of characteristic frames extracted based on luminance information in a predetermined number of image frames, all image frames determined as characteristic frames may be fast turning frames regardless of the turning speed information. . In this way, image frames containing pixels of high luminance are continuously extracted for a certain period of time. Thus, during this particular period, it is possible to obtain a fast-rotating image with a reduced speed with a normal playback speed. As a result, even in a fast-turning image, a moving picture that is almost similar to normal playback in a characteristic scene can be obtained, thereby reducing the possibility of a user missing important information in the characteristic scene. It is desirable to set the conditions for the characteristic frames according to the kind of information the user wants to obtain.
제5 실시예에서, 휘도 정보에 기초하여 특징적인 프레임을 추출하는 것에 의해 빨리 돌리기 영상이 생성되기 때문에, 빨리 돌리기 영상으로부터 놓친 중요한 정보를 가지는 화상 프레임의 수는 감소한다. In the fifth embodiment, since the quick-turn image is generated by extracting the characteristic frame based on the luminance information, the number of image frames having important information missed from the fast-turn image is reduced.
특징적인 프레임을 추출하는 정보는 휘도 정보에 한정되지 않는다. 예를 들어, 화상 프레임들 사이의 움직임 정보는 우선적으로 특정 조건을 갖는 어떤 화상 프레임을 추출하는데 사용될 수 있다. The information for extracting the characteristic frame is not limited to the luminance information. For example, motion information between picture frames may be used to first extract any picture frame with a particular condition.
도 17을 참조하면, 움직임 정보 감지 유닛(210)은 프레임 전송 유닛(209)으로부터 전송된 화상 프레임을 수신하고 이러한 화상 프레임들 사이의 움직임 정보를 계산한다. 예를 들어, 움직임 정보 감지 유닛(210)은 공지의 블록 매칭(matching) 방법을 사용하여 화상 프레임들 사이의 대응하는 점(point)들을 얻는다. 다음으로 움직임 정보 감지 유닛(210)은 대응하는 점들 사이의 차이로부터 움직임 벡터를 계산한다. 움직임 벡터는 움직임 정보에 사용된다. 만약 화상 프레임에서 영역 또는 오브젝트 각각에 대한 어떤 움직임 정보가 미리 데이터로서 준비된다면, 이 데이터는 또한 움직임 정보로서 사용될 수 있다. Referring to FIG. 17, the motion
특징적인 프레임 추출 유닛(226)은 움직임 정보에 기초한 전송된 화상 프레임으로부터 소정의 조건을 만족하는 화상 프레임을 특징적인 프레임으로서 추출한다. 예를 들어, 조건은 움직임 벡터의 절대값이 소정의 값보다 크다는 것이다. 특징적인 프레임 추출 유닛(226)은 이러한 특징적인 프레임 외의 다른 적정한 수의 화상 프레임을 추출하여, 빨리 돌리기 프레임을 생성하고, 빨리 돌리기 프레임을 영상 구성 유닛(240)에 전달한다. 영상 구성 유닛(240)은 표시장치(26)에 소정의 프레임 비율로 빨리 돌리기 프레임을 출력한다. The characteristic
다른 실시예에서, 특징적인 프레임 추출 유닛(226)은 인터페이스 유닛(202)으로부터 동화상 데이터의 헤더 부분에 기록된 정보를 수신하고, 이러한 정보에 기초하여 특징적인 프레임을 추출한다. 예를 들어, 동화상의 컨텐츠가 드라마라고 가정하면, 장면 변화를 표시하기 위해 장면이 변화하는 점의 전후 수십 또는 수백의 화상 프레임의 헤더 부분에 비트(bit)가 사용된다. 특징적인 프레임 추출 유닛(226)은 이러한 비트에 의해 특징적인 프레임으로 표시되는 화상 프레임을 추출할 수 있다. 이러한 방식으로, 빨리 돌리기 영상에서조차, 돌리기 속도가 정상적인 재생 속도와 동일하게 된다. 그러므로, 사용자는 빨리 돌리기 영상에서 컨텐츠를 보다 쉽게 인식할 수 있다. In another embodiment, the characteristic
(제6 실시예)(Example 6)
제5 실시예에서, 특정 조건을 만족하는 화상 프레임이 휘도 정보 또는 움직임 정보를 사용하여 특징적인 프레임으로 추출되는 것을 기술하였다. 다시 말하면, 제5 실시예에서, 화상 프레임 시퀀스에서의 화상 프레임은 두개의 그룹으로 나누어진다. 하나의 그룹은 사용자에게 이익이 되는 화상 프레임(즉, 많은 정보를 가지고 있는 화상 프레임)을 포함한다. 다른 그룹은 사용자에게 덜 이익이 되는 화상 프레임(즉, 적은 정보를 가지고 있는 화상 프레임)을 포함한다. 다음에, 보다 많은 화상 프레임들이 제1 그룹으로부터 선택되어 빨리 돌리기 영상을 생성한다. In the fifth embodiment, it has been described that an image frame satisfying a specific condition is extracted into a characteristic frame using luminance information or motion information. In other words, in the fifth embodiment, the picture frames in the picture frame sequence are divided into two groups. One group includes picture frames that are beneficial to the user (i.e., picture frames with a lot of information). Another group includes picture frames that are less beneficial to the user (ie, picture frames with less information). Next, more image frames are selected from the first group to produce a fast turn image.
제6 실시예에서, 화상 프레임 처리 장치는 하나의 화상 프레임을, 하나의 부분은 많은 정보를 갖고 다른 부분은 적은 정보를 가진 두개의 부분으로 나누기 위해 제공된다. 어느 한쪽 부분은 강화하거나 눈에 띄지 않게 만든다. 이것으로, 사용자는 보다 쉽게 빨리 돌리기 영상으로부터 정보를 얻을 수 있다. In the sixth embodiment, an image frame processing apparatus is provided for dividing one image frame into two portions, one portion having more information and the other portion having less information. Either part is reinforced or inconspicuous. This makes it easier for the user to get the information from the quick turn image.
도 19는 제6 실시예에 따른 화상 프레임 처리 장치의 기능 블록도이다. 인터페이스 유닛(202), 전송 프레임 수 결정 유닛(206), 프레임 전송 유닛(208), 움직임 정보 감지 유닛(210) 및 저장 유닛(250)은 도 17에 도시된 블록과 같은 것이고, 따라서 이러한 블록들에는 같은 참조 번호를 부여하고 더 이상의 자세한 설명은 생략한다.19 is a functional block diagram of an image frame processing apparatus according to the sixth embodiment. The
빨리 돌리기 유닛(220)은 분리 유닛(228), 병합 실행 유닛(230) 및 프레임 재구성 유닛(232)을 포함한다. 분리 유닛(228)은 프레임 전송 유닛(208)으로부터 전송된 화상 프레임을 수신한다. 분리 유닛(228)은 각각의 화상 프레임을 "특정 화상 영역"과 "비 특정 화상 영역"으로 분리한다. 이 분리는 움직임 정보 감지 유닛(210)으로부터 수신된 움직임 정보에 기초하여 실행된다. 특정 화상 영역은 움직임 벡터의 절대값이 소정의 경계보다 큰 영역이다. 비 특정 화상 영역은 특정 화상 영역 이외의 다른 영역이다. 병합 실행 유닛(230)은 화상 프레임들 사이의 비 특정 화상 영역에 병합 처리를 수행한다. 반면에, 병합 실행 유닛(230)은 화상들로부터 어떤 하나의 특정 화상 영역을 선택한다. The
프레임 재구성 유닛(232)은 선택된 특정 화상 영역과 병합된 비 특정 화상 영역을 합성하여 업데이트된 화상 프레임을 생성한다. 업데이트된 화상 프레임은 영상 구성 유닛(240)에 빨리 돌리기 프레임으로 전달된다. 영상 구성 유닛(240)은 표시장치(26)에 소정의 프레임 비율로 빨리 돌리기 프레임을 출력한다. The
도 20은 화상 프레임을 특정 화상 영역과 비 특정 화상 영역으로 분리하는 개념을 나타낸다. 화상 프레임 시퀀스(380)는 화상 프레임들(381-384)과 이러한 화상 프레임 전후의 많은 화상 프레임을 포함한다. 화상 프레임 시퀀스(380)는 어떤 사람의 화상을 포함한다. 사람의 화상은 다음과 같이 감지된다. 사용자는 사람이 입고 있는 옷의 색과 패턴을 지정할 수 있다. 그 다음에, 사람의 화상 영역은 색과 패턴을 단서로 공지의 화상 매칭 기술을 사용하여 감지된다. 20 shows the concept of dividing image frames into specific image regions and non-specific image regions. The
분리 유닛(228)은 화상 프레임(381-384)을 사람의 화상에 대한 특정 화상과 배경 화상에 대한 비 특정 화상으로 분리한다. 병합 실행 유닛(230)은 화상 프레임(381-384)의 비 특정 화상 영역에 병합 처리를 수행한다. 병합 유닛(230)은 화상 프레임들(381-384)로부터 하나의 특정 화상 영역을 선택한다. 도 20에서, 화상 프레임(382)의 특정 화상 영역은 병합 실행 유닛(230)에 의해 선택된다. 그 다음에, 프레임 재구성 유닛(232)은 병합 실행 유닛(230)에 의해 선택된 특정 화상 영역과 병합된 비 특정 화상 영역을 함께 배치하여 빨리 돌리기 프레임(385)을 생성한다. 빨리 돌리기 프레임(385)은 병합 처리에 기인한 블러된 배경 화상을 갖는다. 그러므로, 프레임(385)을 포함하는 빨리 돌리기 영상은 모션 블러된 배경으로 어떤 사람을 표시할 수 있고, 그래서 사용자는 사람을 보다 쉽게 인식할 수 있다. The separating
상기한 바와 같이, 제6 실시예에 따라, 화상 프레임에서 중요한 부분은 빨리 돌리기 영상에서 분명하게 표시될 수 있다. 다시 말하면, 제6 실시예에 따라, 화상 프레임에서 덜 중요한 부분은 모션 블러에 기인해 알아볼 수 없게 만들 수 있다. As described above, according to the sixth embodiment, an important part of the image frame can be clearly displayed in the fast-turning image. In other words, according to the sixth embodiment, less important parts of the picture frame can be made unrecognizable due to motion blur.
이러한 방식에서, 동화상의 컨텐츠가 드라마 또는 스포츠 방송인 경우, 사용자가 좋아하는 사람은 빨리 돌리기 영상에 알아볼 수 있게 표시할 수 있다. In this manner, when the content of the moving picture is a drama or a sports broadcast, a user who the user likes may be displayed in a recognizable manner on a fast-turning image.
다른 실시예에서, 비 특정 화상 영역이 정지 화상인 경우, 병합 유닛(230)은 복수의 비 특정 화상 영역을 사용하여 그것의 화질을 강화한다. In another embodiment, when the non-specific picture area is a still picture, the merging
(제7 실시예)(Example 7)
도 21은 제7 실시예에 따른 화상 프레임 처리 장치의 기능 블록도를 나타낸다. 제7 실시예에서, 화상 프레임안에서 오브젝트의 경로(흔적)는 빨리 돌리기 영상에 표시된다. 21 shows a functional block diagram of an image frame processing apparatus according to the seventh embodiment. In the seventh embodiment, the path (trace) of the object in the picture frame is displayed in the fast-turning image.
인터페이스 유닛(202), 전송 프레임 수 결정 유닛(206), 프레임 전송 유닛(208), 움직임 정보 감지 유닛(210), 영상 구성 유닛(240) 및 저장 유닛(250)은 도 17에 도시된 블록과 같은 것이고, 따라서 이러한 블록들에는 같은 참조 번호를 부여하고 더 이상의 자세한 설명은 생략한다.The
빨리 돌리기 유닛(220)은 경로 생성 유닛(236)과 프레임 재구성 유닛(232)을 포함한다. 경로 생성 유닛(236)은 움직임 정보 감지 유닛(210)으로부터 수신된 움직임 정보를 사용하는 경로 화상을 생성한다. 이 경로 화상은 프레임 전송 유닛(208)으로부터 전송된 화상 프레임에 소정의 오브젝트의 유동선(flow line)을 표시하는 화상이다. 프레임 재구성 유닛(232)은 원래 화상 프레임에 경로 화상을 겹쳐 써서 빨리 돌리기 프레임을 생성한다. The
도 22는 제7 실시예에 따른 경로 생성 처리의 개념을 나타낸다. 화상 프레임 시퀀스(300)는 도 14와 마찬가지로 화상 프레임들(301-309)과 이러한 화상들의 전후의 많은 화상 프레임들을 포함한다. 22 shows the concept of a route generation process according to the seventh embodiment. The
경로 생성 유닛(236)은 화상 프레임(301)과 화상 프레임(302) 사이의 차이로부터 경로 화상(411)을 생성한다. 경로 생성 유닛(236)은 화상 프레임(302)과 화상 프레임(303) 사이의 차이로부터 경로 화상(412)을 생성한다. 프레임 재구성 유닛(232)은 경로 화상들(411, 412)을 화상 프레임(303)에 배치하여 빨리 돌리기 프레임(341)을 생성한다. 유사하게, 경로 생성 유닛(236)은 화상 프레임(304)과 화상 프레임(305) 사이의 차이로부터 경로 화상(413)을 생성한다. 경로 생성 유닛(236)은 화상 프레임(305)과 화상 프레임(306) 사이의 차이로부터 경로 화상(414)을 생성한다. 프레임 재구성 유닛(232)은 경로 화상들(413, 414)을 화상 프레임(306)에 배치하여 빨리 돌리기 프레임(342)을 생성한다. 동일한 처리가 프레임 화상(307) 또는 그 이후에 반복된다. The
영상 구성 유닛(240)은 빨리 돌리기 프레임(341, 342)을 포함하는 빨리 돌리기 프레임 시퀀스(340)를 소정의 프레임 비율로 출력한다. 그러므로, 원형의 오브젝트의 움직임을 나타내는 경로를 갖는 빨리 돌리기 영상은 획득될 수 있다.The
화상 프레임에 존재하는 오브젝트들 중에서 그것의 경로를 표시하는 오브젝트가 어떤 것인지를 결정하기 위해서, 다양한 공지의 방법이 사용될 수 있다. 예를 들어, 소정의 오브젝트(예를 들어, 축구공)는 공지의 화상 인식 기술을 사용하는 각 화상 프레임에서 감지되고, 축구공의 경로는 빨리 돌리기 영상에서 표시될 수 있다 .In order to determine which of the objects present in the picture frame is an object that indicates its path, various known methods can be used. For example, a predetermined object (eg, soccer ball) may be detected in each image frame using a known image recognition technique, and the path of the soccer ball may be displayed in a fast spinning image.
제7 실시예에 따르면, 빨리 돌리기 영상에서 원래 화상 프레임에 나타나지 않는 정보를 표시하는 것이 가능하다. 다시 말하면, 화상 프레임들 사이의 다른 정보를 사용함으로써, 화상 프레임에서 정보를 강화하는 것이 가능하다. According to the seventh embodiment, it is possible to display information which does not appear in the original image frame in the fast-rotating image. In other words, by using different information between picture frames, it is possible to enhance the information in the picture frame.
(제8 실시예)(Example 8)
상기한 제4 내지 제7 실시예에 따르는 하나의 처리를 선택함으로써, 컨텐츠 또는 사용자의 목적에 적합한 빨리 돌리기 영상은 생산될 수 있다. 예를 들어, 저장 장치에 기록된 동화상의 컨텐츠에 따라, 적합한 빨리 돌리기가 선택될 수 있다. By selecting one process according to the fourth to seventh embodiments described above, a quick turn image suitable for the content or the purpose of the user can be produced. For example, according to the contents of the moving picture recorded in the storage device, an appropriate fast forwarding may be selected.
이하, 화상 프레임 처리 장치가 동화상 재생 기구에 포함되어 있다고 가정하고, 빨리 돌리기 영상 생성 처리에 대하여 기술한다. Hereinafter, assuming that the image frame processing apparatus is included in the moving picture reproducing mechanism, the fast-turning image generation processing will be described.
도 23은 제4 내지 제7 실시예에 따른 모든 처리를 실현할 수 있는 화상 프레임 처리 기구의 기능 블록도를 나타낸다. 인터페이스 유닛(202), 전송 프레임 수 결정 유닛(206), 프레임 전송 유닛(208), 움직임 정보 감지 유닛(210), 영상 구성 유닛(240) 및 저장 유닛(250)은 도 13에 도시된 블록과 같은 것이고, 따라서 이러한 블록들에는 같은 참조 번호를 부여하고 더 이상의 자세한 설명은 생략한다.23 shows a functional block diagram of an image frame processing mechanism capable of realizing all the processes according to the fourth to seventh embodiments. The
빨리 돌리기 유닛(220)은 제4 내지 제7 실시예에 기재되어 있는 모든 처리를 실행할 수 있도록 설정되어 있다. 화상 프레임 처리 장치는 컨텐츠 판단 유닛(214)을 더 포함한다. 컨텐츠 판단 유닛(214)은 저장 유닛(250)에 저장된 동화상의 컨텐츠 종류를 판단한다. 이러한 판단은 동화상 데이터의 헤더 정보에 기초하여 한다. 다른 실시예에서, 판단은 사용자의 입력 또는 움직임 정보 감지 유닛(210)으로부터의 움직임 정보에 기초하여 할 수도 있다. 판단된 컨텐츠 종류는 빨리 돌리기 유닛(220)에 전달된다. 빨리 돌리기 유닛(220)은 프레임 전송 유닛(208)으로부터 전송된 화상 프레임들을 수신하고, 컨텐츠의 종류에 따라 제4 내지 제7 실시예에 따르는 하나의 처리를 실행한다. The
이하, 컨텐츠 판단 유닛(214)에 의해 판단된 컨텐츠의 종류가 스포츠 방송, 드라마 또는 영화, 또는 사용자의 원래 영화인 경우, 빨리 돌리기 유닛9220)에 의해 실행되는 특정한 처리를 기술한다. Hereinafter, when the type of content determined by the
가. 스포츠 방송end. Sports broadcast
컨텐츠의 종류가 축구 경기를 기록한 비디오인 경우, 득점 장면에서만 빨리 돌리기 영상의 돌리기 속도를 감소하는 것이 가능하다. 득점 장면은 다음과 같이 감지될 수 있다. 동화상은 골 포스트(goalpost)를 가리키는 고정 위치 카메라에 의해 캡쳐된다. 골 마우스(goal mouth) 지역은 카메라에 의해 캡쳐된 화상 안에 미리 지정되어 있다. 축구공 화상이 골 마우스 지역에 들어가는 경우, 화상 매칭 방법에 의해 감지되고, 빨리 돌리기 유닛(220)은 그것을 득점 장면으로 판단하고 그 시점 전후의 복수의 화상 프레임을 추출한다. 게다가, 유닛(220)은 색, 패턴 또는 유니폼의 번호 등을 화상 매칭 기술을 사용하는 단서로서 특정 선수를 판단한다. 그 다음에, 특정 선수의 움직임을 강화하는 빨리 돌리기 영상은 다른 선수들에게 모션 블러를 적용함으로써 획득할 수 있다. 게다가, 화상 프레임에서 축구공은 화상 매 칭 기술을 사용하여 인식되고, 축구공의 경로를 갖는 빨리 돌리기 영상은 획득될 수 있다. When the type of content is a video recording a soccer game, it is possible to reduce the speed of turning the fast-turning image only in the scoring scene. The scoring scene may be sensed as follows. Motion pictures are captured by a fixed position camera pointing to the goalpost. The bone mouth area is predefined in the image captured by the camera. When the soccer ball image enters the goal mouse area, it is detected by the image matching method, and the
나. 드라마 / 영화I. Drama / Movie
예를 들어, 컨텐츠의 종류가 드라마 프로그램인 경우, 유닛은 사용자를 촉구하여 드라마에서 그/그녀가 좋아하는 배우의 색 또는 패턴을 입력하도록 한다. 그 다음에 빨리 돌리기 유닛(220)은 입력된 색과 패턴에 대응하는 영역을 갖는 오브젝트를 공지의 화상 매칭 기술에 의해 감지한다. 이것으로, 유닛(220)은 좋아하는 배우가 보이는 장면을 식별하고, 감소된 돌리기 속도로 식별된 장면에 대한 빨리 돌리기 영상을 생성할 수 있다. For example, if the type of content is a drama program, the unit prompts the user to input the color or pattern of his / her favorite actor in the drama. The
다. 사용자의 원래 영화 All. User's original movie
저장 유닛(250)에 저장된 동화상이 사용자에 의해 휴대용 카메라로 캡쳐된 화상인 경우, 빨리 돌리기 유닛(220)은 공지의 장면 변화 추출 기술을 사용하여 장면의 단락을 감지한다. 장면의 단락 전후의 화상 프레임들을 빨리 돌리기 영상에 포함함으로써, 빨리 돌리기 영상에서 컨텐츠는 쉽게 파악될 수 있다. 게다가, 휴대용 카메라로 추적된 오브젝트는 광흐름(optical flow)을 사용하여 감지된다. 그 다음에, 추적된 오브젝트를 제외한 배경 화상은 빨리 돌리기 영상에서 모션 블러된다. 이것으로, 추적된 오브젝트로 시청하기 쉽게 한 빨리 돌리기 영상은 생성될 수 있다. When the moving image stored in the
상기한 바와 같이, 도 23에 도시된 화상 프레임 처리 장치에 따라, 동화상 또는 사용자의 선호하는 컨텐츠의 종류에 맞게 적합한 처리를 한 빨리 돌리기 영상은 획득될 수 있다. As described above, according to the image frame processing apparatus shown in FIG. 23, a fast-running image may be obtained as soon as the processing appropriate to the type of the moving image or the user's preferred content is obtained.
본 발명의 제2 실시 형태에 따르면, DVD 드라이브 또는 하드 디스크 드라이브 등에 미리 저장된 화상 프레임 시퀀스에 기초하여, 빨리 돌리기 요청이 수신되는 경우, 화상 프레임 시퀀스에 소정의 처리가 실행되어 빨리 돌리기 프레임을 생성한다. 그 다음에, 빨리 돌리기 프레임은 빨리 돌리기 요청에 대해 빨리 돌리기 영상을 표시하기 위해 필요한 소정의 프레임 비율로 출력된다. 제2 실시 형태의 특징 중 하나는 화상 프레임 시퀀스에 다양한 처리들을 실행함으로써 다양한 빨리 돌리기 영상이 다양한 부가가치를 가질 수 있다는 것이다. 부가가치는 원래 화상 프레임 시퀀스의 중요한 정보가 가능한 많이 빨리 돌리기 영상에 남아 있는 것(제4 및 5 실시예), 화상 프레임 시퀀스의 불필요한 정보가 빨리 돌리기 영상에서 생략되는 것(제6 실시예)을 포함한다. According to the second embodiment of the present invention, when a fast turn request is received based on a picture frame sequence previously stored in a DVD drive or a hard disk drive, a predetermined process is performed on the picture frame sequence to generate a fast turn frame. . Then, the quick turn frame is output at a predetermined frame rate necessary to display the quick turn image for the quick turn request. One of the features of the second embodiment is that various fast-forwarding images can have various added values by performing various processes on the image frame sequence. Value added includes that important information of the original image frame sequence remains in the image to be rotated as quickly as possible (fourth and fifth embodiments), and unnecessary information of the image frame sequence is omitted from the image to be rotated quickly (sixth embodiment) do.
제2 실시 형태에서, 빨리 돌리기 요청 신호를 수신한 후에, 빨리 돌리기 프레임은 거의 실시간으로 생성되고 빨리 돌리기 영상으로 출력된다. 그러므로, 조건 또는 사용자의 지정에 따른 빨리 돌리기 요청 신호를 수신할 때마다 다른 처리에 의해 생성된 다양한 빨리 돌리기 영상을 출력하는 것이 가능하다. 다시 말하면, 제2 실시 형태에서, 후처리 처리에 대응하는 빨리 돌리기 유닛에서 높은 범용성이 있고, 다른 장점을 갖는 다양한 빨리 돌리기 영상이 제공될 수 있다. In the second embodiment, after receiving the quick turn request signal, the quick turn frame is generated almost in real time and output as a quick turn image. Therefore, whenever a fast turn request signal is received according to a condition or a user's designation, it is possible to output various fast turn images generated by other processing. In other words, in the second embodiment, various quick turn images having high versatility in the quick turn unit corresponding to the post-processing and having other advantages can be provided.
저장 유닛(250)에 저장된 동화상의 화상 프레임 시퀀스는 돌리기 속도와 무관한 소정의 프레임 비율로 생성된다. 그러나, 빨리 돌리기 유닛은 빨리 돌리기 요청 신호 또는 컨텐츠의 종류에 따른 처리를 실행하여 빨리 돌리기를 위한 업데이트된 화상 프레임 시퀀스를 생성한다. 상기한 바에서 알 수 있듯이, 제1 실시 형태와 제2 실시 형태는 표시 비율보다 높은 비율로 준비된 화상 프레임을 샘플링하는 것에 의해 사용자에게 표시되는 프레임들이 생성된다는 공통의 개념이 있다. 제2 실시 형태는 샘플링에 대한 시간 축을 연장한 제1 실시 형태의 특별한 경우에 대응된다. The image frame sequence of the moving image stored in the
제2 실시 형태의 응용은 빨리 돌리기 영상 또는 빨리 되감기 영상을 생성하는 것에 한정되지 않는다. 예를 들어, 고속 카메라에 의해 캡쳐된 동화상을 사용하여, 상기한 어떤 효과를 갖는 정상적인 재생 화상이 제2 실시 형태에 따라 생성될 수 있다. 이 경우, 다음의 조건을 만족하여야 한다. The application of the second embodiment is not limited to generating a fast-turn image or a fast-rewind image. For example, using a moving image captured by a high speed camera, a normal reproduced image having any of the above effects can be generated according to the second embodiment. In this case, the following conditions must be satisfied.
Ns ≥ Np ≥ No N s ≥ N p ≥ N o
여기서, Ns는 단위 시간 동안에 고속 카메라에 의해 캡쳐된 화상 프레임 수를 나타내고, Np는 단위 시간 동안에 저장 유닛에 저장된 화상 프레임 수를 나타내고, No는 단위 시간 동안에 표시장치에 최종적으로 표시된 화상 프레임 수를 나타낸다. Where N s denotes the number of image frames captured by the high speed camera during the unit time, N p denotes the number of image frames stored in the storage unit during the unit time, and N o denotes the image frame finally displayed on the display unit during the unit time. Indicates a number.
본 발명은 몇 가지 실시 형태에 기초하여 기술하였다. 이러한 실시 형태는 예시이고, 본 발명의 범위 내에서 다양하게 변형된 구성 요소와 처리가 가능하다는 것은 당업자에게 자명하다. 실시 형태에 기술된 구성 요소의 임의의 조합 및 본 발명을 방법, 기구, 시스템, 컴퓨터 프로그램 및 기록 매체 형태로 실시하는 것도 본 발명의 부가적인 형태로서 실시할 수 있다. The present invention has been described based on several embodiments. Such embodiments are illustrative, and it will be apparent to those skilled in the art that various modified components and treatments are possible within the scope of the invention. Any combination of the components described in the embodiments and implementing the invention in the form of methods, instruments, systems, computer programs and recording media can also be implemented as additional aspects of the invention.
Claims (39)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020067026725A KR100878640B1 (en) | 2004-05-19 | 2005-05-18 | Image frame processing method and device for displaying moving images to a variety of displays |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2004-00149705 | 2004-05-19 | ||
JPJP-P-2005-00100075 | 2005-03-30 | ||
KR1020067026725A KR100878640B1 (en) | 2004-05-19 | 2005-05-18 | Image frame processing method and device for displaying moving images to a variety of displays |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20070019000A KR20070019000A (en) | 2007-02-14 |
KR100878640B1 true KR100878640B1 (en) | 2009-01-15 |
Family
ID=41344993
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020067026725A KR100878640B1 (en) | 2004-05-19 | 2005-05-18 | Image frame processing method and device for displaying moving images to a variety of displays |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100878640B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3023987B1 (en) | 2014-11-20 | 2017-03-22 | Axis AB | Method and apparatus for visualizing information of a digital video stream |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5737027A (en) | 1991-02-22 | 1998-04-07 | Demografx | Pixel interlacing apparatus and method |
US20020101535A1 (en) * | 2001-01-29 | 2002-08-01 | Swan Philip L. | Method and apparatus for de-interlacing/re-interlacing video by a graphics processor |
US20030001862A1 (en) | 2001-06-29 | 2003-01-02 | Chu Michael H. | Method for the minimization of artifacts in full frame animations transferred to NTSC interlaced video |
US20030117382A1 (en) | 2001-12-07 | 2003-06-26 | Pawlowski Stephen S. | Configurable panel controller and flexible display interface |
-
2005
- 2005-05-18 KR KR1020067026725A patent/KR100878640B1/en active IP Right Grant
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5737027A (en) | 1991-02-22 | 1998-04-07 | Demografx | Pixel interlacing apparatus and method |
US20020101535A1 (en) * | 2001-01-29 | 2002-08-01 | Swan Philip L. | Method and apparatus for de-interlacing/re-interlacing video by a graphics processor |
US20030001862A1 (en) | 2001-06-29 | 2003-01-02 | Chu Michael H. | Method for the minimization of artifacts in full frame animations transferred to NTSC interlaced video |
US20030117382A1 (en) | 2001-12-07 | 2003-06-26 | Pawlowski Stephen S. | Configurable panel controller and flexible display interface |
Also Published As
Publication number | Publication date |
---|---|
KR20070019000A (en) | 2007-02-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
AU2005242447B2 (en) | Image frame processing method and device for displaying moving images to a variety of displays | |
JP4761403B2 (en) | Image frame processing method, apparatus, rendering processor, and moving image display method | |
US9955038B2 (en) | Image processing apparatus, image processing method, and program | |
JP6057349B2 (en) | Method and apparatus for processing multiple video streams using metadata | |
US20170374294A1 (en) | Overlay non-video content on a mobile device | |
US9143699B2 (en) | Overlay non-video content on a mobile device | |
US20120299958A1 (en) | Image processing apparatus, dynamic picture reproduction apparatus, and processing method and program for the same | |
US20100066860A1 (en) | Image processing device, dynamic image reproduction device, and processing method and program in them | |
US6954219B2 (en) | Method and system of continuously scaling video images | |
CN101611629A (en) | Image processing equipment, moving-image reproducing apparatus and processing method thereof and program | |
EP2731099A1 (en) | Image output device, image output method, and program | |
KR100878640B1 (en) | Image frame processing method and device for displaying moving images to a variety of displays | |
US20230396748A1 (en) | Image processing apparatus, image processing method, and storage medium | |
Wolf | Spatial Resolution | |
JPH10301556A (en) | Device and method for controlling image display | |
Wolf | Resolution |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20121227 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20131218 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20141230 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20151217 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20161221 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20171219 Year of fee payment: 10 |
|
FPAY | Annual fee payment |
Payment date: 20181219 Year of fee payment: 11 |
|
FPAY | Annual fee payment |
Payment date: 20191219 Year of fee payment: 12 |