KR101498207B1 - 초고해상도 영상의 프레임 레이트 변환 장치 및 방법 - Google Patents

초고해상도 영상의 프레임 레이트 변환 장치 및 방법 Download PDF

Info

Publication number
KR101498207B1
KR101498207B1 KR1020080118108A KR20080118108A KR101498207B1 KR 101498207 B1 KR101498207 B1 KR 101498207B1 KR 1020080118108 A KR1020080118108 A KR 1020080118108A KR 20080118108 A KR20080118108 A KR 20080118108A KR 101498207 B1 KR101498207 B1 KR 101498207B1
Authority
KR
South Korea
Prior art keywords
frame
image
previous
current
divided
Prior art date
Application number
KR1020080118108A
Other languages
English (en)
Other versions
KR20100059362A (ko
Inventor
이권주
이재준
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080118108A priority Critical patent/KR101498207B1/ko
Priority to US12/382,868 priority patent/US8427579B2/en
Publication of KR20100059362A publication Critical patent/KR20100059362A/ko
Application granted granted Critical
Publication of KR101498207B1 publication Critical patent/KR101498207B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H20/00—Arrangements for broadcast or for distribution combined with broadcast
    • H04H20/86—Arrangements characterised by the broadcast information itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Systems (AREA)

Abstract

초고해상도 영상의 프레임 레이트 변환 장치 및 방법이 제공된다. 초고해상도 영상의 프레임 레이트 변환 장치는 N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 저장하고, 상기 저장된 경계 영역의 이전 프레임과 현재 프레임 사이에 보간 프레임을 삽입하여 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환할 수 있다.
초고해상도, 프레임, 레이트, 변환, 보간

Description

초고해상도 영상의 프레임 레이트 변환 장치 및 방법{FRAME RATE CONVERSION APPARATUS AND METHOD FOR ULTRA-HIGH DEFINITION VIDEO}
본 발명의 일실시예들은 초고해상도 영상을 분할 처리할 때 이전 프레임과 현재 프레임의 경계 영역에 대한 영상 데이터를 이용하여 프레임을 보간하여 프레임 리플래시 비율(frame refresh rate)을 증가시키는 프레임 레이트 변환 기술에 관한 것이다.
최근 1920×1080 Full HD(High Definition)급 이후의 디지털 시네마(Digital Cinema)의 등장으로 초고해상도 영상을 처리하는 방안의 필요성이 증가하고 있는 추세이다. 하지만 초고해상도(UD: Ultra-High Definition) 영상은 고해상도 영상보다 처리해야 할 데이터량이 월등히 많기 때문에 회로의 클럭 주파수를 높이거나 영상을 분할하여 동시에 처리해야 한다.
현재의 LCD 패널에서는 모션 블러(motion blur)나 필름 저더 영향(film judder affect) 같은 영상의 낮은 프레임 리플래시(frame refresh)로 인한 문제가 존재하면, 이러한 문제는 스크린이 초대형화된다면 더 심각하게 여겨진다.
예를 들어, 60FPS(Frame Per Second)의 Full-HD 영상의 픽셀 클럭 속 도(pixel clock speed)는 스트림에 따라 약간의 변동은 있지만 150MHz 정도이며, 4k 디지털 시네마(4096×2160), 4×Full-HD(3840×2160) 크기의 영상을 60FPS로 구동하기 위한 픽셀 클럭 속도가 150×4MHz(600MHz) 정도이어야 된다.
하지만, 현재 ASIC 기술로 이러한 초고해상도 비디오를 처리하기 위해서는 발열, 회로의 스위칭 시간의 한계 등과 같은 장애 요소를 극복해야만 한다.
본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치는 N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 저장하는 N-1개의 메모리 및 상기 메모리를 참조하여 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 N개의 프레임 레이트 컨버터(frame rate converter)를 포함한다.
본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 방법은 N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 N-1개의 메모리에 저장하는 단계 및 상기 저장된 경계 영역의 이전 프레임과 현재 프레임을 참조하여 N개의 프레임 레이트 컨버터(frame rate converter)를 통해 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 단계를 포함한다.
본 발명의 일실시예에 따르면, 모션 추정을 하여 이전 프레임과 현재 프레임의 보간 영상을 수행할 때 이전 프레임과 현재 프레임을 버퍼링하는 영상 프레임 메모리의 억세스 수를 줄여서 메모리 대역폭을 증가시킬 수 있다.
또한 본 발명의 일실시예에 따르면, 경계 영상 정보가 저장된 메모리를 메모리 컨트롤러로 간단하게 컨트롤할 수 있다.
또한 본 발명의 일실시예에 따르면, 각각의 프레임 레이트 컨버터에서 인접 모듈에 필요한 영상 데이터를 따로 입출력하여 메모리 억세스 충돌 가능성을 완전 히 제거할 수 있다.
이하, 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치의 구조를 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치(100)는 N개의 프레임 레이트 컨버터(110-1~110-N) 및 N-1개의 메모리(120-1~120-N-1)를 병렬 구조로 구성한다.
본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치(100)는 입력 전체 영상을 N개의 영역으로 분할하여 각각 N개의 개별 프레임 레이트 컨버터(110-1~110-N)로 입력하고, 영상의 분할 경계 영역에 포함되는 영상 데이터를 N-1개의 메모리(120-1~120-N-1)에 저장한다.
N개의 프레임 레이트 컨버터(110-1~110-N)는 N-1 개의 메모리(120-1~120-N-1)를 참조하여 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환한다. N개의 프레임 레이트 컨버터(110-1~110-N)는 각각 자체에 입력되는 분할 영상에서 모션 추정을 위한 이전과 현재의 영상에 특정한 블록 크기(macoroblock)만큼 블록 매칭을 하여 검색 범위(search range)만큼을 스캐닝한 후 해당 블록의 모션 벡터를 계산할 때 인접 분할 영상의 데이터를 메모리(120-1~120-N-1)로부터 읽어서 프레임 레이트를 변환한다. 일례로 제2 프레임 레이트 컨버터(110-2)는 상기 N개로 분할 된 영상 중 제2 영상을 입력 받고, 제1 및 제2 메모리(120-1, 120-2)로부터 제2 영상의 인접 경계 영역에 대한 영상 데이터를 읽어 들여 상기 입력된 제2 영상에 대한 프레임 레이트를 변환할 수 있다.
N-1개의 메모리(120-1~120-N-1)는 상기 N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 저장한다. 일례로 제1 메모리(120-1)는 상기 N개로 분할된 영상 중 상기 제2 영상의 경계 영역에 대한 이전 프레임 및 현재 프레임을 순차적으로 저장할 수 있다.
제1 및 제N 프레임 레이트 컨버터(110-1, 110-N)는 모션 추정에 필요한 인접 분할 영상의 경계 영역 영상 정보를 1부분만 참조하고, 그외 프레임 레이트 컨버터(110-2~110-N-1)는 모션 추정을 위해 양쪽 경계 영역 영상 정보를 2부분 참조한다.
일례로 제1 프레임 레이트 컨버터(110-1)는 모션 추정에 필요한 인접 분할 영상의 경계 영역 영상 정보를 제1 메모리(120-1)만을 참조하고, 제N 프레임 레이트 컨버터(110-N)는 모션 추정에 필요한 인접 분할 영상의 경계 영역 영상 정보를 제N-1 메모리(120-N-1)를 참조할 수 있다.
일례로 제2 프레임 레이트 컨버터(110-2)는 모션 추정에 필요한 인접 분할 영상의 경계 영역 영상 정보를 제1 및 제2 메모리(120-1, 120-2)로부터 양쪽 경계 영역 영상 정보를 참조할 수 있다.
N개의 프레임 레이트 컨버터(110-1~110-N)는 내부에서 모션 추정을 위한 스캐닝 방법, 모션 벡터의 추출 방법 및 보간 프레임 생성 방법이 각각 다를 수 있 다.
이와 같이, 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치(100)는 각각의 프레임 레이트 컨버터(110-1~110-N)에서 인접 모듈에 필요한 영상 데이터를 따로 입출력하여 메모리 억세스 충돌 가능성을 완전히 제거할 수 있다.
또한 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치(100)는 초고해상도 영상을 N개로 분할하고, N-1개의 메모리(120-1~120-N-1)에 저장된 경계 영역의 이전 프레임 영상 데이터와 현재 프레임 영상 데이터를 참조하여 각 분할된 영상을 N개의 프레임 레이트 컨버터(110-1~110-N)를 통해 프레임 레이트를 변환하여 프레임 재생 속도를 향상시킬 수 있다.
도 2는 본 발명의 일실시예에 따른 프레임 레이트 컨버터의 세부 구조를 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 프레임 레이트 컨버터(110-2)는 수신부(210), 프레임 보간부(220), 메모리 컨트롤러(230), 제1 프레임 메모리(231), 제2 프레임 메모리(232), 제3 프레임 메모리(233), 프레임 관리부(240) 및 송신부(250)를 포함한다.
수신부(210)는 N개로 분할된 입력 영상들 중 어느 하나의 분할 입력 영상을 수신한다. 즉, 수신부(210)는 상기 N개로 분할된 영상들 중 어느 하나의 분할 영상을 수신하기 위한 입력 인터페이스를 수행한다. 일례로 수신부(210)는 상기 N개로 분할된 입력 영상들 중 입력된 분할 영상을 수신할 수 있다.
프레임 보간부(220)는 상기 입력 영상에 대한 프레임을 보간한다. 즉, 프레임 보간부(220)는 상기 입력 영상에 대한 이전 분할 영상 프레임과 현재 분할 영상 프레임에서 모션 추정하여 보간된 영상 프레임을 출력한다.
메모리 컨트롤러(230)는 제1 프레임 메모리(231), 제2 프레임 메모리(232) 및 제3 프레임 메모리(233)를 컨트롤한다. 즉, 메모리 컨트롤러(230)는 제1 프레임 메모리(231), 제2 프레임 메모리(232) 및 제3 프레임 메모리(233)를 프레임 보간부(220) 및 프레임 관리부(240)와 인터페이스를 수행하고, 제1 프레임 메모리(231), 제2 프레임 메모리(232) 및 제3 프레임 메모리(233)를 컨트롤한다.
제1 프레임 메모리(231)는 상기 입력 영상에 대한 이전 프레임을 버퍼링한다. 즉, 제1 프레임 메모리(231)는 N개로 분할된 영상들 중 입력된 분할 영상에 대한 이전 프레임을 버퍼링한다.
제2 프레임 메모리(232)는 상기 입력 영상에 대한 현재 프레임을 버퍼링한다. 즉, 제2 프레임 메모리(232)는 상기 N개로 분할된 영상들 중 입력된 분할 영상에 대한 현재 프레임을 버퍼링한다.
제3 프레임 메모리(233)는 상기 입력 영상에 대한 보간된 프레임을 버퍼링한다. 즉, 제3 프레임 메모리(233)는 상기 N개로 분할된 영상들 중 입력된 분할 영상에 대한 이전 프레임과 상기 현재 프레임이 보간된 분할 영상 프레임을 버퍼링한다.
프레임 관리부(240)는 상기 이전 프레임, 상기 현재 프레임 및 상기 보간된 프레임을 관리한다. 즉, 프레임 관리부(240)는 상기 이전 프레임과 상기 현재 프 레임 사이에 상기 보간된 프레임을 삽입한다. 일례로 프레임 관리부(240)는 상기 이전 분할 영상 프레임과 상기 현재 분할 영상 프레임 사이에 상기 보간된 분할 영상 프레임을 삽입하기 위해서 지연 회로를 이용할 수 있다.
송신부(250)는 프레임 관리부(240)에 의해 관리된 프레임을 포함하는 출력 영상을 송신한다. 즉, 송신부(250)는 상기 출력 영상을 송신하기 위한 출력 인터페이스를 수행한다. 일례로 상기 출력 영상(Video Output 2×FPS)은 상기 입력 영상(Video Input 1×FPS)에 비해 프레임 레이트가 2배로 증가할 수 있다.
도 3은 분할 경계 영역의 영상 데이터를 저장하기 위한 메모리와 서브 프레임 레이트 컨버터와의 인터페이스 구조의 일례를 나타내는 도면이다.
도 3을 참조하면, 제1 메모리(120-1)는 제1 분할 영상에 대한 현재 프레임 제1-R 경계 영역 영상 데이터(311), 제1 분할 영상에 대한 이전 프레임 제1-R 경계 영역 영상 데이터(312), 제2 분할 영상에 대한 현재 프레임 제2-L 경계 영역 영상 데이터(313) 및 제2 분할 영상에 대한 이전 프레임 제2-L 경계 영역 영상 데이터(314)를 저장한다.
제1 메모리(120-1)는 제1 프레임 레이트 컨버터(110-1)로부터 제공되는 제1 분할 영상에 대한 현재 프레임 제1-R 경계 영역 영상 데이터(311) 및 제1 분할 영상에 대한 이전 프레임 제1-R 경계 영역 영상 데이터(312)를 저장한다. 그리고, 제1 메모리(120-1)는 저장된 제1 분할 영상에 대한 현재 프레임 제1-R 경계 영역 영상 데이터(311) 및 제1 분할 영상에 대한 이전 프레임 제1-R 경계 영역 영상 데이터(312)를 제2 프레임 레이트 컨버터(110-2)로 제공한다.
제1 메모리(120-1)는 제2 프레임 레이트 컨버터(110-2)로부터 제공되는 제2 분할 영상에 대한 현재 프레임 제2-L 경계 영역 영상 데이터(313) 및 제2 분할 영상에 대한 이전 프레임 제2- L 경계 영역 영상 데이터(314)를 저장한다. 그리고, 제1 메모리(120-1)는 저장된 제2 분할 영상에 대한 현재 프레임 제2-L 경계 영역 영상 데이터(313) 및 제2 분할 영상에 대한 이전 프레임 제2- L 경계 영역 영상 데이터(314)를 제1 프레임 레이트 컨버터(110-1)로 제공한다.
한편 제2 메모리(120-2)는 제2 분할 영상에 대한 현재 프레임 제2-R 경계 영역 영상 데이터(321), 제2 분할 영상에 대한 이전 프레임 제2-R 경계 영역 영상 데이터(322), 제3 분할 영상에 대한 현재 프레임 제3-L 경계 영역 영상 데이터(323) 및 제3 분할 영상에 대한 이전 프레임 제3-L 경계 영역 영상 데이터(324)를 저장한다.
제2 메모리(120-2)는 제2 프레임 레이트 컨버터(110-2)로부터 제공되는 제2 분할 영상에 대한 현재 프레임 제2-R 경계 영역 영상 데이터(321) 및 제2 분할 영상에 대한 이전 프레임 제2- R 경계 영역 영상 데이터(322)를 저장한다. 그리고, 제2 메모리(120-2)는 저장된 제2 분할 영상에 대한 현재 프레임 제2-R 경계 영역 영상 데이터(321) 및 제2 분할 영상에 대한 이전 프레임 제2-R 경계 영역 영상 데이터(322)를 제3 프레임 레이트 컨버터(110-3)로 제공한다.
제2 메모리(120-2)는 제3 프레임 레이트 컨버터(110-3)로부터 제공되는 제3 분할 영상에 대한 현재 프레임 제3-L 경계 영역 영상 데이터(323) 및 제3 분할 영상에 대한 이전 프레임 제3-L 경계 영역 영상 데이터(324)를 저장한다. 그리고, 제2 메모리(120-2)는 저장된 제3 분할 영상에 대한 현재 프레임 제3-L 경계 영역 영상 데이터(323) 및 제3 분할 영상에 대한 이전 프레임 제3-L 경계 영역 영상 데이터(314)를 제2 프레임 레이트 컨버터(110-2)로 제공한다.
본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치(100)는 각각의 프레임 레이트 컨버터(110-1~110-N)의 메모리 입출력 속도를 유지하기 위해 인접한 다른 프레임 레이트 컨버터로부터 자신의 프레임 메모리에 대한 억세스를 차단하고, 별도로 추가된 경계 영역의 영상 데이터를 버퍼링할 수 있는 메모리와 자신의 프레임 메모리를 억세스하여 모션 추정 에러를 제거하고, 고비용의 고속 메모리가 필요 없이 프레임 레이트를 향상시킬 수가 있다.
도 4는 프레임 보간을 수행하기 위한 프레임 보간부의 구체적인 구성에 대한 일례를 나타내는 도면이다.
도 4를 참조하면, 프레임 보간부(220)는 모션 추정부(410), 모션 보상부(420) 및 보간 프레임 계산부(430)를 포함한다.
프레임 보간부(220)는 프레임 레이트 업 변환 알고리즘에서 실시간 영상 처리 하드웨어 구현에 용이한 블록 매칭 알고리즘을 통한 모션 추정과, 모션 추정으로 발생된 모션 벡터와 이전 영상 프레임, 이후 영상 프레임으로 모션 보정을 수행하여 새로운 중간 영상 프레임을 생성하는 영상의 움직임 기반 영상 보간을 수행한다.
모션 추정부(410)는 상기 이전 분할 영상 프레임과 상기 현재 분할 영상 프레임에서 블록 크기만큼을 해당 블록의 검색 범위 영역내에서 서로 비교하여 모션 벡터맵을 산출하고, 분할된 영상 프레임에 대한 경계 부근의 모션 벡터를 산출한다. 즉, 모션 추정부(410)는 상기 이전 분할 영상 프레임과 상기 현재 분할 영상 프레임에서 블록 크기만큼을 해당 블록의 검색 범위 영역내에서 서로 비교하여 모션 벡터맵을 산출하고, 제1 및 제2 메모리(120-1, 120-2)로부터 상기 분할된 영상 프레임에 대한 경계 부근의 이전 분할 영상 프레임 데이터 및 현재 분할 영상 프레임 데이터를 읽어 들여서 상기 경계 부근의 모션 벡터를 산출한다. 예를 들어, 모션 추정부(410)는 상기 이전 분할 영상 프레임과 상기 현재 분할 프레임에서 소정의 블록 크기(macroblock)만큼을 해당 블록의 검색 범위 영역에서 SAD(Sum of Absolute Differences), MAD(Mean of Absolute Differences), MSE(Mean Square Error) 방법을 통해 서로 비교하여 가장 작은 에러를 산출하는 타겟 블록을 결정하여 상기 모션 벡터맵을 산출하고, 상기 경계 영역에서의 제1 및 제2 메모리(120-1, 120-2)로부터 경계 영역의 영상 데이터를 읽어 들여서 상기 경계 부근의 모션 벡터를 산출할 수 있다.
모션 보상부(420)는 상기 산출된 모션 벡터, 상기 이전 분할 영상 프레임 및 상기 현재 분할 영상 프레임을 이용하여 상기 경계 부근의 모션을 보상한다. 즉, 모션 보상부(420)는 모션 추정부(410)에 의해 상기 경계 부근의 모션 벡터와 제1 및 제2 메모리(120-1, 120-2)로부터 상기 경계 부근의 이전 분할 영상 프레임 데이터 및 현재 분할 영상 데이터를 참조하여 상기 경계 부근의 모션을 보상한다.
보간 프레임 계산부(430)는 상기 보상된 경계 부근의 모션을 반영하여 최종 보간 프레임을 계산한다. 즉, 보간 프레임 계산부(430)는 제1 및 제2 메모리(120- 1, 120-2)로부터 상기 경계 부근의 이전 분할 영상 프레임 데이터 및 현재 분할 영상 데이터를 참조하여 상기 보상된 경계 부근의 모션을 반영하여 보간 프레임의 경계 영역을 계산한다.
이와 같이, 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치(100)는 모션 추정을 하여 이전 프레임과 현재 프레임의 보간 영상을 보정하는 프레임 보간부(220)에서의 분할 영상 프레임 버퍼링을 수행하는 제1 내지 제3 프레임 메모리(231~233)의 리딩 억세스 측면에서 억세스 수를 줄여서 메모리 대역폭(bandwidth)을 증가시킬 수 있다.
도 5는 인접 영상 데이터의 다이렉트 억세스 방식에 따른 분할 병렬 구조의 일례를 나타내는 도면이다.
도 5를 참조하면, 프레임 레이트 컨버터(500-1~500-N)는 수신부(510-1~510-N), 프레임 보간부(520-1~520-N), 메모리 컨트롤러(530-1~530-N), 제1 프레임 메모리(531-1~531-N), 제2 프레임 메모리(532-1~532-N), 제3 프레임 메모리(533-1~533-N) 및 송신부(540-1~540-N)를 포함한다.
프레임 레이트 컨버터(500-1~500-N)는 각기 메모리 컨트롤러(530-1~530-N)를 통해 이전 프레임을 버퍼링하는 제1 프레임 메모리(531-1~531-N), 현재 프레임을 버퍼링하는 제2 프레임 메모리(532-1~532-N) 및 프레임 보간부(520-1~520-N)에 의해 보간된 프레임을 버퍼링하는 제3 프레임 메모리(533-1~533-N)를 컨트롤함으로써 N개의 프레임 레이트 컨버터(500-1~500-N)간의 메모리 억세스 충돌 가능성을 완전히 제거할 수 있다.
도 6은 전체 영상에서 특정 메모리에 저장될 분할 경계 영역에 대한 일례를 나타내는 도면이다.
도 6을 참조하면, 이전 프레임 영상 데이터(610)는 이전 프레임에 대한 전체 영상을 4개의 영역으로 분할하고, 분할된 영상에 대해 각 경계 영역 영상 데이터(611~616)를 포함한다.
제1-R 경계 영역 영상 데이터(611)는 이전 프레임 영상 데이터(610)의 전제 영상으로부터 분할된 제1 영상과 상기 전체 영상으로부터 분할된 제2 영상에 대한 경계 영역에서 상기 제1 영상을 기준으로 오른쪽에 존재하는 영상 데이터이다.
제2-L 경계 영역 영상 데이터(612)는 이전 프레임 영상 데이터(610)의 전제 영상으로부터 분할된 제1 영상과 상기 전체 영상으로부터 분할된 제2 영상에 대한 경계 영역에서 상기 제2 영상을 기준으로 왼쪽에 존재하는 영상 데이터이다.
제2-R 경계 영역 영상 데이터(613)는 이전 프레임 영상 데이터(610)의 전제 영상으로부터 분할된 제2 영상과 상기 전체 영상으로부터 분할된 제3 영상에 대한 경계 영역에서 상기 제2 영상을 기준으로 오른쪽에 존재하는 영상 데이터이다.
제3-L 경계 영역 영상 데이터(614)는 이전 프레임 영상 데이터(610)의 전제 영상으로부터 분할된 제2 영상과 상기 전체 영상으로부터 분할된 제3 영상에 대한 경계 영역에서 상기 제3 영상을 기준으로 왼쪽에 존재하는 영상 데이터이다.
제3-R 경계 영역 영상 데이터(615)는 이전 프레임 영상 데이터(610)의 전제 영상으로부터 분할된 제3 영상과 상기 전체 영상으로부터 분할된 제4 영상에 대한 경계 영역에서 상기 제3 영상을 기준으로 오른쪽에 존재하는 영상 데이터이다.
제4-L 경계 영역 영상 데이터(616)는 이전 프레임 영상 데이터(610)의 전제 영상으로부터 분할된 제3 영상과 상기 전체 영상으로부터 분할된 제4 영상에 대한 경계 영역에서 상기 제4 영상을 기준으로 왼쪽에 존재하는 영상 데이터이다.
현재 프레임 영상 데이터(620)는 현재 프레임에 대한 전체 영상을 4개의 영역으로 분할하고, 분할된 영상에 대해 각 경계 영역 영상 데이터(621~626)를 포함한다.
제1-R 경계 영역 영상 데이터(621)는 현재 프레임 영상 데이터(620)의 전제 영상으로부터 분할된 제1 영상과 상기 전체 영상으로부터 분할된 제2 영상에 대한 경계 영역에서 상기 제1 영상을 기준으로 오른쪽에 존재하는 영상 데이터이다.
제2-L 경계 영역 영상 데이터(622)는 현재 프레임 영상 데이터(620)의 전제 영상으로부터 분할된 제1 영상과 상기 전체 영상으로부터 분할된 제2 영상에 대한 경계 영역에서 상기 제2 영상을 기준으로 왼쪽에 존재하는 영상 데이터이다.
제2-R 경계 영역 영상 데이터(623)는 현재 프레임 영상 데이터(620)의 전제 영상으로부터 분할된 제2 영상과 상기 전체 영상으로부터 분할된 제3 영상에 대한 경계 영역에서 상기 제2 영상을 기준으로 오른쪽에 존재하는 영상 데이터이다.
제3-L 경계 영역 영상 데이터(624)는 현재 프레임 영상 데이터(620)의 전제 영상으로부터 분할된 제2 영상과 상기 전체 영상으로부터 분할된 제3 영상에 대한 경계 영역에서 상기 제3 영상을 기준으로 왼쪽에 존재하는 영상 데이터이다.
제3-R 경계 영역 영상 데이터(625)는 현재 프레임 영상 데이터(620)의 전제 영상으로부터 분할된 제3 영상과 상기 전체 영상으로부터 분할된 제4 영상에 대한 경계 영역에서 상기 제3 영상을 기준으로 오른쪽에 존재하는 영상 데이터이다.
제4-L 경계 영역 영상 데이터(626)는 현재 프레임 영상 데이터(620)의 전제 영상으로부터 분할된 제3 영상과 상기 전체 영상으로부터 분할된 제4 영상에 대한 경계 영역에서 상기 제4 영상을 기준으로 왼쪽에 존재하는 영상 데이터이다.
예를 들어, 전체 영상을 도 6에 도시된 것과 같이 4개(N=4)로 분할한 경우, 메모리(120-1~120-N-1)는 이전 프레임에 대한 분할 경계 영역 영상 데이터(611~616) 및 현재 프레임에 대한 분할 경계 영역 영상 데이터(621~621)를 저장할 수 있다.
검색 윈도우(630)는 분할 영상에서 인접 영역(R, 632)에 해당되는 경계 영역 영상 데이터를 이용하여 모션 추정을 위한 이전과 현재의 영상에 특정한 블록 크기(macoroblock)(631)만큼 블록 매칭을 하기 위한 검색 범위(search range)이다.
본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치(100)는 모션을 추정하기 위해 참조되는 각각의 분할 영상 데이터 이외에 분할 경계 영역에서의 정확한 모션 추정을 위해 필요한 인접 검색 범위(macroblock 631의 상, 하, 좌, 우 R 크기)인 경계밖의 크기 R× 전체영상 세로 크기(예를 들어, 보통 HDTV, MPEG에 사용되는 R=16, macrcoblock=16×16에서 UD급 스크린인 경우, 16×2160)만큼의 영상 데이터를 인접 처리를 위하여 메모리(120-1~120-N-1)를 각 프레임 레이트 컨버터(110-1~110-N) 사이에 연결하여 분할 경계 영역에서의 모션 추정 에러를 제거할 수 있다. 예를 들어, 메모리(120-1~120-N-1)는 두 분할 영역의 이전 프레임과 현재 프레임의 영상 경계 영역으로 16×2160크기의 4배를 저장할 수 있다.
도 7은 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 방법의 동작 흐름을 나타내는 도면이다.
도 7을 참조하면, 단계(S710)에서 최고해상도 영상의 프레임 레이트 변환 장치는 N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 N-1개의 메모리에 저장한다. 일례로 단계(S710)에서 최고해상도 영상의 프레임 레이트 변환 장치는 상기 N개로 분할된 영상의 경계 영역에 대한 이전 프레임 영상 데이터 및 현재 프레임 영상 데이터를 상기 N-1개의 메모리에 각각 저장할 수 있다.
단계(S720)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 저장된 경계 영역의 이전 프레임과 현재 프레임을 참조하여 N개의 프레임 레이트 컨버터(frame rate converter)를 통해 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환한다. 즉, 단계(S720)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 자체에 입력되는 분할 영상에서 모션 추정을 위한 이전과 현재의 영상에 특정한 블록 크기(macoroblock)만큼 블록 매칭을 하여 검색 범위(search range)만큼을 스캐닝한 후 해당 블록의 모션 벡터를 계산할 때 인접 제2 분할 영상의 데이터를 각 메모리로부터 읽어서 프레임 레이트를 각각 변환한다. 일례로 단계(S720)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 N개로 분할된 영상 중 제2 영상을 입력 받고, 상기 메모리로부터 제2 영상의 인접 경계 영역에 대한 영상 데이터를 읽어 들여 상기 입력된 제2 영상에 대한 프레임 레이트를 변환할 수 있다.
이하 도 8을 참조하여 프레임 레이트를 변환하는 단계를 보다 구체적으로 설명하기로 한다.
도 8은 프레임 레이트 변환 단계를 구체화한 일례를 나타내는 도면이다.
도 8을 참조하면, 단계(S810)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 입력 영상에 대한 프레임을 보간한다. 즉, 단계(S810)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 입력 영상에 대한 이전 분할 영상 프레임과 현재 분할 영상 프레임에서 모션 추정하여 보간된 영상 프레임을 출력한다.
이하 도 9를 참조하여 프레임 보간 단계를 보다 구체적으로 설명하기로 한다.
도 9는 프레임 보간 단계를 구체화한 일례를 나타내는 도면이다.
도 9를 참조하면, 단계(S910)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 이전 프레임과 상기 현재 프레임에서 블록 크기만큼을 해당 블록의 검색 범위 영역내에서 서로 비교하여 모션 벡터맵을 산출하고, 상기 메모리에서 영상 데이터를 읽어 들여서 경계 부근의 모션 벡터를 산출한다. 즉, 단계(S910)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 이전 분할 영상 프레임과 상기 현재 분할 영상 프레임에서 블록 크기만큼을 해당 블록의 검색 범위 영역내에서 서로 비교하여 모션 벡터맵을 산출하고, 상기 메모리로부터 상기 분할된 영상 프레임에 대한 경계 부근의 이전 분할 영상 프레임 데이터 및 현재 분할 영상 데이 터를 읽어 들여서 상기 경계 부근의 모션 벡터를 산출한다.
단계(S920)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 산출된 모션 벡터, 상기 이전 프레임 및 상기 현재 프레임을 이용하여 상기 경계 부근의 모션을 보상한다. 즉, 단계(S920)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 산출된 모션 벡터와 상기 메모리로부터 상기 경계 부근의 이전 분할 영상 프레임 데이터 및 현재 분할 영상 프레임 데이터를 참조하여 상기 경계 부근의 모션을 보상한다.
단계(S930)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 보상된 경계 부근의 모션을 반영하여 최종 보간 프레임을 계산한다. 즉, 단계(S930)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 메모리로부터 상기 경계 부근의 이전 분할 영상 프레임 데이터 및 현재 분할 영상 데이터를 참조하여 상기 보상된 경계 부근의 모션을 반영하여 보간 프레임의 경계 영역을 계산한다.
단계(S820)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 이전 프레임을 버퍼링한다. 즉, 단계(S820)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 N개로 분할된 영상들 중 입력된 분할 영상에 대한 이전 프레임을 버퍼링한다.
단계(S830)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 현재 프레임을 버퍼링한다. 즉, 단계(S830)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 N개로 분할된 영상들 중 입력된 분할 영상에 대한 현재 프레임을 버퍼링한다.
단계(S840)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 보간된 프레임을 버퍼링한다. 즉, 단계(S840)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 N개로 분할된 영상들 중 입력된 분할 영상에 대한 이전 프레임과 상기 현재 프레임이 보간된 분할 영상 프레임을 버퍼링한다.
단계(S850)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 이전 프레임, 상기 현재 프레임 및 상기 보간된 프레임을 관리한다. 즉, 단계(S850)에서 상기 초고해상도 영상의 프레임 레이트 변환 장치는 상기 이전 프레임과 상기 현재 프레임 사이에 상기 보간된 프레임을 삽입하여 상기 프레임들을 관리한다.
이와 같이, 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변화 방법은 초고해상도 영상을 N개로 분할하고, N-1개의 메모리에 저장된 경계 영역의 이전 프레임 영상 데이터와 현재 프레임 영상 데이터를 참조하여 각 분할된 영상을 N개의 영상 프레임 레이트 변환 컨버터를 통해 프레임 레이트를 변환하여 프레임 재생 속도를 증가시켜 대화면 초고화질 영상의 시각적 경험을 향상시킬 수 있다.
상기한 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 장치의 구조를 나타내는 도면이다.
도 2는 본 발명의 일실시예에 따른 개별 프레임 레이트 컨버터의 세부 구조를 나타내는 도면이다.
도 3은 분할 경계 영역의 영상 데이터를 저장하기 위한 메모리와 서브 프레임 레이트 컨버터와의 인터페이스 구조의 일례를 나타내는 도면이다.
도 4는 프레임 보간을 수행하기 위한 프레임 보간부의 구체적인 구성에 대한 일례를 나타내는 도면이다.
도 5는 인접 영상 데이터의 다이렉트 억세스 방식에 따른 분할 병렬 구조의 일례를 나타내는 도면이다.
도 6은 전체 영상에서 특정 메모리에 저장될 분할 경계 영역에 대한 일례를 나타내는 도면이다.
도 7은 본 발명의 일실시예에 따른 초고해상도 영상의 프레임 레이트 변환 방법의 동작 흐름을 나타내는 도면이다.
도 8은 프레임 레이트 변환 단계를 구체화한 일례를 나타내는 도면이다.
도 9는 프레임 보간 단계를 구체화한 일례를 나타내는 도면이다.

Claims (14)

  1. N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 저장하는 N-1개의 메모리; 및
    상기 N-1개의 메모리를 참조하고 상기 N개로 분할된 입력 영상의 상기 이전 프레임 및 상기 현재 프레임에 기반하여 프레임을 보간하고 지연 회로를 사용하여 보간된 프레임을 상기 이전 프레임 및 상기 현재 프레임 사이에 삽입함으로써 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 N개의 프레임 레이트 컨버터(frame rate converter)
    를 포함하는 프레임 레이트 변환 장치.
  2. 제1항에 있어서,
    상기 프레임 레이트 컨버터는,
    상기 N개로 분할된 입력 영상의 상기 이전 프레임 및 상기 현재 프레임에 기반하여 프레임을 보간하는 프레임 보간부;
    상기 이전 프레임을 버퍼링하는 제1 프레임 메모리;
    상기 현재 프레임을 버퍼링하는 제2 프레임 메모리;
    상기 보간된 프레임을 버퍼링하는 제3 프레임 메모리;
    상기 제1 내지 제3 프레임 메모리를 제어하는 메모리 컨트롤러; 및
    상기 이전 프레임, 상기 현재 프레임 및 상기 보간된 프레임을 관리하는 프레임 관리부
    를 포함하는 프레임 레이트 변환 장치.
  3. 제2항에 있어서,
    상기 프레임 관리부는,
    상기 이전 프레임과 상기 현재 프레임 사이에 상기 보간된 프레임을 삽입하는 프레임 레이트 변환 장치.
  4. 제2항에 있어서,
    상기 프레임 보간부는,
    상기 이전 분할 영상 프레임과 상기 현재 분할 영상 프레임에서 블록 크기만큼을 해당 블록의 검색 범위 영역내에서 서로 비교하여 모션 벡터맵을 산출하고, 상기 메모리에서 영상 데이터를 읽어 들여서 경계 부근의 모션 벡터를 산출하는 모션 추정부;
    상기 산출된 모션 벡터, 상기 이전 분할 영상 프레임 및 상기 현재 분할 영상 프레임을 이용하여 상기 경계 부근의 모션을 보상하는 모션 보상부; 및
    상기 보상된 경계 부근의 모션을 반영하여 최종 보간 프레임을 계산하는 보간 프레임 계산부
    를 포함하는 프레임 레이트 변환 장치.
  5. 제4항에 있어서,
    상기 보간 프레임 계산부는,
    상기 메모리로부터 경계 영상 정보를 참조하여 상기 최종 보간 프레임을 계산하는 프레임 레이트 변환 장치.
  6. N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 N-1개의 메모리에 저장하는 단계;
    상기 N개로 분할된 입력 영상의 상기 이전 프레임 및 상기 현재 프레임에 기반하여 프레임을 보간하고 지연 회로를 사용하여 보간된 프레임을 상기 이전 프레임 및 상기 현재 프레임 사이에 삽입하는 단계; 및
    상기 저장된 경계 영역의 상기 이전 프레임과 상기 현재 프레임을 참조하여 N개의 프레임 레이트 컨버터(frame rate converter)를 통해 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 단계
    를 포함하는 프레임 레이트 변환 방법.
  7. 제6항에 있어서,
    상기 프레임 레이트를 각각 변환하는 단계는,
    상기 이전 프레임을 버퍼링하는 단계;
    상기 현재 프레임을 버퍼링하는 단계; 및
    상기 보간된 프레임을 버퍼링하는 단계
    를 포함하는 프레임 레이트 변환 방법.
  8. 제6항에 있어서,
    상기 이전 프레임, 상기 현재 프레임 및 상기 보간된 프레임을 포함하는 출력 영상을 송신하는 단계
    를 더 포함하는 프레임 레이트 변환 방법.
  9. 제6항에 있어서,
    상기 프레임을 보간하고 지연 회로를 사용하여 보간된 프레임을 상기 이전 프레임 및 상기 현재 프레임 사이에 삽입하는 단계는,
    상기 이전 프레임과 상기 현재 프레임에서 블록 크기만큼을 해당 블록의 검색 범위 영역내에서 서로 비교하여 모션 벡터맵을 산출하고, 상기 메모리에서 영상 데이터를 읽어 들여서 경계 부근의 모션 벡터를 산출하는 단계;
    상기 산출된 모션벡터, 상기 이전 프레임 및 상기 현재 프레임을 이용하여 상기 경계 부근의 모션을 보상하는 단계; 및
    상기 보상된 경계 부근의 모션을 반영하여 최종 보간 프레임을 계산하는 단계
    를 포함하는 프레임 레이트 변환 방법.
  10. 제9항에 있어서,
    상기 최종 보간 프레임을 계산하는 단계는,
    상기 메모리로부터 경계 영상 정보를 참조하여 상기 최종 보간 프레임을 계산하는 프레임 레이트 변환 방법.
  11. 제6항 내지 제10항 중 어느 한 항의 방법을 수행하기 위한 프로그램이 기록 된 컴퓨터로 판독 가능한 기록 매체.
  12. N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 저장하는 N-1개의 메모리; 및
    상기 N-1개의 메모리를 참조하고 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 N개의 프레임 레이트 컨버터(frame rate converter)
    를 포함하고,
    상기 N 개의 프레임 레이트 컨버터들의 각각은 상기 N개로 분할된 입력 영상의 상기 이전 프레임 및 상기 현재 프레임의 소정의 매크로블록(macroblock)에 대한 블록-매칭을 수행함으로써 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 프레임 레이트 변환 장치.
  13. N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 저장하는 N-1개의 메모리;
    상기 N-1개의 메모리를 참조하고 상기 N개로 분할된 입력 영상의 상기 이전 프레임 및 상기 현재 프레임에 기반하여 프레임을 보간하고 지연 회로를 사용하여 보간된 프레임을 상기 이전 프레임 및 상기 현재 프레임 사이에 삽입함으로써 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 N개의 프레임 레이트 컨버터(frame rate converter)
    를 포함하고,
    상기 N개의 프레임 레이트 컨버터의 각각은 상기 이전 프레임, 상기 현재 프레임 및 상기 보간된 프레임을 포함하는 출력 영상을 송신하는 송신부
    를 포함하는 프레임 레이트 변환 장치.
  14. N개로 분할된 입력 영상에 대한 경계 영역의 이전 프레임과 현재 프레임을 각각 N-1개의 메모리에 저장하는 단계; 및
    상기 저장된 경계 영역의 상기 이전 프레임과 상기 현재 프레임을 참조하고 상기 N개로 분할된 입력 영상의 상기 이전 프레임 및 상기 현재 프레임의 소정의 매크로블록(macroblock)에 대한 블록-매칭을 수행함으로써 N개의 프레임 레이트 컨버터(frame rate converter)를 통해 상기 N개로 분할된 입력 영상에 대한 프레임 레이트를 각각 변환하는 단계
    를 포함하는 프레임 레이트 변환 방법.
KR1020080118108A 2008-11-26 2008-11-26 초고해상도 영상의 프레임 레이트 변환 장치 및 방법 KR101498207B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080118108A KR101498207B1 (ko) 2008-11-26 2008-11-26 초고해상도 영상의 프레임 레이트 변환 장치 및 방법
US12/382,868 US8427579B2 (en) 2008-11-26 2009-03-25 Frame rate conversion apparatus and method for ultra definition image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080118108A KR101498207B1 (ko) 2008-11-26 2008-11-26 초고해상도 영상의 프레임 레이트 변환 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20100059362A KR20100059362A (ko) 2010-06-04
KR101498207B1 true KR101498207B1 (ko) 2015-03-03

Family

ID=42195908

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080118108A KR101498207B1 (ko) 2008-11-26 2008-11-26 초고해상도 영상의 프레임 레이트 변환 장치 및 방법

Country Status (2)

Country Link
US (1) US8427579B2 (ko)
KR (1) KR101498207B1 (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100973561B1 (ko) * 2008-06-25 2010-08-03 삼성전자주식회사 표시장치
KR101903748B1 (ko) 2011-10-07 2018-10-04 삼성디스플레이 주식회사 표시 장치
DE102012219627A1 (de) 2012-10-26 2014-04-30 Robert Bosch Gmbh Verfahren und Anordnung zum Anpassen einer Zeilenfrequenz eines Digitalsignals einer Projektoreinrichtung
KR102037812B1 (ko) 2013-05-28 2019-10-29 삼성전자 주식회사 멀티 코어 그래픽 처리 장치
KR102136848B1 (ko) * 2013-07-15 2020-07-22 삼성전자 주식회사 영상 처리 장치, 영상 처리 시스템 및 영상 처리 방법
KR102143618B1 (ko) * 2014-01-17 2020-08-11 삼성전자주식회사 프레임률 제어 방법 및 그 전자 장치
KR102218908B1 (ko) * 2014-05-07 2021-02-23 엘지전자 주식회사 디지털 디바이스 및 상기 디지털 디바이스에서 서비스 처리 방법
CN105516634B (zh) * 2015-12-08 2018-08-21 中国航空工业集团公司西安航空计算技术研究所 一种全高清视频处理装置
CN105611213A (zh) * 2016-01-04 2016-05-25 京东方科技集团股份有限公司 一种图像处理方法、播放方法及相关的装置和系统
US11366586B2 (en) 2016-11-18 2022-06-21 Google Llc Streaming application environment with recovery of lost or delayed input events
US10623460B2 (en) * 2016-11-18 2020-04-14 Google Llc Streaming application environment with remote device input synchronization
US10944974B2 (en) 2017-01-11 2021-03-09 Raytheon Company Method for encoding and processing raw UHD video via an existing HD video architecture
US11190724B2 (en) 2017-03-10 2021-11-30 Raytheon Company Adaptive bitrate streaming of UHD image data
CN113766313B (zh) * 2019-02-26 2024-03-05 深圳市商汤科技有限公司 视频数据处理方法及装置、电子设备和存储介质
US20200366573A1 (en) * 2019-05-17 2020-11-19 Citrix Systems, Inc. Systems and methods for visualizing dependency experiments
US11416362B2 (en) 2019-05-17 2022-08-16 Citrix Systems, Inc. Dependency API controlled experiment dashboard
KR102242343B1 (ko) * 2019-10-31 2021-04-20 한국전자기술연구원 고해상도 동영상 프레임 율 고속 변환 방법 및 장치
US20230088882A1 (en) * 2021-09-22 2023-03-23 Samsung Electronics Co., Ltd. Judder detection for dynamic frame rate conversion

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050020287A (ko) * 2003-08-21 2005-03-04 삼성전자주식회사 모션추정 및 모션보상 연산을 위한 라인메모리를 공유하여라인메모리를 감축하는 프레임레이트변환장치 및 그 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4276565A (en) * 1978-01-18 1981-06-30 British Broadcasting Corporation Method and apparatus for standards conversion of television signals
KR100269106B1 (ko) 1996-03-21 2000-11-01 윤종용 멀티프로세서 그래픽스 시스템
JP2000041224A (ja) 1998-07-23 2000-02-08 Nec Corp 補間機能付きスキャン変換回路
JP3349490B2 (ja) * 2000-02-14 2002-11-25 インターナショナル・ビジネス・マシーンズ・コーポレーション 画像表示方法、画像表示システム、ホスト装置、画像表示装置、およびディスプレイ用インターフェイス
KR20080019432A (ko) 2006-08-28 2008-03-04 삼성전자주식회사 스케일링 성능 향상을 위한 화상처리장치 및 그의 방법
JP4303745B2 (ja) * 2006-11-07 2009-07-29 シャープ株式会社 画像表示装置及び方法、画像処理装置及び方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050020287A (ko) * 2003-08-21 2005-03-04 삼성전자주식회사 모션추정 및 모션보상 연산을 위한 라인메모리를 공유하여라인메모리를 감축하는 프레임레이트변환장치 및 그 방법

Also Published As

Publication number Publication date
US20100128169A1 (en) 2010-05-27
US8427579B2 (en) 2013-04-23
KR20100059362A (ko) 2010-06-04

Similar Documents

Publication Publication Date Title
KR101498207B1 (ko) 초고해상도 영상의 프레임 레이트 변환 장치 및 방법
TWI455588B (zh) 以雙向、局部及全域移動評估為基礎之框率轉換
US8508659B2 (en) System and method for frame rate conversion using multi-resolution temporal interpolation
EP1638339B1 (en) Motion estimation
US8351510B1 (en) Motion compensated noise reduction using shared motion estimation engine
US8615036B2 (en) Generating interpolated frame of video signal with enhancement filter
US20050249288A1 (en) Adaptive-weighted motion estimation method and frame rate converting apparatus employing the method
KR20100114499A (ko) 후광현상이 줄어든 영상보간 장치 및 방법
JP2003174628A (ja) 動き補償補間のための画素値選択装置及び方法
JP2005012797A (ja) 動き補償のための画素値選択装置および方法
JP2009532984A (ja) 補償アーチファクトに対する保護を有する動き補償フレームレート変換
KR101756841B1 (ko) 블록 기반 영상의 해상도 변환 방법 및 장치
JP5669523B2 (ja) フレーム補間装置及び方法、並びにプログラム及び記録媒体
KR20090041562A (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
JP4824703B2 (ja) ２次元フィルタ演算装置及び方法
KR20050035704A (ko) 타임 시프트와 움직임 보상을 이용한 프레임 레이트 변환장치 및 그 방법
KR20000023275A (ko) 추정된 왜곡값을 사용하는 분수-화소 움직임 추정 방법 및 장치
Akin et al. An adaptive bilateral motion estimation algorithm and its hardware architecture
US20090324102A1 (en) Image processing apparatus and method and program
JP4410172B2 (ja) 動きベクトル推定方法，動きベクトル推定装置，動きベクトル推定プログラムおよび動きベクトル推定プログラム記録媒体
KR20110048252A (ko) 움직임 벡터 공유에 기초한 영상을 변환하는 방법 및 장치
JP4412062B2 (ja) 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
JP2006005904A (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2009239698A (ja) 映像変換装置及び映像変換方法
KR20090022377A (ko) 움직임 추정과 움직임 보상을 이용한 동영상의 프레임률변환 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180117

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 6