KR20190056740A - 영상 처리 방법 및 이를 이용한 표시장치 - Google Patents

영상 처리 방법 및 이를 이용한 표시장치 Download PDF

Info

Publication number
KR20190056740A
KR20190056740A KR1020170154004A KR20170154004A KR20190056740A KR 20190056740 A KR20190056740 A KR 20190056740A KR 1020170154004 A KR1020170154004 A KR 1020170154004A KR 20170154004 A KR20170154004 A KR 20170154004A KR 20190056740 A KR20190056740 A KR 20190056740A
Authority
KR
South Korea
Prior art keywords
grid
grid size
image
axis
size
Prior art date
Application number
KR1020170154004A
Other languages
English (en)
Other versions
KR102340942B1 (ko
Inventor
홍종주
김성균
이호섭
배규진
강석주
김영환
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020170154004A priority Critical patent/KR102340942B1/ko
Publication of KR20190056740A publication Critical patent/KR20190056740A/ko
Application granted granted Critical
Publication of KR102340942B1 publication Critical patent/KR102340942B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/005—Adapting incoming signals to the display format of the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 표시 패널, 구동부 및 제어부를 포함하는 표시장치를 제공한다. 표시 패널은 영상을 표시한다. 구동부는 표시 패널을 구동한다. 제어부는 구동부를 제어하고 외부로부터 입력된 영상을 영상 처리한다. 제어부는 입력 영상 내에서 시각적으로 중요한 부분에 해당하는 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 입력 영상의 각 포인트에 해당하는 제1그리드 크기를 계산함과 더불어 시간 일관성을 고려하여 제2그리드 크기를 계산하고, 제1 및 제2그리드 크기를 기반으로 최종 그리드 크기를 계산한 후 그리드 맵을 생성하고, 그리드 맵과 입력 영상을 기반으로 최종적으로 출력할 재지정 영상을 표현 및 생성한다.

Description

영상 처리 방법 및 이를 이용한 표시장치{Method for Image Processing and Display Device using the same}
본 발명은 영상 처리 방법 및 이를 이용한 표시장치에 관한 것이다.
최근 전계발광표시장치(Light Emitting Display: LED), 액정표시장치(Liquid Crystal Display: LCD), 전계방출표시장치(Field Emission Display: FED), 전기영동표시장치(Electro Phoretic Display: EPD), 전기습윤표시장치(Electro-Wetting Display: EWD), 및 양자점표시장치(Quantum Dot display: QD) 등과 같은 표시장치의 사용이 증가하고 있다.
앞서 설명된 표시장치는 텔레비젼, 영상 플레이어, 개인용 컴퓨터(PC), 홈시어터, 스마트폰, 증강/가상 현실기기 등으로 구현될 수 있다. 표시장치는 앞의 예와 같이 다양한 형태로 구현됨은 물론이고 다양한 크기의 종횡비를 갖는다.
이처럼 표시장치는 다양한 형태로 제작되고 있지만, 정작 영상 콘텐츠는 특정 대상의 종횡비에 맞게 생성되고 있다. 예컨대, 영상 콘텐츠는 텔레비전 등과 같은 특정 대상에 적합한 영상 포맷의 한 형태로 표준화되어 있어 스마트폰에 구현시 원본 콘텐츠 대비 종횡비 차이가 발생하게 된다.
이 때문에, 특정 표시장치는 임의의 크기의 영상이 입력되면 장치의 환경에 맞는 영상을 구현하기 위해 원본의 형태를 유지하면 영상의 크기를 변경(resizing)하는 등의 영상 처리를 수행해야 한다. 영상의 크기를 변경할 때에는 입력된 영상의 종횡비를 재지정(retarget)하는 것은 물론이고 이때 원본의 형태를 최대한 자연스럽게 유지하기 위해 왜곡 등을 방지할 필요가 있다.
상술한 배경기술의 문제점을 해결하기 위한 본 발명은 움직이는 물체와 정적인 배경이 공존하는 영상의 크기 변경(resizing) 시, 구조적 뒤틀림(Structure twist) 현상을 방지하면서 시간 일관성을 유지할 수 있도록 하는 것이다.
상술한 과제 해결 수단으로 본 발명은 표시 패널, 구동부 및 제어부를 포함하는 표시장치를 제공한다. 표시 패널은 영상을 표시한다. 구동부는 표시 패널을 구동한다. 제어부는 구동부를 제어하고 외부로부터 입력된 영상을 영상 처리한다. 제어부는 입력 영상 내에서 시각적으로 중요한 부분에 해당하는 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 입력 영상의 각 포인트에 해당하는 제1그리드 크기를 계산함과 더불어 시간 일관성을 고려하여 제2그리드 크기를 계산하고, 제1 및 제2그리드 크기를 기반으로 최종 그리드 크기를 계산한 후 그리드 맵을 생성하고, 그리드 맵과 입력 영상을 기반으로 최종적으로 출력할 재지정 영상을 표현 및 생성한다.
제어부는 시간 일관성을 고려하여 제2그리드 크기를 계산하기 위해 이전 프레임의 그리드 포인트 위치에서 현재 프레임의 그리드 포인트의 위치를 차감할 수 있다.
제어부는 제1그리드 크기와 제2그리드 크기를 각 축의 정적인 배경과 움직이는 물체의 비율을 고려하여 각 축마다 최종 그리드 크기를 계산할 수 있다.
제어부는 최종 그리드 크기를 계산하기 위해 이전 프레임의 휘도 값과 현재 프레임의 휘도 값의 차가 많은(영상의 변화가 큰) 픽셀에 가중치를 부여할 수 있다.
제어부는 제2그리드 크기는 하기의 수식에 의해 계산되고,
Figure pat00001
위의 수식에서 Pos k prev 는 이전 프레임의 그리드 맵에서 k번째 축(시간축)의 위치를 의미하고, Pos k - 1 cur 는 현재 프레임의 그리드 맵에서 k번째 축의 위치를 의미하며, GS T k 는 k번째 축에서의 시간 일관성( T )을 고려한 그리드 크기를 나타낼 수 있다.
다른 측면에서 본 발명은 영상 처리 방법을 제공한다. 영상 처리 방법은 입력 영상 내에서 시각적으로 중요한 부분에 해당하는 두드러짐 값을 추정하는 단계; 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 입력 영상의 각 포인트에 해당하는 제1그리드 크기를 계산함과 더불어 시간 일관성을 고려하여 제2그리드 크기를 계산하는 단계; 제1 및 제2그리드 크기를 기반으로 최종 그리드 크기를 계산한 후 그리드 맵을 생성하는 단계; 및 그리드 맵과 입력 영상을 기반으로 최종적으로 출력할 재지정 영상을 표현 및 생성하는 단계를 포함한다.
그리드 크기를 계산하는 단계는 시간 일관성을 고려하여 제2그리드 크기를 계산하기 위해 이전 프레임의 그리드 포인트 위치에서 현재 프레임의 그리드 포인트의 위치를 차감할 수 있다.
최종 그리드 크기를 계산하는 단계는 각 축에서 움직이는 물체와 정적인 배경의 비율을 고려하여 각각 계산된 제1그리드 크기값과 제2그리드 크기값을 선형 결합하여 최종 그리드 크기를 계산할 수 있다.
최종 그리드 크기를 계산하는 단계는 이전 프레임의 휘도 값과 현재 프레임의 휘도 값의 차가 많은(영상의 변화가 큰) 픽셀에 가중치를 부여할 수 있다.
제2그리드 크기는 하기의 수식에 의해 계산되고,
Figure pat00002
위의 수식에서 Pos k prev 는 이전 프레임의 그리드 맵에서 k번째 축(시간축)의 위치를 의미하고, Pos k - 1 cur 는 현재 프레임의 그리드 맵에서 k번째 축의 위치를 의미하며, GS T k 는 k번째 축에서의 시간 일관성( T )을 고려한 그리드 크기를 나타낼 수 있다.
본 발명은 영상의 크기 변경(resizing) 시, 구조적 뒤틀림(Structure twist) 현상을 방지하면서 시간 일관성을 유지할 수 있는 영상 처리 방법을 제공하는 효과가 있다. 또한, 본 발명은 움직이는 물체와 정적인 배경이 공존하는 영상의 크기 변경(resizing) 시, 시간 일관성을 고려한 영상 처리 방법으로 원본의 형태를 최대한 자연스럽게 유지하면서 물체의 움직임에 따른 영상의 울렁거림을 최소화하고 고품질의 영상을 표시할 수 있는 표시장치를 제공하는 효과가 있다.
도 1은 표시장치의 개략적인 블록도.
도 2는 서브 픽셀의 개략적인 회로 구성 예시도.
도 3은 표시 패널의 단면 예시도.
도 4는 영상 처리 방법에 따른 영상의 크기 변경예를 나타낸 도면.
도 5는 실험예에 따른 영상 재지정 방법을 설명하기 위한 도면.
도 6은 본 발명의 실시예에 따른 영상 재지정 방법을 설명하기 위한 도면.
도 7은 도 6의 정경 단계를 구체적으로 나타낸 도면.
도 8은 및 도 9는 실시예에 따라 시간 일관성을 고려한 방식의 효과를 검증하기 위해 실험예와 실시예를 비교 실험한 결과를 나타낸 제1예시도들.
도 10은 및 도 11은 실시예에 따라 시간 일관성을 고려한 방식의 효과를 검증하기 위해 실험예와 실시예를 비교 실험한 결과를 나타낸 제2예시도들.
도 12는 실험예의 방법과 실시예의 방법을 사용함에 따라 최종 출력 영상에서 나타나는 변화의 양상을 알기 쉽게 도시한 도면.
이하, 본 발명의 실시를 위한 구체적인 내용을 첨부된 도면을 참조하여 설명한다.
본 발명에 표시장치는 전계발광표시장치(Light Emitting Display: LED), 액정표시장치(Liquid Crystal Display: LCD), 전계방출표시장치(Field Emission Display: FED), 전기영동표시장치(Electro Phoretic Display: EPD), 전기습윤표시장치(Electro-Wetting Display: EWD), 및 양자점표시장치(Quantum Dot display: QD) 등과 같은 표시장치 중 하나로 선택될 수 있으나 이에 한정되지 않는다.
도 1은 표시장치의 개략적인 블록도이고, 도 2는 서브 픽셀의 개략적인 회로 구성 예시도이며, 도 3은 표시 패널의 단면 예시도이고, 도 4는 영상 처리 방법에 따른 영상의 크기 변경예를 나타낸 도면이다.
도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 표시장치에는 영상 처리부(110), 타이밍 제어부(120), 데이터 구동부(130), 스캔 구동부(140) 및 표시 패널(150)이 포함된다. 영상 처리부(110) 및 타이밍 제어부(120)는 IC(Integrated Circuit) 형태로 통합되어 하나의 제어부로 구현될 수 있으나 이에 한정되지 않는다.
영상 처리부(110)는 외부로부터 공급된 영상 데이터신호(DATA)에 대한 영상 처리를 하고 영상 처리된 데이터신호(DATA)와 더불어 데이터 인에이블 신호(DE) 등을 출력한다. 영상 처리부(110)는 데이터 인에이블 신호(DE) 외에도 수직 동기신호, 수평 동기신호 및 클럭신호 중 하나 이상을 출력할 수 있으나 이 신호들은 설명의 편의상 생략 도시한다.
타이밍 제어부(120)는 영상 처리부(110)로부터 데이터 인에이블 신호(DE) 또는 수직 동기신호, 수평 동기신호 및 클럭신호 등을 포함하는 구동신호와 더불어 데이터신호(DATA)를 공급받는다. 타이밍 제어부(120)는 구동신호에 기초하여 스캔 구동부(140)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어신호(GDC)와 데이터 구동부(130)의 동작 타이밍을 제어하기 위한 데이터 타이밍 제어신호(DDC)를 출력한다.
데이터 구동부(130)는 타이밍 제어부(120)로부터 공급된 데이터 타이밍 제어신호(DDC)에 응답하여 타이밍 제어부(120)로부터 공급되는 데이터신호(DATA)를 샘플링하고 래치하여 감마 기준전압으로 변환하여 출력한다. 데이터 구동부(130)는 데이터라인들(DL1 ~ DLn)을 통해 데이터신호(DATA)를 출력한다. 데이터 구동부(130)는 IC 형태로 형성될 수 있다.
스캔 구동부(140)는 타이밍 제어부(120)로부터 공급된 게이트 타이밍 제어신호(GDC)에 응답하여 게이트전압의 레벨을 시프트시키면서 스캔신호를 출력한다. 스캔 구동부(140)는 스캔라인들(GL1 ~ GLm)을 통해 스캔신호를 출력한다. 스캔 구동부(140)는 IC 형태로 형성되거나 표시 패널(150)에 게이트인패널(Gate In Panel) 방식으로 형성된다.
표시 패널(150)은 데이터 구동부(130) 및 스캔 구동부(140)로부터 공급된 데이터신호(DATA) 및 스캔신호에 대응하여 영상을 표시한다. 표시 패널(150)은 영상을 표시할 수 있도록 동작하는 서브 픽셀들(SP)을 포함한다. 서브 픽셀들(SP)은 적색 서브 픽셀, 녹색 서브 픽셀 및 청색 서브 픽셀을 포함하거나 백색 서브 픽셀, 적색 서브 픽셀, 녹색 서브 픽셀 및 청색 서브 픽셀을 포함한다. 표시 패널(150)은 서브 픽셀들(SP)에 포함된 픽셀회로(PC)의 구성에 따라 액정표시패널, 전계발광표시패널, 전기영동표시패널 등으로 구분될 수 있다.
도 2에 도시된 바와 같이, 하나의 서브 픽셀(SP)에는 스캔 라인(GL1)과 데이터 라인(DL1)에 연결된 스위칭 트랜지스터(SW)와 스위칭 트랜지스터(SW)를 통해 공급된 스캔신호에 대응하여 공급된 데이터신호에 대응하여 동작하는 픽셀회로(PC)가 포함된다. 예컨대, 표시 패널이 전계발광표시패널로 선택된 경우, 서브 픽셀(SP)의 픽셀회로(PC)는 구동 트랜지스터, 스토리지 커패시터 및 유기 발광다이오드와 더불어 다양한 형태의 보상회로가 더 추가되도록 구성될 수 있다.
도 3에 도시된 바와 같이, 표시 패널(150)은 표시영역(AA)과 비표시영역(NA)을 갖는 기판(또는 박막 트랜지스터 기판)(150a)과 보호필름(또는 보호기판)(150b)을 포함한다. 표시영역(AA)에는 도 2에서 설명된 회로를 기반으로 픽셀(P)이 형성된다. 표시영역(AA) 상에 배치된 픽셀(P)은 적색(R), 백색(W), 청색(B) 및 녹색(G)의 서브 픽셀을 포함한다. 적색(R), 백색(W), 청색(B) 및 녹색(G)의 서브 픽셀은 기판(150a) 상에 수평 또는 수직하게 배치될 수 있다. 그러나 앞서 설명된 서브 픽셀들의 배치 순서는 하나의 예시일 뿐 표시 패널(150)의 구현 방식에 따라 다양하게 변경될 수 있다. 그러나 픽셀(P)은 적색(R), 청색(B) 및 녹색(G)의 서브 픽셀만 포함할 수도 있다.
앞서 설명된 표시장치는 텔레비젼, 영상 플레이어, 개인용 컴퓨터(PC), 홈시어터, 스마트폰, 증강/가상 현실기기 등으로 구현될 수 있다. 표시장치는 앞의 예와 같이 다양한 형태로 구현됨은 물론이고 다양한 크기의 종횡비를 갖는다.
이처럼 표시장치는 다양한 형태로 제작되고 있지만, 정작 영상 콘텐츠는 특정 대상의 종횡비에 맞게 생성되고 있다. 예컨대, 영상 콘텐츠는 텔레비전 등과 같은 특정 대상에 적합한 영상 포맷의 한 형태로 표준화되어 있어 홈시어터, 스마트폰, 증강/가상 현실기기 등에 구현시 원본 콘텐츠 대비 종횡비 차이가 발생하게 된다.
이 때문에, 특정 표시장치는 임의의 크기의 영상이 입력되면 장치의 환경에 맞는 영상을 구현하기 위해 원본의 형태를 유지하면 영상의 크기를 변경(resizing)하는 등의 영상 처리를 수행해야 한다. 영상 처리는 영상 처리부나 타이밍 제어부 또는 영상 처리부와 타이밍 제어부의 연동에 의해 이루어질 수 있으나 이에 한정되지 않는다.
도 4 (a)의 제1예시와 같이, 가로(16)*세로(9)의 크기로 입력된 입력 영상(Video input)은 가로(18)*세로(9)의 출력 영상(Video output)으로 영상의 크기가 변경될 수 있다. 도 4 (b)의 제2예시와 같이, 가로(18)*세로(9)의 크기로 입력된 입력 영상(Video input)은 가로(16)*세로(9)의 출력 영상(Video output)으로 영상의 크기가 변경될 수 있다.
도 4에서는 (a) 및 (b)와 같이 입력 영상(Video input)의 어느 한 부분(예와 같이 우측)만 크기를 변경하는 것을 일례로 하였지만, 이는 하나의 예시일 뿐 적어도 어느 한 부분에 해당하는 것으로 이해되어야 한다. 예를 들면, 입력 영상의 상, 하, 좌, 우 중 하나의 크기를 변경하거나 상하, 좌우 또는 상하좌우를 변경할 수도 있다.
이처럼, 영상의 크기를 변경할 때에는 입력된 영상의 종횡비를 재지정(retarget)하는 것은 물론이고 이때 원본의 형태를 최대한 자연스럽게 유지하기 위해 왜곡 등을 방지할 필요가 있다.
이하에서는 실험예에 따른 영상 재지정(video retargeting) 방식을 하나 선택하고 이의 문제점을 연구 및 고찰한 후 실험예로부터 예견 및 발생하고 있는 문제를 개선한 실시예를 설명한다.
<실험예>
도 5는 실험예에 따른 영상 재지정 방법을 설명하기 위한 도면이다.
도 5에 도시된 바와 같이, 실험예에 따른 영상 재지정 방법은 영상 입력 단계(S110), 입력된 영상에 대한 2차원 두드러짐 추정 단계(S120), 정경 단계(S130), 표현 단계(S140) 및 재지정 영상 출력 단계(S150)를 포함한다.
영상 입력 단계(S110)는 외부로부터 임의의 입력 영상(Video input)을 입력받는 단계이다.
2차원 두드러짐 추정(2D saliency estimation) 단계(S120)는 입력 영상 내에서 시각적으로 중요한 부분(눈의 초점 또는 관심도 집중 영역 등으로 정의될 수 있음)을 추정하는 단계이다. 2차원 두드러짐은 각 행과 열의 중요성을 결정하기 위해 수평 및 수직의 1차원 두드러짐 프로파일로 구분되어 돌출된다.
2차원 두드러짐 추정 단계(S120)는 낮은 수준의 두드러짐 맵(low-level saliency map)을 사용하기 위해, 다운 샘플링 단계(S121), 쿼터니언 푸리에 변환 단계(S122) 및 가우시안 필터링 단계(S123)를 포함한다.
다운 샘플링(Down sampling) 단계(S121)는 입력된 영상 내에서 데이터가 많은 쪽을 적게 추출하는 단계이다. 다운 샘플링 단계는 낮은 수준의 두드러짐 맵을 사용하기 위한 전처리 단계로 정의될 수 있다. 다운 샘플링을 하면 이후의 과정에서 수행되는 모든 계산 과정에서 발생할 수 있는 복잡도를 낮출 수 있다.
쿼터니언 푸리에 변환 두드러짐 추정(quaternion fourier transform; QFT saliency) 단계(S122)는 다운 샘플링된 영상 내에서 시각적으로 두드러진 부분을 추정할 수 있도록 영상 시퀀스의 위상 스펙트럼을 얻고 이로부터 추정 결과를 획득하는 단계이다.
예컨대, 움직임을 갖는 RGB 동영상 정보는 쿼터니언 재표현 (4 개의 성분을 갖는 복소수)으로 변환된 후 쿼터니언 푸리에 변환법(이하 QFT)에 따라 주파수 공간으로 변환된다. 주파수 영역에서의 위상 정보는 각 쿼터니온을 크기로 정규화되어 추출된다. 그 결과 두드러진 부분은 부드럽게 흐려진다.
가우시안 필터링(Gaussian filtering) 단계(S123)는 추정 결과로 획득한 두드러진 부분에서 고주파 잡음을 제거하는 단계이다. 실험예에서는 고주파 잡음을 제거하기 위해 가우시안 필터링 방법을 사용하는 것을 일례로 하였으나 이에 한정되지 않는다. 또한, 필터링 단계는 경우에 따라 생략될 수도 있다.
정경(Warping) 단계(S130)는 앞서 구한 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 입력 영상의 각 포인트에 해당하는 그리드 크기(grid size)를 계산한 후 그리드 맵(grid map)을 생성하는 단계이다.
정경 단계(S130)는 각 축별로 그리드 크기를 계산하고 이들에 대해 동일한 크기의 그리드 크기를 부여하기 위해, 1차원 두드러짐 계산 단계(S131), 비선형 1차원 스케일 단계(S132), 필터링 단계(S133), 업 샘플링 단계(S134) 및 그리드 생성 단계(S135)를 포함한다.
1차원 두드러짐(1D saliency) 계산 단계(S131)는 수평 및 수직의 1차원 두드러짐 프로파일 각각에 대해 축별 그리드 크기를 계산하는 단계이다. 예컨대, 1차원 두드러짐을 계산할 때에는 수평 1차원 두드러짐 프로파일 및 수직 1차원 두드러짐 프로파일의 일정 영역을 각각 블록화하는 방식으로 일정 단위의 픽셀들을 기준으로 두드러짐 값을 계산(블록 단위 누적 계산)할 수 있으나 이에 한정되지 않는다.
비선형 1차원 스케일(Non-linear 1D scale) 단계(S132)는 시각적으로 두드러진 부분과 같이 중요한 영역의 종횡비를 유지하기 위해 수직 방향 및 수평 방향 모두에 대해 비선형적인 스케일 벡터를 계산하는 단계이다. 예컨대, 스케일 벡터 계산 시, 시각적으로 낮거나 없는 중요 영역을 축소할 경우 1 보다 낮은 스케일링 값을 가질 수 있고, 그 반대로 확대할 경우 1 보다 높은 스케일링 값을 가질 수 있다. 이때, 스케일링의 모든 요소의 합 벡터는 영상 재지정(video retargeting)을 고려하기 위해 요구된 목표 크기와 일치해야 한다.
필터링(Filtering) 단계(S133)는 비선형 1차원 스케일 계산 후 포스트 필터를 적용하여 정규화를 직접 시행하는 단계이다. 입력 영상은 비선형 1차원 스케일 계산까지의 과정을 통해 두드러진 부분 안에서의 고주파 및 저주파 변동을 거치므로 출력 영상에 대한 시공간적 변동을 가져올 수 있다. 그러므로 포스트 필터를 적용하여 정규화를 직접 시행하면 시공간적 변동에 따른 문제를 해소할 수 있다.
예컨대, 필터링 단계(S133)에서는 고주파 성분을 없애기 위해 비인과적 유한 임펄스 응답(acausal finite impulse response; aFIR) 필터를 사용할 수 있고, 저주파 성분을 없애기 위해 무한 임펄스 응답(infinite impulse response; IIR) 필터를 사용할 수 있으나 이에 한정되지 않는다.
업 샘플링(Up sampling) 단계(S134)는 입력된 영상 내에서 데이터가 적은 쪽을 더 많이 추출하는 단계이다. 앞서와 같은 과정을 통해 마련된 샘플링 그리드를 기반으로 실제 목표 해상도를 달성하기 위해서는 수평 및 수직 스케일링 벡터들을 선형적으로 업 샘플링한 후 다시 샘플링 그리드(resampling grid)를 생성해야 하므로, 이 단계를 거치게 된다.
그리드 생성(Grid generation) 단계(S135)는 다시 마련된 샘플링 그리드를 기반으로 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 입력 영상의 각 포인트에 해당하는 그리드 크기(grid size)를 계산한 후 그리드 맵(grid map)을 생성하는 단계이다.
표현(Rendering) 단계(S140)는 이전 단계를 통해 생성된 그리드 맵과 입력 영상을 이용하여 최종적으로 출력할 재지정(retarget) 영상을 표현 및 생성하는 단계이다. 표현 단계(S140)는 타원 가중치 평균(elliptical weighted average; EWA splatting) 방식의 프레임워크(framework) 등을 기반으로 재지정(retarget) 영상을 만들 수 있다. 이때, EWA 프레임 워크는 순방향 매핑을 사용할 수 있고, 최대 해상도 입력 스트림 하에 영상을 다시 샘플링할 수도 있다.
재지정 영상 출력(Retarget video output) 단계(S150)는 입력된 영상에 대하여 종횡비가 재지정된 재지정 영상을 출력하는 단계이다.
실험예는 영상의 영역별 중요도를 계산하고, 이를 고려하여 목표로 하는 해상도에 맞게 입력 영상의 각 포인트의 그리드 크기(grid size)를 계산하고, 그리드 맵(grid map)을 생성하고 이를 이용하여 영상을 표현 및 생성하는 영상 재지정(video retargeting) 방식이다.
실험예는 특히 축별로 그리드 크기를 계산 및 동일한 크기의 그리드 크기를 부여하여 입력 영상에서 같은 축 상에 있던 물체가 출력 영상에서 다른 축 상에 존재하는 구조적 뒤틀림(structure twist)과 같은 왜곡을 방지할 수 있는 이점이 있는 것으로 검토된다.
그러나 실험예는 움직이는 물체가 존재하는 영상에 적용하기 어려운 것으로 검토된다. 일례로, 움직이는 물체의 그리드 크기를 유지하는 것에 우선순위를 둘 경우, 정적인 배경의 그리드 크기가 물체의 움직임에 따라 달라진다. 다른 예로, 정적인 배경의 그리드 크기를 유지하는 것에 우선순위를 둘 경우, 물체의 이동에 따라 그리드 크기가 달라진다. 이처럼, 실험예는 하나의 축에 움직이는 물체와 정적인 배경이 동시에 존재하기 때문에 어느 한쪽에 우선순위를 둘 경우 다른 한쪽이 영향을 받게 되어 영상의 울렁거림 현상을 유발하기 때문이다.
<실시예>
도 6은 본 발명의 실시예에 따른 영상 재지정 방법을 설명하기 위한 도면이고, 도 7은 도 6의 정경 단계를 구체적으로 나타낸 도면이다.
도 6에 도시된 바와 같이, 본 발명의 실시예에 따른 영상 재지정 방법은 영상 입력 단계(S210), 입력된 영상에 대한 2차원 두드러짐 추정 단계(S220), 정경 단계(S230), 표현 단계(S240) 및 재지정 영상 출력 단계(S250)를 포함한다.
영상 입력 단계(S210)는 외부로부터 임의의 입력 영상(Video input)을 입력받는 단계이다.
2차원 두드러짐 추정(2D saliency estimation) 단계(S220)는 입력 영상 내에서 시각적으로 중요한 부분(눈의 초점 또는 관심도 집중 영역 등으로 정의될 수 있음)을 추정하는 단계이다. 2차원 두드러짐은 각 행과 열의 중요성을 결정하기 위해 수평 및 수직의 1차원 두드러짐 프로파일로 구분되어 돌출된다.
2차원 두드러짐 추정 단계(S220)는 낮은 수준의 두드러짐 맵(low-level saliency map)을 사용하기 위해, 다운 샘플링 단계(S221), 쿼터니언 푸리에 변환 단계(S222) 및 가우시안 필터링 단계(S223)를 포함한다.
다운 샘플링(Down sampling) 단계(S221)는 입력된 영상 내에서 데이터가 많은 쪽을 적게 추출하는 단계이다. 다운 샘플링 단계는 낮은 수준의 두드러짐 맵을 사용하기 위한 전처리 단계로 정의될 수 있다. 다운 샘플링을 하면 이후의 과정에서 수행되는 모든 계산 과정에서 발생할 수 있는 복잡도를 낮출 수 있다.
쿼터니언 푸리에 변환 두드러짐 추정(quaternion fourier transform; QFT saliency) 단계(S222)는 다운 샘플링된 영상 내에서 시각적으로 두드러진 부분을 추정할 수 있도록 영상 시퀀스의 위상 스펙트럼을 얻고 이로부터 추정 결과를 획득하는 단계이다.
예컨대, 움직임을 갖는 RGB 동영상 정보는 쿼터니언 재표현 (4 개의 성분을 갖는 복소수)으로 변환된 후 쿼터니언 푸리에 변환법(이하 QFT)에 따라 주파수 공간으로 변환된다. 주파수 영역에서의 위상 정보는 각 쿼터니온을 크기로 정규화되어 추출된다. 그 결과 두드러진 부분은 부드럽게 흐려진다.
가우시안 필터링(Gaussian filtering) 단계(S223)는 추정 결과로 획득한 두드러진 부분에서 고주파 잡음을 제거하는 단계이다. 실시예에서는 고주파 잡음을 제거하기 위해 가우시안 필터링 방법을 사용하는 것을 일례로 하였으나 이에 한정되지 않는다. 또한, 필터링 단계는 경우에 따라 생략될 수도 있다.
정경(Warping) 단계(S230)는 앞서 구한 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 입력 영상의 각 포인트에 해당하는 제1그리드 크기(grid size)를 계산하고, 시간 일관성을 고려한 제2그리드 크기를 계산하고, 제1 및 제2그리드 크기를 기반으로 최종 그리드 크기를 계산한 후 그리드 맵(grid map)을 생성하는 단계이다.
도 6 및 도 7에 도시된 바와 같이, 정경 단계(S230)는 각 축에서 움직이는 물체와 정적인 배경의 비율을 고려하여 각각 계산된 제1그리드 크기값과 제2그리드 크기값을 선형 결합하는 방식으로 최종 그리드 크기를 계산하기 위해, 제1그리드 계산 단계(S239)와 제2그리드 계산 단계(S236), 최종 그리드 계산 단계(S237), 및 그리드 맵 생성 단계(S238)를 포함한다.
제1그리드 계산 단계(S239)는 앞서 구한 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 입력 영상의 각 포인트에 해당하는 그리드 크기(grid size)를 계산하는 단계이다. 높은 두드러짐 값을 가질수록 원본과 유사한 그리드 크기를 갖게 된다. 일반적으로 움직이는 물체는 높은 두드러짐 값을 갖는다.
제1그리드 계산 단계(S239)는 각 축별로 그리드 크기를 계산하고 이들에 대해 동일한 크기의 그리드 크기를 부여하기 위해, 1차원 두드러짐 계산 단계(S231), 비선형 1차원 스케일 단계(S232), 필터링 단계(S233) 및 업 샘플링 단계(S234)를 포함한다.
1차원 두드러짐(1D saliency) 계산 단계(S231)는 수평 및 수직의 1차원 두드러짐 프로파일 각각에 대해 축별 제1그리드 크기를 계산하는 단계이다. 예컨대, 1차원 두드러짐을 계산할 때에는 수평 1차원 두드러짐 프로파일 및 수직 1차원 두드러짐 프로파일의 일정 영역을 각각 블록화하는 방식으로 일정 단위의 픽셀들을 기준으로 두드러짐 값을 계산(블록 단위 누적 계산)할 수 있으나 이에 한정되지 않는다.
비선형 1차원 스케일(Non-linear 1D scale) 단계(S232)는 시각적으로 두드러진 부분과 같이 중요한 영역의 종횡비를 유지하기 위해 수직 방향 및 수평 방향 모두에 대해 비선형적인 스케일 벡터를 계산하는 단계이다. 스케일 벡터 계산 시, 시각적으로 낮거나 없는 중요 영역을 축소할 경우 1 보다 낮은 스케일링 값을 가질 수 있고, 그 반대로 확대할 경우 1 보다 높은 스케일링 값을 가질 수 있다. 이때, 스케일링의 모든 요소의 합 벡터는 영상 재지정(video retargeting)을 고려하기 위해 요구된 목표 크기와 일치해야 한다. 비선형 1차원 스케일은 하기의 수식에 의해 계산될 수 있다.
Figure pat00003
위의 수식에서 GS s Down (k)는 k번째 축에서의 그리드 크기를 나타내고, S h 는 두드러짐 값을 나타내고,
W' down 은 목표 해상도의 폭의 1/2값을 의미하고, R max 은 그리드 크기의 최대값을 의미하고, R min 은 그리드 크기의 최소값을 의미한다.
필터링(Filtering) 단계(S233)는 비선형 1차원 스케일 계산 후 포스트 필터를 적용하여 정규화를 직접 시행하는 단계이다. 입력 영상은 비선형 1차원 스케일 계산까지의 과정을 통해 두드러진 부분 안에서의 고주파 및 저주파 변동을 거치므로 출력 영상에 대한 시공간적 변동을 가져올 수 있다. 그러므로 포스트 필터를 적용하여 정규화를 직접 시행하면 시공간적 변동에 따른 문제를 해소할 수 있다.
예컨대, 필터링 단계(S233)에서는 고주파 성분을 없애기 위해 비인과적 유한 임펄스 응답(acausal finite impulse response; aFIR) 필터를 사용할 수 있고, 저주파 성분을 없애기 위해 무한 임펄스 응답(infinite impulse response; IIR) 필터를 사용할 수 있으나 이에 한정되지 않는다.
업 샘플링(Up sampling) 단계(S234)는 입력된 영상 내에서 데이터가 적은 쪽을 더 많이 추출하는 단계이다. 앞서와 같은 과정을 통해 마련된 샘플링 그리드를 기반으로 실제 목표 해상도를 달성하기 위해서는 수평 및 수직 스케일링 벡터들을 선형적으로 업 샘플링한 후 다시 샘플링 그리드(resampling grid)를 생성해야 하므로, 이 단계를 거치게 된다.
제2그리드 계산 단계(S236)는 시간 일관성을 고려해서 그리드 크기(grid size)를 계산하기 위해 이전 프레임의 그리드 포인트와 현재 프레임의 그리드 포인트의 위치가 동일해질 수 있도록 그리드 크기를 계산하는 단계이다. 이 단계에서는 이전 프레임의 그리드 포인트와 현재 프레임의 그리드 포인트의 위치가 최대한 동일해지거나 근접해지는 수렴값을 찾는 것이다. 이때, 각 축별 그리드 크기는 하기의 수식에 의해 계산될 수 있다.
Figure pat00004
위의 수식에서 Pos k prev 는 이전 프레임의 그리드 맵에서 k번째 축(시간축)의 위치를 의미하고, Pos k -1 cur 는 현재 프레임의 그리드 맵에서 k번째 축의 위치를 의미하며, GS T k 는 k번째 축에서의 시간 일관성( T )을 고려한 그리드 크기를 나타낸다. 이 수식을 기반으로 한 그리드 크기의 계산으로 인하여, 정적인 배경의 그리드 포인트의 위치가 유지됨으로써 영상에서 배경이 울렁거리는 현상을 방지할 수 있다.
최종 그리드 크기(grid size) 계산 단계(S237)는 앞서 구한 제1그리드 크기와 제2그리드 크기를 각 축의 정적인 배경과 움직이는 물체의 비율을 고려하여 각 축마다 최종 그리드 크기를 계산하는 단계이다. 이때, 최종 그리드 크기는 아래의 수식에 의해 계산될 수 있다.
Figure pat00005
Figure pat00006
위의 수식에서 N k dist _pixel 는 k번째 축에서 이전 프레임의 휘도 값과 현재 프레임의 휘도 값의 차가 많은(영상의 변화가 큰) 픽셀의 수이며, N k tot 는 k번째 축의 픽셀 수를 나타낸다. W S k , W T k 는 각각 k번째 축에서의 GS S k 와 GS T k 에 대한 가중치를 나타낸다. GS k 는 k번째 축에서의 최종 그리드 크기를 나타낸다.
위의 수식에서, 이전 프레임의 휘도 값과 현재 프레임의 휘도 값의 차이가 많은 픽셀의 수를 예컨대 "20 이상인 픽셀의 수"를 일례로 설정할 수 있으나 이는 하나의 예시일 뿐 픽셀의 수는 실험 결과에 기초하여 최적화될 수 있다.
한편, 정적인 배경에서의 그리드 크기의 변화는 움직이는 물체의 그리드 크기의 변화보다 인지하기 쉽다. 따라서, 실시예에서는 정적인 배경의 시간 일관성을 잘 유지하기 위해 그리드 크기의 변화에 대한 경계값을 설정한다. 그리고 설정된 경계값을 넘으면 그리드 크기를 재설정한다. 이때, 그리드 크기의 재설정은 아래의 수식에 의해 계산될 수 있다.
Figure pat00007
위의 수식에서 GS T k , GS k 는 각각 k번째 축에서의 시간 일관성을 고려한 그리드 크기와 최종 그리드 크기를 나타내며 λ는 최종 그리드 크기가 설정된 경계값보다 너무 크거나 작을 경우의 절삭을 위해 0.1로 설정할 수 있으나 이는 실험 결과에 기초하여 최적화될 수 있다.
그리드 맵(Grid map) 생성 단계(S238)는 각 그리드 포인트의 그리드 크기를 누적해서 그리드 맵(grid map)을 생성하는 단계이다. 이때, 그리드 맵은 아래의 수식에 의해 계산될 수 있다.
Figure pat00008
위의 수식에서 Pos k prev , Pos k - 1 cur 는 각각 이전 프레임과 현재 프레임의 그리드 맵에서 k번째 축의 위치를 의미하며 GS k 는 최종 그리드 크기를 나타낸다.
표현(Rendering) 단계(S240)는 이전 단계를 통해 생성된 그리드 맵과 입력 영상을 이용하여 최종적으로 출력할 재지정(retarget) 영상을 표현 및 생성하는 단계이다. 표현 단계(S240)는 타원 가중치 평균(elliptical weighted average; EWA splatting) 방식의 프레임워크(framework) 등을 기반으로 재지정(retarget) 영상을 만들 수 있다. 이때, EWA 프레임 워크는 순방향 매핑을 사용할 수 있고, 최대 해상도 입력 스트림 하에 영상을 다시 샘플링할 수도 있다.
재지정 영상 출력(Retarget video output) 단계(S250)는 입력된 영상에 대하여 종횡비가 재지정된 재지정 영상을 출력하는 단계이다.
이상, 본 발명의 실시예는 동일한 축에 동일한 그리드 크기가 부여되기 때문에 입력 영상에서 동일한 축 상에 있던 물체가 출력 영상에서 다른 축 상에 존재하는 구조적 뒤틀림(structure twist)과 같은 왜곡을 방지할 수 있다. 또한, 본 발명의 실시예는 1차원에서 그리드 크기를 계산하기 때문에 계산량이 적다. 또한, 본 발명의 실시예는 각 축의 정적인 배경과 움직이는 물체의 비율을 고려하기 때문에 비중이 높은 물체의 시간적 일관성을 잘 유지 할 수 있다.
본 발명의 실시예에 따라 시간 일관성을 고려한 방식의 효과를 검증하기 위해서 실험예와 실시예를 비교 실험한 결과를 설명하면 다음과 같다.
<제1예시>
도 8은 및 도 9는 실시예에 따라 시간 일관성을 고려한 방식의 효과를 검증하기 위해 실험예와 실시예를 비교 실험한 결과를 나타낸 제1예시도들이다.
제1예시에서는 실시예의 방법과 실험예의 방법을 이용하여 가로와 세로의 크기 16:9 영상을 18:9 영상으로 변환하였다. 이때 실시예의 방법에 대한 시간적 일관성을 평가하였다. 실험예는 앞서 설명된 Greisen[1] 방법을 사용하였다.
그리고 입력 영상으로는 텔레비전 프로그램으로서, 1280*720 해상도를 갖는 "연애의 발견" 영상 800 프레임과 "마리텔(마이 리틀 텔레비전) 영상" 500 프레임을 사용하였다. 제1예시에서는 시간적 일관성을 판단하기 위한 평가 지표로써 Jittery Metric(JM)[2]을 사용했다. Jittery Metric(JM)은 아래의 수식에 의해 계산될 수 있다.
Figure pat00009
Figure pat00010
위의 수식에서 S k,j cols 는 현재 프레임의 k번째 축의 그리드 크기를 나타내고, S k,j-1 cols 는 이전 프레임의 k번째 축의 그리드 크기를 나타내며, DS k,j cols 는 현재 프레임과 이전 프레임의 k번째 축의 그리드 크기의 차이를 나타낸다. N은 입력 영상의 너비를 나타내며 JM j 는 현재 프레임과 이전 프레임에 대한 수평 방향으로의 Jittery Metric(JM)을 나타낸다. 이때, DS와 JM 값이 낮을수록 시간 일관성을 보다 잘 유지한다고 할 수 있다.
실험예에 해당하는 Greisen 방법[1]은 P. Greisen이 제안한 것으로서, “Algorithm and VLSI architecture for real-time 1080p60 video retargeting,”와 같이 2012년 ACM SIGGRAPH에 등재된 바 있다.
평가 지표에 해당하는 Jittery Metric(JM)[2]은 Bo Yan이 제안한 것으로서, “Effective video retargeting with jittery assessment,”와 같이 2014년 IEEE Transactions on multimedia에 등재된 바 있다.
도 8의 그래프에서 가로축은 컬럼 인덱스(Column index)이고, 세로축은 그리드 크기(DS)이다. 도 9의 그래프에서 가로축은 프레임 넘버(Frame number)이고, 세로축은 Jittery Metric(JM)이다.
제1예시에서는 실험예와 실시예 간의 비교를 위해 동일한 영상의 일부 프레임에서 나타나는 그리드 크기 분포를 발췌하여 도 8의 그래프로 나타낸 것이고, 실험예와 실시예 간의 시간적 일관성의 유무 차이를 판단할 수 있도록 텔레비전 프로그램 2개에 나타나는 Jittery Metric (JM)를 발췌하여 도 9의 그래프로 나타낸 것이다.
도 8 및 9에 도시된 실험 결과를 통해 알 수 있듯이, 실시예의 방법(Proposed method)이 실험예의 방법(Greisen's method)에 비해 DS와 JM 값이 전반적으로 낮은 것을 확인할 수 있다.
예컨대, 실험예의 방법(Greisen's method)을 따르면, 도 8의 제6프레임(<Frame #6>), 제9프레임(<Frame #9>), 제12프레임(<Frame #12>)에 표시된 바와 같이 특정 영상에서 시간적 일관성을 벗어난 부분(PT)이 발생하는 것을 볼 수 있다. 그러나 실시예의 방법(Proposed method)은 실험예와 동일한 프레임에서도 시간적 일관성을 유지할 수 있어 "PT"와 같은 부분이 발생하지 않음을 알 수 있다.
<제2예시>
도 10은 및 도 11은 실시예에 따라 시간 일관성을 고려한 방식의 효과를 검증하기 위해 실험예와 실시예를 비교 실험한 결과를 나타낸 제2예시도들이다.
제2예시에서는 제1예시와 동일한 조건으로 실험하되, 평가 지표를 Jittery Metric-II(JM-II)으로 변경하였다. 이 평가 지표는 그리드 크기가 아닌 그리드 포인트(grid point)의 위치를 고려하여 제안된 것이다. Jittery Metric-II(JM-II)는 아래의 수식에 의해 계산될 수 있다.
Figure pat00011
Figure pat00012
위의 수식에서 P k,j cols 는 현재 프레임의 k번째 축의 그리드 포인트의 위치를 나타내고, P k,j - 1 cols 는 이전 프레임의 k번째 축의 그리드 포인트의 위치를 나타내며, PD k,j cols 는 현재 프레임과 이전 프레임의 k번째 축의 그리드 포인트의 위치 차이를 나타낸다. N은 입력 영상의 너비를 나타내며 JM - II j 는 현재 프레임과 이전 프레임에 대한 수평 방향으로의 Jittery Metric(JM-II)을 나타낸다. 이때, 그리드 포인트의 위치와 JM-II 값은 낮을수록 정적인 배경에서 시간 일관성을 보다 잘 유지한다고 할 수 있다.
도 10의 그래프에서 가로축은 픽셀 넘버(Pixel number)이고, 세로축은 그리드 포인트의 위치(PD)이다. 도 11의 그래프에서 가로축은 프레임 넘버(Frame number)이고, 세로축은 Jittery Metric(JM-II)이다.
제2예시는 실험예와 실시예 간의 비교를 위해 동일한 영상의 일부 프레임에서 나타나는 그리드 포인트의 위치 분포를 발췌하여 도 10의 그래프로 나타낸 것이고, 실험예와 실시예 간의 시간적 일관성의 유무 차이를 판단할 수 있도록 텔레비전 프로그램 2개에 나타나는 Jittery Metric(JM-II)를 발췌하여 도 11의 그래프로 나타낸 것이다.
도 10 및 11에 도시된 실험 결과를 통해 알 수 있듯이, 그리드 포인트의 위치 값은 그리드 크기를 누적해서 계산되는 값이기 때문에, 실시예의 방법(Proposed method)과 실험예의 방법(Greisen's method) 간의 JM-II 값의 차이가 큰 것을 확인할 수 있다.
예컨대, 실험예의 방법(Greisen's method)을 따르면, 도 10의 제6프레임(<Frame #6>), 제9프레임(<Frame #9>), 제12프레임(<Frame #12>)에 표시된 바와 같이 특정 영상에서 시간적 일관성을 벗어난 부분(PT)이 발생하는 것을 볼 수 있다. 그러나 실시예의 방법(Proposed method)은 실험예와 동일한 프레임에서도 시간적 일관성을 유지할 수 있어 "PT"와 같은 부분이 발생하지 않음을 알 수 있다.
HD급 영상에서 그리드 포인트의 위치(PD) 값이 0.1 이상의 값을 지니는 경우 정적인 배경이 울렁거리는 현상을 느낄 수 있다. 도 10을 통해 알 수 있듯이, 실시예의 방법(Proposed method)은 0.1보다 낮은 그리드 포인트의 위치 값을 갖는 반면 실험예의 방법(Greisen's method)은 이보다 훨씬 높은 그리드 포인트의 위치 값을 갖는다. 그러므로 실시예의 방법(Proposed method)은 정적인 배경이 울렁거리는 현상을 방지할 수 있다.
이하, 정지 영상과 인접하여 시각적으로 두드러진 부분에 해당하는 동영상이 프레임마다 다르게 나타나는 영상을 실험예의 방법과 실시예의 방법으로 처리할 때 최종 영상에서 나타나는 변화 양상을 알기 쉽게 도시하면 다음과 같다.
도 12는 실험예의 방법과 실시예의 방법을 사용함에 따라 최종 출력 영상에서 나타나는 변화의 양상을 알기 쉽게 도시한 도면이다. 도 12에서 좌측의 솔리드 패턴이 들어간 타원은 정지 영상(예: 자막이나 배경 등)에 해당하고, 우측의 사선 패턴이 들어간 타원은 동영상(예: 움직이는 물체나 사람 등)에 해당한다.
이상적으로는 정지 영상 내에 "t+1과 t+3"과 같은 특정 시간대에 동영상이 존재하더라도 동영상이 존재하지 않았던 "t와 t+2"와 같이 시간적 위치가 변하지 않고 동일하게 유지되어야 한다. 그러나 실험예를 통해 알게 된 바와 같이, 입력된 영상의 크기를 변경할 경우 시간적 위치에 변동이 발생한다.
도 12의 (a)에 도시된 실험예는 정지 영상과 인접하여 동영상이 프레임마다 다르게 나타날 경우 5번 위치에서 볼 수 있는 바와 같이 시간적 위치변동 폭이 크게 발생함을 알 수 있다.
반면, 도 12의 (b)에 도시된 실시예는 정지 영상과 인접하여 동영상이 프레임마다 다르게 나타날 경우 실험예와 같이 5번 위치에서 시간적 위치변동 폭이 발생하긴 하지만 실험예 대비 시간적 위치 변동 폭이 작게 발생함을 알 수 있다.
이상 본 발명은 영상의 크기 변경(resizing) 시, 구조적 뒤틀림(Structure twist) 현상을 방지하면서 시간 일관성을 유지할 수 있는 영상 처리 방법을 제공하는 효과가 있다. 또한, 본 발명은 움직이는 물체와 정적인 배경이 공존하는 영상의 크기 변경(resizing) 시, 시간 일관성을 고려한 영상 처리 방법으로 원본의 형태를 최대한 자연스럽게 유지하면서 물체의 움직임에 따른 영상의 울렁거림을 최소화하고 고품질의 영상을 표시할 수 있는 표시장치를 제공하는 효과가 있다.
이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 한다. 아울러, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어진다. 또한, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
110: 영상 처리부 120: 타이밍 제어부
130: 데이터 구동부 140: 스캔 구동부
150: 표시 패널 SP: 서브 픽셀(들)
S110: 영상 입력 단계 S120: 2차원 두드러짐 추정 단계
S130: 정경 단계 S140: 표현 단계
S150: 재지정 영상 출력 단계

Claims (10)

  1. 영상을 표시하는 표시 패널;
    상기 표시 패널을 구동하는 구동부; 및
    상기 구동부를 제어하고 외부로부터 입력된 영상을 영상 처리하는 제어부를 포함하고,
    상기 제어부는 입력 영상 내에서 시각적으로 중요한 부분에 해당하는 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 상기 입력 영상의 각 포인트에 해당하는 제1그리드 크기를 계산함과 더불어 시간 일관성을 고려하여 제2그리드 크기를 계산하고, 상기 제1 및 제2그리드 크기를 기반으로 최종 그리드 크기를 계산한 후 그리드 맵을 생성하고, 상기 그리드 맵과 상기 입력 영상을 기반으로 최종적으로 출력할 재지정 영상을 표현 및 생성하는 표시장치.
  2. 제1항에 있어서,
    상기 제어부는
    상기 시간 일관성을 고려하여 상기 제2그리드 크기를 계산하기 위해 이전 프레임의 그리드 포인트 위치에서 현재 프레임의 그리드 포인트의 위치를 차감하는 표시장치.
  3. 제1항에 있어서,
    상기 제어부는
    상기 제1그리드 크기와 상기 제2그리드 크기를 각 축의 정적인 배경과 움직이는 물체의 비율을 고려하여 각 축마다 최종 그리드 크기를 계산하는 표시장치.
  4. 제3항에 있어서,
    상기 제어부는
    상기 최종 그리드 크기를 계산하기 위해 이전 프레임의 휘도 값과 현재 프레임의 휘도 값의 차가 많은(영상의 변화가 큰) 픽셀에 가중치를 부여하는 표시장치.
  5. 제1항에 있어서,
    상기 제어부는
    상기 제2그리드 크기는 하기의 수식에 의해 계산되고,
    Figure pat00013

    위의 수식에서 Pos k prev 는 이전 프레임의 그리드 맵에서 k번째 축(시간축)의 위치를 의미하고, Pos k - 1 cur 는 현재 프레임의 그리드 맵에서 k번째 축의 위치를 의미하며, GS T k 는 k번째 축에서의 시간 일관성( T )을 고려한 그리드 크기를 나타내는 표시장치.
  6. 입력 영상 내에서 시각적으로 중요한 부분에 해당하는 두드러짐 값을 추정하는 단계;
    상기 두드러짐 값을 고려해서 목표로 하는 해상도에 맞게 상기 입력 영상의 각 포인트에 해당하는 제1그리드 크기를 계산함과 더불어 시간 일관성을 고려하여 제2그리드 크기를 계산하는 단계;
    상기 제1 및 제2그리드 크기를 기반으로 최종 그리드 크기를 계산한 후 그리드 맵을 생성하는 단계; 및
    상기 그리드 맵과 상기 입력 영상을 기반으로 최종적으로 출력할 재지정 영상을 표현 및 생성하는 단계를 포함하는 영상 처리 방법.
  7. 제6항에 있어서,
    상기 그리드 크기를 계산하는 단계는
    상기 시간 일관성을 고려하여 상기 제2그리드 크기를 계산하기 위해 이전 프레임의 그리드 포인트 위치에서 현재 프레임의 그리드 포인트의 위치를 차감하는 영상 처리 방법.
  8. 제6항에 있어서,
    상기 최종 그리드 크기를 계산하는 단계는
    각 축에서 움직이는 물체와 정적인 배경의 비율을 고려하여 각각 계산된 상기 제1그리드 크기값과 상기 제2그리드 크기값을 선형 결합하여 상기 최종 그리드 크기를 계산하는 영상 처리 방법.
  9. 제8항에 있어서,
    상기 최종 그리드 크기를 계산하는 단계는
    이전 프레임의 휘도 값과 현재 프레임의 휘도 값의 차가 많은(영상의 변화가 큰) 픽셀에 가중치를 부여하는 영상 처리 방법.
  10. 제6항에 있어서,
    상기 제2그리드 크기는 하기의 수식에 의해 계산되고,
    Figure pat00014

    위의 수식에서 Pos k prev 는 이전 프레임의 그리드 맵에서 k번째 축(시간축)의 위치를 의미하고, Pos k - 1 cur 는 현재 프레임의 그리드 맵에서 k번째 축의 위치를 의미하며, GS T k 는 k번째 축에서의 시간 일관성( T )을 고려한 그리드 크기를 나타내는 영상 처리 방법.
KR1020170154004A 2017-11-17 2017-11-17 영상 처리 방법 및 이를 이용한 표시장치 KR102340942B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170154004A KR102340942B1 (ko) 2017-11-17 2017-11-17 영상 처리 방법 및 이를 이용한 표시장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170154004A KR102340942B1 (ko) 2017-11-17 2017-11-17 영상 처리 방법 및 이를 이용한 표시장치

Publications (2)

Publication Number Publication Date
KR20190056740A true KR20190056740A (ko) 2019-05-27
KR102340942B1 KR102340942B1 (ko) 2021-12-17

Family

ID=66678994

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170154004A KR102340942B1 (ko) 2017-11-17 2017-11-17 영상 처리 방법 및 이를 이용한 표시장치

Country Status (1)

Country Link
KR (1) KR102340942B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021059870A1 (ko) * 2019-09-27 2021-04-01

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523979A (ja) * 2003-04-17 2006-10-19 トムソン ライセンシング データ要求送信装置及びプロセス並びに対応するプロダクツ
KR20130077379A (ko) * 2011-12-29 2013-07-09 삼성영상보안주식회사 영상변화율 가중치를 적용한 다중 영상 모니터링 시스템
KR20140042860A (ko) * 2011-07-19 2014-04-07 톰슨 라이센싱 비디오 신호를 리프레이밍 및 인코딩하는 방법 및 장치
JP2015126238A (ja) * 2013-12-25 2015-07-06 キヤノン株式会社 映像投影装置、映像投影方法及びプログラム
US9196216B2 (en) * 2011-12-07 2015-11-24 Parade Technologies, Ltd. Frame buffer management and self-refresh control in a self-refresh display system
JP2016524423A (ja) * 2013-06-21 2016-08-12 クアルコム，インコーポレイテッド ユーザ選択関心領域を超解像するためのシステムおよび方法
KR20170085392A (ko) * 2016-01-14 2017-07-24 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006523979A (ja) * 2003-04-17 2006-10-19 トムソン ライセンシング データ要求送信装置及びプロセス並びに対応するプロダクツ
US20060271982A1 (en) * 2003-04-17 2006-11-30 Gilles Gallou Data requesting and transmitting devices and processes
KR20140042860A (ko) * 2011-07-19 2014-04-07 톰슨 라이센싱 비디오 신호를 리프레이밍 및 인코딩하는 방법 및 장치
US9196216B2 (en) * 2011-12-07 2015-11-24 Parade Technologies, Ltd. Frame buffer management and self-refresh control in a self-refresh display system
KR20130077379A (ko) * 2011-12-29 2013-07-09 삼성영상보안주식회사 영상변화율 가중치를 적용한 다중 영상 모니터링 시스템
JP2016524423A (ja) * 2013-06-21 2016-08-12 クアルコム，インコーポレイテッド ユーザ選択関心領域を超解像するためのシステムおよび方法
JP2015126238A (ja) * 2013-12-25 2015-07-06 キヤノン株式会社 映像投影装置、映像投影方法及びプログラム
KR20170085392A (ko) * 2016-01-14 2017-07-24 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021059870A1 (ko) * 2019-09-27 2021-04-01
WO2021059870A1 (ja) * 2019-09-27 2021-04-01 富士フイルム株式会社 制御装置、制御方法、制御プログラム、及び投影システム
US11895446B2 (en) 2019-09-27 2024-02-06 Fujifilm Corporation Control device, control method, control program, and projection system

Also Published As

Publication number Publication date
KR102340942B1 (ko) 2021-12-17

Similar Documents

Publication Publication Date Title
CN110650368B (zh) 视频处理方法、装置和电子设备
US6788309B1 (en) Method and apparatus for generating a video overlay
KR100815010B1 (ko) Ｌｃｄ 모션 블러 선보상 방법
JP4864038B2 (ja) 表示面に表示する画像を変換する方法及び装置
US10593020B2 (en) Unsupervised learning approach for video deblurring
EP2164040B1 (en) System and method for high quality image and video upscaling
US9407797B1 (en) Methods and systems for changing duty cycle to reduce judder effect
JP5051983B2 (ja) フレームレート制御によるｌｃｄぼけ低減
WO2019101005A1 (zh) 像素补偿方法、装置和终端设备
KR101987079B1 (ko) 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법
Niu et al. Warp propagation for video resizing
US8233748B2 (en) Image-resolution-improvement apparatus and method
CN111292236A (zh) 使用交叉分辨率调整而减少中央凹注视渲染中的混叠伪像
US11756506B2 (en) Method and device for adjusting image quality, and readable storage medium
JP6904842B2 (ja) 画像処理装置、画像処理方法
WO2014008329A1 (en) System and method to enhance and process a digital image
Har-Noy et al. LCD motion blur reduction: A signal processing approach
CN113344820A (zh) 图像处理方法及装置、计算机可读介质、电子设备
KR102340942B1 (ko) 영상 처리 방법 및 이를 이용한 표시장치
US11062424B2 (en) Systems and methods for motion adaptive filtering as pre-process to video encoding
KR20200080926A (ko) 영상 처리 장치 및 그 영상 처리 방법
US11954867B2 (en) Motion vector generation apparatus, projection image generation apparatus, motion vector generation method, and program
KR102315969B1 (ko) 영상 처리 방법 및 이를 이용한 표시장치
US11328494B2 (en) Image processing apparatus, image processing method, and storage medium
Barladian et al. An effective tone mapping operator for high dynamic range images

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant