KR20120079794A - 영상 처리 장치 및 방법 - Google Patents

영상 처리 장치 및 방법 Download PDF

Info

Publication number
KR20120079794A
KR20120079794A KR1020110040768A KR20110040768A KR20120079794A KR 20120079794 A KR20120079794 A KR 20120079794A KR 1020110040768 A KR1020110040768 A KR 1020110040768A KR 20110040768 A KR20110040768 A KR 20110040768A KR 20120079794 A KR20120079794 A KR 20120079794A
Authority
KR
South Korea
Prior art keywords
viewpoint
image
pixel
weight parameter
parameter
Prior art date
Application number
KR1020110040768A
Other languages
English (en)
Inventor
이승신
이석
이재준
위호천
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/343,370 priority Critical patent/US20120170841A1/en
Publication of KR20120079794A publication Critical patent/KR20120079794A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)

Abstract

영상 처리 장치가 제공된다. 영상 처리 장치의 시점 변환부는, 제1 해상도의 제1 시점 칼라 영상을 제3 시점으로 시점 변환하여 제1 시점 변환 영상을 생성하고, 상기 제1 해상도 보다 큰 제2 해상도의 제2 시점 칼라 영상을 상기 제3 시점으로 시점 변환하여 제2 시점 변환 영상을 생성한다. 그리고, 영상 처리 장치의 파라미터 계산부는 상기 제1 시점 변환 영상과 상기 제2 시점 변환 영상의 각각에 적용되는 픽셀별 가중치 파라미터를 계산하고, 영상 생성부는 상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점에 대응하는 제3 시점 칼라 영상을 생성할 수 있다.

Description

영상 처리 장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}
3D(3 Dimensional) 영상을 제공하기 위한 영상 처리 장치 및 방법에 연관되며, 보다 특정하게는 스테레오스코픽 디스플레이(Stereoscopic display) 또는 오토스테레오스코픽 3D 디스플레이(Autostereoscopic 3D display)에 있어서, 임의의 시점에 대응하는 영상을 생성하는 장치 및 방법에 연관된다.
최근 확대되고 있는 3D 영상 서비스에서 주로 적용되고 있는 안경식(glass type) 스테레오스코픽 디스플레이는, 안경을 착용하여야 하는 불편함, 좌우 영상 한 쌍 만을 이용함으로 인해 발생하는 시점 영역의 한계, 및 운동 시차(motion parallax) 등 제한 사항이 많다.
이를 해결하기 위하여 다수개의 영상을 이용하여 안경이 없이도 여러 시점 구현이 가능한 멀티 뷰(multi-view) 디스플레이에 대한 연구가 활발하게 수행되고 있으며, 이와 더불어 MPEG 3DV 등 멀티 뷰 영상을 위한 포맷 및 압축에 대한 표준화 활동도 진행이 되고 있다.
이러한 멀티 뷰 영상 방식에서는 여러 시점에서의 영상을 전송해야 하는데, 필요한 모든 시점에서의 입체 영상 전부를 전송하는 방식은 대역폭을 너무 많이 요구하여 구현이 어렵다.
따라서 제한된 개수의 시점 영상과 더불어 깊이(depth) 및/또는 디스패러티(disparity) 등의 부가 정보를 함께 전송하여, 수신장치에서 필요한 개수의 시점 영상들을 생성하여 표시하는 방식이 주로 고려되고 있다.
혼합 해상도(mixed resolution) 멀티 뷰 영상에서 임의의 시점 영상을 생성하는 경우, 해상도 저하를 최소화하여 우수한 화질의 멀티 뷰 영상을 제공하는 영상 처리 장치 및 방법이 제공된다.
전송 대역폭에 대비한 멀티 뷰 영상의 품질을 높이는 영상 처리 장치 및 방법이 제공된다.
본 발명의 일측에 따르면, 제1 해상도의 제1 시점 칼라 영상을 제3 시점으로 시점 변환하여 제1 시점 변환 영상을 생성하고, 상기 제1 해상도 보다 큰 제2 해상도의 제2 시점 칼라 영상을 상기 제3 시점으로 시점 변환하여 제2 시점 변환 영상을 생성하는 시점 변환부, 상기 제1 시점 변환 영상과 상기 제2 시점 변환 영상의 각각에 적용되는 픽셀별 가중치 파라미터를 계산하는 파라미터 계산부, 및 상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점에 대응하는 제3 시점 칼라 영상을 생성하는 영상 생성부를 포함하는, 영상 처리 장치가 제공된다.
본 발명의 일실시예에 따르면, 상기 영상 처리 장치는, 상기 제2 시점 변환 영상에서 고주파 성분이 포함된 영역을 추출하는 고주파 성분 추출부를 더 포함한다.
이 경우, 상기 파라미터 계산부는, 추출된 고주파 성분이 포함된 영역에 대해서는 다른 영역보다 상기 제2 시점 변환 영상에 픽셀별 가중치 파라미터를 높게 계산할 수 있다.
또한, 상기 파라미터 계산부는, 추출된 고주파 성분의 주파수에 비례하여 상기 제2 시점 변환 영상에 픽셀별 가중치 파라미터를 높게 계산할 수도 있다.
본 발명의 일실시예에 따르면, 상기 파라미터 계산부는, 상기 제1 시점과 상기 제3 시점 사이의 거리에 반비례하는 제1 시점 거리 가중치 파라미터 및 상기 제2 시점과 상기 제3 시점 사이의 거리에 반비례하는 제2 시점 거리 가중치 파라미터를 계산한다.
이 경우, 상기 영상 생성부는, 상기 계산된 픽셀별 가중치 파라미터 및 상기 제1 시점 거리 가중치 파라미터를 상기 제1 시점 변환 영상에 적용하고, 상기 계산된 픽셀별 가중치 파라미터 및 상기 제2 시점 거리 가중치 파라미터를 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점 칼라 영상을 생성할 수 있다.
또한, 파라미터 계산부는, 추출된 상기 고주파 성분의 주파수를 기초로, 상기 제1 시점 변환 영상에 기 설정된 주파수 이상의 주파수를 감쇄 없이 통과시키는 고대역 통과 필터(high pass filter)를 적용할 수 있다.
이 경우, 상기 파라미터 계산부는, 상기 제2 시점 변환 영상에서 상기 고주파 성분이 추출된 위치에 대응하는 상기 제1 변환 영상의 픽셀에 상기 고대역 통과 필터를 적용할 수 있다.
이 경우, 상기 영상 생성부는, 상기 계산된 픽셀별 가중치 파라미터, 제1 시점 거리 가중치 파라미터 및 상기 고대역 통과 필터를 상기 제1 시점 변환 영상에 적용하고, 상기 계산된 픽셀별 가중치 파라미터 및 제2 시점 거리 가중치 파라미터를 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점 칼라 영상을 생성할 수 있다.
한편, 상기 시점 변환부는, 상기 제1 시점 칼라 영상에 대응하는 제1 시점 깊이 영상의 깊이 정보, 및 상기 제2 시점 칼라 영상에 대응하는 제2 시점 깊이 영상의 깊이 정보를 이용하여, 상기 제3 시점의 위치에 따른 이미지 워핑을 상기 제1 시점 칼라 영상 및 상기 제2 시점 칼라 영상에 수행하여 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상을 생성할 수 있다.
본 발명의 일실시예에 따르면, 상기 영상 생성부는, 상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하고, 픽셀별 선형 합을 구하여, 상기 제3 시점 칼라 영상을 생성한다. 한편, 생성된 제3 시점 칼라 영상은 상기 제2 해상도를 갖는다.
본 발명의 다른 일측에 따르면, 제1 해상도의 제1 시점 칼라 영상을 제3 시점으로 시점 변환하여 제1 시점 변환 영상을 생성하고, 상기 제1 해상도 보다 큰 제2 해상도의 제2 시점 칼라 영상을 상기 제3 시점으로 시점 변환하여 제2 시점 변환 영상을 생성하는 시점 변환 단계, 상기 제1 시점 변환 영상과 상기 제2 시점 변환 영상의 각각에 적용되는 픽셀별 가중치 파라미터를 계산하는 파라미터 계산 단계, 및 상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점에 대응하는 제3 시점 칼라 영상을 생성하는 영상 생성 단계를 포함하는, 영상 처리 방법이 제공된다.
저해상도인 제1 시점 영상과 고해상도인 제2 시점 영상을 이용하여 임의의 제3 시점의 영상을 생성하는 경우, 선명도를 높일 수 있다.
전송 대역폭의 한계에도 불구하고, 좋은 품질의 멀티 뷰 영상을 제공할 수 있다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에서 전송되는 멀티 뷰 영상을 설명하기 위한 개념도이다.
도 3은 본 발명의 일실시예에 따라 전송되는 저해상도의 제1 시점 영상 및 고해상도의 제2 시점 영상을 도시한다.
도 4는 본 발명의 일실시예에 따라 고해상도의 제2 시점 영상으로부터 고주파 성분을 추출한 예시적 결과를 도시한다.
도 5는 본 발명의 일실시예에 따라 제2 시점 영상을 제3 시점으로 시점 변환한 영상의 픽셀들을 도시한다.
도 6은 본 발명의 일실시예에 따라 제1 시점 영상을 제3 시점으로 시점 변환한 영상의 픽셀들을 도시한다.
도 7은 본 발명의 일실시예에 따라 생성된 예시적인 제3 시점 영상을 도시한다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따른 영상 처리 장치(100)를 도시한다.
본 발명의 일실시예에 따르면, 영상 처리 장치(100)에는 복수 개의 시점에 대응하는 멀티 뷰 영상(multi-view images)이 입력된다.
영상 처리 장치(100)에 입력되는 멀티 뷰 영상의 각 시점 영상은 칼라 영상(color image)과 깊이 영상(depth image)의 한 쌍으로 구성될 수 있다. 이러한 포맷을 Multiple Video and Depth (MVD) 3D video format 이라 하기도 한다.
통상적으로 MVD 3D video format에서는 동일한 해상도를 갖는 복수개의 칼라 영상들과 깊이 영상들을 포함하므로, 전송되어야 하는 영상의 크기나 요구되는 대역폭은 시점의 수에 비례하며, 또한 해상도에 비례한다.
많은 시점을 갖는 멀티 뷰 영상을 전송할수록 요구되는 대역폭이 커지고, 또한 각 시점 영상들의 해상도가 커질수록 요구되는 대역폭이 커진다.
따라서, 현실감 있고 품질이 좋은 3D 영상을 제공하기 위해 멀티 뷰 영상의 시점 수를 크게 하고, 각 시점 영상의 해상도도 높이는 것이 바람직하나, 통신 대역폭 또는 데이터 크기에 따른 제약으로 한계가 있다.
이 때 멀티 뷰 영상을 구성하는 여러 시점 영상들 중, 일부 시점들의 영상은 해상도를 줄여서, 이를테면 다른 시점들의 영상의 1/4 해상도를 갖도록 할 수 있다.
이렇게 멀티 뷰 영상에서 일부 시점들은 해상도가 높고 다른 일부 시점들은 해상도가 낮게 영상을 압축하고 전송하는 기법을 본 명세서에서는 Mixed resolution 기법으로 표현하며, 본 발명의 실시예들은 이러한 Mixed resolution 기법에 의해 전송된 멀티 뷰 영상을 이용하여 임의의 시점에서의 영상을 합성하는 영상 처리에 연관된다.
이하에서 설명하는 실시예들에서, 영상 처리 장치(100)에 입력되는 멀티 뷰 영상 중, 일부 시점 영상들(images of some views)은 제1 해상도(resolution)를 갖고, 다른 시점 영상들은 상기 제1 해상도 보다 높은 제2 해상도를 갖는다.
이를 테면, 제1 해상도는 960*540이고, 제2 해상도는 Full HD인 1920*1080일 수 있다. 다만, 상기 해상도들은 예시적인 것에 불과하며, 본 발명은 특정 해상도에 국한되어 제한적으로 해석되지 않는다.
또한, 상기 Mixed resolution 기법에서 두 가지의 해상도만 포함되는 것이 아니며, 경우에 따라서는 세 개 이상의 해상도를 갖는 실시예도 가능하며, 이는 이하에서 설명하는 두 가지 해상도의 실시예에서 straight forward한 내용이다.
본 발명의 실시예들은, Mixed resolution 기법으로 전송된 멀티 뷰 영상들을 수신단인 영상 처리 장치(100)가 받아서, 제공된 시점들 및 추가적인 임의의 시점에서 고해상도 영상을 생성하는 영상 처리 장치 및 방법을 제공한다.
Mixed resolution 기법에 따르는 MVD 3D video format의 멀티 뷰 영상이 수신단인 영상 처리 장치(100)에 수신되면, 영상 처리 장치(100)는 상기 멀티 뷰 영상을 합성하여 추가적인 임의의 시점에서의 영상을 생성한다.
이를 테면, 제공된 멀티 뷰 영상은 9-view 영상이었으나, 필요에 따라 영상 처리 장치(100)가 생성하는 멀티 뷰 영상은 그보다 훨씬 많은 시점을 갖는 33-view 영상, 또는 그 이상일 수도 있다.
먼저 시점 변환부(110)는, 기 제공된 제1 해상도, 즉 저해상도의 제1 시점 칼라 영상을 제3 시점으로 변환하여 제1 시점 변환 영상을 생성한다. 상기 제3 시점은 기 제공되지 않았으며, 현재 영상 처리 장치(100)가 생성하려고 하는 영상에 해당하는 시점이다.
시점 변환은, 상기 제1 시점 칼라 영상의 픽셀들을 제3 시점에 대응하는 위치로 워핑(warping)하는 과정이다.
칼라 영상과 깊이 영상은 서로 매칭되어 있으며, 제1 시점과 제3 시점 사이의 시점 거리, 그리고 상기 제1 시점 칼라 영상에 대응하는 제1 시점 깊이 영상으로부터 파악되는 깊이 정보에 따른 디스패러티(disparity)를 고려하면 제1 시점 칼라 영상을 어떻게 시프트(shift)할 지를 파악할 수 있다.
이러한 과정을 시점 변환(view transformation)에 따른 이미지 워핑이라고 하며, 본 발명의 기술 분야의 통상의 기술자들에게는 잘 알려져 있는 내용이다.
시점 변환부(110)는 또한 제2 해상도, 즉 고해상도를 갖는 제2 시점 칼라 영상을 상기 제3 시점으로 변환하여 제2 시점 변환 영상을 생성한다.
생성된 제1 시점 변환 영상과 제2 시점 변환 영상은 모두 제3 시점에 대응하는 영상들이다. 그러나, 제1 시점 변환 영상은 저해상도이지만, 제2 시점 변환 영상은 고해상도이므로, 해상도가 일치하지 않는다.
제1 시점과 제2 시점은, 현재 영상을 생성하려는 제3 시점의 이웃 시점들이며, 본 발명의 일실시예에 따르면, 제1 시점이 제3 시점의 바로 왼쪽 시점이라면, 제2 시점은 제3 시점의 바로 오른쪽 시점일 수 있다.
이렇게 제3 시점 영상을 생성함에 있어서 상기 제1 시점 칼라 영상과 상기 제2 시점 칼라 영상을 시점 변환하여 함께 이용하고자 하는 것은, 시점 변환 과정, 즉 이미지 워핑 과정에서 발생될 수 있는 오류를 보정하고, 보다 자연스러운 영상을 얻기 위함이다.
그런데, 제1 시점 칼라 영상과 제2 시점 칼라 영상의 해상도가 상이하므로, 픽셀 별로 매칭이 되지 않는 문제가 있어서 영상 처리 장치(100)는 변환된 제1 시점 변환 영상을 제2 시점에 맞게 업스케일(up-scale)한다.
다만, 제2 시점 변환 영상은 원래 고해상도였고, 제1 시점 변환 영상은 저해상도였다가 업스케일 된 것이다. 따라서, 에지(edge) 부분과 같이 정밀도에 민감한 부분은 제2 시점 변환 영상의 픽셀 값이 제1 시점 변환 영상의 픽셀 값보다 더 신뢰 가능한 값이다.
그러므로, 본 발명의 일실시예에 따르면, 고주파 성분 추출부(120)는 정밀도에 민감한 부분의 픽셀 값을 결정하기 위하여 제2 시점 변환 영상의 픽셀들 중 고주파 성분을 갖는 픽셀들을 추출한다. 이러한 고주파 성분을 갖는 픽셀들의 추출은, 제2 시점 변환 영상을 주파수 분석하여, 일정 이상의 주파수를 갖는 부분을 영역 구별하는 것일 수 있다.
또한, 이러한 고주파 성분 추출 과정은, continuous하거나 또는 discrete한 주파수 표현을 제2 시점 변환 영상의 각 픽셀들에 표현한 것일 수 있으며, 이 경우에는 더 많은 단계(grades)의 주파수 레벨로 구별된다.
파라미터 계산부(130)는 제2 시점 변환 영상의 주파수 분석에서 주파수가 높았던 픽셀일수록, 제2 시점 변환 영상의 픽셀 값에 가중치를 높게 부여하고, 주파수가 낮았던 픽셀일수록 제1 시점 변환 영상과 제2 시점 변환 영상의 가중치를 비슷하게 부여하는 픽셀별 가중치 파라미터를 계산한다.
한편, 제3 시점은 제1 시점과 제2 시점의 중간에 위치한 시점이 아니라, 둘 중 어느 한 쪽에 더 가까운 것일 수 있으며, 이 경우 가까운 시점의 영상을 더 신뢰할 수 있으므로, 파라미터 계산부(130)는 각 시점간의 거리에 따라 가중치를 부여하는 시점 거리 가중치 파라미터를 계산할 수도 있다.
또한, 파라미터 계산부(130)는 추출된 상기 고주파 성분의 주파수를 기초로 상기 제1 시점 변환 영상에 기 설정된 주파수 이상의 주파수를 감쇄 없이 통과시키는 고대역 통과 필터(high pass filter)를 적용할 수 있다. 즉, 파라미터 계산부(130)는 해상도 향상을 위하여, 상기 제2 시점 변환 영상에서 상기 고주파 성분이 추출된 위치에 대응하는 상기 제1 변환 영상의 픽셀에 상기 고대역 통과 필터를 적용할 수도 있다.
그러면, 영상 생성부(140)는 업스케일된 제1 시점 변환 영상과, 상기 제2 시점 변환 영상의 각 픽셀들을 블렌딩(Blending)하여 제3 시점 영상의 각 픽셀 칼라 값들을 계산하며, 이 과정에서 상기 픽셀별 가중치 파라미터와 시점 거리 가중치 파라미터를 반영하게 되며, 추가로 주파수가 높은 위치에서 제1 시점 변환 영상의 픽셀들에는 해상도 향상을 위한 high pass filtering 등이 적용될 수도 있다.
이상의 과정은 도 2 이하를 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 영상 처리 장치에서 전송되는 멀티 뷰 영상을 설명하기 위한 개념도(200)이다.
3D 모델을 구성하는 오브젝트(210) 및 오브젝트(220)는 시점(201 내지 205)의 다섯 개 시점에서 촬영되거나 또는 렌더링된다.
그리고, 이러한 5개 시점의 멀티 뷰 영상은 Mixed resolution 기법으로 전송된다. 이를테면, 시점(201), 시점(203) 및 시점(205)의 영상은 고해상도로, 시점(202) 및 시점(204)의 영상은 저해상도로 생성되는 영상이다.
각 시점에서 생성되는 영상들은 칼라 영상 및 깊이 영상을 함께 포함할 수 있다.
그러면, 영상 처리 장치(100)는 도 1을 참조하여 상술한 과정을 통해 임의의 시점(206)에서의 고해상도 영상을 생성하며, 이하에서는 구체적인 도면을 통해 그 과정을 상술한다.
도 3은 본 발명의 일실시예에 따라 전송되는 저해상도의 제1 시점 영상 및 고해상도의 제2 시점 영상을 도시한다. 이하, 설명의 편의를 위하여 도 2에 도시된 시점(201 내지 205) 중 시점(202)를 제1 시점, 시점(203)을 제2 시점, 가상 시점(206)을 제3 시점이라 한다.
제1 시점(202)에 대응하는 제1 시점 영상에는 제1 시점 칼라 영상(310) 및 제1 시점 깊이 영상(311)이 한 쌍을 이루며, 제1 시점 영상은 저해상도, 이를테면 960*540 해상도이다.
제2 시점(203)에 대응하는 제2 시점 영상에는 제2 시점 칼라 영상(320) 및 제2 시점 깊이 영상(321)이한 쌍을 이루며, 제2 시점 영상은 고해상도, 이를테면 1920*1080 해상도이다.
한편, 제1 시점 영상과 제2 시점 영상 각각에서, 깊이 영상들은 대응하는 칼라 영상들보다 해상도가 더 작을 수 있으나, 본 명세서에서는 이러한 사항은 고려하지 않기로 한다.
영상 처리 장치(100)의 시점 변환부(110)는 제1 시점 깊이 영상을 통해 깊이 정보와 제1 시점(202)과 제3 시점(206)의 시점 거리를 고려하여, 제1 시점 칼라 영상(310)이 제3 시점에 대응되도록 시점 변환 한다.
시점 변환은 도 1을 참조하여 상술한 바와 같이, 통상적인 이미지 워핑(image warping) 과정일 수 있으며, 이미지 워핑 과정에는 깊이 맵핑(depth mapping), 텍스처 맵핑texture mapping), 홀 필링(hole filling) 등의 과정을 포함될 수 있다.
제1 시점 칼라 영상(310)이 제3 시점(206)에 대응되도록 시점 변환을 수행하면 제1 시점 변환 영상(도시되지 않음)이 생성되고, 제2 시점 칼라 영상(320)이 제3 시점(206)에 대응되도록 시점 변환을 수행하면 제2 시점 변환 영상(도시되지 않음)이 생성된다.
그러면, 영상 처리 장치(100)의 고주파 성분 추출부(120)는 고해상도인 제2 시점 변환 영상을 주파수 분석(frequency analysis) 한다. 이러한 주파수 분석을 통해, 고주파 성분 추출부(120)는 고주파 성분을 갖는 부분이 어디인지를 파악한다.
고주파 성분을 갖는 부분은 영상 내의 에지(edge) 부분이거나 텍스처, 칼라 등의 변화가 심한 부분이다.
저해상도인 제1 시점 변환 영상을 고해상도인 제2 시점 변환 영상에 맞게 단순히 보간하여(simply interpolating) 해상도를 높이고, 이렇게 업스케일된 제1 시점 변환 영상을 그대로 제2 시점 변환 영상과 Blending할 경우, 고주파 성분이 부족했던 제1 시점 변환 영상의 영향으로 에지 부분 등에서 원하지 않는 흐려짐(blur) 현상이 발생한다.
따라서, 고주파 성분을 갖는 부분에서는 고해상도인 제2 시점 변환 영상의 가중치를 높게 줄 필요가 있는 것이다.
도 4는 본 발명의 일실시예에 따라 고해상도의 제2 시점 영상으로부터 고주파 성분을 추출한 예시적 결과를 도시한다.
고해상도인 제2 시점 깊이 영상(400)으로부터 고주파 성분을 추출하는 과정은, 통상적인 주파수 분석이나 영상 처리 알고리즘에 따른 edge detection 등의 과정일 수 있다.
주파수가 다른 부분들 보다 높은 영역(410, 420)은 밝은 색으로 표현되었으며, 다른 부분들은 어두운 색으로 표현되었다.
이러한 주파수에 따른 밝기 차이는 최소 2 레벨에서 많게는 이를 테면 256 레벨, 또는 그 이상의 레벨을 가질 수 있다.
파라미터 계산부(130)는 제2 시점 변환 영상의 주파수 분석에서 주파수가 높았던 픽셀일수록, 제2 시점 변환 영상의 픽셀 값에 가중치를 높게 부여하고, 주파수가 낮았던 픽셀일수록 제1 시점 변환 영상과 제2 시점 변환 영상의 가중치를 비슷하게 부여하는 픽셀별 가중치 파라미터를 계산한다.
또한, 주파수 분석에 따른 픽셀별 가중치 파라미터 외에, 파라미터 계산부(130)는 시점 거리에 따른 다른 파라미터를 더 계산할 수도 있다.
이 때, 제3 시점(206)은 제1 시점(202)과 제2 시점(203)의 중간에 위치한 시점이 아니라, 둘 중 어느 한 쪽에 더 가까운 것일 수 있으며, 가까운 시점의 영상을 더 신뢰할 수 있으므로, 파라미터 계산부(130)는 시점 거리에 따라 가중치를 부여하는 시점 거리 가중치 파라미터를 계산할 수도 있다.
상기 파라미터 계산부(130)는 상기 제1 시점(202)과 상기 제3 시점(206) 사이의 거리에 반비례하는 제1 시점 거리 가중치 파라미터를 계산하여 제1 시점 변환 영상에 적용하고, 상기 제2 시점(203)과 상기 제3 시점(206) 사이의 거리에 반비례하는 제2 시점 거리 가중치 파라미터를 계산하여 제2 시점 변환 영상에 적용할 수 있다.
또한, 파라미터 계산부(130)는 제2 시점 변환 영상의 고주파 성분 위치에서는 저해상도인 제1 시점 변환 영상에서 업스케일되어 생성된 픽셀의 칼라 값에 high pass filtering 등을 적용할 수도 있다.
도 5는 본 발명의 일실시예에 따라 제2 시점 영상(320)을 제3 시점으로 시점 변환한 제2 시점 변환 영상(500)의 픽셀들을 도시한다.
영역(510) 내의 픽셀들의 밀도는 상기 영역(510)에 대응하는 저해상도의 영역 내의 픽셀들의 밀도보다 상대적으로 밀(dense)하다. 따라서, 픽셀(501)에 대응하는 제3 시점 영상에서의 픽셀의 칼라 값을 계산하기 위해, 파라미터 계산부(130)는 픽셀(501)의 칼라 값에 적용할 픽셀별 가중치 파라미터를 주파수의 고하에 따라 결정한다.
도 6은 본 발명의 일실시예에 따라 제1 시점 영상을 제3 시점으로 시점 변환한 제1 시점 변환 영상(600)의 픽셀들을 도시한다.
제1 시점 변환 영상(600)은 상대적으로 저해상도이므로, 도 5의 영역(510)에 대응하는 영역(610) 내의 픽셀들의 밀도는 상대적으로 소(sparse)하다. 여기서 제1 시점 변환 영상(600)에는 픽셀(501)에 대응하는 픽셀이 존재하지 않기 때문에 보간에 의해 픽셀(601)을 생성하게 된다. 이러한 과정은 제1 시점 변환 영상(600)의 업스케일로 이해될 수 있다.
픽셀(501)에 대응하는 제3 시점 영상에서의 픽셀(601)의 칼라 값을 계산하기 위해, 픽셀(601)의 칼라 값에 어떠한 가중치 파라미터를 줄지도 픽셀(501)의 주파수의 고하에 따라 파라미터 계산부(130)에 의해 결정된다.
본 발명의 일실시예에 따르면, 파라미터 계산부(130)는, 주파수가 낮은 부분에 대해서는 저해상도에서 업스케일된 제1 시점 변환 영상과 고해상도인 제2 시점 변환 영상 각각에 0.5의 가중치를 부여한다.
그리고, 주파수가 높은 부분일수록 제2 시점 변환 영상에 보다 높은 가중치를 부여하고 제1 시점 변환 영상에는 보다 낮은 가중치를 부여한다.
그래서, 주파수가 최대인 부분에는 제1 시점 변환 영상의 가중치는 0으로, 제2 시점 변환 영상의 가중치는 1로 부여할 수 있다.
또한, 파라미터 계산부(130)는 제1 시점 변환 영상(600) 중 제2 시점 변환 영상(500)의 고주파 성분 위치(410, 420)에 대응하는 위치에서는 저해상도인 제1 시점 변환 영상(600)에서 업스케일되어 생성된 픽셀(601)의 칼라 값 또는 제1 시점 변환 영상(600) 전체에 고대역 통과 필터를 적용할 수도 있다.
이러한 과정에 의해, 에지 부분 등 고주파 성분이 강한 부분에서는 고해상도의 시점 영상이 가중치가 높아져서 합성 영상의 선명도를 향상시키면서, 전체적으로는 두 개의 시점 영상을 함께 반영하여 자연스러움을 높일 수 있다. 또한, 고대역 통과 필터로 인하여 저해상도의 시점 영상의 해상도를 향상 시킬 수 있다.
영상 생성부(140)는 결정된 파라미터를 고려하여 제3 시점(206)에 대응하는 제3 시점 칼라 영상을 생성한다.
저해상도인 제1 시점 변환 영상(600)에서 업스케일되어 생성된 픽셀(601)의 칼라 값을 XL이라 하고, 제2 시점 변환 영상(500)에서 동일한 위치에 있는 픽셀(501)의 칼라 값을 XR이라 한다.
본 발명의 일실시예에 따르면, 고해상도인 제2 시점 변환 영상(500)의 픽셀(501)에 주는 픽셀별 가중치 파라미터를 W라 할 때, 파라미터 계산부(130)는 상기 픽셀별 가중치 파라미터 W를 픽셀(501)의 주파수에 비례하여 0.5 내지 1.0의 범위에서 결정할 수 있다.
그러면, 영상 생성부(140)는 제3 시점 영상의 동일 위치 픽셀의 칼라 값 XV를 아래 수학식과 같이 계산할 수 있다.
Figure pat00001
나아가, 본 발명의 일실시예에 따르면, 파라미터 계산부(130)는 제1 시점(202)과 제2 점(203)의 각각이 제3 시점(206)과 얼마나 가까운지에 따라, 시점 거리에 반비례하는 가중치 파라미터를 별도로 계산하여, 함께 반영한다.
이를 테면, 파라미터 계산부(130)는 제2 시점(203)과 제3 시점(204)의 시점 거리에 반비례하도록 시점 거리 가중치 파라미터 α를 계산하고, 영상 생성부(140)는 시점 거리 가중치 파라미터α를 상기 [수학식 1]에 반영하여 XV를 아래 수학식과 같이 계산할 수 있다.
Figure pat00002
나아가, 본 발명의 일실시예에 따르면, 제2 시점 변환 영상(500)의 고주파 성분 위치에서 저해상도인 제1 시점 변환 영상(600)에서 업스케일되어 생성된 픽셀(601)의 칼라 값 XL을 대상으로 아래 수학식과 같이 high pass filter를 적용할 수 있다. 아래 수학식에서 H는 고주파 성분 위치에 따라 적응적으로 적용이 되는 사전 처리 함수(Pre-processing function)이다.
Figure pat00003
도 7은 본 발명의 일실시예에 따라 생성된 예시적인 제3 시점 영상(700)을 도시한다.
제3 시점 영상(700)은 영상 처리 장치(100)로부터 멀티 뷰 영상이 직접 제공되지 않았지만 상기 과정을 통해 생성되었다. 상기 제3 시점 영상(700)은 제1 시점(202)과 제2 시점(203)의 영상들을 함께 고려하였기 때문에 이미지 워핑에 따른 오류가 최소화되어 자연스럽다.
또한, Mixed Resolution 기법에 맞도록 고주파 성분을 갖는 에지(edge) 부분 등에는 고해상도의 제2 시점 영상을 더 크게 반영하고, 다른 부분에서는 시점 거리에 따른 Blending을 하였기 때문에, 영상의 선명도도 높다.
그리고 저해상도의 시점 변환 영상의 해상도에 고대역 통과 필터가 적용되어 저해상도의 시점 변환 영상의 해상도가 향상되었기 때문에, 보다 영상의 선명도가 높아진다.
도 8은 본 발명의 일실시예에 따른 영상 처리 방법을 도시한다.
단계(810)에서, 시점 변환부(110)는, 기 제공된 제1 해상도, 즉 저해상도의 제1 시점 칼라 영상을 제3 시점으로 변환하여 제1 시점 변환 영상을 생성한다. 상기 시점 변환은, 상기 제1 시점 칼라 영상의 픽셀들을 제3 시점에 대응하는 위치로 워핑(warping)하는 과정일 수 있다. 또한, 시점 변환부(110)는 기 제공된 제2 해상도, 즉 고해상도의 제2 시점 칼라 영상을 상기 제3 시점으로 변환하여 제2 시점 변환 영상을 생성한다.
시점 변환 과정에 대해서는 도 1 내지 도 3을 참조하여 상술한 바와 같다.
그러면, 단계(820)에서 고주파 성분 추출부(120)가 제2 시점 변환 영상의 픽셀들 중 고주파 성분을 갖는 픽셀들을 추출한다. 이러한 고주파 성분을 갖는 픽셀들의 추출은, 제2 시점 변환 영상을 주파수 분석하여, 일정 이상의 주파수를 갖는 부분을 영역 구별하는 것일 수 있다.
고주파 성분 추출 과정에 대해서는 도 4를 참조하여 상술한 바와 같다.
그러면, 단계(830)에서, 파라미터 계산부(130)는 제2 시점 변환 영상의 주파수 분석에서 주파수가 높았던 픽셀일수록, 제2 시점 변환 영상의 픽셀 값에 가중치를 높게 부여하고, 주파수가 낮았던 픽셀일수록 제1 시점 변환 영상과 제2 시점 변환 영상의 가중치를 비슷하게 부여하는 픽셀별 가중치 파라미터를 계산한다.
한편, 제3 시점이 제1 시점과 제2 시점의 중간에 위치한 시점이 아니라, 둘 중 어느 한 쪽에 더 가까운 것일 수 있으며, 가까운 시점의 영상을 더 신뢰할 수 있으므로, 파라미터 계산부(130)는 시점 거리 가중치 파라미터를 계산할 수도 있다.
또한, 파라미터 계산부(130)는 보다 선명한 제3 시점 영상의 생성을 위하여 저해상도의 제1 시점 변환 영상 또는 제2 시점 변환 영상의 고주파 성분 위치에 대응하는 위치의 픽셀 값에 고대역 통과 필터를 적용할 수 있다.
그러면, 단계(840)에서, 영상 생성부(140)는 업스케일된 제1 시점 변환 영상과, 상기 제2 시점 변환 영상의 각 픽셀들을 Blending하여 제3 시점 영상의 각 픽셀 칼라 값들을 계산하며, 이 과정에서 상기 픽셀별 가중치 파라미터와 시점 거리 가중치 파라미터를 반영하게 된다.
영상 생성 과정은 도 5 내지 도 7을 참조하여 상술한 바와 같다.
본 발명의 일실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 영상 처리 장치
110: 시점 변환부
120: 고주파 성분 추출부
130: 파라미터 계산부
140: 영상 생성부

Claims (22)

  1. 제1 해상도의 제1 시점 칼라 영상을 제3 시점으로 시점 변환하여 제1 시점 변환 영상을 생성하고, 상기 제1 해상도 보다 큰 제2 해상도의 제2 시점 칼라 영상을 상기 제3 시점으로 시점 변환하여 제2 시점 변환 영상을 생성하는 시점 변환부;
    상기 제1 시점 변환 영상과 상기 제2 시점 변환 영상 각각에 적용되는 픽셀별 가중치 파라미터를 계산하는 파라미터 계산부; 및
    상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점에 대응하는 제3 시점 칼라 영상을 생성하는 영상 생성부
    를 포함하는, 영상 처리 장치.
  2. 제1항에 있어서,
    상기 제2 시점 변환 영상에서 고주파 성분이 포함된 영역을 추출하는 고주파 성분 추출부
    를 더 포함하고,
    상기 파라미터 계산부는,
    추출된 고주파 성분이 포함되는 영역에 대해서는 다른 영역보다 상기 제2 시점 칼라 영상에 상기 픽셀별 가중치 파라미터를 높게 계산하는, 영상 처리 장치.
  3. 제2항에 있어서,
    상기 파라미터 계산부는,
    추출된 상기 고주파 성분의 주파수에 비례하여 상기 제2 시점 변환 영상에 상기 픽셀별 가중치 파라미터를 높게 계산하는, 영상 처리 장치.
  4. 제1항에 있어서,
    상기 파라미터 계산부는,
    상기 제1 시점과 상기 제3 시점 사이의 거리에 반비례하는 제1 시점 거리 가중치 파라미터 및 상기 제2 시점과 상기 제3 시점 사이의 거리에 반비례하는 제2 시점 거리 가중치 파라미터를 계산하는, 영상 처리 장치.
  5. 제4항에 있어서,
    상기 영상 생성부는,
    상기 계산된 픽셀별 가중치 파라미터, 상기 제1 시점 거리 가중치 파라미터를 상기 제1 시점 변환 영상에 적용하고, 상기 계산된 픽셀별 가중치 파라미터 및 상기 제2 시점 거리 가중치 파라미터를 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점 칼라 영상을 생성하는, 영상 처리 장치.
  6. 제2항에 있어서,
    상기 파라미터 계산부는,
    추출된 상기 고주파 성분의 주파수를 기초로, 상기 제1 시점 변환 영상에 기 설정된 주파수 이상의 주파수를 감쇄 없이 통과시키는 고대역 통과 필터(high pass filter)를 적용하는, 영상 처리 장치.
  7. 제6항에 있어서,
    상기 파라미터 계산부는,
    상기 제2 시점 변환 영상에서 상기 고주파 성분이 추출된 위치에 대응하는 상기 제1 변환 영상의 픽셀에 상기 고대역 통과 필터를 적용하는, 영상 처리 장치.
  8. 제6항에 있어서,
    상기 영상 생성부는,
    상기 계산된 픽셀별 가중치 파라미터, 제1 시점 거리 가중치 파라미터 및 상기 고대역 통과 필터를 상기 제1 시점 변환 영상에 적용하고, 상기 계산된 픽셀별 가중치 파라미터 및 제2 시점 거리 가중치 파라미터를 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점 칼라 영상을 생성하는, 영상 처리 장치.
  9. 제1항에 있어서,
    상기 시점 변환부는,
    상기 제1 시점 칼라 영상에 대응하는 제1 시점 깊이 영상의 깊이 정보 및 상기 제2 시점 칼라 영상에 대응하는 제2 시점 깊이 영상의 깊이 정보를 이용하여, 상기 제3 시점의 위치에 따른 이미지 워핑을 상기 제1 시점 칼라 영상 및 상기 제2 시점 칼라 영상에 수행하여 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상을 생성하는, 영상 처리 장치.
  10. 제1항에 있어서,
    상기 영상 생성부는,
    상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하고, 픽셀별 선형 합을 구하여, 상기 제3 시점 칼라 영상을 생성하는, 영상 처리 장치.
  11. 제1항에 있어서,
    상기 생성된 제3 시점 칼라 영상은 상기 제2 해상도를 갖는, 영상 처리 장치.
  12. 제1 해상도의 제1 시점 칼라 영상을 제3 시점으로 시점 변환하여 제1 시점 변환 영상을 생성하고, 상기 제1 해상도 보다 큰 제2 해상도의 제2 시점 칼라 영상을 상기 제3 시점으로 시점 변환하여 제2 시점 변환 영상을 생성하는 시점 변환 단계;
    상기 제1 시점 변환 영상과 상기 제2 시점 변환 영상 각각에 적용되는 픽셀별 가중치 파라미터를 계산하는 파라미터 계산 단계; 및
    상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점에 대응하는 제3 시점 칼라 영상을 생성하는 영상 생성 단계
    를 포함하는, 영상 처리 방법.
  13. 제12항에 있어서,
    상기 파라미터 계산 단계에 앞서서 상기 제2 시점 변환 영상에서 고주파 성분이 포함된 영역을 추출하는 고주파 성분 추출 단계
    를 더 포함하고,
    상기 파라미터 계산 단계는,
    추출된 고주파 성분이 포함된 영역에 대해서는 다른 영역보다 상기 제2 시점 변환 영상에 상기 픽셀별 가중치 파라미터를 높게 계산하는, 영상 처리 방법.
  14. 제13항에 있어서,
    상기 파라미터 계산 단계는,
    추출된 고주파 성분의 주파수에 비례하여 상기 제2 시점 변환 영상에 상기 픽셀별 가중치 파라미터를 높게 계산하는, 영상 처리 방법.
  15. 제12항에 있어서,
    상기 파라미터 계산 단계는,
    상기 제1 시점과 상기 제3 시점 사이의 거리에 반비례하는 제1 시점 거리 가중치 파라미터 및 상기 제2 시점과 상기 제3 시점 사이의 거리에 반비례하는 제2 시점 거리 가중치 파라미터를 계산하는, 영상 처리 방법.
  16. 제15항에 있어서,
    상기 영상 생성 단계는,
    상기 계산된 픽셀별 가중치 파라미터, 상기 제1 시점 거리 가중치 파라미터 를 상기 제1 시점 변환 영상에 적용하고, 상기 계산된 픽셀별 가중치 파라미터 및 상기 제2 시점 거리 가중치 파라미터를 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점 칼라 영상을 생성하는, 영상 처리 방법.
  17. 제13항에 있어서,
    상기 파라미터 계산 단계는,
    추출된 상기 고주파 성분의 주파수를 기초로, 상기 제1 시점 변환 영상에 기 설정된 주파수 이상의 주파수를 감쇄 없이 통과시키는 고대역 통과 필터(high pass filter)를 적용하는, 영상 처리 방법.
  18. 제17항에 있어서,
    상기 파라미터 계산 단계는,
    상기 제2 시점 변환 영상에서 상기 고주파 성분이 추출된 위치에 대응하는 상기 제1 변환 영상의 픽셀에 상기 고대역 통과 필터를 적용하는, 영상 처리 방법.
  19. 제17항에 있어서,
    상기 영상 생성 단계는,
    상기 계산된 픽셀별 가중치 파라미터, 제1 시점 거리 가중치 파라미터 및 상기 고대역 통과 필터를 상기 제1 시점 변환 영상에 적용하고, 상기 계산된 픽셀별 가중치 파라미터 및 제2 시점 거리 가중치 파라미터를 상기 제2 시점 변환 영상에 적용하여 상기 제3 시점 칼라 영상을 생성하는, 영상 처리 방법.
  20. 제12항에 있어서,
    상기 시점 변환 단계는,
    상기 제1 시점 칼라 영상에 대응하는 제1 시점 깊이 영상의 깊이 정보 및 상기 제2 시점 칼라 영상에 대응하는 제2 시점 깊이 영상의 깊이 정보를 이용하여, 상기 제3 시점의 위치에 따른 이미지 워핑을 상기 제1 시점 칼라 영상 및 상기 제2 시점 칼라 영상에 수행하여 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상을 생성하는, 영상 처리 방법.
  21. 제12항에 있어서,
    상기 영상 생성 단계는,
    상기 계산된 픽셀별 가중치 파라미터를 상기 제1 시점 변환 영상 및 상기 제2 시점 변환 영상에 적용하고, 픽셀별 선형 합을 구하여, 상기 제3 시점 칼라 영상을 생성하는, 영상 처리 방법.
  22. 제12항 내지 제21항 중 어느 한 항의 영상 처리 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020110040768A 2011-01-05 2011-04-29 영상 처리 장치 및 방법 KR20120079794A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/343,370 US20120170841A1 (en) 2011-01-05 2012-01-04 Image processing apparatus and method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20110000999 2011-01-05
KR1020110000999 2011-01-05

Publications (1)

Publication Number Publication Date
KR20120079794A true KR20120079794A (ko) 2012-07-13

Family

ID=46712643

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110040768A KR20120079794A (ko) 2011-01-05 2011-04-29 영상 처리 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120079794A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190091500A (ko) * 2016-12-06 2019-08-06 코닌클리케 필립스 엔.브이. 광 강도 이미지를 생성하기 위한 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190091500A (ko) * 2016-12-06 2019-08-06 코닌클리케 필립스 엔.브이. 광 강도 이미지를 생성하기 위한 장치 및 방법

Similar Documents

Publication Publication Date Title
JP7012642B2 (ja) アーチファクトを意識したビュー合成のための補助データ
US9361725B2 (en) Image generation apparatus, image display apparatus, image generation method and non-transitory computer readable medium
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
EP2074586B1 (en) Image enhancement
Tam et al. 3D-TV content generation: 2D-to-3D conversion
JP6094863B2 (ja) 画像処理装置、画像処理方法、プログラム、集積回路
JP5858380B2 (ja) 仮想視点画像合成方法及び仮想視点画像合成システム
JP5750505B2 (ja) 立体映像エラー改善方法及び装置
JP5977752B2 (ja) 映像変換装置およびそれを利用するディスプレイ装置とその方法
US9525858B2 (en) Depth or disparity map upscaling
TWI524734B (zh) 產生深度圖的方法及裝置
KR101415147B1 (ko) 가상시점 영상 생성을 위한 경계 잡음 제거 및 홀 채움 방법
JP4658223B2 (ja) 画像生成方法、装置、およびそのプログラム並びにプログラムを記録した記録媒体
JP2013527646A5 (ko)
US20140347452A1 (en) Efficient stereo to multiview rendering using interleaved rendering
US20120170841A1 (en) Image processing apparatus and method
KR20120079794A (ko) 영상 처리 장치 및 방법
US20130050420A1 (en) Method and apparatus for performing image processing according to disparity information
Wang et al. A novel approach for depth image based rendering, based on non-linear transformation of depth values
KR101378190B1 (ko) 거리변환 기반 양측 보간을 이용하여 저 해상도 깊이 맵으로부터 고 해상도 깊이 맵을 생성하는 방법 및 이를 기록한 기록매체
KR20160114983A (ko) 영상 변환 장치 및 방법
Gao et al. Virtual view synthesis based on DIBR and image inpainting
EP2323412A1 (en) Generating an image signal
KR102276628B1 (ko) 영상변환장치 및 이를 구비하는 디스플레이 장치

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application