KR101696918B1 - 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리 - Google Patents

3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리 Download PDF

Info

Publication number
KR101696918B1
KR101696918B1 KR1020127029530A KR20127029530A KR101696918B1 KR 101696918 B1 KR101696918 B1 KR 101696918B1 KR 1020127029530 A KR1020127029530 A KR 1020127029530A KR 20127029530 A KR20127029530 A KR 20127029530A KR 101696918 B1 KR101696918 B1 KR 101696918B1
Authority
KR
South Korea
Prior art keywords
noise
image
view
film grain
view image
Prior art date
Application number
KR1020127029530A
Other languages
English (en)
Other versions
KR20130084232A (ko
Inventor
동 티안
데쿤 조우
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20130084232A publication Critical patent/KR20130084232A/ko
Application granted granted Critical
Publication of KR101696918B1 publication Critical patent/KR101696918B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/122Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N2013/40Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

영상 깊이 정보에 부합하여 코딩 결함에 대한 인간의 민감도를 저감하여, 그에 따라 주관적인 영상 품질을 향상시키기 위하여 컴포트 노이즈 또는 필름 그레인 중 하나의 형식으로, 노이즈가 3차원 영상에 부가된다.

Description

3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리{COMFORT NOISE AND FILM GRAIN PROCESSING FOR 3 DIMENSIONAL VIDEO}
본 발명은 디지털 영상에 노이즈를 부가하는데 관련된 것이다.
시간이 흐름에 따라, 텔레비전은 흑백 영상에서 컬러 영상으로 그리고 이제 고해상도로 진화하였다. 현재, 어떤 텔레비전 장비 생산자는 영상을 3차원(3D)으로 위치시키고 디스플레이할 수 있는 제품을 시장에 내놓기 시작하였다. 새롭게 등장하는 3D 텔레비전 디스플레이는 현재 시각적 불편의 몇 가지 원천을 초래하는데 다음을 포함한다: 쐐기형 왜곡(keystone distortion), 깊이 평면 만곡, 확대화, 축소화 효과, 전단왜곡(shear distortion), 크로스톡, 피켓 울타리 효과 및 영상 뒤집힘. 이에 더하여 시각적 불편함은 흐려짐(blurriness)을 야기하는 예컨대, 고운동성을 가지는 화상 영역과 같은, 깊이 단서의 결여로부터 일어날 수 있다. 시청자는 영상 내의 시야 영역이 깊이 단서의 결여를 가질 때 빈번히 불편한 느낌을 경험한다. 3D 영상의 좌안 및 우안 영상 뷰에서의 필름 그레인과 결부된 랜덤 노이즈의 차이는 또한 이상한 시각적 효과가 나타나도록 초래할 수 있다.
디지털 영상에의 디더 신호의 부가는 윤곽 또는 블록 결함(artifact)과 같은, 코딩 결함에 대한 인간의 민감도를 저감할 수 있으며, 주관적 품질을 향상시킬 수 있다. 일반적으로 "컴포트 노이즈(comfort noise)"라고 불리는 비디오에 대한 노이즈의 부가가 이 목표를 달성하는데 기여한다. 이차원 영상에 컴포트 노이즈를 부가하는 기법이 존재하는 반면, 3D 영상에 대한 컴포트 노이즈를 위한 기법은 알려져 있지 않다.
간략하게, 본 발명의 바람직한 일 실시예에 부합하여, 영상 깊이에 부합하여 영상의 서로 다른 영역에 노이즈를 부가하는 단계를 포함하는, 3차원 영상에 노이즈를 부가하는 방법이 제공된다.
도 1은 본 발명에 부합하여 3차원 영상에 노이즈를 부가하는 본 발명에 따른 장치의 일 실시예의 도면;
도 2는 3차원 영상에 노이즈를 부가하기 위한 도 1의 장치에 의한 실행을 위한 본 발명의 제1 실시예에 따른 방법의 단계들을 도시하는 흐름도;
도 3은 3차원 영상에 노이즈를 부가하기 위한 제2의 바람직한 실시예에 부합하는 방법의 단계들을 도시하는 흐름도;
도 4는 3차원 영상에 필름 그레인(film grain)을 부가하기 위한 본 발명의 제2의 바람직한 실시예에 부합하는 방법의 단계들을 도시하는 흐름도이다.
도 1은 3차원 영상, 전형적으로는 디지털 영상에 노이즈를 부가하기 위한, 본 발명의 바람직한 실시예에 부합하여, 장치(10)의 블록 개념도를 도시한다. 이하에서 더 상세히 기술되는 대로, 노이즈는 결함을 저감하기 위해 영상에 부가되는 타입의 "컴포트" 노이즈의 형태를 취할 수 있다. 대안적으로, 영화 필름으로부터 유래한 비디오를 포함하는 디지털 영상의 경우, 노이즈는 영화 필름의 모양새를 흉내내기 위해 필름 그레인의 형태를 취할 수 있다. 여기에서 이하, 노이즈 부가를 지칭할 때, 부가된 노이즈는 필름 그레인 또는 컴포트 노이즈를 포함할 수 있다.
장치(10)는 여러 가지 형태를 취할 수 있다. 설명을 위한 실시 예에서, 장치(10)는 케이블 시스템 헤드엔드와 같은, 데이터 소스(12)로부터 비디오와 깊이 정보를 포함하는 비트스트림을 수신하는 셋톱박스를 포함한다. 디멀티플렉서(14)(도 1에 "디먹서"라고 도시됨)는 디비오와 깊이 정보를 각각 비디오와 깊이 디코더(16 및 17)에 의해 디코딩하기 위해 분리한다. 컴포트 노이즈 모듈(18)은 3D 텔레비전 리시버(도시되지 않음)에 의하여 수신되도록 3차원(3D) 비디오 출력 신호를 산출하도록 컴포트 노이즈를 디코드된 비디오 및 깊이 정보로부터 생성한다.
컴포트 노이즈 모듈(18)은 비디오와 깊이 디코더(16 및 17)로부터 각각 공급된 디코드된 비디오 및 깊이 정보에 부합하여 컴포트 노이즈를 생성하는 컴포트 노이즈 생성기(20)를 포함한다. 실무에서는, 노이즈 생성기(20)는 프로그램 명령을 실행하는 (도시되지 않은) 프로세서의 형태를 취할 수 있다. 컴포트 노이즈 생성기(20)가 디코드된 비디오 및 깊이 정보에 부합하여 컴포트 노이즈를 생성하는 양상은 이하 도 2와 그에 수반하는 설명을 참조하여 더 잘 이해될 것이다. 컴포트 노이즈 및 비디오 믹서(22)는 컴포트 노이즈 생성기(20)로부터 나온 컴포트 노이즈와 디코드된 비디오 및 깊이 정보를 결합하여 3D 비디오 출력 신호를 산출한다.
도 2는 흐름도 형식으로 컴포트 노이즈를 생성하기 위한 본 발명의 바람직한 실시예와 부합하는 방법의 단계들을 도시한다. 다시 말해, 도 2의 방법은 노이즈 생성기(20) 내의 프로세서를 위한 명령들을 구성한다. 도 2의 방법은 초기화가 일어나는 개시 단계(200)와 함께 시작된다. 이후, 단계(202)는 좌안 뷰를 위한, 컴포트 노이즈 값 NL을 생성하기 위해 실행을 진행한다. 이하에서 더 잘 이해되는 바와 같이, 움직임을 포함하는 전형적인 3D 비디오 영상은 각 쌍이 좌측 및 우측 뷰를 포함하는, 화상의 쌍들을 포함한다. 본 발명의 기법의 노이즈 생성은 먼저 쌍의 좌측 뷰 화상에 대해 컴포트를 생성하고 그 값을 쌍의 우측 뷰 화상에 대한 컴포트 노이즈를 생성하기 위해 사용한다.
쌍의 좌측 뷰 화상에 대한 노이즈를 생성하기 위해, 도 1의 컴포트 노이즈 생성기(20)는 주어진 화상(이하에서 "노이즈" 화상이라 지칭됨)에 대한 노이즈 N이 수학적으로 다음 수식 1로 표현되는 부가적 노이즈 모델을 사용한다:
N(k,x,y) = α(k,x,y)×N(k-1,x,y)+(1-α(k,x,y))×β(k,x,y)×R(k,x,y) (수식 1)
여기서 k는 프레임 번호이고, x, y는 픽셀의 수평 및 수직 좌표이다. R(k,x,y)는 전형적으로는 가우시안 또는 라플라시안 분포를 따르는 난수이다. α(k,x,y) β(k,x,y)는 각각 시간적 상관관계와 밝기 인자이며 0과 1 사이의 범위의 값을 갖는다. α(k,x,y)는 재구성된 영상 픽셀 또는 그 대응하는 블록과 이전에 디스플레이된 화상 내의 함께 위치한 픽셀 또는 블록 사이의 시간적 상관관계에 따라 결정되는 반면, β(k,x,y)는 현재 픽셀 또는 그와 결부된 블록의 밝기에 따라 결정된다. 수식 1을 사용하는 단계(202)에서의 좌측 뷰 화상에 대한 컴포트 노이즈 화상(NL)의 생성에 뒤이어, 단계(204)에서 이 노이즈 화상이 좌측 뷰 화상에 부가된다.
단계(204)에 뒤에, 우측 뷰 화상에 대한 노이즈 화상(NR)의 합성이 일어난다. 우측 뷰 노이즈 화상 NR의 합성은 몇 가지 단계에 걸쳐 일어난다. 먼저, 단계(206)에서, 좌측 노이즈 화상 NL이 워핑(warping)을 거쳐 전형적으로 "구멍(hole)"이나 누락된 값을 가지는 우측 뷰 노이즈 화상(NRwithHoles)을 얻는다. 이러한 구멍을 메우는 방법은 도 3을 참조하여 이하에서 분명해질 것이다.
3D 화상을 워핑하는 절차는 전형적으로 하나 또는 그 이상의 영상으로부터 픽셀을 새로운 시점(view point)과 기준평면으로 투영하는 것을 수반한다. 도 1의 비디오 및 깊이 디코더(16 및 17)로부터 얻을 수 있는 대로, 장면과 깊이 정보를 사용하는 다양한 기법이 3D 영상 워핑을 달성하는 기술에 있어서 존재한다. 예컨대, 깊이 기반 영상 렌더링은 가상 뷰를 참조 화상과, 결부된 깊이 정보로부터 행렬 곱셈을 사용하여 합성하기 위한 잘 알려진 절차를 구성한다.
단계(206) 후, 도 2의 단계(208)는 우측 뷰 노이즈 화상(NRwithHoles)의 구멍을 채워 더 완전한 우측 뷰 노이즈 화상(NR)을 산출하기 위해 실행을 거친다. 구멍을 채우는 절차는 도 3을 참조하여 더 잘 이해될 것이다. 우측 뷰 노이즈 화상(NR)은 이후 우측 노이즈 뷰에 단계(210)에서 부가된다. 다음, 단계(212)는 부가적인 화상이 처리할 비디오 영상 내에 존재하는지 검사하기 위한 실행을 거친다. 만일 처리할 부가적인 화상이 존재하지 않는다면 절차는 단계(214)에서 종료한다. 그렇지 않다면, 절차(202 내지 212)는 더 이상 화상이 존재하지 않을 때까지 실행을 거친다.
도 2에 도시된 컴포트 노이즈 부가 방법은 좌측 및 우측 노이즈 화상이 비디오 영상과 같은 디스패리티를 가진다는 것을 전제한다. 같은 노이즈를 우측 및 좌측 뷰에 단순히 부가하는 것이나 분리하여 노이즈 화상을 부가하는 것에 비교하여, 노이즈 화상을 합성하는데 깊이 정보에 의존하는, 본 발명의 컴포트 노이즈 부가 기법은 경험적으로 최상의 시청 품질을 제공한다.
도 3은 흐름도 형식으로 우측 뷰 노이즈 화상(NRwithHoles) 내의 구멍(누락된 값)을 메우는 본 발명과 부합하는 방법의 단계들을 도시한다. 구멍 영역의 기저 진리 정보(ground truth information)가 존재하지만 다른 시점으로부터는 폐색되지 않은 채 남아있는, 전통적인 구멍 메우기 문제와 달리, 그러한 기저 진리 정보가 워핑된 노이즈 화상의 구멍영역에 존재하지 않는다. 이 문제를 극복하기 위해, 본 발명의 구멍 메우기 방법은 배경 노이즈를 전파하지 않고, 그 대신 새로운 노이즈 정보를 생성한다. 새로운 노이즈 생성은 컴포트 노이즈의 부가에 따라 좌측 및 우측 뷰 화상이 보다 자연스러워 보이도록 저감된 결함을 야기한다.
도 3의 방법은 초기화가 일어나는 개시 단계(300)와 함께 시작된다. 이후, 단계(302)가 실행되어 메울 필요가 있는 우측 노이즈 화상(NRwithHoles) 내의 영역(즉, "구멍"), 즉, 수정이 필요한 누락된 값을 가지는 영역을 표시하거나 다른 방법으로 식별한다. 단계(304)에서, 도 1의 컴포트 노이즈 생성기(20)가 각 "구멍"에 대해 구멍을 포함하는 픽셀에 대한 영상과 깊이 정보에 기반하여 컴포트 노이즈를 생성한다. 그 후, 단계(304)에서 구멍에 대해 생성된 노이즈 값은 우측 뷰 노이즈 화상(NRwithHoles)으로 복사되어 보다 완전한 우측 노이즈 화상(NR)을 산출한다. 그 후, 절차는 단계(308)에서 종료한다.
영화 필름에 기록된 영상은 보통 인식가능한 그레인을 보여준다. 이러한 그레인은 충분한 광자를 받은 할로겐화 은(silver halide)으로부터 성장한 금속성 은의 작은 입자의 존재에 기인하는 처리된 사진 필름의 랜덤한 광학적 질감을 구성한다. 따라서, 다른 화상 또는 뷰의 필름 그레인은 각자 독립적으로 남는다. 영화를 3D 모드로 시청할 때, 연관되지 않은 노이즈는 불편한 시각적 효과를 야기한다.
본 발명의 다른 실시예와 부합하여, 영상에 원래 나타난 필름 그레인이 추출되고 불편한 시각적 효과를 제거하기 위해 3D 시청을 위해 특별히 합성된 필름 그레인으로 대체된다. 도 4는 흐름도 형식으로 원본 그레인을 추출하고 깊이 정보에 기반하여 필름 그레인을 합성하기 위한 방법의 단계들을 도시한다.
도 4의 방법은 초기화가 일어나는 개시 단계(400)의 실행과 함께 시작된다. 이후, 좌측 뷰 화상에 나타난 필름 그레인(GrainL)이 단계(402)에서 추출된다. 존재하는 필름 그레인 추출기(도시되지 않음)가 그레인을 추출하기 위해 사용될 수 있다. 필름 그레인이 시간적으로 상관관계가 없으나, 어떤 공간적 상관관계는 있는 것으로 나타나기 때문에, 하나 또는 그 이상의 시간적 필터(도시되지 않음)가 필름 그레인을 제거할 수 있다. 필터링 후 시간적으로 매끄러워진 영상과 원본 영상의 차이가 추출된 필름 그레인을 포함한다. 단계(402) 이후, 단계(404)에서 우측 뷰 화상으로부터 유사한 기법을 사용하여 필름 그레인(GrainR)이 추출되는 실행을 거친다.
단계(404)를 뒤따라, 단계(406)가 실행되어 우측 뷰 화상으로부터 필름 그레인을 제거한다. 이후, 좌측 뷰 화상에 대한 추출된 필름 그레인(GrainL)은 단계(408)에서 워핑을 거쳐 우측 뷰 화상에 대한 합성된 그레인(GrainRwithHoles)을 산출한다. 좌측 뷰에 대한 추출된 필름 그레인(GrainL)의 워핑은 위에서 도 2의 단계(206)와 관련하여 논의된 좌측 뷰 컴포트 노이즈 화상을 워핑하는 절차와 유사한 양상으로 일어난다. 합성된 그레인(GrainRwithHoles) 내에 나타난 구멍은 단계(410)에서 도 2의 단계(208)과 연관되어 논의된 바와 유사한 양상으로 채워져 우측 뷰 화상에 대한 보다 완전한 필름 그레인(GrainR)을 산출한다. 단계(410)이후, 단계(412)가 시청 시간동안 실행되어, 더 완전한 우측 그레인(GrainR)이 우측 뷰 화상에 부가된다. 단계(412)를 뒤따르는 단계(414)에서 시청 시간 동안, 비디오 영상 내에 처리할 부가적 화상이 존재하는지 검사한다. 만일 처리할 부가적 화상이 존재하지 않는다면, 절차는 단계(416)에서 종료한다. 그렇지 않다면 단계(402 내지 412)가 더 이상 처리할 화상이 존재하지 않을 때까지 다시 실행을 거친다.
위에서 논의된 바와 같이, 도 4의 필름 그레인 노이즈 부가 기법은 좌측 및 우측 뷰 화상 내의 필름 그레인을 추출하고 제거함으로써 작동한다. 좌측 및 우측 뷰 화상으로부터 추출된 필름 그레인을 워핑하는 대신, 도 2 및 도 3과 관련하여 기술된 기법을 사용하여 컴포트 노이즈가 좌측 및 우측 뷰에 부가될 수 있다.
여기 기재된 모든 실시예에 대하여, 본 발명의 노이즈 부가 기법은 좌측 뷰 노이즈와 필름 그레인을 기술된 바와 같이 워핑하는데 반하여, 각각, 우측 뷰 화상 컴포트 노이즈 및 필름 그레인을 워핑하여 좌측 뷰 노이즈와 컴포트 그레인을 산출함으로써 작동할 수 있다.
상기 기재는 디지털 영상에 노이즈를 부가하는 기법을 기술한다.

Claims (15)

  1. 제1 뷰 및 제2 뷰 화상을 갖는 3차원 영상에 노이즈를 부가하는 방법으로서,
    상기 제1 뷰 화상 및 상기 제2 뷰 화상이 상기 3차원 영상과 동일한 3차원 영상 깊이를 갖도록, 상기 제1 뷰 화상을 워핑해서 상기 제2 뷰 화상에 대한 노이즈를 생성함으로써 컴포트 노이즈 또는 필름 그레인을 포함하는 노이즈를 상기 제1 뷰 화상 및 상기 제2 뷰 화상에 부가하는 단계를 포함하는, 3차원 영상에 노이즈를 부가하는 방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 노이즈를 부가하는 단계는,
    상기 영상의 제1 뷰에 대한 노이즈를 계산하는 단계;
    상기 제1 뷰 화상에 상기 계산된 노이즈를 부가하는 단계;
    상기 3차원 영상을 워핑함으로써 상기 3차원 영상 깊이에 따라 상기 제1 뷰 화상에 대해 계산된 노이즈로부터 상기 제2 뷰 화상에 대한 노이즈를 생성하는 단계; 및
    상기 생성된 노이즈를 상기 제2 뷰 화상에 부가하는 단계를 더 포함하는 것인, 3차원 영상에 노이즈를 부가하는 방법.
  6. 제5항에 있어서, 상기 제2 뷰 화상에 대한 노이즈를 생성하는 단계는,
    상기 3차원 영상을 워핑함으로써 상기 노이즈를 생성한 다음에 상기 생성된 노이즈에서 값이 누락된 영역을 식별하는 단계; 및
    상기 식별된 영역을 노이즈로 채우는 단계를 더 포함하는 것인, 3차원 영상에 노이즈를 부가하는 방법.
  7. 제1 및 제2 뷰 화상을 가지는 3차원 영상에 필름 그레인을 부가하는 방법으로서,
    제1 뷰 화상으로부터 필름 그레인을 추출하는 단계;
    제2 뷰 화상으로부터 그레인을 제거하는 단계;
    상기 제1 뷰 화상 및 상기 제2 뷰 화상이 상기 3차원 영상과 동일한 3차원 영상 깊이를 갖도록, 상기 제1 뷰 화상에 대해서 상기 추출된 필름 그레인을 워핑함으로써 상기 제1 뷰 화상에 대해서 상기 추출된 필름 그레인으로부터 상기 제2 뷰 화상에 대한 필름 그레인을 생성하는 단계; 및
    상기 생성된 필름 그레인을 상기 제2 뷰 화상에 부가하는 단계를 포함하는, 3차원 영상에 필름 그레인을 부가하는 방법.
  8. 제7항에 있어서, 상기 제2 뷰 화상에 대한 필름 그레인을 생성하는 단계는,
    상기 3차원 영상을 워핑함으로써 상기 필름 그레인을 생성한 다음에 상기 생성된 필름에서 값이 누락된 영역을 식별하는 단계; 및
    식별된 상기 영역을 필름 그레인으로 채우는 단계를 더 포함하는 것인, 3차원 영상에 필름 그레인을 부가하는 방법.
  9. 제1 및 제2 뷰 화상을 가지는 3차원 영상에 필름 그레인을 부가하는 방법으로서,
    제1 뷰 화상으로부터 필름 그레인을 제거하는 단계;
    제2 뷰 화상으로부터 그레인을 제거하는 단계;
    상기 제1 뷰 화상에 대하여 컴포트 노이즈 및 필름 그레인 중 하나를 생성하는 단계;
    상기 제1 뷰 화상 및 상기 제2 뷰 화상이 상기 3차원 영상과 동일한 3차원 영상 깊이를 갖도록, 상기 제1 뷰 화상에 대하여 생성된 컴포트 노이즈 및 필름 그레인 중 하나를 워핑함으로써 상기 생성된 상기 제1 뷰 화상에 대한 컴포트 노이즈 및 필름 그레인 중 하나로부터 상기 제2 뷰 화상에 대하여 컴포트 노이즈 및 필름 그레인 중 하나를 생성하는 단계; 및
    상기 컴포트 노이즈와 필름 그레인 중 상기 생성된 하나를 상기 제2 뷰 화상에 부가하는 단계를 포함하는, 3차원 영상에 필름 그레인을 부가하는 방법.
  10. 제9항에 있어서, 상기 제2 뷰 화상에 대하여 상기 컴포트 노이즈 및 필름 그레인 중 하나를 생성하는 단계는,
    상기 3차원 영상을 워핑함으로써 컴포트 노이즈 및 필름 그레인 중 하나를 생성한 다음에 상기 생성된 컴포트 노이즈 및 필름 그레인 중 하나에서 값이 누락된 영역을 식별하는 단계; 및
    상기 식별된 영역을 컴포트 노이즈 및 필름 그레인 중 하나로 채우는 단계를 더 포함하는 것인, 3차원 영상에 필름 그레인을 부가하는 방법.
  11. 제1 뷰 및 제2 뷰를 갖는 3차원 영상에 대해 노이즈를 부가하기 위한 장치에 있어서,
    상기 제1 뷰 및 상기 제2 뷰가 상기 3차원 영상과 동일한 3차원 영상 깊이를 갖도록, 상기 제1 뷰에 대한 노이즈를 워핑해서 상기 제2 뷰에 대한 노이즈를 생성함으로써 상기 제1 뷰 및 상기 제2 뷰에 컴포트 노이즈 또는 필름 그레인을 부가하기 위한 노이즈 생성기를 포함하는, 3차원 영상에 노이즈를 부가하기 위한 장치.
  12. 제11항에 있어서, 상기 노이즈 생성기는,
    상기 영상 내의 제1 뷰에 대해 노이즈를 계산하는 수단;
    상기 3차원 영상을 워핑함으로써 상기 3차원 영상 깊이에 따라 상기 제1 뷰 에 대해 계산된 상기 노이즈로부터 제2 뷰에 대한 노이즈를 생성하는 수단;
    상기 제1 뷰 화상에 상기 계산된 노이즈를 부가하는 수단;
    상기 제2 뷰 화상에 상기 생성된 노이즈를 부가하는 수단을 더 포함하는 것인, 3차원 영상에 노이즈를 부가하기 위한 장치.
  13. 제12항에 있어서, 제2 뷰 화상에 대한 노이즈를 생성하는 상기 수단은,
    상기 3차원 영상을 워핑함으로써 상기 노이즈를 생성한 다음에 상기 생성된 노이즈에서 값이 누락된 영역을 식별하는 수단; 및
    상기 식별된 영역을 노이즈로 채우는 수단을 더 포함하는 것인, 3차원 영상에 노이즈를 부가하기 위한 장치.
  14. 제1 및 제2 뷰 화상을 가지는 3차원 영상에 필름 그레인을 부가하기 위한 장치로서,
    제1 뷰 화상으로부터 필름 그레인을 추출하는 수단;
    제2 뷰 화상으로부터 그레인을 제거하는 수단;
    상기 제1 뷰 화상 및 상기 제2 뷰 화상이 상기 3차원 영상과 동일한 3차원 영상 깊이를 갖도록, 상기 제1 뷰 화상에 대해 추출된 상기 필름 그레인을 워핑함으로써 상기 제1 뷰 화상에 대해 추출된 상기 필름 그레인으로부터 상기 제2 뷰 화상에 대한 필름 그레인을 생성하는 수단; 및
    상기 제2 뷰 화상에 상기 생성된 필름 그레인을 부가하는 수단을 포함하는, 3차원 영상에 필름 그레인을 부가하기 위한 장치.
  15. 제14항에 있어서, 상기 제2 뷰 화상에 대한 필름 그레인을 생성하는 수단은,
    상기 3차원 영상을 워핑함으로써 상기 필름 그레인을 생성한 다음에 상기 생성된 필름에서 값이 누락된 영역을 식별하는 수단; 및
    상기 식별된 영역을 필름 그레인으로 채우는 수단을 더 포함하는 것인, 3차원 영상에 필름 그레인을 부가하기 위한 장치.
KR1020127029530A 2010-05-11 2010-05-11 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리 KR101696918B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2010/001391 WO2011142734A1 (en) 2010-05-11 2010-05-11 Comfort noise and film grain processing for 3 dimensional video

Publications (2)

Publication Number Publication Date
KR20130084232A KR20130084232A (ko) 2013-07-24
KR101696918B1 true KR101696918B1 (ko) 2017-01-23

Family

ID=42543276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127029530A KR101696918B1 (ko) 2010-05-11 2010-05-11 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리

Country Status (7)

Country Link
US (1) US8761541B2 (ko)
EP (1) EP2569950B1 (ko)
JP (1) JP5695186B2 (ko)
KR (1) KR101696918B1 (ko)
CN (1) CN102884799B (ko)
BR (1) BR112012027770A2 (ko)
WO (1) WO2011142734A1 (ko)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101723235B1 (ko) * 2010-10-04 2017-04-04 삼성전자주식회사 입체 영상의 입체감을 감쇠하기 위한 장치 및 방법
EP2627094A1 (en) 2012-02-08 2013-08-14 Thomson Licensing Film grain for stereoscopic or multi-view images
US9031356B2 (en) * 2012-03-20 2015-05-12 Dolby Laboratories Licensing Corporation Applying perceptually correct 3D film noise
US9183665B2 (en) 2013-02-08 2015-11-10 Thomson Licensing Film grain for stereoscopic or multi-view images
EP2811463B1 (en) 2013-06-04 2018-11-21 Dassault Systèmes Designing a 3d modeled object with 2d views
EP2874118B1 (en) 2013-11-18 2017-08-02 Dassault Systèmes Computing camera parameters
PL412832A1 (pl) * 2015-06-24 2017-01-02 Politechnika Poznańska Sposób renderowania w oparciu o obraz głębi i system do renderowania w oparciu o obraz głębi
EP3188033B1 (en) 2015-12-31 2024-02-14 Dassault Systèmes Reconstructing a 3d modeled object
EP3293705B1 (en) 2016-09-12 2022-11-16 Dassault Systèmes 3d reconstruction of a real object from a depth map
EP3343502B1 (en) 2016-12-28 2019-02-20 Dassault Systèmes Depth sensor noise
CN110944230B (zh) * 2019-11-21 2021-09-10 北京达佳互联信息技术有限公司 视频特效的添加方法、装置、电子设备及存储介质
KR102452881B1 (ko) * 2021-11-23 2022-10-11 (주)코코믹스 영상 처리 장치 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240910A (ja) * 2003-02-10 2004-08-26 Toshiba Corp 画像処理装置および画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2663000B2 (ja) 1988-10-29 1997-10-15 株式会社エイ・ティ・アール通信システム研究所 奥行信号分離式立体テレビジョン装置
JPH09102968A (ja) 1995-10-03 1997-04-15 Canon Inc 立体画像表示装置
GB9607633D0 (en) 1996-04-12 1996-06-12 Discreet Logic Inc Grain matching of composite image in image
KR100321897B1 (ko) 1998-12-22 2002-05-13 박남은 입체영상이미지변환방법및그장치
CA2316611A1 (en) 1999-08-31 2001-02-28 Nintendo Co. Ltd. Method and apparatus for providing depth blur effects within a 3d videographics system
EP1262942A1 (en) 2001-06-01 2002-12-04 Deutsche Thomson-Brandt Gmbh Method and apparatus for processing video data for a display device
WO2005034518A1 (en) * 2003-09-23 2005-04-14 Thomson Licensing S.A. Method for simulating film grain by mosaicing pre-computed samples
EP1676446B1 (en) * 2003-09-23 2011-04-20 Thomson Licensing Video comfort noise addition technique
BRPI0415404B1 (pt) * 2003-10-14 2018-07-17 Thomson Licensing técnica para a adição de um ruído de conforto de bits exatos
WO2006010276A1 (en) 2004-07-30 2006-02-02 Algolith Inc Apparatus and method for adaptive 3d artifact reducing for encoded image signal
JP4766118B2 (ja) * 2007-02-02 2011-09-07 株式会社ニコン 画像処理方法
JP5160825B2 (ja) * 2007-07-17 2013-03-13 日立アロカメディカル株式会社 超音波診断装置及び画像処理プログラム
US8300086B2 (en) * 2007-12-20 2012-10-30 Nokia Corporation Image processing for supporting a stereoscopic presentation
KR101526866B1 (ko) * 2009-01-21 2015-06-10 삼성전자주식회사 깊이 정보를 이용한 깊이 노이즈 필터링 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004240910A (ja) * 2003-02-10 2004-08-26 Toshiba Corp 画像処理装置および画像処理方法

Also Published As

Publication number Publication date
WO2011142734A1 (en) 2011-11-17
CN102884799A (zh) 2013-01-16
KR20130084232A (ko) 2013-07-24
EP2569950B1 (en) 2015-07-08
CN102884799B (zh) 2015-11-25
JP2013530618A (ja) 2013-07-25
EP2569950A1 (en) 2013-03-20
US8761541B2 (en) 2014-06-24
BR112012027770A2 (pt) 2017-08-08
JP5695186B2 (ja) 2015-04-01
US20130039597A1 (en) 2013-02-14

Similar Documents

Publication Publication Date Title
KR101696918B1 (ko) 3차원 비디오를 위한 컴포트 노이즈 및 필름 그레인 처리
Tam et al. Smoothing depth maps for improved steroscopic image quality
KR101625830B1 (ko) 깊이 맵을 생성하기 위한 방법 및 디바이스
US9031356B2 (en) Applying perceptually correct 3D film noise
JP5575650B2 (ja) 奥行きマップを処理する方法及び装置
KR101274644B1 (ko) 매체 재생 디바이스에서 사용하기 위한 필름 그레인시뮬레이션 기술
US8488868B2 (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
Vázquez et al. Stereoscopic imaging: filling disoccluded areas in depth image-based rendering
US20100040280A1 (en) Enhanced ghost compensation for stereoscopic imagery
US20130069942A1 (en) Method and device for converting three-dimensional image using depth map information
JP2008517530A (ja) フィルム粒子のシミュレーション方法
JP2004522382A (ja) ステレオスコピック画像処理機器および方法
US9769451B2 (en) Crosstalk cancellation in 3D displays
Tam et al. Three-dimensional TV: A novel method for generating surrogate depth maps using colour information
Köppel et al. Consistent spatio-temporal filling of disocclusions in the multiview-video-plus-depth format
JP6148154B2 (ja) 画像処理装置及び画像処理プログラム
Tam et al. Nonuniform smoothing of depth maps before image-based rendering
JP2014042238A (ja) 3dビジュアルコンテントのデプスベースイメージスケーリング用の装置及び方法
Tam et al. Depth image based rendering for multiview stereoscopic displays: Role of information at object boundaries
US8976175B2 (en) Depth estimation data generating device, computer readable recording medium having depth estimation data generating program recorded thereon, and pseudo-stereo image display device
JP5254297B2 (ja) 画像処理装置
CN105376548B (zh) 用于3维视频的舒适噪声和胶片颗粒处理
JP5500092B2 (ja) 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
Xu Capturing and post-processing of stereoscopic 3D content for improved quality of experience
JP2012084961A (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4