KR20140051333A - 모델-기반 입체 및 멀티뷰 크로스토크 감소 - Google Patents

모델-기반 입체 및 멀티뷰 크로스토크 감소 Download PDF

Info

Publication number
KR20140051333A
KR20140051333A KR1020147004419A KR20147004419A KR20140051333A KR 20140051333 A KR20140051333 A KR 20140051333A KR 1020147004419 A KR1020147004419 A KR 1020147004419A KR 20147004419 A KR20147004419 A KR 20147004419A KR 20140051333 A KR20140051333 A KR 20140051333A
Authority
KR
South Korea
Prior art keywords
crosstalk
signal
display
visual
model
Prior art date
Application number
KR1020147004419A
Other languages
English (en)
Other versions
KR101574914B1 (ko
Inventor
라민 사마다니
넬슨 리앙 앤 창
Original Assignee
휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피. filed Critical 휴렛-팩커드 디벨롭먼트 컴퍼니, 엘.피.
Publication of KR20140051333A publication Critical patent/KR20140051333A/ko
Application granted granted Critical
Publication of KR101574914B1 publication Critical patent/KR101574914B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/302Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/327Calibration thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/349Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

3D 디스플레이에서 크로스토크를 감소시키기 위한 방법이 개시된다. 3D 디스플레이 내 크로스토크는 복수의 테스트 신호로 특징지어져 포워드 변환 모델을 생성한다. 입력 이미지 신호는 포워드 변환 모델에 적용되어 모델링된 신호를 생성한다. 모델링된 신호는 시각적 모델에 적용되어 시각적 척도를 생성한다. 입력 신호는 시각적 척도에 기초하여 수정된다.

Description

모델-기반 입체 및 멀티뷰 크로스토크 감소{MODEL-BASED STEREOSCOPIC AND MULTIVIEW CROSS-TALK REDUCTION}
본 발명은 모델-기반 입체 및 멀티뷰 크로스토크 감소에 관한 것이다.
입체 및 멀티뷰 디스플레이는 3차원("3D") 실세계 장면에 관한 더 정확한 시각적 재현(visual reproduction)을 시청자에게 제공하기 위해 생겨났다. 그러한 디스플레이는 시청자가 복수의 시점(multiple viewpoints)으로부터 3D 효과를 경험할 수 있도록 하기 위해 액티브 글래스(active glasses), 패시브 글래스(passive glasses) 또는 자동입체 렌티큘라 어레이(autostereoscipic lenticular arrays)의 사용을 요구할 수 있다. 예를 들어, 입체 디스플레이는 분리된 이미지 뷰를 시청자의 왼쪽 눈 및 오른쪽 눈으로 지향시킨다. 시청자의 뇌는 그 후 상이한 뷰를 비교하여 시청자가 본 것을 단일 3D 이미지로 생성한다.
3D 디스플레이에서 발생하는 하나의 큰 문제는 이미지 뷰들 사이에서의 크로스토크이다. 즉, 한쪽 눈에 의도된 이미지 뷰의 일부가 다른 쪽 눈으로 흐르거나(bleed) 유출(leak)되어 원치않는 크로스토크 신호를 야기한다. 이러한 크로스토크 신호가 이미지 뷰에 중첩됨(superimposed)으로써 3D 이미지의 전체 품질을 저하시킨다. 3D 디스플레이에서의 크로스토크를 감소시키고 보정하기 위한 다양한 방법들이 존재해오고 있지만, 이들은 하드웨어적으로 또는 물리학에 기반한 접근법으로 구현하는데 비용이 많이 든다는 것 외에도, 특정 타입의 콘텐츠(예를 들어, 그래픽 이미지(graphics imagery)), 특정 타입의 3D 디스플레이(예를 들어, 액티브 글래스를 요구하는 것들), 또는 얼마 안 되는 뷰(예를 들어, 스테레오의 경우엔 2개의 뷰)로 제한되는 경향이 있다.
본 출원은 첨부된 도면과 함께 취해진 다음의 상세한 설명과 관련하여 더 완전히 이해될 수 있으며, 여기서 유사한 참조 문자는 명세서 전체에 걸쳐 유사한 부분을 지칭한다.
도 1은 크로스토크를 가지는 예시의 3D 디스플레이 시스템에 관한 개략도를 도시한다.
도 2는 3D 디스플레이에서 크로스토크 신호를 특징짓고 보정하기 위한 시스템에 관한 개략도를 도시한다.
도 3은 도 2의 예시의 크로스토크 감소 모듈을 더 상세히 도시한다.
도 4는 다양한 실시예들에 따라 도 3의 크로스토크 감소 모듈을 사용하는 3D 디스플레이에서의 크로스토크를 감소시키고 보정하기 위한 흐름도를 도시한다.
도 5는 도 3의 크로스토크 감소 모듈과 사용하기 위한 포워드 변환 모델에 관한 개략도를 도시한다.
도 6은 도 5의 포워드 변환 모델을 생성하는데 사용될 수 있는 예시의 테스트 신호를 도시한다.
입체 및 멀티뷰 3D 디스플레이에서 사용하기 위한 모델 기반 크로스토크 감소 시스템 및 방법이 개시된다. 본원에서 전반적으로 설명되는 바와 같이, 크로스토크는, 시청자(viewer)의 한쪽 눈에 의도된 이미지 신호 또는 뷰(view)가 다른 눈에 의도된 이미지 신호에 중첩되는(superimposed) 의도치않은 신호로서 나타나는 경우에 발생한다. 이런 의도치 않은 신호는 본원에서 크로스토크 신호로 지칭된다.
다양한 실시예들에서, 3D 디스플레이에 나타나는 크로스토크 신호는 포워드 변환 모델(a forward transformation model) 및 시각적 모델(a visual model)을 사용함으로써 감소 및 보정된다. 포워드 변환 모델은 이미지 신호가 디스플레이에 입력되는 경우에 발생하는 크로스토크 신호의 광학적, 측광학적(photometric), 그리고 기하학적(geometric) 측면을 특징짓는다. 시각적 모델은 공간 판별(spatial discrimination), 색상, 및 시간 판별(temporal discrimination)을 수반하는 핵심적인 시각적 효과를 고려함으로써 디스플레이에 입력되는 원래 이미지 신호에 대한 시각적 피델리티(visual fidelity)가 유지된다. 비선형 최적화(a non-linear optimization)는 크로스토크 신호를 감소 또는 완전히 제거하도록 입력 신호에 적용된다.
다음의 설명에서, 실시예들에 관한 완전한 이해를 제공하기 위해 많은 특정 세부사항이 개시된다. 그러나, 실시예들은 이러한 특정 세부사항에 제한되지 않고 실시될 수 있다는 것에 유념해야 한다. 다른 경우에서, 잘 알려진 방법 및 구조는 실시예들에 관한 설명을 불필요하게 불명료하게 하는 것을 방지하기 위해 상세히 설명되지 않을 수도 있다. 또한, 실시예들은 서로와 조합하여 사용될 수도 있다.
이제 도 1을 참조하여, 크로스토크를 가지는 예시적인 3D 디스플레이 시스템에 관한 개략도가 설명된다. 3D 디스플레이 시스템(100)은, 예를 들어, 패럴랙스 디스플레이(a parallax display), 렌티큘라 기반 디스플레이(a lenticular-based display), 홀로그래픽 디스플레이(a holographic display), 프로젝터 기반 디스플레이(a projector-based display), 라이트 필드 디스플레이(a light field display) 등과 같은, 입체 또는 멀티뷰 디스플레이 스크린일 수 있는 3D 디스플레이 스크린(105)을 갖는다. 이미지 획득 모듈(an image acquisition module)(110)은 디스플레이 스크린(105)에서의 디스플레이를 위해 복수의 이미지 뷰 또는 신호를 캡쳐하도록 하나 이상의 카메라(미도시)를 구비할 수 있다. 예를 들어, 입체 디스플레이의 경우, 두 개의 이미지 뷰, 즉, 시청자의 왼쪽 눈(115)에 대한 하나(왼쪽 이미지 "L" (125)) 및 시청자의 오른쪽 눈(120)에 대한 다른 하나(오른쪽 이미지 "R"(130))가 캡쳐될 수 있다. 캡쳐된 이미지(125, 130)는 디스플레이 스크린(105) 상에 디스플레이되고 시청자의 왼쪽 눈(115)에서는 이미지(135)로 그리고 시청자의 오른쪽 눈(120)에서 이미지(140)로 인식된다. 대안적으로, 이미지 획득 모듈(110)은 컴퓨터로 생성된 3D 또는 멀티뷰 그래픽 정보를 단순히 나타낼 수 있다.
디스플레이 스크린(105)에 의해 생성된 크로스토크의 결과로서, 이미지(135, 140)는 크로스토크 신호와 중첩된다. 시청자의 왼쪽 눈(115)에 대한 이미지(135)는 크로스토크 신호(145)와 중첩되고 시청자의 오른쪽 눈(120)에 대한 이미지(140)는 크로스토크 신호(150)와 중첩된다. 본 기술분야의 당업자에 의해 이해되는 바와 같이, 시청자에 의해 인식되는 이미지 내 크로스토크 신호(145 및 150)의 존재는 이미지의 전체 품질에 영향을 미친다. 고스팅(ghosting) 또는 다른 주관적인 가시적 아티팩트(subjective visible artifacts)와 달리, 크로스토크 신호는 물리적 엔티티이며 객관적으로 측정(measured)되고, 특징지어지고, 보정될 수 있다는 것이 또한 유념된다.
이제 도 2를 참조하여, 3D 디스플레이 내 크로스토크 신호를 특징짓고 보정하기 위한 시스템에 관한 개략도를 도시한다. 3D 디스플레이 스크린(200)은, 예를 들어, 왼쪽 이미지 "L"(215) 및 오른쪽 이미지 "R"(220)과 같은, 3D 디스플레이 스크린(210)에서의 디스플레이를 위한 복수의 이미지 뷰 또는 신호를 캡쳐하기 위한 이미지 획득 모듈(205)을 구비한다. 크로스토크 감소 모듈(225)은 이미지(215, 220)를 취하고 모델 기반 접근법을 적용하여 3D 디스플레이 스크린(210)에 의해 도입된 크로스토크를 감소시키고 보정한다. 크로스토크 감소 모듈(225)은 이미지(215, 220)를 그 후 디스플레이 스크린(210)에 입력되는 이미지(230, 235)로 수정한다. 그 결과, 이미지(240, 245)는 상당히 감소하거나 존재하지 않는 크로스토크와 함께 시청자의 눈(250, 255)에 의해 감지된다. 크로스토크 감소 모듈(225) 및 3D 디스플레이 스크린(210)이 (도시된 바와 같이) 별도의 디바이스로 구현되거나 단일 디바이스에 통합될 수 있다는 것이 본 기술분야의 당업자에 의해 이해될 것이다.
도 3은 도 2의 예시의 크로스토크 감소 모듈을 더 상세히 도시한다. 크로스토크 감소 모듈(300)은 포워드 변환 모델(a forward transformation model)(305), 시각적 모델(a visual model)(310) 및 크로스토크 보정 모듈(a cross-talk correction module)(315)을 구비하여 3D 디스플레이에 예정된 크로스토크 신호를 감소시키고 보정한다. 예를 들어, 왼쪽 이미지 신호 "L"(320) 및 오른쪽 이미지 신호 "R"(325)과 같은, 3D 디스플레이에서 디스플레이될 복수의 이미지 뷰 또는 신호를 고려해 볼 때, 크로스토크 감소 모듈(300)은 3D 디스플레이에 의해 도입된 크로스토크를 특징짓고, 왼쪽 크로스토크 보정 이미지 "LCC"(355) 및 오른쪽 크로스토크 보정 이미지 "RCC"(360)와 같은 대응하는 크로스토크 보정 이미지를 생성한다.
포워드 변환 모델(305)은 3D 디스플레이에 의해 도입되는 직접 및 크로스토크 신호의 광학적, 측광학적, 그리고 기하학적 측면을 특징짓는다. 즉, 포워드 변환 모델(305)은 이미지 획득(예를 들어, 이미지 획득 모듈(205))으로부터 3D 디스플레이(예를 들어, 3D 디스플레이(210))로 포워드 변환을 특징지음으로써 직접 및 크로스토크 신호를 추정(estimates) 또는 모델링한다. 이는 테스트 신호를 입력으로 사용할 때 3D 디스플레이에 의해 생성되는 출력 신호를 측정함으로써 실시된다. 본 기술분야의 당업자에 의해 이해되는 바와 같이, 포워드 변환 모델(305)은 수학적 함수 F(.)로 표현될 수 있다.
다양한 실시예들에서, 테스트 신호는 왼쪽 및 오른쪽 테스트 신호 양자를 공동으로 포함할 수 있거나, 왼쪽 또는 오른쪽 테스트 신호를 각각 포함할 수 있다. 첫 번째 경우에서, 테스트 이미지 신호(LT 및 RT)는 3D 디스플레이에 공동으로 송신되어 본원에서 LF 및 RF로 지칭되는 왼쪽 및 오른쪽 출력 신호를 생성하며, 포워드 변환 함수 F(.)의 파라미터를 추정한다. 즉,
[수학식 1]
FL(LT, RT) → LF
[수학식 2]
FR(LT, RT) → RF
여기서, FL은 왼쪽 출력 신호 LF를 특징짓는데 사용되는 포워드 모델을 표현하고 FR은 오른쪽 출력 신호 RF를 특징짓는데 사용되는 포워드 모델을 표현한다.
두 번째 경우에서, 테스트 이미지 신호(LT 및 RT)는 3D 디스플레이에 개별적으로 송신되어 왼쪽 및 오른쪽 출력 신호를 생성한다. 즉,
[수학식 3]
FL(LT, 0) → LDL, RCL
[수학식 4]
FR(0, RT) → LCR, RDR
여기서 LDL 및 RCL은 LT 테스트 신호만이 입력으로 사용되는 경우에 시청자의 왼쪽(LDL) 및 오른쪽(RCL) 눈에 디스플레이되는 출력 신호이다. 이와 마찬가지로, LCR 및 RDR은 RT 테스트 신호만이 입력으로 사용되는 경우에 시청자의 왼쪽(LCR) 및 오른쪽(RDR) 눈에 디스플레이되는 출력 신호이다.
본 기술분야의 당업자에 의해 이해되는 바와 같이, LDL 및 RDR 신호는 크로스토크가 없을 때 각 눈에서의 원하는 출력신호이고, RCL 및 LCR 신호는 다른 눈에 유출(leak)되는 크로스토크를 나타낸다. 예를 들어, RCL은 왼쪽 이미지 신호만이 디스플레이에 송신되는 경우에 오른쪽 눈에 보여지는 크로스토크를 나타내고, LCR은 오른쪽 이미지 신호만이 디스플레이에 송신되는 경우에 왼쪽 눈에 보여지는 크로스토크를 나타낸다.
일 실시예에서, 추가적인 또는 다른 위와 같은 모델이 각 눈에 대하여 측정된 응답을 조합하도록, 즉, 왼쪽 눈에 대한 LDL 및 LCR 응답을 조합된 신호 LD로 조합하도록 그리고 오른쪽 눈에 대한 RCL 및 RDR 응답을 조합된 신호 RD로 조합하도록, 사용될 수 있다. 조합된 응답 LD 및 RD는 그 후 포워드 변환 함수 F(.)의 파라미터를 추정(estimate)하는데 사용될 수 있다. 이 변환 함수는 사용되는 특정 3D 디스플레이(예를 들어, 렌티큘라 어레이 디스플레이, 입체 액티브 글래스 디스플레이, 라이트 필드 디스플레이 등)에 따라 그 파라미터가 변하기 때문에 디스플레이-의존형이라는 것을 주목하자.
포워드 변환 모델(305)이 테스트 신호와 함께 생성되고 나면, 입력 이미지 신호(예를 들어, L(320) 및 R(325))는 크로스토크 감소 모듈(300)에 적용되어 크로스토크 보정 이미지 신호(예를 들어, LCC(355) 및 RCC(360))를 생성할 수 있다. 우선, L(320) 및 R(325) 입력 신호는 포워드 변환 모델(305)에 적용되어, 3D 디스플레이에 의해 도입된 크로스토크를 모델링된 크로스토크 출력 신호(LF 및 RF) 및 원하는 신호(LDL 및 RDR)로 특징짓는다. 그 후 이러한 신호들은 시각적 모델(310)에 송신되어, 3D 디스플레이에 디스플레이된 신호의 시각적 품질이 이의 크로스토크에 의해 얼마나 영향을 받는지를 표현하는 시각적 척도(a visual measure)를 결정한다. 일 예시에서, 시각적 모델(310)은, 무엇보다도 공간 판별, 색상, 및 시간 판별을 수반하는 시각적 영향을 고려함으로써 원하는 신호(LDL 및 RDR)와 모델링된 크로스토크 출력 신호(LF 및 RF) 사이의 시각적 차이에 관한 척도(ν)를 계산한다. 시각적 모델(310)은 그러한 시각적 차이 척도를 계산하기 위한 임의의 시각적 모델일 수 있다는 것이 유념된다.
크로스토크 보정 모듈(315)은 이러한 척도(ν)를 사용하여 입력 이미지 신호 (L(320) 및 R(325))를 수정하여 시각적으로 수정된 입력 신호(LM(345) 및 RM(350))를 생성한다. 일 실시예에서, 이는 시각적으로 수정된 입력 신호를 입력 신호의 정준 변환(canonical transformations)으로 생성하기 위해, 입력 신호의 콘트라스트(contrast), 밝기(brightness), 및 색상(color)과 같은, 시각적 파라미터 또는 특성을 변화시킴으로써 행해진다.
시각적으로 수정된 입력 신호(LM(345) 및 RM(350))는 그 후 포워드 변환 모델(305)에 대한 입력으로서 송신되어 시각적 척도(ν)를 업데이트하고 입력 신호에 대한 수정이 크로스토크를 감소시켰는지(ν의 값이 작을수록, 크로스토크는 낮음)를 결정한다. 이러한 프로세스는 크로스토크가 상당히 감소되거나 완전히 제거될 때까지, 즉, 크로스토크가 시청자의 눈에 시각적으로 감소될 때까지, 반복된다. 즉, 비선형 최적화(a non-linear optimization)는 ν가 최소화되고 크로스토크가 출력 신호(LCC(355) 및 RCC(360))에서 상당히 감소하거나 완전히 제거될 때까지 ν의 값을 통해 반복하도록 수행된다. 시각적 척도(ν)가 이의 최저치일 때 출력 신호(LCC(355) 및 RCC(360))는 시각적으로 수정된 신호(LM(345) 및 RM(350))와 동일하다는 것이 유념된다.
도 3에 도시된 다양한 왼쪽 및 오른쪽 이미지 신호(예를 들어, 입력(L(320) 및 R(325)), 출력(LCC(355) 및 RCC(360)))는 단지 예시를 위해 도시된다는 것 또한 유념된다. (예를 들어, 멀티뷰 디스플레이에서의 복수의 이미지 뷰와 같은) 복수의 이미지 뷰는 대응하는 크로스토크 보정 출력을 생성하기 위해 크로스토크 감소 모듈(300)에 입력될 수 있다. 즉, 크로스토크 감소 모듈(300)은 그것이 지원하는 뷰의 개수에 상관없이 임의의 타입의 3D 디스플레이에 대하여 구현될 수 있다.
이제, 다양한 실시예들에 따라 도 3의 크로스토크 감소 모듈을 사용하는 3D 디스플레이에서 크로스토크를 감소시키고 보정하기 위한 흐름도를 도시하는 도 4에 주목하자. 우선, 3D 디스플레이에서 도입된 크로스토크는 복수의 테스트 신호와 특징지어져 포워드 변환 모델을 생성한다(400). 포워드 변환 모델이 생성되고 나면, 이미지 신호는 모델에 입력되어 모델링된 신호를 생성한다(405). 이러한 모델링된 신호는, 예를 들어, 전술된 LF 및 RF 및 LD 및 RD 신호일 수 있다.
그 다음, 모델링된 신호는 시각적 모델에 적용되어 3D 디스플레이에 디스플레이된 신호의 시각적 품질이 이의 크로스토크에 의해 얼마나 영향을 받는지를 표시하는 시각적 척도를 계산한다(410). 입력 신호는 그 후 시각적 척도에 기초하여 수정되고(415) 시각적 척도가 최소화될 때까지 포워드 변환 모델에 재적용된다(420). 시각적 척도가 최소화되고 나면, 수정된, 크로스토크 보정 신호는 디스플레이를 위해 3D 디스플레이에 송신된다(425). 크로스토크 보정 신호는 크로스토크가 시청자에게 시각적으로 감소된 것과 같다. 대안적으로, 본 기술분야의 당업자에 의해 유념되는 바와 같이, 수정된, 크로스토크 보정 신호는 추후 디스플레이를 위해 저장될 수 있다.
이제 도 5를 참조하여, 도 3의 크로스토크 감소 모듈과 함께 사용하기 위한 포워드 변환 모델에 관한 개략도가 도시된다. 포워드 변환 모델(500)은 포워드 변환 함수 F(.)에서 표현되는 측광적(photometric), 기하학적(geometric), 그리고 광학적(optical) 팩터를 특징짓기 위한 4개의 주요 변환을 갖는다: (1) 공간 변형 오프셋 및 이득 변환(a space-varying offset and gain transformation)(505); (2) 색상 보정 변환(a color correction transformation)(510); (3) 기하 보정 변환(a geometric correction transformation)(515); (4) 공간 변형 블러 변환(a space varying blur transformation)(520). 색상 패치(color patches), 격자 패턴(grid patterns), 수평 및 수직 줄무늬(horizontal and vertical stripes), 및 균일한 화이트, 블랙, 및 그레이 레벨 신호를 포함하는 테스트 신호는 F(.)의 파라미터를 추정하기 위해 암실(a dark room) 내 3D 디스플레이에 송신된다.
공간 변형 오프셋 및 이득 변환(505)에서, 화이트 및 블랙 레벨 신호는 3D 디스플레이에 송신되어 이의 화이트 및 블랙 응답을 결정하고 이득 오프셋 출력을 생성한다. 이러한 이득 오프셋 변환을 고려해 볼 때, 색상 보정 변환(510)은 다음에 측정된 색상과 색상 값 사이에서 피팅(fitting)하는 것에 의해 결정된다. 그레이 입력 패치에 대하여 측정된 평균 색상 값은 입력 색상 컴포넌트에 적용된 1차원 룩업 테이블을 결정하는데 사용되고, 기본적인 R, G 및 B 입력에 대하여 측정된 평균 색상 값은 알려진 입력 색상 값을 사용하는 색상 혼합 매트릭스(a color mixing matrix)를 결정하는데 사용된다. 공간적으로 재정규화된 색상(spatially renormalized colors)을 사용하여 피트(fits)를 계산하는 것은 색상 보정 변환(510)으로 하여금 소수의 파라미터를 사용하여 데이터를 피팅할 수 있도록 한다.
그 다음, 기하 보정(515)은, 예를 들어, 다항식 메시 변환 모델(a polynomial mesh transformation model)을 사용하여 결정될 수 있다. 마지막 공간 변형 블러 변환(520)은 모델링된 신호의 에지에서 좋은 결과를 획득하기 위해 요구된다. 블러가 적용되지 않은 경우, 부적당한 헤일로 아티팩트(objectionable halo artifacts)가 모델링된 신호에 가시적으로 남아있을 수 있다. 일 실시예에서, 공간 변형 블러의 파라미터는 수평 및 수직 방향의 각 블러 커널(blur kernels)을 추정함으로써 결정될 수 있다. 추가적인 변환이 포워드 변환 모델(500)을 생성하는데 사용될 수 있다는 것이 유념된다.
도 6은 도 5의 포워드 변환 모델을 생성하는데 사용될 수 있는 예시의 테스트 신호를 도시한다. 테스트 신호(600)는, 정사각형(605)과 같은, 복수의 색상 정사각형을 가지는 색상 패치(a color patch)를 나타내고, 색상 보정(510)을 위해 사용된다. 테스트 신호(610)는 기하 보정(515)을 위해 사용되는 체커보드(a checkerboard)이며, 화이트 및 블랙 테스트 신호(615, 620)는 공간 변형 이득 및 오프셋 변환(505)을 위해 사용된다. 테스트 신호(625, 630)는 공간 변형 블러 파라미터를 결정하기 위해 수평선 및 수직선을 포함한다.
본 기술분야의 당업자에 의해 이해되는 바와 같이, 본원에서 설명된 포워드 변환 모델을 생성하기 위해 다른 테스트 신호가 사용될 수 있다. 포워드 변환 모델을 생성하도록 다양한 변환을 포함하여 행해진 해결책은 도 3의 크로스토크 감소 모듈이 임의의 타입의 3D 디스플레이에서의 크로스토크 및 다양한 입력 신호에 대한 크로스토크를 감소시키고 보정하는 것을 가능하게 하고, 디스플레이된 신호의 시각적 품질을 개선한다.
개시된 실시예들에 관한 앞에서의 설명은 본 기술분야의 당업자로 하여금 본 개시물을 실시하고 사용할 수 있도록 하기 위해 제공된다는 것이 유념된다. 이러한 실시예들에 대한 다양한 수정은 본 기술분야의 당업자들에게 용이하게 명백해질 것이며, 본원에서 정의된 포괄적 원리는 본 개시물의 정신 또는 범주를 벗어나지 않으면서 다른 실시예들에 적용될 수 있다. 따라서, 본 개시물은 본원에 도시된 실시예들로 제한되고자 하는 것이 아니라 본원에 개시된 원리 및 새로운 특징(novel features)에 따른 가장 넓은 범주를 가지고자 한다.

Claims (20)

  1. 3D 디스플레이 내 크로스토크(cross talk)를 감소시키기 위한 방법으로서,
    포워드 변환 모델(a forward transformation model)을 생성하도록 상기 3D 디스플레이 내 상기 크로스토크를 복수의 테스트 신호로 특징짓는 단계와,
    모델링된 신호를 생성하도록 입력 이미지 신호를 상기 포워드 변환 모델에 적용하는 단계와,
    시각적 척도(a visual measure)를 계산하도록 상기 모델링된 신호를 시각적 모델(a visual model)에 적용하는 단계와,
    상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하는 단계를 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  2. 제 1 항에 있어서,
    상기 3D 디스플레이 내 상기 크로스토크를 특징짓는 단계는 상기 복수의 테스트 신호를 상기 3D 디스플레이에 입력하는 단계 및 출력 신호 세트를 측정하는(measuring) 단계를 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  3. 제 2 항에 있어서,
    상기 포워드 변환 모델을 생성하도록 상기 출력 신호 세트를 사용하는 단계를 더 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  4. 제 1 항에 있어서,
    상기 복수의 테스트 신호는 색상 패치 테스트 신호(a color patch test signal), 체커보드 테스트 신호(a checkerboard test signal), 화이트 테스트 신호(a white test signal), 블랙 테스트 신호(a black test signal), 수평선 테스트 신호(a horizontal lined test signal), 및 수직선 테스트 신호(a vertical lined test signal)로 구성된 그룹으로부터의 신호를 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  5. 제 1 항에 있어서,
    상기 포워드 변환 모델은 공간 변형 오프셋(a space-varying offset) 및 이득 변환(gain transformation), 색상 보정 변환(a color correction transformation), 기하 보정 변환(a geometric correction transformation), 및 공간 변형 블러 변환(a space varying blur transformation)으로 구성된 그룹으로부터의 변환 세트를 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  6. 제 1 항에 있어서,
    상기 모델링된 신호는 크로스토크 모델링된 신호 세트 및 원하는 신호 세트를 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  7. 제 1 항에 있어서,
    상기 시각적 척도는 상기 크로스토크 모델링된 신호와 상기 원하는 신호 사이의 시각적 차이 척도(a visual differences measure)를 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  8. 제 1 항에 있어서,
    상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하는 단계는 시각적으로 수정된 입력 신호를 생성하는 것을 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  9. 제 8 항에 있어서,
    시각적으로 수정된 입력 신호를 생성하는 것은 상기 입력 이미지 신호의 정준 변환(canonical transformations)으로서 상기 시각적으로 수정된 입력 신호를 생성하기 위해 상기 입력 이미지 신호의 시각적 특성에 변화를 주는 것을 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  10. 제 8 항에 있어서,
    상기 시각적 척도를 최소화하는 것을 더 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  11. 제 10 항에 있어서,
    상기 시각적 척도를 최소화하는 것은 모델링된 신호의 새로운 세트를 생성하기 위해 상기 시각적으로 수정된 입력 신호를 상기 포워드 변환 모델에 적용하는 것과, 상기 시각적 척도가 최소화될 때까지 상기 시각적 척도를 업데이트하기 위해 상기 모델링된 신호의 새로운 세트를 상기 시각적 모델에 적용하는 것을 포함하는
    3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
  12. 3D 디스플레이 시스템에 관한 것으로,
    3D 디스플레이 스크린과,
    상기 3D 디스플레이에 의해 도입된 크로스토크를 감소시키기 위한 크로스토크 감소 모듈을 포함하되,
    상기 크로스토크 감소 모듈은,
    멀티뷰 디스플레이 스크린(multiview display screen)에 의해 도입된 크로스토크를 모델링하고 모델링된 신호를 입력 이미지 신호로부터 생성하기 위한 포워드 변환 모델과,
    시각적 척도를 계산하기 위한 시각적 모델과,
    상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하기 위한 크로스토크 보정 모듈을 포함하는
    3D 디스플레이 시스템.
  13. 제 12 항에 있어서,
    상기 포워드 변환 모델은 공간 변형 오프셋 및 이득 변환, 색상 보정 변환, 기하 보정 변환, 및 공간 변형 블러 변환으로 구성된 그룹으로부터의 변환 세트를 포함하는
    3D 디스플레이 시스템.
  14. 제 13 항에 있어서,
    상기 모델링된 신호는 크로스토크 모델링된 신호 세트 및 원하는 신호 세트를 포함하는
    3D 디스플레이 시스템.
  15. 제 12 항에 있어서,
    상기 시각적 척도는 상기 크로스토크 모델링된 신호와 상기 원하는 신호 사이의 시각적 차이 척도를 포함하는
    3D 디스플레이 시스템.
  16. 제 12 항에 있어서,
    상기 크로스토크 보정 모듈은 시각적으로 수정된 입력 신호를 생성하는
    3D 디스플레이 시스템.
  17. 제 16 항에 있어서,
    상기 크로스토크 보정 모듈은 상기 입력 이미지 신호의 시각적 특성에 변화를 줌으로써 상기 입력 이미지 신호의 정준 변환으로서 상기 시각적으로 수정된 입력 신호를 생성하는
    3D 디스플레이 시스템.
  18. 제 17 항에 있어서,
    상기 시각적으로 수정된 입력 신호는 모델링된 신호의 새로운 세트를 생성하기 위해 상기 포워드 변환 모델에 적용되고, 상기 모델링된 신호의 새로운 세트는 상기 시각적 척도가 최소화될 때까지 상기 시각적 척도를 업데이트하기 위해 상기 시각적 모델에 적용되는
    3D 디스플레이 시스템.
  19. 3D 디스플레이에서의 사용을 위한 크로스토크 감소 모듈로서,
    상기 3D 디스플레이에 의해 도입된 크로스토크를 모델링하고 입력 이미지 신호로부터 모델링된 신호를 생성하기 위한 포워드 변환 모듈과,
    시각적 척도를 계산하기 위한 시각적 모델과,
    상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하기 위한 크로스토크 보정 모듈을 포함하는
    크로스토크 감소 모듈.
  20. 제 19 항에 있어서,
    상기 시각적 척도는 상기 3D 디스플레이에 의해 도입된 상기 크로스토크가 시청자에게 시각적으로 감소될 때까지 최소화되는
    크로스토크 감소 모듈.
KR1020147004419A 2011-08-25 2011-08-25 모델-기반 입체 및 멀티뷰 크로스토크 감소 KR101574914B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/049176 WO2013028201A1 (en) 2011-08-25 2011-08-25 Model-based stereoscopic and multiview cross-talk reduction

Publications (2)

Publication Number Publication Date
KR20140051333A true KR20140051333A (ko) 2014-04-30
KR101574914B1 KR101574914B1 (ko) 2015-12-04

Family

ID=47746736

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147004419A KR101574914B1 (ko) 2011-08-25 2011-08-25 모델-기반 입체 및 멀티뷰 크로스토크 감소

Country Status (5)

Country Link
US (1) US20140192170A1 (ko)
EP (1) EP2749033A4 (ko)
JP (1) JP5859654B2 (ko)
KR (1) KR101574914B1 (ko)
WO (1) WO2013028201A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170029364A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 영상 생성 방법 및 영상 생성 장치
WO2022060387A1 (en) * 2020-09-21 2022-03-24 Leia Inc. Multiview display system and method with adaptive background

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5696107B2 (ja) * 2012-09-11 2015-04-08 株式会社東芝 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置
US9438891B2 (en) * 2014-03-13 2016-09-06 Seiko Epson Corporation Holocam systems and methods
US10008030B2 (en) * 2015-09-07 2018-06-26 Samsung Electronics Co., Ltd. Method and apparatus for generating images
KR102401168B1 (ko) * 2017-10-27 2022-05-24 삼성전자주식회사 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치
JPWO2022091800A1 (ko) * 2020-10-27 2022-05-05
US11943271B2 (en) 2020-12-17 2024-03-26 Tencent America LLC Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points
WO2023152822A1 (ja) * 2022-02-09 2023-08-17 ソニーグループ株式会社 情報処理装置、情報処理方法およびプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2404106A (en) * 2003-07-16 2005-01-19 Sharp Kk Generating a test image for use in assessing display crosstalk.
JP2005353047A (ja) * 2004-05-13 2005-12-22 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
GB2414882A (en) * 2004-06-02 2005-12-07 Sharp Kk Interlacing/deinterlacing by mapping pixels according to a pattern
JP5363101B2 (ja) * 2005-05-26 2013-12-11 リアルディー インコーポレイテッド 立体視投影を向上させるゴースト補償
JP4331224B2 (ja) * 2007-03-29 2009-09-16 株式会社東芝 三次元画像表示装置及び三次元画像の表示方法
US9088792B2 (en) * 2007-06-08 2015-07-21 Reald Inc. Stereoscopic flat panel display with synchronized backlight, polarization control panel, and liquid crystal display
TWI368758B (en) * 2007-12-31 2012-07-21 Ind Tech Res Inst Stereo-image displaying apparatus and method for reducing stereo-image cross-talk
US9384535B2 (en) * 2008-06-13 2016-07-05 Imax Corporation Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images
US8358334B2 (en) * 2009-04-22 2013-01-22 Samsung Electronics Co., Ltd. Apparatus and method for processing image
EP2510683A4 (en) * 2009-12-08 2013-12-04 Hewlett Packard Development Co METHOD FOR COMPENSATING TRANSLATION IN A 3D DISPLAY
US8570319B2 (en) * 2010-01-19 2013-10-29 Disney Enterprises, Inc. Perceptually-based compensation of unintended light pollution of images for projection display systems
EP2557559A1 (en) * 2010-04-05 2013-02-13 Sharp Kabushiki Kaisha Three-dimensional image display device, display system, drive method, drive device, display control method, display control device, program, and computer-readable recording medium
US20120062709A1 (en) * 2010-09-09 2012-03-15 Sharp Laboratories Of America, Inc. System for crosstalk reduction
US8878894B2 (en) * 2010-09-15 2014-11-04 Hewlett-Packard Development Company, L.P. Estimating video cross-talk

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170029364A (ko) * 2015-09-07 2017-03-15 삼성전자주식회사 영상 생성 방법 및 영상 생성 장치
WO2022060387A1 (en) * 2020-09-21 2022-03-24 Leia Inc. Multiview display system and method with adaptive background

Also Published As

Publication number Publication date
WO2013028201A1 (en) 2013-02-28
JP2014529954A (ja) 2014-11-13
EP2749033A1 (en) 2014-07-02
EP2749033A4 (en) 2015-02-25
JP5859654B2 (ja) 2016-02-10
US20140192170A1 (en) 2014-07-10
KR101574914B1 (ko) 2015-12-04

Similar Documents

Publication Publication Date Title
KR101574914B1 (ko) 모델-기반 입체 및 멀티뷰 크로스토크 감소
EP2122409B1 (en) A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts
EP2786583B1 (en) Image processing apparatus and method for subpixel rendering
CN102474644B (zh) 立体图像显示系统、视差转换装置、视差转换方法
TW201333533A (zh) 用於模擬自動立體顯示裝置的顯示設備及方法
CN103238337B (zh) 立体图像获取系统及方法
KR101825759B1 (ko) 3d 디스플레이 장치에서 3차원 영상을 시각화하는 방법 및 3d 디스플레이 장치
JP2015162718A (ja) 画像処理方法、画像処理装置及び電子機器
CN104539935A (zh) 图像亮度的调节方法及调节装置、显示装置
CN111869202B (zh) 用于减少自动立体显示器上的串扰的方法
CN110662012A (zh) 一种裸眼3d显示效果优化的排图方法、系统及电子设备
AU2015289185B2 (en) Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor
TWI469624B (zh) 顯示立體影像之方法
TWI532363B (zh) Improved naked eye 3D display crosstalk method and naked eye 3D display
JP2005026756A (ja) 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム
JP5488482B2 (ja) 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置
CN102780900B (zh) 一种多人多视角立体显示器影像显示方法
Kellnhofer et al. Stereo day-for-night: Retargeting disparity for scotopic vision
CN102404583A (zh) 三维影像的深度加强系统及方法
Li et al. On adjustment of stereo parameters in multiview synthesis for planar 3D displays
JP5786807B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP2012084961A (ja) 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム
CN113206990B (zh) 一种阶梯型光栅、三维显示系统及方法
JP5780214B2 (ja) 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置
JP2012156788A (ja) 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee