KR20140051333A - 모델-기반 입체 및 멀티뷰 크로스토크 감소 - Google Patents
모델-기반 입체 및 멀티뷰 크로스토크 감소 Download PDFInfo
- Publication number
- KR20140051333A KR20140051333A KR1020147004419A KR20147004419A KR20140051333A KR 20140051333 A KR20140051333 A KR 20140051333A KR 1020147004419 A KR1020147004419 A KR 1020147004419A KR 20147004419 A KR20147004419 A KR 20147004419A KR 20140051333 A KR20140051333 A KR 20140051333A
- Authority
- KR
- South Korea
- Prior art keywords
- crosstalk
- signal
- display
- visual
- model
- Prior art date
Links
- 230000009467 reduction Effects 0.000 title claims description 23
- 230000000007 visual effect Effects 0.000 claims abstract description 52
- 238000000034 method Methods 0.000 claims abstract description 34
- 238000012360 testing method Methods 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 23
- 238000012937 correction Methods 0.000 claims description 24
- 230000009466 transformation Effects 0.000 claims description 20
- 238000000844 transformation Methods 0.000 claims description 3
- 238000001792 White test Methods 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 6
- 230000004044 response Effects 0.000 description 5
- 239000011521 glass Substances 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000000593 degrading effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 125000001475 halogen functional group Chemical group 0.000 description 1
- 238000007620 mathematical function Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
Abstract
3D 디스플레이에서 크로스토크를 감소시키기 위한 방법이 개시된다. 3D 디스플레이 내 크로스토크는 복수의 테스트 신호로 특징지어져 포워드 변환 모델을 생성한다. 입력 이미지 신호는 포워드 변환 모델에 적용되어 모델링된 신호를 생성한다. 모델링된 신호는 시각적 모델에 적용되어 시각적 척도를 생성한다. 입력 신호는 시각적 척도에 기초하여 수정된다.
Description
본 발명은 모델-기반 입체 및 멀티뷰 크로스토크 감소에 관한 것이다.
입체 및 멀티뷰 디스플레이는 3차원("3D") 실세계 장면에 관한 더 정확한 시각적 재현(visual reproduction)을 시청자에게 제공하기 위해 생겨났다. 그러한 디스플레이는 시청자가 복수의 시점(multiple viewpoints)으로부터 3D 효과를 경험할 수 있도록 하기 위해 액티브 글래스(active glasses), 패시브 글래스(passive glasses) 또는 자동입체 렌티큘라 어레이(autostereoscipic lenticular arrays)의 사용을 요구할 수 있다. 예를 들어, 입체 디스플레이는 분리된 이미지 뷰를 시청자의 왼쪽 눈 및 오른쪽 눈으로 지향시킨다. 시청자의 뇌는 그 후 상이한 뷰를 비교하여 시청자가 본 것을 단일 3D 이미지로 생성한다.
3D 디스플레이에서 발생하는 하나의 큰 문제는 이미지 뷰들 사이에서의 크로스토크이다. 즉, 한쪽 눈에 의도된 이미지 뷰의 일부가 다른 쪽 눈으로 흐르거나(bleed) 유출(leak)되어 원치않는 크로스토크 신호를 야기한다. 이러한 크로스토크 신호가 이미지 뷰에 중첩됨(superimposed)으로써 3D 이미지의 전체 품질을 저하시킨다. 3D 디스플레이에서의 크로스토크를 감소시키고 보정하기 위한 다양한 방법들이 존재해오고 있지만, 이들은 하드웨어적으로 또는 물리학에 기반한 접근법으로 구현하는데 비용이 많이 든다는 것 외에도, 특정 타입의 콘텐츠(예를 들어, 그래픽 이미지(graphics imagery)), 특정 타입의 3D 디스플레이(예를 들어, 액티브 글래스를 요구하는 것들), 또는 얼마 안 되는 뷰(예를 들어, 스테레오의 경우엔 2개의 뷰)로 제한되는 경향이 있다.
본 출원은 첨부된 도면과 함께 취해진 다음의 상세한 설명과 관련하여 더 완전히 이해될 수 있으며, 여기서 유사한 참조 문자는 명세서 전체에 걸쳐 유사한 부분을 지칭한다.
도 1은 크로스토크를 가지는 예시의 3D 디스플레이 시스템에 관한 개략도를 도시한다.
도 2는 3D 디스플레이에서 크로스토크 신호를 특징짓고 보정하기 위한 시스템에 관한 개략도를 도시한다.
도 3은 도 2의 예시의 크로스토크 감소 모듈을 더 상세히 도시한다.
도 4는 다양한 실시예들에 따라 도 3의 크로스토크 감소 모듈을 사용하는 3D 디스플레이에서의 크로스토크를 감소시키고 보정하기 위한 흐름도를 도시한다.
도 5는 도 3의 크로스토크 감소 모듈과 사용하기 위한 포워드 변환 모델에 관한 개략도를 도시한다.
도 6은 도 5의 포워드 변환 모델을 생성하는데 사용될 수 있는 예시의 테스트 신호를 도시한다.
도 1은 크로스토크를 가지는 예시의 3D 디스플레이 시스템에 관한 개략도를 도시한다.
도 2는 3D 디스플레이에서 크로스토크 신호를 특징짓고 보정하기 위한 시스템에 관한 개략도를 도시한다.
도 3은 도 2의 예시의 크로스토크 감소 모듈을 더 상세히 도시한다.
도 4는 다양한 실시예들에 따라 도 3의 크로스토크 감소 모듈을 사용하는 3D 디스플레이에서의 크로스토크를 감소시키고 보정하기 위한 흐름도를 도시한다.
도 5는 도 3의 크로스토크 감소 모듈과 사용하기 위한 포워드 변환 모델에 관한 개략도를 도시한다.
도 6은 도 5의 포워드 변환 모델을 생성하는데 사용될 수 있는 예시의 테스트 신호를 도시한다.
입체 및 멀티뷰 3D 디스플레이에서 사용하기 위한 모델 기반 크로스토크 감소 시스템 및 방법이 개시된다. 본원에서 전반적으로 설명되는 바와 같이, 크로스토크는, 시청자(viewer)의 한쪽 눈에 의도된 이미지 신호 또는 뷰(view)가 다른 눈에 의도된 이미지 신호에 중첩되는(superimposed) 의도치않은 신호로서 나타나는 경우에 발생한다. 이런 의도치 않은 신호는 본원에서 크로스토크 신호로 지칭된다.
다양한 실시예들에서, 3D 디스플레이에 나타나는 크로스토크 신호는 포워드 변환 모델(a forward transformation model) 및 시각적 모델(a visual model)을 사용함으로써 감소 및 보정된다. 포워드 변환 모델은 이미지 신호가 디스플레이에 입력되는 경우에 발생하는 크로스토크 신호의 광학적, 측광학적(photometric), 그리고 기하학적(geometric) 측면을 특징짓는다. 시각적 모델은 공간 판별(spatial discrimination), 색상, 및 시간 판별(temporal discrimination)을 수반하는 핵심적인 시각적 효과를 고려함으로써 디스플레이에 입력되는 원래 이미지 신호에 대한 시각적 피델리티(visual fidelity)가 유지된다. 비선형 최적화(a non-linear optimization)는 크로스토크 신호를 감소 또는 완전히 제거하도록 입력 신호에 적용된다.
다음의 설명에서, 실시예들에 관한 완전한 이해를 제공하기 위해 많은 특정 세부사항이 개시된다. 그러나, 실시예들은 이러한 특정 세부사항에 제한되지 않고 실시될 수 있다는 것에 유념해야 한다. 다른 경우에서, 잘 알려진 방법 및 구조는 실시예들에 관한 설명을 불필요하게 불명료하게 하는 것을 방지하기 위해 상세히 설명되지 않을 수도 있다. 또한, 실시예들은 서로와 조합하여 사용될 수도 있다.
이제 도 1을 참조하여, 크로스토크를 가지는 예시적인 3D 디스플레이 시스템에 관한 개략도가 설명된다. 3D 디스플레이 시스템(100)은, 예를 들어, 패럴랙스 디스플레이(a parallax display), 렌티큘라 기반 디스플레이(a lenticular-based display), 홀로그래픽 디스플레이(a holographic display), 프로젝터 기반 디스플레이(a projector-based display), 라이트 필드 디스플레이(a light field display) 등과 같은, 입체 또는 멀티뷰 디스플레이 스크린일 수 있는 3D 디스플레이 스크린(105)을 갖는다. 이미지 획득 모듈(an image acquisition module)(110)은 디스플레이 스크린(105)에서의 디스플레이를 위해 복수의 이미지 뷰 또는 신호를 캡쳐하도록 하나 이상의 카메라(미도시)를 구비할 수 있다. 예를 들어, 입체 디스플레이의 경우, 두 개의 이미지 뷰, 즉, 시청자의 왼쪽 눈(115)에 대한 하나(왼쪽 이미지 "L" (125)) 및 시청자의 오른쪽 눈(120)에 대한 다른 하나(오른쪽 이미지 "R"(130))가 캡쳐될 수 있다. 캡쳐된 이미지(125, 130)는 디스플레이 스크린(105) 상에 디스플레이되고 시청자의 왼쪽 눈(115)에서는 이미지(135)로 그리고 시청자의 오른쪽 눈(120)에서 이미지(140)로 인식된다. 대안적으로, 이미지 획득 모듈(110)은 컴퓨터로 생성된 3D 또는 멀티뷰 그래픽 정보를 단순히 나타낼 수 있다.
디스플레이 스크린(105)에 의해 생성된 크로스토크의 결과로서, 이미지(135, 140)는 크로스토크 신호와 중첩된다. 시청자의 왼쪽 눈(115)에 대한 이미지(135)는 크로스토크 신호(145)와 중첩되고 시청자의 오른쪽 눈(120)에 대한 이미지(140)는 크로스토크 신호(150)와 중첩된다. 본 기술분야의 당업자에 의해 이해되는 바와 같이, 시청자에 의해 인식되는 이미지 내 크로스토크 신호(145 및 150)의 존재는 이미지의 전체 품질에 영향을 미친다. 고스팅(ghosting) 또는 다른 주관적인 가시적 아티팩트(subjective visible artifacts)와 달리, 크로스토크 신호는 물리적 엔티티이며 객관적으로 측정(measured)되고, 특징지어지고, 보정될 수 있다는 것이 또한 유념된다.
이제 도 2를 참조하여, 3D 디스플레이 내 크로스토크 신호를 특징짓고 보정하기 위한 시스템에 관한 개략도를 도시한다. 3D 디스플레이 스크린(200)은, 예를 들어, 왼쪽 이미지 "L"(215) 및 오른쪽 이미지 "R"(220)과 같은, 3D 디스플레이 스크린(210)에서의 디스플레이를 위한 복수의 이미지 뷰 또는 신호를 캡쳐하기 위한 이미지 획득 모듈(205)을 구비한다. 크로스토크 감소 모듈(225)은 이미지(215, 220)를 취하고 모델 기반 접근법을 적용하여 3D 디스플레이 스크린(210)에 의해 도입된 크로스토크를 감소시키고 보정한다. 크로스토크 감소 모듈(225)은 이미지(215, 220)를 그 후 디스플레이 스크린(210)에 입력되는 이미지(230, 235)로 수정한다. 그 결과, 이미지(240, 245)는 상당히 감소하거나 존재하지 않는 크로스토크와 함께 시청자의 눈(250, 255)에 의해 감지된다. 크로스토크 감소 모듈(225) 및 3D 디스플레이 스크린(210)이 (도시된 바와 같이) 별도의 디바이스로 구현되거나 단일 디바이스에 통합될 수 있다는 것이 본 기술분야의 당업자에 의해 이해될 것이다.
도 3은 도 2의 예시의 크로스토크 감소 모듈을 더 상세히 도시한다. 크로스토크 감소 모듈(300)은 포워드 변환 모델(a forward transformation model)(305), 시각적 모델(a visual model)(310) 및 크로스토크 보정 모듈(a cross-talk correction module)(315)을 구비하여 3D 디스플레이에 예정된 크로스토크 신호를 감소시키고 보정한다. 예를 들어, 왼쪽 이미지 신호 "L"(320) 및 오른쪽 이미지 신호 "R"(325)과 같은, 3D 디스플레이에서 디스플레이될 복수의 이미지 뷰 또는 신호를 고려해 볼 때, 크로스토크 감소 모듈(300)은 3D 디스플레이에 의해 도입된 크로스토크를 특징짓고, 왼쪽 크로스토크 보정 이미지 "LCC"(355) 및 오른쪽 크로스토크 보정 이미지 "RCC"(360)와 같은 대응하는 크로스토크 보정 이미지를 생성한다.
포워드 변환 모델(305)은 3D 디스플레이에 의해 도입되는 직접 및 크로스토크 신호의 광학적, 측광학적, 그리고 기하학적 측면을 특징짓는다. 즉, 포워드 변환 모델(305)은 이미지 획득(예를 들어, 이미지 획득 모듈(205))으로부터 3D 디스플레이(예를 들어, 3D 디스플레이(210))로 포워드 변환을 특징지음으로써 직접 및 크로스토크 신호를 추정(estimates) 또는 모델링한다. 이는 테스트 신호를 입력으로 사용할 때 3D 디스플레이에 의해 생성되는 출력 신호를 측정함으로써 실시된다. 본 기술분야의 당업자에 의해 이해되는 바와 같이, 포워드 변환 모델(305)은 수학적 함수 F(.)로 표현될 수 있다.
다양한 실시예들에서, 테스트 신호는 왼쪽 및 오른쪽 테스트 신호 양자를 공동으로 포함할 수 있거나, 왼쪽 또는 오른쪽 테스트 신호를 각각 포함할 수 있다. 첫 번째 경우에서, 테스트 이미지 신호(LT 및 RT)는 3D 디스플레이에 공동으로 송신되어 본원에서 LF 및 RF로 지칭되는 왼쪽 및 오른쪽 출력 신호를 생성하며, 포워드 변환 함수 F(.)의 파라미터를 추정한다. 즉,
[수학식 1]
FL(LT, RT) → LF
[수학식 2]
FR(LT, RT) → RF
여기서, FL은 왼쪽 출력 신호 LF를 특징짓는데 사용되는 포워드 모델을 표현하고 FR은 오른쪽 출력 신호 RF를 특징짓는데 사용되는 포워드 모델을 표현한다.
두 번째 경우에서, 테스트 이미지 신호(LT 및 RT)는 3D 디스플레이에 개별적으로 송신되어 왼쪽 및 오른쪽 출력 신호를 생성한다. 즉,
[수학식 3]
FL(LT, 0) → LDL, RCL
[수학식 4]
FR(0, RT) → LCR, RDR
여기서 LDL 및 RCL은 LT 테스트 신호만이 입력으로 사용되는 경우에 시청자의 왼쪽(LDL) 및 오른쪽(RCL) 눈에 디스플레이되는 출력 신호이다. 이와 마찬가지로, LCR 및 RDR은 RT 테스트 신호만이 입력으로 사용되는 경우에 시청자의 왼쪽(LCR) 및 오른쪽(RDR) 눈에 디스플레이되는 출력 신호이다.
본 기술분야의 당업자에 의해 이해되는 바와 같이, LDL 및 RDR 신호는 크로스토크가 없을 때 각 눈에서의 원하는 출력신호이고, RCL 및 LCR 신호는 다른 눈에 유출(leak)되는 크로스토크를 나타낸다. 예를 들어, RCL은 왼쪽 이미지 신호만이 디스플레이에 송신되는 경우에 오른쪽 눈에 보여지는 크로스토크를 나타내고, LCR은 오른쪽 이미지 신호만이 디스플레이에 송신되는 경우에 왼쪽 눈에 보여지는 크로스토크를 나타낸다.
일 실시예에서, 추가적인 또는 다른 위와 같은 모델이 각 눈에 대하여 측정된 응답을 조합하도록, 즉, 왼쪽 눈에 대한 LDL 및 LCR 응답을 조합된 신호 LD로 조합하도록 그리고 오른쪽 눈에 대한 RCL 및 RDR 응답을 조합된 신호 RD로 조합하도록, 사용될 수 있다. 조합된 응답 LD 및 RD는 그 후 포워드 변환 함수 F(.)의 파라미터를 추정(estimate)하는데 사용될 수 있다. 이 변환 함수는 사용되는 특정 3D 디스플레이(예를 들어, 렌티큘라 어레이 디스플레이, 입체 액티브 글래스 디스플레이, 라이트 필드 디스플레이 등)에 따라 그 파라미터가 변하기 때문에 디스플레이-의존형이라는 것을 주목하자.
포워드 변환 모델(305)이 테스트 신호와 함께 생성되고 나면, 입력 이미지 신호(예를 들어, L(320) 및 R(325))는 크로스토크 감소 모듈(300)에 적용되어 크로스토크 보정 이미지 신호(예를 들어, LCC(355) 및 RCC(360))를 생성할 수 있다. 우선, L(320) 및 R(325) 입력 신호는 포워드 변환 모델(305)에 적용되어, 3D 디스플레이에 의해 도입된 크로스토크를 모델링된 크로스토크 출력 신호(LF 및 RF) 및 원하는 신호(LDL 및 RDR)로 특징짓는다. 그 후 이러한 신호들은 시각적 모델(310)에 송신되어, 3D 디스플레이에 디스플레이된 신호의 시각적 품질이 이의 크로스토크에 의해 얼마나 영향을 받는지를 표현하는 시각적 척도(a visual measure)를 결정한다. 일 예시에서, 시각적 모델(310)은, 무엇보다도 공간 판별, 색상, 및 시간 판별을 수반하는 시각적 영향을 고려함으로써 원하는 신호(LDL 및 RDR)와 모델링된 크로스토크 출력 신호(LF 및 RF) 사이의 시각적 차이에 관한 척도(ν)를 계산한다. 시각적 모델(310)은 그러한 시각적 차이 척도를 계산하기 위한 임의의 시각적 모델일 수 있다는 것이 유념된다.
크로스토크 보정 모듈(315)은 이러한 척도(ν)를 사용하여 입력 이미지 신호 (L(320) 및 R(325))를 수정하여 시각적으로 수정된 입력 신호(LM(345) 및 RM(350))를 생성한다. 일 실시예에서, 이는 시각적으로 수정된 입력 신호를 입력 신호의 정준 변환(canonical transformations)으로 생성하기 위해, 입력 신호의 콘트라스트(contrast), 밝기(brightness), 및 색상(color)과 같은, 시각적 파라미터 또는 특성을 변화시킴으로써 행해진다.
시각적으로 수정된 입력 신호(LM(345) 및 RM(350))는 그 후 포워드 변환 모델(305)에 대한 입력으로서 송신되어 시각적 척도(ν)를 업데이트하고 입력 신호에 대한 수정이 크로스토크를 감소시켰는지(ν의 값이 작을수록, 크로스토크는 낮음)를 결정한다. 이러한 프로세스는 크로스토크가 상당히 감소되거나 완전히 제거될 때까지, 즉, 크로스토크가 시청자의 눈에 시각적으로 감소될 때까지, 반복된다. 즉, 비선형 최적화(a non-linear optimization)는 ν가 최소화되고 크로스토크가 출력 신호(LCC(355) 및 RCC(360))에서 상당히 감소하거나 완전히 제거될 때까지 ν의 값을 통해 반복하도록 수행된다. 시각적 척도(ν)가 이의 최저치일 때 출력 신호(LCC(355) 및 RCC(360))는 시각적으로 수정된 신호(LM(345) 및 RM(350))와 동일하다는 것이 유념된다.
도 3에 도시된 다양한 왼쪽 및 오른쪽 이미지 신호(예를 들어, 입력(L(320) 및 R(325)), 출력(LCC(355) 및 RCC(360)))는 단지 예시를 위해 도시된다는 것 또한 유념된다. (예를 들어, 멀티뷰 디스플레이에서의 복수의 이미지 뷰와 같은) 복수의 이미지 뷰는 대응하는 크로스토크 보정 출력을 생성하기 위해 크로스토크 감소 모듈(300)에 입력될 수 있다. 즉, 크로스토크 감소 모듈(300)은 그것이 지원하는 뷰의 개수에 상관없이 임의의 타입의 3D 디스플레이에 대하여 구현될 수 있다.
이제, 다양한 실시예들에 따라 도 3의 크로스토크 감소 모듈을 사용하는 3D 디스플레이에서 크로스토크를 감소시키고 보정하기 위한 흐름도를 도시하는 도 4에 주목하자. 우선, 3D 디스플레이에서 도입된 크로스토크는 복수의 테스트 신호와 특징지어져 포워드 변환 모델을 생성한다(400). 포워드 변환 모델이 생성되고 나면, 이미지 신호는 모델에 입력되어 모델링된 신호를 생성한다(405). 이러한 모델링된 신호는, 예를 들어, 전술된 LF 및 RF 및 LD 및 RD 신호일 수 있다.
그 다음, 모델링된 신호는 시각적 모델에 적용되어 3D 디스플레이에 디스플레이된 신호의 시각적 품질이 이의 크로스토크에 의해 얼마나 영향을 받는지를 표시하는 시각적 척도를 계산한다(410). 입력 신호는 그 후 시각적 척도에 기초하여 수정되고(415) 시각적 척도가 최소화될 때까지 포워드 변환 모델에 재적용된다(420). 시각적 척도가 최소화되고 나면, 수정된, 크로스토크 보정 신호는 디스플레이를 위해 3D 디스플레이에 송신된다(425). 크로스토크 보정 신호는 크로스토크가 시청자에게 시각적으로 감소된 것과 같다. 대안적으로, 본 기술분야의 당업자에 의해 유념되는 바와 같이, 수정된, 크로스토크 보정 신호는 추후 디스플레이를 위해 저장될 수 있다.
이제 도 5를 참조하여, 도 3의 크로스토크 감소 모듈과 함께 사용하기 위한 포워드 변환 모델에 관한 개략도가 도시된다. 포워드 변환 모델(500)은 포워드 변환 함수 F(.)에서 표현되는 측광적(photometric), 기하학적(geometric), 그리고 광학적(optical) 팩터를 특징짓기 위한 4개의 주요 변환을 갖는다: (1) 공간 변형 오프셋 및 이득 변환(a space-varying offset and gain transformation)(505); (2) 색상 보정 변환(a color correction transformation)(510); (3) 기하 보정 변환(a geometric correction transformation)(515); (4) 공간 변형 블러 변환(a space varying blur transformation)(520). 색상 패치(color patches), 격자 패턴(grid patterns), 수평 및 수직 줄무늬(horizontal and vertical stripes), 및 균일한 화이트, 블랙, 및 그레이 레벨 신호를 포함하는 테스트 신호는 F(.)의 파라미터를 추정하기 위해 암실(a dark room) 내 3D 디스플레이에 송신된다.
공간 변형 오프셋 및 이득 변환(505)에서, 화이트 및 블랙 레벨 신호는 3D 디스플레이에 송신되어 이의 화이트 및 블랙 응답을 결정하고 이득 오프셋 출력을 생성한다. 이러한 이득 오프셋 변환을 고려해 볼 때, 색상 보정 변환(510)은 다음에 측정된 색상과 색상 값 사이에서 피팅(fitting)하는 것에 의해 결정된다. 그레이 입력 패치에 대하여 측정된 평균 색상 값은 입력 색상 컴포넌트에 적용된 1차원 룩업 테이블을 결정하는데 사용되고, 기본적인 R, G 및 B 입력에 대하여 측정된 평균 색상 값은 알려진 입력 색상 값을 사용하는 색상 혼합 매트릭스(a color mixing matrix)를 결정하는데 사용된다. 공간적으로 재정규화된 색상(spatially renormalized colors)을 사용하여 피트(fits)를 계산하는 것은 색상 보정 변환(510)으로 하여금 소수의 파라미터를 사용하여 데이터를 피팅할 수 있도록 한다.
그 다음, 기하 보정(515)은, 예를 들어, 다항식 메시 변환 모델(a polynomial mesh transformation model)을 사용하여 결정될 수 있다. 마지막 공간 변형 블러 변환(520)은 모델링된 신호의 에지에서 좋은 결과를 획득하기 위해 요구된다. 블러가 적용되지 않은 경우, 부적당한 헤일로 아티팩트(objectionable halo artifacts)가 모델링된 신호에 가시적으로 남아있을 수 있다. 일 실시예에서, 공간 변형 블러의 파라미터는 수평 및 수직 방향의 각 블러 커널(blur kernels)을 추정함으로써 결정될 수 있다. 추가적인 변환이 포워드 변환 모델(500)을 생성하는데 사용될 수 있다는 것이 유념된다.
도 6은 도 5의 포워드 변환 모델을 생성하는데 사용될 수 있는 예시의 테스트 신호를 도시한다. 테스트 신호(600)는, 정사각형(605)과 같은, 복수의 색상 정사각형을 가지는 색상 패치(a color patch)를 나타내고, 색상 보정(510)을 위해 사용된다. 테스트 신호(610)는 기하 보정(515)을 위해 사용되는 체커보드(a checkerboard)이며, 화이트 및 블랙 테스트 신호(615, 620)는 공간 변형 이득 및 오프셋 변환(505)을 위해 사용된다. 테스트 신호(625, 630)는 공간 변형 블러 파라미터를 결정하기 위해 수평선 및 수직선을 포함한다.
본 기술분야의 당업자에 의해 이해되는 바와 같이, 본원에서 설명된 포워드 변환 모델을 생성하기 위해 다른 테스트 신호가 사용될 수 있다. 포워드 변환 모델을 생성하도록 다양한 변환을 포함하여 행해진 해결책은 도 3의 크로스토크 감소 모듈이 임의의 타입의 3D 디스플레이에서의 크로스토크 및 다양한 입력 신호에 대한 크로스토크를 감소시키고 보정하는 것을 가능하게 하고, 디스플레이된 신호의 시각적 품질을 개선한다.
개시된 실시예들에 관한 앞에서의 설명은 본 기술분야의 당업자로 하여금 본 개시물을 실시하고 사용할 수 있도록 하기 위해 제공된다는 것이 유념된다. 이러한 실시예들에 대한 다양한 수정은 본 기술분야의 당업자들에게 용이하게 명백해질 것이며, 본원에서 정의된 포괄적 원리는 본 개시물의 정신 또는 범주를 벗어나지 않으면서 다른 실시예들에 적용될 수 있다. 따라서, 본 개시물은 본원에 도시된 실시예들로 제한되고자 하는 것이 아니라 본원에 개시된 원리 및 새로운 특징(novel features)에 따른 가장 넓은 범주를 가지고자 한다.
Claims (20)
- 3D 디스플레이 내 크로스토크(cross talk)를 감소시키기 위한 방법으로서,
포워드 변환 모델(a forward transformation model)을 생성하도록 상기 3D 디스플레이 내 상기 크로스토크를 복수의 테스트 신호로 특징짓는 단계와,
모델링된 신호를 생성하도록 입력 이미지 신호를 상기 포워드 변환 모델에 적용하는 단계와,
시각적 척도(a visual measure)를 계산하도록 상기 모델링된 신호를 시각적 모델(a visual model)에 적용하는 단계와,
상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하는 단계를 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 1 항에 있어서,
상기 3D 디스플레이 내 상기 크로스토크를 특징짓는 단계는 상기 복수의 테스트 신호를 상기 3D 디스플레이에 입력하는 단계 및 출력 신호 세트를 측정하는(measuring) 단계를 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 2 항에 있어서,
상기 포워드 변환 모델을 생성하도록 상기 출력 신호 세트를 사용하는 단계를 더 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 1 항에 있어서,
상기 복수의 테스트 신호는 색상 패치 테스트 신호(a color patch test signal), 체커보드 테스트 신호(a checkerboard test signal), 화이트 테스트 신호(a white test signal), 블랙 테스트 신호(a black test signal), 수평선 테스트 신호(a horizontal lined test signal), 및 수직선 테스트 신호(a vertical lined test signal)로 구성된 그룹으로부터의 신호를 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 1 항에 있어서,
상기 포워드 변환 모델은 공간 변형 오프셋(a space-varying offset) 및 이득 변환(gain transformation), 색상 보정 변환(a color correction transformation), 기하 보정 변환(a geometric correction transformation), 및 공간 변형 블러 변환(a space varying blur transformation)으로 구성된 그룹으로부터의 변환 세트를 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 1 항에 있어서,
상기 모델링된 신호는 크로스토크 모델링된 신호 세트 및 원하는 신호 세트를 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 1 항에 있어서,
상기 시각적 척도는 상기 크로스토크 모델링된 신호와 상기 원하는 신호 사이의 시각적 차이 척도(a visual differences measure)를 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 1 항에 있어서,
상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하는 단계는 시각적으로 수정된 입력 신호를 생성하는 것을 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 8 항에 있어서,
시각적으로 수정된 입력 신호를 생성하는 것은 상기 입력 이미지 신호의 정준 변환(canonical transformations)으로서 상기 시각적으로 수정된 입력 신호를 생성하기 위해 상기 입력 이미지 신호의 시각적 특성에 변화를 주는 것을 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 8 항에 있어서,
상기 시각적 척도를 최소화하는 것을 더 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 제 10 항에 있어서,
상기 시각적 척도를 최소화하는 것은 모델링된 신호의 새로운 세트를 생성하기 위해 상기 시각적으로 수정된 입력 신호를 상기 포워드 변환 모델에 적용하는 것과, 상기 시각적 척도가 최소화될 때까지 상기 시각적 척도를 업데이트하기 위해 상기 모델링된 신호의 새로운 세트를 상기 시각적 모델에 적용하는 것을 포함하는
3D 디스플레이 내 크로스토크를 감소시키기 위한 방법.
- 3D 디스플레이 시스템에 관한 것으로,
3D 디스플레이 스크린과,
상기 3D 디스플레이에 의해 도입된 크로스토크를 감소시키기 위한 크로스토크 감소 모듈을 포함하되,
상기 크로스토크 감소 모듈은,
멀티뷰 디스플레이 스크린(multiview display screen)에 의해 도입된 크로스토크를 모델링하고 모델링된 신호를 입력 이미지 신호로부터 생성하기 위한 포워드 변환 모델과,
시각적 척도를 계산하기 위한 시각적 모델과,
상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하기 위한 크로스토크 보정 모듈을 포함하는
3D 디스플레이 시스템.
- 제 12 항에 있어서,
상기 포워드 변환 모델은 공간 변형 오프셋 및 이득 변환, 색상 보정 변환, 기하 보정 변환, 및 공간 변형 블러 변환으로 구성된 그룹으로부터의 변환 세트를 포함하는
3D 디스플레이 시스템.
- 제 13 항에 있어서,
상기 모델링된 신호는 크로스토크 모델링된 신호 세트 및 원하는 신호 세트를 포함하는
3D 디스플레이 시스템.
- 제 12 항에 있어서,
상기 시각적 척도는 상기 크로스토크 모델링된 신호와 상기 원하는 신호 사이의 시각적 차이 척도를 포함하는
3D 디스플레이 시스템.
- 제 12 항에 있어서,
상기 크로스토크 보정 모듈은 시각적으로 수정된 입력 신호를 생성하는
3D 디스플레이 시스템.
- 제 16 항에 있어서,
상기 크로스토크 보정 모듈은 상기 입력 이미지 신호의 시각적 특성에 변화를 줌으로써 상기 입력 이미지 신호의 정준 변환으로서 상기 시각적으로 수정된 입력 신호를 생성하는
3D 디스플레이 시스템.
- 제 17 항에 있어서,
상기 시각적으로 수정된 입력 신호는 모델링된 신호의 새로운 세트를 생성하기 위해 상기 포워드 변환 모델에 적용되고, 상기 모델링된 신호의 새로운 세트는 상기 시각적 척도가 최소화될 때까지 상기 시각적 척도를 업데이트하기 위해 상기 시각적 모델에 적용되는
3D 디스플레이 시스템.
- 3D 디스플레이에서의 사용을 위한 크로스토크 감소 모듈로서,
상기 3D 디스플레이에 의해 도입된 크로스토크를 모델링하고 입력 이미지 신호로부터 모델링된 신호를 생성하기 위한 포워드 변환 모듈과,
시각적 척도를 계산하기 위한 시각적 모델과,
상기 시각적 척도에 기초하여 상기 입력 이미지 신호를 수정하기 위한 크로스토크 보정 모듈을 포함하는
크로스토크 감소 모듈.
- 제 19 항에 있어서,
상기 시각적 척도는 상기 3D 디스플레이에 의해 도입된 상기 크로스토크가 시청자에게 시각적으로 감소될 때까지 최소화되는
크로스토크 감소 모듈.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/US2011/049176 WO2013028201A1 (en) | 2011-08-25 | 2011-08-25 | Model-based stereoscopic and multiview cross-talk reduction |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20140051333A true KR20140051333A (ko) | 2014-04-30 |
KR101574914B1 KR101574914B1 (ko) | 2015-12-04 |
Family
ID=47746736
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020147004419A KR101574914B1 (ko) | 2011-08-25 | 2011-08-25 | 모델-기반 입체 및 멀티뷰 크로스토크 감소 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20140192170A1 (ko) |
EP (1) | EP2749033A4 (ko) |
JP (1) | JP5859654B2 (ko) |
KR (1) | KR101574914B1 (ko) |
WO (1) | WO2013028201A1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170029364A (ko) * | 2015-09-07 | 2017-03-15 | 삼성전자주식회사 | 영상 생성 방법 및 영상 생성 장치 |
WO2022060387A1 (en) * | 2020-09-21 | 2022-03-24 | Leia Inc. | Multiview display system and method with adaptive background |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5696107B2 (ja) * | 2012-09-11 | 2015-04-08 | 株式会社東芝 | 画像処理装置、方法、及びプログラム、並びに、立体画像表示装置 |
US9438891B2 (en) * | 2014-03-13 | 2016-09-06 | Seiko Epson Corporation | Holocam systems and methods |
US10008030B2 (en) * | 2015-09-07 | 2018-06-26 | Samsung Electronics Co., Ltd. | Method and apparatus for generating images |
KR102401168B1 (ko) * | 2017-10-27 | 2022-05-24 | 삼성전자주식회사 | 3차원 디스플레이 장치의 파라미터 캘리브레이션 방법 및 장치 |
JPWO2022091800A1 (ko) * | 2020-10-27 | 2022-05-05 | ||
US11943271B2 (en) | 2020-12-17 | 2024-03-26 | Tencent America LLC | Reference of neural network model by immersive media for adaptation of media for streaming to heterogenous client end-points |
WO2023152822A1 (ja) * | 2022-02-09 | 2023-08-17 | ソニーグループ株式会社 | 情報処理装置、情報処理方法およびプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2404106A (en) * | 2003-07-16 | 2005-01-19 | Sharp Kk | Generating a test image for use in assessing display crosstalk. |
JP2005353047A (ja) * | 2004-05-13 | 2005-12-22 | Sanyo Electric Co Ltd | 立体画像処理方法および立体画像処理装置 |
GB2414882A (en) * | 2004-06-02 | 2005-12-07 | Sharp Kk | Interlacing/deinterlacing by mapping pixels according to a pattern |
JP5363101B2 (ja) * | 2005-05-26 | 2013-12-11 | リアルディー インコーポレイテッド | 立体視投影を向上させるゴースト補償 |
JP4331224B2 (ja) * | 2007-03-29 | 2009-09-16 | 株式会社東芝 | 三次元画像表示装置及び三次元画像の表示方法 |
US9088792B2 (en) * | 2007-06-08 | 2015-07-21 | Reald Inc. | Stereoscopic flat panel display with synchronized backlight, polarization control panel, and liquid crystal display |
TWI368758B (en) * | 2007-12-31 | 2012-07-21 | Ind Tech Res Inst | Stereo-image displaying apparatus and method for reducing stereo-image cross-talk |
US9384535B2 (en) * | 2008-06-13 | 2016-07-05 | Imax Corporation | Methods and systems for reducing or eliminating perceived ghosting in displayed stereoscopic images |
US8358334B2 (en) * | 2009-04-22 | 2013-01-22 | Samsung Electronics Co., Ltd. | Apparatus and method for processing image |
EP2510683A4 (en) * | 2009-12-08 | 2013-12-04 | Hewlett Packard Development Co | METHOD FOR COMPENSATING TRANSLATION IN A 3D DISPLAY |
US8570319B2 (en) * | 2010-01-19 | 2013-10-29 | Disney Enterprises, Inc. | Perceptually-based compensation of unintended light pollution of images for projection display systems |
EP2557559A1 (en) * | 2010-04-05 | 2013-02-13 | Sharp Kabushiki Kaisha | Three-dimensional image display device, display system, drive method, drive device, display control method, display control device, program, and computer-readable recording medium |
US20120062709A1 (en) * | 2010-09-09 | 2012-03-15 | Sharp Laboratories Of America, Inc. | System for crosstalk reduction |
US8878894B2 (en) * | 2010-09-15 | 2014-11-04 | Hewlett-Packard Development Company, L.P. | Estimating video cross-talk |
-
2011
- 2011-08-25 EP EP11871208.2A patent/EP2749033A4/en not_active Withdrawn
- 2011-08-25 KR KR1020147004419A patent/KR101574914B1/ko not_active IP Right Cessation
- 2011-08-25 US US14/237,439 patent/US20140192170A1/en not_active Abandoned
- 2011-08-25 JP JP2014527133A patent/JP5859654B2/ja not_active Expired - Fee Related
- 2011-08-25 WO PCT/US2011/049176 patent/WO2013028201A1/en active Application Filing
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20170029364A (ko) * | 2015-09-07 | 2017-03-15 | 삼성전자주식회사 | 영상 생성 방법 및 영상 생성 장치 |
WO2022060387A1 (en) * | 2020-09-21 | 2022-03-24 | Leia Inc. | Multiview display system and method with adaptive background |
Also Published As
Publication number | Publication date |
---|---|
WO2013028201A1 (en) | 2013-02-28 |
JP2014529954A (ja) | 2014-11-13 |
EP2749033A1 (en) | 2014-07-02 |
EP2749033A4 (en) | 2015-02-25 |
JP5859654B2 (ja) | 2016-02-10 |
US20140192170A1 (en) | 2014-07-10 |
KR101574914B1 (ko) | 2015-12-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101574914B1 (ko) | 모델-기반 입체 및 멀티뷰 크로스토크 감소 | |
EP2122409B1 (en) | A method and a system for calibrating and/or visualizing a multi image display and for reducing ghosting artifacts | |
EP2786583B1 (en) | Image processing apparatus and method for subpixel rendering | |
CN102474644B (zh) | 立体图像显示系统、视差转换装置、视差转换方法 | |
TW201333533A (zh) | 用於模擬自動立體顯示裝置的顯示設備及方法 | |
CN103238337B (zh) | 立体图像获取系统及方法 | |
KR101825759B1 (ko) | 3d 디스플레이 장치에서 3차원 영상을 시각화하는 방법 및 3d 디스플레이 장치 | |
JP2015162718A (ja) | 画像処理方法、画像処理装置及び電子機器 | |
CN104539935A (zh) | 图像亮度的调节方法及调节装置、显示装置 | |
CN111869202B (zh) | 用于减少自动立体显示器上的串扰的方法 | |
CN110662012A (zh) | 一种裸眼3d显示效果优化的排图方法、系统及电子设备 | |
AU2015289185B2 (en) | Method for the representation of a three-dimensional scene on an auto-stereoscopic monitor | |
TWI469624B (zh) | 顯示立體影像之方法 | |
TWI532363B (zh) | Improved naked eye 3D display crosstalk method and naked eye 3D display | |
JP2005026756A (ja) | 立体画像再現歪み出力装置、立体画像再現歪み出力方法および立体画像再現歪み出力プログラム | |
JP5488482B2 (ja) | 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置 | |
CN102780900B (zh) | 一种多人多视角立体显示器影像显示方法 | |
Kellnhofer et al. | Stereo day-for-night: Retargeting disparity for scotopic vision | |
CN102404583A (zh) | 三维影像的深度加强系统及方法 | |
Li et al. | On adjustment of stereo parameters in multiview synthesis for planar 3D displays | |
JP5786807B2 (ja) | 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置 | |
JP2012084961A (ja) | 奥行き信号生成装置、擬似立体画像信号生成装置、奥行き信号生成方法、擬似立体画像信号生成方法、奥行き信号生成プログラム、擬似立体画像信号生成プログラム | |
CN113206990B (zh) | 一种阶梯型光栅、三维显示系统及方法 | |
JP5780214B2 (ja) | 奥行き情報生成装置、奥行き情報生成方法、奥行き情報生成プログラム、擬似立体画像生成装置 | |
JP2012156788A (ja) | 奥行き推定データ生成装置、奥行き推定データ生成プログラム及び擬似立体画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |