KR101518531B1 - 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법 - Google Patents

스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR101518531B1
KR101518531B1 KR1020107027836A KR20107027836A KR101518531B1 KR 101518531 B1 KR101518531 B1 KR 101518531B1 KR 1020107027836 A KR1020107027836 A KR 1020107027836A KR 20107027836 A KR20107027836 A KR 20107027836A KR 101518531 B1 KR101518531 B1 KR 101518531B1
Authority
KR
South Korea
Prior art keywords
disparity
eye strain
images
segment
frame
Prior art date
Application number
KR1020107027836A
Other languages
English (en)
Other versions
KR20110021875A (ko
Inventor
동-큉 장
아나 비. 베니테즈
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20110021875A publication Critical patent/KR20110021875A/ko
Application granted granted Critical
Publication of KR101518531B1 publication Critical patent/KR101518531B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/144—Processing image signals for flicker reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/002—Eyestrain reduction by processing stereoscopic signals or controlling stereoscopic devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

3D 프리젠테이션, 예를 들면 스테레오스코픽 모션 픽쳐를 보는 동안에 시청자들에 의해 느껴지는 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법이 제공된다. 본 개시의 아이스트레인 측정 시스템 및 방법은 3D 프리젠테이션의 스테레오스코픽 이미지들의 디스패리티(깊이) 및 디스패리티 변이의 측정에 기초한다. 본 개시의 시스템 및 방법은 제1 세그먼트로부터 제1 이미지 및 제2 이미지를 획득하는 단계(202), 제1 이미지의 적어도 하나의 포인트와 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하는 단계(204), 제1 및 제2 이미지들의 시퀀스의 디스패리티 변이를 추정하는 단계(206), 및 제1 및 제2 이미지들의 시퀀스의 디스패리티 및 디스패리티 변이에 기초하여 3D 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 결정하는 단계(208)를 제공한다.

Description

스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법{SYSTEM AND METHOD FOR MEASURING POTENTIAL EYESTRAIN OF STEREOSCOPIC MOTION PICTURES}
본 개시는 일반적으로는 컴퓨터 그래픽스 처리 및 표시 시스템들에 관한 것으로, 특히 3차원(3D) 프리젠테이션, 예를 들면 스테레오스코픽 모션 픽쳐를 보는 시청자들에 의해 느껴지는 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법에 관한 것이다.
스테레오스코픽 이미징은 약간 상이한 뷰포인트들로부터 취해진, 하나의 장면의 적어도 2개의 이미지들을 시각적으로 조합하여 3차원 깊이의 착시를 생성하는 프로세스이다. 이러한 기술은 사람의 눈들이 일부 거리만큼 떨어져서 있고 따라서 정확하게 동일한 장면을 보지 못한다는 사실에 의존하고 있다. 각 눈에 상이한 관점으로부터의 이미지를 제공함으로써, 뷰어의 눈들은 깊이를 인식하도록 속임을 당한다. 통상, 2개의 상이한 관점들이 제공되는 경우에, 컴포넌트 이미지들은, 기준 이미지 및 보완 이미지로도 각각 알려져 있는, "좌측" 및 "우측"이미지들로 지칭된다. 그러나, 본 기술분야의 숙련자들이라면, 2개 이상의 뷰포인트들이 조합되어 하나의 스테레오스코픽 이미지를 형성할 수도 있다는 것을 알고 있을 것이다.
3D 포스트-프로덕션, VFX 워크플로우 및 3D 표시 어플리케이션들에서, 중요한 프로세스는 좌측 눈 뷰 및 우측 눈 뷰로 구성된 스테레오스코픽 이미지들로부터 깊이 맵을 유추하여 스테레오스코픽 모션 픽쳐를 생성하는 것이다. 예를 들면, 최근에 상용화된 자동스테레오스코픽 3D 디스플레이들은 이미지-플러스-깊이-맵 입력 포맷을 요구하므로, 디스플레이는 복수의 뷰잉 각도들을 지원하도록 상이한 3D 뷰들을 생성할 수 있다.
스테레오 이미지 쌍으로부터 깊이 맵을 유추하는 프로세스는, 좌측 눈 및 우측 눈 뷰 이미지들에서 대응하는 포인트들을 구하는데 픽셀 또는 블록 매칭이 이용되기 때문에, 컴퓨터 비전(vision) 연구 분야에서 스테레오 매칭으로 불러진다. 깊이 값들은 장면에서 동일한 포인트에 대응하는 이미지들의 2개의 픽셀들 사이의 상대 거리로부터 유추된다.
디지털 이미지들의 스테레오 매칭은 다수의 컴퓨터 비전 어플리케이션들(예를 들면, 컴퓨터-지원 드래프팅(CAD)을 위한 고속 오브젝트 모델링 및 프로토타이핑, 인간-컴퓨터 인터액션(HCI)을 위한 오브젝트 세그먼테이션 및 검출, 비디오 압축, 및 영상 감시와 같음)에 널리 이용되어 3차원(3-D) 깊이 정보를 제공한다. 스테레오 매칭은 장면 내의 상이한 로케이션들 및 오리엔테이션들에 배치된 2개 이상의 카메라들로부터 하나의 장면의 이미지들을 획득한다. 이들 디지털 이미지들은 거의 동일한 시간에 각 카메라로부터 획득되고, 각 이미지의 포인트들은 공간에서 3-D 포인트에 대응하여 매칭된다. 일반적으로, 상이한 이미지들로부터의 포인트들은 이미지들의 일부를 검색하고 제한들(예를 들면, 에피폴라(epipolar) 제한조건)을 이용하여 하나의 이미지의 하나의 포인트를 또 하나의 이미지의 하나의 포인트로 상관시킴으로써 매칭된다. 그리고나서, 매칭된 이미지들 및 깊이 맵이 채용되어 스테레오스코픽 3D 모션 픽쳐들을 생성한다.
현재의 스테레오스코픽 3D 모션 픽쳐들의 주요한 문제들 중 하나는 시청자가 모션 픽쳐들을 보는 일부 시간 이후에 아이스트레인을 느낄 수 있다는 점이다. 그러므로, 영화감독들은 3D 필름들을 만들 때, 시청자에 의해 느껴지는 아이스트레인이 최소화될 수 있도록 장면을 촬영하거나 필름을 편집하는 방법을 고려해야 한다. 이것은 3D 모션 픽쳐들을 만드는 것이 종래의 2D 모션 픽쳐들을 만드는 것보다 훨씬 더 어렵고 시간-소비하는 이유 중 일부이다.
3D 모션 픽쳐들을 만드는 데 있어서의 도전은 영화감독들이나 편집자들이 시청자들에 의해 느껴지는 잠재적인 아이스트레인을 시각적으로 추정하는 것이 매우 어렵다는 것이다. 이러한 어려움에 공헌하는 수 개의 인자들이 있다. 첫 번째로, 아이스트레인은 모션 픽쳐를 보는 프로세스에 따른 누적 효과이므로, 영화감독 또는 편집자는 아이스트레인을 느낄만큼 충분히 오랫동안 3D 모션 픽쳐를 봐야 한다. 아이스트레인은 대개는 작은 개수의 세그먼트들로 인해서는 유발되지 않는다. 두 번째로, 아이스트레인은 2개의 세그먼트들 사이의 급격한 깊이 변경들에 의해 유발될 수도 있다. 편집자들이 편집 동안에 세그먼트들을 연결시킬(concatenate) 때 급격한 깊이 변경들에 의해 야기되는 잠재적 아이스트레인을 측정하기는 어렵다. 이들은 상이한 세그먼트를 연결하고 깊이 변이에 의해 야기되는 잠재적 아이스트레인을 "느끼기" 위해 시간-소비적인 시행착오(trial-and-error) 프로세스를 이용할 필요가 있을 것이다.
그러므로, 스테레오스코픽 모션 픽쳐와 같은 3D 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 측정할 수 있는 기술들에 대한 필요성이 존재한다. 또한, 3D 모션 픽쳐를 편집하는 프로세스 동안에 잠재적 아이스트레인을 측정할 수 있는 자동 시스템들 및 방법들에 대한 필요성이 존재한다.
3D 프리젠테이션, 예를 들면 스테레오스코픽 모션 픽쳐를 보는 동안에 시청자들에 의해 느껴지는 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법이 제공된다. 본 개시의 시스템 및 방법은 3D 프리젠테이션을 보는 동안에 눈들의 수렴 포인트와 초점 포인트 사이의 거리가 포커싱된 오브젝트들의 깊이에 밀접하게 관련되어 있고, 이는 또한 오브젝트들의 픽셀들의 디스패리티에 관련된다는 것을 고려한다. 본 개시의 아이스트레인 측정 시스템 및 방법은 3D 프리젠테이션의 스테레오스코픽 이미지들의 디스패리티(깊이) 및 디스패리티 변이의 측정에 기초한다. 본 개시의 기술들은 영화감독들 및 편집자들이 편안한 3D 영화들을 효율적으로 만드는데 유용하다.
본 개시의 하나의 양태에 따르면, 3차원(3D) 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 측정하는 방법이 제공되고, 방법은 제1 세그먼트로부터 제1 이미지 및 제2 이미지를 획득하는 단계, 제1 이미지의 적어도 하나의 포인트와 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하는 단계, 제1 및 제2 이미지들의 시퀀스의 디스패리티 변이를 추정하는 단계, 및 제1 및 제2 이미지들의 시퀀스의 디스패리티 및 디스패리티 변이에 기초하여 3D 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 결정하는 단계를 포함한다.
또 하나의 양태에서, 디스패리티 변이를 추정하는 단계는 이전 세그먼트의 최종 프레임의 디스패리티를 추정하는 단계, 제1 세그먼트의 제1 프레임의 디스패리티를 추정하는 단계, 및 이전 세그먼트의 최종 프레임의 디스패리티와 제1 세그먼트의 제1 프레임의 디스패리티 사이의 차이를 결정하는 단계를 포함한다.
하나의 양태에서, 디스패리티 변이를 추정하는 단계는 제1 세그먼트의 복수의 프레임들의 각 프레임 내의 디스패리티를 추정하는 단계, 및 제1 세그먼트의 프레임들 각각의 디스패리티 사이의 차이를 결정하는 단계를 포함한다.
추가 양태에서, 잠재적인 아이스트레인을 결정하는 단계는 제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수를 결정하는 단계를 더 포함한다.
또 다른 하나의 양태에서, 잠재적인 아이스트레인을 결정하는 단계는 제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수에 감쇠 인자를 적용하는 단계를 더 포함한다.
또 하나의 양태에서, 잠재적인 아이스트레인을 결정하는 단계는 제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 감쇠된 순간 아이스트레인 함수를 소정 기간에 걸쳐 누적하는 단계를 더 포함한다.
추가 양태에서, 잠재적인 아이스트레인을 결정하는 단계는 누적된 아이스트레인 함수를 제1 및 제2 이미지들의 시퀀스에 걸쳐 포화시키는 단계를 더 포함한다.
또 하나의 양태에서, 방법은 잠재적인 아이스트레인이 수락가능한 지를 결정하는 단계, 및 잠재적인 아이스트레인이 수락가능하지 않은 경우, 제1 및 제2 이미지의 디스패리티를 정정하는 단계를 더 포함한다.
본 개시의 또 하나의 양태에 따르면, 3차원(3D) 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 측정하기 위한 시스템이 제공된다. 시스템은 하나의 세그먼트로부터 제1 이미지 및 제2 이미지를 획득하기 위한 수단, 제1 이미지의 적어도 하나의 포인트와 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하기 위한 디스패리티 추정기, 제1 및 제2 이미지들의 시퀀스의 디스패리티 변이를 추정하기 위한 디스패리티 변이 추정기, 및 제1 및 제2 이미지들의 시퀀스의 디스패리티 및 디스패리티 변이에 기초하여 3D 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 결정하기 위한 아이스트레인 추정기를 포함한다.
본 개시의 추가 양태에 따르면, 3차원(3D) 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 측정하기 위한 방법 단계들을 수행하는 머신에 의해 실행가능한 명령들의 프로그램을 실체적으로 실시하는 머신에 의해 판독가능한 프로그램 저장 디바이스가 제공되고, 방법은 제1 세그먼트로부터 제1 이미지 및 제2 이미지를 획득하는 단계, 제1 이미지의 적어도 하나의 포인트와 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하는 단계, 제1 및 제2 이미지들의 시퀀스의 디스패리티 변이를 추정하는 단계, 및 제1 및 제2 이미지들의 시퀀스의 디스패리티 및 디스패리티 변이에 기초하여 3D 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 결정하는 단계를 포함한다.
첨부된 도면들과 관련하여 읽어질 수 있는 양호한 실시예들의 이하의 상세한 설명으로부터, 본 개시의 이들 및 다른 양태들, 특징들 및 장점들이 설명되고 명백하게 될 것이다.
도면들에서, 유사한 참조번호들은 전체 도면들에 걸쳐 유사한 구성요소들을 나타낸다.
도 1은 3차원(3D) 프리젠테이션을 보는 동안에 뷰어 또는 시청자의 멤버에 의해 경험되는 수렴 포인트와 초점 포인트를 예시하고 있다.
도 2는 수렴 포인트가 3D 프리젠테이션을 보여주기 위해 채용되는 스크린 전방에 있는 경우에 수렴 거리, 인식된 깊이, 디스패리티 및 수렴 각도의 관계를 예시하고 있다.
도 3은 수렴 포인트가 스크린 뒤에 있는 경우에 수렴 거리, 인식된 깊이, 디스패리티 및 수렴 각도의 관계를 예시하고 있다.
도 4는 본 개시의 하나의 양태에 따라 3차원(3D) 프리젠테이션을 보는 동안에 느껴지는 아이스트레인을 측정하기 위한 시스템의 예로 든 예시이다.
도 5는 본 개시의 양태에 따라 3차원(3D) 프리젠테이션을 보는 동안에 느껴지는 아이스트레인을 측정하기 위한 예로 든 방법의 흐름도이다.
도 6은 아이스트레인 느낌의 포화를 모델링하는데 시그모이드(sigmoid) 함수 이용을 예시하고 있다.
도 7은 본 개시의 양태에 따른 시간에 걸친 아이스트레인 측정 등식을 예시하고 있다.
도 8은 본 개시의 양태에 따른 순간 아이스트레인 함수 및 전체 아이스트레인 측정을 예시하고 있다.
도면(들)은 본 개시의 개념들을 예시하기 위한 것이고 반드시 본 개시를 예시하기 위해 가능한 유일한 구성은 아니라는 것은 자명하다.
도면들에 도시된 구성요소들은 하드웨어, 소프트웨어 또는 그 조합들의 다양한 형태들로 구현될 수 있다는 것은 자명하다. 양호하게는, 이들 구성요소들은 프로세서, 메모리 및 입/출력 인터페이스들을 포함할 수 있는 하나 이상의 적절하게 프로그래밍된 범용 디바이스들 상에서 하드웨어 및 소프트웨어의 조합으로 구현된다.
본 설명은 본 개시의 원리들을 예시하고 있다. 따라서, 본 기술분야의 숙련자들이라면, 명시적으로 여기에 기재되거나 도시되지 않더라도 본 개시의 원리들을 실시하고 그 사상 및 범주 내에 포함되는 다양한 배열들을 고안할 수 있을 것이라는 것은 자명하다.
여기에 인용된 모든 예들 및 조건 언어는 독자가 본 개시의 원리들 및 본 기술분야를 향상시키도록 본 발명자에 의해 기여되는 개념들을 이해하는데 도움을 주는 교육적 목적을 위한 것이고, 그렇게 특별히 인용된 예들 및 조건들로의 어떠한 제한도 없는 것으로 해석되어야 된다.
더구나, 여기에서 본 개시의 원리들, 양태들 및 실시예들 뿐만 아니라 그 특정 예들을 인용하는 모든 언급들은 그 구조적 및 기능적 등가물들 양쪽 모두를 포함한다고 할 것이다. 추가적으로, 그러한 등가물들은 현재의 알려져 있는 등가물들뿐만 아니라 장래에 개발되는 등가물들, 즉 구조에 관계없이 동일한 기능을 수행하도록 개발된 임의의 구성요소들 양쪽 모두를 포함하려는 것이다.
그러므로, 예를 들면, 본 기술분야의 숙련자들이라면, 여기에 프리젠팅된 블록도들은 본 개시의 원리들을 실시하는 예시적 회로의 개념적인 뷰들을 나타내고 있다는 것을 잘 알고 있을 것이다. 유사하게, 임의의 플로우차트들, 흐름도들, 상태 변이도들, 의사코드 등은 컴퓨터 판독가능 매체에서 실질적으로 표현되고, 컴퓨터 또는 프로세서 - 그러한 컴퓨터 또는 프로세서가 명시적으로 도시되어 있는지 여부에 관계없이 - 에 의해 실행될 수 있는 다양한 프로세스들을 나타낸다는 것은 자명하다.
도면들에 도시된 다양한 구성요소들의 기능들은 전용 하드웨어뿐만 아니라 적절한 소프트웨어와 연관되어 소프트웨어를 실행할 수 있는 하드웨어의 이용을 통해 제공될 수 있다. 프로세서에 의해 제공되는 경우에, 기능들은 단일 전용 프로세서에 의해, 단일 공유된 프로세서에 의해, 또는 그 일부가 공유될 수도 있는 복수의 개별적인 프로세서들에 의해 제공될 수 있다. 더구나, 용어 "프로세서"또는 "컨트롤러"의 명시적 이용은 소프트웨어를 실행할 수 있는 하드웨어를 배타적으로 지칭하는 것으로 해석되어서는 안 되고, 디지털 신호 프로세서("DSP")하드웨어, 소프트웨어를 저장하기 위한 판독 전용 메모리("ROM"), 랜덤 액세스 메모리("RAM"), 및 비휘발성 저장장치를 어떠한 제한도 없이 함축적으로 포함할 수 있다.
관례적이거나 관습적인 다른 하드웨어도 또한 포함될 수 있다. 유사하게, 도면들에 도시된 임의의 스위치들은 단지 개념적일뿐이다. 그들의 기능은 프로그램 로직의 동작을 통해, 전용 로직을 통해, 프로그램 제어 및 전용 로직의 인터액션을 통해, 또는 심지어 수동으로 수행될 수 있고, 특정 기술은 구현자에 따라 컨텍스트에서 더 구체적으로 이해됨에 따라 선택가능할 수 있다.
본 청구항들에서, 지정된 기능을 수행하기 위한 수단으로 표현된 임의의 구성요소는 예를 들면, a) 그 기능을 수행하는 회로 구성요소들의 조합, 또는 b) 기능을 수행하도록 그 소프트웨어를 실행하기 위한 적절한 회로와 조합된, 펌웨어, 마이크로코드 등을 포함하는 임의의 형태로 된 소프트웨어를 포함하여, 그 기능을 수행하는 임의의 방식을 포함하려는 것이다. 그러한 청구항들에 의해 정의된 본 개시는, 다양한 인용된 수단들에 의해 제공된 기능들이 청구항들이 요구하는 방식으로 함께 조합되고 모여진다는 사실에 있다. 따라서, 이들 기능들을 제공할 수 있는 임의의 수단들은 여기에 도시된 것들과 등가인 것으로 간주된다.
일반적으로, 스테레오스코픽 모션 픽쳐들은 좌측-눈 및 우측-눈 픽쳐 시퀀스들로 구성된다. 영화 어플리케이션들에서, 시청자들은 대개는 3D 프리젠테이션들을 보기 위해 3D 안경(예를 들면, 편광 또는 셔터 안경들)을 착용해야 한다. 안경이 없는 디스플레이들에 대해, 3D 디스플레이들의 메커니즘은 상이하더라도, 3D 인식의 원리는 동일하다. 즉, 3D 시스템은 좌측 눈은 좌측 눈 이미지들을 볼 수 있게 하고 그 동안에 우측 눈은 단지 우측 눈 이미지들만을 본다. 인간의 뇌는 이들 이미지들을 함께 조합하여 정확하게 3D 장면들을 인식할 수 있다. 그러나, 이러한 시스템은 이하의 2가지 이유들로 인해 눈 근육들의 피로 및 아이스트레인을 잠재적으로 유발할 수 있다.
1. 눈들의 수렴 포인트와 초점 포인트가 상이하다. 우리가 실제 3D 장면들을 볼 때, 우리 눈들의 초점 포인트는 수렴 포인트와 거의 동일하다. 그러나, 우리가 3D 필름들을 볼 때, 도 1에 예시된 바와 같이 정확한 3D 장면들을 인식하기 위해, 우리의 눈들의 초점 포인트(10)는 항상 스크린(12) 상에 있어야만 하는데 대해, 우리 눈들의 수렴 포인트(14)는 스크린(12)의 전방 또는 후방에 있어야 한다. 이러한 차이는 눈 근육의 스트레인에 기여하는, 따라서 아이스트레인을 유발하는 주 요인이다.
2. 3D 모션 픽쳐들에서의 오브젝트들의 깊이 변경들. 오브젝트의 깊이가 변경되는 경우, 우리 눈들은 초점 포인트를 스크린 상에 유지하면서 정확한 3D 효과를 인식하도록 수렴 포인트를 조정해야 한다. 깊이 변경들이 빈번하고 급격한 경우에, 우리 눈들은 수렴 포인트를 급격하게 변경해야 하고, 결과적으로 눈 근육들의 피로로 나타난다. 그러므로, 요약하면, 아이스트레인은 주로 2개의 인자들, 1) 눈들에 대한 수렴 포인트와 초점 포인트 사이의 거리(도 1에 도시된 수렴 거리(16)), 2) 수렴 포인트(14)의 변경들에 의해 유발된다. 그러므로, 아이스트레인을 측정하는 것은 상기 2개의 인자들을 고려할 필요가 있다.
본 개시는 3D 프리젠테이션, 예를 들면 스테레오스코픽 모션 픽쳐를 보는 동안에 시청자들에 의해 느껴지는 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법을 제공한다. 본 개시의 아이스트레인 측정 시스템 및 방법은 디스패리티(또는 깊이) 및 디스패리티 변이의 측정에 기초하고 있다. 해결책은 영화감독들 및 편집자들이 양호하고 편안한 3D 영화들을 효율적으로 만드는데 유용하다.
본 개시의 시스템 및 방법은 뷰어의 눈들의 수렴 포인트와 초점 포인트 사이의 거리가 3D 프리젠테이션의 포커싱된 오브젝트들의 깊이와 밀접하게 관련되어 있고, 이는 또한 오브젝트들의 픽셀의 디스패리티와 관련된다는 것을 고려한다. 도 2는 3D 프리젠테이션을 보는 것과 관련된 변수들의 관계를 도시하고 있다. 수렴 거리(Cd, 16), 인식된 깊이(Dp, 18), 시청자 거리(Ad, 20), 수렴 각도(Ca, 22), 눈 거리(Ed, 24) 및 디스패리티(Ds, 26)가 주어지는 경우에, 이하의 관계들이 존재한다는 것을 알 수 있다.
1. Cd, Dp 및 Ad의 관계: Ad = Cd + Dp
2. Cd, Ds, Ad 및 Ed의 관계: Cd(1/Ds + 1/Ed) = Ad/Ed
3. Ca, Ed, Ad 및 Cd의 관계: Ca = 2 atan(Ed/(2(Ad-Cd)))
네거티브 디스패리티 및 네거티브 수렴 거리가 허용되는 한, 수렴 포인트가 도 3에 도시된 바와 같이 스크린 후방에 있는 경우에, 이러한 관계들이 정확하게 유지된다. 특정 시청자에 대해, 눈 거리(Ed, 24) 및 시청자 거리(Ad, 20)는 프리젠테이션 동안에 일정하지만, 수렴 거리(Cd, 16), 인식된 깊이(Dp, 18), 수렴 각도(Ca, 22), 및 디스패리티(Ds, 26)는 모션 픽쳐 동안에 가변된다. 이들 관계들에 기초하여, 수렴 포인트의 계산은 깊이 또는 디스패리티의 추정으로 단순화될 수 있다. 이것은 결론적으로 더 간단한 추정 알고리즘들로 나타난다. 다수의 디스패리티 추정 알고리즘들이 존재하므로, 아이스트레인 추정에 대해 종래의 디스패리티 측정이 채용될 수 있다.
이제, 도 4를 참조하면, 본 개시의 실시예에 따른 예로 든 시스템 컴포넌트들이 도시되어 있다. 스캐닝 디바이스(103)는 필름 프린트들(104), 예를 들면 카메라-원래 필름 네거티브들을 디지털 포맷, 예를 들면 시네온(Cineon)-포맷 또는 SMPTE DPX 파일들로 스캐닝하기 위해 제공될 수 있다. 스캐닝 디바이스(103)는 예를 들면 비디오 출력을 가지는 Arri LocProTM과 같이, 필름으로부터 비디오 출력을 생성하는 예를 들면 텔레시네 또는 임의의 디바이스를 포함할 수 있다. 다르게는, 포스트 프로덕션 프로세스로부터의 파일들 또는 디지털 시네마(106, 예를 들면 이미 컴퓨터 판독가능 형태로 된 파일들)가 직접 이용될 수 있다. 컴퓨터-판독가능 파일들의 잠재적인 소스들은 AVIDTM 편집기들, DPX 파일들, D5 테이프들, 등이다.
스캐닝된 필름 프린트들은 포스트-처리 디바이스(102), 예를 들면 컴퓨터에 입력된다. 컴퓨터는 하나 이상의 중앙 처리 유닛들(CPU), 랜덤 액세스 메모리(RAM) 및/또는 판독 전용 메모리(ROM)와 같은 메모리(110), 및 키보드, 커서 제어 디바이스(예를 들면, 마우스 또는 조이스틱) 및 표시 디바이스와 같은 입출력(I/O) 사용자 인터페이스(들)(112)와 같은 하드웨어를 구비하는 다양한 주지된 컴퓨터 플랫폼들 중 임의의 하나 상에서 구현된다. 컴퓨터 플랫폼은 또한 오퍼레이팅 시스템 및 마이크로 명령 코드를 포함한다. 여기에 기재된 다양한 프로세스들 및 기능들은 오퍼레이팅 시스템을 통해 실행되는 마이크로 명령 코드의 일부 또는 소프트웨어 어플리케이션 프로그램(또는 그 조합)의 일부 중 하나일 수 있다. 하나의 실시예에서, 소프트웨어 어플리케이션 프로그램은 프로그램 저장 디바이스 상에 실체적으로 실시되어, 포스트-처리 디바이스(102)와 같은 임의의 적합한 머신에 업로딩되어 실행될 수 있다. 뿐만 아니라, 다양한 다른 주변장치 디바이스들은 병렬 포트, 직렬 포트 또는 범용 직렬 버스(USB)와 같은 다양한 인터페이스들 및 버스 구조들에 의해 컴퓨터 플랫폼에 접속될 수 있다. 다른 주변장치 디바이스들은 추가적인 저장 디바이스들(124) 및 프린터(128)를 포함할 수 있다. 프린터(128)는 필름(126)의 수정된 버전, 예를 들면 필름의 스테레오스코픽 버전을 프린팅하는데 채용될 수 있고, 여기에서 하나의 장면 또는 복수의 장면들은 3D 모델링된 오브젝트들을 이용하여 이하에 설명된 기술들의 결과로서 변경되거나 대체될 수 있다.
다르게는, 이미 컴퓨터-판독가능 형태(106, 예를 들면, 외부 하드 드라이브(124) 상에 저장될 수 있는 디지털 시네마)로 된 파일들/필름 프린트들은 컴퓨터(102)에 바로 입력될 수도 있다. 유의할 점은, 여기에 이용된 용어 "필름"은 필름 프린트들 또는 디지털 시네마 중 어느 하나를 지칭할 수 있다는 점이다.
소프트웨어 프로그램은 3D 프리젠테이션을 보는 동안에 시청자 또는 뷰어에 의해 느껴지는 잠재적인 아이스트레인을 측정하기 위해 메모리(110)에 저장된 아이스트레인 측정 및 감소 모듈(114)을 포함한다.
아이스트레인 측정 및 감소 모듈(114)은 제1 이미지의 적어도 하나의 포인트와 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하고(제1 및 제2 이미지는 결과적으로 스테레오 이미지 쌍으로 나타난다), 제1 이미지의 적어도 하나의 포인트와 제2 이미지의 적어도 하나의 대응하는 포인트의 각각에 대한 추정된 디스패리티로부터 디스패리티 맵을 생성하기 위해 구성된 디스패리티 추정기(116)를 포함한다. 디스패리티 추정기(116)는 제1 및 제2 이미지들에서 픽셀들을 매칭하도록 구성된 픽셀 매칭 코스트 함수(132) 및 스무디니스(smoothness) 제한을 디스패리티 추정에 적용하는 스무디니스 코스트 함수(134)를 포함한다. 디스패리티 추정기(116)는 추정된 디스패리티를 최소화시키기 위한 신뢰 전파 알고리즘 또는 함수(136), 및 신뢰 전파 함수(136)의 속도를 증가시키기 위해 제1 및 제2 이미지에 적용된 결정적 매칭 함수의 결과로 신뢰 전파 함수(136)를 초기화하는 다이나믹 프로그래밍 알고리즘 또는 함수(138)를 더 포함한다. 신뢰 전파 및 다이나믹 프로그래밍은 디스패리티를 결정하기 위한 단지 2개의 예로 든 방법들에 불과하고 다른 디스패리티 추정 방법들 및 알고리즘들이 디스패리티 추정기(116)에 의해 채용될 수 있다는 것은 자명하다.
디스패리티 변이 추정기(118)는 스테레오스코픽 이미지들의 디스패리티의 변이 또는 변경을 결정하기 위해 제공된다. 아이스트레인 추정기(120)는 디스패리티 추정기(118)로부터의 디스패리티 맵, 및 디스패리티 변이 추정기(120)로부터의 연관된 이미지들의 디스패리티 변이에 기초하여 잠재적인 아이스트레인을 추정하기 위해 제공된다.
아이스트레인 측정 및 감소 모듈(114)은 잠재적인 아이스트레인을 감소시키기 위해 제1 및 제2 이미지들 간의 디스패리티를 조정하기 위한 디스패리티 정정기(122)를 더 포함한다. 디스패리티 맵의 디스패리티 값들을 반전시킴으로써 디스패리티 맵을 깊이 맵으로 변환하기 위한 깊이 맵 발생기(123)가 또한 제공된다. 하나의 실시예에서, 깊이 맵 발생기(123)는 이하에 설명되는 바와 같이 잠재적인 아이스트레인을 감소시키기 위해 디스패리티 정정기(122)와 조합하여 작동한다.
도 5는 본 개시의 양태에 따라 적어도 2개의 2차원(2D) 이미지들의 잠재적인 아이스트레인을 측정하기 위한 예로 든 방법의 흐름도이다. 처음에, 포스트-처리 디바이스(102)는 적어도 2개의 2차원(2D) 이미지들, 예를 들면 좌측 및 우측 눈 뷰들을 가지는 스테레오 이미지 쌍을 획득한다(단계 202). 포스트-처리 디바이스(102)는 컴퓨터-판독가능 포맷으로 된 디지털 마스터 이미지 파일을 획득함으로써 적어도 2개의 2D 이미지들을 획득할 수 있다. 디지털 비디오 파일은 디지털 카메라로 이동하는 이미지들의 시간 시퀀스를 캡쳐함으로써 획득될 수 있다. 다르게는, 비디오 시퀀스는 종래의 필름-타입 카메라에 의해 캡쳐될 수 있다. 이러한 시나리오에서, 필름은 스캐닝 디바이스(103)를 통해 스캐닝된다.
필름이 스캐닝되거나 또는 이미 디지털 포맷으로 되어 있는지 여부에 관계없이, 필름의 디지털 파일은 프레임들의 로케이션들에 관한 표시들 또는 정보, 예를 들면 프레임 번호, 필름의 시작으로부터의 시간, 등을 포함할 것이라는 것은 자명하다. 디지털 이미지 파일의 각 프레임은 하나의 이미지, 예를 들면 I1, I2, ..., In을 포함할 것이다.
스테레오스코픽 이미지들은 동일한 세팅들을 가지는 2개의 카메라들에 의해 촬영될 수 있다. 어느 카메라든 동일한 초점 길이, 초점 높이 및 평행한 초점 면을 가지도록 컬리브레이팅되거나, 이미지들은 평행한 초점 면들을 가진 카메라들에 의해 촬영된 것처럼 주지된 카메라 파라미터들에 기초하여 워핑(warp)되어야 한다. 이러한 워핑(warping) 프로세스는 카메라 컬리브레이션 및 카메라 교정(rectification)을 포함한다. 컬리브레이션 및 교정 프로세스는, 에피폴라 라인들이 정확하게 이미지들의 수평 스캔라인들이 되도록, 스테레오스코픽 이미지들의 에피폴라 라인들을 조정한다. 대응하는 포인트 찾기는 에피폴라 라인들을 따라 발생하므로, 교정 프로세스는 대응관계 검색을 단지 스캔라인들을 따라 검색하는 것으로 단순화시키고, 이는 계산상 코스트를 크게 감소시킨다. 대응하는 포인트들은 동일한 장면 포인트에 대응하는 이미지들에서의 픽셀들이다.
다음으로, 단계 204에서, 디스패리티 맵은 디스패리티 추정기(116)를 통해 장면의 모든 포인트, 예를 들면 하나의 프레임에 대해 추정된다. 모든 장면 포인트에 대한 디스패리티는 좌측 및 우측 눈 이미지들의 매칭된 포인트들의 상대 거리로서 계산되고, 즉 동일한 장면 포인트에 대응하는 우측 및 좌측 이미지들의 픽셀들을 구한다. 예를 들면, 좌측 눈 이미지의 하나의 포인트의 수평 좌표가 x이고, 우측 눈 이미지의 그 대응하는 포인트의 수평 좌표가 x'인 경우, 디스패리티 d=x-x'이다.
디스패리티를 추정하는 하나의 실시예에서, 처음에, 이미지들의 스테레오스코픽 쌍이 획득된다. 픽셀 매칭 코스트 함수(132)를 계산하고 스무디니스 코스트 함수(134)를 계산하는 것을 포함하여, 디스패리티 코스트 함수가 계산된다. 낮은-코스트 스테레오 매칭 최적화, 예를 들면 다이나믹 프로그래밍 함수(138)가 수행되어, 2개의 이미지들을 스테레오 매칭하는 초기 결정적 결과들을 얻는다. 그리고나서, 낮은-코스트 최적화의 결과들은 신뢰 전파 함수(136)를 초기화하는데 이용되어, 디스패리티 코스트 함수를 최소화하기 위한 신뢰 전파 함수의 속도를 높인다. 디스패리티 추정을 위한 다른 방법이 본 기술분야에 주지되어 있고 본 개시의 시스템 및 방법에 의해 채용될 수 있다는 것은 자명하다.
단계 206에서, 디스패리티 변이가 결정된다. 기본적으로는 2가지 타입들의 디스패리티 변이, 즉 급격할 수 있는 필름 세그먼트들(예를 들면, 장면들, 샷들(shots) 등) 사이의 디스패리티 변이, 및 종종 연속적인 필름 세그먼트들(예를 들면, 샷들, 등) 내의 디스패리티 변이가 있다. 아래에 설명되는 바와 같이, 세그먼트는 동일한 컨텐트를 포함하는 프레임들의 시퀀스를 의미한다.
세그먼트들 사이의 디스패리티 변이는 대개는 불연속적이고 급격하다. 그러므로, 디스패리티 변이를 측정하기 위해, 이전 세그먼트의 최종 프레임 및 현재 세그먼트의 시작 프레임의 디스패리티 맵이 처음으로 추정된다. 환언하면, i번째 세그먼트의 마지막에서의 디스패리티 맵이 Di이고 (i+1)번째 세그먼트의 시작에서의 디스패리티 맵이 Di+1이라고 가정하면, 디스패리티 차이는 수학식 1과 같다.
Figure 112010081506814-pct00001
깊이 변경의 크기를 측정하기 위해, 절대 디스패리티 값이 이용된다.
Figure 112010081506814-pct00002
전체 디스패리티 변경을 얻기 위해, 수학식 3인 최대 디스패리티 변이가 이용되거나,
Figure 112010081506814-pct00003
수학식 4인 평균 디스패리티 변이가 이용된다.
Figure 112010081506814-pct00004
여기에서, W 및 H는 디스패리티 맵의 폭 및 높이이다.
세그먼트들 내의 픽쳐들에 대해, 디스패리티 변이는 대개는 연속적이지만, 작은 양의 시간에서의 큰 디스패리티 변이들이 종종 시청자들에 대한 아이스트레인의 원인이 될 것이다. 세그먼트들 사이의 디스패리티 변경들과 유사하게, 디스패리티 차이는 측정, 즉 δD=Di+1-Di로서 이용될 수 있다. 그러나, 이러한 측정은 세그먼트들의 경계에서라기보다는 매 프레임마다 수행될 것이다. 여기에서, 프레임들에 걸친 것보다는 하나의 프레임 내의 픽셀들에 대한 평균 디스패리티 값이 결정되고, 그리고나서 각 연속적인 프레임 간의 차이가 계산된다.
아이스트레인은 큰 디스패리티 및/또는 디스패리티 변경들에 의해 유발된다. 그러므로, 단계 208에서, 아이스트레인은 디스패리티 맵 및 디스패리티 변이에 기초하여 추정된다. 본 개시의 시스템 및 방법은 매우 개략적인 아이스트레인 모델을 활용한다. 시스템 및 방법은, 매 프레임마다 아이스트레인을 디스패리티 및 디스패리티 변경과 관련시키는 함수가 있고 아이스트레인 느낌은 프레임들에 걸쳐 누적되어 가지만 시간에 걸쳐 지수함수적으로 감쇠한다고 가정한다.
첫 번째로, 디스패리티에 의해 야기되는 아이스트레인을 평균 디스패리티 Di aver 및 디스패리티 변이 δDi aver와 관련시키는 "순간 아이스트레인 함수"g(Di aver, δDi aver)가 있다고 가정된다. 그리고나서, 디스패리티가 i번째 프레임 이후에 제로로 유지되는 경우에, 아이스트레인 측정은 이하와 같이 감쇠하는(decaying) 모델로서 표현될 수 있다.
Figure 112010081506814-pct00005
여기에서, g(Di aver, δDi aver)는 아이스트레인으로의 디스패리티의 순간 영향을 모델링하는 함수이다. λ는 감쇠 인자이다. 이러한 모델은 스크린 상에 더 이상의 디스패리티가 존재하지 않는다면(즉, 수렴 포인트가 초점 포인트가 된다) 아이스트레인이 시간에 걸쳐 매우 빠르게 사라진다(페이드 아웃한다)는 것을 가정한다. 유의할 점은, 세그먼트들 사이에 디스패리티의 급격한 변경이 있을 수 있으므로, 함수 g(Di aver, δDi aver)는 세그먼트들 내의 프레임들에 대해 그리고 세그먼트들 사이에서 상이할 수 있다는 점이고, 그것은 이들이 상기 상이하게 다루어지는 이유이다. 함수 g(Di aver, δDi aver)의 간단한 예는 이하와 같이 Di aver와 δDi aver 사이의 선형 조합일 수 있다.
Figure 112010081506814-pct00006
여기에서, a 및 b는 세그먼트들 내 및 세그먼트들 사이의 디스패리티 변이에 대해 상이할 수 있는 가중 계수들이다. a 및 b의 값들은 경험적으로 결정될 수 있다.
디스패리티가 프레임들에 걸쳐 계속해서 변경되는 경우에, 아이스트레인 느낌은 시간에 걸쳐 누적되어야 된다. 그러나, 아이스트레인은 영원히 상승할 수는 없고, 따라서 시간에 걸친 아이스트레인 느낌의 최고의 영향을 모델링하도록 하나의 함수가 채용될 수 있다. 아이스트레인 느낌의 포화상태를 모델링하는 시그모드 함수가 아래와 같이 이용된다.
Figure 112010081506814-pct00007
이러한 함수의 형태는 도 6에 도시되어 있다.
이들 구성요소들이 주어지면, 전체 아이스트레인 측정은 이하와 같이, 프레임 i에서 회귀적으로 정의될 수 있다.
Figure 112010081506814-pct00008
여기에서, ESi(ti)는 i번째 프레임에서의 아이스트레인 측정이고, ti는 (i)번째 프레임의 시간이며, λ는 감쇠 속도를 제어하기 위한 상수이다. 이러한 측정의 계산은 시간에 걸친 시뮬레이션에 의해 실현될 수 있다.
도 7은 시간에 걸친 아이스트레인 측정 등식의 예시이다. (i-t)번째 프레임에서의 아이스트레인이 결정되고, exp(-λt)의 감쇠 인자는 아이스트레인 측정에 적용된다. 그리고나서, 결과가 (i)번째 프레임의 순간 아이스트레인 함수와 조합된다. 시그모드 함수가 조합 결과에 적용되어 (i)번째 프레임에서의 아이스트레인을 결정한다.
도 8을 참조하면, 순간 아이스트레인 함수 및 전체 아이스트레인 측정이 예시되어 있다. 각 프레임, 예를 들면 프레임 1, 2, 등 위의 커브는 그 프레임의 순간 아이스트레인 함수이고, 측정 포인트들 위의 커브는 순간 아이스트레인 함수들의 누적이다. 다시 도 5를 참조하면, 단계 210에서, 뷰어에 의해 경험되는 전체 아이스트레인이 수락가능한 지가 결정된다. 하나의 실시예에서, 전체 아이스트레인 측정이 오퍼레이터, 예를 들면 영화감독 또는 편집자에게 그래프로서 가시화되어, 그래프에 따라 아이스트레인이 너무 높은지 아닌지를 결정한다. 또 하나의 실시예에서, 전체 아이스트레인 측정이 소정 임계와 비교되어, 정정이 요구되는지를 결정한다. 예를 들면, 전체 아이스트레인 측정을 표현하는 커브가 생성되고, 그리고나서 커브 상의 각 포인트의 값이 소정 임계와 비교된다. 이러한 실시예에서, 소정 임계는 상이한 타입들의 장면들 및 영화들에 대해 상이할 것이다.
아이스트레인이 너무 높은 것으로 결정되는 경우, 단계 212에서, 디스패리티 정정 또는 그레이딩(grading)이 스테레오스코픽 이미지들에 대해 수행되어 아이스트레인을 감소시킬 것이다. 그레이딩은 프레임들에 걸쳐 디스패리티 값을 스무딩하는 프로세스이다. 프레임들에 걸쳐 디스패리티를 스무딩함으로써, 디스패리티의 급격한 변경이 감소될 수 있고, 따라서 아이스트레인이 감소될 수 있다. 디스패리티를 감소시키기 위한 하나의 예로 든 방법은 수렴 조정이라 불러지고, 이는 우측-눈 이미지를 좌측 또는 우측으로 시프트하여 수렴 포인트를 조정함으로써 실현된다. 우측-눈을 좌측 또는 우측으로 시프트함으로써, 픽섹들의 디스패리티들이 인위적으로 감소되거나 증가될 수 있고, 이는 각각 더 작거나 더 큰 전체 깊이로 나타난다.
이미지 시프팅의 문제는 모든 픽셀들의 깊이가 동일한 양만큼 증가된다는 점이고, 이는 3D 장면 기하학적 배열과는 아무 관계가 없다. 그러나, 정확한 깊이 맵들이 가용한 경우, 하나의 장면의 새로운 뷰를 새로운 가상 카메라 위치와 합성하여 디스패리티를 감소시킬 수 있다. 이러한 실시예에서, 상기 결정된, 각 장면 포인트에 대한 디스패리티 값 d는 이하의 공식 z=Bf/d를 이용하여 깊이 맵 발생기(123)에 의해 장면 포인트로부터 카메라까지의 거리인 깊이 값 z로 변환되고, 여기에서 B는 베이스라인으로도 불러지는, 2개의 카메라들 사이의 거리이며, f는 카메라의 초점 길이이다. 각 적어도 하나의 이미지, 예를 들면 좌측 눈 뷰 이미지에 대한 깊이 값들은 깊이 맵에 저장된다. 따라서, 깊이 맵의 깊이 값들이 변경되어 이미지들의 디스패리티를 감소시키는 동안에 새로운 뷰를 합성한다. 예를 들면, 새로운 뷰를 생성하기 위해, 우선 깊이 값들이 변경되고 그리고나서 새로운 좌측 또는 우측(또는 양쪽 모두의) 이미지들이 재-렌더링된다. 재-렌더 프로세스는 좌측(또는 우측) 이미지 및 깊이 맵을 취하여, 새로운 우측(또는 좌측) 이미지를 생성한다. 깊이 값들은 픽셀들의 3D 정보이고, 따라서 3D 포인트들을 새로운 뷰에서 2D 픽셀들로 렌더링하는 광선-추적법(ray-tracing)과 같은 기술들이 이용될 수 있다. 새로운 뷰는 더 작은 디스패리티 또는 더 작은 디스패리티 변이를 가질 것이고, 따라서 결과적으로 뷰어 또는 시청자에게 감소된 아이스트레인으로 나타날 것이다.
이제, 도 4를 참조하면, 대응하는 이미지 및 연관된 깊이 맵은 예를 들면 저장 디바이스(124)에 저장되고, 3D 재생을 위해 검색될 수 있다. 또한, 모션 픽쳐 또는 비디오 클립의 모든 정정된 이미지들은 연관된 깊이 맵들과 함께, 모션 픽쳐 또는 클립의 스트레오스코픽 버전을 나타내는 하나의 단일 디지털 파일(130)에 저장될 수 있다. 디지털 파일(130)은 나중 검색을 위해, 예를 들면 원래 필름의 스테레오스코픽 버전을 프린팅하기 위해 저장 디바이스(124)에 저장될 수 있다.
본 개시의 사상들을 포함하는 실시예들이 여기에 도시되고 상세하게 설명되었지만, 본 기술분야의 숙련자들이라면, 이들 사상들을 여전히 포함하는 다수의 다른 가변된 실시예들을 용이하게 고안할 수 있다. 3D 프리젠테이션을 보는 동안에 느껴지는 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법의 양호한 실시예들이 설명되었지만(예시적인 것으로 제한하는 것은 아님), 유의할 점은, 상기 사상들을 감안하여 본 기술분야의 숙련자들에 의해 변형들 및 변동들이 만들어질 수 있다는 점이다. 따라서, 첨부된 청구항들에 의해 윤곽지어지는 본 개시의 범주 내에 있는 개시된 본 개시의 특정 실시예들에서 변경들이 만들어질 수 있다는 것은 자명하다.

Claims (22)

  1. 3차원(3D) 프리젠테이션을 보는 동안에 잠재적인 아이스트레인을 측정하는 방법으로서,
    제1 세그먼트로부터 제1 이미지 및 제2 이미지를 획득하는 단계;
    상기 제1 이미지의 적어도 하나의 포인트와 상기 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하는 단계;
    제1 및 제2 이미지들의 시퀀스의 디스패리티 변이를 추정하는 단계; 및
    상기 제1 및 제2 이미지들의 시퀀스의 상기 디스패리티 및 상기 디스패리티 변이에 기초하여 상기 3D 프리젠테이션을 보는 동안에 잠재적인 아이스트레인을 결정하는 단계
    를 포함하며,
    상기 잠재적인 아이스트레인을 결정하는 단계는,
    제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수를 결정하는 단계; 및
    제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수에 감쇠 인자를 적용하는 단계를 더 포함하는,
    아이스트레인 측정 방법.
  2. 제1항에 있어서, 상기 디스패리티 변이를 추정하는 단계는,
    상기 제1 세그먼트의 이전 세그먼트의 최종 프레임의 디스패리티를 추정하는 단계;
    상기 제1 세그먼트의 제1 프레임의 디스패리티를 추정하는 단계; 및
    상기 제1 세그먼트의 이전 세그먼트의 최종 프레임의 디스패리티와, 상기 제1 세그먼트의 제1 프레임의 디스패리티 사이의 차이를 결정하는 단계
    를 더 포함하는, 아이스트레인 측정 방법.
  3. 제1항에 있어서, 상기 디스패리티 변이를 추정하는 단계는,
    상기 제1 세그먼트의 복수의 프레임들의 각 프레임 내의 디스패리티를 추정하는 단계; 및
    상기 제1 세그먼트의 프레임들 각각의 디스패리티 사이의 차이를 결정하는 단계
    를 더 포함하는, 아이스트레인 측정 방법.
  4. 삭제
  5. 삭제
  6. 제1항에 있어서, 상기 잠재적인 아이스트레인을 결정하는 단계는 제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 감쇠된 순간 아이스트레인 함수를 소정 기간에 걸쳐 누적하는 단계를 더 포함하는, 아이스트레인 측정 방법.
  7. 제6항에 있어서, 상기 잠재적인 아이스트레인을 결정하는 단계는 누적된 아이스트레인 함수를 제1 및 제2 이미지들의 시퀀스에 걸쳐 포화시키는 단계를 더 포함하는, 아이스트레인 측정 방법.
  8. 제1항에 있어서,
    상기 잠재적인 아이스트레인이 수락가능한 지를 결정하는 단계; 및
    상기 잠재적인 아이스트레인이 수락가능하지 않은 경우, 상기 제1 및 제2 이미지의 디스패리티를 정정하는 단계
    를 더 포함하는, 아이스트레인 측정 방법.
  9. 제8항에 있어서, 상기 정정 단계는 상기 제1 및 제2 이미지들에 관련하여 뷰어의 눈들 중 하나의 수렴 포인트를 조정하도록 상기 제1 및 제2 이미지들의 적어도 하나를 시프트시키는 단계를 더 포함하는, 아이스트레인 측정 방법.
  10. 제8항에 있어서, 상기 정정 단계는 상기 제1 세그먼트의 새로운 뷰를 감소된 디스패리티와 합성하는 단계를 더 포함하는, 아이스트레인 측정 방법.
  11. 3차원(3D) 프리젠테이션을 보는 동안에 잠재적인 아이스트레인을 측정하기 위한 시스템으로서,
    제1 세그먼트로부터 제1 이미지 및 제2 이미지를 획득하기 위한 수단;
    상기 제1 이미지의 적어도 하나의 포인트와 상기 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하기 위한 디스패리티 추정기;
    제1 및 제2 이미지들의 시퀀스의 디스패리티 변이를 추정하기 위한 디스패리티 변이 추정기; 및
    상기 제1 및 제2 이미지들의 시퀀스의 상기 디스패리티 및 상기 디스패리티 변이에 기초하여 상기 3D 프리젠테이션을 보는 동안에 잠재적인 아이스트레인을 결정하기 위한 아이스트레인 추정기
    를 포함하며,
    상기 아이스트레인 추정기는 제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수를 결정하고,
    제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수에 감쇠 인자를 적용하도록 또한 동작하는,
    아이스트레인 측정 시스템.
  12. 제11항에 있어서, 상기 디스패리티 변이 추정기는 상기 제1 세그먼트의 이전 세그먼트의 최종 프레임의 디스패리티를 추정하고, 상기 제1 세그먼트의 제1 프레임의 디스패리티를 추정하며, 상기 제1 세그먼트의 이전 세그먼트의 최종 프레임의 디스패리티와 상기 제1 세그먼트의 제1 프레임의 디스패리티 사이의 차이를 결정하도록 동작하는, 아이스트레인 측정 시스템.
  13. 제11항에 있어서, 상기 디스패리티 변이 추정기는 상기 제1 세그먼트의 복수의 프레임들의 각 프레임 내의 디스패리티를 추정하고, 상기 제1 세그먼트의 프레임들 각각의 디스패리티 사이의 차이를 결정하도록 동작하는, 아이스트레인 측정 시스템.
  14. 삭제
  15. 삭제
  16. 제11항에 있어서, 상기 아이스트레인 추정기는 제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 감쇠된 순간 아이스트레인 함수를 소정 기간에 걸쳐 누적하도록 동작하는, 아이스트레인 측정 시스템.
  17. 제16항에 있어서, 상기 아이스트레인 추정기는 누적된 아이스트레인 함수를 제1 및 제2 이미지들의 시퀀스에 걸쳐 포화시키도록 동작하는, 아이스트레인 측정 시스템.
  18. 제11항에 있어서,
    상기 아이스트레인 추정기가 상기 잠재적인 아이스트레인이 수락가능하지 않은 것으로 결정하는 경우, 상기 제1 및 제2 이미지들의 디스패리티를 정정하도록 동작하는 디스패리티 정정기를 더 포함하는, 아이스트레인 측정 시스템.
  19. 제18항에 있어서, 상기 디스패리티 정정기는 상기 제1 및 제2 이미지들에 관련하여 뷰어의 눈들 중 하나의 수렴 포인트를 조정하도록 상기 제1 및 제2 이미지들의 적어도 하나를 시프트하도록 동작하는, 아이스트레인 측정 시스템.
  20. 제18항에 있어서, 상기 디스패리티 정정기는 상기 제1 세그먼트의 새로운 뷰를 감소된 디스패리티와 합성하도록 동작하는, 아이스트레인 측정 시스템.
  21. 3차원(3D) 프리젠테이션을 보는 동안에 잠재적인 아이스트레인을 측정하기 위한 방법 단계들을 수행하는 머신에 의해 실행가능한 명령들의 프로그램을 실체적으로 실시하는, 머신에 의해 판독가능한 비-일시적인 프로그램 저장 디바이스로서,
    상기 방법은,
    제1 세그먼트로부터 제1 이미지 및 제2 이미지를 획득하는 단계;
    상기 제1 이미지의 적어도 하나의 포인트와 상기 제2 이미지의 적어도 하나의 대응하는 포인트의 디스패리티를 추정하는 단계;
    제1 및 제2 이미지들의 시퀀스의 디스패리티 변이를 추정하는 단계; 및
    상기 제1 및 제2 이미지들의 시퀀스의 상기 디스패리티 및 상기 디스패리티 변이에 기초하여 상기 3D 프리젠테이션을 보는 동안에 잠재적인 아이스트레인을 결정하는 단계를 포함하며,
    상기 잠재적인 아이스트레인을 결정하는 단계는,
    제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수를 결정하는 단계; 및
    제1 및 제2 이미지들의 시퀀스의 각 프레임에 대한 순간 아이스트레인 함수에 감쇠 인자를 적용하는 단계를 더 포함하는,
    비-일시적인 프로그램 저장 디바이스.
  22. 제21항에 있어서, 상기 방법은,
    상기 잠재적인 아이스트레인이 수락가능한 지를 결정하는 단계; 및
    상기 잠재적인 아이스트레인이 수락가능하지 않은 경우, 상기 제1 및 제2 이미지의 디스패리티를 정정하는 단계를 더 포함하는, 비-일시적인 프로그램 저장 디바이스.
KR1020107027836A 2008-05-12 2008-05-12 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법 KR101518531B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2008/006036 WO2009139740A1 (en) 2008-05-12 2008-05-12 System and method for measuring potential eyestrain of stereoscopic motion pictures

Publications (2)

Publication Number Publication Date
KR20110021875A KR20110021875A (ko) 2011-03-04
KR101518531B1 true KR101518531B1 (ko) 2015-05-07

Family

ID=39870649

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107027836A KR101518531B1 (ko) 2008-05-12 2008-05-12 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법

Country Status (7)

Country Link
US (1) US8787654B2 (ko)
EP (1) EP2274920B1 (ko)
JP (1) JP5429896B2 (ko)
KR (1) KR101518531B1 (ko)
CN (1) CN102027752B (ko)
CA (1) CA2723627C (ko)
WO (1) WO2009139740A1 (ko)

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BRPI0911016B1 (pt) * 2008-07-24 2021-01-05 Koninklijke Philips N.V. método de provisão de um sinal de imagem tridimensional, sistema de provisão de sinal de imagem tridimensional, sinal que contém uma imagem tridimensional, mídia de armazenamento, método de renderização de uma imagem tridimensional, sistema de renderização de imagem tridimensional para renderizar uma imagem tridimensional
US8330802B2 (en) * 2008-12-09 2012-12-11 Microsoft Corp. Stereo movie editing
US20110050857A1 (en) * 2009-09-03 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for displaying 3d image in 3d image system
JP5361618B2 (ja) * 2009-09-04 2013-12-04 キヤノン株式会社 画像処理装置及びその制御方法
WO2011081646A1 (en) * 2009-12-15 2011-07-07 Thomson Licensing Stereo-image quality and disparity/depth indications
JP5387399B2 (ja) * 2009-12-28 2014-01-15 ソニー株式会社 情報処理装置および情報処理方法
JPWO2011080878A1 (ja) * 2009-12-28 2013-05-09 パナソニック株式会社 画像再生装置及び表示装置
JP5505881B2 (ja) * 2010-02-02 2014-05-28 学校法人早稲田大学 立体映像制作装置およびプログラム
WO2011108277A1 (ja) 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置および立体撮像方法
WO2011108276A1 (ja) * 2010-03-05 2011-09-09 パナソニック株式会社 立体撮像装置、および立体撮像方法
JP5444452B2 (ja) 2010-03-05 2014-03-19 パナソニック株式会社 立体撮像装置および立体撮像方法
US8817072B2 (en) 2010-03-12 2014-08-26 Sony Corporation Disparity data transport and signaling
KR101682205B1 (ko) * 2010-05-03 2016-12-05 삼성전자주식회사 입체영상의 시청피로를 저감하는 장치 및 방법
US20110279651A1 (en) * 2010-05-17 2011-11-17 Texas Instruments Incorporated Method and Apparatus for Auto-Convergence Based on Auto-Focus Point for Stereoscopic Frame
JP5556394B2 (ja) * 2010-06-07 2014-07-23 ソニー株式会社 立体画像表示システム、視差変換装置、視差変換方法およびプログラム
US9406132B2 (en) * 2010-07-16 2016-08-02 Qualcomm Incorporated Vision-based quality metric for three dimensional video
JP2012029216A (ja) * 2010-07-27 2012-02-09 Sony Corp 再生装置、再生方法、およびプログラム
JP2012054912A (ja) * 2010-08-02 2012-03-15 Sharp Corp 映像処理装置、表示装置及び映像処理方法
US20130128003A1 (en) * 2010-08-19 2013-05-23 Yuki Kishida Stereoscopic image capturing device, and stereoscopic image capturing method
US20130169543A1 (en) * 2010-09-20 2013-07-04 Mediatek Singapore Pte. Ltd. Rendering Apparatuses, Display System and Methods for Rendering Multimedia Data Objects with a Function to Avoid Eye Fatigue
EP2451164B1 (en) * 2010-11-08 2017-05-03 Telefonaktiebolaget LM Ericsson (publ) Improved view synthesis
JP5242667B2 (ja) * 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
KR101796663B1 (ko) 2011-02-07 2017-11-10 삼성전자 주식회사 영상처리장치 및 그 제어방법
US8654181B2 (en) * 2011-03-28 2014-02-18 Avid Technology, Inc. Methods for detecting, visualizing, and correcting the perceived depth of a multicamera image sequence
WO2012157177A1 (ja) 2011-05-19 2012-11-22 パナソニック株式会社 輻輳能力判定装置及びその方法
KR20120133951A (ko) * 2011-06-01 2012-12-11 삼성전자주식회사 3ｄ 영상변환장치 그 깊이정보 조정방법 및 그 저장매체
US10805625B2 (en) * 2011-07-05 2020-10-13 Texas Instruments Incorporated Method, system and computer program product for adjusting a stereoscopic image in response to decoded disparities between views of the stereoscopic image
DE102011107765B3 (de) * 2011-07-18 2012-12-06 3Ality Digital Systems, Llc Verfahren zum Glätten von Übergängen zwischen Szenen eines Stereofilms sowie Steuerung oder Regelung mehrerer 3D-Kameras
US9602801B2 (en) 2011-07-18 2017-03-21 Truality, Llc Method for smoothing transitions between scenes of a stereo film and controlling or regulating a plurality of 3D cameras
KR101888672B1 (ko) * 2011-07-27 2018-08-16 엘지디스플레이 주식회사 입체영상 표시장치와 그 구동방법
DE102011109301B4 (de) 2011-08-03 2013-05-08 3Ality Digital Systems, Llc Verfahren zum Korrigieren der Zoom-Einstellung und/oder des vertikalen Versatzes von Teilbildern eines Stereofilms sowie Steuerung oder Regelung eines Kamerarigs mit zwei Kameras
JP5982751B2 (ja) 2011-08-04 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
CN103748872A (zh) * 2011-08-30 2014-04-23 瑞典爱立信有限公司 立体图像的接收器侧调整
US9672609B1 (en) * 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US9014463B2 (en) * 2011-11-25 2015-04-21 Kyungpook National University Industry-Academic Cooperation Foundation System for real-time stereo matching
US9313475B2 (en) 2012-01-04 2016-04-12 Thomson Licensing Processing 3D image sequences
US9628770B2 (en) * 2012-06-14 2017-04-18 Blackberry Limited System and method for stereoscopic 3-D rendering
US20140063206A1 (en) * 2012-08-28 2014-03-06 Himax Technologies Limited System and method of viewer centric depth adjustment
JP5830705B2 (ja) * 2012-09-25 2015-12-09 パナソニックＩｐマネジメント株式会社 画像信号処理装置および画像信号処理方法
US9300942B2 (en) * 2012-10-18 2016-03-29 Industrial Technology Research Institute Method and control system for three-dimensional video playback using visual fatigue estimation
US9182817B2 (en) * 2013-03-12 2015-11-10 Intel Corporation Techniques for automated evaluation of 3D visual content
US9483111B2 (en) * 2013-03-14 2016-11-01 Intel Corporation Techniques to improve viewing comfort for three-dimensional content
US20150033157A1 (en) * 2013-07-25 2015-01-29 Mediatek Inc. 3d displaying apparatus and the method thereof
US9736449B1 (en) * 2013-08-12 2017-08-15 Google Inc. Conversion of 2D image to 3D video
CN103458259B (zh) * 2013-08-27 2016-04-13 Tcl集团股份有限公司 一种3d视频引起人眼疲劳度的检测方法、装置及系统
CN104146678B (zh) * 2014-08-14 2016-05-04 上海亿保健康管理有限公司 基于智能手机的眼睛疲劳度数据分析方法
CN104284183A (zh) * 2014-09-30 2015-01-14 重庆三峡学院 一种3d帧安全检测方法及装置
KR102350232B1 (ko) * 2014-11-20 2022-01-13 삼성전자주식회사 스테레오 영상 매칭 방법 및 장치
CN104398235A (zh) * 2014-12-04 2015-03-11 张晓� 一种眼部疲劳检测仪
CN104967837A (zh) * 2015-06-30 2015-10-07 西安三星电子研究有限公司 用于调整三维显示效果的设备和方法
CN105100773B (zh) * 2015-07-20 2017-07-28 清华大学 立体视频制作方法、立体视图制作方法和制作系统
CN106851246B (zh) * 2017-02-06 2019-08-23 京东方科技集团股份有限公司 用于确定三维图像或视频的视觉疲劳度的方法和设备
CN107277502A (zh) * 2017-08-01 2017-10-20 成都大学 一种测评立体视频视疲劳程度的方法与系统
CN110495895B (zh) * 2019-08-26 2020-04-28 重庆大学 一种基于眼动跟踪的疲劳检测方法与系统
CN112580423A (zh) * 2019-09-30 2021-03-30 托比股份公司 处理用户眼睛的图像的方法、相关联系统和计算机程序
CN111951332B (zh) * 2020-07-20 2022-07-19 燕山大学 基于视线估计和双目深度估计的眼镜设计方法及其眼镜

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
JPH1052402A (ja) 1996-08-09 1998-02-24 Agency Of Ind Science & Technol 視覚疲労検査方法および立体視標呈示装置
JP4149037B2 (ja) * 1998-06-04 2008-09-10 オリンパス株式会社 映像システム
EP1554109B1 (de) 2002-10-18 2006-07-05 Tetra Laval Holdings & Finance S.A. Vorrichtung zum stanzen, prägen und/oder verformen flacher elemente
US20060203085A1 (en) * 2002-11-28 2006-09-14 Seijiro Tomita There dimensional image signal producing circuit and three-dimensional image display apparatus
JP4148811B2 (ja) * 2003-03-24 2008-09-10 三洋電機株式会社 立体画像表示装置
JP4121881B2 (ja) 2003-03-28 2008-07-23 株式会社トプコン 三次元観察状態測定装置及び方法
JP4091532B2 (ja) 2003-12-18 2008-05-28 株式会社ソフィア 遊技機
JP4046121B2 (ja) * 2005-03-24 2008-02-13 セイコーエプソン株式会社 立体画像表示装置及び方法
KR100739764B1 (ko) * 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
KR101102004B1 (ko) 2005-12-30 2012-01-04 삼성전자주식회사 3차원 입체 영상에 대한 피로도를 정량화하는 방법 및시스템
US8224067B1 (en) * 2008-07-17 2012-07-17 Pixar Animation Studios Stereo image convergence characterization and adjustment

Also Published As

Publication number Publication date
CN102027752A (zh) 2011-04-20
EP2274920B1 (en) 2019-01-16
CN102027752B (zh) 2016-02-17
JP2011520398A (ja) 2011-07-14
US20110142309A1 (en) 2011-06-16
CA2723627A1 (en) 2009-11-19
KR20110021875A (ko) 2011-03-04
EP2274920A1 (en) 2011-01-19
CA2723627C (en) 2017-01-24
JP5429896B2 (ja) 2014-02-26
WO2009139740A1 (en) 2009-11-19
US8787654B2 (en) 2014-07-22

Similar Documents

Publication Publication Date Title
KR101518531B1 (ko) 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법
JP5153940B2 (ja) 動き補償を用いた画像の奥行き抽出のためのシステムおよび方法
US9659382B2 (en) System and method for depth extraction of images with forward and backward depth prediction
JP5156837B2 (ja) 領域ベースのフィルタリングを使用する奥行マップ抽出のためのシステムおよび方法
CA2668941C (en) System and method for model fitting and registration of objects for 2d-to-3d conversion
US8441521B2 (en) Method and apparatus for determining view of stereoscopic image for stereo synchronization
US20070081716A1 (en) 3D image processing apparatus and method
CN102668572B (zh) 用于立体数字电影中的最佳运动再现的方法和装置
CN104980732B (zh) 测量立体运动画面的潜在眼睛疲劳的系统和方法
BR112021007522A2 (pt) aparelho gerador de imagens, método de geração de imagens e produto de programa de computador

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180328

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee