KR101237945B1 - 무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법 - Google Patents

무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법 Download PDF

Info

Publication number
KR101237945B1
KR101237945B1 KR1020057009200A KR20057009200A KR101237945B1 KR 101237945 B1 KR101237945 B1 KR 101237945B1 KR 1020057009200 A KR1020057009200 A KR 1020057009200A KR 20057009200 A KR20057009200 A KR 20057009200A KR 101237945 B1 KR101237945 B1 KR 101237945B1
Authority
KR
South Korea
Prior art keywords
image
parallax
images
parallax image
computer
Prior art date
Application number
KR1020057009200A
Other languages
English (en)
Other versions
KR20050085099A (ko
Inventor
크리스토퍼 에이 메이휴
마이클 비 마틴
Original Assignee
비젼 Ⅲ 이미징 인코퍼레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 비젼 Ⅲ 이미징 인코퍼레이티드 filed Critical 비젼 Ⅲ 이미징 인코퍼레이티드
Publication of KR20050085099A publication Critical patent/KR20050085099A/ko
Application granted granted Critical
Publication of KR101237945B1 publication Critical patent/KR101237945B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/133—Equalising the characteristics of different image components, e.g. their average brightness or colour balance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 무안경 디스플레이를 만드는 방법에 관한 것이다. 본 방법은 제 1 시차 이미지와 적어도 하나의 다른 시차 이미지를 획득하는 단계를 포함한다. 상기 제 1 시차 이미지의 적어도 일부분이 상기 적어도 하나의 다른 시차 이미지의 해당 부분과 정렬될 수 있다. 상기 제 1 시차 이미지와 상기 적어도 하나의 다른 시차 이미지의 번갈아 보기가 디스플레이될 수 있다.
Figure 112005026569030-pct00001
무안경 디스플레이, 시차 이미지, 깊이 맵

Description

무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬 시스템 및 방법{Critical Alignment Of Parallax Images For Autostereoscopic Display}
본 발명은 시각기술분야에 관한 것으로, 보다 상세하게는 디스플레이시에 특수 보기 보조물(viewing aids)을 사용하지 않고도 3차원인 것으로 인식될 수 있는 2차원 이미지를 만들기 위한 무안경식 이미징 방법(autostereoscopic imaging method)에 관한 것이다.
3차원 착시를 제공하도록 디스플레이될 수 있는 2차원 이미지의 제작은 시각기술분야의 오랜 목표였다. 이러한 3차원 착시를 만들기 위한 방법 및 장치는 인간의 깊이 인식(depth perception)에 대한 생리학의 증가된 이해 뿐만 아니라 아날로그/디지털 신호처리 및 컴퓨터 이미징 소프트웨어를 통한 이미지 조작에서의 발전에 어느 정도 부합했다.
쌍안용(binocular)(즉, 스테레오(stereo)) 시각은 시야를 중첩하며 동일한 방향으로 보는 2개의 눈을 필요로 한다. 각각의 눈은 약간 다른 각도로 장면을 보고, 상기 장면을 신경세포 또는 뉴런(neuron)을 따라 늘어선 안구 뒤쪽의 오목한 면인 망막(retina)상에 초점을 맞춘다. 각 눈으로부터의 2차원 망막 이미지들은 광 신경을 따라 뇌의 시각피질(visual cortex)로 전송되고, 상기 시각피질에서 상기 장면의 인식된 3차원 모델을 형성하도록, 입체시(stereopsis)로서 알려진 처리로, 이미지들이 조합된다.
3차원 공간의 인식은, 예를 들어, 단안의 큐(monocular cues) 및 양안의 큐를 포함하여 보여지는 장면에서의 다양한 종류의 정보에 따른다. 단안의 큐는 상대 크기, 선형 원근법, 개입(interposition), 및 명암과 같은 요소들을 포함한다. 양안의 큐는 망막 불일치(retina disparity), 원근 조절(accommodation), 수렴 및 정통한 큐(예를 들어, 주제와의 친밀함)를 포함한다. 이들 모든 요인들은 장면에서 3차원 공간의 인식을 만드는데 기여할 수 있는 한편, 망막 불일치는 3차원 인식을 만들기 위한 가장 중요한 정보원중 하나를 제공할 수 있다. 특히, 망막 불일치는 뇌에 의해 제공되는 시차 정보(prallax information)(즉, 위치, 운동 방향, 또는 다른 관찰위치에 의해 야기된 물체의 다른 시각적 특징에서의 명백한 변화)가 된다. 각 눈은 다른 관찰위치를 가지기 때문에, 각 눈은 동일한 장면에 대해 약간 다른 시각을 제공할 수 있다. 시각들 간의 차이는 뇌가 장면의 3차원적 측면을 인식하는데 사용될 수 있는 시차 정보를 나타낸다.
시차 정보가 동시에 뇌에 나타날 필요는 없다. 예를 들어, 시간 간격이 100㎳를 넘지 않는 한, 깊이를 인식하는 좌측 및 우측 눈의 깊이 정보가 좌측 및 우측 눈에 번갈아 나타날 수 있다. 뇌는 눈이 각각 100㎳까지의 주기동안 번갈아 닫히고 열릴 때에도 3차원 장면으로부터 시차 정보를 추출할 수 있다. 뇌는 또한 시차 정보가 연속적인 경우에도 동시에 양 눈에 나타나는 시차 정보를 받아들이고 처리할 수 있다. 예를 들어, 다른 관찰 관점에서 취해진 동일한 장면의 2이상의 보기가 양 눈에 연속적으로 보여질 수 있다(예를 들어, 보기 중 각각의 하나는 연속적으로 다음 보기를 보여주기 전에 짧은 시간동안 양 눈에 보여질 수 있다).
여러개의 3차원 이미지 디스플레이 방법이 제안 및/또는 구현되었다. 이들 방법들은 입체영상(stereo-scopic image) 디스플레이 방법 및 무안경 디스플레이 방법의 2개의 주요 카테고리로 양분될 수 있다. 입체경(stereoscopes), 편광, 애너글리픽(anaglyphic), 펄프리치(Pulfrich), 및 셔터링(schuttering) 기술을 포함하는 입체영상 기술은 시청자가, 예를 들어, 안경과 같은 특수 시청장치를 써야하는 것을 필요로 한다. 홀로그래피(holography), 렌티큘러 스크린(lenticular screen), 및 시차 장벽(parallax barriers)등과 같은 무안경 디스플레이 기술은 특수 안경을 사용하지 않고도 3차원 착시를 갖는 이미지를 만들지만, 이들 방법은 일반적으로 특수 스크린의 사용을 필요로 한다.
그러나, 특수 안경이나 특수 보기 스크린을 필요로 하지 않는 다른 시스템이 제안되었다. 이들 시스템은 다른 관점으로부터 2개의 카메라에 의해 기록된 장면의 번갈아 디스플레이된 보기를 이용하는 무안경 텔레비젼 및 영화 시스템을 포함한다. 예를 들어, 임샌드(Imsand)의 미국특허 제4,006,291호, 맥엘빈(McElveen)의 미국특허 제4,303,316호, 죤스 등(Jones et al)의 미국특허 제4,429,328호 및 메이휴 등(Mehhew et al)의 미국특허 제4,815,819호에 설명된 장치는 모두 2개의 주의깊게 정렬된 카메라를 사용하여 수평으로, 수직으로 또는 수평 및 수직으로 이격된 장면보기의 조합을 기록한다. 이들 시스템은 주로 표준 스크린을 사용하여 무안경 디스플레이용의 이미지 획득 기술을 다루는 한편, 카메라는 적절한 이미지를 포착하기 위해 주의깊게 위치되고 정렬되어야만 한다. 또한, 카메라로부터의 이미지가 포착되었다면, 이미지 정렬이 재조정될 수 없다.
또 다른 접근으로, 메이휴에게 부여된 미국특허 제5,510,831호는 슬릿 스캐닝(slit scanning) 기술을 사용하여 시차 이미지의 무안경 디스플레이 방법을 설명하고 있다. 이 기술에서, 2대의 카메라가 입체 이미지를 포착하기 위해 주의깊게 정렬된다. 이들 이미지는 배경 이미지로서의 제 1 이미지를 제공하고 스캐닝 슬릿 형태로 상기 제 1 이미지상에 제 2 이미지를 중첩시킴으로써 디스플레이될 수 있다.
이러한 각각의 설명된 방법과 시스템은 3차원 이미지 디스플레이를 위한 이미지를 포착하는데 사용될 수 있지만, 각자 관련된 문제들이 있다. 예를 들어, 많은 방법들은 시차 정보를 갖는 이미지를 포착하기 위해 적어도 2개의 주의깊게 정렬된 카메라의 사용을 필요로 한다. 다수의 카메라를 공통 장면에 정렬하는 것은 성가시다. 운반하고 위치시켜야 할 다수의 카메라들이 있을 뿐만 아니라 상기 카메라들의 절적한 정렬 및 색깔/휘도 일치가 어려울 수 있다. 심지어 정렬 후에도, 카메라들은 여전히 나중에 디스플레이를 위한 소정의 이미지 정렬 정도를 제공할 수 없다. 또한, 많은 종래 기술의 방법들은 특수 카메라 또는 렌즈 장치, 비디오 스위칭 장비, 특수 보기 안경 및/또는 3차원 착시를 만들기 위한 특수 스크린을 필요로 한다. 또한, 이들 3차원 디스플레이 방법 중 어느 것도, 예를 들어, 무작위로 획득된 이미지 또는 종래 비디오 이미지 스트림(예를 들어, 시퀀스)으로부터 추출된 이미지 또는 평행보기(parallel views)를 갖는 이미지와 함께 사용하는데 적합하지 않다. 본 발명은 종래 기술의 3차원 이미지 디스플레이 시스템 및 방법과 관련된 하나 이상의 문제를 극복하도록 한다.
본 발명의 제 1 태양은 무안경 디스플레이를 만드는 방법을 포함한다. 상기 방법은 제 1 시차 이미지와 적어도 하나의 다른 시차 이미지를 획득하는 단계를 포함한다. 상기 제 1 시차 이미지의 일부분이 상기 적어도 하나의 다른 시차 이미지의 해당 부분과 정렬될 수 있다. 상기 제 1 시차 이미지와 상기 적어도 하나의 다른 시차 이미지의 번갈아 보기가 디스플레이될 수 있다.
본 발명의 제 2 태양은 정렬된 시차 이미지 세트를 만드는 시스템을 포함한다. 시스템은 컴퓨터와 상기 컴퓨터상에 실행되는 애플리케이션(application)을 포함한다. 상기 애플리케이션은 상기 시차 이미지 중 제 1 이미지의 적어도 일부분이 상기 시차 이미지 중 제 2 이미지의 적어도 일부분과 정렬되도록 소정의 보기속도로 2 이상의 시차 이미지의 번갈아 보기를 디스플레이하고, 상기 2 이상의 시차 이미지를 조작하도록 구성된다.
도 1은 본 발명의 예시적인 실시예에 따른 시차 정보를 만들기 위한 예시적인 카메라 위치를 도시한 것이다;
도 2는 본 발명의 예시적인 실시예에 따른 시차 이미지를 정밀하게 배열하는 방법을 나타내는 흐름도를 도시한 것이다;
도 3a 내지 도 3d는 본 발명의 예시적인 실시예에 따른 시차 이미지를 정렬 하기 위한 변환과정을 예시한 것이다; 그리고
도 4a 내지 도 4d는 본 발명의 예시적인 실시예에 따른 정렬 동안 및 정렬 후의 시차 이미지의 디스플레이를 위한 다양한 시퀀스 패턴을 예시한 것이다.
본 발명의 한 예시적인 실시예는 합성 동영상을 만들기 위해 시차 이미지를 조작함으로써 무안경 디스플레이를 만드는 방법을 포함한다. 상기 합성 동영상은 무안경 디스플레이를 제공할 수 있으며 종래 스크린(예를 들어, TV, 컴퓨터 모니터, 프로젝션 스크린, 동영상 디스플레이, 또는 동영상이 보여질 수 있는 임의의 다른 타입의 디스플레이)상에 보여질 수 있다. 상술한 바와 같이, 시차 이미지는 관점이 다른 시야들이 중첩되는 2 이상의 이미지를 포함한다. 예를 들어, 도 1에 도시된 바와 같이, 카메라(10)는 제 1 세트의 이미지를 포착할 수 있고 카메라(12)는 공통 장면의 제 2 세트의 이미지를 포착할 수 있으나, 서로 이격되어 있다. 카메라(10 및 12)로부터 이미지들을 합성한 세트가 시차 정보가 된다. 즉, 카메라(10 및 12)로부터의 이미지 세트는 상기 카메라(10 및 12)가 동일한 장면(14)의 이미지를 포착한다는 사실에 의해 다소 중복된 시각 정보를 포함한다. 그러나, 카메라(10 및 12)로부터의 이미지 세트는 또한 다른 관점에서 발생한 다소 다른 시각 정보를 포함한다. 이들 시차 정보는 본 발명에 따른 무안경 디스플레이를 만드는 기초로서 사용될 수 있다.
카메라(10 및 12)는 동시에 또는 번갈아 시차 정보를 포착할 수 있음을 유의해야 한다. 시차 정보는 장면(14)의 제 1 이미지를 포착한 후에 새로운 위치(예를 들어, 도 1에서 카메라(12)의 위치)로 이동하여 장면(14)의 제 2 이미지를 포착하는 한대의 카메라(10)에 의해서도 만들어질 수 있다. 또한, 장면(14)의 시차 정보를 포착하는 사이에 임의의 시간기간이 지날 수 있다. 예를 들어, 장면(14)의 제 1 이미지를 포착하고 나서, 임의의 시간이 지난 후에(예를 들어, 1초, 1시간, 1일, 1년 등) 다른 관점의 제 2 이미지가 포착될 수 있다. 또한, 카메라(10 및 12)는 본 발명과 함께 사용하기 위한 적절한 시차 이미지를 만들기 위한 임의의 특정한 정렬로 구성될 필요는 없다.
본 발명의 예시적인 실시예는 소스 이미지의 획득 및 선택 단계, 이미지의 특정한 정렬(critical aligment), 및 이미지의 디스플레이를 포함할 수 있다. 도 2에 예시된 바와 같이, 일실시예에서, 본 방법은 단계(20)에서 소스 이미지를 획득하는 것과, 단계(22)에서 소스 이미지를 정렬 소프트웨어에 로드하는 것과, 단계(24)에서 정렬 파라미터를 조절하는 것과, 단계(26)에서 정렬된 이미지를 저장하는 것 및 단계(28)에서 정렬된 이미지를 보여주는 것을 포함할 수 있다.
획득 및 선택
무안경 디스플레이를 만드는데 사용되는 시차 이미지는 디지털 스틸 카메라(digital still camera), 디지털 비디오 카메라, 종래 필름 카메라 및 종래 비디오 카메라(이어지는 디지털화가 뒤따름), 컴퓨터로 만들어진 그래픽 소스 및 임의의 다른 적절한 이미징 소스와 같은 다양한 이미징 소스로부터 획득될 수 있다. 또한, 시차 이미지는 하나의 이미지 스트림 또는 다수의 이미지 스트림으로부터 취해질 수 있다. 다수의 이미지 스트림은 평행한 관점을 갖는 이미지 시퀀스(image sequence)를 중첩시키는 것을 포함하여 동일한 장면을 중첩해서 보는 비디오 스테레오 카메라쌍 또는, 보다 일반적으로는, 2 이상의 이미지 소스의 출력일 수 있다. 시차 이미지는 또한 (3D 렌더링 그래픽과 같이) 컴퓨터에 의해 만들어질 수 있거나 RADAR, SONAR 등에 의해 제작된 거짓 빛깔(false color) 이미지에 의해 만들어 질 수 있다.
특정한 정렬(Critical alignment)
정렬처리는 소정의 보기 속도(viewing rate)(즉, 시차 이미지 보기가 바뀌는 빈도)로 시차 이미지의 번갈아 보기를 디스플레이하고, 그런 후, 상기 번갈아 보기를 정렬 일치시키도록 조작하는 것을 포함한다. 번갈아 보기는 임의의 소정의 보기 속도로 디스플레이될 수 있지만, 일실시예에서, 보기 속도는 약 3Hz 내지 약 6Hz일 수 있다. 용어 "정렬 일치(match alignment)"는 정렬되는(즉, 수렴되는) 이미지에서의 관심 영역이 기준 이미지 프레임에 해당하는 영역과 같이 정렬되게 이미지 프레임내의 동일한 위치를 차지하도록 위치되는 상태를 말한다. 관심 영역은 정렬되는 이미지의 전부 또는 일부분일 수 있다.
정렬 일치는 시차 이미지 세트로부터, 도 3a에 도시된 바와 같이, 기준 이미지(30)를 선택함으로써 시작된다. 기준 이미지(30)가 선택되면, 상기 시차 이미지로부터, 도 3b에 도시된 바와 같이, 다른 이미지(32)가 상기 기준 이미지(30)에 대해 정렬될 수 있다. 단지 하나의 미정렬된 이미지(32)가 도 3b에 도시되어 있으나, 상기 미정렬된 이미지(32)는 복수의 N개의 이미지를 나타낼 수도 있다. 복수의 N개의 이미지 중 하나 이상이 기준 이미지(30)에 대해 선택되고 정렬될 수 있다. 어떤 상황에서, 본 발명에 따른 무안경 디스플레이의 안정도는 다른 시차 위치를 갖는 시차 이미지의 수가 증가함에 따라 증가될 수 있다.
기준 이미지(30)는 관심 영역(34)을 포함할 수 있다. 다른 관점에서 도시되기는 하였지만, 동일한 관심 영역(34')이 미정렬된 이미지(32)에 나타날 수 있다. 도 3c에 도시된 바와 같이, 미정렬된 이미지(32)는, 예를 들어, 영역(34')이 도 3d에 도시된 바와 같이 영역(34)과 정렬이 일치될 때까지 조작될 수 있다. 조작과정은 이동, 회전, 스케일링(scaling), 및/또는 임의의 다른 소정의 변환을 포함하는 어파인 변환(affine transformation)으로 나타내질 수 있다. 또한, 미정렬된 이미지(32)가 회전되는 지점도 또한 이미지 중심과는 다른 위치로 조절될 수 있다.
특정한 정렬 과정은 컴퓨터에 의해 수행될 수 있다. 예를 들어, 한 세트의 시차 이미지는 사용자가 기준 이미지를 선택하게 할 수 있는 소프트웨어 애플리케이션에 로드될 수 있다. 예를 들어, 한 세트의 시차 이미지는 공개 그래픽 언어(open graphic language, OGL) 소프트웨어 또는 이미지 데이터를 조작하는데 적합한 다른 소프트웨어에 로드될 수 있다. 그런 후, 컴퓨터는 상기 세트에서 나머지 시차 이미지 중 하나 이상의 정렬을 자동적으로 수행할 수 있다. 그러나, 대안으로, 소프트웨어는 조작자가 상기 세트에서 상기 나머지 시차 이미지 중 하나 이상에 대한 변환 파라미터를 입력할 수도 있다.
일실시예에서, 사용자는 기준 이미지와 하나 이상의 미정렬된 이미지에서 수렴점을 선택할 수 있다. 컴퓨터는 이미지에서 선택된 수렴점 사이의 계산된 차를 기초로 하여 상기 이미지에 수렴점을 정렬하도록 적절한 이동(들)을 수행할 수 있다. 컴퓨터는 (a) 2 이상의 선택된 이미지 사이에 어떤 중대한 회전 불일치가 있는지, (b) 회전 불일치의 정도, (c) 하나 이상의 선택된 이미지들이 회전되는 점 또는 회전, 및 (d) 어떤 회전 이동(들)이 선택된 수렴점이나 수렴점 부근에 선택된 이미지내의 관심 영역의 정렬을 일치시키는 것이 필요한지 결정하기 위한 패턴일치(pattern matching) 또는 특성추출(feature extraction) 알고리즘을 더 수행할 수 있다. 따라서, 컴퓨터는 선택된 수렴점을 기초로 하여 이미지를 정렬하고, 정렬을 일치시키기 위해 상기 이미지를 회전시킬 수 있다.
또 다른 실시예에서, 컴퓨터는 정렬과정의 심지어 더 큰 부분을 제어할 수 있다. 예를 들어, 조작자나 컴퓨터가 기준 이미지(30)에서 수렴점을 선택할 수 있다. 그런 후, 컴퓨터는 패턴일치 알고리즘을 사용하여 기준 이미지(30)에서 수렴점 부근의 영역에 해당하는 미정렬된 이미지(32)에서 일치 영역에 대한 측정을 계산할 수 있다. 해당 기술분야에 공지된 임의의 적절한 패턴일치 알고리즘이 이러한 계산을 수행하는데 사용될 수 있다.
예를 들어, 각각의 이미지(30 및 32)로부터 픽셀들의 블록이 간략화를 위해 선택되고 비교될 수 있다. 이 과정은 최상의 일치가 선택될 때까지 반복될 수 있다. 점점 더 작은 변위를 갖는 이러한 과정의 반복은 이동값을 한층 정교히 하도록 (예를 들어, 서브픽셀 해상도의 변환 파라미터를 제공하도록) 수행될 수 있다. 회전도 또한, 상술한 바와 같이, 처리될 수 있다.
또 다른 실시예에서, 컴퓨터는 조작자가 하나 이상의 시차 이미지에 대한 변환 파리미터를 입력하게 할 수 있다. 따라서, 정렬된 각각의 이미지에 대해, 사용자는 시차 이미지를 정렬하기 위해 수동으로 변환 파라미터를 입력하고 변경할 수 있다. 정렬 소프트웨어는 사용자가 이동 파라미터, 스케일링 파라미터, 회전값, 회전 피봇점(pivot point), 및 이미지 변환과 관련된 임의의 다른 파라미터와 같은 변환 파라미터를 입력할 수 있는, 예를 들어, 그래픽 사용자 인터페이스(GUI)를 포함할 수 있다. 추가적인 특징으로는 일치 면적을 정량적으로 식별하기, 줌 인(zoom in)/줌 아웃(zoom out) 기능, 및 관심 영역 밖의 이미지의 일부분을 마스크 오프(mask-off)하는(즉, 보이지 않게하는) 기능을 도와주는 정렬 가이드(alignment guides)를 포함할 수 있다.
자동화 정도에 무관하게, 각 과정에서 변환 파라미터는 특정한 정렬이 달성될 때까지 연속적으로 조절될 수 있다. 특정한 정렬은 정렬 정도가 안정적인 무안경 디스플레이를 달성하는데 충분한 조건에 해당한다. 전체 이미지의 안정도는 무안경 디스플레이에서 적어도 특정한 관심 영역이 안정적인 한 필요로 하지 않을 수 있다.
개시된 정렬과정의 핵심요소 중 하나는 특정한 정렬을 달성하기 위한 서브픽셀 해상도의 시차 이미지 조작을 사용하는 것이다. 특히, 특정한 정렬을 달성하기 위한 변환은 픽셀의 총 개수보다 작은 양만큼 한 이미지가 또 다른 이미지에 대해 이동되는 서브픽셀 레벨로 진행된다. 즉, 상기 변환은 픽셀의 총 개수 ± 한 픽셀 치수의 임의의 비율의 변위를 포함할 수 있다. 이들 서브픽셀 조작은 무안경 디스플레이의 안정도를 최대화하도록 일조할 수 있다. 서브픽셀 정렬을 달성하기 위해, 쌍입방 리스케일링(bicubic rescaling), 쌍선형(bilinear) 리스케일링 또는 임의의 다른 적절한 이미지 내삽(image interpolation) 방법과 같은 이미지 내삽방법들이 사용될 수 있다.
디스플레이
시차 이미지 및 상기 시차 이미지의 번갈아 보기는 상기 시차 이미지의 특정한 정렬 전, 동안 또는 후에 디스플레이될 수 있다. 특정한 정렬동안 시차 이미지의 번걸아 보기 디스플레이는 하나 이상의 이미지가 기준 이미지와 정렬을 언제 일치시킬지를 결정하는 것을 도울 수 있다. 예를 들어, 시차 이미지의 번갈아 보기가 디스플레이될 때, 사용자는 2이상의 시차 이미지를 정렬하기 위해, 상술한 바와 같은, 변환 파리미터를 간헐적으로 입력시킬 수 있다. 정렬과정동안 시차 이미지를 디스플레이하는 한가지 이점은 사용자가 실시간으로 입력된 변환 파라미터가 이미지 정렬시에 갖는 효과를 볼 수 있다는 것이다. 이런 식으로, 사용자는 변환 파라미터를 입력하고, 시차 이미지의 정렬상태를 관찰하며, 상기 시차 이미지의 정렬상태를 정교히 하도록 변환 파리미터를 재입력함으로써 일치 정렬상태를 위해 증량적으로 진행될 수 있다.
시차 이미지가 정렬되면, 정렬된 이미지들은 이미지 데이터 세트로서 저장될 수 있다. 이런 식으로 이미지 데이터를 저장하는 것은 정렬이 완료된 후에 자립형(stand-alone) 동작에서 정렬된 시차 이미지를 디스플레이하는데 유용할 수 있다. 예를 들어, 정렬된 시차 이미지가 비디오 포맷으로 저장된 후에 디스플레이될 수 있다. 또한, 저장되고 정렬된 시차 이미지는, 예를 들어, 새로운 관심 영역에 대한 이미지 정렬을 포함하는 보기나 또 다른 처리를 위한 정렬 소프트웨어에 리로드(reload)될 수 있다.
대안으로, 이미지를 정렬하는데 사용된 변환 레코드(즉, 이미지 정렬 파라미터)가 저장될 수 있다. 나중 과정에서, 상기 저장된 변환은 이미지의 정렬일치 상태를 재생하기 위해 시차 이미지 세트에 대해 복구되고 재적용될 수 있다. 일실시예에서, 이미지 정렬 파라미터는 동일한 이미지의 고해상도 형태를 정렬하기 위해 저장되고 사용될 수 있다. 이러한 과정은, 예를 들어, 고해상도 이미지의 처리 속도를 빠르게 하는데 유용할 수 있다. 상당한 처리 자원을 필요로 할 수 있고 이미지의 실시간 조작을 더디게 하거나 방해할 수 있는 고해상도 이미지에 대한 특정한 정렬과정을 수행하기 보다는 오히려, 고해상도 이미지의 저해상도 형태로 조작이 수행될 수 있다. 그런 후, 상기 저해상도 이미지에 대해 결정된 정렬 파라미터가 상기 이미지의 고해상도 형태에 적용될 수 있다.
입체 디스플레이와는 달리, 본 발명에 따른 무안경 디스플레이는 텔레비젼, 컴퓨터 모니터, 프로젝션 스크린, 동영상 디스플레이, 또는 동영상이 디스플레이될 수 있는 임의의 다른 타입의 디스플레이와 같은 종래 2차원 디스플레이(예를 들어, 스크린)상에 일련의 이미지로서 보여질 수 있다. 정렬된 이미지 세트는 순차적으로, 무작위로 선택된 순서로, 또는 임의의 다른 소정의 순서로 디스플레이될 수 있다. 예를 들어, 도 4a는 일치된 정렬에서 6개(예를 들어, 3개의 좌우쌍)의 시차 이미지 세트를 나타낸 것이다. 도 4b는 상기 세트에서 정렬된 시차 이미지가 반복 순으로 연속적으로 디스플레이되는 순차적인 재생(playback) 패턴을 나타낸 것이다. 도 4c 및 도 4d는 2개의 가능한 무작위 재생 순서를 나타낸 것이다. 전술한 바와 같이, 시퀀스에서 보기가 변하는 빈도(즉, 보기 속도)는 임의의 소정의 주파수일 수 있다. 그러나, 일실시예에서, 보기 속도는 약 3Hz 내지 약 6Hz일 수 있다. 또한, 보기 속도는 일정할 필요는 없으나 시간에 대해 변할 수 있다.
분석:
정렬된 시차 이미지를 디스플레이하는 이외에 또는 대신에, 계산적 분석이 이미지에 대해 수행될 수 있다. 예를 들어, 소정의 정량적 정보가 정렬된 시차 이미지로부터 추출될 수 있다. 이미지에 포함된 시차 정보의 결과로, 물체의 명백한 자리 옮김(shift)이 다른 보기들 사이에 있을 수 있다. 명백한 자리옮김은 이미지의 한 지점이 다른 관점에서 취해진 이미지들 사이의 이동으로 보이는 거리를 말한다. 2이상의 시차 이미지에서 한 점의 명백한 자리옮김 양을 측정함으로써, 카메라와 이미지의 한 점 사이의 거리와 같은 소정의 다른 정보를 알고 있는 경우에 정량적인 위치값이 상기 이미지에 있는 물체와 관련된 점에 대해 계산될 수 있다. 예를 들어, 상공으로부터 포착된 이미지에서 카메라와 지면 사이의 거리를 알고, 2 이상의 시차 이미지 사이의 건물 상단면의 명백한 자리옮김을 측정함으로써, 고도 및/또는 빌딩 용적이 계산될 수 있다.
또한, 장면 점(scene point)에 대한 정량적인 위치 정보는 이미지에 나타나는 기지의 양을 기초로 하여 계산될 수 있다. 예를 들어, 어떤 자동차 모델이 이미지로 나타나고 치수 데이터가 자동차에 대해 이용될 수 있다면, 위치값이 자동차와 관련된 장면에 있는 하나 이상의 점들을 측정함으로써 다른 장면 점들에 대해 계산될 수 있다.
또한, 이미지에 있는 충분한 장면점들에 대한 위치값을 결정함으로써, 상기 장면에서 물체에 대한 깊이 맵(depth map)가 계산될 수 있다. 이 깊이 맵은 중간 시차각도에 해당하는 보기를 만드는데 사용될 수 있다. 이는 본래 포착된 이미지로부터 보기의 내삽을 가능하게 한다.

Claims (24)

  1. 제 1 시야의 제1 시차 이미지와 상기 제1 시야와 적어도 부분적으로 중첩되는 제2 시야의 적어도 하나의 제2 시차 이미지를 획득하는 단계;
    디스플레이 상에 상기 제1 시차 이미지 및 제2 시차 이미지의 번갈아 보기를 디스플레이하는 단계; 및
    상기 디스플레이하는 단계 동안, 상기 디스플레이에서 제1 시차 이미지의 관심 영역이 제2 시차 이미지의 관심 영역과 같은 위치를 점유하도록, 상기 제1 시차 이미지와 관련된 사용자 선택 관심 영역을 상기 제2 시차 이미지의 대응 관심 영역과 정렬하는 단계를 포함하는 무안경 디스플레이를 만드는 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 정렬하는 단계는 이동, 회전 및 스케일링(scaling) 중 적어도 하나를 포함하는 무안경 디스플레이를 만드는 방법.
  4. 제 3 항에 있어서,
    상기 정렬하는 단계는 서브픽셀 해상도로 수행되는 무안경 디스플레이를 만드는 방법.
  5. 제 1 항에 있어서,
    상기 제 1 시차 이미지와 상기 제2 시차 이미지 중 적어도 하나에 대한 정렬 파라미터를 저장하는 단계와, 상기 제 1 시차 이미지와 상기 제2 시차 이미지 중 적어도 하나에 상기 정렬 파라미터를 적용하는 단계를 더 포함하는 무안경 디스플레이를 만드는 방법.
  6. 삭제
  7. 제 1 항에 있어서,
    상기 디스플레이는 컴퓨터 모니터, 텔레비젼, 프로젝션 스크린 및 동영상 디스플레이 중 적어도 하나를 포함하는 무안경 디스플레이를 만드는 방법.
  8. 제 1 항에 있어서,
    상기 제 1 시차 이미지와 상기 제2 시차 이미지는 상기 제1 시야를 보는 2개의 다른 카메라에 의해 포착되는 무안경 디스플레이를 만드는 방법.
  9. 제 1 항에 있어서,
    상기 제 1 시차 이미지는 비디오 카메라에 의해 포착되는 비디오 이미지 스트림의 제1 프레임을 포함하고, 상기 제2 시차 이미지는 상기 비디오 카메라에 의해 포착되는 비디오 이미지 스트림의 적어도 하나의 프레임을 포함하며, 상기 적어도 하나의 프레임은 상기 제1 프레임으로부터 시간지연되는 것인 무안경 디스플레이를 만드는 방법.
  10. 제 1 항에 있어서,
    상기 제 1 시차 이미지와 상기 제2 시차 이미지는, 상기 제 1 시차 이미지와 상기 제2 시차 이미지를 포착하는 사이에 위치가 이동되는 한대의 카메라를 사용하여 포착되는 무안경 디스플레이를 만드는 방법.
  11. 제 1 항에 있어서,
    상기 제 1 시차 이미지와 상기 제2 시차 이미지는 컴퓨터에 의해 만들어지는 무안경 디스플레이를 만드는 방법.
  12. 컴퓨터 시스템 상에서 사용하기 위한 컴퓨터 판독가능한 매체를 구비하는 컴퓨터를 구비하는 시스템으로서,
    상기 컴퓨터 판독가능한 매체는 컴퓨터 실행가능한 어플리케이션을 포함하고, 상기 애플리케이션은 컴퓨터가 소정의 보기 속도로 적어도 제1 및 제2 시차 이미지들의 번갈아 보기를 디스플레이하고, 디스플레이하는 동안, 디스플레이에서 제1 시차 이미지의 관심 영역이 제2 시차 이미지의 관심 영역과 같은 위치를 점유하도록, 상기 제1 시차 이미지와 관련된 사용자 선택 관심 영역을 상기 제2 시차 이미지의 대응 관심 영역과 정렬하도록 구성되는, 정렬된 시차 이미지 세트를 만드는 시스템.
  13. 제 12 항에 있어서,
    상기 애플리케이션은 상기 컴퓨터가 상기 제1 및 제2 시차 이미지 중 적어도 하나에 변환 세트를 적용하도록 더 구성되는, 정렬된 시차 이미지 세트를 만드는 시스템.
  14. 제 13 항에 있어서,
    상기 변환 세트는 이동, 회전 및 스케일링 중 적어도 하나를 포함하는 정렬된 시차 이미지 세트를 만드는 시스템.
  15. 제 12 항에 있어서,
    상기 애플리케이션은 상기 컴퓨터가 기준 이미지로서 상기 제1 및 제2 시차 이미지 중 하나를 지정하는 조작자로부터의 입력을 받아들이고, 상기 제1 및 제2 시차 이미지의 변환에 영향을 끼치는 조작자로부터의 변환 파라미터를 받아들이도록 더 구성되는, 정렬된 시차 이미지 세트를 만드는 시스템.
  16. 제 12 항에 있어서,
    상기 애플리케이션 상기 컴퓨터가 상기 제1 및 제2 시차 이미지에서 수렴점을 식별하는 조작자로부터의 입력을 받아들이고, 상기 제1 및 제2 시차 이미지의 변환을 수행하기 위한 변환 파라미터를 계산하도록 더 구성되는 정렬된 시차 이미지 세트를 만드는 시스템.
  17. 제 12 항에 있어서,
    상기 애플리케이션은 상기 컴퓨터가 상기 제1 및 제2 시차 이미지들 사이에 임의의 상당한 회전 불일치가 존재하는지 여부, 상기 회전 불일치의 정도, 회전점 및 상기 회전 불일치를 수정하는데 필요한 회전 이동을 결정하기 위해 패턴 매칭(pattern matching)을 수행하도록 더 구성되는 정렬된 시차 이미지 세트를 만드는 시스템.
  18. 제 12 항에 있어서,
    상기 애플리케이션은 상기 컴퓨터가 상기 제1 및 제2 시차 이미지 각각에 나타나는 점에 대한 명백한 자리옮김(shift) 양을 측정하고, 상기 점에 대한 정량적인 위치값을 계산하도록 더 구성되는 정렬된 시차 이미지 세트를 만드는 시스템.
  19. 제 12 항에 있어서,
    상기 애플리케이션은 상기 컴퓨터가 상기 제1 및 제2 시차 이미지에 나타나는 물체들에 대한 깊이 맵(depth map)을 계산하도록 더 구성되는 정렬된 시차 이미지 세트를 만드는 시스템.
  20. 이미지 캡처장치(image capture device)로 제 1 시점(view point)에서 제 1 이미지를 포착하는 단계;
    상기 이미지 캡쳐장치를 사용하여 상기 제 1 시점과는 다른 제 2 시점으로부터 적어도 하나의 제2 이미지를 포착하는 단계;
    소정의 보기 속도로 디스플레이 상에 상기 제 1 이미지와 상기 제2 이미지의 번갈아 보기를 디스플레이하는 단계; 및
    상기 디스플레이하는 단계 동안, 상기 디스플레이에서 제1 이미지의 관심 영역이 제2 이미지의 관심 영역과 같은 위치를 점유하도록, 상기 제1 이미지와 관련된 사용자 선택 관심 영역을 상기 제2 이미지의 대응 관심 영역과 정렬함으로써 정렬된 이미지 세트를 생성하는 단계를 포함하는 무안경 디스플레이를 만드는 방법.
  21. 제 20 항에 있어서,
    상기 이미지 캡처장치는 비디오 카메라인 무안경 디스플레이를 만드는 방법.
  22. 제 20 항에 있어서,
    상기 소정의 보기 속도는 3Hz 내지 6Hz인 무안경 디스플레이를 만드는 방법.
  23. 제 20 항에 있어서,
    정렬된 제1 및 제2 이미지를 저장하는 단계 및 비디오 포맷으로 상기 정렬된 제1 및 제2 이미지의 번갈아 보기를 재생하는 단계를 더 포함하는 무안경 디스플레이를 만드는 방법.
  24. 제 20 항에 있어서,
    정렬된 제1 및 제2 이미지에 대한 정렬 파라미터를 저장하는 단계 및 상기 정렬 파라미터를 상기 제1 및 제2 이미지의 관련 버전들(versions)에 적용하는 단계를 더 포함하는 무안경 디스플레이를 만드는 방법.
KR1020057009200A 2002-11-21 2003-11-20 무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법 KR101237945B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US42796102P 2002-11-21 2002-11-21
US60/427,961 2002-11-21
PCT/US2003/037203 WO2004049736A1 (en) 2002-11-21 2003-11-20 Critical alignment of parallax images for autostereoscopic display

Publications (2)

Publication Number Publication Date
KR20050085099A KR20050085099A (ko) 2005-08-29
KR101237945B1 true KR101237945B1 (ko) 2013-02-28

Family

ID=32393334

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020057009200A KR101237945B1 (ko) 2002-11-21 2003-11-20 무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법

Country Status (7)

Country Link
US (4) US8081206B2 (ko)
EP (1) EP1570683A1 (ko)
JP (1) JP5036132B2 (ko)
KR (1) KR101237945B1 (ko)
AU (2) AU2003298681A1 (ko)
CA (1) CA2506608C (ko)
WO (1) WO2004049736A1 (ko)

Families Citing this family (105)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005295004A (ja) * 2004-03-31 2005-10-20 Sanyo Electric Co Ltd 立体画像処理方法および立体画像処理装置
FR2873214B1 (fr) * 2004-07-13 2008-10-10 Canon Res Ct France S A S Soc Procede et dispositif d'obtention d'un signal stereoscopique
US20060034485A1 (en) * 2004-08-12 2006-02-16 Shahriar Negahdaripour Point location in multi-modality stereo imaging
JP4578294B2 (ja) * 2005-03-18 2010-11-10 株式会社エヌ・ティ・ティ・データ三洋システム 立体視画像表示装置、立体視画像表示方法及びコンピュータプログラム
US7301497B2 (en) * 2005-04-05 2007-11-27 Eastman Kodak Company Stereo display for position sensing systems
US20070127909A1 (en) * 2005-08-25 2007-06-07 Craig Mowry System and apparatus for increasing quality and efficiency of film capture and methods of use thereof
FR2888346B1 (fr) * 2005-07-06 2008-08-08 Canon Res Ct France Soc Par Ac Procede et dispositif d'obtention d'une sequence d'images stereoscopiques a partir d'une sequence d'images monoscopiques
KR100739764B1 (ko) 2005-11-28 2007-07-13 삼성전자주식회사 입체 영상 신호 처리 장치 및 방법
US7511684B2 (en) 2006-07-31 2009-03-31 Motorola, Inc. Image alignment method for binocular eyewear displays
KR100834637B1 (ko) 2006-11-27 2008-06-02 삼성전자주식회사 스테레오 카메라 장치에서 이미지들을 정렬하기 위한 장치및 방법
WO2009011492A1 (en) * 2007-07-13 2009-01-22 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding stereoscopic image format including both information of base view image and information of additional view image
DE102007039079B4 (de) * 2007-08-16 2011-07-21 VisuMotion GmbH, 07745 Verfahren und Anordnung zur räumlichen Darstellung einer Szene mit nur geringer oder ohne Beleuchtung
US8565576B2 (en) * 2008-05-01 2013-10-22 Panasonic Corporation Optical disc for reproducing stereoscopic video image
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
JP2011523538A (ja) 2008-05-20 2011-08-11 ペリカン イメージング コーポレイション 異なる種類の撮像装置を有するモノリシックカメラアレイを用いた画像の撮像および処理
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
WO2010085549A1 (en) 2009-01-21 2010-07-29 Vision Iii Imaging, Inc. System and method for three-dimensional visualization of geographical data
JP4995854B2 (ja) * 2009-03-11 2012-08-08 富士フイルム株式会社 撮像装置、画像補正方法および画像補正プログラム
TWI411870B (zh) * 2009-07-21 2013-10-11 Teco Elec & Machinery Co Ltd 立體影像產生方法及系統
US20110025830A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation
WO2011014419A1 (en) 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene
US9380292B2 (en) 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
WO2011014420A1 (en) * 2009-07-31 2011-02-03 3Dmedia Corporation Methods, systems, and computer-readable storage media for selecting image capture positions to generate three-dimensional (3d) images
WO2011021240A1 (ja) * 2009-08-20 2011-02-24 トムソン ライセンシング ステレオ画像符号化方法、ステレオ画像符号化装置及びステレオ画像符号化プログラム
GB2473247B (en) * 2009-09-04 2015-02-11 Sony Corp A method and apparatus for image alignment
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8704877B2 (en) * 2010-02-01 2014-04-22 Eldon Technology Limited Systems and methods for presenting three-dimensional content using apertures
GB2478164A (en) * 2010-02-26 2011-08-31 Sony Corp Calculating misalignment between a stereoscopic image pair based on feature positions
WO2011127273A1 (en) 2010-04-07 2011-10-13 Vision Iii Imaging, Inc. Parallax scanning methods for stereoscopic three-dimensional imaging
JP5848754B2 (ja) 2010-05-12 2016-01-27 ペリカン イメージング コーポレイション 撮像装置アレイおよびアレイカメラのためのアーキテクチャ
JP5235976B2 (ja) * 2010-05-31 2013-07-10 株式会社ソニー・コンピュータエンタテインメント 映像再生方法、および映像再生装置
US9344701B2 (en) 2010-07-23 2016-05-17 3Dmedia Corporation Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation
US9185388B2 (en) 2010-11-03 2015-11-10 3Dmedia Corporation Methods, systems, and computer program products for creating three-dimensional video sequences
US20120120051A1 (en) * 2010-11-16 2012-05-17 Shu-Ming Liu Method and system for displaying stereoscopic images
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US9113074B2 (en) * 2010-12-22 2015-08-18 Olympus Corporation Imaging apparatus, imaging method, and computer readable storage medium for applying special effects processing to an automatically set region of a stereoscopic image
US8274552B2 (en) 2010-12-27 2012-09-25 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
US10200671B2 (en) 2010-12-27 2019-02-05 3Dmedia Corporation Primary and auxiliary image capture devices for image processing and related methods
CN107404609B (zh) 2011-05-11 2020-02-11 快图有限公司 用于传送阵列照相机图像数据的方法
US20130265459A1 (en) 2011-06-28 2013-10-10 Pelican Imaging Corporation Optical arrangements for use with an array camera
JP5087163B1 (ja) * 2011-08-31 2012-11-28 株式会社東芝 立体画像表示装置
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
US8542933B2 (en) 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US9412206B2 (en) 2012-02-21 2016-08-09 Pelican Imaging Corporation Systems and methods for the manipulation of captured light field image data
JP2013219421A (ja) * 2012-04-04 2013-10-24 Seiko Epson Corp 画像処理装置および画像処理方法
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
CN104508681B (zh) 2012-06-28 2018-10-30 Fotonation开曼有限公司 用于检测有缺陷的相机阵列、光学器件阵列和传感器的系统及方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
EP4296963B1 (en) 2012-08-21 2025-01-15 Adeia Imaging LLC Method for depth detection in images captured using array cameras
EP2888698A4 (en) 2012-08-23 2016-06-29 Pelican Imaging Corp PROPERTY-BASED HIGH-RESOLUTION MOTION ESTIMATION FROM LOW-RESOLUTION IMAGES RECORDED WITH AN ARRAY SOURCE
WO2014043641A1 (en) 2012-09-14 2014-03-20 Pelican Imaging Corporation Systems and methods for correcting user identified artifacts in light field images
CN104685860A (zh) 2012-09-28 2015-06-03 派力肯影像公司 利用虚拟视点从光场生成图像
WO2014078443A1 (en) 2012-11-13 2014-05-22 Pelican Imaging Corporation Systems and methods for array camera focal plane control
US9462164B2 (en) 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
WO2014133974A1 (en) 2013-02-24 2014-09-04 Pelican Imaging Corporation Thin form computational and modular array cameras
US9917998B2 (en) 2013-03-08 2018-03-13 Fotonation Cayman Limited Systems and methods for measuring scene information while capturing images using array cameras
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9521416B1 (en) 2013-03-11 2016-12-13 Kip Peli P1 Lp Systems and methods for image data compression
WO2014164909A1 (en) 2013-03-13 2014-10-09 Pelican Imaging Corporation Array camera architecture implementing quantum film sensors
US9519972B2 (en) 2013-03-13 2016-12-13 Kip Peli P1 Lp Systems and methods for synthesizing images from image data captured by an array camera using restricted depth of field depth maps in which depth estimation precision varies
US9124831B2 (en) 2013-03-13 2015-09-01 Pelican Imaging Corporation System and methods for calibration of an array camera
US9106784B2 (en) 2013-03-13 2015-08-11 Pelican Imaging Corporation Systems and methods for controlling aliasing in images captured by an array camera for use in super-resolution processing
US9100586B2 (en) 2013-03-14 2015-08-04 Pelican Imaging Corporation Systems and methods for photometric normalization in array cameras
WO2014159779A1 (en) 2013-03-14 2014-10-02 Pelican Imaging Corporation Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
WO2014150856A1 (en) 2013-03-15 2014-09-25 Pelican Imaging Corporation Array camera implementing quantum dot color filters
US9633442B2 (en) 2013-03-15 2017-04-25 Fotonation Cayman Limited Array cameras including an array camera module augmented with a separate camera
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US9445003B1 (en) 2013-03-15 2016-09-13 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using image deconvolution based on motion and depth information
JP2016524125A (ja) 2013-03-15 2016-08-12 ペリカン イメージング コーポレイション カメラアレイを用いた立体撮像のためのシステムおよび方法
WO2015048694A2 (en) 2013-09-27 2015-04-02 Pelican Imaging Corporation Systems and methods for depth-assisted perspective distortion correction
WO2015070105A1 (en) 2013-11-07 2015-05-14 Pelican Imaging Corporation Methods of manufacturing array camera modules incorporating independently aligned lens stacks
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US9456134B2 (en) 2013-11-26 2016-09-27 Pelican Imaging Corporation Array camera configurations incorporating constituent array cameras and constituent cameras
WO2015134996A1 (en) 2014-03-07 2015-09-11 Pelican Imaging Corporation System and methods for depth regularization and semiautomatic interactive matting using rgb-d images
US9247117B2 (en) 2014-04-07 2016-01-26 Pelican Imaging Corporation Systems and methods for correcting for warpage of a sensor array in an array camera module by introducing warpage into a focal plane of a lens stack array
CA2848794C (en) * 2014-04-11 2016-05-24 Blackberry Limited Building a depth map using movement of one camera
USD781317S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
USD780777S1 (en) 2014-04-22 2017-03-07 Google Inc. Display screen with graphical user interface or portion thereof
US9934222B2 (en) 2014-04-22 2018-04-03 Google Llc Providing a thumbnail image that follows a main image
USD781318S1 (en) 2014-04-22 2017-03-14 Google Inc. Display screen with graphical user interface or portion thereof
US9972121B2 (en) 2014-04-22 2018-05-15 Google Llc Selecting time-distributed panoramic images for display
US9521319B2 (en) 2014-06-18 2016-12-13 Pelican Imaging Corporation Array cameras and array camera modules including spectral filters disposed outside of a constituent image sensor
JP2017531976A (ja) 2014-09-29 2017-10-26 フォトネイション ケイマン リミテッド アレイカメラを動的に較正するためのシステム及び方法
KR102298652B1 (ko) 2015-01-27 2021-09-06 삼성전자주식회사 시차 결정 방법 및 장치
US9942474B2 (en) 2015-04-17 2018-04-10 Fotonation Cayman Limited Systems and methods for performing high speed video capture and depth estimation using array cameras
US10482618B2 (en) 2017-08-21 2019-11-19 Fotonation Limited Systems and methods for hybrid depth regularization
WO2019041035A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. STEREOSCOPIC IMAGE DISPLAY DEVICE ADJUSTED BY THE SPECTATOR
US10484667B2 (en) * 2017-10-31 2019-11-19 Sony Corporation Generating 3D depth map using parallax
US10549186B2 (en) 2018-06-26 2020-02-04 Sony Interactive Entertainment Inc. Multipoint SLAM capture
EP3821267A4 (en) 2019-09-17 2022-04-13 Boston Polarimetrics, Inc. SURFACE MODELING SYSTEMS AND METHODS USING POLARIZATION MARKERS
BR112022006602A2 (pt) 2019-10-07 2022-06-28 Boston Polarimetrics Inc Sistemas e métodos para aumento de sistemas de sensores e sistemas de imageamento com polarização
KR20230116068A (ko) 2019-11-30 2023-08-03 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템및 방법
US11195303B2 (en) 2020-01-29 2021-12-07 Boston Polarimetrics, Inc. Systems and methods for characterizing object pose detection and measurement systems
KR20220133973A (ko) 2020-01-30 2022-10-05 인트린식 이노베이션 엘엘씨 편광된 이미지들을 포함하는 상이한 이미징 양식들에 대해 통계적 모델들을 훈련하기 위해 데이터를 합성하기 위한 시스템들 및 방법들
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US12069227B2 (en) 2021-03-10 2024-08-20 Intrinsic Innovation Llc Multi-modal and multi-spectral stereo camera arrays
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US12067746B2 (en) 2021-05-07 2024-08-20 Intrinsic Innovation Llc Systems and methods for using computer vision to pick up small objects
US12175741B2 (en) 2021-06-22 2024-12-24 Intrinsic Innovation Llc Systems and methods for a vision guided end effector
US12172310B2 (en) 2021-06-29 2024-12-24 Intrinsic Innovation Llc Systems and methods for picking objects using 3-D geometry and segmentation
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
CN113959398B (zh) * 2021-10-09 2024-04-12 广东汇天航空航天科技有限公司 基于视觉的测距方法、装置、可行驶设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0073551A2 (en) * 1981-08-27 1983-03-09 Becton Dickinson and Company Sample collection container
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4006291A (en) 1974-02-22 1977-02-01 Imsand Donald J Three dimensional television system
US4303316A (en) 1978-10-19 1981-12-01 Mcelveen Robert H Process for recording visual scenes for reproduction in stereopsis
US4429328A (en) 1981-07-16 1984-01-31 Cjm Associates Three-dimensional display methods using vertically aligned points of origin
US4815819A (en) 1987-04-30 1989-03-28 Christopher A. Mayhew Method for obtaining images for use in displaying a three-dimensional illusion and related image recording medium
JP2813211B2 (ja) * 1989-09-29 1998-10-22 富士通株式会社 距離画像生成方式
US5448322A (en) * 1993-11-05 1995-09-05 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using a parallax scanning lens aperture
JP3214688B2 (ja) * 1994-02-01 2001-10-02 三洋電機株式会社 ２次元映像を３次元映像に変換する方法及び３次元映像信号生成装置
US5510831A (en) 1994-02-10 1996-04-23 Vision Iii Imaging, Inc. Autostereoscopic imaging apparatus and method using suit scanning of parallax images
JPH08191463A (ja) * 1994-11-11 1996-07-23 Nintendo Co Ltd 立体画像表示装置およびそれに用いられる記憶装置
JPH08331607A (ja) * 1995-03-29 1996-12-13 Sanyo Electric Co Ltd 三次元表示画像生成方法
KR100414629B1 (ko) 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
JP3544752B2 (ja) * 1995-06-06 2004-07-21 株式会社ナムコ 画像情報生成方法、画像表示方法及び画像表示システム
JP3579162B2 (ja) * 1995-06-29 2004-10-20 松下電器産業株式会社 立体ｃｇ画像生成装置
JPH1127703A (ja) * 1997-06-30 1999-01-29 Canon Inc 表示装置及びその制御方法
JP3081589B2 (ja) * 1998-10-02 2000-08-28 日本電信電話株式会社 三次元表示方法および装置
JP3420504B2 (ja) * 1998-06-30 2003-06-23 キヤノン株式会社 情報処理方法
US6657655B1 (en) * 1999-09-30 2003-12-02 Canon Kabushiki Kaisha Stereoscopic-image display apparatus
JP2002077947A (ja) * 2000-09-05 2002-03-15 Sanyo Electric Co Ltd 立体画像補正方法及びこれを用いた立体画像装置
JP2002250895A (ja) * 2001-02-23 2002-09-06 Mixed Reality Systems Laboratory Inc 立体画像表示方法及びそれを用いた立体画像表示装置
US20030152264A1 (en) * 2002-02-13 2003-08-14 Perkins Christopher H. Method and system for processing stereoscopic images

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0073551A2 (en) * 1981-08-27 1983-03-09 Becton Dickinson and Company Sample collection container
US6191809B1 (en) * 1998-01-15 2001-02-20 Vista Medical Technologies, Inc. Method and apparatus for aligning stereo images

Also Published As

Publication number Publication date
AU2010200085B2 (en) 2012-07-12
KR20050085099A (ko) 2005-08-29
US8953015B2 (en) 2015-02-10
AU2003298681A1 (en) 2004-06-18
JP2006507764A (ja) 2006-03-02
WO2004049736A1 (en) 2004-06-10
US8081206B2 (en) 2011-12-20
JP5036132B2 (ja) 2012-09-26
CA2506608A1 (en) 2004-06-10
AU2010200085A1 (en) 2010-01-28
US20150116466A1 (en) 2015-04-30
US9848178B2 (en) 2017-12-19
EP1570683A1 (en) 2005-09-07
US20120176479A1 (en) 2012-07-12
CA2506608C (en) 2013-01-22
US20060203335A1 (en) 2006-09-14
US20160182879A1 (en) 2016-06-23

Similar Documents

Publication Publication Date Title
KR101237945B1 (ko) 무안경식 디스플레이를 위한 시차 이미지의 특정한 정렬시스템 및 방법
US7180536B2 (en) Method for producing stereoscopic images from monoscopic images
Yamanoue et al. Geometrical analysis of puppet-theater and cardboard effects in stereoscopic HDTV images
EP2603834B1 (en) Method for forming images
CA2177051C (en) Synthesized stereoscopic imaging system and method
US11785197B2 (en) Viewer-adjusted stereoscopic image display
JP2011182399A (ja) 画像カット方法および画像カット装置
KR20180048082A (ko) 집적영상 디스플레이의 화질 평가 장치 및 방법
JP2011529285A (ja) 再現描写メディア中への両眼ステレオ情報の包含のための合成構造、メカニズムおよびプロセス
Swash et al. Pre-processing of holoscopic 3D image for autostereoscopic 3D displays
JPH08116556A (ja) 画像処理方法および装置
Hill Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays
KR102377499B1 (ko) 뷰어-조정식 입체 이미지 디스플레이
Audu et al. Generation of three-dimensional content from stereo-panoramic view
KR0171131B1 (ko) 영상신호의 개선된 마스킹 방법
Hands Spatial and human factors affecting image quality and viewer experience of stereoscopic 3D in television and cinema
JP2007017558A (ja) 立体画像表示装置および立体画像表示方法
Nguyen et al. Novel Web-based Autostereogram Creation using GPU Stereo Vision
Ideses et al. 3D from arbitrary 2D video

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20050520

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
AMND Amendment
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20081106

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20100730

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20110928

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20100730

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20111229

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20110928

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20121129

Appeal identifier: 2011101010522

Request date: 20111229

AMND Amendment
PB0901 Examination by re-examination before a trial

Comment text: Amendment to Specification, etc.

Patent event date: 20120130

Patent event code: PB09011R02I

Comment text: Request for Trial against Decision on Refusal

Patent event date: 20111229

Patent event code: PB09011R01I

Comment text: Amendment to Specification, etc.

Patent event date: 20110131

Patent event code: PB09011R02I

Comment text: Amendment to Specification, etc.

Patent event date: 20081106

Patent event code: PB09011R02I

B701 Decision to grant
PB0701 Decision of registration after re-examination before a trial

Patent event date: 20121129

Comment text: Decision to Grant Registration

Patent event code: PB07012S01D

Patent event date: 20120215

Comment text: Transfer of Trial File for Re-examination before a Trial

Patent event code: PB07011S01I

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130221

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130222

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160119

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160119

Start annual number: 4

End annual number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

Termination category: Default of registration fee

Termination date: 20171204