KR20160129779A - 비-라이트 필드 이미징 디바이스를 사용하여 라이트 필드 데이터를 획득하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 캐리어 매체 - Google Patents

비-라이트 필드 이미징 디바이스를 사용하여 라이트 필드 데이터를 획득하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 캐리어 매체 Download PDF

Info

Publication number
KR20160129779A
KR20160129779A KR1020160053435A KR20160053435A KR20160129779A KR 20160129779 A KR20160129779 A KR 20160129779A KR 1020160053435 A KR1020160053435 A KR 1020160053435A KR 20160053435 A KR20160053435 A KR 20160053435A KR 20160129779 A KR20160129779 A KR 20160129779A
Authority
KR
South Korea
Prior art keywords
current
image
images
scene
interest
Prior art date
Application number
KR1020160053435A
Other languages
English (en)
Inventor
발떼르 드라직
브누아 반담
아르노 슈베르트
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20160129779A publication Critical patent/KR20160129779A/ko

Links

Images

Classifications

    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/64—Computer-aided capture of images, e.g. transfer from script file into camera, check of taken image quality, advice or proposal for image composition or decision on when to take image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/672—Focus control based on electronic image sensor signals based on the phase difference signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/743—Bracketing, i.e. taking a series of images with varying exposure conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H04N5/23212—
    • H04N5/23232—
    • H04N5/23293—
    • H04N5/2352—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

장면의 이미지들의 시퀀스로부터 장면의 라이트 필드 데이터를 획득하는 방법이 제안되며, 각각의 이미지는 비-라이트 필드 이미지 캡처 디바이스를 사용하여 상이한 관점에서 캡처된다. 방법은,
- 기준 관점에서 장면의 기준 이미지를 획득하는 단계(110) - 장면의 관심 영역은 기준 이미지에 포함되고 기준 위치(x0, y0)가 상기 캡처 디바이스의 기준 국부 좌표 시스템 내의 상기 관심 영역과 연관됨 -;
- 현재 관점에서의 상기 장면의 현재 이미지에 대해:
- 현재 이미지에서 상기 장면의 상기 관심 영역을 식별하는 단계(120);
- 기준 국부 좌표 시스템에서, 현재 이미지에서 식별되는 상기 관심 영역의 현재 위치(xc, yc)를 결정하는 단계(130);
- 현재 위치와 기준 위치를 비교하는 단계(140);
- 현재 위치와 기준 위치 사이의 비교의 결과들의 함수로서, 관심 영역을 향하는 캡처 디바이스의 상대 위치 결정에서 안내하도록 구성되는 캡처 안내 표시기를 제공하는 단계(150)를 포함한다.

Description

비-라이트 필드 이미징 디바이스를 사용하여 라이트 필드 데이터를 획득하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 캐리어 매체{METHOD FOR OBTAINING LIGHT-FIELD DATA USING A NON-LIGHT-FIELD IMAGING DEVICE, CORRESPONDING DEVICE, COMPUTER PROGRAM PRODUCT AND NON-TRANSITORY COMPUTER-READABLE CARRIER MEDIUM}
본 개시내용의 분야는 라이트 필드 이미징에 관한 것이다. 특히, 본 개시내용은 라이트 필드 데이터를 취득하고 처리하는 기술들에 관한 것이다.
더 구체적으로, 본 개시내용은 종래의(비-라이트 필드) 이미지 캡처 디바이스에 의해 라이트 필드 데이터를 획득하는 방법 및 디바이스에 관한 것이다. 종래의 이미지 캡처 디바이스는 본원에서 수개의 관점들로부터 라이트 필드 데이터 1회 캡처할 수 있는 라이트 필드 캡처 디바이스들과 대조적으로, 단일 관점으로 장면의 2차원 이미지들을 캡처할 수 있는 임의의 이미징 디바이스로 정의된다.
이 부분은 아래에 설명되고/되거나 청구되는 본 발명의 다양한 양태들과 관련될 수 있는 본 기술분야의 다양한 양태들을 독자에게 소개하도록 의도된다. 이러한 논의는 본 발명의 다양한 양태들의 더 좋은 이해를 용이하게 하기 위해 배경 정보를 독자에게 제공할 시에 도움이 되는 것으로 생각된다. 따라서, 이러한 진술들은 이러한 견지에서 판독되고, 종래 기술의 허가들로 판독되지 않는다는 점이 이해되어야 한다.
종래의 이미지 캡처 디바이스들은 3차원 장면을 2차원 센서 위로 렌더링한다. 동작 동안에, 종래의 캡처 디바이스는 디바이스 내의 광센서(또는 광검출기) 상의 각각의 지점에 도달하는 광의 양을 나타내는 2차원(two-dimensional)(2-D) 이미지를 캡처한다. 그러나, 이러한 2-D 이미지는 광센서(라이트 필드로 언급될 수 있음)에 도달하는 광선들의 방향 분배(directional distribution)에 관한 정보를 포함하지 않는다. 깊이는 예를 들어 취득 동안에 유실된다. 따라서, 종래의 캡처 디바이스는 장면으로부터 광 분배에 관한 정보의 대부분을 저장하지 않는다.
라이트 필드 캡처 디바이스들(또한 "라이트 필드 데이터 취득 디바이스들"로 언급됨)은 그러한 장면의 상이한 관점들로부터 광을 캡처함으로써 장면의 4차원(four-dimensional)(4D) 라이트 필드를 측정하도록 설계되었다. 따라서, 광센서와 교차하는 각각의 광 빔을 따라 이동하는 광의 양을 측정함으로써, 이러한 디바이스들은 후처리에 의해 새로운 이미징 적용들을 제공하는 부가 광 정보(광선들의 방향 분배에 관한 정보)를 캡처할 수 있다. 라이트 필드 캡처 디바이스에 의해 취득/획득되는 정보는 라이트 필드 데이터로 언급된다. 라이트 필드 캡처 디바이스들은 본원에서 라이트 필드 데이터를 캡처할 수 있는 임의의 디바이스들로 정의된다.
라이트 필드 데이터 처리는 장면의 재포커싱된 이미지들을 생성하는 것, 장면의 사시도들을 생성하는 것, 장면의 깊이 맵들을 생성하는 것, 연장된 피사계 심도(extended depth of filed)(EDOF) 이미지들을 생성하는 것, 입체 이미지들을 생성하는 것, 및/또는 이들의 임의의 조합을 특히 포함하지만, 이들에 제한되지 않는다.
수개의 타입들의 라이트 필드 캡처 디바이스가 있다.
또한 "플렌옵틱(plenoptic) 디바이스"로 언급되는 제1 타입의 라이트 필드 캡처 디바이스는 문헌들(US 2013/0222633 및 WO 2013/180192)에 설명된 바와 같이, 이미지 센서와 메인 렌즈 사이에 배치되는 마이크로렌즈 어레이를 사용한다. 그러한 디바이스는 장면에서 나오는 광선들의 필드에서 광 분배 및 광 방향들을 샘플링할 수 있다. 이러한 정보에 기초하여, 유용한 적용들은 이미지들이 증가된 초점 깊이로 수집되고/되거나 디지털로 재포커싱될 수 있다는 것이다. 더욱이, 다수의 위치들에서 장면의 피사계 심도를 추정하기 위해 상이한 포커스 평면들에서 미가공 라이트 필드 데이터로부터 이미지들을 생성하는 수개의 알고리즘들이 있다. 그러나, 플렌옵틱 디바이스들은 이하의 단점을 겪는다: 본원에 사용되는 마이크로렌즈들의 수는 이러한 플렌옵틱 디바이스들의 유효 해상도를 본질적으로 제한한다. 따라서, 디바이스에 의해 취득되는 공간 및 각도 정보가 제한된다.
다른 타입의 라이트 필드 캡처 디바이스는 그 자체의 렌즈 및 이미지 센서를 각각 갖는 복수의 독립 제어 카메라들, 또는 단일 공유 이미지 센서 위로 이미지화하는 카메라들의 어레이를 사용한다(예를 들어 문헌 WO 2014149403 참조). 그러나, 이러한 디바이스들은 카메라들의 극히 정확한 배열 및 배향을 필요로 하여, 그들의 제조를 종종 복잡하게 하고 비용이 많이 들게 한다.
라이트 필드 데이터를 캡처하는 다른 방식은 종래의 핸드헬드 카메라의 사용에 의해, 상이한 관점에서 각각 찍히는 장면의 일련의 2-D 이미지들을 취득하고, 라이트 필드 데이터를 획득하기 위해 이와 같이 캡처되는 이미지들을 처리하는 것이다. 이러한 기술에서, 카메라는 상이한 공간 방향들로 사용자에 의해 전형적으로 이동되고 라이트 필드 데이터를 획득하기 위해 조합될 수 있는 한 세트의 이미지들의 순차적인 캡처로 조작된다. 그러나, 이용가능 라이트 필드 데이터를 획득하기 위해, 사용자는 캡처 동안에, 관점이 채택되더라도, 장면의 동일한 관심 지점을 향해 카메라를 정확히 배향시켜야 한다. 그러나, 사용자가 신뢰성있는 라이트 필드 데이터를 취득하는데 적합한 한 세트의 이미지들 캡처할 수 있게 하는 수단이 없다. 그것은 후처리에서 이용불가능 광학 정보를 야기하는 사용자 에러일 수 있다.
따라서, 이미지들을 취득하는 캡처 디바이스의 적절한 캡처 동작을 용이하게/수월하게 하기 위해 종래의 캡처 디바이스의 사용자에게 명령어들 및 안내를 제공하여 라이트 필드 데이터를 획득하는 것을 허용하는 것은 흥미로울 것이다.
본 명세서에서 "일 실시예", "하나의 실시예", "하나의 예시적인 실시예"에 대한 참조들은 설명되는 실시예가 특정 특징, 구조, 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 특정 특징, 구조, 또는 특성을 포함하지 않을 수 있는 것을 표시한다. 더욱이, 그러한 구들은 반드시 동일한 실시예를 언급하는 것은 아니다. 게다가, 특정 특징, 구조, 또는 특성이 일 실시예와 관련하여 설명될 때, 명시적으로 설명되든 안되든 다른 실시예들과 관련하여 그러한 특징, 구조, 또는 특성에 영향을 미치는 것은 본 기술분야의 통상의 기술자의 지식 내에 있는 것으로 진술된다.
본 발명의 특정 실시예는 장면의 이미지들의 시퀀스로부터 장면의 라이트 필드 데이터를 획득하는 방법을 제안하며, 각각의 이미지는 비-라이트 필드 이미지 캡처 디바이스의 사용에 의해 상이한 관점에서 캡처되고, 방법은 상기 비-라이트 필드 이미지 캡처 디바이스에 의해 실행되고,
- 기준 관점에서 장면의 기준 이미지를 획득하는 단계 - 장면의 관심 영역은 기준 이미지에 포함되고 기준 위치는 상기 캡처 디바이스의 기준 국부 좌표 시스템 내의 상기 관심 영역과 연관됨 -;
- 현재 관점에서의 장면의 현재 이미지에 대해,
- 현재 이미지에서 상기 장면의 관심 영역을 식별하는 단계;
- 기준 국부 좌표 시스템에서, 현재 이미지에서 식별되는 상기 관심 영역의 현재 위치를 결정하는 단계;
- 현재 위치를 기준 위치와 비교하는 단계;
- 현재 위치와 기준 위치 사이의 비교의 결과들의 함수로서, 관심 영역을 향하는 캡처 디바이스의 상대 위치 결정에서 안내하도록 구성되는 캡처 안내 표시기를 제공하는 단계를 포함한다.
따라서, 본 발명은 종래의(비-라이트 필드) 이미지 캡처 디바이스를 사용하여 라이트 필드 데이터의 취득을 용이하게 하는 방법을 제공한다. 본 발명의 원리는 라이트 필드 데이터로 이용되는데 적합한 장면의 복수의 이미지들의 캡처를 가능하게 하는 방식으로 캡처 디바이스의 위치 결정을 안내하기 위해 캡처 안내 표시기를 사용자에게 제공하는 것이다. 라이트 필드 데이터를 획득하기 위해, 관점이 사용자에 의해 채택되더라도, 캡처 디바이스는 캡처 디바이스를 이동시키는 동안에 장면의 동일한 관심 영역을 향해 배향될 필요가 있다. 그것 때문에, 본 발명에 따른 방법은 기준 국부 좌표 시스템 내의 기준 위치를 장면의 관심 영역에 할당하는 단계 및 피드백을 사용자에게 제공하기 위해 그러한 기준 위치를 현재 이미지에서 식별되는 관심 영역의 현재 위치와 비교하는 단계를 포함하여 사용자가 비교의 함수로서, 현재 이미지를 캡처하는 관심 영역을 향해 그것의 디바이스의 상대 위치를 적절히 조정할 수 있게 한다. 그러한 방법은 그것에 의해 캡처 프로세스를 개선한다. 라이트 필드 데이터는 기준 이미지 및 적어도 하나의 현재 이미지를 포함하는 이미지들의 시퀀스를 처리함으로써 획득된다.
특정 특징에 따르면, 방법은 현재 위치와 기준 위치 사이의 거리가 미리 결정된 임계값 미만일 때 상기 현재 이미지를 캡처하는 단계를 더 포함한다.
이것은 현재 위치와 기준 위치 사이의 거리가 특정 공차 임계값 미만이든 간에 장면의 캡처를 허용한다. 이러한 방식으로, 이것은 종래의 캡처 디바이스를 사용하여 품질 라이트 필드 데이터를 취득하는 적절한 이미지 캡처 동작을 보장한다. 캡처링의 동작은 자동 또는 수동일 수 있다는 점이 주목되어야 한다. 상기 거리는
유클리드 거리 산출(Euclidian distance calculation);
캔버라 거리 산출(Canberra distance calculation);
맨해튼 거리 산출(Manhattan distance calculation);
민코프스키 거리 산출(Minkowski distance calculation)
을 포함하는 그룹에 속하는 산출로부터 계산될 수 있다.
특정 특징에 따르면, 상기 관심 영역은
- 위상 차이 검출 타입 오토포커스 동작; 및/또는
- 콘트라스트 검출 타입 오토포커스 동작
을 수행함으로써 기준 및 현재 이미지들에서 식별된다.
따라서, 본 발명은 디바이스의 센서 상에 형성되는 이미지에서 장면 내의 관심 영역을 연속적으로 식별하기 위해 디바이스의 오토포커스 기능(들)을 이용한다. 오토포커스 기능(들)은 시야에서 포커싱되는 곳을 결정하는 알고리즘들에 기초한다.
특정 특징에 따르면, 상기 기준 이미지를 획득할 시에, 상기 관심 영역은 한 세트의 적어도 하나의 오토포커스 센서를 사용하여 식별되고, 각각의 오토포커스 센서는 기준 국부 좌표 시스템에서 주어진 위치를 갖고, 기준 위치는 기준 국부 좌표 시스템 내의 상기 적어도 하나의 오토포커스 센서의 주어진 위치와 연관된다.
하나 또는 수개의 오토포커스 센서들(또한 "콜리메이터들"로 언급됨) 때문에, 디바이스는 장면의 관심 영역 상에 포커스를 자동으로 고정하며, 그것에 의해 디바이스의 이미지 센서 상에 형성되는 이미지에서 그러한 관심 영역을 연속적으로 추적한다. 예를 들어 뷰잉 윈도우(뷰파인더 또는 디스플레이 패널) 내의 정사각형들에 의해 표현되는 오토포커스 센서들은 디바이스에 통합되는 오토포커스 시스템 및 이미지들의 시퀀스의 캡처를 위해 사용자에 의해 설정되는 오토포커스 모드에 의존하는 미리 결정된 배열에 분배될 수 있다.
일 예에서, 하나의 오토포커스 센서만이 관심 영역으로 식별하기 위해 활성화될 수 있다. 그 다음, 상기 관심 영역과 연관되는 기준 위치는 기준 국부 좌표 시스템 내의 상기 오토포커스 센서의 위치이다. 이러한 모드는 장면의 더 작은 피사체들에 적절하다.
다른 예에서, 복수의 오토포커스 센서들은 관심 영역을 식별하기 위해 활성화될 수 있다. 그러한 경우에, 상기 관심 영역과 연관되는 기준 위치는 각각 활성화된 오토포커스 센서의 위치 또는 기준 국부 좌표 시스템 내의 활성화된 오토포커스 센서들의 세트의 기하학적 중심(예를 들어 질량중심과 같음)이다. 이러한 모드는 장면의 더 큰 피사체들에 적절하다.
일 변형에 따르면, 상기 관심 영역은 크기 불변 특징 변환에 기초하여 특징 검출 동작을 실행함으로써 기준 및 현재 이미지들에서 식별된다.
크기 불변 특징 변환(scale invariant feature transform)(SIFT)은 이미지들의 부분들 사이의 대응들을 발견하는데 사용되는 특징 검출 알고리즘이며 그것에 의해 수개의 이미지들에서 하나 또는 수개의 객체(들) 또는 관심 영역(들)을 검출하고 식별하는 것을 허용한다.
특정 특징에 따르면, 방법은 상기 캡처 디바이스에 포함되는 기준 관성 유닛에 의해 제공되는 관성 데이터를 획득하는 단계를 포함한다.
따라서, 사용자는 캡처 프로세스 동안에 디바이스의 위치 결정 정확도를 증대하기 위해 이러한 부가 데이터를 사용할 수 있다. 실제로, 관성 데이터는 국부 참조에 관한 디바이스의 상대 위치 및 배열을 인식할 수 있게 한다.
특정 특징에 따르면, 방법은 상기 캡처 디바이스에 포함되는 위성 위치 확인 시스템(Global Positioning System)(GPS) 유닛에 의해 위성 위치 확인 시스템 데이터를 획득하는 단계를 더 포함한다.
이러한 부가 데이터는 라이트 필드 데이터 처리에 사용될 수 있다.
특정 특징에 따르면, 기준 이미지를 획득하는 단계는 상이한 노출 파라미터들로 연속적으로 캡처되는 기준 서브이미지들의 세트를 획득하는 단계를 포함하고 현재 이미지를 캡처하는 단계는 상이한 노출 파라미터들로 연속적으로 캡처되는 현재 서브이미지들의 세트를 획득하는 단계를 포함한다.
이것은 장면으로 캡처되는 각각의 관점에 대해, 고동적 범위 이미징 정보를 획득할 수 있게 한다.
특정 특징에 따르면, 방법은,
상기 기준 서브이미지들의 세트에 대해,
- 상기 기준 서브이미지들의 세트에서 식별되는 적어도 하나의 특징 지점의 함수로서 그들 사이에서 연속적으로 캡처되는 기준 서브이미지들을 할당하는 단계;
- 상기 정렬된 기준 서브이미지들을 융합하여 기준 고동적 범위 이미지를 획득하는 단계;
및 상기 현재 서브이미지들의 세트에 대해,
- 상기 현재 서브이미지들의 세트에서 식별되는 적어도 하나의 특징 지점의 함수로서 그들 사이에서 연속적으로 캡처되는 상기 현재 서브이미지들을 할당하는 단계;
- 상기 정렬된 현재 서브이미지들을 융합하여 현재 고동적 범위 이미지를 획득하는 단계를 더 포함한다.
따라서, 방법은 고동적 범위 이미징 정보를 획득하기 위해 연속적으로 캡처되는 서브이미지들의 경우에 디바이스의 임의의 이동에 의해 야기되는 오정렬들을 보상하는 단계들을 제공한다.
방법은 또한 융합 프로세스 동안에 고스팅 인공물들을 회피하기 위해 연속 서브이미지들 사이의 장면에서 이동하는 객체들을 보상하는 프로세스를 제공할 수 있다.
특정 특징에 따르면, 연속적으로 캡처되는 상기 기준 서브이미지들의 세트는 N 서브이미지들을 포함하고, 2 ≤ N ≤ 5이고 연속적으로 캡처되는 상기 현재 서브이미지들의 세트는 M 서브이미지들을 포함하고, 2 ≤ M ≤ 5이다.
특정 특징에 따르면, 캡처 안내 표시기는 캡처 디바이스가 장면의 현재 이미지를 캡처하기 위해 위치되어야 하는 방향을 인간-머신 인터페이스를 통해 표시하는 화살표 이미지이다.
인간-머신 인터페이스는 상이한 타입들일 수 있다. 예를 들어, 그것은 전자 뷰파인더 또는 시각 디스플레이 패널일 수 있다.
다른 실시예에서, 본 발명은 프로그램이 컴퓨터 또는 프로세서 상에 실행될 때 상기 언급된 방법(그것의 상이한 실시예들 중 어느 것에서)을 구현하는 프로그램 코드 명령어들을 포함하는 컴퓨터 프로그램 제품에 관한 것이다.
다른 실시예에서, 본 발명은 컴퓨터 또는 프로세서에 의해 실행될 때 컴퓨터 또는 프로세서가 상기 언급된 방법(그것의 상이한 실시예들 중 어느 것에서)을 수행하게 하는 프로그램을 저장하는 비일시적 컴퓨터 판독가능 캐리어 매체에 관한 것이다.
다른 실시예에서, 본 발명은 장면의 이미지들의 시퀀스로부터 장면의 라이트 필드 데이터를 획득하도록 구성되는 비-라이트 필드 이미지 캡처 디바이스를 제안하며, 각각의 이미지는 상이한 관점에서 캡처된다. 그러한 비-라이트 필드 이미지 캡처 디바이스는:
- 기준 관점에서 장면의 기준 이미지를 획득하고 현재 관점에서 적어도 하나의 현재 이미지를 획득하도록 구성되는 획득 유닛 - 장면의 관심 영역은 기준 이미지에 포함되고 기준 위치는 상기 캡처 디바이스의 기준 국부 좌표 시스템 내의 상기 관심 영역과 연관됨 -;
- 현재 관점에서의 장면의 현재 이미지에서 장면의 상기 관심 영역을 식별하도록 구성되는 식별 유닛;
- 기준 국부 좌표 시스템에서, 현재 이미지에서 식별되는 상기 관심 영역의 현재 위치를 결정하도록 구성되는 결정 유닛;
- 현재 위치를 기준 위치와 비교하도록 구성되는 비교 유닛;
- 비교 유닛에 의해 제공되는 결과들을 고려할 시에, 관심 영역을 향하는 캡처 디바이스의 상대 위치 결정에서 안내하도록 구성되는 캡처 안내 표시기를 제공하도록 구성되는 제공 유닛
을 포함한다.
유리하게, 디바이스는 그것의 다양한 실시예들 중 어느 것에서, 상기 설명된 바와 같은 획득 방법에서 수행되는 단계들을 구현하는 수단을 포함한다.
본 발명의 실시예들의 다른 특징들 및 장점들은 직설적 및 비소모적 예들로서 그리고 첨부 도면들로부터 주어지는 이하의 설명으로부터 나타날 것이다.
도 1은 본 발명의 라이트 필드 데이터를 획득하는 방법의 특정 실시예의 흐름도이다.
도 2a 내지 도 2c는 본 발명의 특정 실시예에 따른 라이트 필드 데이터 캡처를 용이하게 하는 이미지 캡처 디바이스의 디스플레이 상에 제공되는 사용자 인터페이스의 일 예를 도시한다.
도 3a 내지 도 3c는 본 발명의 특정 실시예에 따른 방법을 구현하는데 사용되는 국부 기준 좌표 시스템의 일 예를 도시한다.
도 4는 본 발명의 특정 실시예에 따른 방법을 구현하는 이미지 캡처 디바이스의 구조의 일 예를 도시한다.
본 문헌의 도면들의 모두에서, 동일한 요소들 및 단계들은 동일한 수치 참조 기호에 의해 지정된다.
도 1은 본 발명의 특정 실시예에 따른 라이트 필드 데이터를 획득하는 방법을 도시한다. 이러한 방법은 종래의(비-라이트 필드) 디바이스(100)에 의해 수행되며, 그의 원리는 도 4와 관련하여 아래에 상세히 설명된다.
종래의 이미지 캡처 디바이스는 본원에서 단일 관점으로부터 장면 또는 객체의 2차원 이미지들을 캡처할 수 있는 임의의 이미징 디바이스로 정의되는 것이 여기서 지적된다.
본 발명의 일반 원리는 관심 객체 또는 장면에 대응하는 라이트 필드 데이터를 획득하는데 적합한 2-D 이미지들의 시퀀스를 취득하기 위해, 종래의 이미지 캡처 디바이스의 사용자를 도와 관심 객체 또는 장면에 대해 그의 디바이스의 위치 결정을 최상으로 조정하게 하는 것이다. 사용자는 디바이스를 상이한 공간 방향들로 이동시키고 이미지들의 시퀀스의 캡처를 조작하여 라이트 필드 데이터를 획득하기 위해 조합될 수 있는 이미지들을 상이한 관점들에서 캡처한다.
여기서 아래에 설명되는 캡처 프로세스는 관심 장면을 스위핑하거나 스캐닝함으로써 획득되는 한 세트의 인접 이미지들의 연속 캡처(예를 들어, "비디오 모드" 또는 "스위핑 모드")로 또는 상이한 공간 위치에서 한 세트의 이미지들의 불연속(비연속) 캡처("슈팅 모드")로 사용자에 의해 수행될 수 있다는 점이 주목되어야 한다.
사용자가 라이트 필드 데이터를 취득하기를 원할 때, 그는 캡처될 장면의 전방에 디바이스(100)를 배치하고 전원을 턴 온하여 디바이스(100)에 전력을 공급하고 그것을 라이트 필드 캡처 모드에 둔다. 이것은 단계(105)에 대응하고 도 1의 알고리즘이 초기화될 수 있게 한다.
단계(110)에서, 사용자는 제1 관점으로부터 장면의 제1 이미지를 캡처한다. 이러한 제1 이미지는 알고리즘/방법을 통해 기준 이미지를 정의한다.
캡처 프로세스 동안에 캡처되는 이미지들을 뷰잉하기 위해, 디바이스(100)에는 인간/머신 인터페이스가 구비된다. 인간/머신 인터페이스는 상이한 타입들일 수 있다. 도 2a 및 도 2b는 캡처될 장면 또는 객체(즉, 이미지 센서 상에 형성되는 바와 같은 장면 또는 객체)를 뷰잉하기 위해, 캡처 디바이스들에 일반적으로 이용가능한 전자 뷰파인더(200)의 사용을 예시한다. 도 2a는 기준 이미지(220)를 도시하고 도 2b는 디바이스(100)의 전자 뷰파인더(200)에 디스플레이되는 현재 이미지(230)를 도시한다.
기준 이미지가 캡처될 때, 디바이스(100)는 객체(210)를 장면의 관심 영역으로 식별한다. 이러한 관심 영역(210)은 원하는 라이트 필드 데이터를 취득하기 위해 이미지들의 시퀀스의 캡처가 수행되어야 하는 장면의 "기준 피봇 지점"을 표현한다. 그 다음, 디바이스(100)는 식별된 객체(210)를 디바이스(100)의 기준 국부 좌표 시스템 내의 기준 위치와 연관시킨다. 기준 이미지에 대응하는 기준 국부 좌표 시스템(300)의 일 예는 도 3a에 예시된다. 그것은 디바이스의 광센서의 포커스 장소에 정의되는 직교 기준 좌표 시스템이다. 좌표 시스템(300)의 중심 지점("O")은 디바이스의 포커스 평면의 중심, 즉 카메라와 연관되는 광학 시스템의 광학 축의 통로의 지점에 대응한다. 객체(210)에 할당되는 기준 위치(310)는 기준 좌표 시스템(300) 내의 객체(210)의 중심의 좌표들(x0, y0)에 대응한다.
이러한 관심 객체(210)는 상이한 방식들에 따라 식별될 수 있다. 예를 들어, 도 2c 및 도 3c에 예시된 바와 같이, 디바이스(100)는 디바이스(100) 내의 전자 포커싱 모듈에 의해 구현되는 오토포커스 시스템을 사용한다. 디바이스(100)는 시야 내의 어느 영역이 포커싱되는지를 판단하기 위해 오토포커스 메커니즘을 사용하며, 포커싱된 영역은 방법의 추가 단계들을 위해 고려될 장면의 관심 영역으로서 이미지에서 식별된다. 따라서, 방법은 장면의 어느 영역이 상이한 이미지들의 취득을 위해 고려되는지를 정의하도록 디바이스(100)에 의해 구현되는 오토포커스 메커니즘을 이용한다. 따라서, 디바이스(100)는 관심 객체(210)를 자동 추적하고 이러한 객체가 캡처될 후속 이미지들에서 추적되도록 공지된 타겟인 것처럼 이러한 객체(210) 상에 포커스를 유지한다.
이러한 식별 단계는 콜리메이터들(오토포커스 센서들)(240)의 어레이에 의해 수행된다. 각각의 콜리메이터는 기준 국부 좌표 시스템(300) 내의 연관된 위치를 갖는다. 따라서, 관심 객체(210)와 연관되는 기준 위치는 관심 객체(210) 상에 포커싱하기 위해 사용되었던 콜리메이터의 위치에 대응한다. 강조된 콜리메이터(245)가 관심 객체(210) 상에 포커싱되기 위해 사용되었던 도 3c에 있는 경우지만, 기준 위치(x0, y0)는 기준 국부 좌표 시스템(300) 내의 그러한 콜리메이터(245)의 위치에 대응한다.
한 세트의 콜리메이터들이 관심 객체(210) 상에 포커싱되기 위해 사용되었을 때, 기준 위치는 예를 들어 기준 국부 좌표 시스템(300)에서 상기 복수의 콜리메이터들과 연관되는 지점들의 질량중심에 대응한다.
사용되는 오토포커스 메커니즘은 기술적 문헌에 광범위하게 설명되는 다양한 기술들에 기초할 수 있다. 예를 들어, 관심 객체는 위상 차이 검출 타입 오토포커스 또는 콘트라스트 검출 타입 오토포커스 또는 그것의 조합을 수행함으로써 식별될 수 있다.
여기서 예시되는 콜리메이터들의 수는 교육적 설명의 목적들을 위해 단지 비제한 예이다. 물론, 더 작거나 더 큰 수의 콜리메이터들은 본 발명의 범위로부터 벗어나는 것 없이 사용될 수 있다. 더 큰 시야를 커버하기 위해, 더 큰 수의 콜리메이터들이 예를 들어 필요할 것이다. 게다가, 상이한 오토포커스 모드들은 포커싱 모듈에 의해 제안될 수 있다. 하나의 예시적인 실시예에서, 이미지를 캡처하기 위해, 디바이스(100)는 그것이 포커싱하는데 필요한 것으로 생각되는 콜리메이터 또는 콜리메이터들의 세트를 자동으로 선택함으로써 포커스를 수행한다. 다른 예시적인 실시예에서, 디바이스(100)는 사용자에 의해 이전에 선택되는 오토포커스 또는 한 세트의 적어도 하나의 콜리메이터를 사용하여 자동 포커스를 수행한다.
이미지 캡처 프로세스 동안에, 기준 이미지가 캡처되었던 후에, 사용자는 관심 객체(210)에 대응하는 라이트 필드 데이터를 취득하기 위해, 하나 또는 수개의 공간 방향들로 관심 객체(210)에 대해 디바이스(100)를 이동시킨다. 필수 조건은 관점이 캡처 프로세스 동안에 사용자에 의해 채택되더라도 디바이스(100)가 관심 객체(210)를 항상 향하는 것이다.
사용자는 관심 객체(210)를 향하고 있는 동안에, 디바이스(100)를 수직으로(즉, 위에서 아래로, 또는 아래에서 위로), 수평으로(좌측 대 우측 방향 또는 우측 대 좌측 방향으로), 또는 그것의 조합으로 이동시킬 수 있다. 깊이로(전방 대 후방 방향 또는 전방 대 전방 방향으로) 디바이스의 이동은 또한 상기 수직 및/또는 수평 이동들과 조합하여 배제하지 않을 가능성이지만 라이트 필드 데이터를 획득하기 위해 기본적으로 필요하지 않다는 점이 주목되어야 한다. 원하는 주요 취득은 관심 객체(210) 주위에서 측방 이동으로 수행될 수 있다. 예를 들어, 스캔 방향은 관심 객체(210)를 향하는 동안에 좌측 대 우측 방향으로 수평 축("x 축")을 따라 스캔 경로를 포함한다. 따라서, 스캔 방향은 x 축 및 y 축에 의해 형성되는 평면과 동일 선형이 아닌 수직 축("y 축") 주위에서 전형적으로, 회전 구성요소를 포함한다.
단계(120)에서, 주어진 관점에서 캡처되는 현재 이미지에 대해, 디바이스(100)는 디바이스(100)의 전자 포커싱 모듈에 의해 구현되는 오토포커스 메커니즘 때문에, 단계(110)에서 이전에 식별되는 관심 객체를 이때 식별할 것이다. 이러한 단계(120)는 디바이스(100)의 상태의 변화(예를 들어, 디바이스의 위치 또는 각도 배향의 변화)의 검출 시에 실행된다. 현재 이미지의 일 예는 도 3a에 예시되는 뷰파인더(200)를 통해 표현된다.
단계(130)에서, 디바이스(100)는 기준 국부 좌표 시스템(300)에서, 이하 현재 위치로 불려지는 현재 이미지에서 식별되는 관심 영역의 위치(좌표들(xc, yc))를 결정한다. 도 3b는 현재 이미지에 대응하는 기준 국부 좌표 시스템(300)을 표현한다. 요소(320)는 좌표 시스템(300)에서 디바이스(100)에 의해 결정되는 관심 객체(210)의 현재 위치이다. 디바이스(100)를 이동시킨 후에, 관심 객체(210)는 뷰파인더(200) 내의 동일한 위치에 더 이상 있지 않는 것으로 나타난다. 그러므로, 사용자가 품질 라이트 필드 데이터를 취득하기 위해 디바이스(100)를 이동시켜야 하는 방향을 사용자에게 표시하는 것이 필요하다.
단계(140)에서, 디바이스(100)는 관심 객체(210)의 현재 위치(xc, yc)를 기준 위치(x0, y0)와 비교한다.
그 다음, 단계(150)에서, 디바이스(100)는 현재 위치(xc, yc)(320)가 기준 위치(x0, y0)(310)와 일치하는 그러한 방식으로 디바이스(100)의 위치 결정을 안내하도록 구성되는 캡처 안내 표시기(250)를 제공한다. 따라서, 단계(140)의 결과들의 함수로서, 캡처 안내 표시기(250)는 사용자에게, 예를 들어 뷰파인더(200)의 후방 스크린 상에 제공되어, 그에게 장면의 관심 객체에 대해 캡처 프로세스 동안에 디바이스(100)의 상대 위치를 재조정하도록 재촉한다. 도 2b에 예시되는 캡처 안내 표시기(250)는 관심 객체(210)가 현재 이미지에 위치되는 방향을 표시하는 화살표(좌측을 가리키는 화살표)이다. 전형적으로, 화살표(250)는 디바이스(100)에 의해 이전에 결정되는 기준 위치와 현재 위치 사이에 제공된다.
대안적으로, 디바이스를 스위핑하는 동안에 현재 이미지들 내의 동일한 위치에 관심 객체(210)를 유지하기 위해 디바이스(100)가 배향되는 방향을 가리키는 화살표(우측을 가리키는 화살표)를 제공하는 예상될 수 있다.
캡처 안내 표시기(250)는 방향을 가리키거나 표시하기 위해 사용되는 곡선 화살표(시계방향 또는 반시계방향 회전), 쌍촉 화살표, 또는 다른 기호와 같은 직선 화살표와 다른 이미지일 수 있다.
게다가, 캡처 안내 표시기(250)는 비교 단계(140)의 함수로서, 가변 착색될 수 있거나 가변 크기를 가질 수 있다. 예를 들어, 인간-머신 인터페이스(200)는 디바이스(100)가 이동되고 있을 때, 크기가 국부 기준 좌표 시스템(300) 내의 기준 및 현재 위치들 사이의 거리의 함수로서 변하는 캡처 안내 표시기를 제공할 수 있다: 안내 표시기가 더 작을수록, 관심 객체(210)에 대한 디바이스(100)의 위치 결정이 더 정확할 것이다. 표시기는 기준 및 현재 위치들이 완전히 일치할 때 또는 이러한 2개의 위치들 사이에서 계산되는 거리가 이하 T로 언급되는 미리 결정된 공차 임계값 미만일 때 사라질 수 있다. 거리는 위치들이 얼마나 멀리 떨어져 있는지의 수치 설명이다.
특정 접근법에 따르면, 미리 결정된 공차 임계값(T)은 유클리드 거리 산출에 기초하여 설정될 수 있다. 디바이스(100)의 광센서가 폭에 있어서 W 픽셀들을 갖고 높이에 있어서 H 픽셀들을 갖는 것을 고려하고, 수 N을 이하와 같이 정의하게 한다: N = min(W,H). 따라서, 디바이스들이 W = 6000 픽셀들 및 H = 4000 픽셀들을 갖는 24 메가 픽셀 광센서를 포함하면, 예를 들어 수 N은 4000 픽셀들과 동일하다. 미리 결정된 공차 임계값(T)은 예를 들어 수 N의 2%, 즉 T = 0.02 x N에 설정될 수 있다.
이제 2개의 지점들(A 및 B)를 고려하며, 직교 좌표 시스템에서 A는 좌표들(x0, y0)을 갖는 기준 위치에 대응하고 B는 좌표들(xc, yc)을 갖는 현재 위치에 대응한다. 지점들(A 및 B) 사이의 유클리드 거리(dAB)는 이하의 식에 의해 주어진다.
Figure pat00001
그 다음, 디바이스(100)는 현재 유클리드 거리(dAB)를 미리 결정된 공차 임계값(T)(여기서 0.02 x N과 동일함)과 비교할 것이다. 현재 유클리드 거리(dAB)가 미리 결정된 공차 임계값(T) 이상(dAB≥T)이기만 하면, 시각 표시기(250)가 유지된다. 디바이스(100)에 의해 계산되는 현재 거리(dAB)가 미리 결정된 공차 임계값(T) 미만(dAB<T)일 때, 시각 표시기(250)는 사라진다.
현재 거리 dAB=0인 특정 경우는 기준 및 현재 위치들이 완전히 일치하는 것을 의미한다.
물론 다른 널리 공지된 거리 산출들은 본 발명의 범위로부터 벗어나는 것 없이 구현될 수 있다. 예를 들어 맨해튼 거리, 캔버라 거리 또는 민코프스키 거리로부터의 산출에 기초로 하는 것이 예상될 수 있다. 예를 들어 이하의 식으로부터의 산출에 기초로 하는 것이 예상될 수 있다.
Figure pat00002
미리 결정된 공차 임계값은 예를 들어 0.02 x N에 설정된다.
대안적으로, 조준 패턴을 캡처 안내 표시기로 사용하는 것이 예상될 수 있다. 조준 패턴은 기준 좌표 시스템(300) 내의 기준 위치에 대응하는 뷰파인더(200)의 후방 스크린 상의 고정 위치에 제공되어, 관심 객체(210)가 조준 패턴과 일치하는 방식으로 사용자가 디바이스(100)의 위치를 조정할 수 있게 한다. 이러한 조준 패턴은 예를 들어 디바이스(100)가 관심 객체(210)에 대해 정확히 위치되지 않을 때 레드이고 관심 객체(210)(조준 패턴에 포함되거나 조준 패턴을 중복시키는 객체(210))에 대한 디바이스(100)의 위치가 조정될 때 그린이며 라이트 필드 데이터를 현재 관점에서 최적 조건들로 획득하는 것이 가능하다.
게다가, 상기 설명된 시각 캡처 안내 표시기는 그것의 다양한 실시예들 중 어느 것에서, 디바이스(100)가 이동되고 있을 때, 국부 기준 좌표 시스템(300) 내의 기준 및 현재 위치들 사이의 거리의 함수로서의 거리에 따라 변하는 클록 속도를 갖는 사운드 신호를 발송할 수 있는 디바이스(100)로 통합되는 스피커를 사용하는 것이 예상될 수 있다: 사운드 신호의 클록 속도가 더 빠를수록, 더 정확한 것은 관심 객체(210)에 대해 카메라(100)의 위치 결정일 것이다. 연속 사운드 신호는 현재 관점에서 디바이스(100)의 적절한 위치 결정을 반영한다. 역으로, 느린 클록 속도를 갖는 사운드 신호는 디바이스(100)의 잘못된 위치 결정(관심 객체(210)에 대에 허용불가능한 디바이스 배향)을 반영한다.
특정 실시예에서, 디바이스(100)는 사용자에 의한 디바이스(100)의 위치 결정이 라이트 필드 데이터를 획득하기 위해 허용가능한 경우에만, 즉 현재 위치(xc, yc)(310)가 기준 위치(x0, y0)(320)와 일치하는 경우에만 현재 이미지의 캡처를 허용하도록 구성될 수 있다. 이것은 라이트 필드 데이터를 취득하는 최적 캡처 조건들을 보장한다.
다음에, 테스트는 예컨대 사용자가 캡처 프로세스의 정지를 활성화함으로써, 이미지 캡처 프로세스가 종료되었는지를 판단하기 위해 단계(160)에서 수행된다. 대안적으로, 캡처 프로세스는 예컨대 디바이스(100)가 스캔 또는 스위핑 캡처와 불일치하는 디바이스(100)의 이동을 결정함으로써(예를 들어 미리 결정된 지속 기간 동안 디바이스의 이동의 정지 또는 디바이스의 배향의 상당한 변화를 검출함으로써), 자동으로 종료될 수 있다. 캡처 프로세스가 종료되었다면, 이때 디바이스(100)는 라이트 필드 데이터를 획득하기 위해 캡처 프로세스 동안에 취득되는 이미지들을 처리하도록 단계(170)로 진행한다. 이미지들이 처리되면, 알고리즘/방법은 정지한다. 캡처 프로세스가 종료되지 않았다면, 이때 디바이스(100)는 이미지 캡처 프로세스가 단계(170)에서 종료할 때까지 단계들(120 내지 160)을 반복하도록 단계(120)로 다시 진행한다.
방법은 디바이스(100)에 포함되는 기준 관성 유닛(70)에 의해 제공되는 관성 데이터를 획득하는 단계를 더 포함할 수 있다. 관성 데이터 인에이블은 국부 참조에서 캡처 프로세스 동안의 디바이스의 상대 위치(위도, 경도 및 고도 좌표들), 및 그것의 배향(국부 참조에 관한 현재 경사 각도)를 인식하기 위해 사용될 수 있다. 이러한 데이터 때문에, 예를 들어 전자 레벨을 뷰파인더 내에 및/또는 디스플레이 패널 상에 디스플레이함으로써, 사용자를 도와 디바이스(100)의 경사를 정정하게 하는 것이 가능하다. 예를 들어, 가속도계 또는 자이로스코프는 디바이스의 일정 고도를 유지하는 동안에 디바이스(100)의 스캐닝/스위핑 속도(이상적으로 일정해야 함)를 안내하기 위해 사용될 수 있다(관성 유닛의 3개의 축들의 경사는 기준 이미지를 위해 획득되는 경사에 관해 가능하지만 하면 일정하게 유지되어야 함). 부가 시각 표시기는 사용자에게 디바이스(100)의 스캐닝/스위핑 속도를 관성 유닛(70)에 의해 결정되는 디바이스(100)의 이동 속도의 함수로서 실시간으로 조정하도록 재촉하기 위해 더 디스플레이될 수 있다. 다른 부가 시각 표시기는 또한 사용자에게 디바이스(100)의 고도를 관성 유닛(70)에 의해 결정되는 디바이스(100)의 현재 고도의 함수로서 실시간으로 조정하도록 재촉하기 위해 디스플레이될 수 있다.
일 변형에서, 본 개시내용의 일 실시예에 따른 각각의 이미지(기준 및 현재 이미지들)의 캡처는 상기 캡처 디바이스(100) 내에 포함되는 GPS 유닛에 의해 제공되는 위성 위치 확인 시스템 데이터(예를 들어 GPS 좌표들)와 연관될 수 있다.
또한, 주어진 관점에 대해 하나의 이미지(기준 이미지 또는 현재 이미지)만을 캡처하는 대신에, 상이한 노출 파라미터들로 연속적으로 캡처되는 기준 서브이미지들의 세트를 획득하는 것이 예상될 수 있다(그러한 기술은 브래키팅 기술로 불려지고 HDR("고동적 범위"를 나타냄) 기술들의 계열에 속함). 이것은 장면으로 캡처되는 각각의 관점에 대해, 라이트 필드 데이터 처리를 위해 유리하게 사용될 수 있는 고동적 범위 이미징 정보를 제공한다. 따라서, 본 기술을 사용함으로써, 고동적 범위 라이트 필드 데이터는 종래의(비-라이트 필드) 이미지 캡처 디바이스로 획득될 수 있다. 그러므로, 고동적 범위 라이트 필드 데이터를 획득하는 본 기술은 문헌("High Dynamic Range Image Capture with Plenoptic 2.0 Camera" by T. Georgiev et al., published in the conference proceedings of Signal Recovery and Synthesis, 2009)에 설명된 것의 대안 기술로 뷰잉될 수 있다.
그러한 맥락에서, 서브이미지들의 정렬은 브러리 HDR 이미지들을 획득하는 것을 회피하기 위해 필요하다. 그것 때문에, 세트의 서브이미지들에서 식별되는 적어도 하나의 특징 지점의 함수로서 그들 사이에서 연속적으로 캡처되는 서브이미지들을 정렬하는 단계(등록 단계라고도 함)가 제공된다. 이것은 상기 서브이미지들을 융합하여 HDR 이미지를 생성하기 전에, 연속적으로 캡처되는 서브이미지들에서 미리 정의된 주요 지점들(또는 미리 정의된 특징 지점들)을 검색하기 위해 이용되는 크기 불변 특징 변환(SIFT) 방법에 기초할 수 있다. 예를 들어, 방법은 장면이 고정되는 것을 가정하여 캡처된 서브이미지들을 정렬할 수 있다. 이것은 디바이스의 임의의 이동에 의해 야기되는 오정렬들을 보상한다. 더욱이, 방법은 융합 프로세스 동안에 고스팅 인공물들을 회피하기 위해 연속 서브이미지들 사이의 장면에서 이동하는 객체들을 보상하는 프로세스를 포함할 수 있다. 이러한 프로세스는 서브이미지 융합 단계 전에 또는 동안에 수행된다. 따라서, 디바이스 쉐이크에 의해 야기되는 이미지 블러를 방지하는 것에 더하여, 본 발명에 따른 방법은 2개의 연속 서브이미지들 사이에서 이동하는 객체들을 이미지 내에서 보상할 수 있는 프로세스를 제공한다.
예를 들어, 기준 또는 현재 서브이미지들의 수는 사용자가 브러리 없는 HDR 이미지들을 갖는 것을 보장하기 위해 2 내지 5를 포함한다.
상기 설명된 방법은 수치 이미지들에서 관심 객체 또는 영역을 식별하고 추적하기 위해 오토포커스 메커니즘에 기초한다. 동일한 기능을 수행하는 다양한 방법들은 가체 상관 계산들 또는 크기 불변 특징 변환(SIFT)에 기초한 방법들과 같이, 본 발명의 범위로부터 벗어나는 것 없이 예상될 수 있다.
이제 도 4를 참조하면, 본 발명의 특정 실시예에 따른 이미지 캡처 디바이스(100)의 일 예를 나타낸다. 디바이스(100)는 이하를 포함한다:
- 예를 들어 전하 결합 디바이스(charge-coupled device)(CCD) 또는 상보성 금속 산화물 반도체(complementary metal oxide semiconductor)(CMOS) 기술을 사용하는 이미지 센서(10);
- 여기서 도 1을 참조하여 아래에 설명되는 알고리즘들의 단계들의 적어도 하나의 부분의 구현을 가능하게 하는 프로그램 코드 명령어들을 실행할 수 있는 프로세서(20);
- 비휘발성 메모리(30), 예를 들어 판독 전용 메모리(read-only memory)(ROM) 또는 하드 디스크;
- 휘발성 메모리(40), 예를 들어 랜덤 액세스 메모리(random access memory)(RAM);
- 인간/머신 인터페이스(50), 예를 들어 캡처될 이미지들("프리뷰 이미지") 또는 캡처된 이미지들을 뷰잉하고 캡처 프로세스 동안에 디바이스 위치 결정을 통해 사용자를 안내하도록 구성되는 전자 뷰파인더 또는 터치스크린 디스플레이 패널;
- 하나 이상의 광학 렌즈들을 포함할 수 있는 광학 대물렌즈(60);
- 관성 데이터를 제공하는 기준 관성 유닛(70).
비휘발성 메모리(30)는 비일시적 컴퓨터 판독가능 캐리어 매체이다. 그것은 상기 설명된 방법의 구현을 가능하게 하기 위해 프로세서(20)에 의해 실행되는 실행가능 프로그램 코드 명령어들을 저장한다. 초기화 시에, 프로그램 코드 명령어들은 프로세서(20)에 의해 실행되기 위해 비휘발성 메모리(30)로부터 휘발성 메모리(40)로 전송된다. 휘발성 메모리(40)는 이러한 실행을 위해 요구되는 변수들 및 파라미터들을 저장하는 레지스터들을 마찬가지로 포함한다.
특정 실시예에 따르면, 본 방법의 단계들이 구현될 수 있다:
- 이미지 센서에 의해 이미지들을 캡처(또는 획득)하도록 구성되는 캡처링(또는 획득) 유닛에 의한 단계(110) - 장면의 관심 영역은 기준 이미지에서 식별되고 기준 위치는 기준 국부 좌표 시스템 내의 관심 영역과 연관됨 -;
- 현재 이미지에서, 기준 이미지에서 식별되는 관심 객체(210)를 식별하도록 구성되는 식별 유닛에 의한 단계(120);
- 기준 국부 좌표 시스템에서, 현재 이미지에서 식별되는 관심 영역의 현재 위치를 결정하도록 구성되는 결정 유닛에 의한 단계(130);
- 현재 위치 및 기준 위치를 비교하도록 구성되는 비교 유닛에 의한 단계(140);
- 비교 유닛에 의해 제공되는 결과들을 고려할 시에 관심 영역에 캡처 디바이스의 상대 위치 결정에서 안내하도록 구성되는 캡처 안내 표시기를 제공하도록 구성되는 제공 유닛에 의한 단계(150);
- 캡처된 이미지들로부터 라이트 필드 데이터를 획득하도록 구성되는 획득 유닛에 의한 단계(170).
상술한 유닛들은 프로세서(20) 내에 통합될 수 있다.
본 기술분야의 통상의 기술자에 의해 이해되는 바와 같이, 본 원리들의 양태들은 시스템, 방법 또는 컴퓨터 판독가능 매체로 구체화될 수 있다. 따라서, 본 원리들의 양태들은 전체 하드웨어 실시예, 전체 소프트웨어 실시예(펌웨어, 상주 소프트웨어, 마이크로코드 등을 포함함), 또는 본원에서 "회로", "모듈", 또는 "시스템"으로 모두 일반적으로 언급될 수 있는 소프트웨어 및 하드웨어 양태들을 조합하는 일 실시예의 형태를 취할 수 있다.
본 원리들이 하나 또는 수개의 하드웨어 구성요소들에 의해 구현될 때, 하드웨어 구성요소는 중앙 처리 유닛, 및/또는 마이크로프로세서, 및/또는 주문형 집적 회로(Application-specific integrated circuit)(ASIC), 및/또는 주문형 명령 세트 프로세서(Application-specific instruction-set processor)(ASIP), 및/또는 그래픽스 처리 유닛(graphics processing unit)(GPU), 및/또는 물리 처리 유닛(physics processing unit)(PPU), 및/또는 디지털 신호 프로세서(digital signal processor)(DSP), 및/또는 이미지 프로세서, 및/또는 코프로세서, 및/또는 부동 소수점 유닛, 및/또는 네트워크 프로세서, 및/또는 오디오 프로세서, 및/또는 멀티코어 프로세서와 같은 집적 회로인 프로세서를 포함한다는 점이 주목되어야 한다. 더욱이, 하드웨어 구성요소는 또한 베이스밴드 프로세서(예를 들어 메모리 유닛들, 및 펌웨어를 포함함) 및/또는 라디오 신호들을 수신하거나 송신하는 라디오 전자 회로들(안테나들을 포함할 수 있음)을 포함할 수 있다. 일 실시예에서, 하드웨어 구성요소는 ISO/IEC 18092 / ECMA-340, ISO/IEC 21481 / ECMA-352, GSMA, StoLPaN, ETSI / 스마트 카드 플랫폼(Smart Card Platform)(SCP), 글로벌플랫폼(즉, 보안 요소)과 같은 하나 이상의 표준들을 따른다. 일 변형에서, 하드웨어 구성요소는 무선 주파수 식별(Radio-frequency identification)(RFID) 태그이다. 일 실시예에서, 하드웨어 구성요소는 블루투스 통신들, 및/또는 와이 파이 통신들, 및/또는 지그비 통신들, 및/또는 USB 통신들 및/또는 파이어와이어(Firewire) 통신들 및/또는 NFC(근접장용) 통신들을 가능하게 하는 회로들을 포함한다.
더욱이, 본 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 이용될 수 있다.
컴퓨터 판독가능 저장 매체는 하나 이상의 컴퓨터 판독가능 매체(들)에 구체화되고 컴퓨터에 의해 실행가능한 컴퓨터 판독가능 프로그램 코드를 구체화하는 컴퓨터 판독가능 프로그램 제품의 형태를 취할 수 있다. 본원에 사용되는 바와 같은 컴퓨터 판독가능 저장 매체는 그것으로부터 정보의 검색을 제공하는 고유 능력뿐만 아니라 정보를 그 안에 저장하는 고유 능력을 고려하면 비일시적 저장 매체로 간주된다. 컴퓨터 판독가능 저장 매체는 예를 들어 전자, 자기, 광, 전자기, 적외선, 또는 반도체 시스템, 장치, 또는 디바이스, 또는 상기의 임의의 적절한 조합일 수 있지만, 이들에 제한되지 않는다. 이하는 본 원리들이 적용될 수 있는 컴퓨터 판독가능 저장 매체들의 더 구체적인 예들을 제공하는 동안에, 본 기술분야의 통상의 기술자에 의해 용이하게 이해되는 바와 같이 단지 예시적이고 총망라한 목록이 아니라는 점이 이해되어야 한다: 휴대용 컴퓨터 디스켓; 하드 디스크; 판독 전용 메모리(ROM); 소거형 프로그램가능 판독 전용 메모리(erasable programmable read-only memory)(EPROM)(또는 플래시 메모리); 휴대용 콤팩트 디스크 판독 전용 메모리(compact disc read-only memory)(CD-ROM); 광 저장 디바이스; 자기 저장 디바이스; 또는 상기의 임의의 적절한 조합.
따라서, 예를 들어, 본원에 제공되는 블록도들은 본 발명의 원리들을 구체화하는 예시적인 시스템 구성요소들 및/또는 회로의 개념도들을 표현한다는 점이 본 기술분야의 통상의 기술자들에 의해 이해될 것이다. 유사하게, 임의의 순서도들, 흐름도들, 상태 전이도들, 의사 코드 등은 컴퓨터 또는 프로세서가 명시적으로 도시되든 안되든 컴퓨터 판독가능 저장 매체에 실질적으로 표현되고 그러한 컴퓨터 또는 프로세서에 의해 그렇게 실행될 수 있는 다양한 프로세스들을 표현한다는 점이 이해될 것이다.
본 개시내용은 하나 이상의 예들과 관련하여 설명되었지만, 본 기술분야의 통상의 기술자들은 변화들이 본 개시내용 및/또는 첨부된 청구항들의 범위로부터 벗어나는 것 없이 형태 및 상세에 이루어질 수 있는 것을 인식할 것이다.

Claims (14)

  1. 장면의 이미지들의 시퀀스로부터 상기 장면의 라이트 필드 데이터(light field data)를 획득하는 방법으로서, 각각의 이미지는 비-라이트 필드 이미지 캡처 디바이스(non-light-field image capture device)의 사용에 의해 상이한 관점에서 캡처되며, 상기 방법은 상기 비-라이트 필드 이미지 캡처 디바이스에 의해 실행되고, 상기 방법은,
    - 기준 관점에서 상기 장면의 기준 이미지를 획득하는 단계(110) - 상기 장면의 관심 영역은 상기 기준 이미지에 포함되고 기준 위치(x0, y0)가 상기 캡처 디바이스의 기준 국부 좌표 시스템(reference local coordinate system) 내의 상기 관심 영역과 연관됨 -;
    - 현재 관점에서의 상기 장면의 현재 이미지에 대해,
    - 상기 현재 이미지에서 상기 장면의 상기 관심 영역을 식별하는 단계(120);
    - 상기 기준 국부 좌표 시스템에서, 상기 현재 이미지에서 식별되는 상기 관심 영역의 현재 위치(xc, yc)를 결정하는 단계(130);
    - 상기 현재 위치를 상기 기준 위치와 비교하는 단계(140);
    - 상기 현재 위치와 상기 기준 위치 사이의 비교의 결과들의 함수로서, 상기 관심 영역을 향하는 상기 캡처 디바이스의 상대 위치 결정(relative positioning)에서 안내하도록 구성되는 캡처 안내 표시기를 제공하는 단계(150)
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서, 상기 현재 위치와 상기 기준 위치 사이의 거리가 미리 결정된 임계값 미만일 때 상기 현재 이미지를 캡처하는 단계를 더 포함하는 방법.
  3. 제1항 또는 제2항에 있어서, 상기 관심 영역은,
    - 위상 차이 검출 타입 오토포커스 동작; 및/또는
    - 콘트라스트 검출 타입 오토포커스 동작
    을 수행함으로써 상기 기준 및 현재 이미지들에서 식별되는 방법.
  4. 제3항에 있어서, 상기 기준 이미지를 획득할 시에, 상기 관심 영역은 한 세트의 적어도 하나의 오토포커스 센서를 사용하여 식별되고, 각각의 오토포커스 센서는 상기 기준 국부 좌표 시스템에서 주어진 위치를 갖고, 상기 기준 위치는 상기 기준 국부 좌표 시스템 내의 상기 적어도 하나의 오토포커스 센서의 상기 주어진 위치와 연관되는 방법.
  5. 제1항에 있어서, 상기 관심 영역은 크기 불변 특징 변환(scale invariant feature transform)에 기초하여 특징 검출 동작을 실행함으로써 상기 기준 및 현재 이미지들에서 식별되는 방법.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 캡처 디바이스에 포함되는 기준 관성 유닛에 의해 제공되는 관성 데이터를 획득하는 단계를 더 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 캡처 디바이스에 포함되는 위성 위치 확인 시스템(Global Positioning System)(GPS) 유닛에 의해 위성 위치 확인 시스템 데이터를 획득하는 단계를 더 포함하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 기준 이미지를 획득하는 단계는 상이한 노출 파라미터들로 연속적으로 캡처되는 기준 서브이미지들의 세트를 획득하는 단계를 포함하고, 상기 현재 이미지를 캡처하는 단계는 상이한 노출 파라미터들로 연속적으로 캡처되는 현재 서브이미지들의 세트를 획득하는 단계를 포함하는 방법.
  9. 제8항에 있어서,
    상기 기준 서브이미지들의 세트에 대해,
    - 상기 기준 서브이미지들의 세트에서 식별되는 적어도 하나의 특징 지점의 함수로서 그들 사이에서 연속적으로 캡처되는 기준 서브이미지들을 정렬하는 단계;
    - 상기 정렬된 기준 서브이미지들을 융합하여 기준 고동적 범위 이미지(reference High-Dynamic-Range image)를 획득하는 단계;
    및 상기 현재 서브이미지들의 세트에 대해,
    - 상기 현재 서브이미지들의 세트에서 식별되는 적어도 하나의 특징 지점의 함수로서 그들 사이에서 연속적으로 캡처되는 상기 현재 서브이미지들을 정렬하는 단계;
    - 상기 정렬된 현재 서브이미지들을 융합하여 현재 고동적 범위 이미지를 획득하는 단계를 포함하는 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 기준 서브이미지들의 세트는 N 서브이미지들을 포함하고, 2 ≤ N ≤ 5이고, 상기 현재 서브이미지들의 세트는 M 서브이미지들을 포함하고, 2 ≤ M ≤ 5인 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서, 상기 캡처 안내 표시기는 상기 캡처 디바이스가 상기 장면의 상기 현재 이미지를 캡처하기 위해 위치되어야 하는 방향을 인간-머신 인터페이스(man-machine interface)를 통해 표시하는 화살표 이미지인 방법.
  12. 프로그램이 컴퓨터 또는 프로세서 상에 실행될 때, 제1항 내지 제11항 중 적어도 한 항에 따른 방법을 구현하는 프로그램 코드 명령어들을 포함하는 것을 특징으로 하는 컴퓨터 프로그램 제품.
  13. 제12항에 따른 컴퓨터 프로그램 제품을 저장하는 비일시적 컴퓨터 판독가능 캐리어 매체.
  14. 장면의 이미지들의 시퀀스로부터 상기 장면의 라이트 필드 데이터를 획득하도록 구성되는 비-라이트 필드 이미지 캡처 디바이스로서, 각각의 이미지는 상이한 관점에서 캡처되고, 상기 비-라이트 필드 이미지 캡처 디바이스는,
    - 기준 관점에서 상기 장면의 기준 이미지를 획득하고 현재 관점에서 상기 장면의 적어도 하나의 현재 이미지를 획득하도록 구성되는 획득 유닛 - 상기 장면의 관심 영역은 상기 기준 이미지에 포함되고 기준 위치가 상기 캡처 디바이스의 기준 국부 좌표 시스템 내의 상기 관심 영역과 연관됨 -;
    - 현재 관점에서의 상기 장면의 현재 이미지에서 상기 장면의 상기 관심 영역을 식별하도록 구성되는 식별 유닛;
    - 상기 기준 국부 좌표 시스템에서, 상기 현재 이미지에서 식별되는 상기 관심 영역의 현재 위치를 결정하도록 구성되는 결정 유닛;
    - 상기 현재 위치를 상기 기준 위치와 비교하도록 구성되는 비교 유닛;
    - 상기 비교 유닛에 의해 제공되는 결과들을 고려할 시에 상기 관심 영역을 향하는 상기 캡처 디바이스의 상대 위치 결정에서 안내하도록 구성되는 캡처 안내 표시기를 제공하도록 구성되는 제공 유닛
    을 포함하는 것을 특징으로 하는 비-라이트 필드 이미지 캡처 디바이스.
KR1020160053435A 2015-04-30 2016-04-29 비-라이트 필드 이미징 디바이스를 사용하여 라이트 필드 데이터를 획득하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 캐리어 매체 KR20160129779A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP15305661.9 2015-04-30
EP15305661.9A EP3089449B1 (en) 2015-04-30 2015-04-30 Method for obtaining light-field data using a non-light-field imaging device, corresponding device, computer program product and non-transitory computer-readable carrier medium

Publications (1)

Publication Number Publication Date
KR20160129779A true KR20160129779A (ko) 2016-11-09

Family

ID=53177304

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160053435A KR20160129779A (ko) 2015-04-30 2016-04-29 비-라이트 필드 이미징 디바이스를 사용하여 라이트 필드 데이터를 획득하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 캐리어 매체

Country Status (5)

Country Link
US (1) US10165254B2 (ko)
EP (1) EP3089449B1 (ko)
JP (1) JP2016213825A (ko)
KR (1) KR20160129779A (ko)
CN (1) CN106101522A (ko)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10304203B2 (en) 2015-05-14 2019-05-28 Qualcomm Incorporated Three-dimensional model generation
KR20170029978A (ko) * 2015-09-08 2017-03-16 엘지전자 주식회사 이동단말기 및 그 제어방법
US10341568B2 (en) * 2016-10-10 2019-07-02 Qualcomm Incorporated User interface to assist three dimensional scanning of objects
US10432412B2 (en) * 2016-11-17 2019-10-01 General Electric Company Process control device using power over ethernet with configurable analog and digital interface
CN110268449B (zh) * 2017-04-26 2023-06-16 惠普发展公司，有限责任合伙企业 在对象上定位感兴趣区域的方法、装置及机器可读介质
CN107302658B (zh) * 2017-06-16 2019-08-02 Oppo广东移动通信有限公司 实现人脸清晰的对焦方法、装置和计算机设备
EP3422708A1 (en) * 2017-06-29 2019-01-02 Koninklijke Philips N.V. Apparatus and method for generating an image
CN107346536B (zh) * 2017-07-04 2020-08-11 广东工业大学 一种图像融合的方法与装置
CN111095348A (zh) 2017-09-08 2020-05-01 苹果公司 基于摄像头的透明显示器
EP3486866A1 (en) * 2017-11-15 2019-05-22 Thomson Licensing A method for processing a light field video based on the use of a super-rays representation
EP3633614A1 (en) * 2018-10-03 2020-04-08 FEI Company Object tracking using image segmentation
CN113632447A (zh) * 2018-12-28 2021-11-09 高通股份有限公司 用于更正相机的角度和位置的装置和方法
DE102019105275A1 (de) * 2019-03-01 2020-09-03 Connaught Electronics Ltd. Verfahren und System zum Detektieren eines Objekts auf einer Oberfläche eines Fahrzeugs
CN109995999A (zh) * 2019-03-14 2019-07-09 Oppo广东移动通信有限公司 场景识别方法、装置、电子设备及存储介质
GB2582323B (en) 2019-03-19 2022-02-09 Jaguar Land Rover Ltd Image processing system and method
CN111862098B (zh) * 2019-04-30 2023-11-24 曜科智能科技（上海）有限公司 基于光场语义的个体匹配方法、装置、设备和介质
CN113484873B (zh) * 2020-03-16 2023-12-26 中国海洋大学 一种水下光场干预成像方法
US11516378B2 (en) * 2020-04-27 2022-11-29 Qualcomm Incorporated Methods and apparatus employing a phase detection autofocus (PDAF) optical system

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9380292B2 (en) * 2009-07-31 2016-06-28 3Dmedia Corporation Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene
US8933996B2 (en) * 2010-06-30 2015-01-13 Fujifilm Corporation Multiple viewpoint imaging control device, multiple viewpoint imaging control method and computer readable medium
WO2012002017A1 (ja) * 2010-06-30 2012-01-05 富士フイルム株式会社 撮影装置、プログラム、及び撮影方法
KR101723642B1 (ko) 2011-01-31 2017-04-19 삼성전자주식회사 파노라마 이미지를 촬영하는 촬영 기기 및 그 파노라마 촬영 방법
US9191649B2 (en) * 2011-08-12 2015-11-17 Qualcomm Incorporated Systems and methods to capture a stereoscopic image pair
JP5968107B2 (ja) * 2011-09-01 2016-08-10 キヤノン株式会社 画像処理方法、画像処理装置およびプログラム
US9870517B2 (en) * 2011-12-08 2018-01-16 Excalibur Ip, Llc Image object retrieval
US8259161B1 (en) * 2012-02-06 2012-09-04 Google Inc. Method and system for automatic 3-D image creation
US8995785B2 (en) 2012-02-28 2015-03-31 Lytro, Inc. Light-field processing and analysis, camera control, and user interfaces and interaction on light-field capture devices
JP6168794B2 (ja) 2012-05-31 2017-07-26 キヤノン株式会社 情報処理方法および装置、プログラム。
US10681304B2 (en) 2012-06-08 2020-06-09 Apple, Inc. Capturing a panoramic image using a graphical user interface having a scan guidance indicator
US8773502B2 (en) 2012-10-29 2014-07-08 Google Inc. Smart targets facilitating the capture of contiguous images
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
IL226751A (en) * 2013-06-04 2014-06-30 Elbit Systems Ltd A method and system for coordinating imaging sensors
WO2015199257A1 (ko) * 2014-06-25 2015-12-30 삼성전자 주식회사 초음파 영상의 관심영역 획득 지원 장치 및 방법

Also Published As

Publication number Publication date
US10165254B2 (en) 2018-12-25
EP3089449A1 (en) 2016-11-02
CN106101522A (zh) 2016-11-09
US20160323557A1 (en) 2016-11-03
JP2016213825A (ja) 2016-12-15
EP3089449B1 (en) 2020-03-04

Similar Documents

Publication Publication Date Title
KR20160129779A (ko) 비-라이트 필드 이미징 디바이스를 사용하여 라이트 필드 데이터를 획득하는 방법, 대응하는 디바이스, 컴퓨터 프로그램 제품 및 비일시적 컴퓨터 판독가능 캐리어 매체
CN105391910B (zh) 多摄像机激光扫描仪
CN105659580B (zh) 一种自动对焦方法、装置及电子设备
CN107005655B (zh) 图像处理方法
KR20160140452A (ko) 이미지 기반의 라이트 필드를 사용자의 디바이스 상에 표시하기 위한 방법 및 장치, 및 대응하는 컴퓨터 프로그램 제품
US20150036888A1 (en) Sequential rolling bundle adjustment
JP2019510234A (ja) 奥行き情報取得方法および装置、ならびに画像取得デバイス
CN103907341A (zh) 图像生成装置和图像生成方法
CN103907340A (zh) 图像生成装置和图像生成方法
KR20080027443A (ko) 촬상장치 및 촬상장치 제어방법과, 컴퓨터 프로그램
WO2011005783A2 (en) Image-based surface tracking
JP6320075B2 (ja) 画像処理装置およびその制御方法
CN106998413A (zh) 图像处理设备、摄像设备和图像处理方法
JP6881917B2 (ja) 距離計測装置、撮像制御装置
US10212330B2 (en) Autofocusing a macro object by an imaging device
CN107122770A (zh) 多目相机系统、智能驾驶系统、汽车、方法和存储介质
Cvišić et al. Recalibrating the KITTI dataset camera setup for improved odometry accuracy
CN102265627A (zh) 图像数据获得方法和图像数据获得设备
JP2012015642A (ja) 撮像装置
US20110149045A1 (en) Camera and method for controlling a camera
JP6967464B2 (ja) 画像処理装置
JP6986854B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP2007278871A (ja) 動き量計算装置
JP2017092839A5 (ko)
CN114788254A (zh) 辅助对焦方法、装置及系统