KR20230152168A - 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법 - Google Patents

이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법 Download PDF

Info

Publication number
KR20230152168A
KR20230152168A KR1020237036169A KR20237036169A KR20230152168A KR 20230152168 A KR20230152168 A KR 20230152168A KR 1020237036169 A KR1020237036169 A KR 1020237036169A KR 20237036169 A KR20237036169 A KR 20237036169A KR 20230152168 A KR20230152168 A KR 20230152168A
Authority
KR
South Korea
Prior art keywords
model
interest
image
scene
registration error
Prior art date
Application number
KR1020237036169A
Other languages
English (en)
Inventor
줄리앙 플뢰로
피에르 옐리에
베누아 반담
Original Assignee
인터디지털 씨이 페턴트 홀딩스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 씨이 페턴트 홀딩스 filed Critical 인터디지털 씨이 페턴트 홀딩스
Publication of KR20230152168A publication Critical patent/KR20230152168A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/571—Depth or shape recovery from multiple images from focus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 대체로 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법에 관련된다. 카메라의 고유 파라미터들 및 대상의 3D 모델의 지식에 기초하여 대상에 대하여 카메라의 포지션을 결정하는 것을 허용하는 많은 방법들이 알려져 있다. 그러나, 사용되는 시각적 서보잉 기법에 상관없이, 이미지 공간에서의 제어가 없고 대상은 서보잉 동안 카메라 시야로부터 벗어날 수도 있다. 관심 대상의 3D 모델로부터 획득된 재-포커싱 표면과 상기 관심 대상에 관련한 취득된 4-차원 광-필드 데이터에 기초한 초점 스택의 교차를 컴퓨팅함으로써 생성된 상기 관심 대상의 이미지에 관련한 레지스트레이션 오차 맵을 획득하는 것이 제안된다.

Description

이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법{AN APPARATUS AND A METHOD FOR OBTAINING A REGISTRATION ERROR MAP REPRESENTING A LEVEL OF SHARPNESS OF AN IMAGE}
본 개시물은 대체로 4-차원 광-필드 데이터로부터 레지스트레이션 오차 맵 (registration error map) 을 획득하는 장치 및 방법에 관한 것으로, 그러한 레지스트레이션 오차 맵은 표면들의 시각적 안내 또는 품질 제어와 같은 시각적 서보잉 (visual servoing) 애플리케이션들에서 사용될 수도 있다.
시각적 서보잉이 시각적 피드백 정보를 사용하여 로봇, 또는 일부 경우들에서 인간과 같은 최종-사용자의 모션을 제어하는 기법이다. 이 시각적 피드백 정보는 로봇에 접속되거나 또는 그 로봇에 내장된 카메라와 같은 시각 센서로부터 수신되거나, 또는 모바일 폰 또는 태블릿과 같은 최종-사용자에 속하는 디바이스의 스크린 상에 디스플레이된다.
『"Path Planning for 3D Visual Servoing: for a Wheeled mobile Robot", H. Mekki & M. Letaiel, IEEE 2013 International Conference on Individual and Collective Behaviours in Robotics』에서 개시된 바와 같이; 시각적 서보잉에서 두 가지 접근법들이 있는데, 제 1 접근법은 이미지-기반 제어 또는 IBC이고 제 2 접근법은 포지션-기반 제어 또는 PBC이다.
IBC에서, 시각적 피드백은 이미지에서 직접적으로 정의된다. 그러나, IBC는 안정성 및 수렴 문제들을 겪는다.
3D 시각적 서보잉이라고 또한 불리는 PBC에서, 제어 오차 함수가 데카르트 공간에서 컴퓨팅되고 이미지 특징들이 그 이미지로부터 추출된다. 타겟의 완벽한 모델이 카메라 프레임에 대하여 타겟의 포지션을 결정하기 위하여 사용된다. 카메라의 고유 파라미터들 및 타겟의 3D 또는 2D 모델의 지식에 기초하여 타겟에 대하여 카메라의 포지션을 결정하는 것을 허용하는 많은 방법들이 알려져 있다. 이들 방법들은 점, 선 등과 같은 상이한 성질의 시각적 정보를 사용한다.
그러나, 시각적 서보잉 기법에 상관없이, IBC이든 또는 PBC이든, 이미지 공간에서의 제어가 없고 서보잉 동안 대상은 카메라 시야로부터 벗어나, 카메라 및 대상의 상대적 포즈를 결정하는 것을 어렵게 할 수도 있다.
본 발명의 제 1 양태에 따르면 레지스트레이션 오차 맵이라 불리는, 이미지의 복수의 화소들의 선명도 레벨을 나타내는 맵을 획득하는 장치가 제공되며, 그 장치는, 관심 대상의 3-차원 모델로부터 획득된 재-포커싱 표면과 상기 관심 대상에 관련한 취득된 4-차원 광-필드 데이터에 기초한 초점 스택의 교차를 컴퓨팅함으로써 생성된 상기 관심 대상의 이미지에 관련한 레지스트레이션 오차 맵을 획득하도록 구성되는 프로세서를 포함한다.
본 발명의 일 실시형태에 따르면, 그 프로세서는 기준 포지션에 설정될 때 관심 대상의 3-차원 모델의 거리 맵을 컴퓨팅함으로써 재-포커싱 표면을 결정하도록 구성된다.
본 발명의 일 실시형태에 따르면, 그 프로세서는, 재-포커싱될 이미지의 각각의 화소에 대해, 미리 정의된 재-포커싱 표면으로부터 초점 스택을 구성하는 이미지들 중 하나의 이미지에 대응하는 재-포커싱 거리를 결정함으로써, 재-포커싱 표면과 초점 스택의 교차를 컴퓨팅하도록 구성된다.
본 발명의 일 실시형태에 따르면, 그 프로세서는 재-포커싱된 이미지의 화소들의 선명도 레벨에 관련한 정보에 기초하여 디스플레이될 레지스트레이션 오차 맵의 외양을 생성하도록 구성된다.
본 발명의 일 실시형태에 따르면, 그 프로세서는 상기 장치의 디스플레이 디바이스 상에 획득된 레지스트레이션 오차 맵을 디스플레이하도록 구성된다.
본 발명의 다른 양태는 레지스트레이션 오차 맵이라 불리는, 이미지의 복수의 화소들의 선명도 레벨을 나타내는 맵을 획득하는 방법에 관련되며, 그 방법은 관심 대상의 3-차원 모델로부터 획득된 재-포커싱 표면과 상기 관심 대상에 관련한 취득된 4-차원 광-필드 데이터에 기초한 초점 스택의 교차를 컴퓨팅함으로써 생성된 상기 관심 대상의 이미지에 관련한 레지스트레이션 오차 맵을 획득하는 단계를 포함한다.
본 발명의 일 실시형태에 따르면, 재-포커싱 표면을 결정하는 것은 기준 포지션에 설정될 때 관심 대상의 3-차원 모델의 거리 맵을 컴퓨팅하는 것을 포함한다.
본 발명의 일 실시형태에 따르면, 재-포커싱 표면과 초점 스택의 교차를 컴퓨팅하는 것은, 재-포커싱될 이미지의 각각의 화소에 대해, 재-포커싱 표면으로부터 초점 스택을 구성하는 이미지들 중 하나의 이미지에 대응하는 재-포커싱 거리를 결정하는 것을 포함한다.
본 발명의 일 실시형태에 따르면, 그 방법은 재-포커싱된 이미지의 화소들의 선명도 레벨에 관련한 정보에 기초하여 디스플레이될 레지스트레이션 오차 맵의 외양을 생성하는 것을 포함한다.
본 발명의 일 실시형태에 따르면, 그 방법은 디스플레이 디바이스 상에 획득된 레지스트레이션 오차 맵을 디스플레이하는 것을 포함한다.
본 개시물의 엘리먼트들에 의해 구현되는 일부 프로세스들이 컴퓨터 구현될 수도 있다. 따라서, 이러한 엘리먼트들은 완전히 하드웨어 실시형태, 완전히 소프트웨어 실시형태 (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함) 또는 본 명세서에서는 모두가 일반적으로 "회로", "모듈" 또는 "시스템"이라고 지칭될 수도 있는 소프트웨어 및 하드웨어 양태들을 조합하는 실시형태의 형태를 취할 수도 있다. 더욱이, 이러한 엘리먼트들은 매체에 수록된 컴퓨터 사용가능 프로그램 코드를 갖는 표현의 임의의 유형의 매체에 구체화된 컴퓨터 프로그램 제품의 형태를 취할 수도 있다.
본 개시물의 엘리먼트들이 소프트웨어로 구현될 수 있으므로, 본 개시물은 임의의 적합한 운반 매체 상에 프로그램가능 장치에의 프로비저닝을 위한 컴퓨터 판독가능 코드로서 수록된다. 유형의 캐리어 매체가 플로피 디스크, CD-ROM, 하드 디스크 드라이브, 자기 테이프 디바이스 또는 고체 상태 메모리 디바이스 등과 같은 저장 매체를 포함할 수도 있다. 일시적인 캐리어 매체가 전기 신호, 전자 신호, 광학적 신호, 음향 신호, 자기적 신호 또는 전자기 신호, 예컨대, 마이크로파 또는 RF 신호와 같은 신호를 포함할 수도 있다.
본 개시물의 목적 및 장점들은 특히 청구항들에서 적시되는 엘리먼트들 및 조합들에 의해 실현되고 달성될 것이다.
전술한 일반적인 설명 및 다음의 설명 양자 모두는 예시적이고 설명적이며 청구되는 바와 같은 본 발명을 제한하는 것은 아니라는 것이 이해된다.
도 1a는 플렌옵틱 카메라를 개략적으로 나타내며,
도 1b는 멀티-어레이 카메라를 나타내며,
도 2는 광-필드 카메라의 이미지 센서의 감지 표면 상에 배열된 센서 지역들의 평면도이며,
도 3은 이상적인, 완벽한 얇은 렌즈 모델을 포함하는 개략적 광-필드 카메라를 예시하며,
도 4는 본 개시물의 일 실시형태에 따른 이미지의 퍼지니스 (fuzziness) 의 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치의 일 예를 도시하는 개략적인 블록도이며,
도 5는 본 개시물의 일 실시형태에 따른 이미지의 퍼지니스의 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 프로세스를 설명하는 흐름도이며,
도 6은 디지털 이미지를 도출하는 거리 맵을 나타내며,
도 7은 취득된 4D 광-필드 데이터로부터 컴퓨팅된 초점 스택을 나타내며,
도 8은 본 개시물의 일 실시형태에 따른 이미지의 퍼지니스의 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 프로세스를 실행함으로써 획득된 레지스트레이션 오차 맵을 나타내며,
도 9는 본 개시물의 일 실시형태에 따른 레지스트레이션 오차 맵을 나타낸다.
본 기술분야의 통상의 기술자에 의해 이해될 바와 같이, 본원의 원리들의 양태들은 시스템, 방법 또는 컴퓨터 판독가능 매체로서 실시될 수 있다. 따라서, 본원의 원리들의 양태들은 완전히 하드웨어 실시형태, 완전히 소프트웨어 실시형태 (펌웨어, 상주 소프트웨어, 마이크로-코드 등을 포함) 또는 본 명세서에서는 모두가 일반적으로 "회로", "모듈" 또는 "시스템"이라고 지칭될 수도 있는 소프트웨어 및 하드웨어 양태들을 조합하는 실시형태의 형태를 취할 수 있다. 더욱이, 본원의 원리들의 양태들은 컴퓨터 판독가능 저장 매체의 형태를 취할 수 있다. 하나 이상의 컴퓨터 판독가능 저장 매체(들)의 임의의 조합이 이용될 수도 있다.
플렌옵틱 카메라는, 메인 렌즈와 센서 사이에 마이크로렌즈 어레이를 배치함으로써 센서에 교차하는 각각의 광선 번들을 따라 이동하는 광의 양을 측정할 수 있다. 그런 카메라에 의해 취득된 데이터는 광-필드 데이터라 불린다. 이들 광-필드 데이터는 상이한 시점들로부터 장면의 이미지들을 재구성하기 위해 사후-프로세싱될 수 있다. 광-필드 데이터는 상이한 재-포커싱 깊이를 각각 갖는 이미지들의 컬렉션을 포함하는 초점 스택을 생성하는데 사용될 수 있다. 그 결과, 사용자가 이미지들의 초점을 변경시킬 수 있다. 기존의 카메라와 비교하면, 플렌옵틱 카메라는 사후-프로세싱에 의해 상이한 시점들 및 재-포커싱 깊이로부터 장면의 이미지들의 재구성을 성취하기 위한 추가적인 광학적 정보 성분들을 획득할 수 있다.
따라서, 관심 대상에 관해서 올바른 포지션을 찾는데 도움이 되는 임의의 추가적인 정보가 유용한 경우 시각적 서보잉 및 시각적 안내의 맥락에서 광-필드 데이터의 이들 특이성들을 사용하는 것이 가능하다.
도 1a는 플렌옵틱 카메라 (100) 를 개략적으로 나타내는 도면이다. 광-필드 카메라들은 4-차원 (또는 4D) 광-필드 데이터를 기록할 수 있다. 플렌옵틱 카메라 (100) 는 메인 렌즈 (101), 마이크로렌즈 어레이 (102) 및 이미지 센서 (104) 를 포함한다.
도 1b는 멀티-어레이 카메라 (110) 를 나타낸다. 멀티-어레이 카메라 (110) 는 렌즈 어레이 (112) 와 이미지 센서 (114) 를 포함한다.
도 1a에 도시된 바와 같은 플렌옵틱 카메라 (100) 의 예에서, 메인 렌즈 (101) 는 메인 렌즈 (101) 의 대상 필드에서의 대상 (도면에 도시되지 않음) 으로부터의 광을 수광하고 그 광을 메인 렌즈 (101) 의 이미지 필드를 통과시킨다. 마이크로렌즈 어레이 (102) 는 2-차원 어레이로 배열된 복수의 마이크로렌즈들 (103) 을 포함한다.
광-필드 카메라에 의해 캡처된 데이터는 상이한 시점들로부터 장면의 이미지들을 재구성하기 위해 사후-프로세싱될 수 있다. 광-필드 카메라가 약간 변경된 시점들에서부터 동일한 장면의 부분 뷰들의 컬렉션을 캡처할 수 있으므로, 그들 상이한 부분적 뷰들을 결합함으로써 커스터마이즈된 초점 평면을 갖는 이미지를 생성하는 것이 가능하다.
도 2는 광-필드 카메라의 이미지 센서의 감지 표면 상에 배열된 센서 지역들의 일 예를 개략적으로 도시하는 평면도이다. 도 2에 도시된 바와 같이, 이미지 센서 (200) 는 2-차원 어레이로 배열된 복수의 화소들 (201) 을 포함하고, 대상으로부터 마이크로렌즈 어레이 (202) 를 통해 광을 수광한다. 마이크로렌즈 어레이 (202) 의 마이크로렌즈들 (203) 의 각각은 광을 이미지 센서 (200) 상의 원형 영역 (204) 으로 향하게 하는 렌즈 성질들을 가진다. 원형 영역 (204) 의 외부 윤곽은 이미지 센서 (200) 상에 형성되고 캡처된 마이크로렌즈 이미지의 모양을 나타낼 수도 있고, 그 마이크로렌즈 이미지의 모양은 마이크로렌즈 (203) 의 모양에 따라 달라진다. 이미지 센서 (200) 상의 화소들 (201) 의 모두 중에서, 원형 영역 (204) 의 실질적으로 내부에 위치된 화소들 (201) 만이 이미지화에 기여한다. 다르게 말하면, 이미지화에 기여하는 각각의 화소 (201) 의 화소 영역 (또는 감지 영역) 이 원형 영역 (204) 의 실질적으로 내부에 위치된다.
광-필드 카메라의 이미지 센서 (200) 는 2D 이미지 내에 배열된 2-차원 (또는 2D) 마이크로렌즈 이미지들의 컬렉션을 포함하는 이미지를 기록한다. 마이크로렌즈 어레이 (202) 의 각각의 마이크로렌즈 (203) 는 원형 영역 (204) 에 의해 표현되는 마이크로렌즈 이미지를 형성한다. 센서 (200) 상의 화소들 (201) 의 좌표들은 도 2에 도시된 바와 같은 이미지 센서 (200) 의 표면 상의 x-y 좌표계에서 순서화된 쌍 (x,y)에 의해 표시된다. 거리 (p) 는 두 개의 연속적인 마이크로렌즈 이미지들 사이의 거리이다. 마이크로렌즈들 (203) 은 거리 (p) 가 화소 (201) 의 사이즈보다 더 크도록 선택된다. 거리 (w) 는 두 개의 연속적인 마이크로렌즈 이미지들 사이의 디스패리티 거리이다. 마이크로렌즈 이미지들은 도 2에 도시된 바와 같은 이미지 센서 (200) 의 표면 상의 i-j 좌표계에서 자신들의 각각의 좌표들 (i,j) 에 의해 참조된다.
위에서 언급된 바와 같이, 원형 영역 (204) 의 실질적으로 내부에 위치된 화소들 (201) 만이 마이크로렌즈 (203) 를 통해 광을 수광한다. 마이크로렌즈 간 공간은 광자들이 마이크로렌즈 (203) 외부로 지나가는 것을 방지하기 위해 마스킹될 수도 있다. 마이크로렌즈들 (203) 이 정사각형 형상을 가지고 마이크로렌즈 간 공간이 형성되지 않으면, 그런 마스킹은 필요하지 않다.
마이크로렌즈 이미지 (i,j)의 중심은 x-y 좌표계에서 좌표 (xi,j,yi,j) 에 있는 이미지 센서 (200) 상에 위치된다. θ는 화소들 (201) 의 정방형 격자와 마이크로렌즈들 (204) 의 정방형 격자 사이의 각도를 나타낸다. 마이크로렌즈 이미지의 중심의 좌표들 (xi,j,yi,j) 는 (x0,0,y0,0) 를 마이크로렌즈 이미지 (0,0) 의 화소 좌표로서 간주하여 다음의 수학식 (1) 에 의해 연역될 수 있다:
(1)
거리들 (p 및 w) 은 화소 단위로 주어진다. 그것들은 다음과 같이 미터 단위의 화소 사이즈 (δ) 를 곱함으로써 물리적 거리 단위, 예를 들어 미터들 (P 및 W) 로 각각 변환된다: W = δw 그리고 P = δp. 이들 거리들은 광-필드 카메라의 특성들에 따라 달라진다.
여기서, 광-필드 카메라의 예시적인 광학적 성질들이 이상적인, 완벽한 얇은 렌즈 모델을 포함하는 개략적 광-필드 카메라를 예시하는 도 3을 참조하여 논의될 것이다.
메인 렌즈 (301) 는 초점 거리 (F) 와 조리개 (aperture) () 를 가진다. 마이크로렌즈 어레이 (302) 는 초점 거리 () 를 갖는 마이크로렌즈들 (303) 을 포함한다. 마이크로렌즈 어레이 (302) 의 피치는 이다. 마이크로렌즈 어레이 (302) 는 메인 렌즈 (301) 로부터의 거리 (D) 에 그리고 센서 (304) 로부터의 거리 (d) 에 위치된다. 대상 (도면에 도시되지 않음) 이 메인 렌즈 (301) 로부터의 거리 (z) 에 위치된다. 이 대상은 메인 렌즈 (301) 에 의해 메인 렌즈 (301) 로부터의 거리 (z') 에 포커싱된다. 도 3은 D > z' 인 경우를 예시한다. 이 경우, 마이크로렌즈 이미지들은 d 및 에 의존하여 센서 (304) 상에 초점이 맞을 수 있다.
디스패리티 (W) 는 대상과 메인 렌즈 (301) 사이의 거리 (z) 에 따라 달라진다. W 및 z 사이의 관계의 확립은 다음의 얇은 렌즈 수학식 (2) 와 탈레스 법칙의 수학식 (3) 에 의존한다:
(2)
(3)
그러면, 다음의 수학식 (4) 는 수학식 (2) 및 (3) 을 혼합함으로써 연역된다.
(4)
W 및 z 사이의 관계는 마이크로렌즈 이미지들이 초점이 맞는다는 가정을 전제하지 않는다. 마이크로렌즈 이미지들은 다음의 얇은 렌즈 수학식에 따라 엄밀하게 초점이 맞는다:
(5)
광-필드 카메라의 주요 특성이 이미지들의 샷 후에 재-포커싱 거리가 자유롭게 조정 가능한 경우 2D 재-포커싱된 이미지들을 컴퓨팅할 수 있다는 것이다.
N x 및 N y 가 각각 x-축 및 y-축을 따르는 화소들의 수를 나타내는 사이즈 [N x ,N y ]의 4D 광-필드 이미지 (L) 가, 마이크로렌즈 이미지들을 시프팅하고 줌잉한 다음 그것들을 2D 이미지가 되게 합산함으로써 2D 이미지에 투영된다. 마이크로렌즈 이미지들의 시프트 양은 재-포커싱 거리를 제어한다. 4D 광-필드 이미지 (L) 에서의 좌표들 (x,y,i,j)의 화소의 재-포커싱된 2D 이미지 좌표 (X,Y) 로의 투영은, 다음에 의해 정의되며:
(6)
여기서 s는 2D 재-포커싱된 이미지의 사이즈를 제어하고, 는 재-포커싱된 이미지의 포커싱 거리를 제어한다. 이 수학식 (6) 은 수학식 (1) 을 고려하여 다음의 수학식 (7) 로서 다시 쓰여질 수 있다:
(7)
파라미터 () 는 수학식 (8) 에서처럼 p 및 w의 함수로서 표현될 수 있다. 파라미터 () 는 마이크로렌즈 이미지들 상에서, 그것들의 중심들을 기준으로 사용하여 수행되어야만 하는 줌을 나타내어서, 동일한 대상들의 다양한 줌잉된 뷰들이 중첩된다.
(8)
수학식 (7) 은 다음이 된다:
(9)
도 4는 본 개시물의 일 실시형태에 따른 이미지의 퍼지니스의 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치의 일 예를 도시하는 개략적인 블록도이다.
장치 (400) 는 프로세서 (401), 저장 유닛 (402), 입력 디바이스 (403), 디스플레이 디바이스 (404), 및 인터페이스 유닛 (405) 을 포함하며, 그것들은 버스 (406) 에 의해 접속된다. 물론, 컴퓨터 장치 (400) 의 구성 엘리먼트들은 버스 접속이 아닌 접속에 의해 접속될 수도 있다.
프로세서 (401) 는 장치 (400) 의 동작들을 제어한다. 저장 유닛 (402) 은 프로세서 (401) 에 의해 실행될 적어도 하나의 프로그램과, 광-필드 카메라에 의해 캡처되고 제공되는 4D 광-필드 이미지들의 데이터, 프로세서 (401) 에 의해 수행되는 컴퓨테이션들에 의해 사용되는 파라미터들, 프로세서 (401) 에 의해 수행되는 컴퓨테이션들의 중간 데이터 등을 포함하는 다양한 데이터를 저장한다. 프로세서 (401) 는 임의의 공지되고 적합한 하드웨어, 또는 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합에 의해 형성될 수도 있다. 예를 들어, 프로세서 (401) 는 프로세싱 회로와 같은 전용 하드웨어에 의해, 또는 자신의 메모리에 저장된 프로그램을 실행하는 CPU (Central Processing Unit) 와 같은 프로그램가능 프로세싱 유닛에 의해 형성될 수도 있다.
저장 유닛 (402) 은 프로그램, 데이터 등을 컴퓨터-판독가능 방식으로 저장할 수 있는 임의의 적합한 스토리지 또는 수단에 의해 형성될 수도 있다. 저장 유닛 (402) 의 예들은 비-일시적 컴퓨터-판독가능 저장 매체, 이를테면 반도체 메모리 디바이스들, 및 판독 및 기입 유닛 속에 로딩된 자기적, 광학적, 또는 광-자기 기록 매체를 포함한다. 프로그램은 도 5를 참조하여 이하에서 설명되는 본 개시물의 일 실시형태에 따른 이미지의 퍼지니스의 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 프로세스를 프로세서 (401) 로 하여금 수행하게 한다.
입력 디바이스 (403) 는 관심 대상의 3-차원 (또는 3D) 모델들의 사용자의 선택들이 재-포커싱 표면을 정의하기 위한 사용을 하게 하는 커맨드들을 입력하는 사용자에 의한 사용을 위해 키보드, 마우스와 같은 포인팅 디바이스 등에 의해 형성될 수도 있다. 출력 디바이스 (404) 는, 예를 들어, 그래픽 사용자 인터페이스 (GUI), 본 개시물의 일 실시형태에 따른 생성된 이미지들을 디스플레이하는 디스플레이 디바이스에 의해 형성될 수도 있다. 입력 디바이스 (403) 와 출력 디바이스 (404) 는, 예를 들어, 터치스크린 패널에 의해 일체로 형성될 수도 있다.
인터페이스 유닛 (405) 은 장치 (400) 와 외부 장치 사이에 인터페이스를 제공한다. 인터페이스 유닛 (405) 은 외부 장치와 케이블 또는 무선 통신을 통해 통신 가능할 수도 있다. 일 실시형태에서, 외부 장치는 광-필드 카메라일 수도 있다. 이 경우, 광-필드 카메라에 의해 캡처된 4D 광-필드 이미지들의 데이터는 광-필드 카메라로부터 장치 (400) 에 인터페이스 유닛 (405) 을 통해 입력된 다음, 저장 유닛 (402) 에 저장될 수 있다.
이 실시형태에서 장치 (400) 는 그것이 광-필드 카메라와는 별개이고 케이블 또는 무선 통신을 통해 서로 통신 가능한 것으로 예시적으로 논의되지만, 장치 (400) 는 이러한 광-필드 카메라와 일체로 될 수도 있다는 것에 주의해야 한다. 이 후자의 경우에, 장치 (400) 는 예를 들어 광-필드 카메라를 내장한 태블릿 또는 스마트폰과 같은 휴대용 디바이스일 수도 있다.
도 5는 본 개시물의 일 실시형태에 따른 이미지의 퍼지니스의 레벨를 나타내는 오차 레지스트레이션 맵을 획득하기 위한 프로세스를 설명하는 흐름도이다.
오차 레지스트레이션 맵을 획득하는 프로세스의 제 1 페이즈 (Ph1) 에서, 재-포커싱 표면이 관심 대상의 3-차원 모델로부터 결정된다. 제 1 페이즈 (Ph1) 는 단계 501 내지 503을 포함한다.
단계 501 동안, 프로세서 (401) 는 장치 (400) 의 디스플레이 (404) 상에서 GUI 기능을 실행한다. 이 GUI 기능은 장치 (400) 의 사용자가 장치 (400) 의 저장 유닛 (402) 에 저장된 대상들의 복수의 3D 모델들로부터 관심 대상의 3D 모델을 선택하는 것을 허용한다. 디스플레이 (404) 상의 GUI 상에서의 사용자의 3D 모델의 선택은 포인팅 디바이스를 사용하여 관심 대상에 대응하는 3D 모델에 포인팅함으로써 이루어질 수 있다. 본 개시물의 다른 실시형태에서, 관심 대상의 3D 모델은 예를 들어 대상 또는 장면에 연관된 다차원 코드를 디코딩함으로써 자동으로 선택된다. 다차원 코드는 예를 들어 장치 (400) 에 내장된 카메라에 의해 캡처되거나 또는 외부 장치로부터 케이블 또는 무선 통신을 통해 송신된다. 그 후자의 경우, 다차원 코드의 디코딩은 외부 장치에 의해 실행될 수 있고 디코딩의 결과는 장치 (400) 로 송신된다. 다음으로, 선택된 3D 모델은 저장 유닛 (402) 에 저장된다.
일단 관심 대상의 3D 모델이 선택되면, 대상의 시점이 단계 502에서 선택된다. 본 개시물의 일 실시형태에서, 이 시점 또는 기준 포지션은, 관심 대상에 연관된 다차원 코드에서 특정될 수도 있다. 본 개시물의 다른 실시형태에서, 장치 (400) 의 사용자는 예를 들어 포인팅 디바이스를 사용하여 시점을 스스로 선택하고 그의 선택 포지션에 3D 모델을 포지셔닝할 수도 있다. 다음으로, 선택된 시점에 관련된 정보는 장치 (400) 의 저장 유닛 (402) 에 저장된다.
단계 503에서, 기준 포지션에 설정될 때의 관심 대상의 선택된 3D 모델의 거리 맵이 컴퓨팅된다. 도 6에 관하여, 거리 맵 (60) 이, 디지털 이미지 (61) 의 도출된 표현이다. 거리 맵 (60) 은 디지털 이미지 (61) 의 각각의 화소 (62) 를 가장 가까운 장애물 화소까지의 거리 (63) 로 라벨링한다. 가장 일반적인 유형의 장애물 화소는 이진 이미지 (61) 에서의 경계 화소이다. 거리 맵 (60) 은 장치 (400) 의 프로세서 (401) 에 의해 컴퓨팅된다.
도 5로 되돌아가면, 오차 레지스트레이션 맵을 획득하는 프로세스의 제 2 페이즈 (Ph2) 에서, 관심 대상의 이미지가 관심 대상에 관련된 4D 광-필드 데이터 및 제 1 페이즈 (Ph1) 동안 결정된 재-포커싱 표면에 기초하여 컴퓨팅되고 레지스트레이션 오차 맵이 이 재-포커싱된 이미지로부터 획득된다. 제 2 페이즈 (Ph2) 는 단계 504 내지 509를 포함한다.
단계 504에서, 관심 대상에 관련한 4D 광-필드 데이터가 장치 (400) 에 의해 취득된다. 본 개시물의 일 실시형태에서, 4D 광-필드 데이터는 광-필드 카메라와 같은 외부 장치에 의해 캡처된다. 이 실시형태에서, 4D 광-필드 데이터는 광-필드 카메라로부터 장치 (400) 에 인터페이스 유닛 (405) 를 통해 입력된 다음 저장 유닛 (402) 에 저장될 수도 있다. 본 개시물의 다른 실시형태에서, 장치 (400) 는 광-필드 카메라를 내장한다. 이 경우, 4D 광-필드 데이터는 장치 (400) 의 광-필드 카메라에 의해 캡처된 다음 저장 유닛 (402) 에 저장된다.
단계 505에서, 초점 스택이 프로세서 (401) 에 의해 취득된 관심 대상에 관련한 4D 광-필드 데이터로부터 컴퓨팅된다. 도 7에 관하여, 초점 스택 (70) 이 이미지들의 큐브를 정의하는 N 개의 재-포커싱된 이미지들 (R n ) (단 n ∈ [1,N]) 의 집합이며, 여기서 N은 사용자 선택된 이미지 수이다. N 개의 재-포커싱된 이미지들은 수학식 (4) 및 (8) 에 의해 정의된 과 사이의 포커싱 거리들의 범위에 대응하는 과 사이에서 선형적으로 변화하는 에 대해 컴퓨팅된다. 다른 옵션은 수학식 (4) 에 의해 정의된 과 사이의 포커싱 거리들의 범위에 대응하는 및 로부터 선형적으로 가변하는 초점 스택을 컴퓨팅하는 것이다. 또는 의 min max 경계들은 및 내에서 포커싱 거리로 재-포커싱된 이미지들을 둘러싸기 위하여 사용자에 의해 정의된다.
이 실시형태에서 설명되는 초점 스택 (70) 의 컴퓨테이션은 4D 광-필드 데이터가 렌즈 어레이 및 옵션적으로 메인 렌즈를 갖는 단일 이미지 센서에 의해 기록된다고 가정한다. 그러나, 초점 스택 (70) 의 컴퓨테이션은 이러한 유형의 광-필드 카메라에 의해 기록된 4D 광-필드 데이터로 제한되지 않고, 그러므로 임의의 유형들의 광-필드 카메라들에 의해 기록된 4D 광-필드 데이터에 기초하여 재-포커싱된 이미지들의 초점 스택을 컴퓨팅하는 것이 가능하다는 것에 주의해야 한다.
도 5로 되돌아가면, 단계 506에서, 프로세서 (401) 는 제 1 페이즈 (Ph1) 동안 결정된 재-포커싱 표면과 단계 505 동안 컴퓨팅된 초점 스택 (70) 의 교차를 컴퓨팅한다.
도 8에 관하여, 재-포커싱될 이미지 (81) 의 좌표들 (x, y) 의 각각의 화소 (80) 에 대해, 프로세서 (401) 는, 단계 506 동안, 단계 503 동안 컴퓨팅된 거리 맵으로부터 포커싱 거리 (z) 를 결정한다. 실제로, 이미지의 각각의 화소 (x, y) 에 대해, 대응하는 거리 맵은 거리 정보 (Z) 와 연관된다. 따라서, 재-포커싱될 이미지 (81) 의 각각의 화소 (x, y) 에 대해, 포커싱 거리 (z) 는 거리 맵의 화소 (x, y) 에 연관된 거리 정보 (Z) 를 고려함으로써 거리 맵으로부터 취출된다. 재-포커싱 거리 (z) 는 초점 스택 (82) 을 구성하는 이미지들 (R n ) 중 하나의 이미지에 대응한다.
그 다음에, 도 5로 되돌아가 단계 507에서, 프로세서 (401) 는 초점 스택과 재-포커싱 표면의 교차에 속하는 모든 좌표들 (x, y, z) 의 화소들을 결합함으로써 재-포커싱된 이미지를 생성한다.
단계 608에서, 장치 (400) 의 프로세서 (401) 는 레지스트레이션 오차 맵을 컴퓨팅한다. 도 9 상에 나타낸 바와 같이, 레지스트레이션 오차 맵 (90) 이 디지털 이미지 (92) 의 각각의 화소 (91) 를 상기 화소 (92) 의 퍼지니스의 레벨에 관련한 정보 (93) 로 라벨링한다. 예를 들어, 퍼지니스에 관련한 정보 (93) 는 최고 퍼지니스의 레벨을 표시하는 0과, 최고 선명도 레벨 (또는 최저 퍼지니스의 레벨) 을 표시하는 1 사이에 포함되는 값일 수도 있으며, 그 값의 증분은 예를 들어 0.25인 화소의 퍼지니스의 레벨을 표시한다. 다르게 말하면, 화소의 퍼지니스의 레벨을 표시하는 값은 다음의 값들: 0, 0.25, 0.5, 0.75 또는 1 을 취할 수도 있으며, 값 0은 퍼지니스의 최고 값을 표시하고 값 1은 퍼지니스의 최저 값을 표시한다. 따라서, 도 9 상에 나타낸 이미지 (92) 의 좌측상단 코너는 선명한데, 이미지 (92) 의 좌측상단 코너의 화소들 (91) 에 연관된 퍼지니스의 레벨을 나타내는 정보 (93) 의 값이 1과 동일하기 때문이다. 반면에, 이미지 (92) 의 우측하부 코너는 흐릿한데, 이미지 (92) 의 우측하부 코너의 화소들 (91) 에 연관된 퍼지니스의 레벨을 나타내는 정보 (93) 의 값이 0과 동일하기 때문이다.
도 5로 되돌아가, 단계 509에서, 프로세서 (401) 는 장치 (400) 의 출력 디바이스 (404) 상의 레지스트레이션 오차 맵 상에서 디스플레이를 트리거한다. 출력 디바이스 (404) 상에 디스플레이된 레지스트레이션 오차 맵은 상이한 외양 (appearance) 들을 취할 수도 있다. 본 개시물의 일 실시형태에서, 레지스트레이션 오차 맵은 재-포커싱된 이미지 자체의 외양을 취하며; 다시 말해서, 장치 (400) 의 최종-사용자는 출력 디바이스 (404) 상에 디스플레이된 재-포커싱된 이미지를 보며, 재-포커싱된 이미지의 일부 부분들은 화소의 퍼지니스의 레벨을 표시하는 정보의 값에 의존하여 선명하게 또는 흐릿하게 나타날 수도 있다.
본 개시물의 다른 실시형태에서, 레지스트레이션 오차 맵은 이색 이미지의 외양을 취할 수도 있다. 예를 들어, 퍼지니스에 관련한 정보의 값이 0이면 대응하는 화소는 적색으로 나타날 것이고, 퍼지니스에 관련한 정보의 값이 1이면 대응하는 화소는 청색으로 나타날 것이다. 0과 1 사이의 퍼지니스에 관련한 정보의 값을 갖는 화소에 대해, 상기 화소는 자신의 퍼지니스의 레벨에 의존하여 적색들의 블렌딩된 음영 (blended shade) 또는 청색의 블렌딩된 음영들로 나탄난다. 본 개시물의 이 실시형태에서, 장치 (400) 의 프로세서 (401) 는 퍼지니스의 레벨에 관련한 정보의 값에 기초하여 이미지의 각각의 화소에 연관된 컬러를 결정한 다음, 장치 (400) 의 출력 디바이스 (404) 상에 디스플레이될 레지스트레이션 오차 맵의 외양을 생성한다.
위에서 설명된 바와 같은 레지스트레이션 오차 맵을 획득하는 방법의 장점은 그 방법은 3D 표면들과 같은 복잡한 재-포커싱 표면들 상에서 재-포커싱된 이미지들의 생성을 가능하게 하는 4D 광-필드 데이터의 사용에 의존한다는 것이다. 일단 복잡한 재-포커싱 표면이 결정되면, 재-포커싱 표면과 취득된 4D 광-필드 데이터로부터 컴퓨팅된 초점 스택의 교차를 컴퓨팅함으로써 재-포커싱된 이미지가 획득된다. 재-포커싱된 이미지의 각각의 화소에 대해 상기 화소의 퍼지니스의 레벨에 관련한 정보가 획득되어 레지스트레이션 오차 맵의 컴퓨테이션을 가능하게 한다. 재-포커싱 표면이 복잡한 표면이므로, 레지스트레이션 오차 맵은 관심 대상이 올바른 시점 하에서 현재 보이지 않는다는 것을 반영하며, 즉, 레지스트레이션 오차 맵은 관심 대상의 선명한 이미지를 얻기 위하여 관심 대상에 관해서 최종-사용자가 자신의 시점을 초기 포지션 주위에서 시프트시키는 방법에 관한 직접적인 정보를 장치 (400) 의 최종-사용자에게 제공한다.
따라서 장치 (400) 가 관심 대상의 선명한 이미지를 출력 디바이스 (404) 상에 디스플레이하자마자, 또는 레지스트레이션 오차 맵이 관심 대상에 대응하는 화소들이 선명하다는 것을 표시하자마자, 최종-사용자는 관심 대상이 올바른 시점 하에서 보인다는 것을 안다.
이러한 방법은 용이하고 사용자-친화적인 시각적 안내 솔루션을 제공한다.
위에서 설명된 바와 같은 레지스트레이션 오차 맵을 획득하는 방법의 응용이 인간 또는 로봇 중 어느 하나인 최종-사용자의 시각적 안내이다.
본 개시물의 일 실시형태에서, 최종-사용자는 태블릿과 같은 광-필드 카메라에 내장된 장치 (400) 를 가진 인간이다.
시각적 안내는 박물관의 동상 (statue) 과 같은 관심 대상에 관해 최종-사용자가 정확히 위치되어야 하는 상황들에서 동상에 관한 적절한 포지셔닝이 장치 (400) 의 출력 디바이스 (404) 상의 동상에 관련한 정보의 디스플레이를 트리거할 때 유용하다.
다른 무엇보다도 먼저, 관심 대상의 3D 모델이 이용 가능해야 한다. 예를 들어, 관심 대상의 그런 3D 모델이 장치 (400) 의 저장 유닛 (402) 에 이미 저장되어 있을 수도 있는데, 최종-사용자가 예를 들어 동상들을 하우징하는 박물관에 의해 개발된 애플리케이션을 다운로드하였기 때문이다. 다른 예에서, 관심 대상의 3D 모델은 트리거 이벤트가 발생한 후 서버로부터 다운로드되고 저장 유닛 (402) 상에 저장된다. 그런 트리거 이벤트는 예를 들어 장치 (400) 의 카메라에 의해 캡처된 관심 대상에 관련한 다-차원 코드의 디코딩이며, 그 다-차원 코드는 관심 대상의 3D 모델을 다운로드하는 것이 가능한 URL (Uniform Resource Locator) 과 같은 정보를 내장한다.
다음으로, 본 개시물의 일 실시형태에 따른 레지스트레이션 오차 맵을 획득하는 방법의 제 1 페이즈 (Ph1) 는 장치 (400) 의 프로세서 (401) 에 의해 실행된다. 본 개시물의 일 실시형태에서, 레지스트레이션 오차 맵을 획득하는 방법의 제 1 페이즈 (Ph1) 는 외부 장치에 의해 실행된다. 다음으로, 제 1 페이즈 (Ph1) 동안 획득된 거리 맵은 외부 장치로부터 장치 (400) 에 인터페이스 유닛 (405) 을 통해 입력된 다음, 저장 유닛 (402) 에 저장된다.
관심 대상에 관련한 4D 광-필드 데이터가 취득될 때, 본 개시물의 일 실시형태에 따른 레지스트레이션 오차 맵을 획득하는 방법의 제 2 페이즈 (Ph2) 가 실행되고, 관심 대상의 레지스트레이션 오차 맵은 장치 (400) 의 출력 디바이스 (404) 상에 디스플레이된다.
장치 (400) 의 출력 디바이스 (404) 상에 디스플레이된 레지스트레이션 오차 맵이 블러링된 (blurred) 이미지이면 이는 장치 (400) 의 최종-사용자가 관심 대상에 관해서 올바르게 위치되지 않았음을, 즉, 관심 대상이 재-포커싱 표면이 결정되었던 시점에 따라 보이지 않는다는 것을 의미한다.
이 시각적 피드백에 기초하여, 최종-사용자는 장치 (400) 의 출력 디바이스 (404) 상에 현재 디스플레이된 레지스트레이션 오차 맵이, 관심 대상이 적절한 시점 하에서 보인다는, 즉, 재-포커싱 표면이 결정되었던 시점에 따라 보인다는 것을 의미하는 선명하기까지 자신의 시점을 시프트시킨다.
퍼지니스의 세기 및 모양, 또는 출력 디바이스 (404) 상에 디스플레이된 레지스트레이션 오차 맵의 퍼지니스의 레벨을 표시하는 컬러들인 적색 또는 청색의 양은, 최종-사용자가 관심 대상이 현재 보이는 시점을 시프트하기 위하여 자신이 장치 (400) 를 어느 방향으로 이동시켜야 하는지를 결정하는 것을 돕는다.
최종-사용자가 로봇일 때, 프로세서 (401) 는 디지털 이미지의 화소들의 퍼지니스의 레벨에 관련한 정보를 장치 (400) 의 인터페이스 유닛 (405) 을 통해 로봇의 모션을 제어하는 장치로 송신할 수도 있다.
디지털 이미지의 화소들의 퍼지니스에 관련한 이들 정보에 기초하여, 로봇의 모션을 제어하는 장치는 관심 대상의 선명한 이미지를 획득하기 위하여 로봇이 어느 방향으로 이동해야 하는지를 결정할 수도 있다.
그밖에, 로컬라이제이션 시스템, 이를테면 GPS (Global Positioning System), 또는 임의의 실내 포지셔닝 시스템들이, 최종-사용자가 관심 대상을 볼 적절한 포지션을 발견하는 것을 돕기 위해 사용될 수도 있다.
본 개시물의 일 실시형태에서, 레지스트레이션 오차 맵의 퍼지니스는 시각적 안내 효과를 증가시키기 위하여 레지스트레이션 오차 맵의 특정한 영역들에서 일부러 과장될 수도 있다. 따라서, 이 시각적 피드백에 기초하여, 최종-사용자는 기준 포지션에 도달하기 위해 장치 (400) 를 어느 방향으로 이동시켜야 하는지를 안다.
위에서 설명된 바와 같은 레지스트레이션 오차 맵을 획득하는 방법의 다른 응용이 인간 또는 로봇 중 어느 하나인 최종-사용자에 의해 실행되는 품질 제어 프로세스 동안의 표면의 체크이다.
본 개시물의 일 실시형태에서, 최종-사용자는 태블릿과 같은 광-필드 카메라에 내장된 장치 (400) 를 가진 인간이다.
재-포커싱 표면 상에서 이미지를 재-포커싱하는 것은 최종-사용자가 예를 들어 비행기 날개의 부분과 같은 관심 대상의 표면을 체크해야 하는 상황들에서 유용할 수도 있다.
관심 비행기 날개의 부분의 3D 모델이 이용 가능해야 한다. 예를 들어, 체크될 비행기 날개의 부분의 그런 3D 모델이 장치 (400) 의 저장 유닛 (402) 에 이미 저장될 수도 있다.
다음으로, 본 개시물의 일 실시형태에 따른 레지스트레이션 오차 맵을 획득하는 방법의 제 1 페이즈 (Ph1) 는 장치 (400) 의 프로세서 (401) 에 의해 실행된다. 본 개시물의 일 실시형태에서, 레지스트레이션 오차 맵을 생성하는 방법의 제 1 페이즈 (Ph1) 는 외부 장치에 의해 실행된다. 다음으로, 제 1 페이즈 (Ph1) 동안 획득된 거리 맵은 외부 장치로부터 장치 (400) 에 인터페이스 유닛 (405) 을 통해 입력된 다음, 저장 유닛 (402) 에 저장된다.
체크될 비행기 날개의 부분에 관련한 4D 광-필드 데이터가 취득될 때, 본 개시물의 일 실시형태에 따른 레지스트레이션 오차 맵을 생성하는 방법의 제 2 페이즈 (Ph2) 가 실행되고, 체크될 비행기 날개의 부분의 레지스트레이션 오차 맵이 장치 (400) 의 출력 디바이스 (404) 상에 디스플레이된다.
장치 (400) 의 출력 디바이스 (404) 상에 디스플레이된 레지스트레이션 오차 맵이 블러링된 이미지로서 나타나면 이는 비행기 날개의 표면이 결함들을 가짐을 의미한다. 실제로, 체크되고 있는 비행기 날개의 부분의 표면이 흠 없는 재-포커싱 표면의 3D 모델과 비교하여 결함들을 가질 때, 체크되고 있는 비행기 날개의 부분의 표면의 결함들은 장치 (400) 의 출력 디바이스 (404) 상에 디스플레이된 레지스트레이션 오차 맵 상에서 흐릿한 것으로서 표시된다.
이 실시형태에서, 가설은 최종-사용자가 적절한 시점에 따라 체크되고 있는 비행기 날개의 부분을 보고 있고, 그러므로 레지스트레이션 오차 맵에 의해 표시된 퍼지니스는 비행기 날개의 부분의 표면의 결함들로 인한 것이라는 것이다. 예를 들어, 최종-사용자는 로컬라이제이션 시스템, 이를테면 GPS, 또는 임의의 실내 포지셔닝 시스템들을 사용하여 관심 대상을 보기 위한 적절한 포지션을 발견할 수도 있다.
본 개시물의 일 실시형태에서, 레지스트레이션 오차 맵에 의해 표시된 퍼지니스는 결함들의 검출을 최종-사용자에게 더 용이하게 하기 위하여 레지스트레이션 오차 맵의 특정한 영역들에서 일부러 과장될 수도 있다.
비록 본 개시물이 특정 실시형태들을 참조하여 위에서 설명되었지만, 본 개시물은 특정 실시형태들로 제한되지 않고, 수정들은 본 개시물의 범위 내에 있는 본 기술분야의 통상의 기술자에게 명확할 것이다.
많은 추가의 수정들 및 변동들이 그것들 자체가 전술한 예시적인 실시형태들을 참조할 시 본 기술분야에 정통한 자들에게 제시될 것이며, 전술한 예시적인 실시형태들은 예로서 주어지고 발명의 범위를 제한하는 의도는 아니고, 본 개시물의 범위는 첨부의 청구항들에 의해서만 결정된다. 특히 상이한 실시형태들로부터의 상이한 특징들은 적절한 곳에서 교환될 수도 있다.

Claims (20)

  1. 장면에 연관된 관심 대상의 3D 모델을 획득하는 단계;
    상기 3D 모델에 기초하여 재-포커싱 표면을 생성하는 단계;
    상기 장면의 4D 광 필드 데이터를 획득하는 단계;
    상기 재-포커싱 표면을 사용하여 상기 4D 광 필드 데이터를 재-포커싱하는 단계;
    재-포커싱된 상기 4D 광 필드 데이터를 사용하여 재-포커싱된 이미지를 생성하는 단계; 및
    상기 재-포커싱된 이미지를 사용하여 최종 사용자가 상기 장면에 관하여 올바르게 위치되어 있는지 여부를 결정하는 단계
    를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 관심 대상의 상기 3D 모델은 상기 최종 사용자에 의한 선택으로부터 획득되는, 방법.
  3. 제 1 항에 있어서,
    상기 관심 대상의 상기 3D 모델은 상기 장면을 식별하는 코드의 선택으로부터 획득되는, 방법.
  4. 제 1 항에 있어서,
    상기 3D 모델에 기초하여 재-포커싱 표면을 생성하는 단계는
    상기 관심 대상의 미리 선택된 시점에 기초하여 기준 포지션에 상기 3D 모델을 포지셔닝하는 단계; 및
    포지셔닝된 상기 3D 모델에 기초하여 거리 맵을 컴퓨팅하는 단계
    를 포함하는, 방법.
  5. 제 1 항에 있어서,
    상기 최종 사용자는 인간 사용자인, 방법.
  6. 제 5 항에 있어서,
    상기 재-포커싱된 이미지는 상기 인간 사용자가 상기 재-포커싱된 이미지를 보도록 모바일 디바이스 상에 디스플레이되는, 방법.
  7. 제 1 항에 있어서,
    상기 최종 사용자는 로봇인, 방법.
  8. 제 1 항에 있어서,
    상기 장면의 상기 4D 광 필드 데이터는 상기 최종 사용자의 현재 시점으로부터 카메라 디바이스를 사용하여 획득되는, 방법.
  9. 제 1 항에 있어서,
    상기 재-포커싱된 이미지를 사용하여 최종 사용자가 상기 장면에 관하여 올바르게 위치되어 있는지 여부를 결정하는 단계는
    레지스트레이션 오차 맵을 생성하는 단계로서, 상기 레지스트레이션 오차 맵의 화소들이 상기 재-포커싱된 이미지에서 점들의 퍼지니스의 정도를 표시하는, 상기 레지스트레이션 오차 맵을 생성하는 단계
    를 포함하는, 방법.
  10. 장치로서,
    프로세서를 포함하고, 상기 프로세서는
    장면에 연관된 관심 대상의 3D 모델을 획득하는 것;
    상기 3D 모델에 기초하여 재-포커싱 표면을 생성하는 것;
    상기 장면의 4D 광 필드 데이터를 획득하는 것;
    상기 재-포커싱 표면을 사용하여 상기 4D 광 필드 데이터를 재-포커싱하는 것;
    재-포커싱된 상기 4D 광 필드 데이터를 사용하여 재-포커싱된 이미지를 생성하는 것; 및
    상기 재-포커싱된 이미지를 사용하여 최종 사용자가 상기 장면에 관하여 올바르게 위치되어 있는지 여부를 결정하는 것
    을 위해 구성된, 장치.
  11. 제 10 항에 있어서,
    상기 관심 대상의 상기 3D 모델은 상기 최종 사용자에 의한 선택으로부터 획득되는, 장치.
  12. 제 10 항에 있어서,
    상기 관심 대상의 상기 3D 모델은 상기 장면을 식별하는 코드의 선택으로부터 획득되는, 장치.
  13. 제 10 항에 있어서,
    상기 3D 모델에 기초하여 재-포커싱 표면을 생성하는 것은
    상기 관심 대상의 미리 선택된 시점에 기초하여 기준 포지션에 상기 3D 모델을 포지셔닝하는 것; 및
    포지셔닝된 상기 3D 모델에 기초하여 거리 맵을 컴퓨팅하는 것을 포함하는, 장치.
  14. 제 10 항에 있어서,
    상기 최종 사용자는 인간 사용자인, 장치.
  15. 제 14 항에 있어서,
    상기 재-포커싱된 이미지는 상기 인간 사용자가 상기 재-포커싱된 이미지를 보도록 모바일 디바이스 상에 디스플레이되는, 장치.
  16. 제 10 항에 있어서,
    상기 최종 사용자는 로봇인, 장치.
  17. 제 10 항에 있어서,
    상기 장면의 상기 4D 광 필드 데이터는 상기 최종 사용자의 현재 시점으로부터 카메라 디바이스를 사용하여 획득되는, 장치.
  18. 제 10 항에 있어서,
    상기 재-포커싱된 이미지를 사용하여 최종 사용자가 상기 장면에 관하여 올바르게 위치되어 있는지 여부를 결정하는 것은
    레지스트레이션 오차 맵을 생성하는 것으로서, 상기 레지스트레이션 오차 맵의 화소들이 상기 재-포커싱된 이미지에서 점들의 퍼지니스의 정도를 표시하는, 상기 레지스트레이션 오차 맵을 생성하는 것
    을 포함하는, 장치.
  19. 프로세서로 하여금 제 1 항의 방법을 수행할 수 있게 하기 위한 컴퓨터 실행가능 명령들을 포함하는 비일시적 컴퓨터 판독가능 매체.
  20. 제 10 항의 장치에 의해 생성된 데이터 콘텐츠를 저장하는 비일시적 컴퓨터 판독가능 매체.
KR1020237036169A 2015-06-17 2016-06-16 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법 KR20230152168A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP15305939.9A EP3106912A1 (en) 2015-06-17 2015-06-17 An apparatus and a method for obtaining a registration error map representing a level of fuzziness of an image
EP15305939.9 2015-06-17
PCT/EP2016/063937 WO2016202946A1 (en) 2015-06-17 2016-06-16 An apparatus and a method for obtaining a registration error map representing a level of sharpness of an image
KR1020177036006A KR102595397B1 (ko) 2015-06-17 2016-06-16 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020177036006A Division KR102595397B1 (ko) 2015-06-17 2016-06-16 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20230152168A true KR20230152168A (ko) 2023-11-02

Family

ID=53724143

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020177036006A KR102595397B1 (ko) 2015-06-17 2016-06-16 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법
KR1020237036169A KR20230152168A (ko) 2015-06-17 2016-06-16 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020177036006A KR102595397B1 (ko) 2015-06-17 2016-06-16 이미지의 선명도 레벨을 나타내는 레지스트레이션 오차 맵을 획득하는 장치 및 방법

Country Status (6)

Country Link
US (2) US10818020B2 (ko)
EP (3) EP3106912A1 (ko)
JP (2) JP7013244B2 (ko)
KR (2) KR102595397B1 (ko)
CN (2) CN114155233A (ko)
WO (1) WO2016202946A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107084794B (zh) * 2017-04-10 2021-06-22 东南大学 基于光场分层成像技术的火焰三维温度场测量系统及其方法
US10699374B2 (en) 2017-12-05 2020-06-30 Microsoft Technology Licensing, Llc Lens contribution-based virtual reality display rendering
CN110349132B (zh) * 2019-06-25 2021-06-08 武汉纺织大学 一种基于光场相机深度信息提取的织物瑕疵检测方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2428325B (en) * 2003-10-09 2007-08-01 Univ York Image Recognition
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
JP4524717B2 (ja) * 2008-06-13 2010-08-18 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及びプログラム
JP2011022796A (ja) * 2009-07-15 2011-02-03 Canon Inc 画像処理方法および画像処理装置
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
KR101756910B1 (ko) * 2010-05-11 2017-07-26 삼성전자주식회사 감쇠 패턴을 포함하는 마스크를 이용한 광 필드 영상 처리 장치 및 방법
EP2403234A1 (en) * 2010-06-29 2012-01-04 Koninklijke Philips Electronics N.V. Method and system for constructing a compound image from data obtained by an array of image capturing devices
US8711206B2 (en) 2011-01-31 2014-04-29 Microsoft Corporation Mobile camera localization using depth maps
US20140176592A1 (en) 2011-02-15 2014-06-26 Lytro, Inc. Configuring two-dimensional image processing based on light-field parameters
JP2012205111A (ja) 2011-03-25 2012-10-22 Casio Comput Co Ltd 撮像装置
US8531581B2 (en) * 2011-05-23 2013-09-10 Ricoh Co., Ltd. Focusing and focus metrics for a plenoptic imaging system
US8542933B2 (en) * 2011-09-28 2013-09-24 Pelican Imaging Corporation Systems and methods for decoding light field image files
US8602308B2 (en) * 2011-12-22 2013-12-10 Symbol Technologies, Inc. Imaging device having light field sensor
US8941722B2 (en) 2012-01-03 2015-01-27 Sony Corporation Automatic intelligent focus control of video
EP2817785B1 (en) * 2012-02-23 2019-05-15 Charles D. Huston System and method for creating an environment and for sharing a location based experience in an environment
CN103366356A (zh) 2012-04-06 2013-10-23 北京三星通信技术研究有限公司 通用标定系统和方法及其集成成像重构系统和方法
EP2842077A4 (en) 2012-04-26 2016-04-20 Univ Columbia SYSTEMS, METHODS AND MEDIA FOR INTERACTIVE REFOCUSING OF PICTURES
CN104303493A (zh) 2012-05-09 2015-01-21 莱特洛公司 用于改进的光场捕获和操作的光学系统的优化
EP2675173A1 (en) 2012-06-15 2013-12-18 Thomson Licensing Method and apparatus for fusion of images
US9237263B2 (en) * 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
JP6047025B2 (ja) 2013-02-01 2016-12-21 キヤノン株式会社 撮像装置及びその制御方法
US9456141B2 (en) * 2013-02-22 2016-09-27 Lytro, Inc. Light-field based autofocus
CN103471715B (zh) * 2013-09-02 2015-09-09 北京航空航天大学 一种共光路组合式光场光谱成像方法及装置
US9460515B2 (en) * 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
US9224194B2 (en) * 2014-01-21 2015-12-29 Adobe Systems Incorporated Joint video deblurring and stabilization

Also Published As

Publication number Publication date
US20180189965A1 (en) 2018-07-05
EP3311214A1 (en) 2018-04-25
CN114155233A (zh) 2022-03-08
EP4235257A1 (en) 2023-08-30
JP7013244B2 (ja) 2022-01-31
WO2016202946A1 (en) 2016-12-22
JP2022058658A (ja) 2022-04-12
JP2018519733A (ja) 2018-07-19
US10818020B2 (en) 2020-10-27
US20210012515A1 (en) 2021-01-14
CN107787507B (zh) 2021-12-28
KR102595397B1 (ko) 2023-10-27
CN107787507A (zh) 2018-03-09
US11694349B2 (en) 2023-07-04
EP3311214B1 (en) 2023-05-24
EP3106912A1 (en) 2016-12-21
JP7204021B2 (ja) 2023-01-13
KR20180018563A (ko) 2018-02-21

Similar Documents

Publication Publication Date Title
US10116867B2 (en) Method and apparatus for displaying a light field based image on a user's device, and corresponding computer program product
JP7204021B2 (ja) 画像の鮮鋭レベルを表わす位置合わせ誤差マップを得るための装置および方法
KR101997991B1 (ko) 시점 변환을 이용하는 영상 결합 방법 및 시스템
US20220067968A1 (en) Motion capture calibration using drones with multiple cameras
KR102400412B1 (ko) 초점 스택으로부터 적응된 슬라이스 이미지를 생성하는 방법 및 장치
JP2016537901A (ja) ライトフィールド処理方法
JP6683307B2 (ja) 多数のカメラを用いた最適の球形映像獲得方法
EP3144894B1 (en) Method and system for calibrating an image acquisition device and corresponding computer program product
JP2019067388A (ja) ライトフィールド画像を操作するためのユーザインターフェイス
CN109902675B (zh) 物体的位姿获取方法、场景重构的方法和装置
CN111105351B (zh) 一种视频序列影像拼接方法及装置
Pollok et al. A visual SLAM-based approach for calibration of distributed camera networks
CN116912331A (zh) 标定数据生成方法、装置、电子设备及存储介质
US20220076450A1 (en) Motion capture calibration
US11636621B2 (en) Motion capture calibration using cameras and drones
KR102611481B1 (ko) 이미지 내의 좌표들 간의 실제 거리를 계산하는 방법 및 장치
US11600022B2 (en) Motion capture calibration using drones
CN113192145B (zh) 设备标定方法及装置、电子设备和存储介质
US20220076452A1 (en) Motion capture calibration using a wand
US20220076451A1 (en) Motion capture calibration using a three-dimensional assembly
WO2022055371A1 (en) Motion capture calibration using a wand

Legal Events

Date Code Title Description
A107 Divisional application of patent