KR20140031345A - 자동 장면 교정 - Google Patents

자동 장면 교정 Download PDF

Info

Publication number
KR20140031345A
KR20140031345A KR1020137034984A KR20137034984A KR20140031345A KR 20140031345 A KR20140031345 A KR 20140031345A KR 1020137034984 A KR1020137034984 A KR 1020137034984A KR 20137034984 A KR20137034984 A KR 20137034984A KR 20140031345 A KR20140031345 A KR 20140031345A
Authority
KR
South Korea
Prior art keywords
coordinate system
dimensional
camera
scene
imaging system
Prior art date
Application number
KR1020137034984A
Other languages
English (en)
Other versions
KR101590530B1 (ko
Inventor
쟈비에르 바엘
곤잘레스 쟈비에르 마티네
Original Assignee
소프트키네틱 소프트웨어
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소프트키네틱 소프트웨어 filed Critical 소프트키네틱 소프트웨어
Publication of KR20140031345A publication Critical patent/KR20140031345A/ko
Application granted granted Critical
Publication of KR101590530B1 publication Critical patent/KR101590530B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 3차원 이미징 시스템을 교정하는 방법(300)을 개시한다. 교정 동안, 실제 세계 수직 방향(Vw)을 포함하는 제1 파라미터와 이미징 시스템에 의해 캡쳐된 3차원 장면의 원점을 포함하는 제2 파라미터에 대하여 3차원 이미징 시스템의 위치(340) 및 지향방향(330)이 결정된다. 제1 및 제2 파라미터는 3차원 이미징 시스템의 가상 좌표계(Mc)로부터의 측정치(360)를 실제 세계에 관련된 실제 좌표계(Mw)로 컨버트하기 위해 이용되는 교정 행렬(Mc2w)을 구하기 위해 이용된다. 교정 행렬(Mc2w)은 신호 처리(380) 전에 측정치(360)를 수정하기 위해 이용된다. 역 교정 행렬(Mw2c) 또한 결정된다. 3차원 이미징 시스템의 셋업에 대한 지속적인 모니터링(370) 미 조정이 수행되며, 교정 행렬(Mc2w) 및 그 역(Mw2c)이 그에 따라 조정된다.

Description

자동 장면 교정{AUTOMATIC SCENE CALIBRATION}
본 발명은 카메라 교정에 관한 것으로, 보다 구체적으로는 실제 세계(real world)에 대한 3차원(3D) 감지 카메라의 위치 및 지향방향(orientation)을 자동으로 교정하는 것에 관한 것이다.
3차원(3D) 또는 깊이 감지 카메라(depth sensing camera), 즉 구조광 3D 카메라(structured light 3D camera), 타임-오브-플라이트 3D 카메라(time-of-flight 3D camera), 및 스테레오-비전 3D 카메라(stereo-vision 3D camera)는 깊이 이미지를 획득하는 이미징 디바이스이다. 깊이 이미지는 장면으로부터의 거리를 3D로 표현한다. 3D 카메라 디바이스 및 이들이 제공하는 깊이 이미지는 오브젝트 및 사용자와 같은 캡쳐된 장면 내의 정적 및 동적 3D 요소를 분석하기 위해 이용된다.
캡쳐된 장면의 분석은 오브젝트 및/또는 사용자의 검지, 위치결정(localisation), 및 식별과 이들의 각각의 분석을 포함할 수 있다. 이러한 분석 동안 발생하는 한 가지 공통적인 문제점은 카메라의 알려지지 않은 지향방향이다. 예컨대, 장면에서 수직으로 지향된 오브젝트는 카메라가 카메라의 광학축을 중심으로 시계 방향 또는 반시계 방향으로 90도 회전되면 깊이 이미지에서는 수평인 것으로 보이게 될 수도 있다. 따라서, 캡쳐된 장면을 분석할 때에 더 우수한 결과물이 획득될 수 있도록 카메라에 관한 파라미터를 아는 것이 이롭다.
카메라 교정(camera calibration)은 카메라의 진정한 파라미터(true parameter)를 결정하는 프로세스이다. 이들 진정한 카메라 파라미터는 통상적으로는 보정 파라미터로서 이용되며, 대부분의 경우에는 선형 변환, 즉 예컨대 실제 세계 좌표계로부터 그 특정 카메라에 대한 카메라 좌표계로의 투영 맵핑(projective mapping)을 나타내기 위해 사용될 수 있는 카메라 교정 행렬에 의해 표현될 수 있다.
카메라 파라미터는 내부 및 외부 파라미터(intrinsic and extrinsic parameter)를 포함하며, 이들은 예컨대 Janne Heikkila 등에 의해 저술된 "A Four-step Camera Calibration Procedure with Implicit Image Correction" 또는 S. Malek 등에 의해 저술된 "Calibration Method for an Augmented Reality System"과 같은 문헌에서 폭넓게 설명되어 있다.
내부 파라미터는 이미지 포맷, 주점(principal point) 및 초점 길이와 같은 이미징 디바이스 광학 사양을 포함한다. 이들 파라미터는 모델링되고, 장면 캡쳐 동안 몇몇의 가능한 왜곡을 보정하기 위해 카메라 좌표계에 관련된 데이터에 적용되는 변환 행렬에 통합된다. 렌즈 왜곡은 또한 비-내부 파라미터(non-intrinsic parameter)로서 간주될 수도 있지만, 변환 행렬이 비선형 변환이기 때문에 변환 행렬에 직접 포함되지 않을 것이다.
외부 파라미터는 세계 좌표계(world coordinate system)에 관한 3D 위치 및 3D 지향방향을 포함한다. 카메라 좌표계는 카메라에 연관되며, 변환 행렬은 카메라 좌표계로부터 세계 좌표계로의 데이터 측정치의 투영(projection)을 제공하도록 정의된다.
3D 카메라를 간략한 핀-홀(pin-hole)로서 간주함으로써, 외부 파라미터는 편리한 보정 및/또는 변환을 제공하기 위해 결정되고 적용될 필요가 있는 유일한 관련 파라미터일 것이다.
외부 파라미터를 찾기 위해서는, 카메라 수직축, 가로축(lateral axis) 및 세로축(longitudinal axis), 즉 각각 요축(yaw axis), 피치축(pitch axis) 및 롤축(roll axis)이 카메라 좌표계를 정의하기 때문에 이들이 고려되어야 한다. 보다 구체적으로, 요축은 카메라의 정부(top)에서부터 저부(bottom)까지 그려진 축이고, 다른 2개의 축에 수직을 이룬다. 피치축은 카메라 좌측에서부터 카메라 우측으로 연장하는 축이고, 카메라 센서의 Y-축에 평행을 이룬다. 롤축은 카메라의 광학축을 따라 뒤쪽에서부터 앞쪽으로의 카메라 몸체의 법선 방향으로 그려진 축이다. 기본적으로, 카메라 좌표계 원점은 센서 칩 상에, 예컨대 센서 칩의 상단 좌측 모서리 또는 센서 칩의 중앙에 위치된다. 이것은 도 6을 참조하여 아래에 더욱 상세하게 설명된다.
이에 부가하여, 장면 내의 카메라 위치가 고려될 필요가 있다. 이 위치는 장면 내의 기준점을 찾거나 정의함으로써 추정될 필요가 있으며, 이 기준점은 실제 세계 좌표계의 원점으로서 설정된다.
카메라를 교정하는 여러 방법이 알려져 있다. 이들 방법의 대부분은 2차원(2D) 카메라에 관한 것이며, 소수만이 3차원(3D) 카메라에 관한 것이다. 더욱이, 교정은 대부분이 정지 상태의 카메라에 대해 오프라인으로 수행되고 실시간으로 수행되지 않는다. 장면 내에 위치되는 마커(marker) 또한 교정 프로세스에 도움을 주기 위해 이용될 수 있다. 이러한 교정 프로세스는 여러 단계를 포함하는 경우가 많으며, 사용자 상호작용을 필요로 한다.
이에 부가하여, 이들 방법은 3D 카메라의 모든 가능한 지향방향에 대해 보정하지는 못하는 경향이 있고, 예컨대 전반적으로 하방향으로 또는 전반적으로 수직으로 지향된 카메라와 같이 특정 지향방향에서의 카메라와 함께 이용되도록 제한되는 경우가 많다.
US-A-2010/0208057은 실제 환경에서의 적어도 하나의 오브젝트에 대한 카메라의 자세(pose)를 결정하는 방법을 개시하고 있다. 이 방법은 오브젝트에 대한 카메라의 위치에 관한 거리 데이터 및 지향방향 데이터를 결정하기 위해 오브젝트의 캡쳐된 이미지를 분석하는 단계를 포함하며, 거리 데이터 및 지향방향 데이터는 카메라에 관한 자세 정보를 제공하기 위해 이용된다.
Jorge Lobo 및 Jorge Dias에 의해 IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 25, No. 12, December 2003에 발표된 "Vision and Inertial Sensor Cooperation Using Gravity as a Vertical Reference"라는 명칭의 논문에서, 센서 시스템에서의 관성 센서 데이터를 이용하는 방법이 설명되어 있다. 그라운드 평면 점(ground plane point)과 이미지 점(image point) 간의 맵핑이 구해질 수 있는 그라운드 평면을 결정하기 위해 관성 센서 데이터와 함께 소실점(vanishing point) 및 소실선(vanishing line)이 이용된다.
Vieville 등이 저술한 "Computation of ego-motion and structure from Visual and Inertial Sensors Using the Vertical Cue"에는 환경의 키네머틱 맵(kinematic map) 및 3차원 깊이를 구축함으로써 시각 센서 및 주행거리계 센서(odometric sensor)를 이용한 3차원 데이터 구조 및 장면의 움직임에 대한 복원의 방법이 설명되어 있다. 이미지에서의 수직선은 3차원 수직선의 진정한 지향방향과 정렬하기 위해 이용된다.
US-A-2010/0103275는 가속도계가 통합된 스틸 2D 디지털 카메라를 설명하고 있으며, 이 가속도계에서는 롤 및 피치와 변동이 측정되고, 디스플레이된 이미지가 보정되어 통상의 수평 및 수직 디스플레이 장치 방향과 정렬되도록 하는 입력으로서 이용된다. 이 공개 특허에서 설명된 방법은 랜드스케이프 모드(landscape mode)와 포트레이트 모드(portrait mode) 간의 스위칭을 허용하기 위해 수평 및/또는 수직 카메라 축에 변동을 적용하고 있는 것에 불과하다.
WO-A-2010/082933은, 기하학적 카메라 교정을 수행하기 위해 장면의 이미지 내의 마커 또는 오브젝트가 원본 장면 내의 대응하는 마커 또는 오브젝트와 정렬되는 시스템을 설명하고 있다. 그러므로, 카메라 파라미터는 타겟 모델과 타겟 자체 간의 부정합(mismatch)을 분석하는 방법에 의해 결정된다.
US-2011/0128388은 좌표 데이터 발생 디바이스 및 좌표 데이터 인식 디바이스를 포함하는 카메라 교정 시스템을 개시하고 있다. 좌표 데이터 발생 디바이스는 실제 장면에서의 복수의 실제 위치에 대응하는 복수의 맵 좌표 데이터를 발생한다. 좌표 데이터 인식 디바이스는 실제 장면의 이미지 및 좌표 데이터 발생 디바이스로부터의 맵 좌표 데이터를 수신한다. 좌표 데이터 인식 디바이스는 실제 위치에 대응하는 이미지 위치를 결정하고, 그리고나서 이들 이미지 위치에 대응하는 이미지 좌표 데이터를 계산한다. 이미지 좌표 데이터 및 맵 좌표 데이터로부터, 좌표 변형 행렬이 결정된다.
EP-A-2154650은 카메라 좌표계로부터 세계 좌표계로의 변환 행렬을 이용하여 3D 카메라에 의해 획득된 이미지 데이터로부터 장면 좌표를 실시간 또는 준실시간으로 계산하는 방법을 설명하고 있다. 이 방법은, 획득된 3D 이미지 내의 하나 이상의 평면 표면을 검지하고, 이들 평면 표면 중의 하나를 기준 평면, 예컨대 그라운드로서 선택하는 것을 포함한다. 3D 카메라의 위치, 롤 및 피치 지향방향 파라미터는 선택된 기준 평면에 관련하여 결정된다. 이러한 교정은, 3D 카메라가 자신의 적절한 위치에 설치된 후에, 즉 바닥이 카메라의 프러스텀(frustum) 내에 있도록 되어야 하고, 카메라에 의해 보여져서, 이것을 검지하기 위해 랜덤 샘플 콘센서스(random sample consensus, RANSAC) 기반 평면 검지가 이용될 수 있도록 한 후에, 제한된 양의 인간의 개입으로 소수의 단계를 실행함으로써 수행된다. 교정 행렬이 설정된 후에는, 카메라 셋업이 변경될 때까지 이 교정 행렬이 이용된다. 이때, 새로운 교정 프로세스는 수동으로 론칭되어야 한다.
본 발명은 깊이 감지 카메라 디바이스를 이들의 외부 파라미터, 예컨대 장면에 관한 카메라의 위치 및 지향방향에 대하여 교정하는 것에 관련된다. 이러한 교정은 교정 행렬을 제공한다.
본 발명의 한 가지 목적은, 시간이 지남에 따라 변할 수도 있는 장면에 대한 카메라의 위치 및 지향방향과 같은 동적인 양태(dynamic aspect)를 포함할 수 있는 설치의 교정을 용이하게 하는 것이다. 이것은 카메라의 위치 및 지향방향 둘 모두가 시간이 지남에 따라 변하지 않는 고정된 설치에 부가되는 것이다.
이에 부가하여, 외부 카메라 파라미터에서 임의의 변경이 검지된 때에 교정 프로세스가 개시될 수 있다. 이러한 교정 프로세스는 이전에 결정된 교정 행렬을 업데이트하기 위해 이용될 수 있다.
따라서, 본 발명의 목적은 장면 내의 카메라의 지향방향 및 위치의 자동 결정을 제공하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 사람에 의한 조작 없이 카메라의 교정을 제공하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 카메라 좌표계 또는 가상 좌표계로 표현된 포워드 및 리버스 데이터 측정치를 세계 좌표계 또는 실제 좌표계로 표현된 데이터에 적용하는 것을 가능하게 하는 변환을 결정하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 캡쳐된 장면 자체로부터 결정되거나 또는 카메라에 연관된 외부 측정 디바이스를 이용하여 결정되는 수직 방향을 이용하여 실제 세계 좌표계에 관련하여 카메라의 기준 좌표계를 결정하는 방법 및 시스템을 제공하는 것이다.
본 발명의 또 다른 목적은 장면 내의 그라운드의 낮은 시인성(visibility)을 방지하는 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 카메라 좌표계의 적어도 하나의 축이 실제 세계 좌표계에 의해 정의된 평면과 정렬되도록 카메라를 반복적으로 조정함으로써 카메라 좌표계와 실제 세계 좌표계 간의 교정 프로세스를 향상시키고 자동화하는 시스템을 제공하는 것이다.
본 발명의 제1 특징에 따라, 3차원 환경에서 3차원 타임-오브-플라이트(time-of-flight) 이미징 시스템을 교정하는 방법으로서,
a) 3차원 이미징 시스템에 대한 기준 직교 가상 3차원 좌표계(reference orthogonal virtual three-dimensional coordinate system)를 결정하는 단계로서, 상기 기준 직교 가상 3차원 좌표계가 수평축, 수직축 및 깊이축을 가지며, 상기 수평축 및 상기 수직축이 상기 3차원 이미징 시스템의 센서의 수평축 및 수직축과 각각 정렬되며, 상기 깊이축이 상기 센서의 수평축 및 수직축에 의해 정해지는 상기 센서의 평면에 직교하게 되는, 결정하는 단계;
b) 상기 가상 좌표계에서 실제 세계의 수직 방향을 획득하는 단계;
c) 상기 기준 좌표계에 대하여, 수평축, 수직축 및 깊이축을 갖는 실제 세계 3차원 정규직교 좌표계(real world three-dimensional orthonormal coordinate system)를 결정하는 단계로서, 상기 수직축이 수직 방향에 대하여 정렬하도록 회전되는, 결정하는 단계;
d) 장면 내의 점을 상기 실제 세계 3차원 정규직교 좌표계에 대한 새로운 원점으로서 결정하는 단계;
e) 상기 가상 3차원 좌표계의 원점에서부터 장면의 새로운 원점으로서 정해진 점까지의 병진 벡터를 구하는 단계;
f) 상기 가상 3차원 좌표계를 상기 실제 세계 3차원 정규직교 좌표계로 변환하기 위한 회전 행렬을 구하는 단계; 및
g) 상기 병진 벡터에 의해 병진 이동된 상기 회전 행렬로서 상기 3차원 이미징 시스템을 위한 교정 행렬을 구하는 단계를 포함하며,
상기 방법은, 상기 실제 세계 3차원 좌표계의 상기 수직축과 상기 깊이축에 의해 정의되는 평면을, 상기 가상 3차원 좌표계의 가상 수직축 및 가상 깊이축에 의해 정의되는 평면과 공통 평면이 되도록 정렬하는 단계를 더 포함한다.
본 명세서에서 사용되는 "3차원 이미징 시스템"이라는 표현은 센서를 이용하여 장면을 캡?기 위한 3차원 카메라를 포함하는 것으로 이해될 것이다.
"실제 세계 좌표계"와 "가상 좌표계"라는 표현은 각각 세계 좌표계와 카메라 좌표계에 관련된다.
이에 부가하여, 역 교정 행렬이 교정 행렬로부터 구해질 수 있다.
실제 세계의 수직 방향은 예컨대 하나 이상의 관성 측정 디바이스와 같은 측정 유닛을 이용하여 결정된 중력 벡터의 역벡터(opposite vector)로서 구해질 수 있다.
대안으로, 상기 b) 단계는, 수평 평면에 대한 법선으로부터 실제 세계의 수직 방향을 구하는 단계를 포함하며, 상기 수평 평면은,
ⅰ) 제1 지향방향에서 상기 3차원 이미징 시스템으로 장면을 캡쳐하는 단계;
ⅱ) 평면 피팅 알고리즘(plane fitting algorithm)을 이용하여 상기 장면 내의 복수의 평면을 결정하는 단계; 및
ⅲ) 상기 장면 내의 기준 평면을 그라운드인 것으로서 결정하는 단계에 의해 결정될 수 있다.
수평 평면을 결정하기 위해 평면 피팅 알고리즘을 이용함으로써, 교정 프로세스 동안 그라운드가 보이게 될 필요는 없다.
이 경우, 상기 ⅲ) 단계는, 상기 기준 평면을, 통계 모드, 최대 표면, 및 최소 표면적 중의 하니 이상을 최상으로 충족하는 평면으로서 결정하는 단계를 포함할 수 있다.
대안으로, 상기 ⅲ) 단계는, 상기 기준 평면을, 통계 모드의 장면의 주성분 분석(principal component analysis), 최대 표면, 및 최소 표면적의 조합으로서 결정하는 단계를 포함할 수 있다.
일실시예에서, 통계 모드를 충족함으로써 기준 평면을 결정하는 단계는, 예컨대, 복수의 평면 중에서, 1 ㎡보다 큰 표면적을 갖는 평면, 평면의 법선에 대해 가장 낮은 공분산값(covariance value)을 갖는 평면, 및 카메라로부터 1 m보다 큰 거리에 위치되어 있는 평면을 선택하는 단계를 포함한다. 표면적 및 카메라로부터의 거리에 대하여 다른 값이 이용될 수도 있다는 것을 이해할 것이다.
또 다른 대안으로, 상기 b) 단계는, 장면 내의 특정 사용자 스탠스(user stance)로부터 실제 세계의 수직 방향을 구하는 단계를 포함하며, 상기 수직 방향은 사전에 정해진 교정 포스처(posture)로 서있는 사용자 신체의 수직 방향과 정렬되는 방향이다.
이 대안에서, 상기 방법은, 상기 사전에 정해진 교정 포스처로부터 수평축 및 수직축을 구하는 단계를 더 포함한다. 이 경우와, 실제 세계 3차원 좌표계(Mw)가 구해진 수평축 및 수직축에 정렬된다.
당연히, 수직축의 결정을 위한 특정한 사용자 스탠스에 있는 사용자 대신에 사전에 정해진 포스처 또는 자세를 갖는 적합한 오브젝트가 이용될 수 있다.
다른 실시예에서, 상기 b) 단계는, 장면 내에 검지된 에지로부터 실제 세계의 수직 방향을 구하는 단계를 포함한다.
상기 b) 단계는, 상기 실제 세계의 수직 방향(Vw)을 측정 디바이스를 이용하여 결정된 중력 벡터의 역벡터로서 구하는 단계와, 상기 실제 세계의 수직 방향(Vw)을 장면의 평면에 대한 법선으로부터 구하는 단계와, 상기 실제 세계의 수직 방향(Vw)을 장면 내의 특정 사용자 스탠스로부터 구하는 단계로서, 상기 수직 방향(Vw)이 사전에 정해진 교정 포스처로 서있는 사용자의 수직 방향과 정렬되는, 구하는 단계와, 상기 실제 세계의 수직 방향(Vw)을 장면 내에서 검지된 에지로부터 구하는 단계 중의 2개 이상의 단계를 조합함으로써, 상기 수직 방향을 개선(refining)하는 단계를 포함할 수 있다.
상기 d) 단계는, 공간 내의 사전에 정해진 점, 사용자를 정의하는 점의 가장 낮은 지점, 그라운드 상의 점, 검지된 평면 상의 점, 및 장면 내의 사전에 결정된 오브젝트의 지점 중의 하나를 이용하여 점을 정의하는 단계를 포함할 수 있다.
사용자 또는 오브젝트의 위치의 저부에 있는 것으로 결정되거나 또는 장면에서 위치 확인된 평면에 있는 것으로 결정된 실제 좌표계의 원점에 대하여 카메라의 위치가 결정될 수 있다. 실제 좌표계에 대한 카메라의 위치는 수동으로 또는 자동으로 결정될 수 있다.
일실시예에서, 상기 방법은, 3차원 환경에 대한 3차원 이미징 시스템의 위치와 지향방향 중의 하나 이상에서 변경이 검지되면, 상기 교정 행렬을 자동으로 개선하는 단계를 더 포함하며, 상기 가장 좌표계의 하나 이상의 축이 상기 실제 세계 좌표계에서 2개의 축에 의해 정의된 평면에 정렬된다. 바람직하게는, 3차원 이미징 시스템을 지지하는 전동 시스템(motorised system)을 제어함으로써 가상 좌표계의 적어도 수직축이 실제 세계 좌표계의 Z-Y 평면, 즉 수직축과 깊이축에 의해 정의되는 평면에 정렬된다.
교정 행렬은 메모리에 저장되는 것이 이상적이다. 교정 행렬은 신호 처리 전에 카메라 측정치를 수정(rectify)하기 위해 이용된다. 그러나, 교정 행렬은 카메라 위치와 카메라 지향방향 중의 하나 이상이 변경되면 업데이트될 필요가 있을 수 있다. 카메라의 위치 및 지향방향은 전동 수단을 이용하여 자동으로 수정될 수 있으며, 대응하는 교정 행렬이 그에 대응하여 업데이트된다.
본 발명의 또 다른 특징에 따라, 관성 측정 유닛을 포함하며, 전술한 바와 같은 방법에 따라 작동하는, 깊이 감지 이미징 시스템이 제공된다.
본 발명의 또 다른 특징에 따라, 전술한 바와 같은 방법의 작동에 따라 깊이 감지 이미징 시스템의 위치 및 지향방향 중의 하나 이상을 조정하기 위한 전동 수단을 포함하는 깊이 감지 이미징 시스템이 제공된다.
본 발명의 또 다른 특징에 따라, 전술한 바와 같은 방법에 따라 작동하는 교정 수단을 포함하는 3차원 타임-오브-플라이트 이미징 시스템이 제공된다.
본 발명을 더욱 명확하게 이해하기 위해, 일례로서 첨부 도면에 대한 참조가 이루어질 것이다.
도 1은 카메라가 적어도 부분적으로 그라운드 쪽으로 향하고 있는 본 발명에 따른 가능한 셋업을 도시하고 있다.
도 2는 카메라가 장면에 대해 상이한 위치 및 지향방향을 갖는 본 발명에 따른 또 다른 가능한 셋업을 도시하고 있다.
도 3은 본 발명에 따른 하나의 포괄적인 자동 교정 프로세스의 흐름도를 도시하고 있다.
도 4는 교정 행렬을 구하기 위하여 실제 세계 좌표계의 수직 방향을 결정하기 위해 사용자의 자세가 이용되는 본 발명에 따른 수동 교정 프로세스의 흐름도를 도시하고 있다.
도 5는 실제 세계의 수직 방향을 결정하기 위한 가속도계 측정치 및 바람직한 캡쳐링 셋업을 충족하기 위해 카메라 지향방향을 반복적으로 조정하기 위한 전동 시스템을 이용하는 자동 교정 프로세스의 흐름도를 도시하고 있다.
도 6은 카메라 지향방향 롤축, 피치축 및 요축을 예시하는 3D 카메라 디바이스의 개략도를 예시하고 있다.
본 발명은 특정한 실시예에 대하여 특정한 도면을 참조하여 설명될 것이지만, 본 발명은 이러한 것으로 한정되지 않는다. 도시된 도면은 단지 개략도이며, 이러한 것으로 제한하려는 것은 아니다. 도면에서, 구성요소의 몇몇에 대한 크기는 예시를 목적으로 과장되어 실척으로 도시되어 있지 않을 수도 있다.
"수직" 및 "수평"이라는 표현은 본 명세서에서는 도면의 특정 지향방향을 지칭하도록 사용되며, 이들 표현은 본 명세서에 설명되는 특정 실시예에 대한 제한요소가 아니다.
본 발명은 머신 비전(machine vision)의 기하학적 교정을 위한 방법 및 시스템에 관한 것이다. 보다 구체적으로, 본 발명은 3D 카메라의 교정에 관한 것이며, 캡쳐된 장면의 관리 및 분석을 향상시키기 위해 외부 카메라 파라미터의 정적 및 동적 검지 모드를 포함한다. 이러한 교정은 실제 세계 좌표계로부터의 카메라 회전 및 병진(translation)의 결정을 포함한다.
유클리드 기하학(Euclidean geometry)에서, 병진은 모든 점을 지정된 방향으로 일정한 거리로 이동시키는 아핀 변환(affine transformation)이다. 소정의 점 P에 대해, 이 점의 호모지니어스 벡터(homogeneous vector)
Figure pct00001
는 다음과 같이 작성될 수 있다:
Figure pct00002
병진 벡터(translation vector)
Figure pct00003
는 다음과 같이 작성될 수 있다:
Figure pct00004
점 P에 대한 병진 Tv는 다음과 같이 표현될 수 있다:
Figure pct00005
유클리드 기하학에서, 회전은 고정된 점을 중심으로 하는 모든 점의 움직임을 묘사하는 변환이다. 3차원에서의 유클리드 공간에 대해, X-축, Y-축 및 Z-축을 중심으로 하는 회전은 각각 요, 피치 및 롤로 지칭된다. 이들 회전 R은 다음의 유클리드 행렬에 의해 표현될 수 있으며, 여기서 α, β 및
Figure pct00006
는 자신의 각각의 회전축을 중심으로 하는 각각의 반시계 방향의 회전각이다:
Figure pct00007
교정 행렬 C는 회전과 병진 둘 모두를 임베드(embed)할 수 있으며, 일례로서 이러한 행렬은 다음과 같이 구해질 수 있다:
Figure pct00008
이것은 아래의 것의 동차적(homogeneous product)에 대응한다:
Figure pct00009
일실시예에 따라, 3D 관성 측정 유닛, 즉 3D 가속도계는 하나 이상의 기준 방향, 즉 중력의 작용으로 인한 수직 하방향을 제공하도록 3D 깊이 감지 시스템에 연결된다. 3D 가속도계는 카메라 몸체 외부에 장착되거나 또는 카메라 몸체 내부에 장착될 수 있으며, 컴퓨터화된 시스템(computerised system)에 의해 수집되는 데이터를 발생하며, 컴퓨터화된 시스템 또한 카메라 디바이스에 의해 발생된 데이터를 처리한다. 이러한 3D 가속도계로부터, 임의의 소정의 축 상의 가속도를 추출하는 것이 가능하다. 카메라가 스틸 카메라이면, 즉 장면이 사전에 정해진 개수의 프레임 동안 비교적 안정하면, 최대 가속 방향 모드를 결정하는 것이 가능하다. 이 모드는 그라운드 법선 벡터(ground normal vector)에 대한 역벡터(opposite vector)에 대응하는 중력 벡터를 제공한다.
그라운드 또는 바닥이 수직 방향을 결정하기 위해 사용되면, 사용자 상호작용이 요구되지 않는다. 여기서, 그라운드 또는 바닥에 대응하는 표면이 검지되는 즉시, 수직 방향은 그라운드 또는 바닥을 정의하는 수평 평면에 법선을 이루는 방향인 것으로서 결정될 수 있다. 그러나, 수직 방향을 결정하는 이 모드는 바닥이 보일 수 있을 때에만 이용될 수 있다는 것을 이해할 것이다.
실제 세계 좌표계의 중심 또는 원점의 결정은 예컨대 그라운드가 보일 수 있는 경우에 카메라로부터 2.5m 떨어진 고정된 거리에서 그라운드 상에 있도록 선택된다. 당연히, 이 위치는 임의의 적합한 거리 또는 지점에 있도록 선택될 수 있다. 파라미터 설정은 추후의 사용을 위해 저장되며, 카메라 위치 및/또는 지향방향에 연관된 변수, 즉 요, 피치 및 롤뿐만 아니라 위치 벡터가 업데이트된다.
본 발명의 일실시예에서, 본 발명에 따른 방법은 먼저 중력 벡터를 획득하고, 그리고나서 카메라에 의해 캡쳐된 장면에 대한 카메라의 가상 지향방향 및 오프셋을 찾기 위해 중력 벡터를 이용한다. 이것은 아래에서 도 1 및 도 2를 참조하여 설명될 것이다.
본 발명의 일실시예에 따라, 타임-오프-플라이트(TOF) 또는 3D 카메라(120)를 이용하여 도 2에 직사각형(110)에 의해 나타낸 바와 같이 장면의 일부로서 오브젝트, 즉 나무(100)의 가지를 캡쳐하는 것이 요망된다. 그러나, 장면(110)이 캡쳐될 수 있기 전에, 카메라(120)는, 장면(110)에 대한 카메라의 지향방향 및 위치가 결정되고, 그리고나서 캡쳐된 이미지(도시하지 않음)에서 보상하기 위해 이용될 수 있도록, 교정될 필요가 있다.
카메라(120)는 도 1에 도시된 바와 같이 고정된 위치에 장착된다. 여기서, 카메라(120)는 그라운드(130) 쪽으로 향하고 있다. 카메라(120)는 카메라의 원격 제어 지향을 허용하는 3축 전동 지지 시스템(도시하지 않음)을 포함한다. 여기서, 카메라(120)의 뷰잉 프러스텀(viewing frustum)(150) 내의 장면(140)은 그라운드의 일부분을 포함한다. 뷰잉 프러스텀(150)은 카메라 센서 어레이(도시하지 않음) 상에 보일 수 있는 3차원 영역을 포함하며, 카메라(120)가 보는 각도에 의해 결정된다. 이 위치에서, 가속도계(도시하지 않음)는 화살표 'A'의 방향으로 향하고 있는 것과 같은 중력 벡터를 나타낸다.
다음으로 도 6을 참조하면, 3D 카메라 디바이스(600)의 3축 표현이 도시되어 있다. 3D 카메라 디바이스(600)는 수직축(610), 가로축(620), 및 세로축(630)을 갖는다. 수직축(610)에 대한 운동은 요에 대응하고, 가로축(620)에 대한 운동은 피치에 대응하고, 세로축(630)에 대한 운동은 롤에 대응한다. 요, 피치 및 롤은 각각의 화살표(640, 650, 660)에 의해 나타내어져 있다.
도 6에 전반적으로 수직선인 것으로 도시되어 있지만, 카메라 디바이스(600)의 축(610)은 장면에서의 진정한 수직선에 대해 각을 이루게 될 수도 있다. 유사하게, 가로축(620)은 반대 방향으로 각을 이룰 수도 있다.
카메라 디바이스(600)에 의해 캡쳐된 장면에서의 각각의 3D 데이터 점은 기준으로서 설정될 수 있는 카메라 좌표계 또는 가상 좌표계에서의 가상 좌표(Xc, Yc, Zc)를 갖는다. 카메라에 의해 획득된 이들 3D 데이터 점은 도 1 및 도 2를 참조하여 위에 설명된 바와 같이 중력 벡터를 임베딩(embedding)하는 임의의 평면 상에 투영될 수 있다. 임베딩 평면은 카메라의 중앙 위치, 예컨대 가상 좌표계의 원점(0, 0, 0)과, 중력 벡터와, 임의의 다른 논 코-리니어 법선 벡터(non co-linear normal vector)를 포함한다.
투영에 의해 획득된 2D 이미지는 수직 방향에 직각을 이루는 임의의 3D 표면에 대해 강한 에지(strong edge)를 보여준다.
다시 도 1 및 도 2를 참조하면, 화살표 'A', 즉 중력 벡터를 따라서, 가장 낮은 선형 에지는 잠재적인 그라운드 벡터에 대응한다. 그라운드 벡터는 그라운드 평면의 일부이다. 연속적인 반복 투영에 의해, 수직 방향에 대한 랜덤한 정규화된 논 코-리니어 벡터(random, normalised, non co-linear vector)를 이용하여 랜덤하게 발생된 가상의 정규직교 기저(orthonormal base)로부터, 가능한 논 코-리니어 그라운드 벡터일 것으로 고려될 수 있는 상이한 에지가 획득된다.
이들 논 코-리니어 정규화된 벡터를 풀기 위해 이들 논 코-리니어 정규화된 벡터에 평면 피팅 알고리즘(plane fitting algorithm)이 적용된다. 이러한 목적을 위해 최소 자승 추정량(least-squares estimator)이 이용될 수 있다. 하나의 다른 실시예에서, 평면 피팅은 복수의 평면을 검지하기 위해 3차원 카메라에 의해 전달되는 3차원 포인트 클라우드(three-dimensional point cloud) 상에 적용된다. 중력 벡터를 따라서, 최소 표면을 갖는 가장 낮은 평면이 그라운드인 것으로서 정의된다. 그라운드가 발견된 후, 카메라에서부터 그라운드까지의 거리가 결정될 수 있다. 그라운드까지의 거리와 카메라에 대한 그라운드의 지향방향을 알게 됨으로써, 교정 행렬이 구해질 수 있다. 교정 행렬을 인버트(invert)함으로써 역 교정 행렬(inverse calibration matrix) 또한 구해질 수 있다.
이 교정 행렬이 구해진 후, 중력의 현재 방향의 스냅샷(snapshot)이 획득될 수 있다. 이 방향은 "스냅샷 중력"으로 지칭될 수 있다. "스냅샷 중력"을 결정한 후, 카메라는 도 2에 도시된 바와 같이 장면의 더 우수한 뷰(better view)를 갖도록 정렬될 수 있다. 케마라(120)의 정렬은 사용자에 의해 수동으로 행해질 수 있거나, 또는 요구된 뷰잉 프러스텀을 제공하도록 카메라(120)를 이동시키기 위해 모터를 이용하여 자동으로 행해질 수도 있다.
도 2에 도시된 바와 같이, 그라운드(130)가 나무(100)를 포함하는 새로운 뷰잉 프러스텀(160)에 있게 될 필요는 없다. 중력 방향의 변경이 트랙킹(tracking)되고, 차이가 교정 행렬에 적용된다. 이들 차이는 스냅샷으로부터 현재의 중력 방향으로의 정규화된 역회전(normalised inverse rotation)을 형성한다. 이것은 카메라 좌표계 또는 가상 좌표계로부터 세계 좌표계 또는 실제 좌표계로의 교정 행렬이 신호 처리 전에 카메라(120)에 의해 캡쳐된 3D 이미지에 정확하게 적용될 수 있도록 한다. 카메라의 위치의 변경은 장면 분석 또는 측정을 통해 병진 벡터를 검지함으로써 트랙킹될 수 있다.
본 발명의 이 실시예에 따라, 장면은 교정 행렬을 구하는 것을 가능하게 하기 위해 그라운드의 커다란 가시 부분(visible part)을 포함할 필요가 없다는 것을 이해할 것이다.
교정 행렬을 구하기 위해 패턴이 요구되지 않으므로 간략화된 교정 프로세스가 제공된다. 이에 부가하여, 사용자가 전술한 바와 같이 필요한 단계를 용이하게 수행할 수 있기 때문에 교정을 수행함에 있어서 외부 도움을 필요로 하지 않는다.
도 3에는, 본 발명에 따른 포괄적인 자동-교정 프로세스를 예시하는 흐름도(300)가 도시되어 있다. 제1 단계인 단계 305에서는 3D 카메라를 이용하여 장면의 깊이 이미지를 획득한다. 단계 310에서는, 획득된 이미지 또는 관성 감지 유닛으로부터, 장면에서의 수직 방향 Vw가 구해지고, 단계 315에서는 실제 또는 세계 좌표계에 대한 원점이 결정된다. 구해진 수직 방향 Vw로부터, 카메라에 대한 기준 3D 정규직교 좌표계(reference 3D orthonormal coordinate system)를 생성하기 위해 정규직교 좌표계가 이용된다(단계 320). 이것은 가상 좌표계 또는 카메라 좌표계 Mc로서 지칭될 수 있다.
단계 325에서, 기준 3D 정규직교 좌표계는 단계 315로부터의 출력, 즉 실제 또는 세계 좌표계의 원점을 이용하여 기준 3D 좌표계에 정렬된 실제 또는 세계 3D 정규직교 좌표계 Mw를 생성하기 위해 이용된다. 단계 330에서는 카메라 지향방향이 결정되며, 단계 340에서는 카메라 위치가 결정된다. 단계 340에서는, 정렬된 실제 또는 세계 좌표계가 카메라 위치 결정의 일부로서 이용된다.
단계 330에서 획득된 카메라 지향방향 및 단계 340에서 획득된 카메라 위치는 가상 또는 카메라 좌표계 Mc를 실제 또는 세계 좌표계 Mw로 변환하기 위한 교정 행렬 Mc2w를 구하기 위해 이용된다. 이에 부가하여, 단계 350에서는, 실제 또는 세계 좌표계 Mw로부터 가상 또는 카메라 좌표계 Mc로 컨버트하기 위해 역 교정 행렬 Mw2c가 구해질 수 있다.
단계 360에서는 신호 처리 전에 카메라 측정치를 수정하기 위해 교정 행렬 Mc2w가 이용된다. 단계 370에서는 카메라 지향방향 및 위치가 모니터링되며, 지향방향 또는 위치 중의 어느 하나가 변경되면, 화살표 390에 의해 나타낸 바와 같이 단계 305에서 교정 프로세스가 다시 개시되며, 이로써 단계 380에서 신호 처리 이전에 카메라 측정치에 정확한 보정이 적용되게 된다. 카메라 지향방향 및/또는 위치에서 변경이 이루어지지 않았다면, 수정된 카메라 측정치가 단계 380에서 신호 처리에 통과될 수 있다.
신호 처리 이전에 카메라 측정치에 정확한 교정 행렬이 적용되도록 하기 위해 지향방향 및/또는 위치에 대한 카메라 셋업이 중요하다는 것을 이해할 것이다. 그 결과, 단계 370에서의 모니터링 프로세스가 지속적으로 수행되며, 교정 행렬 Mc2w 및 그 역행렬 Mw2c이 필요에 따라 이루어지게 된다.
일실시예에서, 통계 모드를 충족함으로써 기준 평면을 결정하는 단계는, 예컨대, 복수의 평면 중에서, 1 ㎡보다 큰 표면적을 갖는 평면, 평면의 법선에 대해 가장 낮은 공분산값(covariance value)을 갖는 평면, 및 카메라로부터 1 m보다 큰 거리에 위치되어 있는 평면을 선택하는 단계를 포함한다. 표면적 및 카메라로부터의 거리에 대하여 다른 값이 이용될 수도 있다는 것을 이해할 것이다.
장면의 수직 방향을 결정하는 것은 기준 평면의 법선 방향을 이용함으로써 획득될 수도 있다는 것을 이해할 것이다. 기준 평면의 법선 방향은 관성 측정에 의해 제공되는 수직 방향을 개선(refining)하기 위해 이용될 수 있으며, 관성 측정 유닛에 의해 제공되는 수직 방향은 또한 기준 평면을 검지된 복수의 평면 중에서 가장 유사한 수직 방향의 평면으로서 결정하기 위해 이용될 수 있다는 것을 이해할 것이다.
또 다른 실시예에서, 수직선은 장면 내의 사용자 스탠스로부터 결정된다. 여기서, 사용자는 장면의 중간에서 자신의 팔을 펼쳐서 자신의 다리와 T자 형상을 형성하는 상태로 3D 카메라를 바라보며 서있다. 이것은 "T-자세" 교정 포스처(posture)로 알려져 있다. T-자세에서 예컨대 수 초와 같은 사전 결정된 시간 후에, 실제 세계 좌표가 사용자의 위치 및 지향방향에 기초하여 평가된다. 이 경우, 수직 방향은 사용자의 머리로부터 사용자의 발을 통과하는 라인에 의해 결정되며, 수평 평면은 이 수직 방향에 대한 법선으로서 정의된다.
카메라 시스템이 먼저 사용자를 검지하고, 그 후 T-자세를 검지하며, 사전에 결정된 시간 후에 카메라의 가상 좌표계를 실제 세계의 실제 좌표계로 컨버트하는 교정 행렬을 발생한다는 것을 이해할 것이다. 카메라에 대한 파라미터 설정이 추후의 사용을 위해 저장되고, 카메라 위치 및/또는 지향방향에 연관된 변수, 즉 X-축, Y-축 및 Z-축에 관한 위치뿐만 아니라 요, 피치 및 롤이 업데이트된다.
수직 방향 및 수평 방향을 결정한 후, 실제 세계 좌표계의 원점으로서의 점이 선택되며, 3D 카메라의 가상 좌표계를 실제 세계 좌표계 상으로 맵핑하는 교정 행렬이 결정된다. 각각의 좌표계는 예컨대 이미징 시스템의 기동 시 또는 교정 프로세스 동안과 같은 사전에 정해진 시간에 사전에 정해진 3D 지점에 위치되는 중심점을 갖는 3개의 직교축을 포함한다. 이 프로세스에서의 단계는 도 4를 참조하여 보다 상세하게 설명될 것이다.
도 4에는, 사용자의 스탠스가 수직 방향을 결정하기 위해 이용되는 포괄적인 수동 교정 프로세스를 예시하는 흐름도(400)가 도시되어 있다. 단계 405에서는, 수동으로 정의된 카메라 셋업을 이용하여 깊이 이미지가 획득된다. 단계 410에서는, 특정한 스탠스에서의 사용자의 주방향이 결정되고, 세계 또는 실제 수직 방향으로서 이용된다. 이 경우, 특정한 스탠스는 전술한 바와 같이 T-자세이어도 된다. 그러나, 임의의 다른 특이한 자세가 이용될 수도 있다.
수직 방향을 결정한 후, 사용자의 위치에서의 세계 그라운드 위치가 단계 420에서 결정되며, 그 세계 그라운드 위치로부터, 실제 또는 세계 좌표계에 대한 원점이 단계 430에서 결정된다. 사용자의 그라운드 위치 및 사용자의 원점이 2개의 별도의 단계로서 도시되어 있지만, 이들은 하나의 단계로 조합될 수도 있다.
원점으로부터, 기준 세계 3D 정규직교 좌표계 및 기준 3D 정규직교 좌표계가 단계 440에서 생성된다. 세계 또는 실제 좌표계에 대한 카메라의 회전 및 위치가 단계 450에서 결정되며, 그 후 단계 460에서 카메라 또는 가상 내지 세계 또는 실제 회전과 병진을 임베딩하는 교정 행렬이 결정된다. 또한 단계 460에서는, 역 교정 행렬 또한 결정된다.
단계 470에서, 교정 행렬은 단계 475에서의 신호 처리에 통과되기 전에 깊이 이미지에서의 3D 점(3D point)을 수정하기 위해 이용된다. 단계 480에서는 교정 제어가 수행되며, 교정 행렬이 정확하지 않으면, 단계 485에서 카메라의 위치 및/또는 지향방향이 변경되며, 프로세스가 단계 405에서 다시 개시된다.
세계 또는 실제 좌표계의 원점을 결정한 후, 장면에서의 평면을 식별하기 위해 평면 피팅 기술(plane fitting technique)이 활용된다. 한 가지 가능한 평면 피팅 기술은 영역 성장(region growing)이다. 이들 평면이 식별된 후, 기준 평면은 장면에서 2 ㎡의 임계값보다 큰 표면적을 갖고 중력에 의해 결정되는 수직 방향에 직교하는 가장 낮은 평면인 것으로서 선택되고, 이 기준 평면 상에는 기준점이 자동으로 사전에 결정된다. 기준점은 카메라로부터 2.5 m의 거리에 설정되며, 세계 또는 실제 좌표계의 원점으로서 이용된다.
중력에 대한 카메라 지향방향 및 세계 또는 실제 좌표계의 원점에 대한 거리를 알면, 교정 행렬이 정의된다.
이에 부가하여, 장면 캡쳐를 최상이면서 최고의 유용한 프러스텀(즉, 카메라가 캡쳐하는 것)에 대한 것으로 조정하기 위해, 적합한 시야(field of view)가 획득될 때까지 3축 전동 지지부를 이용하여 카메라 지향방향을 조정하면서 교정 행렬의 도출(derivation)의 반복이 수행된다. 예컨대, 카메라 디폴트 지향방향이 20°피치로 되어, 획득된 깊이 이미지의 일면 상의 사용자들의 얼굴이 잘리게 되면, 카메라의 수평축이 실제 또는 세계 좌표계 축에 평행하게 될 때까지 또한 카메라의 Z-축이 실제 또는 세계 좌표계의 Z-Y 평면과 정렬될 때까지, 카메라 지향방향이 반복적으로 조정되고, 대응하는 교정 행렬이 결정된다.
전체적으로 자동화된 실시예에서, 가속도계는 전술한 바와 같이 중력 결정을 이용하여 장면에서의 수직 방향을 결정하기 위해 이용된다.
또 다른 실시예에서, 수직 방향은 깊이 맵에서의 에지로부터 결정된다. 이들 에지는 라팔라스 필터(Laplacian filter) 또는 가우시안 디퍼런스 또는 그래디언트 에지 검출기(Gaussian difference, or gradient edge detectors)와 같은 임의의 에지 검출 프로세스, 예컨대 모폴로지 연산(morphological operation)을 이용하여 검지될 수 있다. 에지가 발견된 후, 가장 가능성 있는 수직축을 결정하기 위해 제안된 수평축 및 수직축, 즉 자연스러운 장면을 가장 잘 나타내고 있는 수평축 및 수직축에 걸쳐 통계 분석이 수행될 수 있다. 이들 가능한 수직축은 그리고나서 하나의 의미 있는 수직 방향의 근사치를 제공하기 위해 함께 취합될 수 있다.
도 5에는, 카메라 지향방향을 반복적으로 조정하기 위해 3축 전동 시스템을 이용하고 가속도계 측정치를 포함하는 자동 교정 프로세스를 예시하는 흐름도(500)가 도시되어 있다. 다른 실시예에서, 카메라 위치는 로봇화된 시스템을 이용하여 조정될 수도 있다. 제1 단계인 단계 505에서는 3D 카메라를 이용하여 깊이 이미지를 획득한다. 단계 510에서는, 깊이 이미지로부터, 장면에서의 가장 낮은 가시 평면이 검지된다. 단계 520에서는 3D 카메라에 연관된 관성 감지 유닛을 이용하여 세계 또는 실제 수직 방향이 결정된다. 전술한 바와 같이, 관성 감지 유닛은 3D 카메라 내에 장착되거나 또는 카메라 상에 장착될 수 있는 가속도계인 것이 바람직하다. 세계 또는 실제 수직 방향은 중력 벡터의 방향에 반대되는 방향으로서 결정된다.
세계 또는 실제 수직 방향을 획득한 후, 단계 530에서는 세계 또는 실제 3D 정규직교 좌표계에 대한 원점이 결정된다. 이 결정으로부터, 세계 또는 실제 3D 정규직교 좌표계의 원점에 관련하여, 단계 540에서는 카메라 지향방향이 결정되고, 단계 545에서는 카메라 위치가 결정될 수 있다.
각각 단계 540 및 545에서 결정된 바와 같은 카메라 지향방향 및 위치는 단계 550에서는 카메라 또는 가상 좌표계를 세계 또는 실제 좌표계로 변환하기 위한 교정 행렬을 구하기 위해 이용된다. 또한 단계 550에서는 역 교정 행렬이 결정된다.
그 후, 교정 행렬은 단계 560에서 신호 처리 이전에 카메라 측정치를 수정하기 위해 이용된다. 위치 및 지향방향에 대한 카메라 셋업은 단계 570에서 어떠한 변경에 대해 모니터링된다. 변경이 없으면, 수정된 측정치가 단계 580에서 신호 처리에 통과될 수 있다. 변경이 검지되면, 단계 590에서 3축 전동 시스템을 이용하여 카메라가 다시 정렬되며, 프로세스가 다시 개시되어 새로운 교정 행렬을 획득한다.
특정한 일실시예에서, 카메라의 수직축은 실제 세계 좌표계 Mw의 Y-Z 평면 축과 재정렬될 수 있다.
도시하지는 않았지만, 교정 행렬 및 그 역행렬은 저장될 수 있고, 카메라 셋업이 변경되지 않았다면 신호 처리 전에 모든 카메라 측정치에 적용될 수 있다.
본 발명이 구체적인 실시예에 대하여 설명되었지만, 본 발명은 이들 실시예로 한정되지 않으며, 교정 행렬에 대한 필요한 정보를 다른 방식으로 획득하는 것이 가능하다.

Claims (16)

  1. 3차원 환경에서 3차원 타임-오브-플라이트(time-of-flight) 이미징 시스템을 교정하는 방법으로서,
    a) 3차원 이미징 시스템에 대한 기준 직교 가상 3차원 좌표계(Mc)를 결정하는 단계로서, 상기 기준 직교 가상 3차원 좌표계(Mc)가 수평축, 수직축 및 깊이축을 가지며, 상기 수평축 및 상기 수직축이 상기 3차원 이미징 시스템의 센서의 수평축 및 수직축과 각각 정렬되며, 상기 깊이축이 상기 센서의 수평축 및 수직축에 의해 정해지는 상기 센서의 평면에 직교하게 되는, 결정하는 단계;
    b) 상기 가상 좌표계(Mc)에서 실제 세계의 수직 방향(Vw)을 획득하는 단계;
    c) 상기 기준 좌표계에 대하여, 수평축, 수직축 및 깊이축을 갖는 실제 세계 3차원 정규직교 좌표계(Mw)를 결정하는 단계로서, 상기 수직축이 수직 방향(Vw)에 대하여 정렬하도록 회전되는, 결정하는 단계;
    d) 장면 내의 점을 상기 실제 세계 3차원 정규직교 좌표계(Mw)에 대한 새로운 원점으로서 결정하는 단계;
    e) 상기 가상 3차원 좌표계(Mc)의 원점에서부터 장면의 새로운 원점으로서 정해진 점까지의 병진 벡터(Tv)를 구하는 단계;
    f) 상기 가상 3차원 좌표계를 상기 실제 세계 3차원 좌표계로 변환하기 위한 회전 행렬(Mr)을 구하는 단계; 및
    g) 상기 병진 벡터에 의해 병진 이동된 상기 회전 행렬로서 상기 3차원 이미징 시스템을 위한 교정 행렬(Mc2w)을 구하는 단계를 포함하며,
    상기 방법은, 상기 실제 세계 3차원 좌표계의 상기 수직축과 상기 깊이축에 의해 정의되는 평면을, 상기 가상 3차원 좌표계(Mc)의 가상 수직축 및 가상 깊이축에 의해 정의되는 평면과 공통 평면이 되도록 정렬하는 단계를 더 포함하는,
    3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  2. 제1항에 있어서,
    상기 g) 단계는, 상기 실제 세계 3차원 좌표계를 상기 가상 3차원 좌표계로 변환하기 위한 역 교정 행렬(Mw2c)을 상기 교정 행렬(Mc2w)로부터 구하는 단계를 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 b) 단계는, 실제 세계의 수직 방향(Vw)을 측정 디바이스를 이용하여 결정된 중력 벡터의 역벡터(opposite vector)로서 구하는 단계를 포함하며, 상기 측정 디바이스는 하나 이상의 관성 측정 유닛을 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  4. 제1항 또는 제2항에 있어서,
    상기 b) 단계는, 장면의 평면에 대한 법선으로부터 실제 세계의 수직 방향(Vw)을 구하는 단계를 포함하며, 상기 장면의 평면은,
    ⅰ) 제1 지향방향에서 상기 3차원 이미징 시스템으로 장면을 캡쳐하는 단계;
    ⅱ) 평면 피팅 알고리즘(plane fitting algorithm)을 이용하여 상기 장면 내의 복수의 평면을 결정하는 단계; 및
    ⅲ) 상기 장면 내의 기준 평면을 그라운드인 것으로서 결정하는 단계
    에 의해 결정되는,
    3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  5. 제4항에 있어서,
    상기 ⅲ) 단계는, 상기 기준 평면을, 통계 모드, 최대 표면, 및 최소 표면적을 최상으로 충족하는 평면으로서 결정하는 단계를 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  6. 제4항에 있어서,
    상기 ⅲ) 단계는, 상기 기준 평면을, 통계 모드의 장면의 주성분 분석(principal component analysis), 최대 표면, 및 최소 표면적의 조합으로서 결정하는 단계를 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  7. 제1항 또는 제2항에 있어서,
    상기 b) 단계는, 장면 내의 특정 사용자 스탠스로부터 실제 세계의 수직 방향(Vw)을 구하는 단계를 포함하며, 상기 수직 방향(Vw)은 사전에 정해진 교정 포스처(posture)로 서있는 사용자의 수직 방향과 정렬되는 방향인, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  8. 제7항에 있어서,
    상기 사전에 정해진 교정 포스처로부터 수평축 및 수직축을 구하는 단계와, 구해진 수평축 및 수직축에 실제 세계 3차원 좌표계(Mw)를 정렬시키는 단계를 더 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 b) 단계는, 장면 내에 검지된 에지로부터 실제 세계의 수직 방향(Vw)을 구하는 단계를 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  10. 제1항 또는 제2항에 있어서,
    상기 b) 단계는, 상기 실제 세계의 수직 방향(Vw)을 측정 디바이스를 이용하여 결정된 중력 벡터의 역벡터로서 구하는 단계와, 상기 실제 세계의 수직 방향(Vw)을 장면의 평면에 대한 법선으로부터 구하는 단계와, 상기 실제 세계의 수직 방향(Vw)을 장면 내의 특정 사용자 스탠스로부터 구하는 단계로서, 상기 수직 방향(Vw)이 사전에 정해진 교정 포스처로 서있는 사용자의 수직 방향과 정렬되는, 구하는 단계와, 상기 실제 세계의 수직 방향(Vw)을 장면 내에서 검지된 에지로부터 구하는 단계 중의 2개 이상의 단계를 조합함으로써, 상기 수직 방향(Vw)을 개선(refining)하는 단계를 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  11. 제1항 내지 제10항 중 어느 한 항에 있어서,
    상기 d) 단계는, 공간 내의 사전에 정해진 점, 사용자를 정의하는 점의 가장 낮은 지점, 검지된 평면 상의 점, 및 장면 내의 사전에 결정된 오브젝트의 지점 중의 하나를 이용하여 새로운 원점을 위한 점을 정의하는 단계를 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  12. 제1항 내지 제11항 중 어느 한 항에 있어서,
    3차원 환경에 대한 3차원 이미징 시스템의 위치와 지향방향 중의 하나 이상에서 변경이 검지되면, 상기 교정 행렬(Mc2w)을 자동으로 개선하는 단계를 더 포함하며, 상기 가장 좌표계(Mc)의 하나 이상의 축이 상기 실제 세계 좌표계(Mw)에서 2개의 축에 의해 정의된 평면에 정렬되는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  13. 제12항에 있어서,
    상기 3차원 이미징 시스템을 지지하는 전동 시스템을 제어함으로써 상기 가상 좌표계(Mc)의 적어도 수직축을 상기 실제 세계 좌표계(Mw)의 Y-Z 평면에 정렬시키는 단계를 더 포함하는, 3차원 타임-오브-플라이트 이미징 시스템을 교정하는 방법.
  14. 관성 측정 유닛을 포함하며, 전술한 청구항들 중의 어느 하나에 따른 방법에 따라 작동하는, 깊이 감지 이미징 시스템.
  15. 청구항 1 내지 13 중의 어느 하나에 따른 방법의 작동에 따라 깊이 감지 이미징 시스템의 위치 및 지향방향 중의 하나 이상을 조정하기 위해 전동 수단을 포함하는, 깊이 감지 이미징 시스템.
  16. 청구항 1 내지 13 중의 어느 하나의 방법에 따라 작동하는 교정 수단을 포함하는, 3차원 타임-오브-플라이트 이미징 시스템.
KR1020137034984A 2012-01-13 2013-01-14 자동 장면 교정 KR101590530B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP12000202.7A EP2615580B1 (en) 2012-01-13 2012-01-13 Automatic scene calibration
EP12000202.7 2012-01-13
PCT/EP2013/050597 WO2013104800A1 (en) 2012-01-13 2013-01-14 Automatic scene calibration

Publications (2)

Publication Number Publication Date
KR20140031345A true KR20140031345A (ko) 2014-03-12
KR101590530B1 KR101590530B1 (ko) 2016-02-01

Family

ID=47598805

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034984A KR101590530B1 (ko) 2012-01-13 2013-01-14 자동 장면 교정

Country Status (6)

Country Link
US (1) US9578310B2 (ko)
EP (1) EP2615580B1 (ko)
JP (1) JP2014529727A (ko)
KR (1) KR101590530B1 (ko)
CN (1) CN103718213B (ko)
WO (1) WO2013104800A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158316B1 (ko) * 2020-04-14 2020-09-21 주식회사 맥스트 점군 정보 가공 장치 및 방법
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Families Citing this family (111)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2154650A1 (en) * 2008-08-12 2010-02-17 IEE INTERNATIONAL ELECTRONICS & ENGINEERING S.A. 3D time-of-flight camera system and position/orientation calibration method therefor
US9071740B1 (en) 2011-10-28 2015-06-30 Google Inc. Modular camera system
US9537968B1 (en) 2012-01-06 2017-01-03 Google Inc. Communication of socket protocol based data over a storage protocol based interface
US9197686B1 (en) 2012-01-06 2015-11-24 Google Inc. Backfill of video stream
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration
JP6009502B2 (ja) * 2014-07-29 2016-10-19 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および情報処理方法
US9600892B2 (en) * 2014-11-06 2017-03-21 Symbol Technologies, Llc Non-parametric method of and system for estimating dimensions of objects of arbitrary shape
US9396554B2 (en) 2014-12-05 2016-07-19 Symbol Technologies, Llc Apparatus for and method of estimating dimensions of an object associated with a code in automatic response to reading the code
WO2016149938A1 (zh) * 2015-03-26 2016-09-29 北京旷视科技有限公司 视频监控方法、视频监控系统以及计算机程序产品
US9544485B2 (en) 2015-05-27 2017-01-10 Google Inc. Multi-mode LED illumination system
US9454820B1 (en) 2015-06-12 2016-09-27 Google Inc. Using a scene illuminating infrared emitter array in a video monitoring camera for depth determination
US9613423B2 (en) * 2015-06-12 2017-04-04 Google Inc. Using a depth map of a monitored scene to identify floors, walls, and ceilings
US9235899B1 (en) 2015-06-12 2016-01-12 Google Inc. Simulating an infrared emitter array in a video monitoring camera to construct a lookup table for depth determination
US9386230B1 (en) 2015-06-12 2016-07-05 Google Inc. Day and night detection based on one or more of illuminant detection, lux level detection, and tiling
US9626849B2 (en) 2015-06-12 2017-04-18 Google Inc. Using scene information from a security camera to reduce false security alerts
US9489745B1 (en) 2015-06-12 2016-11-08 Google Inc. Using depth maps of a scene to identify movement of a video camera
US9554063B2 (en) 2015-06-12 2017-01-24 Google Inc. Using infrared images of a monitored scene to identify windows
US9886620B2 (en) 2015-06-12 2018-02-06 Google Llc Using a scene illuminating infrared emitter array in a video monitoring camera to estimate the position of the camera
CN105072433B (zh) * 2015-08-21 2017-03-22 山东师范大学 应用于头跟踪虚拟现实系统的感知深度映射方法
CN108027984B (zh) 2015-09-25 2022-05-13 奇跃公司 用于在3d重建中检测和组合结构特征的方法和系统
US10260862B2 (en) * 2015-11-02 2019-04-16 Mitsubishi Electric Research Laboratories, Inc. Pose estimation using sensors
US10352689B2 (en) 2016-01-28 2019-07-16 Symbol Technologies, Llc Methods and systems for high precision locationing with depth values
US10145955B2 (en) 2016-02-04 2018-12-04 Symbol Technologies, Llc Methods and systems for processing point-cloud data with a line scanner
JP6721998B2 (ja) * 2016-02-23 2020-07-15 村田機械株式会社 物体状態特定方法、物体状態特定装置、および、搬送車
EP3217355A1 (en) * 2016-03-07 2017-09-13 Lateral Reality Kft. Methods and computer program products for calibrating stereo imaging systems by using a planar mirror
US10503968B2 (en) 2016-03-22 2019-12-10 Intel Corporation Identifying a local coordinate system for gesture recognition
US10721451B2 (en) 2016-03-23 2020-07-21 Symbol Technologies, Llc Arrangement for, and method of, loading freight into a shipping container
EP3236286B1 (en) 2016-04-18 2023-01-25 Otis Elevator Company Auto commissioning system and method
US9805240B1 (en) 2016-04-18 2017-10-31 Symbol Technologies, Llc Barcode scanning and dimensioning
CN109690622A (zh) * 2016-06-29 2019-04-26 醒眸行有限公司 多相机系统中的相机登记
US10776661B2 (en) 2016-08-19 2020-09-15 Symbol Technologies, Llc Methods, systems and apparatus for segmenting and dimensioning objects
CN107945234A (zh) * 2016-10-12 2018-04-20 杭州海康威视数字技术股份有限公司 一种立体摄像机外部参数的确定方法及装置
US10180615B2 (en) 2016-10-31 2019-01-15 Google Llc Electrochromic filtering in a camera
US11042161B2 (en) 2016-11-16 2021-06-22 Symbol Technologies, Llc Navigation control method and apparatus in a mobile automation system
US10451405B2 (en) 2016-11-22 2019-10-22 Symbol Technologies, Llc Dimensioning system for, and method of, dimensioning freight in motion along an unconstrained path in a venue
CN106846410B (zh) * 2016-12-20 2020-06-19 北京鑫洋泉电子科技有限公司 基于三维的行车环境成像方法及装置
US10354411B2 (en) 2016-12-20 2019-07-16 Symbol Technologies, Llc Methods, systems and apparatus for segmenting objects
CN108510540B (zh) 2017-02-23 2020-02-07 杭州海康威视数字技术股份有限公司 立体视觉摄像机及其高度获取方法
US11367092B2 (en) 2017-05-01 2022-06-21 Symbol Technologies, Llc Method and apparatus for extracting and processing price text from an image set
US11093896B2 (en) 2017-05-01 2021-08-17 Symbol Technologies, Llc Product status detection system
US10663590B2 (en) 2017-05-01 2020-05-26 Symbol Technologies, Llc Device and method for merging lidar data
US10726273B2 (en) 2017-05-01 2020-07-28 Symbol Technologies, Llc Method and apparatus for shelf feature and object placement detection from shelf images
US11449059B2 (en) 2017-05-01 2022-09-20 Symbol Technologies, Llc Obstacle detection for a mobile automation apparatus
US10591918B2 (en) 2017-05-01 2020-03-17 Symbol Technologies, Llc Fixed segmented lattice planning for a mobile automation apparatus
US10949798B2 (en) 2017-05-01 2021-03-16 Symbol Technologies, Llc Multimodal localization and mapping for a mobile automation apparatus
DE112018002314T5 (de) 2017-05-01 2020-01-23 Symbol Technologies, Llc Verfahren und vorrichtung zur erkennung eines objektstatus
US11600084B2 (en) 2017-05-05 2023-03-07 Symbol Technologies, Llc Method and apparatus for detecting and interpreting price label text
EP3441788A1 (en) * 2017-08-08 2019-02-13 Koninklijke Philips N.V. Apparatus and method for generating a representation of a scene
US10304254B2 (en) 2017-08-08 2019-05-28 Smart Picture Technologies, Inc. Method for measuring and modeling spaces using markerless augmented reality
US10572763B2 (en) 2017-09-07 2020-02-25 Symbol Technologies, Llc Method and apparatus for support surface edge detection
US10521914B2 (en) 2017-09-07 2019-12-31 Symbol Technologies, Llc Multi-sensor object recognition system and method
CN111492403A (zh) 2017-10-19 2020-08-04 迪普迈普有限公司 用于生成高清晰度地图的激光雷达到相机校准
CN108282651A (zh) * 2017-12-18 2018-07-13 北京小鸟看看科技有限公司 相机参数的矫正方法、装置及虚拟现实设备
FR3075985B1 (fr) * 2017-12-21 2019-11-15 Thales Procede et systeme d'harmonisation duale d'un systeme d'affichage tete haute porte pour rendre conforme l'affichage d'informations de pilotage d'un aeronef avec le monde reel exterieur
CN108320311B (zh) * 2018-01-19 2020-10-09 杭州映墨科技有限公司 一种能够自动纠偏的ar沙盘校准模型计算方法
US10902625B1 (en) 2018-01-23 2021-01-26 Apple Inc. Planar surface detection
CN108510578B (zh) * 2018-03-13 2023-04-07 北京航空航天大学青岛研究院 三维模型搭建方法、装置及电子设备
US10809078B2 (en) 2018-04-05 2020-10-20 Symbol Technologies, Llc Method, system and apparatus for dynamic path generation
US11327504B2 (en) 2018-04-05 2022-05-10 Symbol Technologies, Llc Method, system and apparatus for mobile automation apparatus localization
US10823572B2 (en) 2018-04-05 2020-11-03 Symbol Technologies, Llc Method, system and apparatus for generating navigational data
US10740911B2 (en) 2018-04-05 2020-08-11 Symbol Technologies, Llc Method, system and apparatus for correcting translucency artifacts in data representing a support structure
US10832436B2 (en) 2018-04-05 2020-11-10 Symbol Technologies, Llc Method, system and apparatus for recovering label positions
CN109064562A (zh) * 2018-09-29 2018-12-21 深圳阜时科技有限公司 一种三维场景模拟方法
US11010920B2 (en) 2018-10-05 2021-05-18 Zebra Technologies Corporation Method, system and apparatus for object detection in point clouds
US11506483B2 (en) 2018-10-05 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for support structure depth determination
CN111243028B (zh) * 2018-11-09 2023-09-08 杭州海康威视数字技术股份有限公司 一种电子设备及镜头关联方法、装置
US11003188B2 (en) 2018-11-13 2021-05-11 Zebra Technologies Corporation Method, system and apparatus for obstacle handling in navigational path generation
US11090811B2 (en) 2018-11-13 2021-08-17 Zebra Technologies Corporation Method and apparatus for labeling of support structures
US11416000B2 (en) 2018-12-07 2022-08-16 Zebra Technologies Corporation Method and apparatus for navigational ray tracing
US11079240B2 (en) 2018-12-07 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for adaptive particle filter localization
US11100303B2 (en) 2018-12-10 2021-08-24 Zebra Technologies Corporation Method, system and apparatus for auxiliary label detection and association
US11015938B2 (en) 2018-12-12 2021-05-25 Zebra Technologies Corporation Method, system and apparatus for navigational assistance
US10731970B2 (en) 2018-12-13 2020-08-04 Zebra Technologies Corporation Method, system and apparatus for support structure detection
CA3028708A1 (en) 2018-12-28 2020-06-28 Zih Corp. Method, system and apparatus for dynamic loop closure in mapping trajectories
WO2020133468A1 (en) * 2018-12-29 2020-07-02 Zhejiang Dahua Technology Co., Ltd. Methods and systems for camera calibration
CN109696183B (zh) * 2019-01-28 2021-04-16 北京华捷艾米科技有限公司 惯性测量单元的标定方法及装置
CN109814572B (zh) * 2019-02-20 2022-02-01 广州市山丘智能科技有限公司 移动机器人定位建图方法、装置、移动机器人和存储介质
CN110136204B (zh) * 2019-03-19 2021-08-03 浙江大学山东工业技术研究院 基于双侧远心镜头相机机床位置标定的音膜球顶装配系统
CN111750850B (zh) * 2019-03-27 2021-12-14 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
US10867409B2 (en) * 2019-04-22 2020-12-15 Great Wall Motor Company Limited Methods and systems to compensate for vehicle calibration errors
CN110109146B (zh) * 2019-04-30 2021-05-14 北京云迹科技有限公司 基于多线激光雷达的路面检测方法及装置
EP3966789A4 (en) 2019-05-10 2022-06-29 Smart Picture Technologies, Inc. Methods and systems for measuring and modeling spaces using markerless photo-based augmented reality process
US11080566B2 (en) 2019-06-03 2021-08-03 Zebra Technologies Corporation Method, system and apparatus for gap detection in support structures with peg regions
US11151743B2 (en) 2019-06-03 2021-10-19 Zebra Technologies Corporation Method, system and apparatus for end of aisle detection
US11341663B2 (en) 2019-06-03 2022-05-24 Zebra Technologies Corporation Method, system and apparatus for detecting support structure obstructions
US11662739B2 (en) 2019-06-03 2023-05-30 Zebra Technologies Corporation Method, system and apparatus for adaptive ceiling-based localization
US11200677B2 (en) 2019-06-03 2021-12-14 Zebra Technologies Corporation Method, system and apparatus for shelf edge detection
US11402846B2 (en) 2019-06-03 2022-08-02 Zebra Technologies Corporation Method, system and apparatus for mitigating data capture light leakage
US11960286B2 (en) 2019-06-03 2024-04-16 Zebra Technologies Corporation Method, system and apparatus for dynamic task sequencing
CN112085797A (zh) * 2019-06-12 2020-12-15 通用电气精准医疗有限责任公司 3d相机-医疗成像设备坐标系校准系统和方法及其应用
CN110361001B (zh) * 2019-06-20 2023-04-07 河北工业大学 一种用于空间碎片运动测量系统及标定方法
US11507103B2 (en) 2019-12-04 2022-11-22 Zebra Technologies Corporation Method, system and apparatus for localization-based historical obstacle handling
CN111179341B (zh) * 2019-12-09 2022-05-20 西安交通大学 一种增强现实设备与移动机器人的配准方法
US11107238B2 (en) 2019-12-13 2021-08-31 Zebra Technologies Corporation Method, system and apparatus for detecting item facings
US11822333B2 (en) 2020-03-30 2023-11-21 Zebra Technologies Corporation Method, system and apparatus for data capture illumination control
CN111598784B (zh) * 2020-04-23 2022-08-02 中国科学院上海技术物理研究所 一种基于45度镜宽幅多元并扫成像的像旋校正方法
CN111553965B (zh) * 2020-04-29 2023-05-02 张洋 一种二维图像处理方法及系统
CN111540022B (zh) * 2020-05-14 2024-04-19 深圳市艾为智能有限公司 一种基于虚拟相机的图像一致化方法
US11450024B2 (en) 2020-07-17 2022-09-20 Zebra Technologies Corporation Mixed depth object detection
US11348277B2 (en) 2020-08-12 2022-05-31 Hong Kong Applied Science and Technology Research Institute Company Limited Apparatus and method for estimating camera orientation relative to ground surface
CN112164018B (zh) * 2020-09-27 2024-02-27 北华航天工业学院 一种机器视觉校准系统及其校准方法
US11593915B2 (en) 2020-10-21 2023-02-28 Zebra Technologies Corporation Parallax-tolerant panoramic image generation
US11392891B2 (en) 2020-11-03 2022-07-19 Zebra Technologies Corporation Item placement detection and optimization in material handling systems
US11847832B2 (en) 2020-11-11 2023-12-19 Zebra Technologies Corporation Object classification for autonomous navigation systems
US11954882B2 (en) 2021-06-17 2024-04-09 Zebra Technologies Corporation Feature-based georegistration for mobile computing devices
CN113436273A (zh) * 2021-06-28 2021-09-24 南京冲浪智行科技有限公司 一种3d场景定标方法、定标装置及其定标应用
CN115249261B (zh) * 2021-08-12 2023-05-12 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN115222799B (zh) * 2021-08-12 2023-04-11 达闼机器人股份有限公司 图像重力方向的获取方法、装置、电子设备及存储介质
CN113566709A (zh) * 2021-08-26 2021-10-29 苏州小优智能科技有限公司 一种结构光测量系统的标定方法、装置及电子设备
CN114139325B (zh) * 2021-12-08 2022-09-09 国网上海市电力公司 一种利用自然场景进行地下线缆可视化校准方法
US20240078640A1 (en) * 2022-09-01 2024-03-07 Apple Inc. Perspective Correction with Gravitational Smoothing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175762A (ja) * 1997-12-08 1999-07-02 Katsushi Ikeuchi 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
JP2007025863A (ja) * 2005-07-13 2007-02-01 Advanced Telecommunication Research Institute International 撮影システム、撮影方法及び画像処理プログラム
JP2011215082A (ja) * 2010-04-01 2011-10-27 Nippon Telegr & Teleph Corp <Ntt> 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム
JP2011530706A (ja) * 2008-08-12 2011-12-22 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄ−ｔｏｆカメラ装置及びそのための位置・向き較正方法

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7106898B2 (en) * 1999-12-06 2006-09-12 California Institute Of Technology 3D scanning using shadows
JP2001317915A (ja) * 2000-05-08 2001-11-16 Minolta Co Ltd ３次元計測装置
US7554578B2 (en) 2000-07-11 2009-06-30 Phase One A/S Digital camera with integrated accelerometers
JP2004108836A (ja) * 2002-09-13 2004-04-08 Sumitomo Denko Systems Kk 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置
IL157877A0 (en) * 2003-09-11 2004-03-28 Imagine It S Happening Ltd Color edge based 3d scanner
US20070032950A1 (en) * 2005-08-05 2007-02-08 Raven Industries, Inc. Modular high-precision navigation system
CN100428805C (zh) * 2005-12-15 2008-10-22 上海交通大学 仅用一幅平面标定物图像的摄像机标定方法
JP4757142B2 (ja) * 2006-08-10 2011-08-24 キヤノン株式会社 撮影環境校正方法及び情報処理装置
JP2009042162A (ja) * 2007-08-10 2009-02-26 Toshiba Corp キャリブレーション装置及びその方法
JP5079547B2 (ja) * 2008-03-03 2012-11-21 Ｔｏａ株式会社 カメラキャリブレーション装置およびカメラキャリブレーション方法
US8373763B2 (en) * 2008-05-22 2013-02-12 GM Global Technology Operations LLC Self calibration of extrinsic camera parameters for a vehicle camera
US20100053151A1 (en) * 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
GB2465793A (en) * 2008-11-28 2010-06-02 Sony Corp Estimating camera angle using extrapolated corner locations from a calibration pattern
TWI408486B (zh) * 2008-12-30 2013-09-11 Ind Tech Res Inst 具動態校正的攝影機及其動態校正方法
WO2010082933A1 (en) 2009-01-16 2010-07-22 World Golf Tour, Inc. Position estimation refinement
US8970690B2 (en) * 2009-02-13 2015-03-03 Metaio Gmbh Methods and systems for determining the pose of a camera with respect to at least one object of a real environment
CN101894366B (zh) * 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
WO2011054083A1 (en) * 2009-11-04 2011-05-12 Technologies Numetrix Inc. Device and method for obtaining three-dimensional object surface data
TWI398160B (zh) 2009-12-01 2013-06-01 Ind Tech Res Inst 攝影機校正系統與座標資料產生系統及其方法
US8947511B2 (en) * 2010-10-01 2015-02-03 At&T Intellectual Property I, L.P. Apparatus and method for presenting three-dimensional media content
US9124873B2 (en) * 2010-12-08 2015-09-01 Cognex Corporation System and method for finding correspondence between cameras in a three-dimensional vision system
EP2615580B1 (en) * 2012-01-13 2016-08-17 Softkinetic Software Automatic scene calibration

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175762A (ja) * 1997-12-08 1999-07-02 Katsushi Ikeuchi 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
JP2007025863A (ja) * 2005-07-13 2007-02-01 Advanced Telecommunication Research Institute International 撮影システム、撮影方法及び画像処理プログラム
JP2011530706A (ja) * 2008-08-12 2011-12-22 アイイーイー インターナショナル エレクトロニクス アンド エンジニアリング エス．エイ． ３ｄ−ｔｏｆカメラ装置及びそのための位置・向き較正方法
JP2011215082A (ja) * 2010-04-01 2011-10-27 Nippon Telegr & Teleph Corp <Ntt> 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102158316B1 (ko) * 2020-04-14 2020-09-21 주식회사 맥스트 점군 정보 가공 장치 및 방법
WO2021210725A1 (ko) * 2020-04-14 2021-10-21 주식회사 맥스트 점군 정보 가공 장치 및 방법
WO2023224326A1 (ko) * 2022-05-18 2023-11-23 삼성전자 주식회사 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법

Also Published As

Publication number Publication date
JP2014529727A (ja) 2014-11-13
CN103718213A (zh) 2014-04-09
CN103718213B (zh) 2018-09-28
US9578310B2 (en) 2017-02-21
KR101590530B1 (ko) 2016-02-01
EP2615580B1 (en) 2016-08-17
WO2013104800A1 (en) 2013-07-18
US20150181198A1 (en) 2015-06-25
EP2615580A1 (en) 2013-07-17

Similar Documents

Publication Publication Date Title
KR101590530B1 (ko) 자동 장면 교정
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
JP6100380B2 (ja) 特に装置に係る視覚ベースの位置決めに使用される画像処理方法
CN106643699B (zh) 一种虚拟现实系统中的空间定位装置和定位方法
KR101633620B1 (ko) 영상 기반의 위치 인식을 위한 특징점 등록 장치 및 그 방법
KR101758058B1 (ko) 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
TWI496108B (zh) AR image processing apparatus and method
US10930008B2 (en) Information processing apparatus, information processing method, and program for deriving a position orientation of an image pickup apparatus using features detected from an image
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
CN106960454B (zh) 景深避障方法、设备及无人飞行器
US20150377612A1 (en) Position/orientation measurement apparatus, measurement processing method thereof, and non-transitory computer-readable storage medium
JP6503906B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20110141306A1 (en) Image capturing device, method of searching for occlusion region, and program
KR20150096922A (ko) 카메라 포즈 추정 장치 및 카메라 포즈 추정 방법
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN110926330B (zh) 图像处理装置和图像处理方法
KR20170139548A (ko) 이미지 라인들로부터의 카메라 외부 파라미터들 추정
JP4132068B2 (ja) 画像処理装置及び三次元計測装置並びに画像処理装置用プログラム
JP7107166B2 (ja) 床面検出プログラム、床面検出方法及び端末装置
Kerl Odometry from rgb-d cameras for autonomous quadrocopters
KR20140134090A (ko) 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
KR100574227B1 (ko) 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법
KR101781515B1 (ko) 다면체를 이용한 카메라 칼리브레이션 시스템 및 방법
US20230033339A1 (en) Image processing system
JP6890422B2 (ja) 情報処理装置、情報処理装置の制御方法およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant