KR20020035652A - 3 차원적인 복구를 위한 스트랩다운 시스템 - Google Patents

3 차원적인 복구를 위한 스트랩다운 시스템 Download PDF

Info

Publication number
KR20020035652A
KR20020035652A KR1020027004406A KR20027004406A KR20020035652A KR 20020035652 A KR20020035652 A KR 20020035652A KR 1020027004406 A KR1020027004406 A KR 1020027004406A KR 20027004406 A KR20027004406 A KR 20027004406A KR 20020035652 A KR20020035652 A KR 20020035652A
Authority
KR
South Korea
Prior art keywords
cameras
reference plane
images
points
markers
Prior art date
Application number
KR1020027004406A
Other languages
English (en)
Inventor
웬셀다프나
이미-순
Original Assignee
요트.게.아. 롤페즈
코닌클리케 필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아. 롤페즈, 코닌클리케 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아. 롤페즈
Publication of KR20020035652A publication Critical patent/KR20020035652A/ko

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85Stereo camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/246Calibration of cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

3 차원적인 대상의 형태는 기준면상의 점들의 투영을 우선 결정함으로서 교정되지 않은 스테레오 영상들로부터 결정된다. 기준면으로부터의 각 점의 거리는 시야의 각각의 카메라들의 필드내에서 볼 수 있는 두 개의 알려진 점들에 기초한 교정을 사용하는 기술에 의해 얻어진다. 상기 방법은, 기준면으로부터 두 개의 교정점들의 깊이인, 높은 정밀도 측정만을 요구한다. 이것들은 구성 장치에만 공급되고, 그러므로 사용자가 측정할 필요를 없앤다. 요구된 교정 데이터의 나머지는 카메라들의 영상들로부터 직접적으로 유도될 수도 있다.

Description

3 차원적인 복구를 위한 스트랩다운 시스템{Strapdown system for three-dimensional reconstruction}
3 차원적인 장면내의 대상들의 형상들 및 위치들에 관한 정보의 입력은 자동 조작(automation)의 도움 없이는 어렵고 지루한 작업이다. 이러한 정보는 3 차원적인 애니메이션, 머신비젼(machine vision)(제조들의 형상 제어내의 형상 분석/인식), 동물적 행동에 대한 자동 충돌들(collisions)로부터의 이벤트들의 역학 분석뿐만 아니라 동작 인식과 생물학적 인증(bio-authentication)에 입각한 사용자-인터페이스들에 유용하다. 그 응용들은 매우많다. 또한, 패닝(panning) 효과를 생성하기 위해 한 우위점(vantage)에서 다른 우위점까지 영상을 형상화하는 것과 같이 순수한 시각적 데이터를 이용한 3차원 모델링의 어떤 장점들을 제공해 주는 방법이 있지만, 이것들은 진정한 3 차원 모델링의 힘에는 미치지 못한다.
본 발명은 한 쌍의 카메라들에 의해 획득된 동일한 대상의 영상들에 기초한 3 차원적인 형상들의 모델링에 관한 것이다.
도 1a는 본 발명의 실시예를 구현하기 위한 지그(jig)의 평면도.
도 1b는 도 1a의 지그의 정면도.
도 1c는 도 1a 및 1b의 지그의 측면도.
도 1d는 도 1a 내지 도 1c의 지그의 개구의 개략도.
도 2는 본 발명의 다양한 실시예들에 공통의 특성들의 도시한 도면.
도 3은 본 발명을 구현하는데 사용될 수 있는 컴퓨터 시스템을 도시한 도면.
도 4 내지 6은 삼각측량법을 지지하도록 사용되는 교정 공정내의 단계들을도시한 도면.
본 발명을 이용하여, 다중 카메라 영상들에 기초한 3차원적인 복구는 장치의 정확한 측정, 교정 및 위치결정이 어려운 세팅들에서 이행될 수 있다. 예를 들어, 소비자 생산물들에서, 이러한 복구는 사용자-인터페이스의 부분으로서 사용될 수 있거나, 시스템이 셋업될 수 있는 속도가 중요한 필드 사용(field-use)에서 사용될 수 있다. 그러한 시스템은 통상 부담스러운 것이다. 본 발명은 다중 카메라 3 차원 복구가 쉽게 또 기술적 지식 없이 교정될 수 있는 구성성분들을 제공한다.
셋업을 교정하고, 미지점들에 대한 위치적인 데이터를 계산하기 위해 이것을 사용하는 두 가지 실시예가 설명된다. 물리적 장치들은 다른 계산 기술들과 사용될 수 있다. 두 가지 예시적인 실시예들 중 하나에서, 교정 절차는 삼각측량(triangulation)에 의해 위치들이 알려진 기준 마커들로부터 카메라 영상 시각 중심들(등가 핀홀 카메라의 핀홀의 위치)을 결정하고, 위치 데이터는 카메라 영상들로부터의 미지점들의 좌표들을 결정하기 위해 사용된다. 다른 실시예에서, 교정은 미지점들의 기준면으로부터의 거리가 계산되는 알고리즘을 제공하고, 상기 알고리즘은 기준면으로부터 한 쌍의 기준 마커들의 거리로부터 유도된다. 두 실시예중 어느 쪽이던지, 두 가지 마커들은 셋업을 교정하고, 그 후에 장면으로부터 제거될 수 있어 시스템이 동일한 시각적 필드에서 미지점의 위치나 깊이를 결정하는데 사용되는 것을 가능하게 한다.
교정 장치들의 한 실시예에서, 각각의 카메라는 영상 주변 필드에서 항상 보여지는 정다각형의 개구들(apertures)의 뒤에서부터 장면을 본다. 그 개구들은 모두 공통 기준면에 놓인다. 최초의 셋업 절차에서, (카메라들 및 그들 각각의 개구들을 향하는) 정면의 영상은 정투영(orthographic projection)에 근접한 좁은 시야를 얻기 위해 사용된다. 이것은 기준면의 2 차원적인 일그러짐 없는 형상을 나타낸다. 깊이 계산동안, 카메라들의 2개의 영상들은 개구들의 경계들을 정확한 정렬로 나타내도록 기준면으로 평면 투영 변환함으로서 휘어진다. 이러한 면 투영 변환은 셋업 절차 중에 계산되어지지만 반복될 필요는 없다.
또한, 셋업 절차동안, 디바이스는 기준면에 대한 소정의 위치내의 위치 마커들에 효과적인 장면에 위치된다. 제 1 계산 실시예에서, 마커들의 세개의 좌표들이 알려진다. 제 2 계산 실시예에서, 마커들의 면(깊이들)으로부터의 거리만 알려진다.
제 1 계산 실시예에서, 교정 동안, 교정의 3차원 좌표들로부터, 마커들은 기준면에 대한 카메라들의 광학 중심들을 계산하기 위해 사용된다. 이러한 목적을 위해, 각각의 카메라에서 각각의 마커들의 영상은 기준면의 직교 시야의 대응하는 점들에 카메라의 개구의 코너들을 맵핑하는 변환을 사용하여 기준면으로 휘어진다. 마커들의 각각의 카메라의 영상은, 카메라의 광학 중심을 가로지르는 기준면상의 한 쌍의 점들에 맵핑된다. 일단 알려지면, 광학 중심들은 기준면으로 휘어진 미지점들의 영상으로부터 어떤 미지점의 위치를 삼각측량하는데 사용될 수 있다.
제 2 계산 실시예에서는, 기준면에 대한 교정 마커들의 깊이만이 알려지고, 미지점의 기준면에 대한 깊이는 덜 직접적인 수단에 의해 결정될 수 있다. 이 기술의 알고리듬은 명세서의 주 부분에서 주어질 것이다.
그 시스템은 교정을 위해 사용된 특정 고정물들(fixtures)을 제외한 카메라들 또는 광학의 위치에 관한 어떠한 정보도 사용하지 않고 실행될 수 있고, 따라서 빠르고 편리한 셋업에 적합하다. 한 장면에서 적절한 영상 정렬을 제외하고 요구되어지는 유일한 교정 셋업은 기준면에 대한 한 쌍의 점들의 정확한 위치지정이다. 이것은 다른 위치들에서의 한 쌍의 마커들을 갖는 연장 가능한 붐(boom)과 같은 고정물에 의해 제공될 수도 있다. 이것은 소비자가, 예를 들면, 집에서 시스템을 셋업하는 것을 허용한다.
기준면에 대한 미지 점의 깊이의 결정은 전문이 본 명세서의 참조문헌으로 통합된 Weinshall, D., Ananda, P., Irani, M의 "From ordinal to Euclidean reconstruction with partial scence calibration" in Springer LNCS:3D Structure from Multiple Images of Large Scale Environments, June, 1998,에서 주어진 알고리즘을 따른다.
설명된 방법들은 3차원적인 장면들의 모델링을 위한 "스트랩 다운(strap-down)" 셋업을 생성하는데 사용될 수 있다. 필수적인 등록 정보는 소수의 상호접속된 구성요소들과 카메라들에 의한 3차원적인 장면에 위치 될 수 있다. 예를 들어, 기준면을 나타내는 개구들을 가진 한 패널(panel)은 픽 쓰루 배치(peek-through configuration)로 카메라들 앞에서 구성될 수 있다. 그 패널은 연장 가능한 원드(wand) 또는, 기준면으로부터 소정의 거리에서 한 쌍의 시각적인 점들이 장면 안에 위치하는 일시적인 디바이스를 가질 수 있다. 그 원드는 교정될 동안 일시적으로 장면으로 확대되고 그 후에, 제거될 수 있다. 카메라들의 정렬과 기준 프레임 영상의 생성은, 카메라들의 정확한 위치지정 또는 카메라들의 정확한 위치지정 또는 정렬에 관한 정확한 정보를 요구하지 않는다.
셋업 절차가 단순하기 때문에, 데이터 입력 또는 높은 정확도를 요구하지 않고, 이것은 그러한 특성들이 가치를 더하는 환경들에서 사용될 수 있다. 예를 들면, 이 시스템은 예를 들면, 대상들을 분석하기 위해 현장 기술자들에 의해 일시적인 위치에서 빠르게 구성될 수 있는 휴대용 키트 또는 동작에 기초한 사용자 인터페이스(gesture-based-user-interface)의 부분으로서 프리젠터(presenter)로 만들어질 수 있다. 이 시스템은 스마트 응용들 또는 진보된 통신 장치들의 제어를 위한 사용자 인터페이스에 기초한 형태가 될 수 있는 가정용 셋업을 위해 소비자에게 수송된다. 현재 그리고 실현될 모든 머신-비전의 거의 모든 적용으로 포괄하는 이런 기술의 적용은 많고 다양하다.
이러한 교정 및 셋업은 상대적 정렬과 위치가 결정되도록 하나의 카메라로부터 또 다른 카메라로 위치 정보를 공급함으로서 수행될 수도 있다. 예를 들면, 각 카메라는 다른 것에 콜리메이트 빔(collimated beam)을 전송하도록 장치될 수도 있다. 그 조약한 정렬은 다른 카메라의 탐지기 사용자가 각 카메라의 빔을 조준 및 빔이 각각의 카메라 탐지기상의 어디에 떨어지는지 탐지하여 결정되는 정확한 에러에 의해 성취될 수 있다. 두 카메라들의 정확한 정렬이 주어짐으로서, 임의의 기준면이 결정될 수 있다. 대안적으로, 정확한 정렬로 카메라들을 고정하는 지그(jig)를 사용할 수 있다. 그러나, 대안들은 각각의 카메라가 광학 중심(핀홀-카메라 이상)를 통해 영상을 형성하는 대한 가정만 카메라들 사이에서 정렬과 영상의 차들을 보상하는 양호한 구성의 장점을 갖지 않는다. 따라서, 카메라가 기준면에서 개구를 통해서 들여다보고, 개구들과 기준면의 단일 영상이 사용되는 제 1 실시예가 양호하다.
상기 방법은 두 카메라들을 사용하는 것으로 제한되지 않고, 장면의 중첩하는 형상을 관찰하는 어떤 복수의 카메라들을 사용할 수도 있음을 주목하라. 중첩된 영상들로부터의 영상 데이터는 불규칙한 에러를 줄이는데 사용될 수 있다. 수많은 카메라들은 또한 시스템의 유효 시야를 증가시키기 위해 사용될 수도 있다.
본 발명은 더욱 완벽한 이해를 위해, 하기에 도시된 도면들을 참조하여 특정 양호한 실시예들에 관하여 설명될 것이다. 도면을 참조하여, 도시된 특성들은 예를 통해서 및 본 발명의 양호한 실시예의 논의를 설명할 목적을 위함이며, 본 발명의 원리들과 개념적인 면들이 가장 유용하고 쉽게 이해되는 기술로 믿어지는 것을 제공하기 위해 제시된 것임을 강조한다. 이러한 측면에서, 본 발명의 기본적인 이해를 위해 필수적인 것보다 더욱더 상세하게 발명의 구조적 세부사항을 보여주도록 의도되지 않는다. 도면과 함께 주어진 상세한 설명에 의해 본 발명의 몇몇 형태가 어떻게 실질적으로 구현되는지 당업자에게 명백해진다.
도 1a, 1b, 및 1c를 참조하여, 한 쌍의 카메라들(100 및 105)은 개구들(150과 155)과 함께 스크린(135)에 첨부된 테이블(110)상에 위치한다. 카메라(100)는 개구(150)를 통해 카메라(100)가 장면을 바라보도록 스크린 정면에서 장면에 초점을 맞춘다. 카메라(105)는 그것이 개구(155)를 통해 장면을 바라보도록 장면에 초점을 맞춘다. 카메라들(100 및 105)은 개구들(150 및 155)의 프레임들(150 및 170)의 안쪽 가장자리들이 각각의 영상 내에 포함되도록, 개구들(150 및 155)을 통해 초점을 맞춘다. 따라서, 카메라(105)의 시야(130)는 132의 점선에 의해 도시되는 그것의 효과적인 시야를 감소시키는 개구에 의해 다소 잘려질 수 있다. 카메라(100)에 대하서도 유사하게, 시야(131)는 145에 도시된 것처럼 다소 잘려질 수 있다.
붐(boom)(115)은 140에서 도시된 것처럼 위치되도록 두 대의 카메라들의 시야로 들어갈 수 있다. 그 붐은 그것의 길이에 따라 스크린 (110)으로부터의 다른 거리들에서 한 쌍의 마커들(120과 125)을 갖는다. 확대된 위치(140)로 들어가면, 두 마커들은 각 카메라의 영상에서 볼 수 있다.
마커들(120 및 125)은 스크린(135)의 안쪽 가장자리들(170/165)에 대한 알려진 위치들에 위치된다. 그 마커들의 3차원적인 좌표들이 사용되던가 아니면 기준면으로부터의 거리가 사용되는 것은, 미지점들의 3차원적인 좌표들이 요구되는지 아님 깊이만이 요구되는지의 여부에 따라서 사용된다. 만일 첫 번째 경우라면, 카메라 광학 중심들이 계산되고 미지점은 기준 프레임으로 휘어진 미지점의 좌표들과 카메라 시각 중심들로부터 삼각측량법에 의해 풀리고, 만일 후자의 경우라면, 하기에 설명된 알고리즘이 사용된다.
또한 도 1d를 참고하여, 개구들(150 및 155)의 코너들(21,22,23 및 24)에 의해 정의된 네 개의 점들은 스크린의 안쪽면(137)에 의해 정의되는 면에 모두 위치된다. 이 양호한 실시예에서, 상기 안쪽 면(137)은 기준면을 정의한다. 각각의 영상에서의 이 네 좌표들과 마커들에 관련된 위치 데이터로, 이 시스템은 (카메라들에 의해 보여질 수 있는)장면 내의 어떤 점들의 깊이 또는 3 차원적인 좌표들이 정의되도록 허용되기 위해 교정될 수 있다.
기준면에 점들을 맵핑하는 것은 스크린(135)에 실질적인 수직(perpendicular) 및 거리로부터 개구들의 영상을 요구한다. 기준 프레임에서의 좌표들은 이 영상에 대하여 정의된다. 이 영상은 셋업 동안 한번만 발생되는 것이 필요하다. 이 영상은 정확한 변환이 계산되도록 각각의 카메라의 개구의 네 점들을 보여야 한다. 이 변환은 본 명세서에 참조 문헌으로 통합된 US Patent Ser. No.09/572,991 filed May 17, 2000 entitled"Apparatus and Method for Indicating a Target by Image Processing Without Three-Dimensional Modeling" 에 설명된 것처럼 실질적으로 계산된다. 이 변환을 이용하여, 카메라의 영상내의 어느 점이라도 기준면에 대하여 휘어진다.
또한, 사용될 수 있는 유사한 방법이 도 4에 도시되어 있으며, 네 개의 기준 마커들(422, 423, 424, 425)은, 동일한 네 개의 기준 마커들이 각각의 카메라(415420)에 대해 볼 수 있도록 위치되는 기준면(470)에 위치된다. 각각의 카메라는 각각의 영상면(430)(및 카메라(415)에 대해서 440)에서 네 개의 기준 마커 영상들(431,432,433,434)을 갖는다. 이러한 마커 영상들은 기준면(470)의 평면 투영인, 기준 프레임(435)으로의 변환을 계산하는데 사용된다.
도 5를 참조하여, 제 1 계산 실시예에서, 위치들이 알려진 마커들(451 및 452)의 영상들(432,434)은 기준면(453 및 454)으로 변환된다. 마커들의 알려진 좌표들과 마커들의 변환된 영상들의 좌표들을 이용하여 각각의 카메라의 광학 중심(카메라(420)에 대해서는 455)이 정의될 수 있다. 상기가 제 1 계산 실시예에 대한 교정 절차다.
도 6을 참조하여, 카메라들의 광학 중심들의 알려진 위치들을 이용하여, 미지의 것은 기준면에 영상 좌표들을 얻기 위해 기준면으로 휘어진다. 각각의 카메라로부터 기준면으로 휘어진 미지의 점은 각 카메라에 대해 1 개씩 각각의 영상들(462, 463)을 야기한다. 미지점의 위치는 도시된 것처럼 삼각측량에 의해 해결된다.
제 2 계산예에 있어서, 양쪽 모두 기준면에 대하여 마커들의 깊이가 주어진, 미지의 위치의 깊이의 결정은 기준면으로 두 개의 교점들 및 미지점의 비균질적인 좌표들의 면 투영 변환으로 시작한다. 다음의 변수들을 정의한다.: p는 제 1 카메라(100)의 영상에서의 점들을 나타내고, q는 제 2 카메라(105)의 영상에서 점들을 나타내고, i 는 제 1 마커, j 는 제 2 마커를 나타낸다. 제 1 카메라(100) 영상에서의 점들을 나타내는 형상 행렬(p)의 행 인덱스는 축(X=1 and Y=2)을 나타내고 행렬(p)의 열 인덱스는 좌표들이 대응하는 점을 나타낸다. 유사하게, 제 2 카메라(105)영상에서의 점들을 나타내는 형상 행렬(q)의 행 인덱스는 축(X=1 및 Y=2)을 나타내고, 행렬(q)의 열 인덱스는 좌표들이 대응하는 점을 나타낸다. 문자(i 및 j)는 마커들에 대응하는 점들(120 및 125)을 나타내고 및 문자(k)는 미지점 을 나타낸다. 따라서 p(1,i)는 제 1 카메라(100) 영상에서 마커점들 중 하나의 X 좌표이고, q(2,j)는 제 2 카메라(100) 영상에서 마커점들의 다른 것의 Y 좌표이다. 문자(Z)는 점의 깊이 또는 기준면으로부터의 거리를 나타낸다. 미지점(k)의 X, Y 좌표들은 기준 영상의 대응하는 점들로 개구의 각각의 코너 점을 맵핑하는 면 투영 변환을 계산함으로서 기준 프레임에서 얻어진다. 에피폴(epipole)과 영상점을 결합하는 선은 각각의 영상에 대한 변환을 사용하여 변환된다. 이러한 두 선들의 교차는 기준면 좌표들에서 미지점들의 위치를 나타낸다. 다음에서, 미지점의 깊이는 다음의 행렬의 SVD(singular value decomposition)를 이용함으로서 계산된다.
SVD의 V 행렬의 비 u=V(6,9)/V(3,9)(즉, 제 6 행, 제 9 열 값은 제 3 행 제 9열 값으로 나눠진다)는 미지점의 관련 깊이와 동일하다. 수적인 깊이는 다음 식1에 의해 주어진다.
식 1
그러므로, 각각의 영상에 대한 개구(150 및 155)의 코너들에 의해 정의된 네개의 점들의 좌표들 및 스크린(135) 상의 내부면(137)으로부터 마커들(120 및 125)의 거리와 함께, 두 카메라 영상들의 어떤 점에서의 거리도 계산될 수 있다. 변환은 교정 위상 동안 계산될 수 있고, 반복될 필요가 없고, 변환은 컴퓨터 내에 저장됨을 주목하라.
붐(115)의 기능은 축으로 하는 베어링(105)상에 실장된 단일 소자 이외에 다양한 대안적인 장치들에 의해 수행될 수도 있다. 예를 들면, 대안적으로, 붐은, 카메라들(100 및 105)들 앞에서 직접적으로 확장될 때, 특정한 위치들에 마커들을 위치시키는 망원경 구조가 될 수 있다.
도 2를 참조로 하여, 본 발명은 또한 카메라들이 그 위의 네 개의 마커들(220)을 갖는 기준면(210)을 조사하는 구성을 사용하여 실행될 수 있다. 점들은 레이저 스캐너에 의해 벽위에 투영될 수 있다. 대안적으로, 마커들을 포함하는 스크린은 카메라들 앞에서 일시적으로 설치될 수 있다. 후자의 경우, 스크린의 위치는 기준면이고 죄표들이 그것에 관련하여 정의된다.
도 3을 참조하여, 본 발명은 카메라들(301, 302) 등에 접속된 영상 처리기(305)에 의해 실행될 수도 있다. 응용 처리기(330)는 3 차원적인 정보를 사용할 수 있다. 상기 언급된 것처럼, 응용 처리기는 동작들을 인식하는 사용자 인터페이스, 분석 또는 에니메이션에 사용하기 위한 3 차원 모델들의 생성 또는 3 차원적인 형상 또는 위치 정보를 사용할 수 있는 어떠한 처리기도 될 수 있다. 카메라의 2-차원적인 영상내의 특정한 형태들은 알려진 다양한 방법들에 의해 선택될 수 있다. 2 차원 영상 분석 및 분류의 많은 기술들은 다른 것의 점을 갖는 하나의 영상 내의 점을 식별하는데 사용될 수 있으며, 이 문제를 논의하는 것은 본 명세서의 영역 밖의 것이다. 동일한 3 차원적인 형태에 대응하는 두개의 영상들 내의 점들을 식별하는데 사용될 수 있는 한 예시적인 방법은 각각의 영상 내의 형상 접들을 간단하게 식별하고 각각에 관한 커널(kernel) 내의 2 차원적인 강도 상관관계를 계산하는 것이다. 영상 처리기(305)는 메모리(310), 비-휘발성 저장소(320) 및 출력 장치를 사용할 수 있다.
본 발명은 선행하여 설명된 실시예들의 세부사항들로 한정되지 않고, 그것의 정신 및 본질적인 특성에서 벗어나지 않고 다른 특정한 형태들에서 구현될 수 있음이 당업자에게 명백해질 것이다. 본 실시예들은 그러므로, 도시된 것처럼 모든 점들에서 고려되고 제한적이지 않고, 본 발명의 영역은 상술된 상세한 설명에 의해서보다는 첨부된 청구범위에 의해 나타내질 것이며, 청구 범위의 등가의 의미 및 범위 내의 모든 변화들은 그 안에 포함되는 것으로 의도된다.

Claims (12)

  1. 중첩하는 시야를 갖도록 조준된 적어도 두 개의 카메라들(415, 420)을 사용하여 공간상의 미지점(461)의 위치를 결정하는 방법에 있어서,
    기준면(470)에 놓인 적어도 네 개의 점들(422, 423, 424, 425)에 대응하는 영상을 각각의 상기 카메라들에서 발생시키는 단계로서, 상기 기준면은 카메라들의 각각의 영상들에 대하여 공통인, 상기 발생 단계;
    기준 프레임(435)에 상기 적어도 네 개의 점들의 상기 영상들을 맵핑하는 평면 투영 변환을 계산하는 단계로서, 상기 기준 프레임은 상기 기준면의 투영인, 상기 계산 단계;
    상기 기준면에 대한 위치들이 알려진 적어도 두개의 교정 마커들(calibration markers)(451, 452)의 영상들 및 미지점(461)의 영상을, 각각의 상기 카메라들 내에서, 발생시키는 단계;
    상기 적어도 두 개의 교정 마커들의 상기 영상 및 미지점의 상기 영상 각각에 대해, 상기 영상면 내에 각각의 점들(453, 454 및 462, 463)을 정의하기 위해 상기 변환을 적용하는 단계; 및
    적어도 상기 미지점의 깊이, 적어도 상기 미지점의 좌표들 및 상기 기준 프레임으로 변환된 상기 적어도 두 개의 점들의 좌표들에 응답하여 상기 기준면으로부터 적어도 상기 미지점의 거리를 계산하는 단계를 포함하는, 미지점의 위치 결정 방법.
  2. 제 1 항에 있어서,
    상기 계산 단계는 상기 교정점들의 위치들에 응답하여 상기 기준면으로부터 상기 미지점의 거리를 계산하는 단계를 포함하는, 미지점의 위치 결정 방법.
  3. 제 2 항에 있어서,
    상기 위치들은 상기 기준면으로부터 상기 교정점들의 거리를 나타내는, 미지점의 위치 결정 방법.
  4. 제 1 항에 있어서,
    상기 발생 단계는 상기 중첩하는 시야 내에서 상기 교정 마커들을 위치결정하는 단계를 포함하는, 미지점의 위치 결정 방법.
  5. 제 4 항에 있어서,
    상기 위치결정 단계는 상기 마커들을 갖는 붐(boom)을 확장하는 단계를 포함하는, 미지점의 위치 결정 방법.
  6. 제 1 항에 있어서,
    상기 위치는 상기 기준면으로부터의 거리만을 포함하는, 미지점의 위치 결정 방법.
  7. 스트랩-다운 3 차원적인 복구 시스템(strap-down three-dimensional reconstruction system)에 있어서,
    적어도 두 개의 카메라들(100, 105)을 지지하는 지그(jig)(50)를 포함하고;
    상기 지그는 상기 적어도 두 개의 카메라들에 의해 볼 수 있는 위치에 적어도 두 개의 교정 마커들을 지지하는 구조체(115)를 갖고;
    상기 지그는 또한 각각의 상기 적어도 두 개의 카메라들의 가시범위내에서 적어도 네개의 기준 마커들(21, 22, 23, 24)을 지지하고, 상기 기준 마커들의 모두는 공통면(137)에 놓이는, 스트랩-다운 3 차원적인 복구 시스템.
  8. 제 7 항에 있어서,
    상기 네개의 기준 마커들은 상기 지그의 스크린(135) 내의 개구(aperture)(155)의 코너들인, 스트랩-다운 3 차원적인 복구 시스템.
  9. 제 7 항에 있어서,
    상기 네개의 기준 마커들은 스크린(210)상으로 투영되는, 스트랩-다운 3 차원적인 복구 시스템.
  10. 제 7 항에 있어서,
    상기 카메라들로부터 상기 영상들을 수신하도록 접속되고, 상기 교정 마커들에 대응하는 위치 데이터에 응답하여 각각의 상기 카메라들 내에서 볼 수 있는 점의 위치를 계산하도록 프로그램된 영상 처리 컴퓨터(305)를 더 포함하는, 스트랩-다운 3 차원적인 복구 시스템.
  11. 중첩하는 시야를 갖도록 조준된 적어도 두 개의 카메라들을 사용하여 공간상의 미지점의 위치를 결정하는 방법에 있어서,
    기준면(470)에 놓인 적어도 네개의 점들(422, 423, 424, 425)에 대응하는 영상(430, 440)을 각각의 상기 카메라들에서 발생시키는 단계로서, 상기 기준면은 상기 카메라들의 각각에 영상에 대하여 공통인, 상기 발생 단계;
    기준 프레임(435)으로 상기 적어도 네 개의 점들의 상기 영상들을 맵핑하는 평면 투영 변환을 계산하는 단계로서, 상기 기준 프레임은 상기 기준면의 투영인, 상기 계산 단계;
    상기 기준면에 대한 위치들이 알려진 적어도 두개의 교정 마커들(451, 452)의 영상들(458, 459) 및 미지점(461)의 영상을, 각각의 상기 카메라들 내에서, 발생시키는 단계;
    상기 평면 투영 변환에 의해, 상기 교정 마커들의 각각의 상기 영상들(453, 454)을 변환하는 단계;
    상기 변환 단계의 결과에 응답하여 광학 중심들(455)을 계산하는 단계;
    각각의 상기 카메라들 내에서 상기 미지점(461)의 영상을 발생시키고, 상기 계산 단계의 결과에 응답하여 상기 미지점의 위치를 계산하는 단계를 포함하는, 미지점의 위치를 결정하는 방법.
  12. 제 11 항에 있어서,
    상기 계산 단계는 상기 평면 투영 변환을 사용하여 상기 미지점의 상기 영상들을 변환하는 단계를 포함하는, 미지점의 위치를 결정하는 방법.
KR1020027004406A 2000-08-07 2001-07-23 3 차원적인 복구를 위한 스트랩다운 시스템 KR20020035652A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/633,760 US6993179B1 (en) 2000-08-07 2000-08-07 Strapdown system for three-dimensional reconstruction
US09/633,760 2000-08-07
PCT/EP2001/008536 WO2002013140A2 (en) 2000-08-07 2001-07-23 Camera calibration for three-dimensional reconstruction of objects

Publications (1)

Publication Number Publication Date
KR20020035652A true KR20020035652A (ko) 2002-05-13

Family

ID=24541020

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020027004406A KR20020035652A (ko) 2000-08-07 2001-07-23 3 차원적인 복구를 위한 스트랩다운 시스템

Country Status (6)

Country Link
US (1) US6993179B1 (ko)
EP (1) EP1354295A2 (ko)
JP (1) JP2004506215A (ko)
KR (1) KR20020035652A (ko)
CN (1) CN1561502A (ko)
WO (1) WO2002013140A2 (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7058204B2 (en) * 2000-10-03 2006-06-06 Gesturetek, Inc. Multiple camera control system
DE10049926A1 (de) * 2000-10-07 2002-04-11 Robert Massen Kamera zur kostengünstigen Erfassung der Raumform von Körpern
FI111755B (fi) 2001-11-23 2003-09-15 Mapvision Oy Ltd Menetelmä ja järjestelmä konenäköjärjestelmän kalibroimiseksi
DE102004007455A1 (de) * 2004-02-13 2005-09-01 Corpus.E Ag Optische Erfassung der Raumform von Körpern und Körperteilen mit teilweise nicht einsehbaren Partien
CA2568852C (en) * 2004-06-03 2013-01-22 Japan Science And Technology Agency High-speed high-accuracy matrix singular value decomposition method, program, and device
US7421113B2 (en) * 2005-03-30 2008-09-02 The Trustees Of The University Of Pennsylvania System and method for localizing imaging devices
EP1739622B1 (en) * 2005-06-28 2013-08-14 Canon Kabushiki Kaisha Image feature identification with two cameras
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US7769205B2 (en) * 2006-11-28 2010-08-03 Prefixa International Inc. Fast three dimensional recovery method and apparatus
CN101763632B (zh) * 2008-12-26 2012-08-08 华为技术有限公司 摄像机标定的方法和装置
CN101582165B (zh) * 2009-06-29 2011-11-16 浙江大学 基于灰度图像与空间深度数据的摄像机阵列标定算法
US20120069192A1 (en) * 2009-10-20 2012-03-22 Qing-Hu Li Data Processing System and Method
JP5713624B2 (ja) 2009-11-12 2015-05-07 キヤノン株式会社 三次元計測方法
US9229106B2 (en) 2010-08-13 2016-01-05 Ryan Dotson Enhancement of range measurement resolution using imagery
CN102074005B (zh) * 2010-12-30 2012-09-05 杭州电子科技大学 一种面向兴趣区域的立体匹配方法
US20130016186A1 (en) * 2011-07-13 2013-01-17 Qualcomm Incorporated Method and apparatus for calibrating an imaging device
WO2013103410A1 (en) 2012-01-05 2013-07-11 California Institute Of Technology Imaging surround systems for touch-free display control
WO2014107434A1 (en) 2013-01-02 2014-07-10 California Institute Of Technology Single-sensor system for extracting depth information from image blur
CN103606155B (zh) * 2013-11-27 2016-09-28 中国科学院西安光学精密机械研究所 摄像机视场标定方法和装置
US10478706B2 (en) * 2013-12-26 2019-11-19 Topcon Positioning Systems, Inc. Method and apparatus for precise determination of a position of a target on a surface
CN105160672A (zh) * 2015-08-31 2015-12-16 国网山东省电力公司淄博供电公司 基于现场照片三维重构入侵识别的输电线路防外破方法
TWI604417B (zh) * 2016-08-31 2017-11-01 國立交通大學 估算對極幾何模型的方法及其系統
CN109141344A (zh) * 2018-06-15 2019-01-04 北京众星智联科技有限责任公司 一种基于双目摄像头精准测距的方法及系统
JP7139953B2 (ja) * 2019-01-08 2022-09-21 オムロン株式会社 三次元形状測定装置、三次元形状測定方法及びプログラム
CN110322572B (zh) * 2019-06-11 2022-09-09 长江勘测规划设计研究有限责任公司 一种基于双目视觉的水下涵隧内壁三维信息恢复方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4099880A (en) * 1976-08-11 1978-07-11 Tsutomu Kano Method and an apparatus for stereoscopic measurement utilizing a three-dimensional image
US5386299A (en) 1993-03-12 1995-01-31 Ncr Corporation Method and appartus for automatically calibrating cameras used for document scanning
US5856844A (en) * 1995-09-21 1999-01-05 Omniplanar, Inc. Method and apparatus for determining position and orientation
US6081273A (en) 1996-01-31 2000-06-27 Michigan State University Method and system for building three-dimensional object models
WO1997047942A1 (en) * 1996-06-13 1997-12-18 K.U. Leuven Research & Development Method and system for acquiring a three-dimensional shape description
DE19721903C1 (de) * 1997-05-26 1998-07-02 Aicon Industriephotogrammetrie Verfahren und Anlage zur meßtechnischen räumlichen 3D-Lageerfassung von Oberflächenpunkten
JP3728900B2 (ja) * 1997-10-17 2005-12-21 ソニー株式会社 キャリブレーション方法及び装置、並びにキャリブレーション用データ生成方法
US6437823B1 (en) * 1999-04-30 2002-08-20 Microsoft Corporation Method and system for calibrating digital cameras
WO2005017450A1 (en) * 2003-08-11 2005-02-24 Multi-Dimension Technology, Llc Calibration block and calibration system for 3d scanner

Also Published As

Publication number Publication date
JP2004506215A (ja) 2004-02-26
WO2002013140A3 (en) 2003-08-21
US6993179B1 (en) 2006-01-31
WO2002013140A2 (en) 2002-02-14
EP1354295A2 (en) 2003-10-22
CN1561502A (zh) 2005-01-05

Similar Documents

Publication Publication Date Title
KR20020035652A (ko) 3 차원적인 복구를 위한 스트랩다운 시스템
Scaramuzza et al. Extrinsic self calibration of a camera and a 3d laser range finder from natural scenes
Saint-Marc et al. A versatile PC-based range finding system
US7773799B2 (en) Method for automatic stereo measurement of a point of interest in a scene
JP5593177B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
JP5620200B2 (ja) 点群位置データ処理装置、点群位置データ処理方法、点群位置データ処理システム、および点群位置データ処理プログラム
US20150116691A1 (en) Indoor surveying apparatus and method
US20090153669A1 (en) Method and system for calibrating camera with rectification homography of imaged parallelogram
JP7486740B2 (ja) テレセントリックラインスキャンカメラを用いて物体を効率的に3次元再構成するためのシステムおよび方法
JP2017118396A (ja) デプスカメラの内部パラメータを算出するプログラム、装置及び方法
JP7300948B2 (ja) 測量データ処理装置、測量データ処理方法、測量データ処理用プログラム
McIvor Nonlinear calibration of a laser stripe profiler
JP3944091B2 (ja) 3次元画像データ生成方法
WO2021226716A1 (en) System and method for discrete point coordinate and orientation detection in 3d point clouds
Bergström et al. Virtual projective shape matching in targetless CAD-based close-range photogrammetry for efficient estimation of specific deviations
Mei et al. Monocular vision for pose estimation in space based on cone projection
Blais et al. Recent developments in 3D multi-modal laser imaging applied to cultural heritage
Wohlfeil et al. Automatic camera system calibration with a chessboard enabling full image coverage
Fofi et al. Uncalibrated reconstruction: an adaptation to structured light vision
El-Hakim et al. Critical factors and configurations for practical 3D image-based modeling
Bräuer-Burchardt et al. On the accuracy of point correspondence methods in three-dimensional measurement systems using fringe projection
WO2005073669A1 (en) Semi and fully-automatic camera calibration tools using laser-based measurement devices
CN112254677B (zh) 一种基于手持设备的多位置组合式3d采集系统及方法
KR100379948B1 (ko) 3차원 형상 측정방법
Man et al. Calibration of turntable based 3D scanning systems

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application