KR20060125148A - 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기 - Google Patents

다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기 Download PDF

Info

Publication number
KR20060125148A
KR20060125148A KR1020050047011A KR20050047011A KR20060125148A KR 20060125148 A KR20060125148 A KR 20060125148A KR 1020050047011 A KR1020050047011 A KR 1020050047011A KR 20050047011 A KR20050047011 A KR 20050047011A KR 20060125148 A KR20060125148 A KR 20060125148A
Authority
KR
South Korea
Prior art keywords
dimensional
mobile communication
communication terminal
cameras
dimensional shape
Prior art date
Application number
KR1020050047011A
Other languages
English (en)
Other versions
KR100690172B1 (ko
Inventor
이형래
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020050047011A priority Critical patent/KR100690172B1/ko
Publication of KR20060125148A publication Critical patent/KR20060125148A/ko
Application granted granted Critical
Publication of KR100690172B1 publication Critical patent/KR100690172B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0214—Foldable telephones, i.e. with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/0206—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings
    • H04M1/0208—Portable telephones comprising a plurality of mechanically joined movable body parts, e.g. hinged housings characterized by the relative motions of the body parts
    • H04M1/0225—Rotatable telephones, i.e. the body parts pivoting to an open position around an axis perpendicular to the plane they define in closed position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/0202—Portable telephone sets, e.g. cordless phones, mobile phones or bar type handsets
    • H04M1/026—Details of the structure or mounting of specific components
    • H04M1/0264—Details of the structure or mounting of specific components for a camera module assembly

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기에 관한 것으로, 특히 카메라 보정(calibration) 및 공액 기하학(epipolar geometry) 원리를 이용하여 3차원 형상에 관한 2차원 영상정보 중 사용자가 지정한 다수의 지정점에 대한 3차원 좌표정보를 추출하고 이를 이용하여 상기 다수의 지정점 간의 거리, 넓이, 또는 부피를 계산하여 표시하는 다수의 카메라를 이용한 3차원 형상의 3차원좌표정보 추출 방법 및 이를 이용한 단말기에 관한 것이다.
3차원형상, 3차원좌표추출, 계량정보

Description

다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기{method for extracting 3-dimensional coordinate information from 3-dimensional image using mobile phone with multiple cameras and terminal thereof}
도 1은 본 발명의 일 실시예에 따른 이동통신 단말기의 기능블록도이다.
도 2는 본 발명의 일 실시예에 따른 도1 에 도시된 제어부의 상세구성도이다.
도 3은 본 발명의 일 실시예에 따른 이동통신 단말기의 정면도이다.
도 4는 본 발명의 일 실시예에 따른 이동통신 단말기의 사시도이다.
도 5는 본 발명의 일 실시예에 따른 3차원좌표 추출 방법의 절차도이다.
도 6은 본 발명의 일 실시예에 따른 카메라 교정 및 3차원 형상 캡쳐를 설명하기 위한 도면이다.
도 7a 내지 도 7d는 본 발명의 일실시예에 따른 이동통신 단말기에서의 3차원 형상의 계량정보측정을 위한 화면예이다.
도 8은 본 발명의 일 실시예에 따른 공액기하 3차원 좌표 추출법을 설명하기 위한 도면이다.
<도면 주요 부분에 대한 부호의 설명>
100: 이동통신 단말기 110: 무선통신부
120: 입력부 130: 표시부
140: 제 1 카메라 150: 제 2 카메라
160: 저장부 170: 제어부
172: 이동통신처리부 174: 카메라보정부
176: 영상처리부 178: 3차원좌표추출부
179: 계량정보연산부 180: 보정패널
190: 힌지 200: 3차원형상
본 발명은 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기에 관한 것으로, 특히 카메라 보정(calibration) 및 공액 기하학(epipolar geometry) 원리를 이용하여 3차원 형상에 관한 2차원 영상정보 중 사용자가 지정한 다수의 지정점에 대한 3차원 좌표정보를 추출하고 이를 이용하여 상기 다수의 지정점 간의 거리, 넓이, 또는 부피를 계산하여 표시하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원좌표정보 추출 방법 및 이를 이용한 단말기에 관한 것이다.
3차원 형상의 길이, 넓이, 또는 부피 등의 측정치를 간단히 구하기 위해서는, 자, 버니어 캘리퍼스(vernier calipers), 또는 각도기 등과 같은 측정장비가 필요하다. 그러나 최근 영상처리장치 및 방법의 발달로 인해 디지털 카메라 등을 통해 획득한 영상파일(image file) 등의 영상정보를 이용하면 이러한 측정장비들을 사용하지 않고도 3차원 형상에 관한 정보를 얻어낼 수 있다. 특히 고성능의 카메라를 구비한 이동통신 단말기의 광범위한 보급에 따라 컴퓨터 영상 기술을 이용한 3차원 형상에 관한 정보를 추출하는 방법을 보다 쉽게 이용할 수 있게 되었다.
종래의 이동통신 단말기를 이용한 거리측정방법의 경우 두 대의 카메라에서 얻은 영상정보로부터 삼각측량법의 원리를 이용하여 3차원 형상과 이동통신 단말기 간의 거리를 추출해 내는 방법을 사용하였다.
그러나 상기와 같은 삼각측량법을 이용한 3차원 형상 측정방법을 구현하기 위해서는 두 대의 카메라 간의 각도를 정밀하게 조절하는 것이 중요하기 때문에 이들을 정밀 제어하기 위한 제어기 및 서보 모터(servo motor)가 필요하다. 상기 제어기 및 서보 모터 설치를 위한 공간상의 제약이 따를 뿐만 아니라 추가비용이 소요되는 문제점이 있었다. 또한, 두 대의 카메라를 수동으로 조절하는 경우 측정치의 정밀도가 떨어지는 문제점이 있었다. 그리고 카메라 렌즈에 의한 왜곡을 제거하는 단계가 없어 렌즈 특성을 반영 못 하는 문제점이 있었다.
또한 삼각측량법을 이용하기 때문에 이동통신 단말기에서 3차원 형상 간의 거리만을 측정할 수 있을 뿐이어서 측정용 장비 대용으로 사용하기에는 한계가 있었다.
본 발명은, 상기 문제점을 해결하기 위해 안출된 것으로, 두 대의 카메라가 구비된 이동통신 단말기를 이용하여 3차원 형상에 대한 3차원 좌표 정보를 추출하여 영상처리 등 다목적으로 활용할 수 있도록 함에 그 목적이 있다.
본 발명의 다른 목적은, 정밀 제어기 및 서보모터 등의 추가적 설치 없이 소프트웨어적으로 구현된 측정기장비 대용으로 사용될 수 있는 이동통신 단말기를 제공할 수 있도록 함에도 있다.
본 발명의 또 다른 목적은, 이동통신 단말기로 거리뿐만 아니라 넓이 또는 부피를 측정 할 수 있도록 함에도 있다.
본 발명의 또 다른 목적은, 3차원 형상에 대한 카메라들의 각도를 자유롭게 조절할 수 있도록 하여 3차원형상의 측정이 보다 용이한 이동통신 단말기를 제공함에도 있다.
상기 목적을 달성하기 위한 본 발명의 일측면에 의하면, 이동통신단말기의 본체 상에서 회전가능하게 설치된 제 1 및 제 2 카메라를 이용하여 임의의 3차원 형상에 대한 광역 좌표계(world coordinate system) 상의 3차원 좌표 추출을 위한 방법으로, 상기 제 1 및 제 2 카메라의 각도를 조절하는 카메라 각도 설정단계; 임의의 보정(calibration)용 영상정보를 상기 제 1 및 제 2 카메라들을 통해 얻은 후, 상기 광역 좌표계의 기준점을 설정하고 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들을 획득하는 카메라 보정단계; 상기 제 1 및 제 2 카메라들 각각을 통해 상기 3차원 형상에 대한 제 1의 2차원 영상정보 및 제 2의 2차원 영상정보를 각각 획득하는 영상캡쳐(capture)단계; Z기 3차원 좌표정보를 구하고자 하는 지정점을 상기 제 1의 2차원 영상정보에서 선택받고 상기 지정점에 상응하는 상기 3차원 형상 상의 위치와 동일한 위치를 가지는 상기 제 2의 2차원 영상정보 상의 대응점을 구하는 지정점 선택 및 대응점 획득단계; 상기 지정점, 상기 대응점, 및 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들에 의해 공액기하(epipolar geometry) 3차원 좌표 추출법을 수행하여 상기 지정점에 상응하는 상기 3차원 형상 상의 위치에 대한 3차원 좌표를 획득하는 3차원 좌표 획득단계;를 포함하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법인 것을 특징으로 한다.
상기 목적을 달성하기 위한 본 발명의 다른 측면에 의하면, 임의의 3차원 형상의 제 1의 2차원 영상정보를 획득하는 제 1 카메라; 상기 3차원 형상의 제 2의 2차원 영상정보를 획득하는 제 2 카메라; 상기 3차원 형상에 대한 광역 좌표계 상의 3차원 좌표 추출을 위해 임의의 보정용 영상정보를 이용하여 해당 광역 좌표계의 기준점을 설정하고 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들을 획득하고, 상기 3차원 좌표정보를 구하고자 하는 지정점을 상기 제 1의 2차원 영상정보에서 선택받아 해당 지정점에 상응하는 상기 3차원 형상 상의 위치와 동일한 위치를 가지는 상기 제 2의 2차원 영상정보 상의 대응점을 영상처리방법을 통해 구하고, 상기 지정점, 상기 대응점, 및 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들에 의해 공액기하(epipolar geometry) 3차원 좌표 추출법을 수행하여 상기 지정점에 상응하는 상기 3차원 형상 상의 위치에 대한 3차원 좌표를 획득하도록 제어하는 제어부;를 포함하는 3차원 형상의 3차원 좌표정보 추출용 이동통신 단말기인 것을 특징으로 한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이동통신 단말기의 기능블록도이다.
도 1을 참조하여 설명하면, 본 발명의 일 실시예에 따른 이동통신 단말기(100)는 무선통신부(110), 입력부(120), 표시부(130), 제 1 카메라(140), 제 2 카메라(150), 저장부(160) 및 제어부(170)를 포함한다.
상기 무선통신부(110)는 상기 제어부(170)의 제어를 받으며, 대체로 상대 통화자와의 전화통화를 위해 음성신호를 송수신하고, 문자메시지를 송, 수신하는 역할을 수행한다.
상기 입력부(120)는 문자키, 숫자키와 각종 기능키를 구비하며, 사용자가 입력하는 키에 대응하는 키입력 신호를 발생하여 상기 제어부(170)로 전달한다.
상기 표시부(130)는 액정표시장치(LCD) 등과 같은 표시장치로서 상기 제어부(170)의 표시기능제어신호에 따라 각종 영상이나 문자데이터를 표시한다.
상기 제 1 카메라(140) 및 제 2 카메라는(150) 사용자가 상기 입력부(120)의 키패드를 눌러 상기 제 1 또는 제 2 카메라(140, 150)를 작동시키면, 일정시간 동안 해당 카메라(140, 150)의 렌즈를 통해 들어온 3차원 형상에 대한 영상의 빨간색, 녹색, 파란색의 밝기와 컬러값을 전기적 영상신호로 변환하여 상기 제어부(170)로 전달한다.
상기 저장부(160)는 상기 제어부(170)의 제어시에 필요한 동작프로그램, 시 스템 프로그램이 저장되며 여러 동작 프로그램 수행 중에 발생하는 데이터를 일시 저장하는 램(RAM)을 포함한다. 특히, 저장부에는 사진 등의 영상정보, 카메라 보정(calibration) 프로그램, 및 3차원 좌표 추출 프로그램 등이 저장된다.
상기 제어부(170)는 상기 이동통신 단말기(100)의 전반적인 동작을 제어함과 동시에 상기 이동통신 단말기(100)의 저장부(160)에 저장된 사진 등의 영상정보 파일을 이용하여 해당 영상정보 파일에서 선택된 지정점(user designated point)의 3차원 좌표를 구하도록 제어한다.
자세히 설명하면, 상기 제 1 및 제 2 카메라(140, 150)의 내, 외부 파라미터들(intrinsic, extrinsic parameters)을 구하기 위해 카메라 보정(calibration)이 수행되도록 제어한다. 상기 내부 파라미터들로는 초점거리(focal length), 광학적 중심(optical center), 방사왜곡률(radial distortion factor) 등이 있으며, 상기 외부 파라미터들로는 기준점(reference point)에 대한 상기 제 1 및 제 2 카메라(140, 150)의 위치(position) 및 방향(orientation) 등이 있다.
그 후 상기 제 1 및 제 2 카메라(140, 150)로부터 3차원 형상에 대한 2차원 영상정보 신호를 입력받아 상기 제 1 카메라로부터 입력된 영상정보, 즉 제 1의 2차원 영상정보를 상기 표시부(130)에 표시되도록 제어한다.
사용자가 상기 제 1의 2차원 영상정보 중 임의의 점, 즉 지정점을 상기 입력부(120)를 통해 선택함에 따라 상기 입력부(120)로부터 지정점에 관한 신호를 입력받으면, 상기 제 2 카메라로부터 입력된 영상정보, 즉 제 2의 2차원 영상정보 상의 상기 지정점에 대응하는 대응점(corresponding point)을 구하기 위한 영상처리 (image processing)를 수행하도록 제어한다. 여기서 대응점이라 함은 상기 지정점이 지시하는 3차원 형상 상의 위치와 동일한 위치를 지시하는 상기 제 2의 2차원 영상정보 상의 점을 의미한다.
그 후, 상기 지정점, 상기 대응점, 및 상기 제 1 및 제 2 카메라들(140, 150) 각각에 대한 카메라 내, 외부 파라미터들을 데이터로 하여 후술되는 공지된 공액 기하학(epipolar geometry) 원리를 사용한 3차원 좌표 추출법을 이용하여 상기 기준점을 원점으로 가지는 3차원 좌표 상의 상기 지정점의 좌표값을 구하기 위한 연산을 수행하도록 제어한다.
또한, 상기 지정점이 복수개로 지정된 경우, 상기 지정점 간의 3차원 좌표 상의 거리, 넓이, 또는 부피, 즉 계량 정보(metric information)를 구하기 위한 계산을 수행하도록 제어한다.
도 2는 본 발명의 일 실시예에 따른 도1 에 도시된 제어부의 상세구성도이다.
도 2를 참조하여 설명하면, 본 발명의 일 실시예에 따른 이동통신 단말기(100)의 제어부(170)는 이동통신처리부(172), 카메라보정부(174), 영상처리부(176), 3차원좌표추출부(178), 및 계량정보연산부(180)를 포함한다.
상기 이동통신처리부(172)는 이동통신 단말기에서 무선 자원을 활용하여 이동통신서비스를 수행하기 위한 모듈로서 공지의 이동통신기술을 사용하여 구성되어 동작함에 따라 여기에서는 상세한 설명을 생략하기로 한다.
상기 카메라보정부(174)는 상기 제 1 및 제 2 카메라(140, 150)의 내, 외부 파라미터들(intrinsic, extrinsic parameters)을 구하기 위해 카메라 보정(calibration)이 수행되도록 제어한다. 카메라 보정 방법으로는 여러 공지된 방법이 사용될 수 있으며, 차이(R.Y. Tsai)가 제안한 보정방법 또는 젱유 장(Zhengyou Zhang)이 제안한 보정방법 등을 사용하는 것이 바람직하다. 상기 차이가 제안한 보정방법은 R.Y. Tsai, "A versatile camera calibration technique for high accuracy 3D machine vision metrology using off-the-shelf TV cameras and lenses", IEEE J. Robotics Automat, Vol. 3, P323 - P344, August 1987에 자세히 상술돼 있으며, 상기 젱유 장이 제안한 보정방법은 Zhengyou Zhang, "A Flexible New Techinique for Camera Calibration", Microsoft Research Technical Report MSR-TR-98-71, December 2, 1998에 상술돼 있다.
상기 영상처리부(176)는 상기 입력부(120)로부터 지정점에 관한 신호를 입력받으면, 상기 제 2의 2차원 영상정보 상의 상기 지정점에 대응하는 대응점(corresponding point)을 구하기 위한 영상처리(image processing)를 수행하도록 제어한다. 상기 영상처리 방법으로는 여러 공지된 방법이 사용될 수 있으며, 자동 역치법 알고리즘(automatic thresholding algorithem), 클로징 알고리즘(closing algorithm), 및 면적 필링 알고리즘(area filling algorithm)등을 사용하는 것이 바람직하다.
상기 3차원좌표추출부(178)는 상기 지정점, 상기 대응점, 및 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들을 데이터로 하여 공지된 공액 기하학(epipolar geometry) 원리를 사용한 3차원 좌표 추출법을 이용하여 상 기 기준점을 원점으로 가지는 3차원 좌표 상의 상기 지정점의 좌표값을 구하기 위한 연산을 수행하도록 제어한다.
즉, 상기 계량정보연산부(179)는 상기 지정점이 다수인 경우 상기 3차원좌표추출부(178)에서 구한 상기 지정점들의 3차원 좌표를 토대로 하여 사용자의 선택에 따라 상기 지정점들간의 거리, 넓이, 또는 부피 등의 계량정보를 연산하여 상기 표시부(130)로 출력하도록 제어한다.
도 3은 본 발명의 일 실시예에 따른 이동통신 단말기의 정면도이고 도 4는 본 발명의 일 실시예에 따른 이동통신 단말기의 사시도이다.
도 3 및 도 4를 참조하여 설명하면, 본 발명의 일 실시예에 따른 이동통신 단말기(100)는 제 1 카메라(140), 제 2 카메라(150), 보정 패널(calibration panel)(180), 및 힌지(190)를 포함한다.
상기 제 1 및 제 2 카메라(140, 150)는 30만 화소 (640x480) 이상의 카메라를 사용하는 것이 바람직하다. 3차원 스캐너(3D scanner)의 경우 주로 고가의 카메라와 제어장치를 사용해 2/1000 - 3/1000 mm의 정밀도를 가지도록 설계된다. 그러나 일상생활에서는 1/10 mm의 정밀도(버니어캘리퍼스 분해능 = 1/10)면 충분하므로 30만 화소 카메라로도 본 발명의 구현이 가능하다.
또한, 상기 제 1 및 제 2 카메라(140, 150) 각각은 상기 제 1 및 제 2 카메라(140, 150)가 도 4에 도시된 각각의 중심축을 기준으로 회전이 가능도록 설계되어 측정이 보다 용이하다.
상기 보정 패널(180)은 카메라 보정을 위한 기준면(reference plane)을 제공 하기 위해 일정한 간격으로 떨어진 점들로 구성된 그리드(grid)가 표면에 표시되어 있으며, 도 3 및 도 4에 도시된 바와 같이, 상기 이동통신 단말기(100)의 본체에 장, 탈착할 수 있도록 구성되어 있다. 평상시에는 상기 이동통신 단말기(100)의 본체에 장착시켜 놓았다가 상기 제 1 및 제 2 카메라(140, 150)들의 보정을 위해 탈착시켜 사용할 수 있다. 메모리카드(memory card)를 컴퓨터에 삽입해서 사용하는 것과 같은 구조이다.
상기 힌지(190)는 3차원 형상을 2차원 영상에 담기 용이하게 하기 위해 폴더의 각도를 자유롭게 조절할 수 있는 자유 정지 힌지(free stop hinge)를 사용한다. 물론 일반 힌지를 사용해도 무방하다.
상기 이동통신 단말기(100)는 상기 제 1 및 제 2 카메라(140, 150)들의 보정 및 3차원 형상의 2차원 영상정보 캡쳐(capture)시 상기 제 1 및 제 2 카메라(140, 150)의 위치가 고정되어 있어야 하므로, 카메라 위치 고정이 보다 용이한 폴더형인 것이 바람직하다.
도 5는 본 발명의 일 실시예에 따른 3차원좌표 추출 방법의 절차도이고, 도 6은 본 발명의 일 실시예에 따른 카메라 교정 및 3차원 형상 캡쳐를 설명하기 위한 도면이고, 도 7a 내지 도 7d는 본 발명의 일실시예에 따른 이동통신 단말기에서의 3차원 형상의 계량정보측정을 위한 화면예이며, 도 8은 본 발명의 일 실시예에 따른 공액기하 3차원 좌표 추출법을 설명하기 위한 도면이다.
먼저, 상기 이동통신 단말기(100)의 저장부(160)에는 카메라 보정(calibration) 프로그램 및 3차원 좌표 추출 프로그램이 저장되어 있고, 상기 보정 패널(179)은, 도 6에 도시된 바와 같이, 상기 제 1 및 제 2 카메라들(140, 150)의 보정을 위해 상기 이동통신 단말기(100)의 본체에서 탈착되어 있다.
상기 제 1 및 제 2 카메라들(140, 150)이 촬영 가능한 위치에 놓여 있다.
도 5 내지 도 8을 참조하여 설명하면, 상기 제 1 폴더 및 제 2 폴더 간의 각도와 상기 제 1 및 제 2 카메라들(140, 150)의 각도를 촬영이 용이한 위치로 조절한다(S100).
상기 이동통신 단말기(100)는 상기 제 1 및 제 2 카메라들(140, 150)의 보정을 수행하여 상기 제 1 및 제 2 카메라들(140, 150) 각각에 대한 내, 외부 파라미터들을 구한다(S110).
이를 위해, 상기 보정 패널(180)의 한 점을 기준점으로 잡는다. 그 후, 상기 기준점을 원점으로 하는 광역 좌표계(world coordinate system)와 상기 제 1 및 제 2 카메라들(140, 150) 좌표계간의 관계, 즉 위치(position)와 방향(orientation)을 정한다. 그리고 상기 제 1 및 제 2 카메라들(140, 150) 각각의 광학적 중심 C1, C2 및 초점거리 F1, F2를 구한다. 상기 C1, C2와 각각 상기 제 1 및 제 2 카메라들(140, 150) 좌표평면은, 도 8에 도시된 바와 같이, 직교(orthogonal)관계에 있고 상기 C1, C2 각각과 상기 각각의 좌표의 원점 간의 거리는 각각의 초점거리 F1, F2와 동일하다.
또한, 상기 제 1 및 제 2 카메라들(140, 150)의 렌즈에 의해 왜곡된 이미지를 실제 형상으로 복원하기 위해 보정해주는 계수(factor)인 방사왜곡률을 구한다.
그 후, 상기 이동통신 단말기(100)는 상기 제 1 및 제 2 카메라들(140, 150) 에 의해 각각 3차원 형상(200)의 제 1의 2차원 영상정보 및 제 2의 2차원 영상정보를 획득한다(S120). 카메라 간의 위치 차이에 의해, 도 7a 와 도 7b에 도시되 바와 같이, 상기 제 1의 2차원 영상정보와 상기 제 2의 2차원 영상정보 상의 상기 3차원 형상의 위치 및 형상 등에 따라 다르다.
그 후, 상기 이동통신 단말기(100)는, 도 7c에 도시된 바와 같이, 상기 제 1의 2차원 영상정보를 상기 표시부(130)에 표시하고, 사용자로부터 상기 입력부(120)를 통해 다수의 지정점, 즉 P1을 선택받는다(S130).
그 후, 상기 이동통신 단말기(100)는 제 2의 2차원 영상정보에서 상기 각각의 지정점에 대응하는 대응점, 즉 P2를 영상처리방법을 통해 구한다(S140).
그 후, 상기 이동통신 단말기(100)는 상기 제 1 및 제 2 카메라들(140, 150) 각각에 대한 내, 외부 파라미터들, 지정점, 및 대응점에 관한 데이터와 공액기하원리를 이용한 3차원 좌표 추출법을 이용해 상기 각각의 지정점이 지시하는 3차원 형상 상의 점, 즉 P의 상기 광역 좌표상의 3차원 좌표값을 구한다(S150).
도 8을 참조하여 설명하면, 상기 S110 단계에서 구한 방상왜곡률을 이용해 상기 제 1 및 제 2 카메라들(140, 150)의 렌즈에 의해 각각 왜곡된 상기 제 1 및 제 2의 2차원 영상정보들을 실제 영상에 가깝제 복원한다. 그 후 상기 S110 단계에서 구한 광역 좌표계와 상기 제 1 및 제 2 카메라들(140, 150) 좌표계간의 관계를 이용해 상기 P1 및 P2의 상기 광역좌표계 상의 3차원 좌표값을 구한다.
그 후 상기 S110 단계에서 구한 C1 및 C2의 상기 광역좌표계 상의 3차원 좌표값을 이용하여 두 개의 직선방정식, 즉 하나는 상기 P1 및 C1을 통과하는 직선 L1의 방정식이고 다른 하나는 P2 및 C2를 통과하는 직선 L2의 방정식을 구한다.
그 후 상기 두 개의 직선의 교점을 구한다. 상기 교점이 상기 지정점이 지시하는 3차원 형상 상의 점 P가 된다.
이론적으로는 두 개의 직선 L1 및 L2의 교점 P가 존재해야 하나 발명을 실질적으로 구현하는 경우 상기 교점 P가 존재하지 않을 수 있다. 이러한 경우 직선 L1 및 L2 간의 거리가 가장 가까운 지점 간에 선을 그어서 그 선의 중간 부분을 교점 P로 할 수 있다.
그 후, 상기 이동통신 단말기(100)는 상기 다수의 P에 대한 광역좌표계 상의 3차원 좌표값을 이용하여 상기 다수의 P간의 길이, 넓이, 또는 부피를 구한 후, 도 7d에 도시된바와 같이 상기 표시부(130)에 표시한다(S160).
본 발명은 두 개의 카메라를 사용하여 3차원 형상에 관한 3차원 좌표값을 추출하는 방법에 대해 설명했으나 두 개 이상의 카메라를 이용하여 보다 정밀도가 높은 발명을 구현할 수 있다. 그러나 실험적으로 두 개의 카메라를 사용하는 경우에도 그 이상의 카메라를 사용하는 경우과 비교해서 큰 차이가 없다는 것을 발견했다.
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.
상기와 같은 본 발명에 따르면 두 대의 카메라가 구비된 이동통신 단말기를 이용하여 3차원 형상에 대한 3차원 좌표 정보를 추출하여 영상처리 등 다목적으로 활용할 수 있는 효과가 있다.
또한, 상기와 같은 본 발명에 따르면 정밀 제어기 및 서보모터 등의 추가적 설치 없이 소프트웨어적으로 구현된 측정기장비 대용으로 사용될 수 있는 이동통신 단말기를 제공할 수 있는 효과도 있다.
또한, 상기와 같은 본 발명에 따르면 이동통신 단말기로 거리뿐만 아니라 넓이 또는 부피를 측정 할 수 있는 효과도 있다.
그리고, 상기와 같은 본 발명에 따르면 3차원 형상에 대한 카메라들의 각도를 자유롭게 조절할 수 있도록 하여 3차원 형상의 측정이 보다 용이한 이동통신 단말기를 제공할 수 있는 효과도 있다.

Claims (15)

  1. 이동통신단말기의 본체 상에서 회전가능하게 설치된 제 1 및 제 2 카메라를 이용하여 임의의 3차원 형상에 대한 광역 좌표계(world coordinate system) 상의 3차원 좌표 추출을 위한 방법으로,
    상기 제 1 및 제 2 카메라의 각도를 조절하는 카메라 각도 설정단계;
    임의의 보정(calibration)용 영상정보를 상기 제 1 및 제 2 카메라들을 통해 얻은 후, 상기 광역 좌표계의 기준점을 설정하고 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들을 획득하는 카메라 보정단계;
    상기 제 1 및 제 2 카메라들 각각을 통해 상기 3차원 형상에 대한 제 1의 2차원 영상정보 및 제 2의 2차원 영상정보를 각각 획득하는 영상캡쳐(capture)단계;
    상기 3차원 좌표정보를 구하고자 하는 지정점을 상기 제 1의 2차원 영상정보에서 선택받고 상기 지정점에 상응하는 상기 3차원 형상 상의 위치와 동일한 위치를 가지는 상기 제 2의 2차원 영상정보 상의 대응점을 구하는 지정점 선택 및 대응점 획득단계;
    상기 지정점, 상기 대응점, 및 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들에 의해 공액기하(epipolar geometry) 3차원 좌표 추출법을 수행하여 상기 지정점에 상응하는 상기 3차원 형상 상의 위치에 대한 3차원 좌표를 획득하는 3차원 좌표 획득단계;
    를 포함하는 것을 특징으로 하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법.
  2. 청구항 1에 있어서, 상기 이동통신 단말기는 자유 정지 힌지(free stop hinge)를 구비한 폴더형(folder type) 이동통신 단말기이고
    상기 카메라 각도 설정단계는 상기 3차원 형상의 촬영을 용이하게 하기 위해 상기 이동통신 단말기의 제 1폴더와 제 2폴더 간의 각도를 설정하는 것을 특징으로 하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법.
  3. 청구항 1에 있어서,
    상기 지정점은 다수개이고
    상기 3차원 좌표 획득 단계 이후에, 다수의 지정점들의 3차원 좌표를 이용하여 상기 다수의 지정점들 간의 계량정보를 연산하여 표시하는 계량 정보(metric information) 연산단계;
    를 더 포함하는 것을 특징으로 하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법.
  4. 청구항 1에 있어서, 상기 내부 파라미터들은 상기 제 1 및 제 2 카메라들의 초점거리(focal length), 광학적 중심(optical center), 및 방사왜곡률(radial distortion factor)이고, 상기 외부 파라미터들은 상기 제 1 및 제 2 카메라들의 상기 광역 좌표계 상의 위치(position) 및 방향(orientation)인 것을 특징으로 하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법.
  5. 청구항 1에 있어서, 상기 카메라보정단계는
    상기 내, 외부 파라미터들을 차이(R.Y. Tsai)의 카메라 보정방법에 의해 구하는 것을 특징으로 하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법.
  6. 청구항 1에 있어서, 상기 보정용 영상정보는 기준점을 설정하기 위한 격자(grid)를 표면에 형성한 보정패널에 관한 것임을 특징으로 하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법.
  7. 청구항 6에 있어서, 상기 보정패널은 상기 이동통신 단말기에 장, 탈착이 가능하고, 상기 기준점을 설정하기 위한 격자(grid)를 표면에 형성된 것임을 특징으로 하는 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원 형상의 3차원 좌표정보 추출방법.
  8. 임의의 3차원 형상의 제 1의 2차원 영상정보를 획득하는 제 1 카메라;
    상기 3차원 형상의 제 2의 2차원 영상정보를 획득하는 제 2 카메라;
    상기 3차원 형상에 대한 광역 좌표계 상의 3차원 좌표 추출을 위해 임의의 보정용 영상정보를 이용하여 해당 광역 좌표계의 기준점을 설정하고 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들을 획득하고, 상기 3차원 좌표정보를 구하고자 하는 지정점을 상기 제 1의 2차원 영상정보에서 선택받아 해당 지정점에 상응하는 상기 3차원 형상 상의 위치와 동일한 위치를 가지는 상기 제 2의 2차원 영상정보 상의 대응점을 영상처리방법을 통해 구하고, 상기 지정점, 상기 대응점, 및 상기 제 1 및 제 2 카메라들 각각에 대한 카메라 내, 외부 파라미터들에 의해 공액기하(epipolar geometry) 3차원 좌표 추출법을 수행하여 상기 지정점에 상응하는 상기 3차원 형상 상의 위치에 대한 3차원 좌표를 획득하도록 제어하는 제어부;
    를 포함하는 것을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
  9. 청구항 8에 있어서,
    상기 지정점은 다수개이고, 상기 제어부는 상기 다수의 지정점들의 3차원 좌표를 이용하여 상기 다수의 지정점들 간의 계량정보를 연산하여 표시하도록 제어하는 것을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
  10. 청구항 8에 있어서,
    상기 이동통신 단말기에 장, 탈착이 가능하고, 상기 기준점을 설정하기 위한 격자(grid)를 표면에 형성한 보정 패널;
    을 더 포함하는 것을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
  11. 청구항 8에 있어서, 상기 내부 파라미터들은 상기 제 1 및 제 2 카메라들의 초점거리(focal length), 광학적 중심(optical center), 및 방사왜곡률(radial distortion factor)이고, 상기 외부 파라미터들은 상기 제 1 및 제 2 카메라들의 상기 광역 좌표계 상의 위치(position) 및 방향(orientation)인 것을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
  12. 청구항 8에 있어서, 상기 내, 외부 파라미터들을 차이(R.Y. Tsai)의 카메라 보정방법에 의해 구하는 것임을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
  13. 청구항 8에 있어서, 상기 이동통신 단말기는 폴더형(folder type) 이동통신 단말기인 것을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
  14. 청구항 13에 있어서, 상기 이동통신 단말기의 힌지는 자유 정지 힌지인 것을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
  15. 청구항 8에 있어서, 상기 제 1 및 제 2 카메라들은 본체 상에서 회전가능하게 설치된 것임을 특징으로 하는 3차원 형상의 3차원 좌표정보 추출 기능을 갖는 이동통신 단말기.
KR1020050047011A 2005-06-02 2005-06-02 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기 KR100690172B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020050047011A KR100690172B1 (ko) 2005-06-02 2005-06-02 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050047011A KR100690172B1 (ko) 2005-06-02 2005-06-02 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기

Publications (2)

Publication Number Publication Date
KR20060125148A true KR20060125148A (ko) 2006-12-06
KR100690172B1 KR100690172B1 (ko) 2007-03-08

Family

ID=37729585

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050047011A KR100690172B1 (ko) 2005-06-02 2005-06-02 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기

Country Status (1)

Country Link
KR (1) KR100690172B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286297B1 (ko) * 2012-06-27 2013-07-19 안양대학교 산학협력단 폐기물 체적 계산 장치 및 방법
KR101286298B1 (ko) * 2012-06-27 2013-07-19 안양대학교 산학협력단 폐기물 체적 계산 장치 및 방법
CN103777872A (zh) * 2012-10-24 2014-05-07 中国电信股份有限公司 移动终端及其解锁方法
CN108377280A (zh) * 2018-03-12 2018-08-07 广东欧珀移动通信有限公司 移动终端及其成像的方法
KR102065337B1 (ko) * 2019-07-19 2020-01-14 대한민국 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101390811B1 (ko) * 2007-10-04 2014-05-26 삼성전자주식회사 3차원 영상을 위한 다시점 카메라 파라미터 수신 방법 및그 장치, 그리고 다시점 카메라 파라미터 전송 방법 및 그장치
US8218855B2 (en) 2007-10-04 2012-07-10 Samsung Electronics Co., Ltd. Method and apparatus for receiving multiview camera parameters for stereoscopic image, and method and apparatus for transmitting multiview camera parameters for stereoscopic image
KR101142964B1 (ko) * 2009-03-31 2012-05-08 조성윤 폐기물매립지 잔여 매립용량 및 폐기물 매립이력 정보관리 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100472367B1 (ko) * 2002-04-04 2005-03-08 엘지전자 주식회사 플라즈마 디스플레이 패널 및 그 구동방법

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101286297B1 (ko) * 2012-06-27 2013-07-19 안양대학교 산학협력단 폐기물 체적 계산 장치 및 방법
KR101286298B1 (ko) * 2012-06-27 2013-07-19 안양대학교 산학협력단 폐기물 체적 계산 장치 및 방법
CN103777872A (zh) * 2012-10-24 2014-05-07 中国电信股份有限公司 移动终端及其解锁方法
CN108377280A (zh) * 2018-03-12 2018-08-07 广东欧珀移动通信有限公司 移动终端及其成像的方法
CN108377280B (zh) * 2018-03-12 2024-03-15 Oppo广东移动通信有限公司 移动终端及其成像的方法
KR102065337B1 (ko) * 2019-07-19 2020-01-14 대한민국 비조화비를 이용하여 대상체의 이동 정보를 측정하는 장치 및 방법

Also Published As

Publication number Publication date
KR100690172B1 (ko) 2007-03-08

Similar Documents

Publication Publication Date Title
KR100690172B1 (ko) 다수의 카메라를 구비한 이동통신 단말기를 이용한 3차원형상의 3차원 좌표정보 추출 방법 및 이를 이용한 단말기
CN105453136B (zh) 使用自动聚焦反馈进行立体侧倾校正的系统、方法及设备
US9600859B2 (en) Image processing device, image processing method, and information processing device
JP5792662B2 (ja) 視差算出装置、距離算出装置及び視差算出方法
CN110809786B (zh) 校准装置、校准图表、图表图案生成装置和校准方法
EP1343332B1 (en) Stereoscopic image characteristics examination system
EP3073733A1 (en) Method for generating picture and twin-lens device
JP6022577B2 (ja) 立体画像ペアの改善された切り取りのための方法および装置
WO2013043695A1 (en) System and method for improving methods of manufacturing stereoscopic image sensors
US20110249117A1 (en) Imaging device, distance measuring method, and non-transitory computer-readable recording medium storing a program
CN109920004B (zh) 图像处理方法、装置、标定物组合、终端设备及标定系统
CN110930463B (zh) 一种监控摄像头内参标定方法、装置和电子设备
KR20170007821A (ko) 안테나 엔지니어링 파라미터를 획득하는 방법, 장치 및 시스템
JPH11211988A (ja) 顕微鏡画像遠隔制御システム
EP4310446A1 (en) Groove depth measurement method, apparatus and system, and laser measurement device
CN113691788A (zh) 投影机系统的投影方法
RU2479828C2 (ru) Стереоскопическая измерительная система и способ
JP2016217944A (ja) 計測装置、および計測方法
JP5996233B2 (ja) 画像撮像装置
CN111179180B (zh) 影像的修正方法及其装置
CN112598751A (zh) 标定方法及装置、终端和存储介质
JP2006017632A (ja) ３次元画像処理装置、光軸調整方法、光軸調整支援方法
JPH09305796A (ja) 画像情報処理装置
JP2008224323A (ja) ステレオ写真計測装置、ステレオ写真計測方法及びステレオ写真計測用プログラム
JP2013074473A (ja) パノラマ撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130128

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140124

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150213

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160122

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee