KR102248459B1 - 카메라 캘리브레이션 장치 및 방법 - Google Patents

카메라 캘리브레이션 장치 및 방법 Download PDF

Info

Publication number
KR102248459B1
KR102248459B1 KR1020150016994A KR20150016994A KR102248459B1 KR 102248459 B1 KR102248459 B1 KR 102248459B1 KR 1020150016994 A KR1020150016994 A KR 1020150016994A KR 20150016994 A KR20150016994 A KR 20150016994A KR 102248459 B1 KR102248459 B1 KR 102248459B1
Authority
KR
South Korea
Prior art keywords
projection
diagonal
center
rectangle
square
Prior art date
Application number
KR1020150016994A
Other languages
English (en)
Other versions
KR20160095560A (ko
Inventor
이주행
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020150016994A priority Critical patent/KR102248459B1/ko
Priority to US14/834,297 priority patent/US9591301B2/en
Publication of KR20160095560A publication Critical patent/KR20160095560A/ko
Application granted granted Critical
Publication of KR102248459B1 publication Critical patent/KR102248459B1/ko

Links

Images

Classifications

    • H04N5/2178—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T5/007—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N5/23216—
    • H04N5/23229—
    • H04N5/23267—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)

Abstract

카메라 캘리브레이션 장치는 환경 사각형을 촬영하여 이미지를 생성하는 카메라, 환경 사각형에 대한 분할 대각선 비를 입력 받는 입력부, 카메라 캘리브레이션을 위한 프로그램을 저장하는 메모리 및 프로그램에 따라 카메라 캘리브레이션을 수행하는 프로세서를 포함하되, 프로그램은 이미지로부터 중심 사각형의 대각선 인수를 추출하는 단계, 환경 사각형의 분할 대각선 비 및 중심 사각형의 대각선 인수를 참조하여 투사 중심선의 길이를 산출하는 단계, 투사 중심선의 길이를 참조하여 중심 사각형의 각 대각선에 대응하는 투사 각도를 산출하는 단계, 투사 각도, 중심 사각형의 대각선 간의 각도를 참조하여 환경 사각형의 대각선 간의 각도를 산출하는 단계, 투사각도, 중심 사각형의 대각선 간의 각도 및 환경 사각형의 대각선 간의 각도를 참조하여 투사 중심점을 산출하는 단계 및 투사 중심점 및 중심 사각형에 상응하는 카메라의 외부 인수 및 내부 인수를 산출하는 단계를 수행하기 위한 프로그램을 포함한다.

Description

카메라 캘리브레이션 장치 및 방법{APPARATUS AND METHDO FOR CALIBRATING A CAMERA}
본 발명은 카메라 캘리브레이션 기술에 관한 것으로, 보다 상세하게는 카메라의 내부 및 외부 인수를 찾는 캘리브레이션 기술에 관한 것이다.
카메라의 내부 구성(렌즈 특성, 이미징 방법 등)과 외부 구성(투사 중심점 및 방위)을 찾아 내는 것을 카메라 캘리브레이션이라고 한다. 이는 기술적으로 컴퓨터 비젼 분야의 중요한 주제이다. 또한, 최근 관심이 증가되고 있는 기하 카메라, 로봇 네비게이션, 3차원 복원, 및 증강현실 분야의 핵심 요소기술이다.
카메라의 내부 구성 정보는 고가의 카메라 외에는 명시적으로 알려져 있지 않고, 외부 구성 정보도 특별한 경우를 제외하고 측정하기가 어렵다. 이에 따라 정밀하게 미리 구성된 3차원 물체(calibration object)에 대한 단일 이미지를 사용하거나, 크기가 알려진 체커보드에 대한 복수의 이미지를 사용한 카메라 캘리브레이션 방법이 일반적으로 사용된다. 3차원 물체는 구성이 복잡하여 일반적인 환경에서 사용하기 쉽지 않고, 스마트폰의 카메라와 같은 저가의 카메라에 적용하기에는 부적합하다. 단순한 체커보드에 대한 복수개의 이미지를 사용하는 기법이 가장 많이 사용되고 있는데, 비교적 시간이 많이 걸려서 실시간 응용에서는 부적합한 경우가 있다.
본 발명이 해결하고자 하는 과제는 임의의 사각형을 포함하는 단일 이미지를 이용하여 카메라 캘리브레이션을 수행하는 카메라 캘리브레이션 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 환경 사각형을 촬영하여 이미지를 생성하는 카메라; 상기 환경 사각형에 대한 분할 대각선 비를 입력 받는 입력부; 카메라 캘리브레이션을 위한 프로그램을 저장하는 메모리; 및 상기 프로그램에 따라 카메라 캘리브레이션을 수행하는 프로세서;를 포함하되, 상기 프로그램은 상기 이미지로부터 중심 사각형의 대각선 인수를 추출하고, 상기 환경 사각형의 분할 대각선 비 및 상기 중심 사각형의 대각선 인수를 참조하여 투사 중심선의 길이를 산출하고, 상기 투사 중심선의 길이를 참조하여 상기 중심 사각형의 각 대각선에 대응하는 투사 각도를 산출하고, 상기 투사 각도, 상기 중심 사각형의 대각선 간의 각도를 참조하여 투영 사각형의 대각선 간의 각도를 산출하고, 상기 투사각도, 상기 중심 사각형의 대각선 간의 각도 및 상기 투영 사각형의 대각선 간의 각도를 참조하여 투사 중심점을 산출하고, 상기 투사 중심점 및 상기 중심 사각형에 상응하는 상기 카메라의 외부 인수 및 내부 인수를 산출하도록 구성되는 것을 특징으로 하는 카메라 캘리브레이션 장치가 제공된다.
상기 대각선 인수는 상기 중심 사각형의 대각선 간의 각도 및 분할 대각선 비를 포함할 수 있다.
상기 투사 각도는 상기 투사 중심선 및 상기 환경 사각형의 대각선 간의 각도일 수 있다.
상기 프로그램은 상기 중심 사각형과 상기 투영 사각형 간의 호모그라피(homography)를 산출하고, 이미지 사각형에 대해 상기 호모그라피를 적용하여 상기 환경 사각형을 복원하도록 구성될 수 있다.
상기 프로그램은 하기의 수학식에 따라 상기 투사 중심선의 길이를 산출하도록 구성되고,
Figure 112015011734804-pat00001
상기
Figure 112015011734804-pat00002
는 상기 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00003
은 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고,
Figure 112015011734804-pat00004
는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비를 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비를 나눈 값일 수 있다.
상기 프로그램은 하기의 수학식에 따라 상기 투사 각도를 산출하도록 구성되고,
Figure 112015011734804-pat00005
상기
Figure 112015011734804-pat00006
는 투영 사각형의 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00007
는 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00008
는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00009
는 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비이고, d는 상기 투사 중심선의 길이이고, 상기
Figure 112015011734804-pat00010
는 상기 중심 사각형의 각 대각선에 대응하는 투사 각도이고, 상기
Figure 112015011734804-pat00011
는 0 또는 1일 수 있다.
상기 프로그램은 하기의 수학식에 따라 상기 대각선 간의 각도를 산출하도록 구성되고,
Figure 112015011734804-pat00012
상기
Figure 112015011734804-pat00013
는 상기 중심 사각형의 대각선 각도이고, 상기
Figure 112015011734804-pat00014
는 상기 투영 사각형의 대각선 간의 각도이고, 상기
Figure 112015011734804-pat00015
는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
Figure 112015011734804-pat00016
는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도일 수 있다.
상기 프로그램은 하기의 수학식에 따라 상기 투사 중심점을 산출하도록 구성되고,
Figure 112015011734804-pat00017
Pc는 상기 투사 중심점이고, 상기
Figure 112015011734804-pat00018
는 상기 중심 사각형의 대각선 각도이고, 상기
Figure 112015011734804-pat00019
는 상기 투영 사각형의 대각선 간의 각도이고, 상기
Figure 112015011734804-pat00020
는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
Figure 112015011734804-pat00021
는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도이고, d는 상기 투사 중심선의 길이일 수 있다.
본 발명의 다른 측면에 따르면, 카메라 캘리브레이션이 카메라 캘리브레이션을 수행하는 방법에 있어서, 환경 사각형을 촬영한 이미지 및 상기 환경 사각형의 분할 대각선 비를 입력 받는 단계; 상기 이미지로부터 중심 사각형의 대각선 인수를 추출하는 단계; 상기 환경 사각형의 분할 대각선 비 및 상기 중심 사각형의 대각선 인수를 참조하여 투사 중심선의 길이를 산출하는 단계; 상기 투사 중심선의 길이를 참조하여 상기 중심 사각형의 각 대각선에 대응하는 투사 각도를 산출하는 단계; 상기 투사 각도, 상기 중심 사각형의 대각선 간의 각도를 참조하여 투영 사각형의 대각선 간의 각도를 산출하는 단계; 상기 투사각도, 상기 중심 사각형의 대각선 간의 각도 및 상기 투영 사각형의 대각선 간의 각도를 참조하여 투사 중심점을 산출하는 단계; 및 상기 투사 중심점 및 상기 중심 사각형에 상응하는 상기 카메라의 외부 인수 및 내부 인수를 산출하는 단계;를 포함하는 카메라 캘리브레이션 방법이 제공된다.
상기 대각선 인수는 상기 중심 사각형의 대각선 간의 각도 및 분할 대각선 비를 포함할 수 있다.
상기 투사 각도는 상기 투사 중심선 및 상기 투영 사각형의 대각선 간의 각도일 수 있다.
상기 카메라 캘리브레이션 방법은 상기 중심 사각형과 상기 투영 사각형 간의 호모그라피(homography)를 산출하는 단계; 및 이미지 사각형에 대해 상기 호모그라피를 적용하여 상기 환경 사각형을 복원하는 단계; 를 더 포함할 수 있다.
상기 환경 사각형의 분할 대각선 비 및 상기 중심 사각형의 대각선 인수를 참조하여 투사 중심선의 길이를 산출하는 단계는 하기의 수학식에 따라 상기 투사 중심선의 길이를 산출하는 단계이되,
Figure 112015011734804-pat00022
상기
Figure 112015011734804-pat00023
는 상기 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00024
은 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고,
Figure 112015011734804-pat00025
는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비를 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비를 나눈 값일 수 있다.
상기 투사 중심선의 길이를 참조하여 상기 중심 사각형의 각 대각선에 대응하는 투사 각도를 산출하는 단계는, 하기의 수학식에 따라 상기 투사 각도를 산출하는 단계이되,
Figure 112015011734804-pat00026
상기
Figure 112015011734804-pat00027
는 투영 사각형의 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00028
는 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00029
는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
Figure 112015011734804-pat00030
는 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비이고, d는 상기 투사 중심선의 길이이고, 상기
Figure 112015011734804-pat00031
는 상기 중심 사각형의 각 대각선에 대응하는 투사 각도이고, 상기
Figure 112015011734804-pat00032
는 0 또는 1일 수 있다.
상기 투사 각도, 상기 중심 사각형의 대각선 간의 각도를 참조하여 투영 사각형의 대각선 간의 각도를 산출하는 단계는 하기의 수학식에 따라 상기 대각선 간의 각도를 산출하는 단계이되,
Figure 112015011734804-pat00033
상기
Figure 112015011734804-pat00034
는 상기 중심 사각형의 대각선 각도이고, 상기
Figure 112015011734804-pat00035
는 상기 투영 사각형의 대각선 간의 각도이고, 상기
Figure 112015011734804-pat00036
는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
Figure 112015011734804-pat00037
는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도일 수 있다.
상기 투사각도, 상기 중심 사각형의 대각선 간의 각도 및 상기 투영 사각형의 대각선 간의 각도를 참조하여 투사 중심점을 산출하는 단계는, 하기의 수학식에 따라 상기 투사 중심점을 산출하는 단계이되,
Figure 112015011734804-pat00038
Pc는 상기 투사 중심점이고, 상기
Figure 112015011734804-pat00039
는 상기 중심 사각형의 대각선 각도이고, 상기
Figure 112015011734804-pat00040
는 상기 투영 사각형의 대각선 간의 각도이고, 상기
Figure 112015011734804-pat00041
는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
Figure 112015011734804-pat00042
는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도이고, d는 상기 투사 중심선의 길이일 수 있다.
상술한 바와 같이 본 발명의 일 실시예에 따르면, 복잡한 3차원 물체나 체커보드를 포함하는 복수의 이미지를 사용하지 않으면서 카메라 캘리브레이션을 수행할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 투사 중심점과 방위를 표현하는 외부 인수를 찾는데 용이하다.
또한, 본 발명의 일 실시예에 따르면, 카메라 캘리브레이션에 요구되는 계산 복잡도가 낮고, 오차에 강건한 카메라 캘리브레이션을 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 카메라의 캘리브레이션을 수행하는 과정을 예시한 순서도.
도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 이용하는 대각선 인수를 설명하기 위한 도면.
도 4는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 중심 사각형을 산출하는 과정을 개념적으로 예시한 도면.
도 5는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 등변 사다리꼴인 이미지 사각형에 대한 중심 사각형을 산출하는 과정을 개념적으로 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 평행사변형인 이미지 사각형에 대한 중심 사각형을 산출하는 과정을 개념적으로 예시한 도면.
도 7은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 산출하는 투영 사각형을 예시한 도면.
도 8은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제1 선분 카메라에 의해 투영 사각형이 촬영되는 상황을 예시한 도면.
도 9는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제2 선분 카메라에 의해 투영 사각형이 촬영되는 상황을 예시한 도면.
도 10은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제1 선분 카메라 및 제2 선분 카메라에 의해 투영 사각형이 촬영되는 상황을 예시한 도면.
도 11은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치에 의해 사용되는 투사 중심선, 중심 사각형 및 투영 사각형의 기하학적 관계를 예시한 도면.
도 12는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 산출하는 중심 사각형을 예시한 도면.
도 13은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제1 선분 카메라에 의해 환경 사각형이 촬영되는 상황을 평면에 예시한 도면.
도 14는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 선분 카메라의 투사 중심점을 나타낸 도면.
도 15는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치에 입력되는 이미지 사각형 및 환경 사각형 간의 기하학적 관계를 예시한 도면.
도 16은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 생성하는 중심 사각형을 예시한 도면.
도 17은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치에 입력되는 이미지 사각형 및 환경 사각형과, 중심사각 형미 투영 사각형의 기하학적 관계를 예시한 도면.
도 18은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 산출하는 투영 사각형 및 환경 사각형을 나타낸 평면도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소로 신호를 “전송한다”로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되어 신호를 전송할 수 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 신호를 전송할 수도 있다고 이해되어야 할 것이다.
우선, 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치는 형태에 대한 정확한 정보가 알려지지 않은 임의의 사각형에 대한 단일 이미지로부터, 먼저 그 사각형의 기하정보(대각선의 각도, 각 선분 길이의 비율)를 복원하고, 기하정보를 참조하여 투사구조(perspective structure)를 절두체(frustum)로 복원하고, 철두체부터 카메라의 외부인수를 계산하고, 최종적으로 내부인수를 계산하는 카메라 캘리브레이션 방법에 관한 것이다.
도 1은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치를 예시한 도면이다.
도 1을 참조하면, 카메라 캘리브레이션 장치는 프로세서(110), 메모리(120), 스토리지(130), 입력부(140) 및 카메라(150)를 포함한다.
프로세서(110)는 메모리(120)에 로딩된 프로그램에 따라 카메라 캘리브레이션을 위한 기능을 수행한다.
메모리(120)는 카메라 캘리브레이션을 위한 프로그램을 저장하고, 프로세서(110)의 요청에 따라 해당 프로그램을 프로세서(110)로 전송한다. 이 때, 메모리(120)는 휘발성 메모리일 수 있다.
스토리지(130)는 카메라 캘리브레이션을 위한 프로그램을 저장하는 저장 매체이다. 프로세서(110)는 스토리지(130)에 저장된 프로그램을 메모리(120)로 로딩할 수 있다. 또한, 스토리지(130)는 임의의 사각형을 포함하는 이미지를 저장할 수 있다.
입력부(140)는 입력 디바이스(예를 들어, 당해 카메라 캘리브레이션 장치에 구비된 입력 장치 또는 외부 입력장치)과 연결되어 원본 사각형의 대각선 인수를 입력 받아 스토리지(130)에 저장할 수 있다.
카메라(150)는 임의의 환경 사각형을 촬영하여 이미지를 생성하고, 이미지를 스토리지(130)에 저장한다. 이 때, 카메라(150)는 표준 핀홀(pin-hole) 모델일 수 있고, 가로 및 세로 방향의 초점 거리가 동일할 수 있다. 이 대, 환경 사각형은 카메라 캘리브레이션을 위해 촬영되는 사각형의 형태를 갖추는 그림 또는 물건일 수 있다.
이하, 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 미리 지정된 프로그램에 따라 카메라 캘리브레이션을 수행하는 과정을 상세히 설명하도록 한다.
도 2는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 카메라의 캘리브레이션을 수행하는 과정을 예시한 순서도이고, 도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 이용하는 대각선 인수를 설명하기 위한 도면이다. 이하, 설명하는 각 단계는 캘리브레이션 장치의 프로세서(110)가 메모리(120)에 로딩된 프로그램에 따라 수행하는 과정이나, 발명의 간략하고 명확한 설명을 위해 주체를 카메라 캘리브레이션 장치로 통칭하고, 프로세서(110)가 메모리(120)에 로딩된 프로그램을 읽는 과정 등의 일반적인 사항에 대한 설명은 생략하기로 한다.
도 2를 참조하면, 단계 210에서 카메라 캘리브레이션 장치는 임의의 사각형을 포함하는 이미지, 환경 사각형(이하, 이미지의 촬영 대상인 실제 사각형을 환경 사각형이라 지칭하도록 함)의 대각선 인수, 환경 사각형의 대각선 간 각도를 입력 받는다. 도 3을 참조하면, 대각선 인수는 사각형의 꼭지점을 이은 두 대각선 간의 길이 비, 각도(ρ)를 포함할 수 있다. 또한, 대각선 인수는 두 대각선의 교점(o)으로부터 각 대각선의 일단점까지의 거리와 교점으로부터 각 대각선의 타단점까지의 거리 간의 비(이하, 분할 대각선 비라 지칭하고, 분할대각선 비는 하기 표 1의 t1, t2에 해당함)를 더 포함할 수 있다. 도 3을 참조하여 예를 들면, t1은 꼭지점 v1 및 v3를 이은 대각선의 길이를 1로 정규화 하였을 때, 교점과 꼭지점 v1간의 길이를 의미하고, t2는 꼭지점 v2 및 v4를 이은 대각선의 길이를 1로 정규화하였을 때, 교점과 꼭지점 v2간의 길이를 의미한다. 예를 들어, 사각형의 분류에 따라 대각선 인수는 하기의 표 1과 같이 나타낼 수 있다.
분류 대각선 인수 (,t1,t2,) 특징
정사각형 (1, 0.5, 0.5,) 두 대각선의 길이가 같고, 서로 이등분하며, 직각으로 교차
직사각형 (1, 0.5, 0.5,) 두 대각선의 길이가 같고, 서로 이등분
마름모 (, 0.5, 0.5,) 두 대각선이 서로 이등분하며, 직각으로 교차
평행사변형 (, 0.5, 0.5,) 두 대각선이 서로 이등분
연 (kite) (, , 0.5,) 또는 (, 0.5, ,) 두 대각선이 직각으로 교차하고, 하나의 대각선이 다른 대각선에 의해 이등분
등변사다리꼴 (1, , ,)
단, 또는 .		 두 대각선의 길이가 같고, 대각선 분할비율이 동일
사다리꼴 (, , ,)
단, 또는 .		 대각선 분할비율이 동일
일반 사각형 제약 조건 없음.
단계 220에서 카메라 캘리브레이션 장치는 이미지에서 사각형을 추출한다. 이하, 이미지에서 추출한 사각형을 이미지 사각형이라 지칭하도록 한다. 이 때, 카메라 캘리브레이션 장치는 추출한 이미지 사각형을 네 개의 꼭지점으로 표현할 수 있다.
단계 230에서 카메라 캘리브레이션 장치는 중심 사각형에 상응하는 대각선 인수를 산출한다. 이 때, 중심 사각형은 사각형의 대각선의 교점이 이미지의 중심에 위치하는 사각형이다. 예를 들어, 카메라 캘리브레이션 장치는 이미지 내에서 소실선 또는 두 개의 소실점을 검출하고, 소실선 또는 소실점을 이용하여 이미지 사각형으로부터 중심 사각형을 추정하고, 추정된 중심 사각형의 대각선 인수를 산출한다. 추후 도 4 내지 도 6을 참조하여, 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 중심 사각형에 상응하는 대각선 인수를 산출하는 과정을 상세히 설명하도록 한다. 이 때, 이미지 사각형이 이미 중심 사각형일 경우, 소실점을 통한 중심 사각형 추정 과정은 생략될 수 있다.
단계 240에서 카메라 캘리브레이션 장치는 선분 카메라 쌍을 이용하여 투영 사각형을 산출한다. 즉, 카메라 캘리브레이션 장치는 선분 카메라 쌍을 이용하여 투사 중심선의 길이, 투영 사각형의 대각선 각도를 산출하고, 투사 중심선의 길이, 투영 사각형의 대각선 각도 및 중심 사각형의 대각선 인수를 참조하여 투영 사각형을 산출(복원)한다. 투사 중심선은 각 선분 카메라의 위치인 투사 중심점에서 중심 사각형의 대각선 간의 교점을 이은 선분이다. 이 때, 선분 카메라는 환경내의 직선을 촬영하는 가상의 카메라이다. 추후 도 7 내지 도 14를 참조하여, 카메라 캘리브레이션 장치가 선분 카메라 쌍을 이용하여 투영 사각형을 산출하는 과정을 상세히 설명하도록 한다.
단계 250에서 카메라 캘리브레이션 장치는 중심 사각형의 대각선 각도, 투사 중심선의 길이에 따른 카메라 위치(투사 중심점)를 산출한다. 이에 대해서는 추후 도 7 내지 도 14를 참조하여 상세히 설명하도록 한다.
단계 260에서 카메라 캘리브레이션 장치는 카메라 외부 인수 및 내부 인수를 산출한다. 즉, 카메라(150)의 내부 인수는 하기와 같은 행렬도 나타낼 수 있다.
Figure 112015011734804-pat00043
이 때, k는 내부 인수이고, cx는 미리 지정된 좌표계의 x축에 대한 이미지의 중심점의 좌표이고, cy는 미리 지정된 좌표계의 y축에 대한 이미지의 중심점의 좌표이다. 따라서, 카메라 캘리브레이션 장치는 cx, cy는 이미지의 중심점 좌표이기 때문에 이미지의 크기를 통해 산출할 수 있고, f는 공지된 방식을 통해 중심 사각형의 좌표를 참조하여 산출함으로써, 내부 인수를 산출할 수 있다.
또한, 카메라 캘리브레이션 장치는 투사 중심점을 참조하여 외부 인수의 이동 변위를 산출하고, 투영 사각형과 중심 사각형의 호모그라피(homography)로부터 회전 이동값을 산출할 수 있다. 이 때, 투영 사각형은 투사 중심점을 기준으로 중심 사각형을 환경 사각형과 평행한 투영면에 투영하여 나타나는 사각형이다. 따라서, 카메라 캘리브레이션 장치는 투사 중심점, 이동 변위 및 회전 이동값을 포함하는 외부 인수를 산출할 수 있다.
단계 270에서 카메라 캘리브레이션 장치는 이미지 사각형에 호모그라피를 적용하여 환경 사각형의 각 꼭지점 위치를 산출한다. 즉, 중심 사각형과 투영 사각형 간의 관계를 나타내는 호모그라피를 소실점에 따른 변환 과정을 거치지 않은 이미지 사각형에 적용함에 따라 환경 사각형의 각 꼭지점 위치를 산출할 수 있다. 카메라 캘리브레이션 장치가 투사 중심점을 참조하여 외부 인수를 산출하는 과정은 추후 도 15 내지 도 18을 참조하여 상세히 설명하도록 한다.
따라서, 본 발명의 일 실시에에 따른 카메라 캘리브레이션 장치는 카메라(150)를 통해 생성한 이미지와 환경 사각형의 대각선 인수를 입력받아 카메라 캘리브레이션을 수행할 수 있다.
도 4는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 중심 사각형을 산출하는 과정을 개념적으로 예시한 도면이고, 도 5는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 등변 사다리꼴인 이미지 사각형에 대한 중심 사각형을 산출하는 과정을 개념적으로 예시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 평행사변형인 이미지 사각형에 대한 중심 사각형을 산출하는 과정을 개념적으로 예시한 도면이다.
도 4를 참조하면, 카메라 캘리브레이션 장치는 이미지 사각형(410)을 두 개의 소실점(도 4의 Wd ,0, Wd ,1)을 공지된 소실점 검출 방법을 통해 검출한다. 또한, 카메라 캘리브레이션 장치는 이미지 사각형의 각 변의 연장선과 두 소실점을 연결한 선분의 교점인 제1 연장 교점(도 4의 W1 ,0, W1 ,1)을 산출한다. 카메라 캘리브레이션 장치는 각 소실점과 이미지 사각형의 중심점을 지나는 직선(이하, 중심 소실선이라 지칭)과 이미지 사각형의 일측 변(도 4의 U0 , U1이 연결된 변)을 연장한 직선의 교점(도 4의 Us,0, Us,1)인 제2 연장 교점을 산출한다. 카메라 캘리브레이션 장치는 제1 연장 교점과 제2 연장 교점을 연결한 직선과 중심 소실선의 교점(도 4의 Us,2, Us,3)인 제3 연장 교점을 산출한다. 카메라 캘리브레이션 장치는 제2 연장 교점과 제3 연장 교점을 꼭지점으로 하는 사각형을 중심 사각형(420)으로 산출한다. 따라서, 카메라 캘리브레이션 장치는 중심 사각형의 네 꼭지점을 획득함에 따라 대각선 인수를 산출할 수 있다.
이 때, 환경 사각형이 도 5와 같이 등변사다리꼴과 같은 평행 조건이 있는 특수한 사각형인 경우, 카메라 캘리브레이션 장치는 한 개의 소실점(예를 들어, 도 5의 Wd ,0)을 공지된 소실점 검출방법을 통해 검출하고, 이미지 사각형(510)의 변 중 환경 사각형의 평행한 두 변에 대응하는 변에 대한 연장선의 교점을 다른 하나의 소실점(도 5의 W0)으로 검출하고, 검출된 두 소실점을 통해 중심 사각형(520)를 도출할 수 있다. 또한, 환경 사각형이 도 6과 같이 평행 사변형일 경우, 카메라 캘리브레이션 장치는 환경 사각형의 평행한 쌍 변에 대응하는 이미지 사각형의 변의 연장선의 교점을 각각의 소실점(도 6의 W0, W1)으로 검출할 수 있다.
도 7은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 산출하는 투영 사각형을 예시한 도면이고, 도 8은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제1 선분 카메라에 의해 투영 사각형이 촬영되는 상황을 예시한 도면이고, 도 9는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제2 선분 카메라에 의해 투영 사각형이 촬영되는 상황을 예시한 도면이고, 도 10은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제1 선분 카메라 및 제2 선분 카메라에 의해 투영 사각형이 촬영되는 상황을 예시한 도면이고, 도 11은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치에 의해 사용되는 투사 중심선, 중심 사각형 및 투영 사각형의 기하학적 관계를 예시한 도면이고, 도 12는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 산출하는 중심 사각형을 예시한 도면이고, 도 13은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 제1 선분 카메라에 의해 환경 사각형이 촬영되는 상황을 평면에 예시한 도면이고, 도 14는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 가정하는 선분 카메라의 투사 중심점을 나타낸 도면이다.
도 7을 참조하면, 투영 사각형(V0, V1, V2, V3)은, Vm을 대각선의 교점으로 하고, f를 대각선 간의 각도로 하는 사각형임을 가정하여, 이하 선분 카메라 쌍을 통해 이미지 사각형이 촬영되는 과정을 설명하도록 한다. 이 때, 선분 카메라는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치의 동작 원리를 설명하기 위한 가상의 카메라이기 때문에, 카메라 캘리브레이션 장치는 선분 카메라를 통한 촬영 과정을 실제로 수행하지는 않는다.
카메라 캘리브레이션 장치는 가상의 선분 카메라 2개가 환경 사각형의 대각선을 각각 투사 중심점 Pc의 위치에서 촬영하는 것으로 가정하고, 각 선분 카메라가 촬영한 이미지의 대각선 길이(즉, 중심 사각형의 대각선 길이)와 환경 사각형의 대각선 길이를 참조하여 투사 중심선의 길이를 산출한다. 도 8및 도 9를 참조하면, 각 선분 카메라는 투사 중심점에서 투영 사각형의 각 대각선을 촬영하는 것으로 설정된다. 즉, 제1 선분 카메라는 투영 사각형의 일 대각선과의 각도가
Figure 112015011734804-pat00044
인 투사 중심선이 형성되도록 촬영하는 선분 카메라이고, 제2 선분 카메라는 투영 사각형의 타 대각선과의 각도가
Figure 112015011734804-pat00045
인 투사 중심선이 형성되도록 촬영하는 선분 카메라일 수 있다.
도 10을 참조하면, 제1 선분 카메라 및 제2 선분 카메라가 촬영한 각 선분은 서로 교차하게 되고, 해당 선분을 대각선으로 하는 중심 사각형은 도 11과 같이 투사되어 이미지로 생성된다. 따라서, 환경 사각형을 촬영하는 경우, 도 12와 같이 중심 사각형을 포함하는 이미지가 생성될 수 있다.
이 때, 카메라 캘리브레이션 장치는 투영 사각형(V0, V1, V2, V3), 중심 사각형(U0, U1, U2, U3)의 기하학적 관계에 따라 투사 중심선(Pc, Vm)의 길이를 산출한다.
도 13을 참조하면, 제1 선분 카메라의 환경 사각형의 대각선에 대한 투사 형태는 입체가 아닌 평면 삼각형으로 표현될 수 있다. 이 때, 제2 선분 카메라의 환경 사각형의 대각선에 대한 투사 형태도 도 13과 같은 형식의 평면 삼각형으로 표현될 수 있다. 이 때, m0, m2, l0, l2를 알고 있을 경우, 도 14와 같이 기하학적 관계에 따라 제1 선분 카메라의 투사 중심이 될 수 있는 지점을 모두 표현하면 도 14의 특정 점 C를 중심점으로 하는 구가 표현될 수 있다. 즉, 투영 사각형의 분할 대각선 비 (m0:m2)와 중심 사각형의 분할 대각선 비 (l0:l2)를 알고 있는 경우, 해당 투영 사각형의 대각선을 촬영하는 선분 카메라의 투사 중심은 하나의 구 상의 특정 지점이 될 수 있다. 따라서, 제1 선분 카메라와 제2 선분 카메라에 상응하는 투사 중심을 나타내는 구의 교점으로 형성되는 교차원 중 어느 한 점은 제1 선분 카메라 및 제2 선분 카메라의 공통의 투사 중심이 될 수 있다. 이 때, 투영 사각형의 분할 대각선 비는 환경 사각형의 분할 대각선 비와 동일한 것으로 가정한다. 따라서, 투영 사각형 및 중심 사각형의 분할 대각선 비와 투사 중심선의 길이를 이용하여 하기의 수학식 1을 도출할 수 있다.
[수학식 1]
Figure 112015011734804-pat00046
Figure 112015011734804-pat00047
는 투영 사각형의 투영 사각형의 일 대각선에 대한 분할 대각선 비이고,
Figure 112015011734804-pat00048
는 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비(이 때,
Figure 112015011734804-pat00049
는 0 또는 1)이고,
Figure 112015011734804-pat00050
는 중심 사각형의 일 대각선에 대한 분할 대각선 비이고,
Figure 112015011734804-pat00051
는 중심 사각형의 타 대각선에 대한 분할 대각선 비이고, d는 투사 중심선의 길이이다.
Figure 112015011734804-pat00052
는 제1 선분 카메라가 촬영하는 대각선과 투사 중심선 간의 각도이고,
Figure 112015011734804-pat00053
는 제2 선분 카메라가 촬영하는 대각선과 투사 중심선 간의 각도이다.
[수학식 2]
Figure 112015011734804-pat00054
이 때,
Figure 112015011734804-pat00055
는 제1 선분 카메라(즉, 투영 사각형의 대각선(V0, V2)를 촬영하는 선분 카메라)를 통해 생성되는 이미지의 대각선의 일단과 중심 사각형의 대각선의 교점 간의 거리이고,
Figure 112015011734804-pat00056
은 제2 선분 카메라(즉, 투영 사각형의 대각선(V1, V3)를 촬영하는 선분 카메라)를 통해 생성되는 이미지의 대각선과 중심 사각형의 대각선의 교점 간의 거리이다. 또한, m0은 투영 사각형의 각 대각선의 교점과 대각선(V0, V2) 간의 거리이고, m1는 투영 사각형의 각 대각선의 교점과 대각선(V1, V3)간의 거리이다.
상술한 수학식 1에 하기의 수학식 2를 도입하면 수학식 3이 도출된다.
[수학식 3]
Figure 112015011734804-pat00057

따라서, 카메라 캘리브레이션 장치는 중심 사각형의 분할 대각선 비와 투영 사각형의 분할 대각선 비를 이용하여 투사 중심선의 길이를 산출할 수 있다.
이후, 카메라 캘리브레이션 장치는 수학식 1에 투사 중심선의 길이를 대입하여 각 선분 카메라의 대각선과 투사 중심선 간의 각도인
Figure 112015011734804-pat00058
및
Figure 112015011734804-pat00059
를 산출한다.
따라서, 카메라 캘리브레이션 장치는
Figure 112015011734804-pat00060
및
Figure 112015011734804-pat00061
를 하기의 수학식 4에 대입하여 투영 사각형의 대각선 각도를 산출할 수 있다.
[수학식 4]
Figure 112015011734804-pat00062
이 때,
Figure 112015011734804-pat00063
는 중심 사각형의 대각선 각도이고,
Figure 112015011734804-pat00064
는 투영 사각형의 대각선 각도이다.
카메라 캘리브레이션 장치는 하기의 수학식 5를 통해 투사 중심점(Pc)를 산출할 수 있다.
[수학식 5]
Figure 112015011734804-pat00065

이하, 상술한 카메라 캘리브레이션 장치가 중심 사각형, 투영 사각형을 통해 환경 사각형을 복원하는 과정을 설명하도록 한다.
도 15는 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치에 입력되는 이미지 사각형 및 환경 사각형 간의 기하학적 관계를 예시한 도면이고, 도 16은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 생성하는 중심 사각형을 예시한 도면이고, 도 17은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치에 입력되는 이미지 사각형 및 환경 사각형과, 중심사각 형미 투영 사각형의 기하학적 관계를 예시한 도면이고, 도 18은 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치가 산출하는 투영 사각형 및 환경 사각형을 나타낸 평면도이다.
본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치는 도 15와 같이 환경 사각형(1510)를 촬영하여 생성된 이미지로부터 이미지 사각형(1520)을 추출할 수 있다. 도 16과 같이 카메라 캘리브레이션 장치는 이미지 사각형(1520)으로부터 중심 사각형(1530)을 소실점을 이용하여 도출할 수 있다. 또한, 도 17과 같이 카메라 캘리브레이션 장치는 가상의 선분 카메라를 이용하는 개념을 통해 중심 사각형(1530)으로부터 투영 사각형(1540)을 도출할 수 있다. 이 때, 카메라 캘리브레이션 장치는 중심 사각형(1530)과 투영 사각형(1540) 간의 호모그래피를 산출할 수 있다. 또한, 카메라 캘리브레이션 장치는 해당 호모그래피를 이미지 사각형(1520)에 적용하여 환경 사각형(1510)을 복원할 수 있다. 즉, 도 18과 같이 환경 사각형(1510)과 닮은 꼴인 투영 사각형(1540)과 중심 사각형(1530) 간의 기하학적 관계는 환경 사각형(1510)과 이미지 사각형(1520)과 거의 유사하다. 따라서, 카메라 캘리브레이션 장치는 중심 사각형(1530)과 투영 사각형(1540) 간의 호모그래피를 통해 이미지 사각형(1520)으로부터 환경 사각형(1510)을 복원할 수 있다.
이하, 상술한 카메라 캘리브레이션 장치는 쿼드롭터를 이용한 영상기반 건물 모델링이나 모바일 문서 스캐너에 이용될 수 있다.
예를 들어, 본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치는 하기의 표와 같이 쿼드롭터를 이용한 영상기반 건물 모델링에 이용될 수 있다.
개요 사각형 요소가 많은 건물을 쿼드롭터를 이용하여 영상기반 모델링을 하는 기술.
-카메라를 장착한 쿼드롭터가 건물 주변을 비행하면서 자신의 위치를 파악하며, 특징 형상 (예, 벽, 창문 등)에 대한 순차적인 촬영을 통해 건물에 대한 조밀한 조밀한 영상을 얻고, 이를 연결하여 건물 전체에 대한 3차원 영상기반 모델링을 수행함.
시스템 구성 -건물의 사각형 정보, 주로 직사각형을 활용하나, 건물의 기존 도면이 존재하면 이를 활용하여 분할 대각선의 길이를 활용함.
-렌즈 외곡이 보정된 카메라
-이 카메라를 장착한 자율주행 또는 수동주행 쿼드롭터
-응용 소프트웨어 및 구동 서버: 쿼드롭터가 촬영하여 영상을 보내면 이를 처리하여, 특징 형상 (사각형)을 추출하고, 쿼드롭터의 자세를 제어하고, 다음 촬영 위치를 계획하고, 촬영된 영상들을 취합하여 영상 기반 모델링을 수행함.
단말 및 응용 -기본적으로 쿼드롭터 및 구동 소프트웨어로 구성
-건물(또는 이에 준하는 직사각형)의 영상으로 촬영하여 서버에 전송. (WiBro 및 WiFi 통신 방법 활용)
시스템 서비스 -단말이 보내온 사진을 본 발명의 방법으로 분석하여 쿼드롭터의 촬영 위치를 획득함
-영상들을 중간 취합하여, 쿼드롭터의 다음 위치를 결정하여 이동시킴
본 발명의 일 실시예에 따른 카메라 캘리브레이션 장치는 하기의 표와 같이 모바일 문서 스캐너에 이용될 수 있다.
개요 -종횡비를 알 수 없는 다양한 직사각형 문서 (인쇄물, 명함, 서적 등)를 촬영하여 이를 직사각형 형태의 영상으로 복원함.
-이 과정에서 문서의 종횡비를 미리 알 필요가 없고,
-한장의 영상으로 충분함.
시스템 구성 -카메라가 장착된 스마트폰
-핵심 기능 소프트웨어: 사용자가 문서를 촬영하면 영상에서 사각형 영역을 찾아내고, 처리하여 본 발명의 방법으로 직사각형의 종횡비를 계산하여 복원함.
추가 기능 -스마트폰의 렌즈 왜곡이 캘리브레이션 되어 있으면 더 좋은 결과를 얻을 수 있음.
-동일 문서를 여러 각도에서 촬영하면 텍스쳐 샘플링을 통해 영상의 품질을 개선할 수 있음.
-사용자가 인터액티브하게 사각형 영역을 설정하거나 보정할 수 있음.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았다. 전술한 실시 예 외의 많은 실시 예들이 본 발명의 특허청구범위 내에 존재한다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims (16)

  1. 환경 사각형을 촬영하여 이미지를 생성하는 카메라;
    상기 환경 사각형에 대한 분할 대각선 비를 입력 받는 입력부;
    카메라 캘리브레이션을 위한 프로그램을 저장하는 메모리; 및
    상기 프로그램에 따라 카메라 캘리브레이션을 수행하는 프로세서;
    를 포함하되,
    상기 프로그램은
    상기 이미지의 중심점과 2개의 소실점을 연결하는 2개의 중심 소실선을 이용하여 중심 사각형을 생성하고,
    상기 이미지로부터 상기 중심 사각형의 대각선 인수를 추출하고,
    상기 환경 사각형의 분할 대각선 비 및 상기 중심 사각형의 대각선 인수를 참조하여 투사 중심선의 길이를 산출하고,
    상기 투사 중심선의 길이를 참조하여 상기 중심 사각형의 각 대각선에 대응하는 투사 각도를 산출하고,
    상기 투사 각도, 상기 중심 사각형의 대각선 간의 각도를 참조하여 투영 사각형의 대각선 간의 각도를 산출하고,
    상기 투사각도, 상기 중심 사각형의 대각선 간의 각도 및 상기 투영 사각형의 대각선 간의 각도를 참조하여 투사 중심점을 산출하고,
    상기 투사 중심점 및 상기 중심 사각형에 상응하는 상기 카메라의 외부 인수 및 내부 인수를 산출하도록 구성되고,
    상기 투사 중심선의 길이는 상기 투영 사각형의 각 대각선에 대한 분할 대각선 비에 기초하여 산출되며, 상기 투영 사각형의 각 대각선에 대한 분할 대각선 비는 상기 환경 사각형에 따라 결정되고,
    상기 중심 사각형의 생성은,
    상기 이미지의 사각형에서의 각 변의 연장선과 상기 2개의 소실점을 연결한 선분 간의 교점으로 지정되는 제 1 연장 교점을 산출하며,
    상기 중심 소실선의 각각과 상기 연장선 중 어느 하나 간의 교점으로 지정되는 제 2 연장 교점을 산출하며,
    상기 중심 소실선의 각각과 상기 제 1 및 제2 연장 교점들을 연결한 직선 간의 교점으로 지정되는 제 3 연장 교점을 산출하고,
    상기 제 2 및 제 3 연장 교점들이 상기 중심 사각형의 꼭지점들로 구성되는것을 특징으로 하는 카메라 캘리브레이션 장치.
  2. 제1 항에 있어서,
    상기 대각선 인수는 상기 중심 사각형의 대각선 간의 각도 및 분할 대각선 비를 포함하는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  3. 제1 항에 있어서,
    상기 투사 각도는 상기 투사 중심선 및 상기 환경 사각형의 대각선 간의 각도인 것을 특징으로 하는 카메라 캘리브레이션 장치.
  4. 제1 항에 있어서,
    상기 프로그램은
    상기 중심 사각형과 상기 투영 사각형 간의 호모그라피(homography)를 산출하고,
    이미지 사각형에 대해 상기 호모그라피를 적용하여 상기 환경 사각형을 복원하도록 구성되는 것을 특징으로 하는 카메라 캘리브레이션 장치.
  5. 제1 항에 있어서,
    상기 프로그램은 하기의 수학식에 따라 상기 투사 중심선의 길이를 산출하도록 구성되고,
    Figure 112015011734804-pat00066

    상기
    Figure 112015011734804-pat00067
    는 상기 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112015011734804-pat00068
    은 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고,
    Figure 112015011734804-pat00069
    는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비를 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비를 나눈 값인 것을 특징으로 하는 카메라 캘리브레이션 장치.
  6. 제1 항에 있어서,
    상기 프로그램은 하기의 수학식에 따라 상기 투사 각도를 산출하도록 구성되고,
    Figure 112015011734804-pat00070

    상기
    Figure 112015011734804-pat00071
    는 투영 사각형의 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112015011734804-pat00072
    는 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112015011734804-pat00073
    는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112015011734804-pat00074
    는 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비이고, d는 상기 투사 중심선의 길이이고, 상기
    Figure 112015011734804-pat00075
    는 상기 중심 사각형의 각 대각선에 대응하는 투사 각도이고, 상기
    Figure 112015011734804-pat00076
    는 0 또는 1인 것을 특징으로 하는 카메라 캘리브레이션 장치.
  7. 제1 항에 있어서,
    상기 프로그램은 하기의 수학식에 따라 상기 대각선 간의 각도를 산출하도록 구성되고,
    Figure 112015011734804-pat00077

    상기
    Figure 112015011734804-pat00078
    는 상기 중심 사각형의 대각선 각도이고, 상기
    Figure 112015011734804-pat00079
    는 상기 투영 사각형의 대각선 간의 각도이고, 상기
    Figure 112015011734804-pat00080
    는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
    Figure 112015011734804-pat00081
    는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도인 것을 특징으로 하는 카메라 캘리브레이션 장치.
  8. 제1 항에 있어서,
    상기 프로그램은 하기의 수학식에 따라 상기 투사 중심점을 산출하도록 구성되고,
    Figure 112015011734804-pat00082

    Pc는 상기 투사 중심점이고, 상기
    Figure 112015011734804-pat00083
    는 상기 중심 사각형의 대각선 각도이고, 상기
    Figure 112015011734804-pat00084
    는 상기 투영 사각형의 대각선 간의 각도이고, 상기
    Figure 112015011734804-pat00085
    는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
    Figure 112015011734804-pat00086
    는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도이고, d는 상기 투사 중심선의 길이인 것을 특징으로 하는 카메라 캘리브레이션 장치.
  9. 카메라 캘리브레이션이 카메라 캘리브레이션을 수행하는 방법에 있어서,
    환경 사각형을 촬영한 이미지 및 상기 환경 사각형의 분할 대각선 비를 입력 받는 단계;
    상기 이미지의 중심점과 2개의 소실점을 연결하는 2개의 중심 소실선을 이용하여 중심 사각형을 생성하는 단계;
    상기 이미지로부터 상기 중심 사각형의 대각선 인수를 추출하는 단계;
    상기 환경 사각형의 분할 대각선 비 및 상기 중심 사각형의 대각선 인수를 참조하여 투사 중심선의 길이를 산출하는 단계;
    상기 투사 중심선의 길이를 참조하여 상기 중심 사각형의 각 대각선에 대응하는 투사 각도를 산출하는 단계;
    상기 투사 각도, 상기 중심 사각형의 대각선 간의 각도를 참조하여 투영 사각형의 대각선 간의 각도를 산출하는 단계;
    상기 투사각도, 상기 중심 사각형의 대각선 간의 각도 및 상기 투영 사각형의 대각선 간의 각도를 참조하여 투사 중심점을 산출하는 단계; 및
    상기 투사 중심점 및 상기 중심 사각형에 상응하는 상기 카메라의 외부 인수 및 내부 인수를 산출하는 단계;
    를 포함하고,
    상기 투사 중심선의 길이는 상기 투영 사각형의 각 대각선에 대한 분할 대각선 비에 기초하여 산출되며, 상기 투영 사각형의 각 대각선에 대한 분할 대각선 비는 상기 환경 사각형에 따라 결정되고,
    상기 중심 사각형을 생성하는 단계는,
    상기 이미지의 사각형에서의 각 변의 연장선과 상기 2개의 소실점을 연결한 선분 간의 교점으로 지정되는 제 1 연장 교점을 산출하며,
    상기 중심 소실선의 각각과 상기 연장선 중 어느 하나 간의 교점으로 지정되는 제 2 연장 교점을 산출하며,
    상기 중심 소실선의 각각과 상기 제 1 및 제2 연장 교점들을 연결한 직선 간의 교점으로 지정되는 제 3 연장 교점을 산출하고,
    상기 제 2 및 제 3 연장 교점들이 상기 중심 사각형의 꼭지점들로 구성되는 카메라 캘리브레이션 방법.
  10. 제9 항에 있어서,
    상기 대각선 인수는 상기 중심 사각형의 대각선 간의 각도 및 분할 대각선 비를 포함하는 것을 특징으로 하는 카메라 캘리브레이션 방법.
  11. 제9 항에 있어서,
    상기 투사 각도는 상기 투사 중심선 및 상기 투영 사각형의 대각선 간의 각도인 것을 특징으로 하는 카메라 캘리브레이션 방법.
  12. 제9 항에 있어서,
    상기 중심 사각형과 상기 투영 사각형 간의 호모그라피(homography)를 산출하는 단계; 및
    이미지 사각형에 대해 상기 호모그라피를 적용하여 상기 환경 사각형을 복원하는 단계;
    를 더 포함하는 카메라 캘리브레이션 방법.
  13. 제9 항에 있어서,
    상기 환경 사각형의 분할 대각선 비 및 상기 중심 사각형의 대각선 인수를 참조하여 투사 중심선의 길이를 산출하는 단계는 하기의 수학식에 따라 상기 투사 중심선의 길이를 산출하는 단계이되,
    Figure 112020137359824-pat00087

    상기
    Figure 112020137359824-pat00088
    는 상기 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112020137359824-pat00089
    은 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고,
    Figure 112020137359824-pat00090
    는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비를 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비를 나눈 값인 것을 특징으로 하는 카메라 캘리브레이션 방법.
  14. 제9 항에 있어서,
    상기 투사 중심선의 길이를 참조하여 상기 중심 사각형의 각 대각선에 대응하는 투사 각도를 산출하는 단계는, 하기의 수학식에 따라 상기 투사 각도를 산출하는 단계이되,
    Figure 112020137359824-pat00091

    상기
    Figure 112020137359824-pat00092
    는 투영 사각형의 투영 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112020137359824-pat00093
    는 상기 투영 사각형의 타 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112020137359824-pat00094
    는 상기 중심 사각형의 일 대각선에 대한 분할 대각선 비이고, 상기
    Figure 112020137359824-pat00095
    는 상기 중심 사각형의 타 대각선에 대한 분할 대각선 비이고, d는 상기 투사 중심선의 길이이고, 상기
    Figure 112020137359824-pat00096
    는 상기 중심 사각형의 각 대각선에 대응하는 투사 각도이고, 상기
    Figure 112020137359824-pat00097
    는 0 또는 1인 것을 특징으로 하는 카메라 캘리브레이션 방법.
  15. 제9 항에 있어서,
    상기 투사 각도, 상기 중심 사각형의 대각선 간의 각도를 참조하여 투영 사각형의 대각선 간의 각도를 산출하는 단계는 하기의 수학식에 따라 상기 대각선 간의 각도를 산출하는 단계이되,
    Figure 112020137359824-pat00098

    상기
    Figure 112020137359824-pat00099
    는 상기 중심 사각형의 대각선 각도이고, 상기
    Figure 112020137359824-pat00100
    는 상기 투영 사각형의 대각선 간의 각도이고, 상기
    Figure 112020137359824-pat00101
    는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
    Figure 112020137359824-pat00102
    는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도인 것을 특징으로 하는 카메라 캘리브레이션 방법.
  16. 제9 항에 있어서,
    상기 투사각도, 상기 중심 사각형의 대각선 간의 각도 및 상기 투영 사각형의 대각선 간의 각도를 참조하여 투사 중심점을 산출하는 단계는, 하기의 수학식에 따라 상기 투사 중심점을 산출하는 단계이되,
    Figure 112020137359824-pat00103

    Pc는 상기 투사 중심점이고, 상기
    Figure 112020137359824-pat00104
    는 상기 중심 사각형의 대각선 각도이고, 상기
    Figure 112020137359824-pat00105
    는 상기 투영 사각형의 대각선 간의 각도이고, 상기
    Figure 112020137359824-pat00106
    는 상기 중심 사각형의 일 대각선에 대응하는 투사 각도이고,
    Figure 112020137359824-pat00107
    는 상기 중심 사각형의 타 대각선에 대응하는 투사 각도이고, d는 상기 투사 중심선의 길이인 것을 특징으로 하는 카메라 캘리브레이션 방법.
KR1020150016994A 2015-02-03 2015-02-03 카메라 캘리브레이션 장치 및 방법 KR102248459B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150016994A KR102248459B1 (ko) 2015-02-03 2015-02-03 카메라 캘리브레이션 장치 및 방법
US14/834,297 US9591301B2 (en) 2015-02-03 2015-08-24 Apparatus and method for calibrating a camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150016994A KR102248459B1 (ko) 2015-02-03 2015-02-03 카메라 캘리브레이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160095560A KR20160095560A (ko) 2016-08-11
KR102248459B1 true KR102248459B1 (ko) 2021-05-06

Family

ID=56553564

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150016994A KR102248459B1 (ko) 2015-02-03 2015-02-03 카메라 캘리브레이션 장치 및 방법

Country Status (2)

Country Link
US (1) US9591301B2 (ko)
KR (1) KR102248459B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10909719B2 (en) * 2016-12-21 2021-02-02 Huawei Technologies Co., Ltd. Image processing method and apparatus
CN107123147B (zh) * 2017-03-31 2020-05-05 深圳市奇脉电子技术有限公司 双目摄像机的标定方法、装置及双目摄像机系统
GB2579843A (en) * 2018-12-18 2020-07-08 Continental Automotive Gmbh Method and apparatus for calibrating the extrinsic parameter of an image sensor
CN111223150A (zh) * 2020-01-15 2020-06-02 电子科技大学 一种基于双消失点的车载摄像头外参数标定方法
CN112991459B (zh) * 2021-03-09 2023-12-12 阿波罗智联(北京)科技有限公司 一种相机标定方法、装置、设备以及存储介质
CN113409403B (zh) * 2021-06-29 2022-09-16 湖南泽塔科技有限公司 相机标定架、基于标定架的单幅图像相机标定方法及系统
CN115214694B (zh) * 2021-09-13 2023-09-08 广州汽车集团股份有限公司 摄像头标定触发控制方法、车载控制器和智能驾驶系统

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7119788B2 (en) * 1998-12-17 2006-10-10 Sony Corporation Image processing apparatus, image processing method, providing medium and presentation system
US20010010514A1 (en) * 1999-09-07 2001-08-02 Yukinobu Ishino Position detector and attitude detector
US6852032B2 (en) * 2000-12-06 2005-02-08 Nikon Corporation Game machine, method of performing game and computer-readable medium
US7119833B2 (en) * 2002-12-03 2006-10-10 University Of Kentucky Research Foundation Monitoring and correction of geometric distortion in projected displays
JP4033198B2 (ja) * 2004-02-27 2008-01-16 カシオ計算機株式会社 画像処理装置、画像投影装置、画像処理方法及びプログラム
US20070065004A1 (en) * 2005-08-01 2007-03-22 Topcon Corporation Three-dimensional measurement system and method of the same, and color-coded mark
US7949150B2 (en) * 2007-04-02 2011-05-24 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
US7671891B2 (en) 2007-05-22 2010-03-02 Microsoft Corporation Online camera calibration
CN101894366B (zh) * 2009-05-21 2014-01-29 北京中星微电子有限公司 一种获取标定参数的方法、装置及一种视频监控系统
EP2375376B1 (en) * 2010-03-26 2013-09-11 Alcatel Lucent Method and arrangement for multi-camera calibration
KR101694294B1 (ko) 2010-12-22 2017-01-09 한국전자통신연구원 영상에서 평행사변형과 다중 뷰 제한을 이용한 카메라의 보정 장치 및 방법
US9160979B1 (en) * 2011-05-27 2015-10-13 Trimble Navigation Limited Determining camera position for a photograph having a displaced center of projection
US9185401B2 (en) 2011-07-15 2015-11-10 Electronics And Telecommunications Research Institute Method and apparatus for camera network calibration with small calibration pattern
KR101846390B1 (ko) 2011-07-15 2018-04-09 한국전자통신연구원 소형 보정 패턴을 이용한 카메라 네트웍 보정 방법 및 장치
KR101694969B1 (ko) * 2012-10-29 2017-01-10 한국전자통신연구원 카메라 캘리브레이션 방법 및 장치
JP6244638B2 (ja) * 2013-03-22 2017-12-13 カシオ計算機株式会社 投影装置、投影方法及び投影プログラム
US9160946B1 (en) * 2015-01-21 2015-10-13 A2iA S.A. Systems and methods for capturing images using a mobile device

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Joo-Haeng Lee, "Camera calibration from a single image based on coupled line cameras and rectangle constraint", Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), 11-15 Nov. 2012(2012.11.11.) 1부.*
Joo-Haeng Lee, "New Solution for Projective Reconstruction Based on Coupled Line Cameras", ETRI Journal, Volume 35, Issue5, October 2013, Pages 939-942(2013.10.31.) 1부.*

Also Published As

Publication number Publication date
KR20160095560A (ko) 2016-08-11
US20160227207A1 (en) 2016-08-04
US9591301B2 (en) 2017-03-07

Similar Documents

Publication Publication Date Title
KR102248459B1 (ko) 카메라 캘리브레이션 장치 및 방법
CN110568447B (zh) 视觉定位的方法、装置及计算机可读介质
KR101666959B1 (ko) 카메라로부터 획득한 영상에 대한 자동보정기능을 구비한 영상처리장치 및 그 방법
US11039121B2 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
US9161027B2 (en) Method and apparatus for providing camera calibration
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
JP6733267B2 (ja) 情報処理プログラム、情報処理方法および情報処理装置
JP6201476B2 (ja) 自由視点画像撮像装置およびその方法
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
US8369578B2 (en) Method and system for position determination using image deformation
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
US9160979B1 (en) Determining camera position for a photograph having a displaced center of projection
TWI587241B (zh) Method, device and system for generating two - dimensional floor plan
KR102449438B1 (ko) 입방체 복원 장치 및 방법
CN110490943B (zh) 4d全息捕捉系统的快速精确标定方法、系统及存储介质
CN110827392A (zh) 具好的场景易用性的单目图像三维重建方法、系统及装置
CN114820814A (zh) 摄影机位姿计算方法、装置、设备及存储介质
KR102546346B1 (ko) 전방위 카메라의 캘리브레이션을 위한 장치 및 방법
CN114640833A (zh) 投影画面调整方法、装置、电子设备和存储介质
KR102475790B1 (ko) 지도제작플랫폼장치 및 이를 이용한 지도제작방법
CN113259642B (zh) 一种影片视角调节方法及系统
CN113034347A (zh) 倾斜摄影图像处理方法、装置、处理设备及存储介质
JP5885974B2 (ja) 空中写真画像データの対応点設定方法及び対応点設定装置並びに対応点設定プログラム
CN111131689B (zh) 全景图像修复方法和系统
KR102146839B1 (ko) 실시간 가상현실 구축을 위한 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant