KR101574195B1 - 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법 - Google Patents

모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법 Download PDF

Info

Publication number
KR101574195B1
KR101574195B1 KR1020140017175A KR20140017175A KR101574195B1 KR 101574195 B1 KR101574195 B1 KR 101574195B1 KR 1020140017175 A KR1020140017175 A KR 1020140017175A KR 20140017175 A KR20140017175 A KR 20140017175A KR 101574195 B1 KR101574195 B1 KR 101574195B1
Authority
KR
South Korea
Prior art keywords
image
vanishing point
mobile platform
deriving
coordinates
Prior art date
Application number
KR1020140017175A
Other languages
English (en)
Other versions
KR20150096128A (ko
Inventor
임혁규
Original Assignee
브이앤아이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 브이앤아이 주식회사 filed Critical 브이앤아이 주식회사
Priority to KR1020140017175A priority Critical patent/KR101574195B1/ko
Publication of KR20150096128A publication Critical patent/KR20150096128A/ko
Application granted granted Critical
Publication of KR101574195B1 publication Critical patent/KR101574195B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30241—Trajectory

Abstract

본 발명은 카메라에 의해 촬영된 복수의 영상으로부터 캘리브레이션을 실시하는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법에 관한 것으로서, 모바일 플랫폼과 타겟 오브젝트와의 거리 측정시 정확도를 향상시키고 내부 파라미터 값의 오차율을 감소시킴으로써 증강현실 매칭기술의 정확성을 향상시키는 것을 목적으로 한다.
상기한 목적을 달성하기 위하여 본 발명은, 모바일 플랫폼에 구비된 카메라를 이용하여 타켓 오브젝트에 대한 이미지를 입력하되, 서로 다른 방향의 이미지를 4장 이상 입력하는 이미지 획득 단계(S10)와; 입력된 각 이미지로부터 복수의 직선을 검출하는 전처리 단계(S20)와; 검출된 직선을 종류별로 분류하여 평균선을 도출하고 이 평균선을 이용하여 소실점(Vanishing Point)을 도출한 후 소실점의 좌표를 구하는 소실점 검출단계(S30)와; 검출된 소실점의 좌표를 캘리브레이션 수식에 적용하여 내부 파라미터값을 계산하는 파라미터값 도출단계(S40);를 포함하는 것을 특징으로 한다.

Description

모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법{Auto Calibration Method for Virtual Camera based on Mobile Platform}
본 발명은 모바일 플랫폼에 구비된 카메라에 의해 촬영된 복수의 영상으로부터 직선을 추출한 후 소실점 기반 알고리즘에 따라 캘리브레이션을 실시하여, 모바일 플랫폼과 타겟 오브젝트와의 거리 측정시 정확도를 향상시키고 내부 파라미터 값의 오차율을 감소시킴으로써, 증강현실 매칭기술의 정확성을 향상시킬 수 있도록 한 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법에 관한 것이다.
최근 스마트폰과 같은 모바일 플랫폼의 대중화와 더불어 증강 현실(Augmented Reality: AR) 기술이 다양한 분야에서 활용되고 있다.
상기 증강현실 기술은 사용자가 눈으로 보는 현실세계에 가상 물체를 겹쳐 보여주는 기술로서, 현실세계와 가상세계를 실시간으로 합쳐서 하나의 영상으로 보여주므로 혼합현실(Mixed Reality: MR)이라고도 한다.
이러한 증강현실 기술에 의하면, 사용자가 실제로 보고 있는 현실세계를 담고 있는 화면에 각종 부가정보(예컨대 관심지점을 나타내는 그래픽 요소)를 시각적으로 중첩하여 제공할 수 있다.
즉, 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 그 주역은 현실환경이며, 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가로 제공하는 역할을 한다.
이에 따라 증강현실 기술을 사용하게 되면, 사용자가 보고 있는 실사 영상에 3차원 가상영상이 겹쳐지게 되어 현실환경과 가상화면과의 구분이 모호해지게 된다.
예를 들어, 스마트폰과 같은 모바일 플랫폼의 카메라로 주변을 비추면, 인근에 있는 건물의 위치, 건물과의 거리, 전화번호 등의 정보가 모바일 플랫폼의 영상으로 표시된다.
이에 따라, 실제환경과 가상의 객체가 혼합된 증강현실 기술은, 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없게 하는 가상현실 기술과는 달리, 사용자가 실제환경을 볼 수 있으므로 현실감과 함께 각종 부가 정보를 제공할 수 있는 장점이 있다.
또한, 증강현실 기술은, 카메라로부터 촬영되는 영상으로부터 증강현실 마커를 감지하고, 감지된 마커에 따른 3차원 가상 물체를 상기 영상에 합성하여 출력할 수도 있다.
이에 따라 현실에는 존재하지 않는 가상 캐릭터 등이 화면상에 실제 존재하는 것처럼 구현할 수 있다.
하지만 가상 물체를 실제 화면상에 나타내도록 하기 위해서는, 입력되는 영상의 각 프레임별로 마커(Marker)를 인지하고, 마커의 종류 및 위치 등에 대응되도록 가상 물체의 크기, 위치, 형태 등을 계산하여, 계산된 위치에 상기 가상 물체를 영상과 합성하여야 한다.
그런데, 상기한 마커 방식의 증강현실 콘텐츠 출력 방식의 경우, 화면 상에 마커가 명확히 인식되기 어렵다는 문제점이 있다.
즉, 상기 마커가 원거리에 있을 경우에는, 카메라가 마커를 인식할 수 없어 가상 물체 즉, 증강현실 오브젝트(Object)를 화면상에 표시하기가 어렵게 되는 것이다.
이를 해결하기 위한 방법의 하나로서, 마커 대신 GPS 등의 위치 정보에 가상 물체를 맵핑(Mapping)함으로써, 단말기의 위치 정보만으로 현재 위치 근처에 맵핑된 증강현실 오브젝트를 디스플레이하는 방법이 있다.
그러나, 상기한 맵핑 방식에 의하면, GPS 위치 정보에 의해 해당 지점의 x, y 정보만을 알 수 있을 뿐 높이 정보는 알 수 없다는 단점이 있다.
이에 따라, GPS를 이용한 증강현실 기법의 경우, 단말기의 위치에 따라 오브젝트(Object)가 공중에 떠 있거나 또는 지면 보다 아래에 디스플레이되는 등의 문제가 발생하게 되는 문제점이 있다.
또한, 스마트폰과 같은 소형 모바일 플랫폼에 적용되는 GPS 위치정보는, 평균 50m 정도의 위치 오차를 지니고 있어 정확성이 떨어진다는 문제점이 있다.
또한, 증강현실을 구현하기 위해서는 카메라 캘리브레이션(Calibration)이 필수적으로 요구되는데, 상기한 카메라 캘리브레이션에 적용되는 알고리즘에는, 액티브 비젼 시스템(Active Vision System) 방식, 멀티 카메라(Multi-Camera) 방식, 크루파 방정식(Kruppa Equation)을 이용하는 방식 및 소실점(Vanishing Point) 방식 등이 알려져 있다.
상기한 액티브 비젼 시스템 방식은, 잡음 민감도가 강인하고 정확도가 양호한 장점이 있으나, 속도가 느리고 특징점 검출 과정이 필요하며, 카메라의 상태를 제어하기 위한 특수장치가 필요하다는 단점이 있다.
상기 멀티 카메라 방식은, 잡음 민감도가 강인한 장점은 있으나, 속도가 느리고 특징점 검출 과정이 필요하며, 정확도가 미흡하고 여러 대의 카메라가 필요하다는 단점이 있다.
상기 크루파 방정식을 이용하는 방법은, 잡음 민감도가 강인한 장점이 있으나, 속도가 느리고 특징점 검출과정이 필요하며, 정확도가 미흡하고 이미지의 중복구역이 요구되는 단점이 있다.
상기 소실점 방식은, 수직으로 교차하는 2종류의 평행선을 이용하여 소실점을 찾아야 하는 단점은 있지만, 속도가 빠르고 특징점 검출과정이 필요하지 않으며, 정확도가 양호한 장점이 있다.
한편, 상기한 종래의 캘리브레이션 방식 들은, 모바일 플랫폼마다 각기 다른 오토 포커스(Auto Focus)로 카메라 캘리브레이션을 수행하고 있어, 정보의 정확도가 저하된다는 문제점이 있다.
또한 종래의 캘리브레이션 방식에서는, 내부 파라미터(Parameter)값 자체도 오차 범위가 커서 정보의 정확도가 더욱 저하된다는 문제점이 있다.
KR 10-0793838 B1 KR 10-2012-0092352 A KR 10-2013-0057699 A KR 10-1253644 B1
본 발명은 상기한 종래 기술의 문제점을 해결하기 위하여 안출된 것으로서, 모바일 플랫폼에 구비된 카메라에 의해 촬영된 복수의 영상으로부터 직선을 추출하고 이를 이용하여 소실점의 좌표를 구한 후, 소실점 기반 알고리즘을 이용하여 캘리브레이션을 실시함으로써, 모바일 플랫폼과 타겟 오브젝트와의 거리 측정시 정확도를 향상시키고 내부 파라미터 값의 오차율을 보정할 수 있는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적은, 크레딧 카드를 이용한 소실점 기법에 의해 내부 파라미터 값을 추출하여 모바일 환경에 적용함으로써, 모바일 환경에서의 오차범위를 대폭 줄일 수 있는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법을 제공하는 데 있다.
본 발명의 또 다른 목적은, 오토 캘리브레이션 보정 기술의 정확도를 향상시킴으로써 증강현실 매칭기술의 정확성을 향상킬 수 있는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법을 제공하는 데 있다.
상기한 목적을 달성하기 위하여 본 발명은, 모바일 플랫폼에 구비된 카메라를 이용하여 타켓 오브젝트에 대한 이미지를 입력하되, 크레딧 카드를 사용하여 서로 다른 방향의 이미지를 4장 이상 입력하는 이미지 획득 단계와; 입력된 각 이미지로부터 복수의 직선을 검출하는 전처리 단계와; 검출된 직선을 종류별로 분류하여 평균선을 도출하고 이 평균선을 이용하여 소실점을 도출한 후 소실점의 좌표를 구하는 소실점 검출단계와; 검출된 소실점의 좌표를 캘리브레이션 수식에 적용하여 내부 파라미터값을 계산하는 파라미터값 도출단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명의 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법에 따르면, 상기 전처리 단계는 가우시안 필터(Gaussian Filter)를 이용하여 이미지의 잡음을 제거하는 1차 가우시안 스무딩(Gaussian Smoothing) 단계와, 이미지의 명암 대비도를 높여 외곽선의 검출을 용이하게 하는 히스토그램 평활화(Histogram Equalization) 단계와, 가우시안 필터를 이용하여 히스토그램 평활화를 마친 이미지의 작은 잡음을 제거하는 2차 가우시안 스무딩 단계와, 캐니 알고리즘(Canny Algorithm)을 이용하여 이미지의 에지(Edge)를 검출하는 에지 검출 단계와, 허프 변환(Hough Transform)을 통해 직선을 검출하여 파라미터로 표시하는 허프 라인 디텍션(Hough Line Detection) 단계를 포함하는 것을 특징으로 한다.
또한, 본 발명의 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법에 따르면, 상기 소실점 검출단계는 K-mean 알고리즘을 이용하여 상기 전처리 단계에서 얻어진 각 직선을 4 종류로 분류하는 직선 분류 단계와, 분류된 각 종류의 직선에 대한 평균선을 도출하는 평균선 도출 단계와, 도출된 평균선을 이용하여 각 이미지당 2개의 소실점을 도출하고 이들 소실점의 좌표를 구하는 소실점 계산단계를 포함하는 것을 특징으로 한다.
또한, 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법에 따르면, 상기 내부 파라미터값 도출단계는 캘리브레이션 수식으로 하기 수식을 이용하는 것을 특징으로 한다;
Figure 112014014640543-pat00001
여기서, 상기 fx, fy, cx, cy는 내부 파라미터이고, uA, uB, vA, vB는 각 이미지로부터 구해진 소실점의 좌표를 나타낸다.
본 발명에 따른 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법에 의하면, 크레딧 카드를 이용하여 4장 이상의 이미지로부터 직선을 추출하고 이를 이용하여 소실점의 좌표를 구한 뒤, 소실점 기반 알고리즘에 따른 캘리브레이션 수식으로 내부 파라미터를 구하게 되므로, 내부 파라미터의 오차율을 감소시킬 수 있는 효과가 있다.
또한, 모바일 플랫폼과 타겟 오브젝트(Target Object)와의 거리 측정시 정확도를 향상시키고 내부 파라미터 값의 오차율을 보정함으로써, 증강현실 매칭기술의 정확도가 향상되는 효과가 있다.
종래의 방식에 의하면 오차율이 10% 내외이나, 본 발명에 의하면 오차율을 5% 이내로 줄일 수가 있다.
또한, 모바일 환경에서의 오차범위를 대폭 줄일 수 있으므로 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션의 정확도를 향상시킬 수 있는 효과가 있다.
도 1은 본 발명에 따른 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법을 나타낸 순서도.
도 2는 본 발명에 따른 직선의 파라미터를 설명하기 위한 도면.
도 3은 본 발명에 따른 소실점을 설명하기 위한 모델링 도면.
도 4는 본 발명의 설명을 위한 참고 이미지.
도 5는 본 발명의 요부 구성인 전처리 단계에 따른 이미지 처리 과정을 나타낸 도면.
도 6은 본 발명에서 전처리가 완료된 각각의 이미지를 나타낸 도면.
도 7은 본 발명에서 각 이미지의 직선을 종류별로 분류한 결과를 나타낸 도면.
도 8은 본 발명에서 각 이미지에 대한 평균선 도출 결과를 나타낸 도면.
이하, 첨부된 도면을 참조하여 본 발명의 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법의 바람직한 실시예를 설명한다.
본 발명에 따른 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법은, 도 1에 도시된 바와 같이, 모바일 플랫폼에 구비된 카메라를 이용하여 타켓 오브젝트에 대한 이미지를 입력하되, 크레딧 카드를 이용하여 서로 다른 방향의 이미지를 4장 이상 입력하는 이미지 획득 단계(S10)와; 입력된 각 이미지로부터 복수의 직선을 검출하는 전처리 단계(S20)와; 검출된 직선을 종류별로 분류하여 평균선을 도출하고 이 평균선을 이용하여 소실점을 도출한 후 소실점의 좌표를 구하는 소실점 검출단계(S30)와; 검출된 소실점의 좌표를 캘리브레이션 수식에 적용하여 내부 파라미터값을 계산하는 파라미터값 도출단계(S40);를 포함한다.
여기서, 상기 전처리 단계(S20)는, 가우시안 필터를 이용하여 이미지의 잡음을 제거하는 1차 가우시안 스무딩 단계(S21)와, 이미지의 명암 대비도를 높여 외곽선의 검출을 용이하게 하는 히스토그램 평활화 단계(S22)와, 가우시안 필터를 이용하여 히스토그램 평활화를 마친 이미지의 작은 잡음을 제거하는 2차 가우시안 스무딩 단계(S23)와, 캐니 알고리즘을 이용하여 이미지의 에지를 검출하는 에지 검출 단계(S24)와, 허프 변환을 통해 직선을 검출하여 파라미터로 표시하는 허프 라인 디텍션 단계(S25)로 이루어진다.
허프 변환에 따라 검출된 직선의 파라미터는, 도 2에 도시된 바와 같이, (r,θ)로 나타낼 수 있다. 여기서, r은 영점(0,0)으로부터 직선까지의 최단거리, θ는 x축과 직선 r 사이의 각도를 의미한다.
그리고, 상기 소실점 검출단계(S30)는, K-mean 알고리즘을 이용하여 상기 전처리 단계에서 얻어진 각 직선을 4 종류로 분류하는 직선 분류 단계(S31)와, 분류된 각 종류의 직선에 대한 평균선을 도출하는 평균선 도출 단계(S32)와, 도출된 평균선을 이용하여 각 이미지당 2개의 소실점을 도출하고 이들 소실점의 좌표를 구하는 소실점 계산단계(S33)로 이루어진다.
이하, 소실점 좌표를 이용하여 내부 파라미터의 값을 도출하는 과정을 설명한다.
도 3에 도시된 바와 같이, 실제 세계에서 서로 직교하는 두 쌍의 직선 L1, L2, L3, L4를 이미지 평면에 투영하게 되면, 투영 이미지에서는 l1, l2, l3, l4로 나타나며, 이 투영 이미지에 나타난 직선들로 인해 2개의 소실점 A와 B를 구할 수 있게 된다.
이때, 실제세계의 직선 L1, L2, L3, L4는 다음의 수학식 1의 관계를 가지게 된다.
Figure 112014014640543-pat00002
이어서, 렌즈의 중심을 원점으로 하는 3차원의 카메라 좌표계에서 원점 O(0,0,0)과 상기 소실점 A와 B를 각각 연결하게 되면, 각각의 직선은 다음의 수학식 2의 관계를 가지게 된다.
Figure 112014014640543-pat00003
따라서, 도 3에 도시된 바와 같이, △OAB는 직각 삼각형이 되고, 카메라 좌표계는 표면에 점 0가 있고 지름이 AB인 구의 형태로 나타난다.
그리고, 이미지 좌표계에서의 소실점 A, B의 좌표는 다음의 수학식 3과 같이 정의될 수 있다.
Figure 112014014640543-pat00004
한편, 카메라 좌표계에서 픽셀 이미지 좌표계로 변환하는 행렬식은 다음의 수학식 4와 같이 정의되며, 내부 파라미터 모델을 형성한다.
Figure 112014014640543-pat00005
여기서, f는 카메라의 초점거리, dx, dy는 CMOS 또는 CCD와 같은 카메라 센서의 화소 폭과 높이, cx, cy는 이미지 좌표계에서 원점의 프로젝션 좌표를 의미한다.
그리고, 카메라 좌표계에서 원점 O의 좌표는 O(0,0,0)이므로, Zc가 초점거리와 같아지게 되며, 이를 수식으로 표현하면 다음의 수학식 5가 된다.
Figure 112014014640543-pat00006
상기한 수학식 3, 4, 5의 조건을 통하여 이미지 좌표계에서 소실점의 좌표를 대입하면, 카메라 좌표계에서의 소실점 좌표를 구할 수 있는데, 이를 수식으로 나타내면 다음의 수학식 6과 같다.
Figure 112014014640543-pat00007
이때, 원구 방정식은 다음의 수학식 7과 같이 나타나므로, 수학식 6과 수학식 7을 이용하여 선분 AB를 지름으로 하는 구체 방정식을 구하면 다음의 수학식 8로 나타낼 수 있다.
Figure 112014014640543-pat00008
Figure 112014014640543-pat00009
이때, 원점 O는 구의 표면에 있으므로, 원점의 좌표 O(0,0,0)을 수학식 8에 대입하여 다음의 수학식 9를 얻을 수 있다.
Figure 112014014640543-pat00010
상기한 수학식 9를 정리하면 다음의 수학식 10을 얻을 수 있으며, fx, fy는 다음의 수학식 11과 같이 가정된다.
Figure 112014014640543-pat00011
Figure 112014014640543-pat00012
상기한 수학식 10에 수학식 11을 대입하여 정리하면, 다음의 수학식 12를 얻을 수 있다.
Figure 112014014640543-pat00013
상기한 수학식 12에서 내부 파라미터인 fx, fy, cx, cy가 모두 미지수라 할 수 있으므로, 이의 해법을 위해서는 최소한 4개의 방정식이 요구된다.
따라서, 소실점의 좌표를 구할 수 있는 이미지가 4장 이상 필요하게 된다.
즉, 4개의 이미지로부터 구해진 소실점의 좌표 uA, uB, vA, vB를 상기 수학식 12에 각각 적용하여 4개의 방정식을 구성하고, 이들 방정식을 풀어냄으로써 내부 파라미터 fx, fy, cx, cy를 구할 수 있다.
본 발명자는, 타겟 오브젝트(Target Object)로 크레딧 카드(Credit Card)를 사용하여 소실점의 좌표를 구하고, 그 결과를 체스(Chess)판을 이용하여 소실점 좌표를 구한 결과와 대비하여 그 정확도를 검토하였다.
먼저, 모바일 플랫폼의 카메라로 크레딧 카드를 촬영하여, 도 4와 같이 서로 다른 방향의 이미지 4장을 획득하였다.
그리고, 획득된 이미지에 대한 전처리를 통해 직선을 검출하였으며, 이 과정은 도 5에 도시되어 있고, 각 이미지에서 검출된 직선의 개수와 파라미터는 다음의 표 1과 같다.
Figure 112014014640543-pat00014
그리고, K-mean 알고리즘을 이용하여 상기 전처리 단계에서 얻어진 각 직선을 Red, Green, Blue, Pink의 4종류로 분류하였으며, 그 결과는 도 7에 도시되어 있다.
이어서, 분류된 직선들의 평균선을 도출한 결과 도 8과 같이 나타났으며, 각 이미지에서 검출된 평균선들의 파라미터는 다음의 표 2와 같다.
즉, 하나의 카드에 대하여 Red, Green, Blue, Pink 라인에 대한 평균선 파라미터인 4개의 r값과 4개의 θ값(표 2 참조)에 의해 평균선을 도출할 수 있다.
Figure 112014014640543-pat00015
이어서, 상기한 평균선들을 이용하여 각 이미지의 소실점들을 계산한 결과, 다음의 표 3과 같은 결과를 얻을 수 있었다.
Figure 112014014640543-pat00016
상기한 표 3에 나타난 각 이미지의 소실점 좌표들을 수학식 12에 각각 대입하여 방정식의 해를 구한 결과, 다음의 표 4와 같은 테스트 결과를 얻을 수 있었다.
Figure 112014014640543-pat00017
그리고, 상기한 내부 파라미터 값의 정확도를 확인하기 위하여 체스(Chess)판을 이용하여 소실점을 구하고, 이를 수학식 12에 대입하여 내부 파라미터를 계산한 결과, 표 5와 같은 결과를 얻을 수 있었다.
Figure 112014014640543-pat00018
상기한 표 4와 표 5를 대비하여 보면, 본 발명에 따라 내부 파라미터를 구한 결과의 오차가 크지 않음을 알 수 있다.
결과적으로, 18 ~ 20장의 이미지를 사용하는 체스판 방식에 비해, 본 발명에서는 크레딧 카드에 의한 4장의 이미지만으로도 카메라의 내부 파라미터를 구할 수 있다.
그리고, 5장 이상의 이미지가 있다면 최소제곱법을 이용하여 최적화할 수도 있다.
본 발명에 의하면 파라미터의 오차율을 대폭 감소시킬 수 있으므로, 결과적으로 캘리브레이션의 정확도를 향상시켜 증강현실 매칭 기술의 정확도를 향상시킬 수가 있다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명한 것으로서, 본 발명은 상기한 실시예에 한정되지 아니하며, 그 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경 및 응용될 수 있다.
또한 본 발명의 보호 범위는 다음의 특허청구범위에 의하여 정해지는 것이며, 이와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (4)

  1. 삭제
  2. 모바일 플랫폼에 구비된 카메라를 이용하여 타켓 오브젝트(Target Object)에 대한 이미지를 입력하되, 크레딧 카드(Credit Card)를 기준으로 하여 상기 타겟 오브젝트를 보정하기 위해 서로 다른 방향의 이미지를 4장 이상 입력하는 이미지 획득 단계(S10)와;
    입력된 각 이미지로부터 복수의 직선을 검출하는 전처리 단계(S20)와;
    검출된 직선을 종류별로 분류하여 평균선을 도출하고, 이 평균선을 이용하여 소실점(Vanishing Point)을 도출한 후 소실점의 좌표를 구하는 소실점 검출단계(S30)와;
    검출된 소실점의 좌표를 캘리브레이션(Calibration) 수식에 적용하여 내부 파라미터(Parameter)값을 계산하는 파라미터값 도출단계(S40);를 포함하여 이루어지는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법에 있어서,
    상기 전처리 단계(S20)는,
    가우시안 필터(Gaussian Filter)를 이용하여 이미지의 잡음을 제거하는 1차 가우시안 스무딩(Gaussian Smoothing) 단계(S21)와,
    이미지의 명암 대비도를 높여 외곽선의 검출을 용이하게 하는 히스토그램 평활화(Histogram Equalization) 단계(S22)와,
    가우시안 필터를 이용하여 이미지의 잡음을 제거하는 1차 가우시안 스무딩 단계에서 제거되고 남은 잡음을 제거하는 2차 가우시안 스무딩 단계(S23)와,
    캐니 알고리즘(Canny Algorithm)을 이용하여 이미지의 에지를 검출하는 에지 검출(Canny Edge Detection) 단계(S24)와,
    허프 변환(Hough Transform)을 통해 직선을 검출하여 파라미터로 표시하는 허프 라인 디텍션(Hough Line Detection) 단계(S25)를 포함하는 것을 특징으로 하는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법.
  3. 제2항에 있어서,
    상기 소실점 검출단계(S30)는,
    K-mean 알고리즘을 이용하여 상기 전처리 단계에서 얻어진 각 직선을 4 종류로 분류하는 직선 분류 단계(S31)와,
    분류된 각 종류의 직선에 대한 평균선을 도출하는 평균선 도출 단계(S32)와,
    도출된 평균선을 이용하여 각 이미지당 2개의 소실점을 도출하고 이들 소실점의 좌표를 구하는 소실점 계산단계(S33)를 포함하는 것을 특징으로 하는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법.
  4. 제2항에 있어서,
    상기 내부 파라미터값 도출단계(S40)는, 캘리브레이션 수식으로 하기 수식을 이용하는 것을 특징으로 하는 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법.
    Figure 112015051340979-pat00028

    여기서, 상기 fx, fy, cx, cy는 내부 파라미터이고, uA, uB, vA, vB는 각 이미지로부터 구해진 소실점의 좌표를 나타낸다.
KR1020140017175A 2014-02-14 2014-02-14 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법 KR101574195B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140017175A KR101574195B1 (ko) 2014-02-14 2014-02-14 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140017175A KR101574195B1 (ko) 2014-02-14 2014-02-14 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법

Publications (2)

Publication Number Publication Date
KR20150096128A KR20150096128A (ko) 2015-08-24
KR101574195B1 true KR101574195B1 (ko) 2015-12-03

Family

ID=54058703

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140017175A KR101574195B1 (ko) 2014-02-14 2014-02-14 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법

Country Status (1)

Country Link
KR (1) KR101574195B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111311A1 (ko) * 2018-11-27 2020-06-04 전자부품연구원 관심객체 화질개선 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102354299B1 (ko) 2017-03-16 2022-01-24 한국전자통신연구원 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
WO2023014246A1 (ru) 2021-08-06 2023-02-09 Общество с ограниченной ответственностью "ЭвоКарго" Способ калибровки внешних параметров видеокамер

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011174A (ja) 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
JP2011215063A (ja) 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008011174A (ja) 2006-06-29 2008-01-17 Hitachi Ltd 車載カメラのキャリブレーション装置、プログラムおよびカーナビゲーションシステム
JP2011215063A (ja) 2010-04-01 2011-10-27 Tottori Univ カメラ姿勢パラメータ推定装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
논문1:한국정보과학회
논문2:한국자동제어학술회의

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020111311A1 (ko) * 2018-11-27 2020-06-04 전자부품연구원 관심객체 화질개선 시스템 및 방법

Also Published As

Publication number Publication date
KR20150096128A (ko) 2015-08-24

Similar Documents

Publication Publication Date Title
JP5699788B2 (ja) スクリーン領域検知方法及びシステム
JP6363863B2 (ja) 情報処理装置および情報処理方法
CN109285145B (zh) 基于智能手机的多株立木高度测量方法
CN108694741B (zh) 一种三维重建方法及装置
KR101121034B1 (ko) 복수의 이미지들로부터 카메라 파라미터를 얻기 위한 시스템과 방법 및 이들의 컴퓨터 프로그램 제품
CN108074267B (zh) 交点检测装置及方法、摄像头校正系统及方法及记录介质
CN109801333B (zh) 体积测量方法、装置、系统及计算设备
CN109584307B (zh) 改进摄像机固有参数校准的系统和方法
CN109479082B (zh) 图象处理方法及装置
KR102354299B1 (ko) 단일 영상을 이용한 카메라 캘리브레이션 방법 및 이를 위한 장치
CN107084680B (zh) 一种基于机器单目视觉的目标深度测量方法
JP5156601B2 (ja) 形状測定装置およびプログラム
CN111080662A (zh) 车道线的提取方法、装置及计算机设备
CN112686877B (zh) 基于双目相机的三维房屋损伤模型构建测量方法及系统
JP5297779B2 (ja) 形状測定装置およびプログラム
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
CN110189347B (zh) 一种测量物体体积的方法及终端
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
JP2014191685A (ja) 画像処理装置および画像処理方法
JP6906177B2 (ja) 交点検出装置、カメラ校正システム、交点検出方法、カメラ校正方法、プログラムおよび記録媒体
Aldelgawy et al. Calibration of smartphone’s rear dual camera system
CN113723432B (zh) 一种基于深度学习的智能识别、定位追踪的方法及系统
CN115115619A (zh) 基于圆拟合的特征点提取方法、装置、设备及存储介质
KR101463906B1 (ko) 영상 부가정보를 이용한 위치보정 방법
JP2010151582A (ja) カメラキャリブレーションターゲット、およびカメラキャリブレーション方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
LAPS Lapse due to unpaid annual fee