KR101589167B1 - 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법 - Google Patents

깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법 Download PDF

Info

Publication number
KR101589167B1
KR101589167B1 KR1020150019563A KR20150019563A KR101589167B1 KR 101589167 B1 KR101589167 B1 KR 101589167B1 KR 1020150019563 A KR1020150019563 A KR 1020150019563A KR 20150019563 A KR20150019563 A KR 20150019563A KR 101589167 B1 KR101589167 B1 KR 101589167B1
Authority
KR
South Korea
Prior art keywords
image
camera
coordinate system
pixel
plane
Prior art date
Application number
KR1020150019563A
Other languages
English (en)
Inventor
권순각
이동석
Original Assignee
동의대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동의대학교 산학협력단 filed Critical 동의대학교 산학협력단
Priority to KR1020150019563A priority Critical patent/KR101589167B1/ko
Application granted granted Critical
Publication of KR101589167B1 publication Critical patent/KR101589167B1/ko

Links

Images

Classifications

    • H04N5/217—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 깊이 카메라를 통해 하나의 평면 영역을 촬영하여 깊이 정보를 획득하고 대응되는 색 영상에 발생하는 원근 왜곡을 깊이 정보를 통해 보정하여 처리 속도와 정확도를 높일 수 있도록 한 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법에 관한 것으로, 깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 깊이 정보 산출부;깊이 정보 산출부에서 산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 좌표 변환부;좌표 변환부에서 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 국소 법선 벡터 산출부;국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 평면 법선 벡터 산출부;영상의 회전축과 사이 각을 계산하여 회전 행렬을 구하는 회전 행렬 계산부;회전 변환을 적용하여 카메라의 위치에 따른 영상의 왜곡을 보정하는 원근 왜곡 보정부;를 포함하는 것이다.

Description

깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법{System and Method for Correcting Perspective Distortion Image Using Depth Information}
본 발명은 영상 보정에 관한 것으로, 구체적으로 깊이 카메라를 통해 하나의 평면 영역을 촬영하여 깊이 정보를 획득하고 대응되는 색 영상에 발생하는 원근 왜곡을 깊이 정보를 통해 보정하여 처리 속도와 정확도를 높일 수 있도록 한 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법에 관한 것이다.
현재 영상처리를 통해 미리 저장된 기준 영상과 비교하여 패턴을 인식하는 기술이 보편적으로 사용되고 있다.
예를 들어, 인쇄회로기판(PCB: Printed Circuit Board) 제조라인에서 광학 카메라를 통한 검사시스템을 통하여 정상 보드의 영상과 비교하여 PCB의 불량 유무를 판정할 수 있다.
또한, 지능형 교통 시스템의 중요한 핵심 기술인 차량 번호판의 자동 인식에 대하여 번호판 영역을 검출하여 번호 패턴을 인식하는 방법도 활발하게 연구되고 있다. 이 밖에도 다양한 분야에서 패턴 매칭 기술이 이용되고 있으며 사물인터넷(IOT: Internet of Things)기술의 비약적인 발전으로 인하여 사물인터넷 기술 분야 중 한 가지인 인식기술에서의 패턴 매칭 기술에 대한 요구는 점차 늘어날 것이라 기대된다.
이렇게 패턴 인식을 위해 카메라로 영상을 촬영할 때, 영상이 카메라의 위치에 따라 원근에 의해 기하학적으로 왜곡된 영상이 촬영되어 패턴의 검출 및 인식을 어렵게 하는 요인이 된다. 이러한 원근 왜곡을 보정하기 위해 여러 방법이 제안되었다.
일례로, 왜곡 계수를 구하기 위해 보정 물체를 사용하거나, 3차원 정보를 사용하지 않고 다른 방향의 패턴 영상을 사용하는 방법을 제안하고 있다.
또한 3차원 정보를 사용하지 않고 선이나 소실점 등의 기하학적 특징을 이용하는 방법도 제안되었다. 하지만 별도의 보정 물체를 사용하는 방법은 실시간 적으로 적용하기 어렵다는 단점이 존재한다.
또한 색 정보를 통해 영상 정보를 획득하는 방법은 색 영상에 영향을 줄 수 있는 환경에 취약하다는 단점이 존재한다.
한국공개특허번호 10-2011-0118947호 한국공개특허번호 10-2011-0132835호
본 발명은 이와 같은 종래 기술의 영상의 원근 왜곡 보정 방법의 문제를 해결하기 위한 것으로, 깊이 카메라를 통해 하나의 평면 영역을 촬영하여 깊이 정보를 획득하고 대응되는 색 영상에 발생하는 원근 왜곡을 깊이 정보를 통해 보정하여 처리 속도와 정확도를 높일 수 있도록 한 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명은 깊이 카메라를 이용한 깊이 정보를 통해 평면 영역의 법선 벡터를 구하여 이 정보를 토대로 카메라의 방향을 계산하고, 카메라의 방향에 따라 영상에 대해 회전 변환을 수행하고 정면에서 촬영한 영상으로 변환함으로써 원근 왜곡을 보정하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템은 깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 깊이 정보 산출부;깊이 정보 산출부에서 산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 좌표 변환부;좌표 변환부에서 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 국소 법선 벡터 산출부;국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 평면 법선 벡터 산출부;영상의 회전축과 사이 각을 계산하여 회전 행렬을 구하는 회전 행렬 계산부;회전 변환을 적용하여 카메라의 위치에 따른 영상의 왜곡을 보정하는 원근 왜곡 보정부;를 포함하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법은 깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 단계;산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 단계;계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계;국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 구하는 단계;영상의 회전축과 사이 각을 계산하여 회전 행렬을 구하는 단계;회전 변환을 적용하여 카메라의 위치에 따른 영상의 왜곡을 보정하는 단계;를 포함하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법은 다음과 같은 효과를 갖는다.
첫째, 깊이 카메라를 통해 하나의 평면 영역을 촬영하여 깊이 정보를 획득하고 대응되는 색 영상에 발생하는 원근 왜곡을 깊이 정보를 통해 보정하여 처리 속도와 정확도를 높일 수 있다.
둘째, 특별한 패턴 영상 촬영 없이 깊이 카메라만을 가지고 실시간으로 보정을 수행할 수 있기 때문에 패턴 검사를 수행함에 있어 효율성을 높일 수 있다.
도 1a와 도 1b는 핀 홀 카메라 모델의 개념을 나타낸 구성도
도 2는 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템의 구성도
도 3은 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법을 나타낸 플로우 차트
도 4a내지 도 4c는 각 좌표계에서의 위치 정보를 나타낸 구성도
도 5는 깊이 정보를 통해 좌표계로의 변환을 나타낸 구성도
도 6은 화소 주변의 위치정보를 이용한 국소적 법선 벡터 획득
도 7a내지 도 7c는 회전 변환을 통한 보정 과정을 나타낸 구성도
도 8은 패턴 영상 구성도
도 9a와 도 9b는 평면의 좌측에서 촬영한 영상의 보정 전후의 영상 구성도
도 10a와 도 10b는 평면의 위에서 촬영한 영상의 보정 전후의 영상 구성도
이하, 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1a와 도 1b는 핀 홀 카메라 모델의 개념을 나타낸 구성도이고, 도 2는 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템의 구성도이다.
본 발명은 촬영된 영상의 화면에서 원근 왜곡이 생기는 것을 보정하기 위한 것이다.
카메라로 촬영된 영상은 카메라가 촬영하는 방향에 따라 투영할 때 원근 왜곡이 생기게 되는데, 본 발명은 깊이 카메라를 이용한 깊이 정보를 통해 평면 영역의 법선 벡터를 구하여 이 정보를 토대로 카메라의 방향을 계산한다.
그리고 카메라의 방향에 따라 영상에 대해 회전 변환을 수행하고 정면에서 촬영한 영상으로 변환함으로써 원근 왜곡을 보정하여 색 정보 기반의 원근 왜곡 보정 방법에 비해 처리 속도와 정확도가 개선될 수 있도록 한 것이다.
먼저, 카메라 촬영 영상의 원근 왜곡에 관하여 설명하면 다음과 같다.
카메라는 3차원 공간상에 놓여있는 물체의 한 점 좌표를 2차원 평면상의 한 점 좌표로 투영시키는 일종의 좌표 변환장치이다.
카메라와 공간 물체의 좌표관계를 규명하기 위해서는 기하학적 관점에서 카메라를 해석하는 것이 필요하다.
기하학적 해석에 있어 유용한 모델이 핀 홀 카메라 모델(pinhole camera model)이다. 공간상에 놓여있는 물체 위의 어떤 점 좌표가 영상 면에 투영될 때 바늘구멍(pinhole)를 통해 영상 면(image plane)에 맺힌다고 가정한다.
실제로는 영상이 맺힌 면은 바늘구멍 면의 뒤에 위치하지만 이 면을 바늘구멍 면과 물체 사이에 존재하는 임의의 가상 면으로 이동시킨다고 가정한다면 물체의 상은 뒤집혀 지지 않고 원래 상과 같은 방향으로 보인다.
도 1a와 도 1b는 핀 홀 카메라 모델의 개념도를 나타낸 것이다.
공간상의 한 점 X는 영상 면 위의 한 점 x로 투영된다.
도 1a는 좌측 그림을 측면에서 본 그림으로, 수학식 1의 비례식을 얻을 수 있다.
Figure 112015013633310-pat00001
즉 공간 점 X의 3차원
Figure 112015013633310-pat00002
좌표는 2차원의 영상 면상의
Figure 112015013633310-pat00003
로 투영된다.
여기서 카메라 중심과 영상 면 사이의 거리를 초점거리 f 라 하면, 공간좌표 X가 2차원 평면좌표 x로 투영되는 것을 수학식 2와 같이 표현할 수 있다.
Figure 112015013633310-pat00004
수학식 2에서
Figure 112015013633310-pat00005
와
Figure 112015013633310-pat00006
벡터는 각각 3차원 공간좌표 X와 영상 면상의 2차원 좌표 x를 동차좌표(homogeneous coordinate)로 표시한 것이다.
동차좌표란 이 좌표 내의 마지막 항으로 행렬 내의 다른 모든 항들을 나누어주면 원래 좌표가 나오는 것으로
Figure 112015013633310-pat00007
의 동차좌표 표현은
Figure 112015013633310-pat00008
가 된다.
본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템은 도 2에서와 같이, 깊이 카메라에서 평면에 대한 영상을 촬영하면 그 평면의 깊이 정보를 산출하는 깊이 정보 산출부(21)와, 깊이 정보 산출부(21)에서 산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 좌표 변환부(22)와, 좌표 변환부(22)에서 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 국소 법선 벡터 산출부(23)와, 전체 평면의 법선 벡터를 구하는 평면 법선 벡터 산출부(24)와, 영상의 회전축을 계산하고, 영상내 평면의 법선벡터와 카메라 축 정면으로 향하는 벡터간의 사이 각을 계산하여 회전 행렬을 구하는 회전 행렬 계산부(25)와, 회전 변환을 적용하여 카메라의 위치에 따른 영상의 왜곡을 보정하는 원근 왜곡 보정부(26)를 포함한다.
이와 같은 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템은 먼저 평면영역을 깊이 카메라로 촬영하게 되면 깊이 정보를 통하여 각 화소의 카메라 좌표계 내에서의 좌표 위치를 얻을 수 있다.
그리고 각각의 화소에서 주변의 화소의 위치 정보를 통하여 국소적 법선 벡터를 계산한 후 이를 토대로 평면의 법선 벡터를 계산한다.
평면의 법선 벡터를 통해 회전변환에서 사용할 회전축과 회전 각도를 계산하며, 각각의 화소에 대해 회전 변환을 거친 후의 매핑 된 위치를 얻게 되어 원근 왜곡을 보정 할 수 있다.
본 발명은 평면 영역을 깊이 카메라로 촬영한 영상에서 깊이 정보를 이용하여 원근 왜곡을 보정하는 것으로 제안하는 보정 방법은 다음과 같다.
도 3은 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법을 나타낸 플로우 차트이다.
먼저, 깊이 카메라에서 평면에 대한 영상을 촬영하여 그 평면의 깊이 정보를 얻는다.(S301)
그리고 평면의 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산한다.(S302)
이어, 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산한다.(S303)
그리고 국소적 법선 벡터를 이용하여 전체 평면의 법선 벡터를 산출하고(S304), 평면의 법선벡터를 통해 회전변환에서 사용할 회전축과 회전 각도를 계산한다.(S305)
이어, 회전 변환을 적용시켜 카메라의 위치에 따른 영상의 왜곡을 보정한다.(S306)
여기서, 깊이 정보를 이용한 카메라 좌표계로의 변환을 설명하면 다음과 같다.
깊이 카메라를 통해 평면을 촬영함으로써 영상에서의 화소의 위치 P(x,y)와 그 화소에서의 깊이 값, 즉 카메라를 중심으로 하는 xy평면으로부터의 거리 D(x,y)를 얻을 수 있다.
이때 P(x,y)는 영상의 왼쪽상단 모서리를 원점으로 하는 영상 좌표계에서의 위치정보이다. 따라서 영상처리를 통해 영상을 보정하기 위해서는 화소에서의 깊이 정보 D(x,y)와 깊이 카메라의 인자를 이용하여 카메라의 초점을 원점으로 하고 카메라의 정면 광학축 방향을 Z축으로 하는 카메라 좌표계로 변환하는 작업이 필요하다.
깊이 정보 D(x,y)는 카메라 좌표계 내에서 z축의 거리 z c 가 된다. 영상 좌표계 내에서의 위치 P(x,y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 Pv(x v , y v )로 변환한다.
도 4a의 촬영된 영상에서 도 4b의 원점을 중앙으로 하는 좌표계로 영상의 좌표를 변환하는 것을 나타낸다.
도 4c는 카메라 좌표계를 나타낸 것이다.
깊이 카메라의 내부 정보인 시야각과 해상도를 사용한다면 카메라에서 영상이 투영되는 뷰포트까지의 거리 f를 수학식 3이나, 수학식 4를 통해 알 수 있다.
수학식 3은 카메라의 수직 시야각 fov v 와 카메라의 수직 해상도 h를 통해 f를 구하고, 수학식 4는 카메라의 수평 시야각 fov h 과 카메라의 수직 해상도 w를 통해 구하는 식이다. 두 식을 통해 계산된 결과는 동일하다.
Figure 112015013633310-pat00009
Figure 112015013633310-pat00010
이렇게 구해진 f를 이용하여 도 5에서 유도되는 수학식 5를 통해 카메라 좌표계에서의 위치 Pc(x, y) = (x c , y c , z c )로 변환한다. 이를 통해 도 4c에서 나타내는 카메라 좌표계에서의 위치정보를 구할 수 있다.
Figure 112015013633310-pat00011
그리고 평면의 법선 벡터를 통한 원근 왜곡 보정에 관하여 설명하면 다음과 같다.
평면 영상을 이루고 있는 각각의 화소에서 한 화소의 주변 화소를 통해 그 화소에 속한 평면에 대해 국소적인 법선 벡터를 구할 수 있다.
도 6에서와 같이 P(x,y)에서의 주변 화소간의 공간적인 관계는 카메라 좌표계를 통해 나타낼 수 있다.
도 6은 화소 주변의 위치정보를 이용한 국소적 법선 벡터 획득 개념을 나타낸 것이다.
영상 좌표계에서의 위치 P(x,y)에서의 카메라 좌표계에서의 위치를 Pc(x,y)라고 한다면 화소의 상하에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x,y+1), Pc(x,y-1)와 좌우에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x+1,y), Pc(x-1,y)를 토대로 수학식 6과 같이 두 개의 벡터를 생성한다.
Figure 112015013633310-pat00012
이후 수학식 7을 통해 두 벡터의 외적을 구하여 화소 P(x,y) 에서의 국소적인 법선 벡터 Nxy를 구한다.
Figure 112015013633310-pat00013
이렇게 구해진 각 화소의 국소적 법선 벡터를 더하게 되면 평면 영역에서의 법선 벡터 N을 구할 수 있다.
깊이 카메라로 촬영한 영상을 회전 변환을 통해 평면영역의 법선 벡터 N를 z축에 평행하게 하면 평면 영상은 xy평면에 평행한 영상으로 보정되어 원근 왜곡을 제거할 수 있다.
이때 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터는 N'(0,0,1)가 된다.
도 7a내지 도 7c는 회전 변환을 통한 보정을 나타낸 것으로, 도 7a는 보정 전 영상, 도 7b는 법선 벡터가 xy 평면과 평행하게 회전 변환하여 보정 한 후의 영상, 도 7c는 평면의 법선 벡터를 통해 회전 변환한 것을 나타낸 것이다.
회전 변환의 축이 되는 단위벡터는 수학식 8을 통해 변환 전 후의 각각의 법선 벡터를 외적하여 정규화한 벡터 u(u x ,u y ,u z )이고, 회전각
Figure 112015013633310-pat00014
은 수학식 9를 통하여 구한 두 벡터의 사이각이다.
Figure 112015013633310-pat00015
Figure 112015013633310-pat00016
회전변환 행렬 R는 수학식 10을 통해 구할 수 있다.
Figure 112015013633310-pat00017
이 변환 행렬을 통해 각 화소의 카메라 좌표계에서의 위치 Pc(i,j)를 수학식 11을 통해 회전 변환을 하면 변환 후의 위치 P'c(i,j) = (x' c ,y' c ,z' c )를 구할 수 있다.
Figure 112015013633310-pat00018
이때 P'는 카메라 좌표계 상의 좌표이므로 이를 영상처리에 이용하기 위해서는 다시 영상 좌표계로 변환하여야 한다.
수학식 12를 통해 원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'v(x' v ,y' v )로 변환한 다음 원점을 다시 원래대로 설정하여 보정 변환 시 화소 P(x,y)에 사상되는 화소 P'(x',y')를 구할 수 있다.
Figure 112015013633310-pat00019
이와 같은 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법을 이용한 원근 왜곡 영상의 보정 특성은 다음과 같다.
원근 왜곡 영상의 보정 특성을 확인하기 위하여 깊이 카메라는 ASUS사의 Xtion Pro을 사용하고, 깊이 카메라의 해상도는 색상 영상 해상도와 깊이 영상 해상도가 각각 320 x 240이며, 시야각은 수직 45도, 수평 58도이다.
사용되는 패턴 영상은 도 8의 패턴을 촬영하여 이진화시킨 영상을 이용한다.
그리고 원근 왜곡 보정의 정도를 측정하기 위해, 보정된 영상에서 각각의 격자에 대해 두 변의 사이각을 측정한다.
격자를 이루는 수직 직선과 수평 직선에 대해 사이각이 직각에 가까울수록 원근 왜곡의 보정이 잘 되었다고 판단할 수 있다. 이는 n번째 격자를 이루는 수직 직선을 이루는 벡터 v n 과 수평 직선을 이루는 벡터 h n 의 내적을 통해 수학식 13과 같이 각 격자 내 직선 간의 사이각의 평균을 측정할 수 있으며, 이 수치가 0에 가까울수록 원근 왜곡의 정도가 약하다고 판단한다.
Figure 112015013633310-pat00020
도 9a와 도 9b는 평면의 좌측에서 촬영한 영상을 나타낸 것으로, 도 9a는 보정 전 영상이고, 도 9b는 본 발명에 따른 보정 영상을 나타낸 것이다.
도 10a와 도 10b는 평면 위에서 촬영한 영상을 나타낸 것으로, 도 10a는 보정 전 영상이고, 도 10b는 본 발명에 따른 보정 영상을 나타낸 것이다.
표 1은 각각의 영상에 대해 각 격자들이 이루는 사각형들의 꼭지점들을 검출하여 수학식 13을 적용한 결과이다.
Figure 112015013633310-pat00021
표 1은 각각의 카메라의 위치에 대해 총 3회에 걸쳐 수치를 측정한 결과를 나타낸 것이다.
도 9a와 도 9b의 영상에 대해서는 격자가 이루는 변들의 평균 사이각이 76.92 에서 85.45 로 직각에 가까워짐을 확인할 수 있었으며, 도 10a와 도 10b의 영상에 대해서도 69.67 에서 87.08 로 직각에 가까워졌음을 확인할 수 있다.
이와 같이 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법을 적용하는 경우 원근 왜곡이 일어난 평면 영역에 대해 효과적으로 보정을 수행할 수 있음을 알 수 있다.
이상에서 설명한 본 발명에 따른 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법은 깊이 카메라를 통하여 얻은 평면의 깊이 맵을 카메라 시선을 z축으로 하는 월드좌표계로 변환하여 평면의 법선 벡터를 구하고, 구한 법선 벡터를 통해 카메라의 위치 정보를 구하여 회전 변환을 통해 정면에서 카메라가 위치하였을 때의 영상으로 보정하는 것이다.
이 방법은 특별한 패턴 영상 촬영 없이 깊이 카메라만을 가지고 실시간으로 보정을 수행할 수 있기 때문에 패턴 검사를 수행함에 있어 더 효율적으로 적용할 수 있도록 한다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
21. 깊이 정보 산출부 22. 좌표 변환부
23. 국소 법선 벡터 산출부 24. 평면 법선 벡터 산출부
25. 회전 행렬 계산부 26. 원근 왜곡 보정부

Claims (20)

  1. 깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 깊이 정보 산출부;
    깊이 정보 산출부에서 산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 좌표 변환부;
    좌표 변환부에서 계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 국소 법선 벡터 산출부;
    국소 법선 벡터 산출부에서 구해진 각 화소의 국소적 법선 벡터를 더하여 평면 영역에서의 법선 벡터 N을 구하는 평면 법선 벡터 산출부;
    영상의 회전축을 계산하고, 영상내 평면의 법선벡터와 카메라 축 정면으로 향하는 벡터간의 사이 각을 계산하여 회전 행렬을 구하는 회전 행렬 계산부;
    깊이 카메라로 촬영한 영상을 회전 변환을 통해 평면영역의 법선 벡터 N를 z축에 평행하게 하여 평면 영상을 xy평면에 평행한 영상으로 보정하여 원근 왜곡을 제거하는 원근 왜곡 보정부;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  2. 제 1 항에 있어서, 좌표 변환부는,
    깊이 카메라를 통해 평면을 촬영하여 영상에서의 화소의 위치 P(x,y)와 그 화소에서의 깊이 값인 카메라를 중심으로 하는 xy평면으로부터의 거리 D(x,y)를 얻고,
    화소에서의 깊이 정보 D(x,y)와 깊이 카메라의 인자를 이용하여 카메라의 초점을 원점으로 하고 카메라의 정면 광학축 방향을 Z축으로 하는 카메라 좌표계로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  3. 제 2 항에 있어서, 카메라 좌표계로의 변환은,
    화소의 위치 P(x,y)는 영상의 왼쪽상단 모서리를 원점으로 하는 영상 좌표계에서의 위치정보이고, 깊이 정보 D(x,y)는 카메라 좌표계 내에서 z축의 거리 z c 가 되고,
    영상 좌표계 내에서의 위치 P(x,y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 Pv(x v , y v )로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  4. 제 1 항에 있어서, 좌표 변환부는 각 화소의 카메라 좌표계에서의 위치를 계산하기 위하여,
    카메라의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 카메라의 수직 시야각 fov v 와 카메라의 수직 해상도 h를 통해 f를 구하거나 수평 시야각 fov h 과 카메라의 수직 해상도 w를 통해 구하고,
    구해진 f를 이용하여 카메라 좌표계에서의 위치 Pc(x, y) = (x c , y c , z c )로 변환하여 카메라 좌표계에서의 위치정보를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  5. 제 1 항에 있어서, 국소 법선 벡터 산출부는,
    영상 좌표계에서의 위치 P(x,y)에서의 카메라 좌표계에서의 위치를 Pc(x,y)라고 한다면 화소의 상하에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x,y+1), Pc(x,y-1)와 좌우에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x+1,y), Pc(x-1,y)를 토대로 두 개의 벡터
    Figure 112015013633310-pat00022
    를 생성하고,
    Figure 112015013633310-pat00023
    을 통해 두 벡터의 외적을 구하여 화소 P(x,y) 에서의 국소적인 법선 벡터 Nxy를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  6. 삭제
  7. 제 1 항에 있어서, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터는 N'(0,0,1)가 되는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  8. 제 1 항에 있어서, 회전 행렬 계산부에서,
    평면 영역에서의 법선 벡터를 N, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터를 N'이라 하면,
    회전 변환의 축이 되는 단위벡터는
    Figure 112015013633310-pat00024
    을 통해 변환 전 후의 각각의 법선 벡터를 외적하여 정규화한 벡터 u(u x ,u y ,u z )이고, 회전각
    Figure 112015013633310-pat00025
    은
    Figure 112015013633310-pat00026
    를 통하여 구한 두 벡터의 사이각인 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  9. 제 1 항 또는 제 8 항에 있어서, 회전 행렬 계산부에서,
    회전변환 행렬 R는
    Figure 112015013633310-pat00027
    을 통하여 구하고,
    이 변환 행렬을 통해 각 화소의 카메라 좌표계에서의 위치 Pc(i,j)를
    Figure 112015013633310-pat00028
    을 통해 회전 변환을 하여 변환 후의 위치 P'c(i,j) = (x' c ,y' c ,z' c )를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  10. 제 1 항에 있어서, 원근 왜곡 보정부는,
    영상이 투영되는 뷰포트까지의 거리 f, 회전 변환을 하여 구해진 변환 후의 위치 P'c(i,j) = (x' c ,y' c ,z' c )라 하면,
    P'는 카메라 좌표계 상의 좌표이므로 이를 다시 영상 좌표계로 변환하기 위하여,
    Figure 112015013633310-pat00029
    를 이용하여,
    원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'v(x' v ,y' v )로 변환한 다음 원점을 다시 원래대로 설정하여 보정 변환 시 화소 P(x,y)에 사상되는 화소 P'(x',y')를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템.
  11. 깊이 카메라에서 촬영된 평면에 대한 영상에서 깊이 정보를 산출하는 단계;
    산출된 깊이 정보를 이용하여 각 화소의 카메라 좌표계에서의 위치를 계산하는 단계;
    계산된 각 화소의 주변 정보를 이용하여 그 화소의 국소적 법선 벡터를 계산하는 단계;
    구해진 각 화소의 국소적 법선 벡터를 더하여 평면 영역에서의 법선 벡터 N을 구하는 단계;
    영상의 회전축을 계산하고, 영상내 평면의 법선벡터와 카메라 축 정면으로 향하는 벡터간의 사이 각을 계산하여 회전 행렬을 구하는 단계;
    깊이 카메라로 촬영한 영상을 회전 변환을 통해 평면영역의 법선 벡터 N를 z축에 평행하게 하여 평면 영상을 xy평면에 평행한 영상으로 보정하여 원근 왜곡을 제거하는 단계;를 포함하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  12. 제 11 항에 있어서, 각 화소의 카메라 좌표계에서의 위치를 계산하는 단계에서,
    깊이 카메라를 통해 평면을 촬영하여 영상에서의 화소의 위치 P(x,y)와 그 화소에서의 깊이 값인 카메라를 중심으로 하는 xy평면으로부터의 거리 D(x,y)를 얻고,
    화소에서의 깊이 정보 D(x,y)와 깊이 카메라의 인자를 이용하여 카메라의 초점을 원점으로 하고 카메라의 정면 광학축 방향을 Z축으로 하는 카메라 좌표계로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  13. 제 12 항에 있어서, 카메라 좌표계로의 변환은,
    화소의 위치 P(x,y)는 영상의 왼쪽상단 모서리를 원점으로 하는 영상 좌표계에서의 위치정보이고, 깊이 정보 D(x,y)는 카메라 좌표계 내에서 z축의 거리 z c 가 되고,
    영상 좌표계 내에서의 위치 P(x,y)를 영상 중앙이 원점이 되는 좌표계 상의 위치정보 Pv(x v , y v )로 변환하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  14. 제 11 항에 있어서, 각 화소의 카메라 좌표계에서의 위치를 계산하기 위하여,
    카메라의 내부 정보인 시야각과 해상도를 사용하여 영상이 투영되는 뷰포트까지의 거리 f를 카메라의 수직 시야각 fov v 와 카메라의 수직 해상도 h를 통해 f를 구하거나 수평 시야각 fov h 과 카메라의 수직 해상도 w를 통해 구하고,
    구해진 f를 이용하여 카메라 좌표계에서의 위치 Pc(x, y) = (x c , y c , z c )로 변환하여 카메라 좌표계에서의 위치정보를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  15. 제 11 항에 있어서, 국소 법선 벡터 산출을 위하여,
    영상 좌표계에서의 위치 P(x,y)에서의 카메라 좌표계에서의 위치를 Pc(x,y)라고 한다면 화소의 상하에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x,y+1), Pc(x,y-1)와 좌우에 위치한 점들의 카메라 좌표계에서의 위치정보 Pc(x+1,y), Pc(x-1,y)를 토대로 두 개의 벡터
    Figure 112015013633310-pat00030
    를 생성하고,
    Figure 112015013633310-pat00031
    을 통해 두 벡터의 외적을 구하여 화소 P(x,y) 에서의 국소적인 법선 벡터 Nxy를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  16. 삭제
  17. 제 11 항에 있어서, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터는 N'(0,0,1)가 되는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  18. 제 11 항에 있어서, 회전 행렬 계산에서,
    평면 영역에서의 법선 벡터를 N, 회전 변환을 거친 후의 평면 법선 벡터의 단위 벡터를 N'이라 하면,
    회전 변환의 축이 되는 단위벡터는
    Figure 112015013633310-pat00032
    을 통해 변환 전 후의 각각의 법선 벡터를 외적하여 정규화한 벡터 u(u x ,u y ,u z )이고, 회전각
    Figure 112015013633310-pat00033
    은
    Figure 112015013633310-pat00034
    를 통하여 구한 두 벡터의 사이각인 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  19. 제 11 항 또는 제 18 항에 있어서, 회전 행렬 계산을 위하여,
    회전변환 행렬 R는
    Figure 112015013633310-pat00035
    을 통하여 구하고,
    이 변환 행렬을 통해 각 화소의 카메라 좌표계에서의 위치 Pc(i,j)를
    Figure 112015013633310-pat00036
    을 통해 회전 변환을 하여 변환 후의 위치 P'c(i,j) = (x' c ,y' c ,z' c )를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.
  20. 제 11 항에 있어서, 원근 왜곡 보정을 위하여,
    회전 변환을 하여 구해진 변환 후의 위치 P'c(i,j) = (x'c ,y'c ,z'c )라 하면,
    P'는 카메라 좌표계 상의 좌표이므로 이를 다시 영상 좌표계로 변환하기 위하여,
    영상이 투영되는 뷰포트까지의 거리를 f라 할 때,
    Figure 112015115011289-pat00037
    를 이용하여,
    원점이 화면 중심에 존재하는 영상 좌표계에서의 위치 P'v(x'v ,y'v )로 변환한 다음 원점을 다시 원래대로 설정하여 보정 변환 시 화소 P(x,y)에 사상되는 화소 P'(x',y')를 구하는 것을 특징으로 하는 깊이 정보를 이용한 원근 왜곡 영상의 보정 방법.






KR1020150019563A 2015-02-09 2015-02-09 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법 KR101589167B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150019563A KR101589167B1 (ko) 2015-02-09 2015-02-09 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150019563A KR101589167B1 (ko) 2015-02-09 2015-02-09 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101589167B1 true KR101589167B1 (ko) 2016-01-27

Family

ID=55309673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150019563A KR101589167B1 (ko) 2015-02-09 2015-02-09 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101589167B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843319B1 (ko) * 2017-08-31 2018-03-28 김진식 사면 화상인식기술을 이용한 카메라 모듈 생산용 하우징 어태칭 방법
WO2018084381A1 (ko) * 2016-11-04 2018-05-11 (주)한국플랫폼서비스기술 지피유장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
KR101866107B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치
KR20180079111A (ko) * 2016-12-30 2018-07-10 동의대학교 산학협력단 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
CN112700502A (zh) * 2020-12-29 2021-04-23 西安电子科技大学 双目相机系统和双目相机空间标定方法
CN112767262A (zh) * 2021-01-06 2021-05-07 中国人民解放军63863部队 一种图像畸变校正处理方法
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118947A (ko) 2010-04-26 2011-11-02 경원대학교 산학협력단 영상 왜곡 보정방법 및 영상 왜곡 보정장치
KR20110132835A (ko) 2010-06-03 2011-12-09 한국전자통신연구원 원근왜곡 보정을 통한 영상대조 방법 및 장치
JP2012105246A (ja) * 2010-11-09 2012-05-31 Avisonic Technology Corp 画像補正方法、および関連する画像補正システム
JP2012198031A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd 画像補正方法及び画像補正装置
JP2014131257A (ja) * 2012-11-27 2014-07-10 Ricoh Co Ltd 画像補正システム、画像補正方法及びプログラム
KR101461145B1 (ko) * 2013-12-11 2014-11-13 동의대학교 산학협력단 깊이 정보를 이용한 이벤트 제어 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110118947A (ko) 2010-04-26 2011-11-02 경원대학교 산학협력단 영상 왜곡 보정방법 및 영상 왜곡 보정장치
KR20110132835A (ko) 2010-06-03 2011-12-09 한국전자통신연구원 원근왜곡 보정을 통한 영상대조 방법 및 장치
JP2012105246A (ja) * 2010-11-09 2012-05-31 Avisonic Technology Corp 画像補正方法、および関連する画像補正システム
JP2012198031A (ja) * 2011-03-18 2012-10-18 Ricoh Co Ltd 画像補正方法及び画像補正装置
JP2014131257A (ja) * 2012-11-27 2014-07-10 Ricoh Co Ltd 画像補正システム、画像補正方法及びプログラム
KR101461145B1 (ko) * 2013-12-11 2014-11-13 동의대학교 산학협력단 깊이 정보를 이용한 이벤트 제어 장치

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018084381A1 (ko) * 2016-11-04 2018-05-11 (주)한국플랫폼서비스기술 지피유장치를 기반으로 하는 딥러닝 분석을 이용한 영상 보정 방법
KR101866107B1 (ko) * 2016-12-30 2018-06-08 동의대학교 산학협력단 평면 모델링을 통한 깊이 정보 보정 방법과 보정 장치 및 부호화 장치
KR20180079111A (ko) * 2016-12-30 2018-07-10 동의대학교 산학협력단 구면 모델링을 통한 깊이 정보 보정 방법과 보정장치
KR101843319B1 (ko) * 2017-08-31 2018-03-28 김진식 사면 화상인식기술을 이용한 카메라 모듈 생산용 하우징 어태칭 방법
US20220051372A1 (en) * 2020-08-12 2022-02-17 Niantic, Inc. Feature matching using features extracted from perspective corrected image
US12008740B2 (en) * 2020-08-12 2024-06-11 Niantic, Inc. Feature matching using features extracted from perspective corrected image
CN112700502A (zh) * 2020-12-29 2021-04-23 西安电子科技大学 双目相机系统和双目相机空间标定方法
CN112700502B (zh) * 2020-12-29 2023-08-01 西安电子科技大学 双目相机系统和双目相机空间标定方法
CN112767262A (zh) * 2021-01-06 2021-05-07 中国人民解放军63863部队 一种图像畸变校正处理方法

Similar Documents

Publication Publication Date Title
KR101589167B1 (ko) 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
JP6363863B2 (ja) 情報処理装置および情報処理方法
US20200177866A1 (en) Calibration apparatus, chart for calibration, chart pattern generation apparatus, and calibration method
CN110830781B (zh) 一种基于双目视觉的投影图像自动校正方法及系统
CN109544628B (zh) 一种指针式仪表的准确读数识别系统及方法
CN108629756B (zh) 一种Kinectv2深度图像无效点修复方法
JP5633058B1 (ja) ３次元計測装置及び３次元計測方法
CN111028295A (zh) 一种基于编码结构光和双目的3d成像方法
WO2016155110A1 (zh) 图像透视畸变校正的方法及系统
CN111256628A (zh) 墙面平整度检测方法、装置、计算机设备和存储介质
JP2014112055A (ja) カメラ姿勢の推定方法およびカメラ姿勢の推定システム
WO2023273108A1 (zh) 单目测距方法、装置及智能装置
CN106033614A (zh) 一种强视差下的移动相机运动目标检测方法
JPH05303629A (ja) 形状合成方法
CN113379815A (zh) 基于rgb相机与激光传感器的三维重建方法、装置及服务器
KR102023087B1 (ko) 카메라 캘리브레이션 방법
CN113643427A (zh) 一种双目测距及三维重建方法
Yu et al. An improved projector calibration method for structured-light 3D measurement systems
CN108734666B (zh) 一种鱼眼图像校正方法及装置
KR101574195B1 (ko) 모바일 플랫폼에 기반한 가상 카메라의 자동 캘리브레이션 방법
CN108428250B (zh) 一种应用于视觉定位和标定的x角点检测方法
Tehrani et al. A new approach to 3D modeling using structured light pattern
CN115082538A (zh) 基于线结构光投影的多目视觉平衡环零件表面三维重建系统及方法
Anwar Calibrating projector flexibly for a real-time active 3D scanning system
JP2014112056A (ja) 被写体形状の３次元計測方法およびシステム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191230

Year of fee payment: 5