KR101703715B1 - 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법 - Google Patents

카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법 Download PDF

Info

Publication number
KR101703715B1
KR101703715B1 KR1020150084757A KR20150084757A KR101703715B1 KR 101703715 B1 KR101703715 B1 KR 101703715B1 KR 1020150084757 A KR1020150084757 A KR 1020150084757A KR 20150084757 A KR20150084757 A KR 20150084757A KR 101703715 B1 KR101703715 B1 KR 101703715B1
Authority
KR
South Korea
Prior art keywords
pattern
image
value
camera
curvature
Prior art date
Application number
KR1020150084757A
Other languages
English (en)
Other versions
KR20160148735A (ko
Inventor
이준석
전병찬
박규로
장민섭
박지환
Original Assignee
㈜베이다스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ㈜베이다스 filed Critical ㈜베이다스
Priority to KR1020150084757A priority Critical patent/KR101703715B1/ko
Publication of KR20160148735A publication Critical patent/KR20160148735A/ko
Application granted granted Critical
Publication of KR101703715B1 publication Critical patent/KR101703715B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/003—Alignment of optical elements
    • H04N5/232—

Abstract

본 발명은 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법에 관한 것으로, 하나의 점을 통과하는 수직선, 수평선 및 대각선의 복수개의 직선으로 구성된 패턴 영상이 출력되는 패턴 모니터와, 상기 패턴 영상을 카메라가 촬영하고 상기 카메라로부터 그 촬영된 영상을 수신하는 영상 입력부와, 상기 영상 입력부로 수신된 패턴의 영상에서 에지 검출 알고리즘에 의해 윤곽선의 정보를 추출하는 패턴 검출부와, 상기 패턴 검출부에서 추출된 윤곽선의 정보로부터 곡률을 계산하는 패턴 분석부와, 상기 패턴 분석부에서 계산된 곡률 값이 기 설정된 값이 되도록 할 때의 패턴의 종횡 이동 값을 계산하는 패턴 추정부와, 상기 패턴 추정부에서 패턴의 종횡 이동 값에 따라 변형된 패턴의 영상을 상기 패턴 모니터로 전송하는 영상 출력부 및 상기 패턴 추정부에서 광중심 정보를 전송받아 저장하는 저장부를 포함하는 카메라 광중심 측정을 위한 영상 처리 장치를 제공한다.

Description

카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법{THE APPARATUS FOR MEASURING CAMERA PRINCIPAL POINT AND THE METHOD THEREOF}
본 발명은 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라의 내부 파라미터 및 외부 파라미터를 찾는 카메라 캘리브레이션(calibration) 기술에 있어서, 렌즈의 제조과정과 카메라의 조립과정 중에서 발생하는 오차를 보정한 광중심에 대한 내부 파라미터 값을 구하는 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법에 관한 것이다.
일반적으로 카메라라는 장비가 만들어지면 필연적으로 오차가 발생한다. 이러한 오차는 실제 카메라에 사용된 렌즈, 렌즈와 이미지 센서와의 거리, 렌즈와 이미지 센서가 이루는 상대적인 위치 등 카메라 내부의 각종 부품들, 또는 이러한 여러 부품들이 결합되는 카메라 제조 과정 중의 조립 오차에 의해서 영향을 받기 때문에 발생한다.
이것은 현재 기술로는 렌즈 자체를 완벽한 구로 만들 수 없기 때문에 발생하기도 하고, 카메라 조립과정에서 렌즈와 이미지센서를 완벽하게 정렬할 수 없기 때문에 발생하기도 한다.
그런데, 영상 보정을 위한 다양한 영상처리 알고리즘에서는 이와 같은 오차를 고려하여야만 영상 보정에 있어서 좋은 결과를 얻을 수 있으므로, 카메라의 내부 구성에 대한 고유한 값들을 알아내어 그 값들을 영상처리 알고리즘에서 사용하여야 한다.
때문에 대부분의 카메라는 제작 당시부터 상술한 내부 구성에 대한 각종 고유한 파라미터 정보(intrinsic parameter)를 미리 가지고 있는 경우가 많고, 또한 이러한 고유한 파라미터에 대한 값을 찾아내어 보정하는 과정을 카메라 캘리브레이션(Camera Calibration)이라고 부르기도 한다.
이와 같은 고유한 내부 파라미터에는 대표적으로 렌즈 중심과 이미지 센서와의 거리인 초점거리(focal length), 렌즈의 광학축이 이미지 센서와 만나는 점의 영상좌표인 광중심(principal point) 및 이미지 센서의 셀 어레이(cell array)의 y축이 기울어진 정도를 나타내는 비대칭계수(skew coefficient) 등이 있다.
이중에서도 광중심(principal point)에 대한 내부 파라미터는 카메라 캘리브레이션(camera calibration), 즉 렌즈의 왜곡을 보정하는 기술 분야에서 매우 중요한 파라미터 중의 하나인데, 만약 상술한 바와 같이 카메라의 조립 과정 중에서 렌즈와 이미지 센서와의 수평이 어긋나서 발생하는 오차를 보정하지 않은 채 이미지의 중심좌표를 광중심 파라미터로 간주하고 이후의 왜곡보정과 같은 영상 보정을 위한 영상처리 알고리즘을 수행하게 된다면 매우 부정확한 값을 얻게 되는 문제점이 있다.
그리고 카메라 캘리브레이션(camera calibration) 작업을 위해서는 주로 정밀하게 미리 구성된 3차원 물체에 대한 단일 이미지를 사용하거나, 크기가 알려진 체커보드에 대한 복수의 이미지를 사용하는데, 이러한 3차원 물체는 구성이 복잡하다는 문제점과, 체커보드는 복수개의 여러 이미지를 사용하기 때문에 측정 시간이 많이 소요되고 체커보드의 위치를 여러 번 옮겨야 하는 등 실제로 구현하기에는 많은 무리가 따르는 문제점이 있다.
관련 선행기술로는 한국공개특허 2014-0054590(공개일: 2014. 05. 09)가 있다.
본 발명은 카메라의 내부 변수 중에서 광중심에 대한 값이 카메라 제조과정에서 이미지 센서와 렌즈가 수평이 어긋남에 의해 이미지 중심좌표와 일치하지 않는 오차를 보정하는 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.
또한, 본 발명은 패턴이 하나의 점을 교차하는 수평ㅇ수직ㅇ대각선들로 이루어지고, 패턴을 구성하는 각각의 선들에 대한 이동을 제어할 수 있는 패턴 모니터를 이용하여 카메라의 광중심에 대한 정보를 획득하는 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법을 제공하기 위한 것이다.
본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않는다.
상기 과제를 달성하기 위한 본 발명의 카메라 광중심 측정을 위한 영상 처리 장치는, 하나의 점을 통과하는 수직선, 수평선 및 대각선의 복수개의 직선으로 구성된 패턴 영상이 출력되는 패턴 모니터와, 카메라가 상기 패턴 영상을 촬영하면 상기 카메라로부터 그 촬영된 영상을 수신하는 영상 입력부와, 상기 영상 입력부로 수신된 패턴의 영상에서 윤곽선의 정보를 추출하는 패턴 검출부와, 상기 패턴 검출부에서 추출된 윤곽선의 정보로부터 곡률을 계산하는 패턴 분석부와, 상기 패턴 분석부에서 계산된 곡률 값이 기 설정된 값이 되도록 패턴의 종횡 이동 값을 계산하는 패턴 추정부와, 상기 패턴 추정부에서 계산된 패턴의 종횡 이동 값에 따라 변형된 패턴의 영상을 상기 패턴 모니터로 전송하는 영상 출력부 및 상기 패턴 추정부에서 광중심 정보를 전송받아 저장하는 저장부를 포함할 수 있다.
구체적으로, 상기 패턴 모니터는, 출력되는 패턴 영상의 직선의 개수가 교차점에서 교차각이 생기도록 두 개 이상으로 구성되는 것을 특징으로 할 수 있다.
구체적으로, 상기 패턴 모니터는, 출력되는 패턴 영상을 구성하는 각각의 직선들이 이동이 가능하도록 제어할 수 있는 것을 특징으로 할 수 있다.
구체적으로, 상기 패턴 검출부는, 캐니(Canny) 에지 추출, 소벨(Sobel) 에지 추출, 프리윗(Prewitt) 에지 추출, 로버츠(Roberts) 에지 추출, 컴퍼스(Compass) 에지 추출, 라인(Line) 에지 추출 알고리즘 중의 어느 하나 이상을 이용하여 윤곽선을 검출하는 것을 특징으로 할 수 있다.
구체적으로, 상기 패턴 분석부는, 곡률을 계산하기 위해서 비선형 회귀 분석 방법이나 선형 맞춤 알고리즘 중의 어느 하나 이상을 이용하여 곡률을 계산할 수 있고, 계산의 결과로 파라미터를 도출하는 것을 특징으로 할 수 있다.
구체적으로, 상기 패턴 추정부는, 카메라 영상 내의 패턴을 구성하는 직선들의 곡률 값이 기 설정된 값이 되어 각각의 직선이 직선으로 변형되었을 때의 교점의 위치와 이전의 교점 위치 간의 좌표의 차이를 계산하여 패턴의 종횡 이동 값을 산출하는 것을 특징으로 할 수 있다.
구체적으로, 상기 영상 입력부, 패턴 검출부, 패턴 분석부, 패턴 추정부 및 영상 출력부는, MCU 또는 칩 온 보드로 구현될 수 있는 것을 특징으로 할 수 있다.
상기 과제를 달성하기 위한 본 발명의 카메라 광중심 측정을 위한 영상 처리 방법은, 카메라가 패턴 모니터에 출력된 영상을 촬영하면 그 패턴의 영상을 영상 입력부가 수신하는 카메라로부터 패턴 영상을 수신하는 단계와, 상기 영상 입력부에서 수신된 패턴 영상을 패턴 검출부가 전송 받아 패턴의 윤곽선 정보를 추출하는 수신된 영상에서 패턴 정보를 추출하는 단계와, 상기 패턴 검출부에서 추출한 윤곽선 정보를 이용하여 패턴 분석부가 패턴의 각각의 직선들의 곡률을 계산하는 추출된 패턴 정보들로부터 곡률을 계산하는 단계와, 상기 패턴 분석부에서 계산된 곡률 값이 기 설정된 임계값이 되는지를 판단하여 기 설정된 값이라면 광중심 정보를 저장부에 저장하는 단계로 진행하고 기 설정된 값이 아니라면 다음 단계로 진행하는 곡률의 값이 기 설정된 값이 되는 지를 판단하는 단계와, 패턴 추정부가 패턴에서 각각의 직선들의 곡률 값이 기 설정된 값이 되도록 하는 패턴의 종횡 이동값을 계산하는 단계와, 상기 패턴 추정부가 산출해낸 종횡 이동값에 따라 영상 출력부가 이동된 패턴 영상을 상기 패턴 모니터로 출력한 후, 다시 처음의 단계로 되돌아가 각각의 단계들을 반복하는 종횡 이동값에 의해 이동된 패턴 영상을 출력하는 단계 및 카메라 영상의 패턴 직선들이 기 설정된 임계값에 수렴하면 카메라 영상의 교점의 위치를 광중심 정보로 하여 그 결과를 저장부에 저장하고 과정을 종료하는 광중심 정보를 저장부에 저장하는 단계를 포함할 수 있다.
구체적으로, 상기 카메라로부터 패턴 영상을 수신하는 단계는, 상기 패턴 모니터에서 출력되는 패턴 영상의 직선의 개수가 교차점에서 교차각이 생기도록 두 개 이상으로 구성되는 것을 특징으로 할 수 있다.
구체적으로, 상기 카메라로부터 패턴 영상을 수신하는 단계는, 상기 패턴 모니터에서 출력되는 패턴 영상의 각각의 직선들이 이동이 가능하도록 제어할 수 있는 것을 특징으로 할 수 있다.
구체적으로, 수신된 영상에서 패턴 정보를 추출하는 단계는, 캐니(Canny) 에지 추출, 소벨(Sobel) 에지 추출, 프리윗(Prewitt) 에지 추출, 로버츠(Roberts) 에지 추출, 컴퍼스(Compass) 에지 추출, 라인(Line) 에지 추출 알고리즘 중의 어느 하나 이상을 이용하여 윤곽선을 추출하는 것을 특징으로 할 수 있다.
구체적으로, 추출된 패턴 정보들로부터 곡률을 계산하는 단계는, 비선형 회귀 분석 방법이나 선형 맞춤 알고리즘 중의 어느 하나 이상을 사용하여 곡률을 계산하고, 계산의 결과로 파라미터를 도출하는 것을 특징으로 할 수 있다.
구체적으로, 곡률 값이 기 설정된 값이 되도록 패턴의 종횡 이동값을 계산하는 단계는, 카메라 영상 내의 패턴을 구성하는 직선들의 곡률 값이 기 설정된 값이 되어 각각의 직선이 직선으로 변형되었을 때의 교점의 위치와 이전의 교점 위치 간의 좌표의 차이를 계산하여 산출하는 것을 특징으로 할 수 있다.
이상에서 설명한 바와 같이 본 발명은 카메라 캘리브레이션 기술에서 중요한 역할을 하는 내부 파라미터인 광중심이 카메라 제조과정 중에서 발생한 오차로 인해 이미지 중심좌표와 일치하지 않는 문제점을 보정할 수 있기 때문에, 카메라 캘리브레이션 과정 이후에 수행되는 영상 보정을 위한 다양한 영상처리 알고리즘 단계에서 보다 좋은 결과를 얻을 수 있는 효과가 있다.
또한, 본 발명은 패턴이 하나의 점을 교차하는 수평ㅇ수직의 선들로 이루어지되 각각의 선들이 이동이 가능한 패턴 모니터의 영상을 이용하여 카메라의 광중심에 대한 정보를 획득하기 때문에, 광중심 정보를 찾기 위한 카메라 캘리브레이션 작업을 위해 복수개의 여러 패턴 이미지를 사용해야하거나 패턴의 위치를 여러 번 옮겨야 하는 번거로움 없이도 단일의 패턴 출력 장치에 의해 용이하게 광중심 파라미터 정보를 얻을 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 카메라 및 카메라 광중심 측정을 위한 영상 처리 장치를 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 카메라 광중심 측정을 위한 영상 처리 방법의 흐름도이다.
도 3은 도 2에 도시된 단계가 반복됨에 따라 패턴이 변화하는 모습을 카메라 영상과 패턴 모니터에 차례로 나타낸 도면이다.
도 4는 도 3에 도시된 초기 패턴 영상을 수신했을 때의 카메라 영상을 상세히 나타낸 도면이다.
도 5는 도 3에 도시된 첫 번째 패턴 정렬된 패턴 모니터를 상세히 나타낸 도면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명한다. 도면들 중 동일한 구성요소들은 가능한 어느 곳에서든지 동일한 부호로 표시한다. 또한 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 카메라 및 카메라 광중심 측정을 위한 영상 처리 장치를 나타낸 블록도로서, 카메라 광중심 측정을 위한 영상 처리 장치(100)는 패턴 모니터(110), 영상 입력부(120), 영상 출력부(130), 패턴 검출부(140), 패턴 분석부(150), 패턴 추정부(160) 및 저장부(170)를 포함한다.
먼저, 카메라(10)는 패턴 영상이 출력되는 패턴 모니터(110)를 바라보는 임의의 위치에 설치되며, 여기서 카메라(10)는 표준 핀홀 카메라 모델이 적용될 수 있으나, 핀홀, 광각 또는 초광각 렌즈 기반의 카메라 모두를 포함할 수 있다.
그리고 일반적으로 카메라(10)는 렌즈계, 이미지 센서 및 메모리를 포함할 수 있다.
렌즈계는 적어도 하나 이상의 렌즈들을 포함하고, 카메라 내부에서 광학 정렬되어 렌즈들 각각에 입사된 광을 수렴시키는 기능을 한다. 광학 정렬은 광의 진행 방향에 따른 광축 상에 해당 소자들이 각각 대칭성을 갖도록 정렬된 것을 말한다.
이미지 센서는 렌즈계와 광학 정렬되는데, 렌즈계로부터 입사되는 광학 영상을 전기신호로 변환 시킨다. 이러한 이미지 센서로는 CMOS(Complementary Metal Oxide-Semiconductor) 또는 CCD(Charge Coupled Device) 소자가 사용될 수 있다.
메모리는 카메라 각종 파라미터와 렌즈계의 위치정보 등이 저장되어 있다.
이상과 같이 카메라는 단순한 광학기구뿐만이 아니라 광학 신호를 전기적 신호로 변화하는 이미지 센서와 영상신호를 처리하는 영상신호처리기 등의 장치를 모두 포함하는 개념이다.
패턴 모니터(110)는 하나의 점을 교차 통과하는 수직선, 수평선 및 대각선 의 복수개의 직선으로 구성된 패턴 영상이 출력되는 영상 출력 장치로서, 영상 출력부(130)로부터 이와 같은 패턴 영상을 입력 받아 출력한다. 이러한 패턴 모니터(110)에 사용되는 영상장치로는 브라운관(CRT), 액정디스플레이(LCD), 박막액정디스플레이(TFT-LCD), 플라스마디스플레이(PDP) 중의 어느 하나일 수 있다.
영상 입력부(120)는 패턴 모니터(110)로 출력되는 패턴 영상을 카메라(10)가 촬영하면 촬영된 패턴의 영상을 카메라(10)로부터 수신하는 장치이다. 영상 입력부(120)는 필요에 따라 수신된 패턴 영상을 증폭하거나 필터링하는 전처리 과정을 수행할 수도 있다.
패턴 검출부(140)는 수신된 패턴 영상에서 윤곽선과 같은 패턴의 정보를 추출할 수 있도록 알고리즘이 탑재된 장치이다.
패턴 분석부(150)는 패턴 검출부(140)에서 추출된 패턴에 대한 정보인 각각의 윤곽선 정보를 이용하여 그 곡률을 계산하기 위한 알고리듬이 탑재되는 장치이다.
패턴 추정부(160)는 패턴 분석부(150)에서 계산된 곡률 값이 기 설정된 임계값, 즉 일례로서 곡률 값이'0'이 되도록 할 때의 패턴이 움직이는 종횡 이동 값을 계산하는 장치이다. 여기서 곡률 값이'0'이 되도록 한다는 것은 카메라 영상에서 곡선으로 보이는 패턴의 직선들을 그 교차점을 기준으로 종횡으로 이동함으로써 이후에 정렬된 패턴 영상을 다시 카메라 영상으로 보게 되면 각각의 패턴 직선들이 카메라 영상 내에서도 직선으로 보이도록 하겠다는 것을 의미한다.
영상 출력부(130)는 패턴 추정부(160)에서 계산된 패턴의 종횡 이동 값을 입력 받아 이동되어 변형된 패턴 영상을 패턴 모니터(110)로 전송하는 장치이다.
저장부(170)는 상술한 과정을 반복한 후에 카메라 영상에서 보이는 패턴의 직선들이 기 설정된 곡률 값에 도달하면 패턴 추정부(160)가 카메라 영상 내의 패턴 교점 위치를 광중심 정보로서 출력하고, 이와 같이 출력되는 광중심 정보를 전송 받아 저장하는 장치이다. 주로 메모리 소자가 사용될 수 있는데, 전기 공급이 끊긴 상태에서도 데이터를 장기간 기억할 수 있는 롬(ROM)의 일종인 EEPROM(electrically erasable programmable read-only memory) 등이 사용될 수 있다.
이상과 같은 각 장치들은 각 장치가 수행하는 기능에 따른 소프트웨어를 반도체칩 내에 이식한 MCU(micro controller unit)로 구현되거나, 반도체 칩을 직접 인쇄 회로 기판(PCB) 위에 금선 연결하고 성형한 칩 온 보드(chip on board)로 구현될 수도 있다.
도 2는 본 발명의 실시예에 따른 카메라 광중심 측정을 위한 영상 처리 방법의 흐름도로서, 카메라 광중심 측정을 위한 영상 처리 방법은, 카메라로부터 패턴 영상을 수신하는 단계(S210), 수신된 영상에서 패턴 정보를 추출하는 단계(S220), 추출된 패턴 정보들로부터 곡률을 계산하는 단계(S230), 곡률의 값이 기 설정된 값이 되는 지를 판단하는 단계(S240), 곡률 값이 기 설정된 값이 되도록 하는 패턴의 종횡 이동 값을 계산하는 단계(S250), 종횡 이동 값에 의해 이동된 패턴 영상을 출력하는 단계(S260) 및 광중심 정보를 저장부에 저장하는 단계(S270)를 포함한다.
먼저, 카메라 광중심 측정을 위해서는 광중심에 대한 정보를 제외한 나머지 카메라 내부 파라미터를 알고 있어야 한다. 즉, 렌즈 중심과 이미지 센서와의 거리인 초점거리(focal length), 이미지 센서의 셀 어레이(cell array)의 크기, 이미지 센서의 이미지 출력 해상도 간의 종횡비(aspect ratio) 및 렌즈 왜곡 테이블(distortion table)에 대한 정보를 사전에 알고 있어야 한다.
그리고 카메라 광중심 측정을 위한 패턴은 하나의 점을 교차 통과하는 다수 개의 수직선, 수평선 및 대각선으로 구성된 영상으로서 다음과 같은 특징을 갖는다.
패턴을 구성하는 최소 직선의 수는 교차점에서 교차각이 생기도록 할 수 있는 서로 다른 직선으로서 두 개가 된다. 그러나 카메라 광중심 측정에서 정밀도를 높이기 위해서는 하나의 교차점을 지나는 직선은 많을수록 바람직한데, 단, 각각의 직선들이 서로의 간섭 없이 검출되도록 해야 한다. 이는 간섭에 의하여 인접한 두 직선이 겹쳐져 보이지 않게 되면 각각의 선을 서로 분리할 수 없게 되기 때문이다.
카메라(10)의 설치 위치는 패턴 모니터(110)에서 출력되는 패턴 영상이 바라보이는 임의의 위치에 설치할 수 있는데, 카메라(10)의 영상에서 패턴을 이루는 각 직선들이 서로 간섭 없이 표시될 수 있도록 적정한 거리에 설치한다.
이러한 사전 작업을 거친 후에, 카메라(10)는 패턴 모니터(110)에 출력되는 초기 패턴 영상을 촬영하는데, 이후의 과정에서는 그 과정이 반복됨에 따라 패턴 모니터(110)에서 출력되는 패턴을 구성하는 각각의 직선들이 종횡으로 이동이 가능하도록 제어될 수 있어야 한다.
즉, 패턴 모니터(110)에서 출력되는 패턴 영상을 이용한 광중심 측정은 패턴을 구성하는 각 직선들을 종횡으로 이동시켜 가며 반복적인 과정을 거쳐 구하게 된다.
도2 내지 도 5를 참조하여 광중심 측정을 위한 과정을 설명한다.
카메라로부터 패턴 영상을 수신하는 단계(S210)는, 영상 출력부(130)로부터 전송된 패턴 영상이 패턴 모니터(110)에 출력되면, 이 영상을 카메라(10)가 촬영하고 영상 입력부(120)는 상기 영상을 수신하는 단계를 말한다.
최초의 단계에서 패턴 모니터(110)로 출력되는 초기 패턴은 패턴을 구성하는 각각의 직선이 이동 없이 출력된다. 즉, 초기 패턴의 각 직선들의 교차점은 패턴 모니터(110)의 정중앙에 위치하게 된다(도 3의 초기 패턴이 도시된 패턴 모니터 참조).
이후에 단계가 반복됨에 따라 패턴의 종횡 이동 값에 따라 패턴을 구성하는 각각의 직선이 이동된 패턴 영상을 출력한다(도 3의 첫 번째 패턴 정렬의 패턴 모니터 및 두 번째 패턴 정렬의 패턴 모니터 참조).
수신된 영상에서 패턴 정보를 추출하는 단계(S220)는, 영상 입력부(120)로 수신된 패턴 영상을 패턴 검출부(140)가 전송 받아 윤곽선 알고리즘을 이용하여 수신된 패턴 영상 속 패턴의 윤곽선 정보를 추출하는 단계이다.
패턴의 윤곽선 검출을 위해서는 영상의 이미지 내에서 영상의 밝기가 낮은 값에서 높은 값으로, 또는 그 반대로 변하는 지점에 존재하는 부분인 에지(edge)를 검출하는 기법을 사용하는데, 이러한 에지(edge) 검출 알고리즘으로는 캐니(Canny) 에지 추출, 소벨(Sobel) 에지 추출, 프리윗(Prewitt) 에지 추출, 로버츠(Roberts) 에지 추출, 컴퍼스(Compass) 에지 추출, 라인(Line) 에지 추출 등이 있으며, 본 발명에서 사용되는 에지(edge) 검출 알고리즘은 이중의 어느 하나 이상일 수 있다.
추출된 패턴 정보들로부터 곡률을 계산하는 단계(S230)는 패턴 검출부(140)에서 추출한 패턴을 구성하는 각각의 직선들에 대한 윤곽선 정보를 이용하여 패턴 분석부(150)가 각각의 직선들에 대한 곡률(curvature)을 계산하는 단계이다.
초기 패턴을 촬영한 영상을 전송받아 카메라 영상으로 보이면 패턴을 구성하는 각각의 직선들은 교차점을 중심으로 휘어진 모양이 된다(도 3의 첫 번째 반복에서 나타나는 카메라 영상 참조). 때문에 패턴을 구성하는 각각의 직선들은 곡률을 가지게 되고 이때의 곡률 값을 계산한다.
일반적으로 곡률을 계산하기 위해서 사용되는 알고리즘으로는 비선형 회귀 분석 방법이나 선형 맞춤 알고리즘일 수 있고, 그 계산의 결과로 장축, 단축, 중심 등의 파라미터가 도출된다.
곡률 값이 기 설정된 값이 되는지를 판단하는 단계(S240)는, 패턴 분석부(150)에서 계산된 곡률 값이 기 설정된 임계값이 되는지를 판단하는 단계이다. 카메라 영상에서 보이는 패턴을 구성하는 직선들의 곡률 값이 기 설정된 임계값이라면, 즉 일례로서 기 설정된 값이'0'이라면 패턴 모니터(110)에서 출력되는 패턴 영상이 광중심을 통과하여 카메라 이미지 센서에 영상이 맺히고 있다는 의미가 된다. 그러면 광중심 측정을 위한 다음 단계로의 진행을 멈추고 이때의 카메라 영상 내의 패턴의 교점위치를 광중심 정보로 하여 저장부에 저장하는 단계(S270)로 진행한다.
하지만 곡률 값이 기 설정된 임계값이 아니라면, 즉 일례로서 기 설정된 값이'0'이 아니라면 패턴 모니터(110)에서 출력되는 패턴이 여전히 광중심을 통과하고 있지 않고 있다는 의미가 된다. 그러면 패턴을 구성하는 각 직선들의 곡률 값이 기 설정된 임계값이 되도록 각 직선들을 이동시켜야 하고 이를 위하여 다음 단계로 진행한다.
곡률 값이 기 설정된 값이 되도록 패턴의 종횡 이동값을 계산하는 단계(S250)는, 패턴 추정부(160)가 카메라 영상 내에서 보이는 패턴을 구성하는 각각의 직선들의 곡률 값이 기 설정된 값이 될 수 있도록, 즉 일례로 곡률 값이 기 설정된 값이'0'으로 수렴할 수 있도록 각각의 직선들이 이동해야 하는 종횡 이동 값을 계산하는 단계이다.
도 4를 참조하면, 초기 패턴 영상을 수신했을 때 카메라(10) 이미지 센서에 보이는 최초의 카메라 영상(50)의 일례가 도시되는데, 영상 중심선(51)과 패턴 출력 모니터의 윤곽선(52)을 기준으로 했을 때 현재 패턴 직선(53)들의 교점이 카메라 영상 중심선(51)의 교점에서 벗어나 위치하고 있으며 또한, 각각의 현재 패턴 직선(53)들의 모양은 교점을 중심으로 휘어진 형태가 된다.
여기서 휘어진 형태로 보이는 현재 패턴 직선(53)들을 그 곡률 값이'0'이 되도록 하기 위해서는 휘어진 형태의 현재 패턴 직선(53)들을 직선으로 변형시켜야 한다. 이때, 직선으로 변형되었을 때의 교점의 위치와 휘어진 형태의 현재 패턴 직선(53)들의 교점 위치 간의 좌표 차이를 계산하여 패턴의 종횡 이동 값을 산출한다(도 4의 교점에서의 화살표 참조).
여기서 광중심을 통과하는 패턴의 각 직선은 카메라의 이미지 센서에 맺힐 때 직선으로 나타난다는 광학 원리를 기반으로 한다.
종횡 이동값에 의해 이동된 패턴 영상을 출력하는 단계(S260)는, 영상 출력부(130)가 패턴 추정부(160)가 산출해낸 패턴의 종횡 이동 값에 의하여 이동된 패턴의 영상을 패턴 모니터(110)로 출력한 후, 다시 처음의 단계 S210으로 되돌아가 각각의 단계들을 반복하는 단계이다.
도 5를 참조하면, 첫 번째 반복단계에서 초기 패턴을 촬영한 카메라 영상(50)에 의해 패턴 추정부(160)가 패턴의 종횡 이동 값을 계산해 내고, 영상 출력부(130)는 이동된 패턴의 영상을 패턴 모니터(110)로 출력하는 데, 그 첫 번째 정렬된 패턴 모니터(110)의 영상의 일례가 도시 된다.
첫 번째 패턴 정렬에 대한 패턴 모니터 영상(60)에는 점선으로 표시된 이전 패턴 직선(62)과, 교점에 표시된 화살표 방향으로 이동된 현재 패턴 직선(61)이 도시되어 있다.
이상의 과정을 모두 수행하면 다시 첫 단계 S210으로 되돌아가 상술한 단계를 반복하여 카메라 영상 내의 패턴에 있어서 패턴을 구성하는 각 직선들의 곡률의 값이 기 설정된 임계값에 수렴할 때까지 반복한다.
도 3을 참조하면, 이와 같이 이동된 패턴 정렬에 대한 패턴 모니터 영상(60)을 다시 카메라(10)가 촬영하여 상술한 과정을 반복함으로써 각 패턴 직선들이 카메라 영상 내에서도 점차로 직선이 되어 가는 것을 알 수 있다.
그리고, 패턴을 구성하는 각각의 직선들이 카메라 영상 내에서도 직선으로 보일 때까지 이상의 과정을 반복한 다음, 이때의 카메라 영상 내 패턴의 교점 위치를 광중심 정보로 하여 그 결과를 저장부(170)에 저장하고 과정을 종료하는 광중심 정보를 저장부에 저장하는 단계(S270)를 수행한다. 여기서 기 설정된 임계값은 상술한 바와 같이'0'이 될 수 있으며 그 외의 값도 가능하다.
이상에서 설명한 바와 같이 본 발명은 내부 파라미터인 광중심이 카메라 제조과정 중에서 발생한 오차로 인해 이미지 중심좌표와 일치하지 않는 문제점을 보정하는 카메라 캘리브레이션을 수행하기 때문에, 이후에 수행되는 영상 보정을 위한 다양한 영상처리 알고리즘 단계에서 보다 좋은 결과를 얻을 수 있는 효과가 있다.
또한, 본 발명은 카메라의 광중심에 대한 카메라 캘리브레이션을 수행하기 위해 단일의 패턴 모니터의 영상을 이용하기 때문에, 종래의 카메라 캘리브레이션 작업을 위해서 복수개의 여러 패턴 이미지를 사용해야하거나 패턴의 위치를 여러 번 옮겨야 하는 번거로움 없이도 단일의 패턴 출력 장치에 의해 용이하게 광중심 파라미터 정보를 얻을 수 있는 효과가 있다.
상기와 같은 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법은 위에서 설명된 실시예들의 구성과 작동 방식에 한정되는 것이 아니다. 상기 실시예들은 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있도록 구성될 수도 있다.
10: 카메라
100: 카메라 광중심 측정을 위한 영상 처리 장치
110: 패턴 모니터 120: 영상 입력부
130: 영상 출력부 140: 패턴 검출부
150: 패턴 분석부 160: 패턴 추정부
170: 저장부

Claims (13)

  1. 하나의 점을 통과하는 수직선, 수평선 및 대각선의 복수개의 직선으로 구성된 패턴 영상이 출력되는 패턴 모니터;와, 카메라가 상기 패턴 영상을 촬영하면 상기 카메라로부터 그 촬영된 영상을 수신하는 영상 입력부;와, 상기 영상 입력부로 수신된 패턴 영상에서 윤곽선의 정보를 추출하는 패턴 검출부;와, 상기 패턴 검출부에서 추출된 상기 윤곽선의 정보로부터 곡률을 계산하는 패턴 분석부;와, 상기 패턴 분석부에서 계산된 곡률 값이 기 설정된 값이 되도록 패턴의 종횡 이동 값을 계산하는 패턴 추정부;와, 상기 패턴 추정부에서 계산된 패턴의 종횡 이동 값에 따라 변형된 패턴 영상을 상기 패턴 모니터로 전송하는 영상 출력부; 및 상기 패턴 추정부에서 광중심 정보를 전송받아 저장하는 저장부;를 포함하되,
    상기 패턴 모니터는, 출력되는 패턴 영상의 직선이 교차점에서 교차각이 생기도록 두 개 이상으로 구성하여 직선들의 교점위치를 구할 수 있도록 하고, 패턴을 구성하는 각각의 직선들을 종횡으로 이동이 가능하도록 제어함으로써, 상기 카메라 영상으로 보이는 각각의 직선들의 곡률 값이 기 설정된 값이 될 때까지 각 직선들을 종횡으로 이동시키는 과정을 반복하여, 상기 저장부는 각각의 직선들의 곡률 값이 기 설정된 값이 되면 그 때의 직선들의 교점위치를 광중심 정보로 저장하게 되는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 장치.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    상기 패턴 검출부는, 캐니(Canny) 에지 추출, 소벨(Sobel) 에지 추출, 프리윗(Prewitt) 에지 추출, 로버츠(Roberts) 에지 추출, 컴퍼스(Compass) 에지 추출, 라인(Line) 에지 추출 알고리즘 중의 어느 하나 이상을 이용하여 윤곽선을 추출하는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 장치.
  5. 청구항 1에 있어서,
    상기 패턴 분석부는, 곡률을 계산하기 위해서 비선형 회귀 분석 방법이나 선형 맞춤 알고리즘 중의 어느 하나 이상을 이용하여 곡률을 계산할 수 있고, 계산의 결과로 파라미터를 도출하는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 장치.
  6. 청구항 1에 있어서,
    상기 패턴 추정부는, 카메라 영상 내의 패턴을 구성하는 직선들의 곡률 값이 기 설정된 값이 되어 각각의 직선이 직선으로 변형되었을 때의 교점의 위치와 이전의 교점 위치 간의 좌표의 차이를 계산하여 패턴의 종횡 이동 값을 산출하는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 장치.
  7. 청구항 1에 있어서,
    상기 영상 입력부, 패턴 검출부, 패턴 분석부, 패턴 추정부 및 영상 출력부는, MCU(micro controller unit) 또는 칩 온 보드(chip on board)로 구현될 수 있는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 장치.
  8. 카메라가 패턴 모니터에 출력된 영상을 촬영하면, 그 패턴의 영상을 영상 입력부가 수신하는 카메라로부터 패턴 영상을 수신하는 단계;와, 상기 영상 입력부에서 수신된 패턴 영상을 패턴 검출부가 전송 받아 패턴의 윤곽선 정보를 추출하는 수신된 영상에서 패턴 정보를 추출하는 단계;와, 상기 패턴 검출부에서 추출한 윤곽선 정보를 이용하여 패턴 분석부가 패턴을 구성하는 각각의 직선들의 곡률을 계산하는 추출된 패턴 정보들로부터 곡률을 계산하는 단계;와, 상기 패턴 분석부에서 계산된 곡률 값이 기 설정된 임계값이 되는지를 판단하여 기 설정된 값이라면 광중심 정보를 저장부에 저장하는 단계로 진행하고 기 설정된 값이 아니라면 다음 단계로 진행하는 곡률의 값이 기 설정된 값이 되는 지를 판단하는 단계;와, 패턴 추정부가 패턴을 구성하는 각각의 직선들의 곡률 값이 기 설정된 값이 되도록 패턴의 종횡 이동값을 계산하는 단계;와, 상기 패턴 추정부가 산출해낸 종횡 이동값에 따라 영상 출력부가 이동된 패턴 영상을 상기 패턴 모니터로 출력한 후, 다시 처음의 단계로 되돌아가 각각의 단계들을 반복하는 종횡 이동값에 의해 이동된 패턴 영상을 출력하는 단계; 및 카메라 영상의 패턴 직선들이 기 설정된 임계값에 수렴하면 카메라 영상의 교점의 위치를 광중심 정보로 하여 그 결과를 저장부에 저장하고 과정을 종료하는 광중심 정보를 저장부에 저장하는 단계;를 포함하되,
    상기 카메라로부터 패턴 영상을 수신하는 단계는, 상기 패턴 모니터에서 출력되는 패턴 영상의 직선의 개수가 교차점에서 교차각이 생기도록 두 개 이상으로 구성되어 직선들의 교점위치를 구할 수 있도록 하고,
    상기 카메라로부터 패턴 영상을 수신하는 단계는, 상기 패턴 모니터에서 출력되는 패턴 영상의 각각의 직선들이 종횡으로 이동이 가능하도록 제어함으로써,
    상기 카메라 영상으로 보이는 각각의 직선들의 곡률 값이 기 설정된 값이 될 때까지 각 직선들을 종횡으로 이동시키는 단계를 반복하여, 각각의 직선들의 곡률 값이 기 설정된 값이 되면 그 때의 직선들의 교점위치를 광중심 정보로 저장하게 되는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 방법.
  9. 삭제
  10. 삭제
  11. 청구항 8에 있어서,
    수신된 영상에서 패턴 정보를 추출하는 단계는, 캐니(Canny) 에지 추출, 소벨(Sobel) 에지 추출, 프리윗(Prewitt) 에지 추출, 로버츠(Roberts) 에지 추출, 컴퍼스(Compass) 에지 추출, 라인(Line) 에지 추출 알고리즘 중의 어느 하나 이상을 이용하여 윤곽선을 추출하는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 방법.
  12. 청구항 8에 있어서,
    추출된 패턴 정보들로부터 곡률을 계산하는 단계는, 비선형 회귀 분석 방법이나 선형 맞춤 알고리즘 중의 어느 하나 이상을 사용하여 곡률을 계산하고, 계산의 결과로 파라미터를 도출하는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 방법.
  13. 청구항 8에 있어서,
    곡률 값이 기 설정된 값이 되도록 패턴의 종횡 이동값을 계산하는 단계는, 카메라 영상 내의 패턴을 구성하는 직선들의 곡률 값이 기 설정된 값이 되어 각각의 직선이 직선으로 변형되었을 때의 교점의 위치와 이전의 교점 위치 간의 좌표의 차이를 계산하여 산출하는 것을 특징으로 하는 카메라 광중심 측정을 위한 영상 처리 방법.
KR1020150084757A 2015-06-16 2015-06-16 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법 KR101703715B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150084757A KR101703715B1 (ko) 2015-06-16 2015-06-16 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150084757A KR101703715B1 (ko) 2015-06-16 2015-06-16 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20160148735A KR20160148735A (ko) 2016-12-27
KR101703715B1 true KR101703715B1 (ko) 2017-02-08

Family

ID=57736972

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150084757A KR101703715B1 (ko) 2015-06-16 2015-06-16 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101703715B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017129813A1 (de) * 2017-09-29 2019-04-04 Festool Gmbh Mobile Werkzeugmaschine
KR102412275B1 (ko) * 2021-05-27 2022-06-24 한국과학기술원 스테레오 방법을 이용한 3차원 형상정보 계측에 있어서의 이미지 왜곡 보정 방법 및 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177742A (ja) * 2007-01-17 2008-07-31 Alpine Electronics Inc カメラパラメータ取得装置
JP2010257357A (ja) 2009-04-28 2010-11-11 Renesas Electronics Corp 画像処理装置、半導体データ処理装置及びデータ処理システム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0715647A (ja) * 1993-06-25 1995-01-17 Koyo Seiko Co Ltd ２次元撮像装置のレンズ歪曲収差補正方法
KR101053506B1 (ko) * 2009-12-16 2011-08-03 (주) 에투시스템 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008177742A (ja) * 2007-01-17 2008-07-31 Alpine Electronics Inc カメラパラメータ取得装置
JP2010257357A (ja) 2009-04-28 2010-11-11 Renesas Electronics Corp 画像処理装置、半導体データ処理装置及びデータ処理システム

Also Published As

Publication number Publication date
KR20160148735A (ko) 2016-12-27

Similar Documents

Publication Publication Date Title
US9759548B2 (en) Image processing apparatus, projector and projector system including image processing apparatus, image processing method
CN111210468B (zh) 一种图像深度信息获取方法及装置
JP5580164B2 (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
CN100442141C (zh) 图像投影方法和设备
EP1343332A2 (en) Stereoscopic image characteristics examination system
CN109345467B (zh) 成像畸变校正方法、装置、计算机设备及存储介质
US20180120687A1 (en) Ranging method, automatic focusing method and device
CN105791691B (zh) 一种自动聚焦装置及其实时自动聚焦方法
CN108833912A (zh) 一种摄像机机芯光轴中心和视场角的测量方法及系统
CN107871329B (zh) 一种相机光学中心的快速标定方法及装置
CN110261069B (zh) 一种用于光学镜头的检测方法
KR20110068375A (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
WO2019184410A1 (zh) 虚拟现实设备的畸变参数测量方法及装置、测量系统
US20200342583A1 (en) Method, apparatus and measurement device for measuring distortion parameters of a display device, and computer-readable medium
US10074551B2 (en) Position detection apparatus, position detection method, information processing program, and storage medium
KR101703715B1 (ko) 카메라 광중심 측정을 위한 영상 처리 장치 및 그 방법
TW201326735A (zh) 寬度量測方法及系統
US20210256729A1 (en) Methods and systems for determining calibration quality metrics for a multicamera imaging system
KR20160001868A (ko) 카메라에서 촬영된 영상의 왜곡을 보정하기 위한 영상 왜곡 보정 방법
CN109313811A (zh) 基于视觉系统振动移位的自动校正方法、装置及系统
CN109040724B (zh) 一种结构光投影器的光斑畸变检测方法、装置及可读存储介质
US10726528B2 (en) Image processing apparatus and image processing method for image picked up by two cameras
TW201413214A (zh) 傾斜角度及置放位置之光學檢測系統及其檢測方法
CN114359401A (zh) 一种标定方法、系统及设备
CN109565544B (zh) 位置指定装置及位置指定方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant