KR101583662B1 - 광각 카메라 영상의 특징점 검출 방법 - Google Patents

광각 카메라 영상의 특징점 검출 방법 Download PDF

Info

Publication number
KR101583662B1
KR101583662B1 KR1020140052211A KR20140052211A KR101583662B1 KR 101583662 B1 KR101583662 B1 KR 101583662B1 KR 1020140052211 A KR1020140052211 A KR 1020140052211A KR 20140052211 A KR20140052211 A KR 20140052211A KR 101583662 B1 KR101583662 B1 KR 101583662B1
Authority
KR
South Korea
Prior art keywords
value
gray scale
feature point
pixels
image
Prior art date
Application number
KR1020140052211A
Other languages
English (en)
Other versions
KR20150125766A (ko
Inventor
하수영
나경진
정의태
김진경
최일
Original Assignee
아진산업(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아진산업(주) filed Critical 아진산업(주)
Priority to KR1020140052211A priority Critical patent/KR101583662B1/ko
Publication of KR20150125766A publication Critical patent/KR20150125766A/ko
Application granted granted Critical
Publication of KR101583662B1 publication Critical patent/KR101583662B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 광각 카메라 영상의 특징점 검출 방법에 관한 것으로서, 방사 왜곡을 갖는 적어도 하나 이상의 광각 카메라로부터 그리드 패턴을 촬영하여 그리드 영상을 획득하는 단계; 상기 그리드 영상에 대한 X축과 Y축의 모든 픽셀 라인에 대해 히스토그램을 구하고, 상기 히스토그램 평활화를 수행하는 단계; 미드포인트 기반 알고리즘을 이용하여 기준 반지름을 갖는 원형 마스크를 생성하고, 상기 생성한 원형 마스크를 이용하여 상기 그리드 영상의 전 영역에서 픽셀 단위로 특징점을 조사하는 특징점 검출 알고리즘을 수행하는 단계; 및 상기 특징점 검출 알고리즘에 의해 상기 그리드 영상의 후보 특징점들 또는 후보 특징점들의 주변 화소들에 대한 그레이스케일값의 변화량을 이용한 그레이스케일 반응값을 산출하고, 상기 그레이스케일 반응값이 기 설정된 임계값 이상인 경우에 해당 후보 특징점을 특징점으로 결정하는 단계를 포함하는 것을 특징으로 한다. 따라서, 본 발명은 광각 카메라로부터 촬영된 그리드 영상의 전 영역에 걸쳐 픽셀 단위로 특징점을 자동 검출할 수 있고, 그리드 영상의 교차점들의 좌표값들은 수작업을 통해 직접 구할 필요가 없어져 특징점 검출에 소요되는 시간을 상당히 단축할 수 있다.

Description

광각 카메라 영상의 특징점 검출 방법{ Method for detecting feature points wide angle camera }
본 발명은 광각 카메라 영상의 특징점 검출 방법에 관한 것으로, 보다 상세하게는 광각 카메라로부터 촬영된 그리드 영상의 전 영역에 걸쳐 픽셀 단위로 특징점을 자동 검출할 수 있는 광각 카메라 영상의 특징점 검출 방법에 관한 것이다.
일반적으로, 주차시 또는 후진시와 같이 차량의 후방 상황을 파악하기 위해 운전자는 좌/우측의 외부 사이드 미러와 내부 룸 미러를 이용하고 있다. 그러나, 운전자가 외부 사이드 미러와 내부 룸 미러를 통하여 차량의 후방을 파악할 수 있는 방향은 한정되어 사각지대가 생기게 된다. 이에 차량의 주차시 및 후진시 시계가 충분히 확보되지 않아 차량 후방의 상황을 정확히 인식하지 못하는 문제점이 있다.
이러한 단점을 해소하기 위하여 최근에는 차량의 후방에만 카메라를 설치하고 카메라를 통해 촬영된 영상을 차량 내부에서 모니터링 할 수 있도록 하는 후방 감시 카메라를 이용한 모니터링 시스템이 이용되고 있다. 그런데, 후방 감시 카메라를 이용한 모니터링 시스템은 후방 영상만을 제공하기 때문에 차량의 좌우측 또는 전방 영상을 모니터링 할 수 없는 단점이 있다.
이에 최근에는 차량의 전방, 후방, 좌측 및 우측에 장착된 카메라를 이용하여 가상 시점에서 차량을 부감(상공으로부터 내려다 본 상태)시킨 평면 시점(Top view) 화면을 제공하여 운전자가 볼 수 없는 시야를 확보할 수 있도록 하는 전방위 감시 시스템이 제공되고 있다.
그러나, 종래의 전방위 감시 시스템은 차량의 전후좌우에 어안렌즈 카메라(Fish-eye lens camera) 또는 광각 렌즈 카메라를 각각 1대씩 장착하고, 각각의 어안렌즈 카메라로부터 획득한 영상을 영상처리를 통해 하나의 평면 시점 영상으로 생성한다. 평면 시점 영상은 차량 운전자의 사각지대를 제거하여 주차 및 좁은 골목 등의 운전을 용이하게 하여 사용자에게 안전성 및 편의성을 향상시켜줄 수 있다.
전방위 감시 시스템을 구현하기 위해서 차량에 장착하는 카메라는 일반적으로 시계(Field of view)가 180도 이상인 어안렌즈를 이용한다. 어안렌즈 카메라에서 촬영한 영상은 극도로 짧은 초점 거리로 인해 원주 방향의 심한 방사 왜곡(Radial distortion)을 가지고, 카메라 제조 과정에서 영상 센서와 렌즈가 기하학적으로 평행이 되지 않는 경우에 접선 왜곡(Tangential distortion)이 부가적으로 발생한다.
만일 어안렌즈의 왜곡이 없다고 가정하면, 카메라가 차량의 바닥면을 비스듬하게 바라보도록 장착되어 있기 때문에 영상은 실제 영상의 원근 투영(Perspective projection)된 형태를 가진다. 따라서, 전방위 감시 시스템은 각 어안렌즈 카메라에서 획득한 왜곡 영상에 대해 렌즈의 왜곡을 제거한 후에 원근 투영 영상을 평면 시점으로 투영 변환하여 평면 시점 영상을 생성해야 한다.
선행기술자료로써, 한국등록특허 제10-1293263호에 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법이 개시되어 있다.
종래의 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법은 복수개의 광각 카메라로부터 획득되는 복수개의 입력 영상 신호를 이용하여 단일 평면화 합성 영상으로 합성하여 제공하는 경우 합성 영상에 거리 정보를 함께 표시할 수 있도록 한다.
종래의 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법은 광각 카메라에 의해 획득된 복수 개의 입력 영상이 서로 공통되는 영역를 가지므로 이들에 대해서 해리스 코너 검출기(Harris corner detector) 등과 같은 코너 검출 방법(corner detection), SIFT(Scale Invariant Feature Transform), SURF(Speed-up Robust Feature) 등과 같은 기존의 알고리즘을 이용하여 특징점을 찾게 된다.
또한, 한국등록특허 제10-1265667호에 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법이 개시되어 있다.
종래의 3차원 영상 합성 장치 및 그 방법은 차량에 설치된 복수의 광각카메라로부터 촬영된 기준패턴에서 특징점을 추출하고, 미리 알고 있는 추출된 특징점들의 물리적 위치정보를 이용하여 각 카메라의 상대적 위치와 설치각을 추정하며, 촬영된 영상을 이용하여 렌즈 왜곡 보정을 위한 렌즈의 광중심을 포함한 광학 파라미터를 획득한 후 이 값들을 이용하여 카메라의 공차를 보정하여 3차원 이미지를 합성한다.
이러한 어안 렌즈 또는 광각 렌즈 카메라의 경우에 영상의 왜곡이 심한 문제점이 발생하게 된다. 따라서, 이러한 왜곡된 영상을 교정하는 처리가 필요하게 되는데, 이러한 경우 왜곡된 영상을 워핑 방정식이나 왜곡 보정 알고리즘을 이용하여 교정하는 것이 일반적이다.
워핑 방정식을 이용한 교정 방법은 왜곡 영상의 교정에 있어서 격자(바둑판) 형상의 표준 그리드 이미지를 이용하여 워핑 파라미터를 산출한 후 이를 모든 픽셀에 적용하게 된다. 이러한 워핑 방정식을 적용하기 위해서는 표준 그리드 이미지의 교차점들의 좌표값과 광각 카메라로 촬상하여 얻어지는 왜곡 그리드 이미지 상의 교차점들의 좌표값을 알아야 한다.
종래의 경우 이러한 표준 그리드 이미지의 교차점들의 좌표값과 광각 카메라로 촬상하여 얻어지는 왜곡그리드 이미지 상의 교차점들의 좌표값들은 수작업을 통해 직접 구해야하므로 테스트 포인트가 많을 경우 시간이 많이 소요되는 문제점이 있다.
이와 같이, 종래의 광각 카메라의 특징점 검출 방식은 평면 교정판의 교차점이 왜곡 보정을 위한 특징점으로 사용되는데, 원근 왜곡과 광각 카메라의 방사 왜곡으로 인해서 기존 알고리즘으로 특징점 자동 검출이 불가능하다는 문제점이 있다.
한국등록특허 제10-1293263호 " 복수개의 영상을 합성한 합성 영상에서 거리 정보를 제공하는 기능을 구비하는 영상 처리 장치 및 방법 " 한국등록특허 제10-1265667호 " 차량 주변 시각화를 위한 3차원 영상 합성장치 및 그 방법 "
본 발명은 특징 검출 알고리즘에 의해 생성된 원형 마스크와 타켓 영상의 중심 화소를 기준으로 생성한 내부 원을 이용하여 내부 원에 위치한 화소들의 그레이스케일값과 원형 마스크의 내측과 내부원의 외측에 위치하는 화소들의 그레이스케일값을 비교함으로써 광각 카메라로부터 촬영된 그리드 영상의 전 영역에 걸쳐 픽셀 단위로 특징점을 자동 검출할 수 있는 광각 카메라 영상의 특징점 검출 방법를 제공한다.
실시예들 중에서, 광각 카메라 영상의 특징점 검출 방법은, 방사 왜곡을 갖는 적어도 하나 이상의 광각 카메라로부터 그리드 패턴을 촬영하여 그리드 영상을 획득하는 단계; 상기 그리드 영상에 대한 X축과 Y축의 모든 픽셀 라인에 대해 히스토그램을 구하고, 상기 히스토그램 평활화를 수행하는 단계; 미드포인트 기반 알고리즘을 이용하여 기준 반지름을 갖는 원형 마스크를 생성하고, 상기 생성한 원형 마스크를 이용하여 상기 그리드 영상의 전 영역에서 픽셀 단위로 특징점을 조사하는 특징점 검출 알고리즘을 수행하는 단계; 및 상기 특징점 검출 알고리즘에 의해 상기 그리드 영상의 후보 특징점들 또는 후보 특징점들의 주변 화소들에 대한 그레이스케일값의 변화량을 이용한 그레이스케일 반응값을 산출하고, 상기 그레이스케일 반응값이 기 설정된 임계값(Rt) 이상인 경우에 해당 후보 특징점을 특징점으로 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 특징점 검출 알고리즘은, 상기 원형 마스크의 중심점을 상기 그리드 영상 중 타겟 영상의 중심 화소에 위치시키고, 상기 타겟 영상의 중심 화소를 중심점으로 하고, 상기 기준 반지름보다 작은 내부 반지름을 갖는 내부 원을 생성하는 제1 단계; 상기 원형 마스크의 중심점으로부터 원주 상의 제N 화소까지의 직선을 구성한 제N 검사 라인을 생성하고, 상기 제N 검사 라인 내의 모든 화소들의 좌표 정보와 화소 정보를 라인포인트값에 저장하는 제2 단계; 상기 제N 검사 라인에 저장된 화소들의 좌표 정보를 토대로 화소들의 그레이스케일 값을 누적한 총합(Stotal)을 산출하고, 상기 제N 검사 라인을 기준으로 상기 내부 원에 위치한 화소들의 그레이스케일값을 누적한 내부 총합(Sinner)을 산출하며, 상기 제N 검사 라인을 기준으로 상기 내부 원과 원형 마스크 사이에 위치한 화소들의 그레이스케일 값을 누적한 외부 총합(Souter)을 산출하는 제3 단계; 상기 원형 마스크의 모든 화소에 대해 제1 단계, 제2 단계 및 제3 단계를 수행한 후에 상기 원형 마스크에서 내부 원을 제외한 화소들의 그레이스케일 값의 외부 평균값(Mouter)을 구하고, 상기 내부 원의 내측 화소들의 그레이스케일 값의 내부 평균값(Minner)을 구하는 제4 단계; 상기 외부 평균값과 내부 평균값을 이용한 반응 평균값(Rmean)을 산출하고, 상기 제N 검사라인의 화소들에 대한 반사 대칭점들의 그레이스케일값을 이용하여 반응 차이값(Rdiff)을 산출하며, 상기 제N 검사 라인의 화소들에 대한 X축 기준의 반사 대칭점들의 그레이스케일값을 이용한 반사 대칭 합산값(Srs)과 Y축 기준의 반사 대칭점들의 그레이스케일값을 이용한 반사 대칭 합산값(Srsp)의 절대값을 계산하여 반응 대칭값(Rsymm)을 산출하는 제5 단계; 및 상기 반응 대칭값(Rsymm)에서 반응 차이값(Rdiff)과 반응 평균값(Rmean)의 차를 계산하여 상기 후보 특징점의 그레이스케일 반응값(Rtotal)을 산출한 후에 상기 후보 특징점의 그레이 스케일 반응값(Rtotal)이 상기 임계값(Rt) 이상인 경우에 특징점으로 결정하는 제6 단계인 것을 특징으로 한다.
상기 제6 단계는 상기 후보 특징점의 그레이 스케일 반응값(Rtotal)이 상기 임계값(Rt) 미만인 경우에 해당 후보 특징점을 특징점에서 제외하는 단계를 포함하는 것을 특징으로 한다.
삭제
본 발명의 광각 카메라 영상의 특징점 검출 방법은 특징 검출 알고리즘에 의해 생성된 원형 마스크와 타켓 영상의 중심 화소를 기준으로 생성한 내부 원을 이용하여 내부 원에 위치한 화소들의 그레이스케일값과 원형 마스크의 내측과 내부원의 외측에 위치하는 화소들의 그레이스케일값을 비교함으로써 광각 카메라로부터 촬영된 그리드 영상의 전 영역에 걸쳐 픽셀 단위로 특징점을 자동 검출할 수 있고, 그리드 영상의 교차점들의 좌표값들은 수작업을 통해 직접 구할 필요가 없어져 특징점 검출에 소요되는 시간을 상당히 단축할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 광각 카메라 영상의 특징점 검출 방법을 설명하는 순서도이다.
도 2는 도 1의 특징점 검출 알고리즘을 설명하는 순서도이다.
도 3은 본 발명의 실시예에 따른 체스보드 형태의 평면 교정판의 타겟 영상에서 원형 마스크와 내부 원을 설명하는 도면이다.
도 4는 도 1의 특징점 검출 알고리즘에 의해 결정된 특징점을 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 실시예에 따른 광각 카메라 영상의 특징점 검출 방법을 설명하는 순서도이다.
도 1을 참고하면, 광각 카메라 영상의 특징점 검출 방법은, 방사 왜곡을 갖는 적어도 하나 이상의 광각 카메라로부터 촬영된 영상의 왜곡 보정을 위해 체스보드 형태의 평면 교정판이 사용되고, 평면 교정판을 광각 카메라로부터 촬영한 그리드 영상을 불러온다.(S1)
광각 카메라 영상의 특징점 검출 방법은 그리드 영상에 대한 X축과 Y축의 모든 픽셀 라인에 대해 히스토그램을 구하고, 히스토그램 평활화를 수행한다.(S2) 히스토그램 평활화(Histogram Equalized)는 어둡게 촬영된 영상의 히스토그램을 조절하여 명암 분포가 빈약한 영상을 균일하게 만들어줌으로써 영상의 밝기 분포를 재분배하여 명암 대비를 최대화할 수 있다.
광각 카메라 영상의 특징점 검출 방법은 미드포인트 써클 알고리즘을 이용하여 기준 반지름을 갖는 원형 마스크를 생성한다.(S3) 이때, 원형 마스크의 반지름은 5 픽셀로 설정하되, 영상에 따라 사이즈가 조절될 수 있다.
특징점 검출 알고리즘은 원형 마스크를 이용하여 그리드 영상의 전 영역에서 픽셀 단위로 특징점을 조사한다.(S4)
특징점 검출 알고리즘은 그리드 영상의 후보 특징점들의 그레이스케일 반응값을 산출하고, 그레이스케일 반응값이 기 설정된 임계값 이상인 경우에 해당 후보 특징점을 특징점으로 자동 결정한다.(S5)
도 2는 도 1의 특징점 검출 알고리즘을 설명하는 순서도이며, 도 3은 본 발명의 실시예에 따른 체스보드 형태의 평면 교정판의 타겟 영상에서 원형 마스크와 내부 원을 설명하는 도면이고, 도 4는 도 1의 특징점 검출 알고리즘에 의해 결정된 특징점을 설명하는 도면이다.
도 2 내지 도 4를 참고하면, 특징점 검출 알고리즘은 원형 마스크의 중심점을 그리드 영상 중 타겟 영상의 중심 화소에 위치시킨다.(S11) 그리고, 도 3에 도시된 바와 같이, 타겟 영상의 중심 화소를 중심점으로 하고, 기준 반지름보다 작은 내부 반지름을 갖는 내부 원을 생성한다.(S12) 이때, 내부 원의 반지름은 1~3 픽셀로 설정될 수 있으며, 본 발명의 실시예에서 내부 원의 반지름은 2픽셀로 설정된다.
특징점 검출 알고리즘은 브레젠험 라인(Bresenham line) 알고리즘을 이용하여 원형 마스크의 중심점으로부터 원주 상의 제1 화소까지의 직선을 구성한 제1 검사 라인을 생성하고, 제1 검사 라인 내의 모든 화소들의 좌표값들에 대한 좌표 정보와 화소수에 대한 화소 정보를 라인포인트값에 저장한다.(S13)
제1 검사 라인에 저장된 모든 화소 좌표의 그레이스케일 값을 누적한 총합(Stotal)을 산출하고, 제1 검사 라인을 기준으로 내부 원에 위치한 화소들의 그레이스케일값을 누적한 내부 총합(Sinner)을 산출하며, 제1 검사 라인을 기준으로 내부 원의 외측 및 원형 마스크의 내측에 위치한 모든 화소들의 그레이스케일 값을 누적한 외부 총합(Souter)을 산출한다.(S14)
특징점 검출 알고리즘은 원형 마스크의 원주상에 N개의 화소가 존재하는 경우에, N개의 화소에 대해 N개의 검사 라인을 생성하고, N개의 검사라인마다 라인 포인트값, 총합(Stotal), 내부 총합(Sinner) 및 외부 총합(Souter)을 산출한다.
특징점 검출 알고리즘은 원주 상의 모든 화소에 대한 총합 산출이 완료된 경우에, 원형 마스크에서 내부 원을 제외한 화소들의 그레이스케일 값의 외부 평균값(Mouter)을 구하고, 내부 원의 내측 화소들의 그레이스케일 값의 내부 평균값(Minner)을 구한다.(S15, S16)
특징점 검출 알고리즘은 타겟 영상의 중심 화소를 후보 특징점으로 한 후 특징점 추출 계산식을 이용하여 각 후보 특징점의 그레이스케일 반응값(Rtotal)을 산출한다.(S17)
특징점 추출 계산식은 수학식 1을 이용한 외부 평균값과 내부 평균값의 차이에 대한 절대값을 계산하여 반응 평균값(Rmean)을 산출한다. 도 3에 도시된 바와 같이, 후보 특징점, 즉 내부 원의 중심점이 체스보드의 교차점일 경우에 외부 평균값(Mouter)은 0이 되고, 내부 평균값(Minner)도 0이 되므로, 반응 평균값(Rmean)은 0이 된다.
Figure 112014041406396-pat00001
수학식 2를 참고하면, 특징점 검출 알고리즘은 X축을 기준으로 제N 검사라인의 화소들의 반사 대칭점(reflectional symmetry point)의 그레이스케일 값을 구하고, 제N 검사라인의 화소들의 그레이스케일값과 반사 대칭점들의 그레이 스케일값의 차이(Prs)의 절대값을 계산하여 반응 차이값(Rdiff)을 산출한다.
이때, 그레이스케일 값은 0(흑색)에서 255(백색) 단계로 흑백의 강도를 나타내는 것이므로, 내부 원의 중심점이 특징점일 경우에 제N 검사라인의 화소들이 백색(또는 흑색)에 대한 그레이스케일값이고, 반사 대칭점들의 그레이 스케일값이 흑색(또는 백색)에 대한 그레이 스케일값이므로 반응 차이값(Rdiff)은 최대값(255)에 근접한 값이 된다. 특징점 검출 알고리즘은 Y축을 기준으로 반사 대칭을 수행할 수 있고, 이 경우에도 반응 차이값(Rdiff)은 내부 원의 중심점이 특징점일 경우에 최대값에 근접한 값이 된다.
Figure 112014041406396-pat00002
수학식 3을 참고하면, X축을 기준으로 제N 검사 라인에 대한 모든 반사 대칭점들의 그레이스케일값을 합산한 반사 대칭 합산값(Srs)과 Y축, 즉 반사 대칭의 90도 위상차를 가지는 화소들의 그레이스케일값을 합산한 합산값(Srsp)의 절대값을 계산하여 반응 대칭값(Rsymm)을 산출한다.
Figure 112014041406396-pat00003
수학식 1 내지 수학식 3을 이용하여 후보 특징점의 그레이스케일값(Rtotal)을 산출할 수 있다.
Figure 112014041406396-pat00004
특징점 검출 알고리즘은 후보 특징점의 그레이스케일 반응값(Rtotal)이 임계값(Rt) 이상인 경우에 해당 특징점을 특징점으로 결정하지만, 후보 특징점의 그레이스케일 반응값(Rtotal)이 임계값(Rt) 미만일 경우에 해당 후보 특징점을 특징점에서 제외시키게 된다. (S18, S19, S20)
도 4에 도시된 바와 같이, 일반적으로 광각 카메라로 촬영된 그리드 영상은 광량 변화, 카메라 또는 외부 요인에 의해 영상이 흐릿하게 보이는 흔들림 또는 블러링된 영상이 발생될 수 있다.
따라서, 특징점의 주변 화소들이 블러링 효과에 의해 그레이스케일 값이 변화될 수 있으므로, 임계값을 20~30 정도의 값으로 설정한다.
도 4에 도시된 바와 같이, 1개의 화소가 후보 특징점으로 검출된 경우에, 후보 특징점을 기준으로 상부측 그레이스케일 반응값과 하부측 그레이스케일 반응값의 차에 대한 절대값은 '0'에 근접할수록 후보 특징점이 특징점이 될 확률이 높아진다.
특징점 검출 알고리즘은 그리드 영상의 모든 화소에 대해 특징점 조사를 수행한 후 그리드 영상에 대한 특징점들이 자동으로 결정되면 특징점 검출 과정이 모두 종료된다.(S21)
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (3)

  1. 방사 왜곡을 갖는 적어도 하나 이상의 광각 카메라로부터 그리드 패턴을 촬영하여 그리드 영상을 획득하는 단계;
    상기 그리드 영상에 대한 X축과 Y축의 모든 픽셀 라인에 대해 히스토그램을 구하고, 상기 히스토그램 평활화를 수행하는 단계;
    미드포인트 기반 알고리즘을 이용하여 기준 반지름을 갖는 원형 마스크를 생성하고, 상기 생성한 원형 마스크를 이용하여 상기 그리드 영상의 전 영역에서 픽셀 단위로 특징점을 조사하는 특징점 검출 알고리즘을 수행하는 단계; 및
    상기 특징점 검출 알고리즘에 의해 상기 그리드 영상의 후보 특징점들 또는 후보 특징점들의 주변 화소들에 대한 그레이스케일값의 변화량을 이용한 그레이스케일 반응값을 산출하고, 상기 후보 특징점의 그레이스케일 반응값이 기 설정된 임계값(Rt) 이상인 경우에 해당 후보 특징점을 특징점으로 결정하는 단계를 포함하는 것을 특징으로 하는 광각 카메라 영상의 특징점 검출 방법.
  2. 제1항에 있어서,
    상기 특징점 검출 알고리즘은,
    상기 원형 마스크의 중심점을 상기 그리드 영상 중 타겟 영상의 중심 화소에 위치시키고, 상기 타겟 영상의 중심 화소를 중심점으로 하고, 상기 기준 반지름보다 작은 내부 반지름을 갖는 내부 원을 생성하는 제1 단계;
    상기 원형 마스크의 중심점으로부터 원주 상의 제N 화소까지의 직선을 구성한 제N 검사 라인을 생성하고, 상기 제N 검사 라인 내의 모든 화소들의 좌표 정보와 화소 정보를 라인포인트값에 저장하는 제2 단계;
    상기 제N 검사 라인에 저장된 화소들의 좌표 정보를 토대로 화소들의 그레이스케일 값을 누적한 총합(Stotal)을 산출하고, 상기 제N 검사 라인을 기준으로 상기 내부 원에 위치한 화소들의 그레이스케일값을 누적한 내부 총합(Sinner)을 산출하며, 상기 제N 검사 라인을 기준으로 상기 내부 원과 원형 마스크 사이에 위치한 화소들의 그레이스케일 값을 누적한 외부 총합(Souter)을 산출하는 제3 단계;
    상기 원형 마스크의 모든 화소에 대해 제1 단계, 제2 단계 및 제3 단계를 수행한 후에 상기 원형 마스크에서 내부 원을 제외한 화소들의 그레이스케일 값의 외부 평균값(Mouter)을 구하고, 상기 내부 원의 내측 화소들의 그레이스케일 값의 내부 평균값(Minner)을 구하는 제4 단계;
    상기 외부 평균값과 내부 평균값을 이용한 반응 평균값(Rmean)을 산출하고, 상기 제N 검사라인의 화소들에 대한 반사 대칭점들의 그레이스케일값을 이용하여 반응 차이값(Rdiff)을 산출하며, 상기 제N 검사 라인의 화소들에 대한 X축 기준의 반사 대칭점들의 그레이스케일값을 이용한 반사 대칭 합산값(Srs)과 Y축 기준의 반사 대칭점들의 그레이스케일값을 이용한 반사 대칭 합산값(Srsp)의 절대값을 계산하여 반응 대칭값(Rsymm)을 산출하는 제5 단계; 및
    상기 반응 대칭값(Rsymm)에서 반응 차이값(Rdiff)과 반응 평균값(Rmean)의 차를 계산하여 상기 후보 특징점의 그레이스케일 반응값(Rtotal)을 산출한 후에 상기 후보 특징점의 그레이 스케일 반응값(Rtotal)이 상기 임계값(Rt) 이상인 경우에 특징점으로 결정하는 제6 단계인 것을 특징으로 하는 광각 카메라 영상의 특징점 검출 방법.
  3. 제2항에 있어서,
    상기 제6 단계는 상기 후보 특징점의 그레이 스케일 반응값(Rtotal)이 상기 임계값(Rt) 미만인 경우에 해당 후보 특징점을 특징점에서 제외하는 단계를 포함하는 것을 특징으로 하는 광각 카메라 영상의 특징점 검출 방법.
KR1020140052211A 2014-04-30 2014-04-30 광각 카메라 영상의 특징점 검출 방법 KR101583662B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140052211A KR101583662B1 (ko) 2014-04-30 2014-04-30 광각 카메라 영상의 특징점 검출 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140052211A KR101583662B1 (ko) 2014-04-30 2014-04-30 광각 카메라 영상의 특징점 검출 방법

Publications (2)

Publication Number Publication Date
KR20150125766A KR20150125766A (ko) 2015-11-10
KR101583662B1 true KR101583662B1 (ko) 2016-01-12

Family

ID=54605217

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140052211A KR101583662B1 (ko) 2014-04-30 2014-04-30 광각 카메라 영상의 특징점 검출 방법

Country Status (1)

Country Link
KR (1) KR101583662B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4596407B2 (ja) 2001-09-05 2010-12-08 大日本印刷株式会社 スクリーニング方法、スクリーニング装置、及び印刷物

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4596407B2 (ja) 2001-09-05 2010-12-08 大日本印刷株式会社 スクリーニング方法、スクリーニング装置、及び印刷物

Also Published As

Publication number Publication date
KR20150125766A (ko) 2015-11-10

Similar Documents

Publication Publication Date Title
US10504242B2 (en) Method and device for calibrating dual fisheye lens panoramic camera, and storage medium and terminal thereof
US10636130B2 (en) Image processing device
CN110717942B (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
CN109831660B (zh) 深度图像获取方法、深度图像获取模组及电子设备
US8212210B2 (en) IR camera and method for presenting IR information
KR101053506B1 (ko) 어안 렌즈를 구비하는 카메라 모듈에 의해 획득된 영상의 왜곡 보정을 위한 파라미터 조정 방법
JP5456330B2 (ja) 画像表示装置及びそのカメラ取り付け角度算出方法
JP2012088114A (ja) 光学情報処理装置、光学情報処理方法、光学情報処理システム、光学情報処理プログラム
US10205928B2 (en) Image processing apparatus that estimates distance information, method of controlling the same, and storage medium
JP5849522B2 (ja) 画像処理装置、プロジェクタ、プロジェクタシステム、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
CN110087049A (zh) 自动调焦系统、方法以及投影仪
CN109559353B (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
JP2013542528A (ja) 夜景画像ボケ検出システム
KR101926258B1 (ko) Avm 시스템의 자동 캘리브레이션 방법
JP6585668B2 (ja) 物体検出装置
KR20150014311A (ko) 어라운드뷰 제공 장치, 방법 및 차량
JP2010087743A (ja) 車載カメラの校正装置
JP6866419B2 (ja) ビデオシーケンスにおいて動きを検出するための方法
JP2007122328A (ja) 歪曲収差補正装置及び歪曲収差補正方法
KR101583662B1 (ko) 광각 카메라 영상의 특징점 검출 방법
CN116051652A (zh) 一种参数标定方法及电子设备、存储介质
JP5955003B2 (ja) 画像処理装置および画像処理方法、プログラム
CN113160259B (zh) 边缘检测方法、装置、计算机设备及存储介质
US20210357675A1 (en) Image processing apparatus, image pickup apparatus, image processing method, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191204

Year of fee payment: 5