KR101671073B1 - 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버 - Google Patents

랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버 Download PDF

Info

Publication number
KR101671073B1
KR101671073B1 KR1020140179447A KR20140179447A KR101671073B1 KR 101671073 B1 KR101671073 B1 KR 101671073B1 KR 1020140179447 A KR1020140179447 A KR 1020140179447A KR 20140179447 A KR20140179447 A KR 20140179447A KR 101671073 B1 KR101671073 B1 KR 101671073B1
Authority
KR
South Korea
Prior art keywords
landmark
image
area
slope
coordinates
Prior art date
Application number
KR1020140179447A
Other languages
English (en)
Other versions
KR20160071817A (ko
Inventor
이강희
임원준
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020140179447A priority Critical patent/KR101671073B1/ko
Publication of KR20160071817A publication Critical patent/KR20160071817A/ko
Application granted granted Critical
Publication of KR101671073B1 publication Critical patent/KR101671073B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/617—Upgrading or updating of programs or applications for camera control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버가 제공된다. 본 발명의 일 실시예에 따른 서비스 서버가 촬영 장치의 영상을 보정하는 방법은 (a) 제 1 시점에, 촬영 장치로부터 수신된 제 1 영상 내에서 특정 객체를 포함하는 다각형의 랜드마크(landmark) 영역을 설정하는 단계, (b) 상기 제 1 영상 내에서 상기 랜드마크 영역의 좌표 및 기울기를 기준 정보로 저장하는 단계, (c) 제 2 시점에, 상기 촬영 장치로부터 수신된 제 2 영상 내에서 상기 랜드마크 영역을 검색하는 단계 및 (d) 상기 기준 정보로 저장된 좌표 및 기울기와 상기 검색된 랜드마크 영역의 좌표 및 기울기를 비교하여 상기 제 2 영상을 보정하는 단계를 포함하는 것을 특징으로 한다.

Description

랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버{CAMERA IMAGE CALIBRATION METHOD AND SERVICE SERVER BASED ON LANDMARK RECOGNITION}
본 발명은 카메라 영상 보정 방법 및 서비스 서버에 관한 것으로, 더욱 상세하게는 사용자가 설정한 랜드마크의 인식에 기반하여 카메라의 영상을 보정하는 기술에 관한 것이다.
최근 교통 체증을 해결하기 위한 방안으로 비보호 좌회전 전용 교차로를 늘리고 있는데, 여기에 카메라의 영상 인식 기술을 활용 하고 있다.
예를 들어, CCTV를 통해 전송된 영상으로부터 좌회전 차선의 차량 유무를 판단하여, 차량이 없거나 차량이 적은 교차로에서 신호를 생략 또는 최소화 하는 반감응 신호 시스템을 도입하여 교통 체증을 줄이는 방식이다.
그러나, 이러한 종래 기술은 외부 환경(예를 들어 비, 바람 등)에 의해 CCTV의 스팟 위치가 변경되는 경우 잘못된 차선을 인식하게 된다.
즉, 좌회전 차로의 객체 인식을 통해 신호를 조절해야함에도, 스팟 위치 변경으로 직진 차로을 인식하여 신호를 조절하게 되는 경우 심각한 문제를 발생시킬 수 있다.
뿐만 아니라, 외부 환경에 의해 이미 움직인 CCTV의 스팟 위치를 물리적으로 즉시 이동시키는 것은 불가능하다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로, 외부 환경(예를 들어 태풍 등)에 의해 변화된 카메라의 촬영 각도 등의 왜곡을 소프트웨어적으로 보정할 수 있는 방안을 제공하고자 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 서비스 서버가 촬영 장치의 영상을 보정하는 방법은 (a) 제 1 시점에, 촬영 장치로부터 수신된 제 1 영상 내에서 특정 객체를 포함하는 다각형의 랜드마크(landmark) 영역을 설정하는 단계, (b) 상기 제 1 영상 내에서 상기 랜드마크 영역의 좌표 및 기울기를 기준 정보로 저장하는 단계, (c) 제 2 시점에, 상기 촬영 장치로부터 수신된 제 2 영상 내에서 상기 랜드마크 영역을 검색하는 단계 및 (d) 상기 기준 정보로 저장된 좌표 및 기울기와 상기 검색된 랜드마크 영역의 좌표 및 기울기를 비교하여 상기 제 2 영상을 보정하는 단계를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위해, 본 발명의 일 실시예에 따른 제 1 시점에, 촬영 장치로부터 수신된 제 1 영상 내에서 특정 객체를 포함하는 다각형의 랜드마크(landmark) 영역을 설정하고, 상기 랜드마크 영역의 좌표 및 기울기를 기준 정보로 저장하는 랜드마크 영역 설정부, 제 2 시점에, 상기 촬영 장치로부터 수신된 제 2 영상 내에서 상기 랜드마크 영역을 검색하는 랜드마크 영역 검색부 및 상기 기준 정보로 저장된 좌표 및 기울기와 상기 검색된 랜드마크 영역의 좌표 및 기울기를 비교하여 상기 제 2 영상을 보정하는 영상 보정부를 포함하는 것을 특징으로 한다.
본 발명의 일 실시예에 따르면, 외부 환경에 따른 카메라의 촬영 각도 변화를 인지하고 이를 소프트웨어적으로 보정할 수 있다.
또한, 사용자가 일반 도로 및 비정형 도로에 존재하는 랜드마크를 직접 선택할 수 있으므로 랜드마크가 존재하는 장소이면 일반 도로나 비정형 도로에 관계 없이 적용 할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정 시스템의 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 서비스 서버의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 랜드마크 영역의 중심 좌표와 기울기 산출 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정 과정을 도시한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정의 결과를 도시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정의 결과를 도시한 도면이다.
도 8은 본 발명의 또 다른 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정의 결과를 도시한 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다.
그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다.
또한 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 구비할 수 있다는 것을 의미한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정 시스템의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 영상 보정 시스템(이하, ‘카메라 영상 보정 시스템’이라 칭함)(100)은 카메라(110), 서비스 서버(120)를 포함할 수 있다.
각 구성 요소를 설명하면, 카메라(110)는 횡단보도나 중앙 차선, 신호등 등이 존재하는 정형화된 도로 또는 상기 정형화된 도로가 아닌 비정형화된 도로 등에 설치되어 실시간으로 촬영된 영상을 서비스 서버(120)로 전송할 수 있다.
여기서 카메라(110)에 의해 촬영된 영상(이하, ‘카메라 영상’이라 칭함)에는 횡단보도, 중앙 차선, 신호등 뿐만 아니라 반사경, 표지판, 전봇대, 간판 등 다양한 객체들이 포함될 수 있으며, 카메라 영상 보정 시스템의 사용자(이하, ‘시스템 관리자’라 칭함)는 카메라 영상 내에서 하나 이상의 객체를 ‘랜드마크(landmark)’로 설정할 수 있다.
참고로, 카메라 영상 내에서 랜드마크로 설정되는 객체는 상기 객체들과 같이 고정되어 움직이지 않는 것으로 설정되는 것이 바람직하다.
한편, 서비스 서버(120)는 제 1 시점 및 제 2 시점에 수신된 카메라 영상의 랜드마크를 이용하여 카메라(110)의 촬영 각도 변화 및 촬영 시선의 이동 중 하나 이상을 감지할 수 있다.
여기서, ‘촬영 시선의 이동’은 반감응 신호 시스템에서 좌회전 차로와 같은 특정 영역(스팟;spot)에 카메라의 촬영 시선이 맞춰져 있으나, 외부 환경(태풍 등)의 영향으로 해당 촬영 시선이 이동하여 스팟의 위치가 변경된 것을 의미할 수 있다.
또한 서비스 서버(120)는 제 1 시점에 미리 저장된 랜드마크의 기준 정보에 기반하여 제 2 시점에 수신된 카메라 영상을 보정할 수 있다.
이에 대한 상세한 설명은 도 2를 참조하여 후술하도록 한다.
도 2는 본 발명의 일 실시예에 따른 서비스 서버의 구성을 도시한 도면이다.
본 발명의 일 실시예에 따른 서비스 서버(120)는 랜드마크 영역 설정부(121), 기준 정보 DB(122), 랜드마크 영역 검색부(123) 및 영상 보정부(124)를 포함할 수 있다.
각 구성 요소를 설명하면, 랜드마크 영역 설정부(121)는 제 1 시점에 수신된 카메라 영상(이하, ‘제 1 영상’이라 칭함) 내에서 특정 객체를 포함하는 다각형의 랜드마크 영역을 설정하고, 랜드마크 영역의 좌표(각 꼭지점 좌표와 중심 좌표) 및 기울기를 기준 정보로서 기준 정보 DB(122)에 저장할 수 있다.
여기서, ‘랜드마크 영역의 설정’은 시스템 관리자가 마우스를 이용하여 제 1 영상 내에서 랜드마크인 특정 객체가 포함되도록 드래그(drag)하거나, 복수의 꼭지점을 선택하여 형성된 다각형 영역을 형성함으로써 임시 랜드마크 영역으로 설정될 수 있다.
이후 랜드마크 영역 설정부(121)는 상기 임시 랜드마크 영역 내에서 랜드마크의 특징점을 추출하고, 상기 추출된 특징점을 포함하는 다각형 영역을 랜드마크 영역으로 설정할 수 있다.
여기서, 랜드마크의 특징점을 포함하는 랜드마크 영역은 각 특징점으로부터 최소 거리를 가지도록, 즉, 최소 크기의 다각형 영역을 가지도록 설정될 수 있는데, 이는 동일한 랜드마크에 대해서 일정한 크기의 다각형 영역을 생성하기 위함이다.
이후, 랜드마크 영역 설정부(121)는 제 1 영상 내에서 랜드마크 영역의 각 꼭지점 좌표를 산출할 수 있으며, 각 꼭지점 좌표를 이용하여 랜드마크 영역의 넓이와 중심 좌표, 그리고 기울기를 산출하고 이를 기준 정보 DB(122)에 저장할 수 있다.
여기서, 기준 정보 DB(122)에 저장되는 랜드마크 영역의 기울기는 기본(default)으로 0°로 저장될 수도 있고, 실제 기울기로 저장될 수도 있다.
후술하겠지만, 기준 정보 DB(122)에 저장되는 랜드마크 영역의 각 꼭지점 좌표, 중심 좌표 및 기울기는 카메라(110)의 촬영 각도 변화와 촬영 시선의 이동 여부를 판단하고 보정하는 기준이 될 수 있다.
시스템 관리자가 설정한 랜드마크 영역의 각 꼭지점 좌표, 중심 좌표 및 기울기를 산출하는 방법에 대해서는 도 3을 참조하여 상세히 설명하도록 한다.
한편, 기준 정보 DB(122)는 각 카메라 영상별로 시스템 관리자가 설정한 랜드마크 영역의 각 꼭지점 좌표, 중심 좌표 및 기울기 중 하나 이상을 저장할 수 있다.
참고로, 하나의 카메라 영상 내에서 랜드마크 영역은 하나 이상 설정될 수도 있으며, 하나의 랜드마크 영역에는 복수의 랜드마크가 포함될 수도 있다.
일 실시예로서, 카메라 영상 내에서 신호등과 전봇대가 나란히 위치한 경우, 시스템 관리자는 신호등과 전봇대 중 어느 하나만이 포함된 랜드마크 영역을 설정할 수도 있고, 신호등과 전봇대(의 일부)가 모두 포함된 랜드마크 영역을 설정할 수도 있다.
한편, 랜드마크 영역 검색부(123)는 제 2 시점에서 수신된 카메라 영상(이하, ‘제 2 영상’이라 칭함) 내에서 랜드마크 영역을 검색할 수 있다.
여기서 ‘제 2 시점’은 시간상으로 ‘제 1 시점’ 이후로서, 카메라(110)의 촬영 각도나 촬영 시선의 이동을 주기적으로 점검하는 시점일 수도 있고, 24시간 동안 실시간으로 점검하는 어느 특정 시점일 수도 있다.
참고로, 외부 환경 등으로 카메라(110)의 촬영 각도나 촬영 시선의 이동이 발생했다면, 제 2 영상 내에서의 랜드마크 영역은 제 1 영상 내에서의 랜드마크 영역과 각 꼭지점 좌표와 중심 좌표의 위치 및 기울기 중 하나 이상이 달라져 있을 것이다.
따라서, 제 2 영상 내에서 찾고자 하는 랜드마크 영역은 제 1 영상 내의 랜드마크 영역과 넓이가 같고, 랜드마크의 특징점 또한 배열 형태와 특징점간 거리는 동일하다.
이에, 랜드마크 영역 검색부(123)는 제 2 영상 내에서 랜드마크의 특징점과 매칭되는 특징점을 검색하되, 특징점의 배열 형태 및 특징점간 거리를 반영하여 서로 일치하는(또는 일치 정도가 미리 설정된 임계값 이상인) 특징점을 검색함으로써 제 2 영상 내에서 랜드마크 영역을 검색할 수 있다.
이후, 제 2 영상 내에서 검색된 특징점에 대하여 랜드마크 영역 설정부(121)는 해당 특징점을 포함하는 랜드마크 영역을 설정하고 각 꼭지점과 중심 좌표 및 기울기를 산출할 수 있다.
참고로, 제 2 영상 내에서 랜드마크 영역을 검색하는 다른 실시예로서, 시스템 관리자가 제 2 영상 내에서 랜드마크를 포함하는 사각형 영역을 마우스로 드래그하거나, 각 꼭지점을 선택하여 다각형 영역을 형성한 후, 카메라(110)의 변화 여부를 확인하기 위한 메뉴 또는 버튼을 선택하면, 제 2 영상 내에서 랜드마크 영역의 각 꼭지점 좌표, 중심 좌표 및 기울기가 산출될 수도 있다.
한편, 영상 보정부(124)는 랜드마크 영역 검색부(123)에서 검색된 제 2 영상의 랜드마크 영역과, 랜드마크 영역 설정부(121)에서 설정된 제 1 영상의 랜드마크 영역을 비교하여 제 2 영상을 보정할 수 있다.
즉, 기준 정보로 저장된 랜드마크 영역의 각 꼭지점 좌표, 중심 좌표 및 기울기와, 상기 검색된 랜드마크 영역의 각 꼭지점 좌표, 중심 좌표 및 기울기를 비교하여 카메라(110)의 촬영 각도 변화나 촬영 시선의 이동에 대응하는 제 2 영상의 회전, 평행 이동을 수행할 수 있다.
일 실시예로서, 카메라(110)의 촬영 각도 변화가 20°인 경우, 영상 보정부(124)는 제 2 영상의 랜드마크 영역의 기울기를 -20°회전시킬 수 있으며, 다른 실시예로서, 카메라(110)의 촬영 시선의 이동 변화가 평행으로 2.5cm인 경우, 영상 보정부(124)는 제 2 영상의 랜드마크 영역의 중심 좌표를 -2.5cm 평행 이동함으로써 제 2 영상을 보정할 수 있다.
영상 보정부(124)의 보정 방법에 대해서는 도 4를 참조하여 더 상세히 설명하도록 한다.
도 3은 본 발명의 일 실시예에 따른 랜드마크 영역의 중심 좌표와 기울기 산출 방법을 설명하기 위한 도면이다.
도 3은 랜드마크 영역 설정부(121)가 랜드마크 영역의 각 꼭지점 좌표와 중심 좌표를 이용하여 랜드마크의 기울기를 산출하는 방법으로서, 랜드마크 영역의 각 꼭지점 (x1, y1), (x2, y2), … (xn, yn)으로 구성된 다각형의 넓이를 아래의 [수학식 1]을 이용하여 산출할 수 있다.
[수학식 1]
Figure 112014121097706-pat00001
이후, 랜드마크 영역 설정부(121)는 랜드마크 영역의 각 꼭지점 좌표와 상기 [수학식 1]을 통해 산출된 랜드마크 영역의 넓이를 이용하여 랜드마크 영역의 중심 좌표와 기울기를 산출할 수 있다.
도 1에 도시된 바와 같이, 각 꼭지점의 좌표를 이용하여 랜드마크 영역의 양 면의 중간 지점(p1 및 p2)을 각각 산출하고, 해당 중간 지점에 대한 역탄젠트(arctangent) 함수를 이용하여 두 중간 지점을 잇는 선(p1ㅡp2)의 기울기를 산출함으로써 랜드마크 영역의 기울기, 즉, 카메라(110)의 촬영 각도를 산출할 수 있다.
그리고, 두 중간 점을 잇는 선(p1ㅡp2)의 중간 지점을 랜드마크 영역의 중심 좌표로 산출할 수 있다.
도 4는 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 보정 방법을 설명하기 위한 도면이다.
도 4의 (a)는 카메라(110)의 촬영 시선의 변화에 대한 보정을 나타낸 것이다.
제 2 영상의 랜드마크 영역(이하, 현재 랜드마크 영역)의 중심 좌표와, 기준 정보 DB(122)에 저장된 제 1 영상의 랜드마크 영역(이하, 기준 랜드마크 영역)의 중심 좌표를 비교하여, 현재 랜드마크 영역의 중심 좌표를 기준 랜드마크 영역의 중심 좌표로 이동함으로써 제 2 영상을 보정할 수 있다.
도 4의 (b)는 카메라의 촬영 각도 및 촬영 시선의 변화에 대한 보정을 나타낸 것으로서, 현재 랜드마크 영역의 중심 좌표 및 기울기를 기준 랜드마크 영역의 중심 좌표 및 기울기와 비교한 결과, 카메라의 촬영 각도 및 촬영 시선의 변화가 발생한 실시예이다.
앞서 도 3을 참조하여 설명하였듯이, 랜드마크 영역의 p1ㅡp2를 잇는 선의 기울기를 통해서 카메라(110)의 촬영 각도 변화를 산출하고, 랜드마크 영역의 중심 좌표를 이용한 촬영 시선의 변화를 산출하여 그에 대응하는 각도 회전과 평행 이동을 통하여 카메라 영상(제 2 영상)에 대한 보정을 수행할 수 있다.
참고로, 영상 보정부(124)는 카메라 영상에 대하여 항상 각도 회전과 평행 이동을 통한 보정을 수행하는 것이 아니라, 각 상황에 맞는 변화에 따라 능동적으로 보정을 수행할 수 있다.
도 5는 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 보정 과정을 도시한 흐름도이다.
도 5의 흐름도는 서비스 서버(120)에 의해 수행될 수 있으며, 이하 서비스 서버(120)를 주체로 도 5의 흐름도를 설명하도록 한다.
서비스 서버(120)는 제 1 영상에서 랜드마크 영역이 설정되면, 랜드마크 영역의 각 꼭지점 좌표를 이용하여 랜드마크 영역의 중심 좌표와 기울기를 산출하고 이를 기준 정보로서 기준 정보 DB(122)에 저장한다(S501).
S501 후, 서비스 서버(120)는 제 2 영상에서 랜드마크 영역을 검색하고, 검색된 랜드마크 영역의 각 꼭지점 좌표를 산출한 후 이를 이용하여 랜드마크 영역의 중심 좌표 및 기울기를 산출한다(S502).
S502 후, 서비스 서버(120)는 S502에서 산출된 현재 랜드마크 영역의 중심 좌표 및 기울기와, S501에서 기준 정보 DB(122)에 저장된 기준 랜드마크 영역의 중심 좌표 및 기울기를 비교한다(S503).
비교 결과, 기울기의 변화가 발생한 경우, 서비스 서버(120)는 변화된 기울기에 대응하여 현재 랜드마크 영역의 기울기가 기준 랜드마크 영역의 기울기와 같아지도록 제 2 영상을 회전시킨다(S504).
만일 중심 좌표의 변화가 발생한 경우, 서비스 서버(120)는 변화된 이동에 대응하여 현재 랜드마크 영역의 중심 좌표가 기준 랜드마크 영역의 중심 좌표와 같아지도록 평행 이동시켜 제 2 영상을 보정한다(S505).
도 6은 본 발명의 일 실시예에 따른 랜드마크 인식에 기반한 카메라 보정의 결과를 도시한 도면이다.
도 6의 (a)는 본 발명의 일 실시예에 따른 카메라 영상에서 기준 랜드마크 영역의 설정을 도시한 도면으로서, 반사경과 신호등 기둥(610)을 랜드마크로 설정하는 경우이다.
시스템 관리자는 제 1 시점에 수신된 카메라 영상인 제 1 영상에서 반사경과 신호등 기둥(610)을 포함하는 사각형 영역을 드래그(drag)한 후 관리자 단말기(미도시)의 화면 상에서 특정 영역에 드랍(drop)시키면, 도 6의 (a)에 도시된 바와 같이 반사경과 신호등 기둥(610)의 특징점을 포함하는 최소 크기의 랜드마크 영역이 표시되면서 반사경과 신호등 기둥(610)이 기준 랜드마크로 설정될 수 있다.
이때, 서비스 서버(120)는 카메라 영상에서 랜드마크 영역의 각 꼭지점 좌표를 산출하고, 이를 이용하여 랜드마크 영역의 중심 좌표와 기울기를 산출할 수 있다.
참고로, 랜드마크인 반사경과 신호등 기둥(610)의 각도는 도 6의 (a)에 도시된 바와 같이 0°이며, 길 건너편에 좌회전 표시의 차로와 횡단보도(스팟)를 볼 수 있다.
도 6의 (b)는 제 2 시점에 수신된 카메라 영상인 제 2 영상으로서, 도 6의 (a) 상태에서 외부 환경(태풍 등)에 의해 카메라(110)의 촬영 각도에 변화가 발생한 경우이다.
길 건너편 좌회전 표시의 차로와 횡단보도의 위치가 촬영 각도 변화에 따라서 심하게 왜곡되어 있음을 볼 수 있다.
이러한 경우, 좌회전 차로의 객체 인식을 통해 신호를 조절해야함에도 좌회전 차로가 아닌 전혀 다른 차로를 좌회전 차로로 인식하여 신호를 조절하는 심각한 문제가 발생할 수 있다.
서비스 서버(120)는 도 6의 (b)에 도시된 바와 같이 제 2 영상에서 랜드마크 영역을 검색하고 기울기를 산출할 수 있으며 카메라(110)의 촬영 각도 변화를 표시(47.49°)할 수 있다.
도 6의 (c)는 도 6의 (b)에 도시된 카메라(110)의 촬영 각도 변화를 보정한 결과로서, 도 6의 (c)의 카메라 영상인 제 2 영상이 도 6의 (a)의 카메라 영상인 제 1 영상과 차이가 없게 보정되었음을 볼 수 있다.
특히, 랜드마크인 반사경과 신호등 기둥(610)은 물론, 길 건너편에 좌회전 표시의 차로와 횡단보도의 위치가 도 6의 (a)의 제 1 영상의 좌회전 표시의 차로와 횡단보도의 위치와 동일함을 볼 수 있다.
도 7은 본 발명의 다른 실시예에 따른 랜드마크 인식에 기반한 카메라 보정의 결과를 도시한 도면이다.
도 7의 (a)에서, 기준 랜드마크 영역을 설정하는 방법은 도 6과 동일하며, 랜드마크인 표지판(710)를 포함하는 기준 랜드마크 영역의 각도는 0°이고, 카메라 영상의 중앙에 좌회전 표시의 차로(스팟)가 존재함을 볼 수 있다.
도 7의 (b)는 제 2 시점에서 수신된 카메라 영상인 제 2 영상으로서, 도 7의 (a) 상태에서 외부 환경(태풍 등)에 의해 카메라(110)의 촬영 각도에 변화가 발생한 경우이며, 좌회전 표시의 차로 위치가 촬영 각도의 변화에 따라서 심하게 왜곡되어 있음을 볼 수 있다.
서비스 서버(120)는 도 7의 (b)에 도시된 바와 같이 제 2 영상에서 랜드마크 영역을 검색하고 기울기를 산출할 수 있으며 카메라(110)의 촬영 각도 변화를 표시(-21.80°)할 수 있다.
도 7의 (c)는 도 7의 (b)에 도시된 카메라(110)의 촬영 각도 변화를 보정한 결과로서, 도 7의 (c)의 카메라 영상인 제 2 영상이 도 7의 (a)의 카메라 영상인 제 1 영상과 차이가 없이 보정되었음을 볼 수 있다.
도 8은 본 발명의 또 다른 실시예에 따른 랜드마크 인식에 기반한 카메라 보정의 결과를 도시한 도면이다.
도 8의 (a)에서, 랜드마크를 설정하는 방법은 도 6과 동일하며, 랜드마크인 표지판(810)을 포함하는 기준 랜드마크 영역의 각도는 0°이다.
참고로, 도 8의 (a)에 도시된 도로는 도 6 및 도 7과 같이 좌회전 차로나 횡단보도 등이 없는 비정형 도로이며, 중학교 입구로 진입하는 도로(스팟)가 카메라 영상 내에서 주요 관찰 부분이다.
도 8의 (a)에 도시된 바와 같이 카메라(110)의 설치 장소가 비정형 도로인 경우라도, 시스템 관리자는 카메라 영상에 포함된 특정 객체, 즉 중학교 입구를 알리는 표지판(810)을 랜드마크로 설정할 수 있다.
도 8의 (b)는 제 2 시점의 카메라 영상인 제 2 영상으로서, 도 8의 (a) 상태에서 외부 환경(태풍 등)에 의해 카메라(110)의 촬영 각도에 변화가 발생한 경우이다.
중학교 입구로 진입하는 도로(스팟)의 위치가 촬영 각도 변화에 따라서 심하게 왜곡되어 있음을 볼 수 있다.
서비스 서버(120)는 도 8의 (b)에 도시된 바와 같이 제 2 영상에서 랜드마크 영역을 검색하고 기울기를 산출할 수 있으며 카메라(110)의 촬영 각도 변화를 표시(25.49°)할 수 있다.
도 8의 (c)는 도 8의 (b)에 도시된 각도 변화가 발생한 카메라 영상을 보정한 결과로서, 도 8의 (c)의 카메라 영상인 제 2 영상이 도 8의 (a)의 카메라 영상인 제 1 영상과 차이가 없이 보정되었음을 볼 수 있다.
특히, 제 2 영상에서 랜드마크로 설정된 표지판(630)의 위치와 중학교 입구로 진입하는 도로의 위치가 도 8의 (a)의 제 1 영상의 표지판(810) 및 도로의 위치와 동일함을 볼 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 랜드마크 인식에 기반한 카메라 영상 보정 시스템
110 : 카메라
120 : 서비스 서버
121 : 랜드마크 영역 설정부
122 : 기준 정보 DB
123 : 랜드마크 영역 검색부
124 : 영상 보정부

Claims (10)

  1. 서비스 서버가 촬영 장치의 영상을 보정하는 방법에 있어서,
    (a) 제 1 시점에, 촬영 장치로부터 수신된 제 1 영상 내에서 사용자의 마우스로 특정 객체가 포함되도록 드래그(drag)하거나 복수의 꼭지점을 선택하여 형성된 다각형 영역을 임시 랜드마크 영역으로 설정하고, 상기 설정된 임시 랜드마크 영역 내에서 상기 특정 객체의 특징점을 추출하고, 상기 추출된 특징점으로부터 거리가 최소인 다각형 영역을 랜드마크 영역으로 설정하는 단계;
    (b) 상기 제 1 영상 내에서 상기 랜드마크 영역의 좌표 및 기울기를 기준 정보로 저장하는 단계;
    (c) 제 2 시점에, 상기 촬영 장치로부터 수신된 제 2 영상 내에서 상기 랜드마크 영역을 검색하는 단계; 및
    (d) 상기 기준 정보로 저장된 좌표 및 기울기와 상기 검색된 랜드마크 영역의 좌표 및 기울기를 비교하여 상기 제 2 영상을 보정하는 단계
    를 포함하는 것을 특징으로 하는 영상 보정 방법.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 (c) 단계는,
    상기 제 2 영상 내에서 상기 특징점과 매칭되는 특징점을 검색하고, 상기 검색된 특징점을 포함하는 다각형 영역을 상기 랜드마크 영역으로 선정하되,
    상기 특징점의 매칭은 특징점의 배열 형태 및 특징점간 거리를 반영하는 것을 특징으로 하는 영상 보정 방법.
  4. 제 1 항에 있어서,
    상기 (b) 단계 또는 (c) 단계는,
    상기 랜드마크 영역의 각 꼭지점 좌표에 기반하여 상기 랜드마크 영역의 넓이를 산출하며, 상기 각 꼭지점 좌표와 상기 산출된 넓이에 기반하여 상기 랜드마크 영역의 중심 좌표 및 기울기를 산출하는 단계
    를 포함하는 것을 특징으로 하는 영상 보정 방법.
  5. 제 4 항에 있어서,
    상기 (b) 단계 또는 (c) 단계는,
    상기 랜드마크 영역의 양 면의 중간 지점을 각각 구하고, 상기 두 중간 지점에 대한 역탄젠트(arctangent) 함수를 이용하여 상기 두 중간 지점을 잇는 선의 기울기를 산출하며, 상기 두 중간 지점을 잇는 선의 중심을 상기 중심 좌표로 산출하되,
    상기 두 중간 지점을 잇는 선의 기울기가 상기 랜드마크 영역의 기울기인 것을 특징으로 하는 영상 보정 방법.
  6. 제 5 항에 있어서,
    상기 (d) 단계는,
    상기 기울기가 변화된 경우, 상기 변화된 기울기에 대응하여 상기 검색된 랜드마크 영역의 기울기를 회전시켜 상기 제 2 영상을 보정하고,
    상기 좌표가 변화된 경우, 상기 변화된 좌표간 거리에 대응하여 상기 검색된 랜드마크 영역의 상기 중심 좌표를 상기 기준 정보로 저장된 중심 좌표로 평행 이동시켜 상기 제 2 영상을 보정하는 것을 특징으로 하는 영상 보정 방법.
  7. 제 6 항에 있어서,
    상기 제 2 영상의 보정은
    상기 제 1 영상에서의 스팟(spot) 위치와 상기 보정된 제 2 영상에서의 스팟 위치가 서로 일치하거나 미리 정해진 범위 내에 포함되는 것을 특징으로 하는 영상 보정 방법.
  8. 촬영 장치의 영상을 보정하는 서비스 서버에 있어서,
    제 1 시점에, 촬영 장치로부터 수신된 제 1 영상 내에서 특정 객체를 포함하는 다각형의 랜드마크(landmark) 영역을 설정하고, 상기 랜드마크 영역의 좌표 및 기울기를 기준 정보로 저장하는 랜드마크 영역 설정부;
    제 2 시점에, 상기 촬영 장치로부터 수신된 제 2 영상 내에서 상기 랜드마크 영역을 검색하는 랜드마크 영역 검색부; 및
    상기 기준 정보로 저장된 좌표 및 기울기와 상기 검색된 랜드마크 영역의 좌표 및 기울기를 비교하여 상기 제 2 영상을 보정하는 영상 보정부
    를 포함하되,
    상기 랜드마크 영역 설정부는
    상기 특정 객체의 특징점을 추출하고, 상기 추출된 특징점으로부터 거리가 최소인 다각형 영역을 상기 랜드마크 영역으로 설정하는 것을 특징으로 하는 서비스 서버.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 랜드마크 영역 검색부는,
    상기 제 2 영상 내에서 상기 특징점과 매칭되는 특징점을 검색하고, 상기 검색된 특징점을 포함하는 다각형 영역을 상기 랜드마크 영역으로 선정하되,
    상기 특징점의 매칭은 특징점의 배열 형태 및 특징점간 거리를 반영하는 것을 특징으로 하는 서비스 서버.
KR1020140179447A 2014-12-12 2014-12-12 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버 KR101671073B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140179447A KR101671073B1 (ko) 2014-12-12 2014-12-12 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140179447A KR101671073B1 (ko) 2014-12-12 2014-12-12 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버

Publications (2)

Publication Number Publication Date
KR20160071817A KR20160071817A (ko) 2016-06-22
KR101671073B1 true KR101671073B1 (ko) 2016-10-31

Family

ID=56365030

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140179447A KR101671073B1 (ko) 2014-12-12 2014-12-12 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버

Country Status (1)

Country Link
KR (1) KR101671073B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109558874B (zh) * 2018-12-11 2024-05-31 上海集成电路研发中心有限公司 一种基于图像识别的定位方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012075060A (ja) 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置
JP2013257349A (ja) 2008-03-03 2013-12-26 Toa Corp カメラキャリブレーション結果検証装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013257349A (ja) 2008-03-03 2013-12-26 Toa Corp カメラキャリブレーション結果検証装置および方法
JP2012075060A (ja) 2010-09-30 2012-04-12 Hitachi Automotive Systems Ltd 画像処理装置及びそれを用いた撮像装置

Also Published As

Publication number Publication date
KR20160071817A (ko) 2016-06-22

Similar Documents

Publication Publication Date Title
US11365979B2 (en) Image processing apparatus, image processing method, computer program and computer readable recording medium
JP6843990B2 (ja) 車道の決定方法、装置及び記憶媒体
JP6477903B2 (ja) 走行制御方法および走行制御装置
KR102128851B1 (ko) 제1 랜드마크의 글로벌 위치를 결정하는 방법 및 시스템
US7668341B2 (en) Image recognition apparatus and image recognition method
AU2016219343B2 (en) Sparse map for autonomous vehicle navigation
JP4831434B2 (ja) 地物情報収集装置及び地物情報収集プログラム、並びに自車位置認識装置及びナビゲーション装置
JP4822766B2 (ja) 路面標示認識装置及びシステム
JP4801821B2 (ja) 道路形状推定装置
KR100873474B1 (ko) 영상상의 교통 시설물의 픽셀 사이즈 및 위치를 이용한차량 위치 추정 장치 및 그 방법
RU2639851C1 (ru) Устройство распознавания светофора и способ распознавания светофора
CN112585659A (zh) 一种导航方法、装置和系统
WO2017038134A1 (ja) ランドマーク認識装置及び認識方法
CN106462727A (zh) 用于车道尽头识别的系统和方法
KR102633140B1 (ko) 주행 정보를 결정하는 방법 및 장치
US10891501B2 (en) Automatically associating road sign information with road segments using image data
JP4356573B2 (ja) レーダの設置情報の確認画面と調整画面の表示方法
JP2015194397A (ja) 車両位置検出装置、車両位置検出方法及び車両位置検出用コンピュータプログラムならびに車両位置検出システム
JP2012215442A (ja) 自位置特定システム、自位置特定プログラム及び自位置特定方法
JP6224344B2 (ja) 情報処理装置、情報処理方法並びに情報処理システム及び情報処理プログラム
KR101671073B1 (ko) 랜드마크 인식에 기반한 카메라 영상 보정 방법 및 서비스 서버
JP5435294B2 (ja) 画像処理装置及び画像処理プログラム
CN111477013B (zh) 一种基于地图影像的车辆测量方法
JP5888275B2 (ja) 道路端検出システム、方法およびプログラム
KR102316818B1 (ko) 도로 네트워크를 갱신하는 방법 및 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191014

Year of fee payment: 4