KR20170111461A

KR20170111461A - 영상 내 구조물 음영영역 개선 시스템 및 방법

Info

Publication number: KR20170111461A
Application number: KR1020160036964A
Authority: KR
Inventors: 김남기; 정회정
Original assignee: 경기대학교 산학협력단
Priority date: 2016-03-28
Filing date: 2016-03-28
Publication date: 2017-10-12
Anticipated expiration: 2036-03-28
Also published as: KR101797711B1

Abstract

영상 내 구조물 음영영역 개선 시스템이 개시된다. 이 시스템은 고정된 관심 구조물을 촬영하는 카메라로부터 입력된 이미지에서 관심 구조물의 음영영역을 탐지하되, 광원 위치에 근거하여 관심 구조물의 음영영역을 탐지하는 음영영역 탐지부, 및 탐지된 음영영역의 픽셀값을 조정하여 음영영역을 개선하는 음영영역 개선부를 포함할 수 있다.

Description

영상 내 구조물 음영영역 개선 시스템 및 방법 {System for improving shadow area of structure in images and method thereof}

본 발명은 고정된 구조물을 대상으로 하는 영상 감시 시스템에 관련된 것으로, 특히 영상 내에서 관심 구조물의 음영영역을 개선하는 기술에 관한 것이다.

최근에 댐, 도로와 같은 공공시설의 모니터링에 지능형 감시 시스템 기술이 많이 사용되고 있다. 지능형 감시 시스템을 통해서 구조물을 관리하면 구조물의 상황 정보를 쉽게 확인하여 구조물의 피해에 대한 빠른 대처가 가능하기 때문이다. 이러한 지능형 감시 시스템(구조물 감시 시스템)을 통한 모니터링은 정확한 상황을 판단하는 것이 중요하기 때문에, 명확한 영상 정보 획득이 전제된다. 이러한 전제 사항으로 음영영역 개선 기술들이 요구되고 있다. 기존의 구조물 음영 영역을 보정하는 기술은 전체적인 이미지 개선기술과 음영영역 부분만을 개선하는 기술이 있다.

전체적인 이미지 개선을 하는 기술은 히스토그램 평활화와 같은 방법을 적용하여 어두운 그림자 부분을 개선한다. 하지만 전체적인 이미지 개선을 하는 기술의 경우에는 시각적으로는 개선된 것처럼 보이나, 관심 구조물 부분이 과도하게 보정되어 중요정보가 왜곡될 수 있다. 음영영역 부분만을 개선하는 기술은 음영 부분을 탐지하고 개선하는 단계를 거친다. 음영부분을 탐지하는 방법으로는 태양 고도각을 이용하는 방법, 영상 분류기 학습을 통해 찾는 방법, 비슷한 명암과 색깔 등을 가진 이웃화소들을 덧붙여 음영영역을 확장시키는 방법 등이 있다. 하지만 관심 구조물을 대상으로 하는 기존 기술들은 항공사진과 같은 상단부분에서 촬영한 사진 개선에 초점을 두고 있어 측면 촬영을 주로 하는 지능형 감시 시스템에 부적절하다.

국내등록특허공보 제10-1493418호 (2015년 02월 13일 공고)

본 발명은 기존에 지니고 있는 사전 정보들을 활용하여 구조물 파악에 방해가 되는 음영영역을 탐지하여 명확성을 개선할 수 있는 구조물 음영영역 개선 가능한 구조물 감시 시스템을 제공함을 목적으로 한다.

일 양상에 따른 영상 내 구조물 음영영역 개선 시스템은 고정된 관심 구조물을 촬영하는 카메라로부터 입력된 이미지에서 관심 구조물의 음영영역을 탐지하되, 광원 위치에 근거하여 관심 구조물의 음영영역을 탐지하는 음영영역 탐지부, 및 탐지된 음영영역의 픽셀값을 조정하여 음영영역을 개선하는 음영영역 개선부를 포함할 수 있다.

음영영역 탐지부는 파라미터를 입력받는 파라미터 입력부, 입력 파라미터를 이용하여 광원의 위치를 추정하는 광원 위치 추정부, 추정된 광원 위치에 근거하여 관심 구조물이 투영되는 삼차원 상의 음영영역을 계산하는 음영영역 계산부, 및 계산된 삼차원 상의 음영영역 좌표를 입력 이미지 내 음영영역 좌표로 매칭하는 음영영역 매칭부를 포함할 수 있다.

파라미터 입력부는 입력 이미지에 해당하는 날짜와 시간 정보, 구조물과 지형 정보, 및 초점거리와 경사각과 카메라 높이를 포함하는 카메라 정보를 파라미터로 입력받을 수 있다.

한편, 일 양상에 따른 영상 내 구조물 음영영역 개선 방법은 카메라로부터 이미지를 입력받는 단계, 이미지 내 관심 구조물의 음영영역 개선을 위한 파라미터를 입력받는 단계, 입력 파라미터를 이용하여 광원의 위치를 추정하는 단계, 추정된 광원 위치에 근거하여 이미지 내 관심 구조물이 투영되는 삼차원 상의 음영영역을 계산하는 단계, 계산된 삼차원 상의 음영영역 좌표를 이차원 입력 이미지 내 음영영역 좌표로 매칭하는 단계, 및 매칭된 음영영역의 픽셀값을 조정하여 음영영역을 개선하는 단계를 포함할 수 있다.

파라미터는 입력 이미지에 해당하는 날짜와 시간 정보, 구조물과 지형 정보, 및 초점거리와 경사각과 카메라 높이를 포함하는 카메라 정보일 수 있다.

제안된 발명에 따르면, 구조물의 음영영역 개선을 통해 영상 이미지의 명확성을 높일 수 있으며, 과도하게 보정되어 중요정보가 왜곡되는 현상을 줄일 수 있는 효과를 가져올 수 있다.

제안된 발명은 특정 관심 구조물을 대상으로 하는 감시 시스템에 적용될 수 있다.

도 1은 일 실시예에 따른 영상 내 관심 구조물의 음영영역 개선 시스템을 나타낸 블록도이다.
도 2는 일 실시예에 따른 영상 내 관심 구조물의 음영영역 개선 방법을 나타낸 흐름도이다.
도 3은 명도 히스토그램의 일대일 대응 조정을 예시한 도면이다.
도 4는 빈도를 고려한 최소값 및 최대값 기준 대응을 통한 구조물의 음영영역 개선 방법을 예시한 흐름도이다.
도 5는 빈도를 고려한 명도 히스토그램을 예시한 도면이다.
도 6은 빈도를 고려한 중앙값 차에 의해 구조물 음영영역 선형 개선 방법을 예시한 흐름도이다.
도 7은 빈도를 고려한 명도 히스토그램의 중앙값 차이를 예시한 도면이다.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.

도 1은 일 실시예에 따른 영상 내 관심 구조물의 음영영역 개선 시스템을 나타낸 블록도이다. 카메라(100)는 관심 대상인 고정된 구조물을 감시하기 위해 소정의 위치에 설치된 감시용 카메라로서, 측방에서 관심 구조물을 촬영하도록 설치될 수 있다. 일 실시예에 있어서, 카메라(100)는 IP 카메라이다. 이미지 처리부(200)는 이미지 프로세서라는 하드웨어에 영상(이미지) 내 관심 구조물의 음영영역 개선을 위한 프로세스를 수행하는 소프트웨어의 결합으로 구성될 수 있다. 도 1에 도시된 바와 같이, 이미지 처리부(200)는 음영영역 탐지부(210)와 음영영역 개선부(220)를 포함한다. 음영영역 탐지부(210)는 카메라(100)로부터 입력된 이미지 내에서 관심 구조물의 음영영역을 탐지하는 구성이다. 일 양상에 따르면, 음영영역 탐지부(210)는 광원의 위치에 근거하여 관심 구조물의 음영영역을 탐지한다. 여기서, 광원은 태양을 의미할 수 있다. 음영영역 개선부(220)는 음영영역 탐지부(210)에 의해 탐지된 음영영역 픽셀값을 조정하여 영상 내 관심 구조물의 음영영역을 개선한다. 음영영역 개선부(220)는 색상 모델 히스토그램 조절을 통해 음영영역을 개선할 수 있다.

이미지 처리부(200)는 파라미터 입력부(211)와 광원 위치 추정부(212)와 음영영역 계산부(213) 및 음영영역 매칭부(214)를 포함할 수 있다. 파라미터 입력부(211)는 광원의 위치를 추정하기 위한 파라미터를 입력받는다. 일 실시예에 있어서, 파라미터 입력부(211)는 영상에 해당하는 날짜와 시간 정보(년, 월, 일, UTC시, 분, 초)와, 구조물 및 지형정보(구조물의 높이 및 경도, 위도, 방향 등), 카메라 정보(초점거리, 경사각, 카메라 높이)를 파라미터를 입력받는다. 광원 위치 추정부(212)는 입력된 파라미터를 가지고 광원의 위치를 계산한다. 광원의 위치는 수학식 1과 수학식 2 및 수학식 3을 통해 얻어낸 적위와 고도각 및 방위각을 가지고 수학식 4를 통해 구해질 수 있다.

광원 위치 추정부(212)는 위의 수학식들로 광원의 위치를 계산하여 구해진 값을 광원의 위치로 추정한다. 음영영역 계산부(213)는 추정된 광원 위치에 근거하여 관심 구조물이 투영되는 3차원 상의 음영영역을 계산한다. 부연하면, 광원의 위치를 알면 직선의 방정식을 통해 구조물의 상단면에 해당하는 좌표들이 투영되는 좌표를 구할 수 있으므로, 음영영역 계산부(213)는 추정된 광원 위치를 통해 관심 구조물이 투영되는 삼차원 상의 음영영역을 계산할 수 있는 것이다. 그리고 삼차원 상에서 특정 위치 좌표 4개 이상이 제공되면 카메라 캘리브레이션(camera calibration)을 수행할 수 있으므로, 음영영역 매칭부(214)는 삼차원 상의 음영영역 좌표를 이미지 내의 음영영역 좌표로 매칭한다. 이를 통해 이미지 내에서 음영영역을 추출할 수 있으며, 음영영역이 아닌 부분을 비음영영역으로 추출할 수 있다.

도 2는 일 실시예에 따른 영상 내 관심 구조물의 음영영역 개선 방법을 나타낸 흐름도이다. 이 방법은 영상 이미지가 입력되면서 시작된다. 즉, 도 2에 도시된 바와 같이, 이미지 처리부(200)는 카메라(100)로부터 이미지를 입력받으며(S100), 이미지 내 관심 구조물의 음영영역 개선을 위한 파라미터를 입력받는다(S110). S110에서, 이미지 처리부(200)는 영상에 해당하는 날짜와 시간 정보(년, 월, 일, UTC시, 분, 초)와, 구조물 및 지형정보(구조물의 높이 및 경도, 위도, 방향 등), 카메라 정보(초점거리, 경사각, 카메라 높이)를 파라미터로 입력받을 수 있다. 이미지 처리부(200)는 입력 파라미터를 이용하여 광원의 위치를 추정한다(S120). 상술한 바와 같이, 광원의 위치는 수학식 1, 2, 3, 4를 통해 계산되어 추정될 수 있다. 이미지 처리부(200)는 추정된 광원 위치에 근거하여 이미지 내 관심 구조물이 투영되는 삼차원 상의 음영영역을 계산하며(S130), 계산된 삼차원 좌표를 이차원 영상에 매칭한다(S140). 이를 통해, 구조물의 음영영역과 비음영영역이 구분되어 추출이 가능해진다. 이미지 처리부(200)는 음영영역 히스토그램과 비음영 히스토그램을 비교하며, 그 비교 결과에 따라 음영영역의 픽섹값을 조정하여 음영영역을 개선한다(S150).

한편, 이미지 처리부(200)의 음영영역 개선부(220)는 다양한 방식으로 음영영역을 개선할 수 있다. 이하에서는 이에 대해 살펴본다. 첫 번째 방안은 음영영역과 비음영영역의 RGB 색상 히스토그램을 비교 분석하여 관심 구조물의 음영영역 픽셀 값을 선형적으로 상향 조정하는 것이다. 음영영역 내에 있는 픽셀들은 전반적으로 그림자로 인해 비음영영역보다 낮은 RGB 값을 지닌다. 따라서, 각 영역의 픽셀값을 (R+G+B)/3으로 계산한 정수형으로 나타내어, 음영영역 및 비음영영역의 픽셀의 평균 차이만큼 음영영역의 RGB 값에 더해 조정한다.

두 번째 방안은 앞서 제시한 방안의 RGB 모델을 HSV 모델로 전환한 방안이다. 일반적으로 사용되는 RGB 모델에 비해 HSV 모델은 Hue(색조), Saturation(채도), Value(명도)의 3가지 성분으로 색을 표현하기 때문에 사람이 좀 더 색을 직관적으로 이해할 수 있다. 따라서, 각 영역 픽셀값을 (H+S+V)/3으로 계산한 정수형으로 나타내어, 음영영역 및 비음영역역 픽셀의 평균 차이만큼 음영영역의 HSV 값에 일괄적으로 더해 조정한다.

세 번째 방안은 HSV 모델에서 히스토그램 내의 빈도를 적용한 가중치평균 차를 이용하여 구조물 음영영역을 개선하는 방안이다. 음영영역 HSV 히스토그램과 비음영영역 HSV 히스토그램은 각 영역 내의 HSV값의 빈도를 보여준다. 이러한 빈도를 가중치화하면 영역 내의 비중을 적용한 가중평균을 계산할 수 있다. 예를 들어, 각 영역 픽셀값을 (H+S+V)/3으로 계산한 정수형으로 나타낼 때, 1에서 255까지의 정수값을 지니고 있는 픽셀값을 p1, p2, ... , p255으로 나타낸다. 또한 빈도를 f1, f2, ... , f255라 하고 이 빈도들의 합을 N이라고 했을 때, 가중평균 M은 수학식 5와 같이 구할 수 있다.

이러한 HSV 모델상 픽셀의 가중평균을 적용하면 영역 내에서 영향력 잇는 값들을 비중 있게 고려할 수 있다. 따라서, 각 영역의 HSV 가중치 평균 차를 구하여 음영영역의 HSV 값을 전체적으로 상향 조정한다.

네 번째 방안으로 HSV 모델 상에서 픽셀의 히스토그램 최소빈도 값 차를 이용하여 구조물의 음영영역을 개선하는 방법을 설명한다. 픽셀값은 (H+S+V)/3의 정수형이라 할 때, 각 픽셀값 0 ~ 255 사이의 빈도를 히스토그램을 통해 나타낼 수 있다. 이러한 음영영역 및 비음영영역의 히스토그램에서의 최대빈도 값을 구하고, 최대빈도 값의 차를 음영영역에 선형적으로 더하여 구조물의 그림자를 개선한다.

다섯 번째 방안으로 HSV 모델 상에서 픽셀의 히스토그램 중앙값 차를 이용하여 구조물의 음영영역을 개선하는 방법을 설명한다. 앞서 언급한 방안에 따라서 픽셀값을 (H+S+V)/3의 정수형이라 할 때의 음영영역 및 비음영영역 히스토그램을 나타낼 수 있다. 각 히스토그램에서 0보다 큰 픽셀값들을 나열하여 중앙값을 얻어내고, 이러한 중앙값의 차를 구한 후 음영영역의 HSV 값에 각각 더하여 선형적으로 그림자를 개선한다.

여섯 번째 방안으로 HSV 모델 상에서 명도값만을 이용하여 음영영역 명도 히스토그램과 비음영영역 명도 히스토그램의 일대일 대응을 통해 음영영역을 개선하는 과정을 설명한다. 이 방안에서는 일대일 대응 변경을 하기 위해서도 HSV 모델 상의 H(명도) 값만을 고려한다. 또한 음영영역 명도를 비음영영역의 전체적인 명도에 맞추기 위해서, 두 영역의 명도 히스토그램을 비교한다. 음영영역 SA(Shadow Area)의 명도 히스토그램의 최소값 minV와 최대값 maxV을 비음영영역 nSA(non-Shadow Area)의 히스토그램의 최소값 minV와 최대값 maxV에 일대일 대응하는 수학식 6을 이용하면, 픽셀 p의 명도값 V value는 도 3과 같이 비음영영역 명도 히스토그램을 기준으로 음영부분을 밝게 조정하고 평활화한다.

일곱 번째 방안은 도 4와 같다. S200에서는 탐지된 음영영역의 명도 히스토그램을 계산하며, S210에서는 탐지된 비음영영역의 명도 히스토그램을 계산한다. 그리고 S220에서는 음영영역과 비음영영역의 히스토그램 최소 퍼센트를 적용한다. 여기서 최소 퍼센트(최소 빈도)는 사용자에 의해 정해질 수 있다. S230에서는 최소 퍼센트를 만족하는 음영영역 및 비음영영역의 히스토그램 최소값(최소 픽셀값)과 최대값(최대 픽셀값)을 계산하며, S240에서는 수학식 6을 이용하여 음영영역을 개선한다. 이 같은 방안은 앞서 언급한 세 번째 방안에서 명도 히스토그램의 빈도를 고려하는 방안이다. 이전 방안의 경우, 영역 내에서 빈도가 미미한 픽셀 값들을 모두 고려하고 있다. 이에 따라 각 영역 내에 영향력이 작은 픽셀값들이 히스토그램 조정에 영향을 끼친다. 영향력이 작은 픽셀값들이 많이 고려될수록 음영영역에 대한 개선이 미미할 수 있기 때문에, 이 방안에서는 사용자가 영향력을 고려하는 최소 퍼센트를 지정하여 빈도가 높은 픽셀들이 히스토그램 조정에 보다 더 기여하게 한다. 이에 따라, 도 5와 같이 음영영역 히스토그램의 최소값 및 최대값과 비음영영역 히스토그램의 최소값 및 최대값이 변경되어 음영영역 히스토그램 조정을 극대화할 수 있다.

여덟 번째 방안은 도 6과 같다. S300에서는 탐지된 음영영역의 명도 히스토그램을 계산하며, S310에서는 탐지된 비음영영역의 명도 히스토그램을 계산한다. S320에서는 음영영역과 비음영영역의 히스토그램 중앙값을 계산하고, S330에서는 음영영역과 비음영영역의 히스토그램 중앙값 차이를 계산하며, S340에서는 음영영역의 픽셀에 중앙값 차이를 더하여 음영영역을 개선한다. 이상과 같은 방안은 HSV 모델상의 V-명도 히스토그램 내의 빈도를 고려한 후, 히스토그램의 중앙값을 이용하여 구조물의 그림자를 개선하는 방안이다. 중앙값을 구하기 이전에 사용자가 지정한 최소 퍼센트를 적용하여, 영향력이 큰 값들만이 중앙값 후보 대상이 되게 한다. 이후, 도 7과 같이 각 영역의 중앙값을 구하고 그 차이를 음영영역의 명도 값에 더하여 개선하는 것이다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100 : 카메라 200 : 이미지 처리부
210 : 음영영역 탐지부 211 : 파라미터 입력부
212 : 광원 위치 추정부 213 : 음영영역 계산부
214 : 음영영역 매칭부 220 : 음영영역 개선부

Claims

고정된 관심 구조물을 촬영하는 카메라로부터 입력된 이미지에서 관심 구조물의 음영영역을 탐지하되, 광원 위치에 근거하여 관심 구조물의 음영영역을 탐지하는 음영영역 탐지부; 및
탐지된 음영영역의 픽셀값을 조정하여 음영영역을 개선하는 음영영역 개선부;
를 포함하는 영상 내 구조물 음영영역 개선 시스템.
제 1 항에 있어서, 음영영역 탐지부는 :
파라미터를 입력받는 파라미터 입력부;
입력 파라미터를 이용하여 광원의 위치를 추정하는 광원 위치 추정부;
추정된 광원 위치에 근거하여 관심 구조물이 투영되는 삼차원 상의 음영영역을 계산하는 음영영역 계산부; 및
계산된 삼차원 상의 음영영역 좌표를 입력 이미지 내 음영영역 좌표로 매칭하는 음영영역 매칭부;
를 포함하는 영상 내 구조물 음영영역 개선 시스템.
제 2 항에 있어서,
파라미터 입력부는 입력 이미지에 해당하는 날짜와 시간 정보, 구조물과 지형 정보, 및 초점거리와 경사각과 카메라 높이를 포함하는 카메라 정보를 파라미터로 입력받는 영상 내 구조물 음영영역 개선 시스템.
카메라로부터 이미지를 입력받는 단계;
이미지 내 관심 구조물의 음영영역 개선을 위한 파라미터를 입력받는 단계;
입력 파라미터를 이용하여 광원의 위치를 추정하는 단계;
추정된 광원 위치에 근거하여 이미지 내 관심 구조물이 투영되는 삼차원 상의 음영영역을 계산하는 단계;
계산된 삼차원 상의 음영영역 좌표를 입력 이미지 내 음영영역 좌표로 매칭하는 단계; 및
매칭된 음영영역의 픽셀값을 조정하여 음영영역을 개선하는 단계;
를 포함하는 영상 내 구조물 음영영역 개선 방법.
제 4 항에 있어서,
파라미터는 입력 이미지에 해당하는 날짜와 시간 정보, 구조물과 지형 정보, 및 초점거리와 경사각과 카메라 높이를 포함하는 카메라 정보인 영상 내 구조물 음영영역 개선 방법.