KR102467871B1 - 합성 영상의 경계 보정을 통한 일체화 영상처리 편집시스템 - Google Patents

Abstract

본 발명은 합성 영상의 경계 보정을 통한 일체화 영상처리 편집시스템에 관한 것으로, 수집이미지 저장모듈와 영상이미지 저장모듈와 이미지파트 저장모듈을 갖춘 데이터베이스 장치, 이미지파트 처리모듈과 영상분류모듈과 검색모듈과 이미지 통합모듈과 복원대상 선별모듈과 이미지 보정모듈을 갖춘 OS(Operating System) 기반의 영상처리장치를 포함하는 것이다.

Description

합성 영상의 경계 보정을 통한 일체화 영상처리 편집시스템{IMAGE EDITING SYSTEM FOR INTEGRATING BY REVISING EDGE REGION OF COMPOSITION IMAGE}

본 발명은 합성 영상의 경계 보정을 통한 일체화 영상처리 편집시스템에 관한 것이다.

일반적으로 수치지도의 기반을 이루는 영상이미지는 항공촬영과 지상촬영을 통해 수집한 지역별 이미지를 이용해 제작되고, 이렇게 제작된 영상이미지는 수치지도의 배경으로 제작된다.

그런데 지상에 설치되는 건물 또는 토목구조물 등의 인공구조물(이하 '지상물')과 자연적으로 형성된 지형물 등은 시간이 지남에 따라 인공적으로 또는 자연적으로 변화가 일어난다. 따라서 지상물과 지형물이 표현된 영상이미지는 주기적으로 수정 및 갱신이 이루어져야 한다.

하지만, 변화가 발생한 지상물 또는 지형물의 범위(이하 '지상범위')는 영상이미지의 전체 범위에서 일 구간에 불과하므로, 일 구간의 변화를 위해 영상이미지 전체를 수정 및 갱신하는 것은 비효율적일 수밖에 없었다.

한편, 인간의 지상 개발은 일반적으로 지정된 특정 구간별로 이루어진다. 예를 들어 설명하면, 지형물의 일종인 강변에 대한 개발은 해당하는 강을 따라 광범위하게 이루어지고, 지역 개발은 행정구역 또는 지정된 특정 구역 단위로 이루어진다. 따라서 향후 변화가 발생할 수 있는 행정구역과 지정된 특정 구역 등에 변화가 있다면 연관된 구역에 일괄적인 변화가 있을 것이므로, 영상이미지에서 해당 구역 전체에 대한 이미지만을 일괄해 추출해서 영상이미지 전체가 아닌 특정 지상범위만을 부분적으로 수정 및 갱신하는 것이 바람직하다.

선행기술문헌 1. 특허등록번호 제10-2210445호(2021.02.02 공고)

이에 본 발명은 상기의 문제를 해소하기 위한 것으로, 영상이미지에서 변화가 있는 지상물 또는 지형물 등의 지상범위만을 추출해서 부분적으로 수정 및 갱신함은 물론, 상기 변화가 있는 관련 구역의 이미지를 용이하게 일괄 검색해서 영상이미지의 수정 및 갱신 처리를 위한 연산 부담을 획기적으로 줄일 수 있는 합성 영상의 경계 보정을 통한 일체화 영상처리 편집시스템의 제공을 해결하고자 하는 과제로 한다.

상기의 과제를 달성하기 위하여 본 발명은,

GPS값이 지정되고 지물이미지가 식별된 지상구역별 수집이미지를 지물그림자의 방향에 따라 분류하여 저장 및 관리하는 수집이미지 저장모듈; 상기 수집이미지에서 선별된 영상이미지를 버전별로 분류하여 저장 및 관리하는 영상이미지 저장모듈; 상기 수집이미지와 영상이미지를 각각 배치위치 정보와 표현색상 정보가 구성된 복수 개의 이미지파트로 분할해서 수집이미지와 영상이미지별 이미지파트 데이터셋으로 저장 및 관리하고, 상기 수집이미지와 영상이미지 각각에서 별도로 지정된 특정 지상범위에 위치한 복수 개의 이미지파트를 지상범위별 이미지파트 데이터셋으로 별도 저장 및 관리하는 이미지파트 저장모듈;를 갖춘 데이터베이스 장치, 및

설정된 GPS좌표 간격으로 상기 수집이미지 저장모듈에 저장된 수집이미지와 영상이미지 저장모듈에 저장된 영상이미지를 각각 일정한 규격으로 분할해서 이미지파트를 생성하고, 상기 이미지파트에 배치위치 정보와 표현색상 정보를 확인해 구성해서 수집이미지와 영상이미지별 이미지파트 데이터셋으로 이미지파트 저장모듈에 저장하며, 상기 수집이미지와 영상이미지 각각에서 특정 구간의 지정을 통해 지상범위를 생성하여 지상범위 이내에 이미지파트를 지상범위별 이미지파트 데이터셋으로 이미지파트 저장모듈에 저장하는 이미지파트 처리모듈; 상기 영상이미지 저장모듈에서 검색된 영상이미지와 동일한 지상구역의 수집이미지를 해당 영상이미지에 오버랩해서 지물이미지에 대응하는 지물표시를 확인하고, 상기 영상이미지에서 지물그림자로 지정된 색상 구간을 검출하고, 상기 색상 구간에 위치한 지물표시의 표시면적을 합산하고, 상기 색상 구간의 총 면적에서 표시면적의 합산 크기를 차감한 면적을 그림자전체면적으로 지정하고, 상기 영상이미지의 전체 면적 대비 그림자전체면적의 점유비율을 확인하며, 상기 점유비율이 기준비율을 초과하면 해당 영상이미지를 처리대상이미지로 지정하는 영상분류모듈; 사용자가 입력한 GPS값의 지물이미지를 기준대상으로 지정하여 처리대상이미지에서 검출하고, 상기 기준대상을 포함한 수집이미지를 수집이미지 저장모듈에서 검색하며, 상기 기준대상의 지물그림자에서 하기 그림자면적이 가장 작은 지물그림자와 서로 겹치지 않는 기준대상의 지물그림자가 구성된 수집이미지를 영상분류모듈이 검출한 지물그림자의 위치를 바탕으로 수집이미지 저장모듈에서 검색하여 복원이미지로 지정하고, 복원구간이미지로 대체된 교차구역이미지를 구성하는 영상이미지와 지상범위 각각의 이전 버전의 이미지파트 데이터셋을 상기 이미지파트 저장모듈에서 검색하는 검색모듈; 상기 처리대상이미지의 픽셀별 RGB 조합비율과, 상기 검색모듈이 검색한 동일한 지상구역의 수집이미지의 픽셀별 RGB 조합비율을 통일시키고, 통일된 RGB 조합비율을 기반으로 상기 처리대상이미지와 수집이미지에서 기준대상과 해당 지물그림자를 식별하며, GPS좌표를 기준으로 상기 처리대상이미지와 수집이미지를 오버랩하는 이미지 통합모듈; 상기 이미지 통합모듈에 의해 오버랩된 처리대상이미지와 수집이미지 간의 교차구역이미지를 확인하고, 상기 처리대상이미지와 수집이미지별 교차구역이미지 중 기준대상 지물그림자의 그림자면적이 가장 작은 교차구역이미지를 복원대상으로 지정하는 복원대상 선별모듈; 상기 복원대상 선별모듈이 선별한 교차구역이미지 내에 지물그림자에 대응하는 복원구간이미지를 검색모듈이 검색한 복원이미지에서 검출하고, 상기 복원구간이미지를 해당 교차구역이미지 내에 지물그림자에 대체해서 주변 색상과 일치하도록 보정하며, 상기 지물그림자의 복원구간이미지 대체 후 검색모듈이 이미지파트 저장모듈에서 검색한 영상이미지와 지상범위 각각의 이미지파트 데이터셋을, 상기 복원구간이미지로 대체된 교차구역이미지를 구성하는 영상이미지와 지상범위 각각의 이미지파트 데이터셋으로 갱신하는 이미지 보정모듈;을 갖춘 OS(Operating System) 기반의 영상처리장치

를 포함하는 합성 영상의 경계 보정을 통한 일체화 영상처리 편집시스템이다.

상기의 본 발명은, 영상이미지에서 변화가 있는 지상물 또는 지형물 등의 지상범위만을 추출해서 부분적으로 수정 및 갱신함은 물론, 상기 변화가 있는 관련 구역의 이미지를 용이하게 일괄 검색해서 영상이미지의 수정 및 갱신 처리를 위한 연산 부담을 획기적으로 줄일 수 있는 효과가 있다.

도 1은 본 발명에 따른 영상처리 편집시스템의 영상 처리 대상인 영상이미지의 일 예를 보인 이미지이고,
도 2는 도 1의 영상이미지에서 배치 위치와 표현색상의 정보를 갖는 이미지파트가 조합되어 이루는 지상범위를 보인 이미지이고,
도 3은 본 발명에 따른 영상처리 편집시스템의 구성을 도시한 블록도이고,
도 4는 본 발명에 따른 영상처리 편집시스템이 설정한 이미지파트 단위의 영상이미지에서 지상범위를 조합하는 모습을 개략적으로 도시한 도면이고,
도 5는 본 발명에 따른 영상처리 편집시스템이 이미지파트 단위를 기준으로 복수의 영상이미지들 오버랩한 모습을 개략적으로 도시한 도면이고,
도 6은 본 발명에 따른 영상처리 편집시스템이 처리대상이미지 대상 영상이미지를 보인 도면이고
도 7는 본 발명에 따른 영상처리 편집시스템의 동작 프로세스를 순차로 도시한 플로차트이고,
도 8는 본 발명에 따른 영상처리 편집시스템에서 선별된 처리대상이미지를 개략적으로 도시한 도면이고,
도 9은 GPS좌표가 설정된 상기 처리대상이미지를 도시한 도면이고,
도 10은 본 발명에 따른 영상처리 편집시스템이 처리대상이미지와 비교하기 위해 검색한 수집이미지를 개략적으로 도시한 도면이고,
도 11은 본 발명에 따른 영상처리 편집시스템이 처리대상이미지와 수집이미지를 오버랩한 모습을 보인 도면이고,
도 12는 본 발명에 따른 영상처리 편집시스템이 오버랩된 처리대상이미지와 수집이미지에서 기준대상의 지물그림자가 서로 겹치지 않는 예시 이미지를 보인 도면이고,
도 13은 본 발명에 따른 영상처리 편집시스템이 오버랩된 처리대상이미지와 수집이미지에서 기준대상의 지물그림자가 서로 겹치지 않는 모습을 개략적으로 도시한 도면이고,
도 14는 본 발명에 따른 영상처리 편집시스템이 기준대상의 지물그림자를 복원구간이미지로 대체하는 모습을 개략적으로 도시한 도면이다.

실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.

이하, 본 발명을 구체적인 내용이 첨부된 도면에 의거하여 상세히 설명한다.

도 1은 본 발명에 따른 영상처리 편집시스템의 영상 처리 대상인 영상이미지의 일 예를 보인 이미지이고, 도 2는 도 1의 영상이미지에서 배치 위치와 표현색상의 정보를 갖는 이미지파트가 조합되어 이루는 지상범위를 보인 이미지이고, 도 3은 본 발명에 따른 영상처리 편집시스템의 구성을 도시한 블록도이고, 도 4는 본 발명에 따른 영상처리 편집시스템이 설정한 이미지파트 단위의 영상이미지에서 지상범위를 조합하는 모습을 개략적으로 도시한 도면이고, 도 5는 본 발명에 따른 영상처리 편집시스템이 이미지파트 단위를 기준으로 복수의 영상이미지들 오버랩한 모습을 개략적으로 도시한 도면과, 도 6은 본 발명에 따른 영상처리 편집시스템이 처리대상이미지 대상 영상이미지를 보인 도면이다.

도 1 내지 도 6을 참조하면, 본 발명에 따른 영상처리 편집시스템은, GPS값이 지정되고 지물이미지(B)가 식별된 지상구역별 수집이미지(AI)를 지물그림자(S)의 방향에 따라 분류하여 저장 및 관리하는 수집이미지 저장모듈(10)과, 수집이미지(AI)에서 영상지도로 선별된 영상이미지를 버전별로 분류하여 저장 및 관리하는 영상이미지 저장모듈(20)과, 이미지파트 정보를 저장하는 이미지파트 저장모듈(50)로 구성된 데이터베이스 장치(DB)와; 수집이미지(AI)와 영상이미지를 영상처리하는 영상처리장치(40)로 구성된다. 여기서 이미지파트 저장모듈(50)은, 수집이미지(AI)와 영상이미지를 각각 배치위치 정보와 표현색상 정보가 구성된 복수 개의 이미지파트(IP)로 분할해서 수집이미지(AI)와 영상이미지별 이미지파트(IP) 데이터셋으로 저장 및 관리하고, 수집이미지(AI)와 영상이미지 각각에서 별도로 지정된 특정 지상범위(Z)에 위치한 복수 개의 이미지파트(IP)를 지상범위별 이미지파트(IP) 데이터셋으로 별도 저장 및 관리한다. 참고로, 수집이미지(AI)는 항공 또는 위성 촬영이미지를 GPS 기반의 지상구역별로 편집해서 GPS값을 지정한 이미지이고, 상기 영상이미지는 영상지도 제작을 위해 수집이미지(AI)에서 선별되어 연결 및 조합되는 이미지이고, 이미지파트(IP)는 수집이미지(AI)가 설정된 GPS좌표 간격에 따라 일정한 규격으로 분할해 이루어진 수집이미지(AI)의 일부분이다. 이미지파트(IP1)는 도 2와 같이 수집이미지(AI)에서 이미지파트(IP1)가 위치하는 배치위치 정보와, 이미지파트(IP1)의 구성 픽셀별 표현색상 정보를 구성한다. 본 실시 예에서 이미지파트(IP1)의 배치위치 정보는 수집이미지(AI) 또는 영상이미지가 분할되어 이루어진 이미지파트(IP1)의 GPS좌표값의 범위이고, 이미지파트(IP1)의 표현색상 정보는 이미지파트(IP1)에 속하는 구성 픽셀의 상대 위치에 따라 회색과 하늘색이 각각 설정되어 이룬다.

데이터베이스 장치(DB)를 구성하는 수집이미지 저장모듈(10)와 영상이미지 저장모듈(20)와 이미지파트 저장모듈(50)은 각각 DB서버 형태일 수도 있으나, 이외에도 OS(Operating System) 기반의 컴퓨터의 저장모듈, 또는 온라인상의 클라우드 등 다양한 저장수단이 적용될 수 있다.

본 발명에 따른 영상처리장치(40)는 영상이미지에 구성된 지물그림자에 대한 편집 등의 영상처리를 수행하는 장치이며, OS(Operating System) 기반의 컴퓨터에 애플리케이션 형태로 설치될 수 있다. 영상처리장치(40)는 영상분류모듈(41)과 검색모듈(42)과 복원대상 선별모듈(43)과 이미지 통합모듈(44)과 이미지 보정모듈(45)과 이미지파트 처리모듈(47)로 구성된다.

이미지파트 처리모듈(47)은, 설정된 GPS좌표 간격으로 수집이미지 저장모듈(10)에 저장된 수집이미지(AI)와 영상이미지 저장모듈(20)에 저장된 영상이미지를 각각 일정한 규격으로 분할해서 이미지파트(IP)를 생성하고, 이미지파트(IP)에 배치위치 정보와 표현색상 정보를 확인해 구성해서 수집이미지(AI)와 영상이미지별 이미지파트(IP) 데이터셋으로 이미지파트 저장모듈(50)에 저장하며, 수집이미지(IP)와 영상이미지 각각에서 특정 구간의 지정을 통해 지상범위(Z)를 생성하여 지상범위(Z) 이내에 이미지파트(IP)를 지상범위(Z)별 이미지파트(IP) 데이터셋으로 이미지파트 저장모듈(50)에 저장한다. 따라서 수집이미지(AI) 또는 영상이미지 등의 일부분을 이미지파트(IP) 단위의 대체 방식를 통해 GPS좌표를 기반으로 정확한 이미지 보정이 가능하고, 지상범위(Z)로 지정된 특정 지형 또는 행정구역을 수집이미지 또는 영상이미지에서 GPS좌표값 확인 및 매칭 과정 없이 도 4와 같이 일괄해 대체 편집할 수도 있고, 도 5와 같이 영상이미지 오버랩에도 정확한 위치 맞춤을 할 수 있다. 한편, 이미지파트(IP)는 배치위치 정보와 표현색상 정보를 구성하므로, 이미지파트 처리모듈(47)은 이미지파트(IP) 단위로 표현색상 정보를 정정해서 경계라인을 명확히 하거나 이미지파트(IP) 단위로 픽셀의 RGB 조합비율을 조정할 수 있다.

영상분류모듈(41)은, 영상이미지 저장모듈(20)에서 검색된 영상이미지에서 지물그림자(S)로 지정된 색상 구간을 검출하고, 상기 색상 구간에 위치한 지물표시(B')의 표시면적을 합산하고, 상기 색상 구간의 총 면적에서 표시면적의 합산 크기를 차감한 면적을 그림자전체면적을 지정하고, 상기 영상이미지의 전체 면적 대비 그림자전체면적의 점유비율을 확인하며, 상기 점유비율이 기준비율을 초과하면 해당 영상이미지를 처리대상이미지로 지정하도록 프로그램된 알고리즘이다. 영상분류모듈(41)은 전술한 프로세스를 통해 영상지도를 이루는 수많은 영상이미지에서 처리대상이미지를 선별할 수 있다.

검색모듈(42)은, 사용자가 입력한 GPS값의 지물이미지(B)를 기준대상으로 지정하여 처리대상이미지(UI)에서 검출하고, 상기 기준대상을 포함한 수집이미지(AI)를 수집이미지 저장모듈(10)에서 검색하며, 상기 기준대상의 지물그림자(S)에서 그림자면적이 가장 작은 지물그림자(S3; 도 13 참고)와 서로 겹치지 않는 기준대상의 지물그림자(S)가 구성된 수집이미지(AI)를 수집이미지 저장모듈(10)에서 검색하여 복원이미지(R; 도 14 참고)로 지정하고, 복원구간이미지(RZ)로 대체된 교차구역이미지(CI; 도 11 참고)를 구성하는 영상이미지와 지상범위(Z) 각각의 이전 버전의 이미지파트 데이터셋을 이미지파트 저장모듈(50)에서 검색하도록 프로그램된 알고리즘이다. 따라서 검색모듈(42)은 사용자의 GPS값 등의 키워드에 상응하는 이미지를 수집이미지 저장모듈(10)와 영상이미지 저장모듈(20)에서 각각 검색한다. 참고로 검색모듈(42)은 영상분류모듈(41)이 영상이미지와 수집이미지(AI) 각각의 구간별 색상 분석을 통해 검출한 지물그림자(S, S3)의 위치를 참고해서 해당 지물그림자(S, S3)가 서로 겹치지 않는 수집이미지(AI)를 검색하고 복원이미지(R)로 지정한다. 또한, 검색모듈(42)은 지물그림자(S3)가 복원구간이미지(RZ)로 대체되면, 복원구간이미지(RZ)로 대체된 교차구역이미지(CI1)를 구성하는 영상이미지와 지상범위(Z) 각각의 이전 버전의 이미지파트 데이터셋을 상기 이미지파트 저장모듈(50)에서 검색한다. 상기 검색은 영상이미지와 지상범위(Z)를 지물그림자(S3)가 제거된 상태로 업데이트해서 명확한 영상이미지 상태를 유지하도록 하기 위함이다.

이미지 통합모듈(43)은 처리대상이미지(UI)와, 검색모듈(42)이 검색한 동일한 지상구역의 수집이미지(AI3 내지 AI6; 도 10 참고)를 RGB 조합비율 조정을 통해 이미지 색상을 통일시키고, 통일된 이미지 색상을 기반으로 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)에서 기준대상과 상기 기준대상의 지물그림자(S)를 식별하며, GPS좌표(GPS; 도 9 참고)를 기준으로 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)를 오버랩하도록 프로그램된 알고리즘이다. 서로 동일한 지상구역의 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6) 간의 오버랩을 통해 영상이미지 보정에 유리한 수집이미지(AI)를 검출한다.

복원대상 선별모듈(44)은 이미지 통합모듈(43)에 의해 오버랩된 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6) 간의 교차구역이미지(CI; 도 11 참고)를 확인하고, 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)별 교차구역이미지(CI) 중 지물그림자(S, S3)의 그림자면적이 가장 작은 교차구역이미지(CI1; 도 14 참고)를 복원대상으로 지정하도록 프로그램된 알고리즘이다. 상기 복원대상 교차구역이미지(CI1) 지정을 통해 지물그림자(S3)에 대한 보정 범위가 한정되므로, 대체될 복원구간이미지(RZ)에 해당하는 수집이미지(AI3 내지 AI6) 검색이 유리하다.

이미지 보정모듈(45)은, 복원대상 선별모듈(44)이 선별한 교차구역이미지(CI1)의 지물그림자(S3)에 대응하는 복원구간이미지(RZ; 도 14 참고)를 검색모듈(42)이 검색한 복원이미지(R)에서 검출하고, 복원구간이미지(RZ)를 해당 교차구역이미지(CI1)의 지물그림자(S3)에 대체해서 주변 색상과 일치하도록 보정한다. 또한 이미지 보정모듈(45)은 지물그림자(S3)의 복원구간이미지(RZ) 대체 후 검색모듈(42)이 이미지파트 저장모듈(50)에서 검색한 영상이미지와 지상범위(Z) 각각의 이미지파트(IP) 데이터셋을, 복원구간이미지(RZ)로 대체된 교차구역이미지(CI1)를 구성하는 영상이미지와 지상범위(Z) 각각의 이미지파트(IP) 데이터셋으로 갱신한다. 결국, 영상지도를 이루는 영상이미지에서 처리대상이미지(UI)는 대상 구간의 지물그림자가 제거되어서 명확한 영상이미지로 영상이미지 저장모듈(20)에 저장 및 갱신된다.

이상 설명한 본 발명에 따른 구성의 영상처리 편집시스템을 기반으로 처리대상이미지(UI)에 대한 영상처리 과정을 순차 설명한다.

도 7는 본 발명에 따른 영상처리 편집시스템의 동작 프로세스를 순차로 도시한 플로차트이고, 도 8는 본 발명에 따른 영상처리 편집시스템에서 선별된 처리대상이미지를 개략적으로 도시한 도면이고, 도 9은 GPS좌표가 설정된 상기 처리대상이미지를 도시한 도면이다.

도 1 내지 도 3과 도 7 내지 도 9를 참조하면, 본 발명에 따른 영상처리 편집시스템 기반 영상이미지 처리 방법은, 이미지파트 생성 단계(S10)와 처리대상이미지 선별 단계(S20)와 기준대상 지정 단계(S30)와 이미지 색상 조정 단계(S40)와 이미지 통합 단계(S50)와 복원대상 선별 단계(S60)와 지물그림자 편집 단계(S70)와 이미지파트 갱신 단계(S80)로 구성된다. 각 단계별 동작에 대해 영상처리 편집시스템을 기반으로 설명한다.

S10; 이미지파트 생성 단계

이미지파트 처리모듈(47)은 검색모듈(41)을 통해 수집이미지 저장모듈(10)과 영상이미지 저장모듈(20) 각각에서 이미지파트(IP)가 미생성된 수집이미지(AI)와 영상이미지를 검색한다. 이미지파트 처리모듈(47)은 검색된 수집이미지(AI)와 영상이미지를 각각 설정된 GPS좌표 간격에 따라 도 1 및 도 2와 같이 일정한 규격으로 분할해서 이미지파트(IP)를 생성한다. 이미지파트(IP)는 수집이미지(AI)와 영상이미지 각각의 이미지파트(IP) 데이터셋으로 일괄해 관리하며 이미지파트 저장모듈(50)에 저장된다. 이미지파트(IP)는 수집이미지(AI)와 영상이미지 각각에서 어디에 위치하는지를 확인하도록 배치위치 정보를 구성하고, 이미지파트(IP)에서 표현하는 표현색상 정보를 구성한다.

한편, 사용자는 이미지파트(IP)가 분할되어 이루어진 수집이미지(AI)와 영상이미지에서 일정한 범위를 각각 지정할 수 있고, 이렇게 지정한 범위는 지상범위(Z)로 구분해 관리된다. 이미지파트 처리모듈(47)은 지상범위(Z)에 구성된 복수 개의 이미지파트(IP)를 지상범위(Z)의 이미지파트(IP) 데이터셋으로 이미지파트 저장모듈(50)에 저장해서 일괄적으로 관리한다.

S20; 처리대상이미지 선별 단계

영상분류모듈(41)은 영상이미지에서 지물그림자(S)로 지정된 색상으로 도색된 구간을 검출해서 지물그림자(S)로 분류한다. 일반적으로 지물그림자(S)의 색상은 지물그림자(S) 이외의 색상에 비해 RGB 중 Red의 조성 비율이 상대적으로 낮다. 이러한 특성에 주목해서 영상분류모듈(41)은 지물그림자(S) 색상의 Red, Green, Blue 비율을 지정하고, 해당 비율을 갖는 영상이미지의 픽셀을 지물그림자(S)의 픽셀로 간주한다.

계속해서, 영상분류모듈(41)은 상기 구간, 즉 지물그림자(S)에 위치한 지물표시(B')의 표시면적을 합산하고, 지물그림자(S)의 총 면적에서 표시면적의 합산 크기를 차감한 면적을 그림자전체면적으로 지정한다. 지물그림자(S)의 면적 합산과 표시면적의 합산 등은 공지의 면적 연산 알고리즘을 이용해서 무리 없이 확인할 수 있다. 영상이미지에서 지물그림자(S)의 픽셀로 간주된 구간에는 지물이미지(B1, B2)가 위치할 수 있다. 그러므로 지물그림자(S)의 구간에서 상기 표시면적을 차감하여 보다 정확한 지물그림자(S) 범위의 면적을 확인할 수 있다.

이후, 영상분류모듈(41)은 상기 영상이미지의 전체 면적 대비 그림자전체면적의 점유비율을 확인해서, 상기 점유비율이 기준비율을 초과하면 해당 영상이미지를 처리대상이미지(UI)로 지정한다. 결국, 영상지도를 이루는 복수의 영상이미지에서 처리대상이미지(UI)를 자동으로 분류하고 보정을 위한 후속 프로세스를 자동으로 수행할 수 있다.

S30; 기준대상 지정 단계

사용자는 처리대상이미지(UI)로 지정된 영상이미지에서 편집이 필요한 부분의 GPS값을 입력하면, 검색모듈(42)은 사용자가 입력한 GPS값의 지물이미지(B)를 기준대상으로 지정하여 도 8과 같이 처리대상이미지(UI)에서 검출한다. 전술한 바와 같이 영상이미지는 물론 수집이미지(AI)는 도 9와 같이 GPS좌표(GPS)가 설정되고, 지물이미지(B)별로 해당하는 GPS값이 지정된다. 그러므로 검색모듈(42)은 사용자가 입력한 GPS값에 해당하는 영상이미지와 수집이미지(AI)를 해당 저장모듈(10, 20)에서 검색한다.

도 10은 본 발명에 따른 영상처리 편집시스템이 처리대상이미지와 비교하기 위해 검색한 수집이미지를 개략적으로 도시한 도면이고, 도 11은 본 발명에 따른 영상처리 편집시스템이 처리대상이미지와 수집이미지를 오버랩한 모습을 보인 도면이다.

도 3 내지 도 11을 참조해서 본 발명에 따른 영상처리 편집시스템 기반의 처리방법을 설명한다.

S40; 이미지 색상 조정 단계

검색모듈(42)은 기준대상이 지정되면, 상기 기준대상을 포함한 수집이미지(AI3 내지 AI6)를 수집이미지 저장모듈(10)에서 검색한다. 그런데 처리대상이미지(UI)는 물론 동일한 지상구역의 수집이미지(AI3 내지 AI6)는 수집 위치와 수집 시기 및 촬영 각도 등에 차이가 있으므로 적용 색상이 모두 다를 수 밖에 없다. 따라서 이미지 통합모듈(43)은 검색모듈(42)이 검색한 동일한 지상구역의 수집이미지(AI3 내지 AI6)의 RGB 조합비율을 처리대상이미지(UI)와 동일하게 해서 이미지 색상을 통일시킨다.

결국, 동일한 지상구역의 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)는 구성 픽셀의 색상 통일로 인해 색상에 의한 오차 없이 지물그림자(S)를 정확히 검출하고 편집 가공할 수 있다.

S50; 이미지 통합 단계

이미지 통합모듈(43)은 통일된 이미지 색상을 기반으로 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)에서 기준대상과 상기 기준대상의 지물그림자(S)를 식별한다. 지물그림자(S)를 분류하기 위해 지물그림자(S)로 지정된 색상 여부를 확인하는 전술한 방법과는 달리 이미지 통합모듈(43)은 동일한 지상구역의 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)를 동일한 RGB 조합비율로 통일하므로, 기준대상의 지물이미지(B)와 지물그림자(S)의 검출을 위한 연산 부하를 최소화하고 연산 시간을 줄일 수 있다.

처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)의 RGB 조합비율이 통일되면 이미지 통합모듈(43)은 GPS좌표(GPS)를 기준으로 도 11과 같이 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)를 오버랩한다.

S60; 복원대상 선별 단계

복원대상 선별모듈(44)은 이미지 통합모듈(43)에 의해 오버랩된 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6) 간의 교차구역이미지(CI)를 확인한다. 여기서 교차구역이미지(CI)는 도 11과 같이 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)가 서로 겹치는 구간의 이미지이다. 교차구역이미지(CI)에는 기준대상의 지물이미지(B)는 물론 기준대상 주변 지물의 지물이미지와, 해당 지물별 지물그림자(S, S3)가 구성된다.

복원대상 선별모듈(44)은 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6)별 교차구역이미지(CI)의 범위 내에 속하는 지물대상 지물그림자(S, S3)의 그림자면적이 가장 작은 교차구역이미지(CI1; 도 14 참고)를 복원대상으로 지정한다. 즉, 처리대상이미지(UI)와 수집이미지(AI3 내지 AI6) 각각에 속했던 교차구역이미지(CI)들 중에서 지물대상 지물그림자(S, S3)가 가장 작은 지물그림자(S3)를 구성한 교차구역이미지(CI1)를 복원대상으로 지정한다는 것이다.

복원대상 선별모듈(44)은 그림자면적이 가장 작은 지물대상 지물그림자(S3)를 선별해서 해당 지물그림자(S3)의 구간만을 복원할 수 있게 하므로, 이미지 복원 부담을 획기적으로 줄일 수 있음은 물론 복원을 위한 편집에도 영상이미지의 사실감을 유지할 수 있다.

지물대상 지물그림자(S, S3)의 그림자면적이 가장 작은 교차구역이미지(CI1)의 선별 과정은 RGB 조합비율의 통일 상태에서 이루어지므로, 상기 선별 오류를 줄여서 정확성을 높이고, 선별 과정에서 복원대상 선별모듈(44)의 연산 부하를 줄일 수 있다.

도 12는 본 발명에 따른 영상처리 편집시스템이 오버랩된 처리대상이미지와 수집이미지에서 기준대상의 지물그림자가 서로 겹치지 않는 예시 이미지를 보인 도면이고, 도 13은 본 발명에 따른 영상처리 편집시스템이 오버랩된 처리대상이미지와 수집이미지에서 기준대상의 지물그림자가 서로 겹치지 않는 모습을 개략적으로 도시한 도면이고, 도 14는 본 발명에 따른 영상처리 편집시스템이 기준대상의 지물그림자를 복원구간이미지로 대체하는 모습을 개략적으로 도시한 도면이다.

도 1 내지 도 3과 도 7과 도 12 내지 도 14를 참조해서 본 발명에 따른 영상처리 편집시스템 기반의 처리방법을 설명한다.

S60; 지물그림자 편집 단계

이미지 보정모듈(45)은, 복원대상 선별모듈(44)이 선별한 교차구역이미지(CI1) 내에 지물그림자(S3, S4)에 대응하는 복원구간이미지(RZ)를 검색모듈(42)이 검색한 복원이미지(R)에서 검출한다. 전술한 바와 같이 복원대상 선별모듈(44)은 교차구역이미지(CI1)에서 기준대상 지물그림자(S3)를 기준으로 교차구역이미지(CI1)를 선별해서 복원이 이루어져야 할 구간을 확인하였으나, 복원을 위한 보정에서는 해당 교차구역이미지(CI1) 내에 모든 지물그림자(S3, S4)를 대상으로 일괄 처리한다. 한편, 이미지 보정모듈(45)은 검색모듈(42)을 통해 복원구간이미지(RZ)를 검색한다. 여기서 복원이미지(R)는 기준대상의 지물그림자(S, S3)에서 그림자면적이 가장 작은 지물그림자(S3)와 도 12와 같이 서로 겹치지 않는 기준대상의 지물그림자(S)가 구성된 수집이미지(AI)를 의미한다. 또한 복원구간이미지(RZ)는 복원이미지(R)에서 기준대상 지물그림자(S, S3) 중 그림자면적이 가장 작은 지물그림자(S3)의 위치에 속하는 구간의 이미지를 의미한다. 따라서 이미지 보정모듈(45)은 검색모듈(42)이 검색한 복원이미지(R)를 분석해서 해당 교차구역이미지(CI1) 내에 지물그림자(S3, S4)에 대응하는 복원구간이미지(RZ)를 검출한다.

이미지 보정모듈(45)은 복원이미지(R)에서 검출한 복원구간이미지(RZ)를 해당 교차구역이미지(CI1) 내에 지물그림자(S3, S4)에 대체해서 주변 색상과 일치하도록 보정한다. 지물그림자(S3, S4)에 대한 대체 편집은 교차구역이미지(CI1)가 바탕을 이루므로, 상기 보정은 대체된 복원구간이미지(RZ)를 교차구역이미지(CI1)에 맞추는 형태로 이루어진다. 결국, 상기 주변 색상과의 일치를 위해 이미지 보정모듈(45)은 공지된 바와 같이 복원구간이미지(RZ)의 색상, 채도, 명도 조정 등을 주변 색상에 맞춘다.

참고로, 도 14와 같이 해당 교차구역이미지(CI1) 내에 지물그림자(S3, S4) 중 일부 지물그림자(S4)의 경우 이미지 보정모듈(45)은 해당 지물그림자(S4)에 대응하는 복원구간이미지를 복원이미지(R)에서 검출하지 못할 수 있다. 이 경우에 이미지 보정모듈(45)은 검색모듈(42)을 통해 해당 지물그림자(S4)에 대응하는 복원이미지(미도시함)를 수집이미지(AI)에서 재검색하고, 상기 복원이미지가 검색되면 이를 분석해서 해당 지물그림자(S4)에 대응하는 복원구간이미지를 검출하고 전술한 대체 공정을 실행한다. 따라서 복원대상 선별모듈(44)이 선별한 하나의 교차구역이미지(CI1)에 구성된 지물그림자(S3, S4) 각각은 복수의 수집이미지(AI)에 각각 구성된 복원구간이미지(RZ)로 대체될 수 있다.

S80; 이미지파트 갱신 단계

이미지 보정모듈(45)이 지물그림자(S3)를 복원구간이미지(RZ)로 대체하면, 검색모듈(41)은 이미지 보정모듈(45)에 제어에 따라 복원구간이미지(RZ)로 대체된 교차구역이미지(CI)를 구성하는 영상이미지의 이전 버전의 이미지파트 데이터셋을 이미지파트 저장모듈(50)에서 검색하고, 이미지 보정모듈(45)은 복원구간이미지(RZ)로 대체된 교차구역이미지(CI)를 구성하는 영상이미지의 이미지파트 데이터셋으로 이전 버전의 이미지파트 데이터셋을 갱신한다.

이외에도 수집이미지(AI) 또는 영상이미지에 지정된 지상범위(Z)의 이미지파트(IP) 역시 복원구간이미지(RZ)로의 대체를 통해 보정될 수 있고, 이렇게 보정된 지상범위(Z)의 이미지파트(IP)는 전술한 바와 같이 이미지 보정모듈(45)에 의해 이미지파트 저장모듈(50)에서 갱신된다.

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시 예들을 참조해 설명했지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

AI, AI3 내지 AI6; 수집이미지 B, B1, B2; 지물이미지
B', B1', B2'; 지물표시 CI; CI1; 교차구역이미지
DB; 데이터베이스 장치 IP, IP1; 이미지파트
R; 복원이미지 RZ; 복원구간이미지
S, S3 내지 S4; 지물그림자 UI; 처리대상이미지
Z; 지상범위 40; 영상처리장치

Claims (1)

1. GPS값이 지정되고 지물이미지가 식별된 지상구역별 수집이미지를 수집 시간대에 따른 지물그림자의 형성 방향에 따라 분류하여 저장 및 관리하는 수집이미지 저장모듈; 상기 수집이미지에서 선별된 영상이미지를 버전별로 분류하여 저장 및 관리하는 영상이미지 저장모듈; 상기 수집이미지와 영상이미지를 각각 복수 개의 이미지파트로 분할하되, 상기 이미지파트는 배치위치 정보와 표현색상 정보를 구성하고, 상기 복수 개의 이미지파트를 해당하는 수집이미지와 영상이미지 각각의 이미지파트 데이터셋으로 저장 및 관리하며, 상기 수집이미지와 영상이미지 각각에서 별도로 지정된 특정 지상범위에 위치한 복수 개의 이미지파트를 지상범위별 이미지파트 데이터셋으로 별도 저장 및 관리하는 이미지파트 저장모듈;를 갖춘 데이터베이스 장치, 및
   설정된 GPS좌표 간격으로 상기 수집이미지 저장모듈에 저장된 수집이미지와 영상이미지 저장모듈에 저장된 영상이미지를 각각 일정한 규격으로 분할해서 이미지파트를 생성하고, 상기 이미지파트에 배치위치 정보와 표현색상 정보를 확인해 구성해서 수집이미지와 영상이미지별 이미지파트 데이터셋으로 이미지파트 저장모듈에 저장하며, 상기 수집이미지와 영상이미지 각각에서 특정 구간의 지정을 통해 지상범위를 생성하여 지상범위 이내에 이미지파트를 지상범위별 이미지파트 데이터셋으로 이미지파트 저장모듈에 저장하는 이미지파트 처리모듈; 상기 영상이미지 저장모듈에서 검색된 영상이미지와 동일한 지상구역의 수집이미지를 해당 영상이미지에 오버랩해서 지물이미지에 대응하는 지물표시를 확인하고, 상기 영상이미지에서 지물그림자로 지정된 색상 구간을 검출하고, 상기 색상 구간에 위치한 지물표시의 표시면적을 합산하고, 상기 색상 구간의 총 면적에서 표시면적의 합산 크기를 차감한 면적을 그림자전체면적으로 지정하고, 상기 영상이미지의 전체 면적 대비 그림자전체면적의 점유비율을 확인하며, 상기 점유비율이 기준비율을 초과하면 해당 영상이미지를 처리대상이미지로 지정하는 영상분류모듈; 사용자가 입력한 GPS값의 지물이미지를 기준대상으로 지정하여 처리대상이미지에서 검출하고, 상기 기준대상을 포함한 수집이미지를 수집이미지 저장모듈에서 검색하며, 상기 수집이미지별로 포함된 기준대상의 지물그림자는 수집이미지의 수집 시간대에 따라 형성 방향이 다르므로, 상기 기준대상의 지물그림자에서 그림자면적이 가장 작은 지물그림자와 서로 겹치지 않는 기준대상의 지물그림자가 구성된 수집이미지를, 상기 영상분류모듈이 검출한 지물그림자의 위치를 바탕으로 수집이미지 저장모듈에서 검색하여 복원이미지로 지정하고, 복원구간이미지로 대체된 교차구역이미지를 구성하는 영상이미지와 지상범위 각각의 이전 버전의 이미지파트 데이터셋을 상기 이미지파트 저장모듈에서 검색하는 검색모듈; 상기 처리대상이미지의 픽셀별 RGB 조합비율과, 상기 검색모듈이 검색한 동일한 지상구역의 수집이미지의 픽셀별 RGB 조합비율을 통일시키고, 통일된 RGB 조합비율을 기반으로 상기 처리대상이미지와 수집이미지에서 기준대상과 상기 기준대상의 지물그림자를 식별하며, GPS좌표를 기준으로 상기 처리대상이미지와 수집이미지를 오버랩하는 이미지 통합모듈; 상기 이미지 통합모듈에 의해 오버랩된 처리대상이미지와 수집이미지 간의 교차구역이미지를 확인하고, 상기 처리대상이미지와 수집이미지별 교차구역이미지 중 기준대상 지물그림자의 그림자면적이 가장 작은 교차구역이미지를 복원대상으로 지정하는 복원대상 선별모듈; 상기 복원대상 선별모듈이 선별한 교차구역이미지 내에 지물그림자의 위치에 대응하는 복원구간이미지를 검색모듈이 검색한 복원이미지에서 검출하고, 상기 교차구역이미지 내에 지물그림자를 복원구간이미지로 대체하고, 상기 복원구간이미지를 주변 색상과 일치하도록 보정하며, 상기 지물그림자의 복원구간이미지 대체 후 검색모듈이 이미지파트 저장모듈에서 검색한 영상이미지와 지상범위 각각의 이미지파트 데이터셋을, 상기 복원구간이미지로 대체된 교차구역이미지를 구성하는 영상이미지와 지상범위 각각의 이미지파트 데이터셋으로 갱신하는 이미지 보정모듈;을 갖춘 OS(Operating System) 기반의 영상처리장치
   를 포함하는 것을 특징으로 하는 합성 영상의 경계 보정을 통한 일체화 영상처리 편집시스템.

Images