KR20140118529A - 공중사진의 그림자 제거 방법 및 그 장치 - Google Patents

공중사진의 그림자 제거 방법 및 그 장치 Download PDF

Info

Publication number
KR20140118529A
KR20140118529A KR1020130034639A KR20130034639A KR20140118529A KR 20140118529 A KR20140118529 A KR 20140118529A KR 1020130034639 A KR1020130034639 A KR 1020130034639A KR 20130034639 A KR20130034639 A KR 20130034639A KR 20140118529 A KR20140118529 A KR 20140118529A
Authority
KR
South Korea
Prior art keywords
image
aerial
shadow
aerial photograph
photographing
Prior art date
Application number
KR1020130034639A
Other languages
English (en)
Other versions
KR101493418B1 (ko
Inventor
주찬진
Original Assignee
현대엠엔소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대엠엔소프트 주식회사 filed Critical 현대엠엔소프트 주식회사
Priority to KR20130034639A priority Critical patent/KR101493418B1/ko
Priority to EP13190001.1A priority patent/EP2784747B1/en
Priority to US14/065,886 priority patent/US9299129B2/en
Priority to CN201310533279.5A priority patent/CN104079802B/zh
Priority to JP2013237466A priority patent/JP6397617B2/ja
Publication of KR20140118529A publication Critical patent/KR20140118529A/ko
Application granted granted Critical
Publication of KR101493418B1 publication Critical patent/KR101493418B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/77—Retouching; Inpainting; Scratch removal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30184—Infrastructure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 공중사진의 그림자 제거 방법에 관한 것으로, 촬영 정보 수집부가 공중사진을 수집하는 단계, 건물 정보 추출부가 수집된 공중사진에 포함된 건물을 추출하는 단계, 그림자 영역 예측부가 추출된 건물에 의해 형성되는 그림자 영역을 예측하는 단계, 영상 복원부가 예측된 그림자 영역에 대응되는 공중사진의 영상을 복원하는 단계 및 영상 합성부가 복원된 영상과 공중사진의 나머지 영상을 합성하는 단계를 포함한다. 본 발명에 따르면, 건물에 의해 형성되는 그림자를 포함하는 공중사진에서 그림자를 제거하여 표시하기 때문에 영상의 품질을 높일 수 있다.
또한 본 발명은 공중사진을 통해 차량의 목적지까지의 경로를 안내할 때 보다 시인성이 높은 영상을 통해 경로를 안내하므로 사용자의 편의성을 향상시킬 수 있다.

Description

공중사진의 그림자 제거 방법 및 그 장치{METHOD FOR ELIMINATING SHADOW OF AERIAL PHOTOGRAPH AND APPARATUS THEREOF}
본 발명은 공중사진의 그림자 제거 방법 및 그 장치에 관한 것으로서, 더욱 상세하게는 건물에 의해 형성되는 그림자가 포함된 공중사진에서 그림자를 제거하여 시인성을 향상시키는 공중사진의 그림자 제거 방법 및 그 장치에 관한 것이다.
공중사진이란 공중의 어느 한 위치에서 지표나 어떤 물체 등을 촬영한 모든 사진을 의미하고, 항공기 등을 통해 공중에서 지표를 촬영한 항공사진과 인공위성에서 지표를 촬영한 위성사진 등이 이에 해당한다.
공중사진은 촬영 각도에 따라 수직사진과 경사사진으로 구분할 수도 있으며, 수직사진은 사진 측량, 사진 판독, 지형도 제작 등의 전문적인 분야에서 사용되고, 경사사진은 보도용, 조감도용 등으로 이용된다.
한편, 내비게이션은 일반적으로 GPS(Global Positioning System) 위성을 통해서 수신받은 차량의 위치 정보를 기반으로 현재 자신의 위치를 파악한 후 내장된 도로 데이터베이스에서 현재 위치의 데이터를 읽어 화면에 차량의 위치와 함께 표시함으로써 운전자가 현재 주행하는 도로의 위치를 식별하거나 초행 도로에서 주행할 때 목적지를 쉽게 찾을 수 있도록 도와주는 장치이다.
최근에는 사용자의 니즈를 충족시키기 위해서 운전자가 목적지를 설정하면 출발지에서 목적지까지의 예상 도착 시간을 안내하거나 목적지까지의 도로 상황에 따른 우회 도로를 제안하는 등의 선진화된 기술들이 내비게이션에 접목되어 운전자에게 보다 정확한 경로 정보를 제공하고 있다.
더불어 최근에는 도로 데이터베이스 대신에 공중사진에 차량의 위치를 표시함으로써 운전자에게 보다 현실적인 경로를 안내하기 위한 기술이 연구 및 개발되고 있다.
그러나 종래에는 촬영된 공중사진을 전송받고 해당 공중사진에 차량의 위치를 표시하는 정도의 기술만이 개발되어 있었기 때문에, 건물에 의해서 형성되는 그림자가 포함된 공중사진이 촬영된 경우에 운전자는 그림자가 포함된 공중사진에서 경로를 확인하게 되므로 운전자의 시인성이 다소 떨어진다는 문제가 있었다.
본 발명과 관련된 선행기술로는 한국 공개특허공보 제2012-0086892 호(2012.08.06.공개, 발명의 명칭 : 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법)가 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 건물에 의해 형성되는 그림자가 포함된 공중사진에서 그림자의 형상을 예측하고 이를 제거하여 그림자가 포함되지 않은 공중사진을 표시함으로써 시인성을 향상시키는, 공중사진의 그림자 제거 방법 및 그 장치를 제공하는데 그 목적이 있다.
본 발명의 일 측면에 따른 공중사진의 그림자 제거 방법은 촬영 정보 수집부가 공중사진을 수집하는 단계; 건물 정보 추출부가 상기 수집된 공중사진에 포함된 건물을 추출하는 단계; 그림자 영역 예측부가 상기 추출된 건물에 의해 형성되는 그림자 영역을 예측하는 단계; 영상 복원부가 상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상을 복원하는 단계; 및 영상 합성부가 상기 복원된 영상과 상기 공중사진의 나머지 영상을 합성하는 단계를 포함한다.
본 발명은 상기 공중사진을 수집하는 단계에서, 상기 촬영 정보 수집부는 상기 공중사진의 촬영위치, 촬영고도, 촬영시각 및 촬영장치의 화각 정보를 추가로 수집하는 것을 특징으로 한다.
본 발명은 상기 수집된 공중사진에 포함된 건물을 추출하는 단계에서, 상기 건물 정보 추출부는 기설정된 기준 높이 이상의 건물만을 추출하는 것을 특징으로 한다.
본 발명에서 상기 추출된 건물에 의해 형성되는 그림자 영역을 예측하는 단계는, 상기 공중사진의 촬영시각, 상기 추출된 건물의 면형 및 높이에 기초하여 상기 그림자 형상을 예측하는 단계; 및 상기 예측된 그림자 형상의 경계선을 추출하는 단계를 포함하는 것을 특징으로 한다.
본 발명에서 상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상을 복원하는 단계는, 상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상 자체의 명도(Brightness) 또는 명암의 대비(Contrast)를 변경함으로써 상기 공중사진의 영상을 복원하는 단계; 및 다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체함으로써 상기 공중사진의 영상을 복원하는 단계 중 적어도 하나를 포함하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 공중사진의 그림자 제거 장치는 공중사진을 수집하는 촬영 정보 수집부; 상기 수집된 공중사진에 포함된 건물을 추출하는 건물 정보 추출부; 상기 추출된 건물에 의해 형성되는 그림자 영역을 예측하는 그림자 영역 예측부; 상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상을 복원하는 영상 복원부; 및 상기 복원된 영상과 상기 공중사진의 나머지 영상을 합성하는 영상 합성부를 포함한다.
본 발명에서 상기 촬영 정보 수집부는 상기 공중사진의 촬영위치, 촬영고도, 촬영시각 및 촬영장치의 화각 정보를 추가로 수집하는 것을 특징으로 한다.
본 발명에서 상기 건물 정보 추출부는 상기 수집된 공중사진에 포함된 건물 중에서 기설정된 기준 높이 이상의 건물만을 추출하는 것을 특징으로 한다.
본 발명에서 상기 그림자 영역 예측부는 상기 공중사진의 촬영시각, 상기 추출된 건물의 면형 및 높이에 기초하여 상기 그림자 형상을 예측하는 형상 예측부; 및 상기 예측된 그림자 형상의 경계선을 추출하는 경계선 추출부를 포함하는 것을 특징으로 한다.
본 발명에서 상기 영상 복원부는 상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상 자체의 명도(Brightness) 또는 명암의 대비(Contrast)를 변경하거나, 다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체함으로써 상기 공중사진의 영상을 복원하는 것을 특징으로 한다.
본 발명에 따르면, 건물에 의해 형성되는 그림자를 포함하는 공중사진에서 그림자를 제거하여 표시하기 때문에 영상의 품질을 높일 수 있다.
또한 본 발명은 공중사진을 통해 차량의 목적지까지의 경로를 안내할 때 보다 시인성이 높은 영상을 통해 경로를 안내하므로 사용자의 편의성을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 장치의 기능 블록도이다.
도 2는 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법의 구현 과정을 설명하는 절차 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법에 기초하여 예측한 그림자 영역을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법에 기초하여 예측한 그림자 영역에 대응되는 공중사진의 영상을 복원한 도면이다.
도 5는 촬영시각에 따라 다르게 형성되는 그림자 영역을 비교하여 나타낸 공중사진의 도면이다.
이하에서는 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법 및 그 장치를 첨부된 도면들을 참조하여 상세하게 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로, 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 장치의 기능 블록도이다.
도 1을 참조하면 공중사진의 그림자 제거 장치는 촬영 정보 수집부(10), 건물 정보 추출부(20), 그림자 영역 예측부(30), 영상 복원부(40) 및 영상 합성부(50)를 포함한다.
촬영 정보 수집부(10)는 지면(地面)을 촬영한 공중사진을 수집하고, 추가적으로 해당 공중사진이 촬영된 촬영위치, 촬영고도 및 촬영시간을 포함하는 촬영 정보를 수집한다.
따라서 촬영 정보 수집부(10)는 인공위성 또는 항공기 등의 촬영장치(1)와 통신을 수행하기 위한 통신부(미도시)를 포함하여 구성될 수 있다.
구체적으로 촬영 정보 수집부(10)는 촬영장치(1)로부터 실시간으로 공중사진을 전송받거나 또는 미리 촬영되어 저장된 상태의 공중사진을 전송받는 등 다양한 방식으로 원하는 지면의 공중사진을 수집할 수 있다.
특히 본 실시예에서 촬영 정보 수집부(10)는 공중사진뿐만 아니라 GPS(Global Positioning System)(2)로부터 해당 공중사진이 촬영될 당시의 촬영위치와 촬영고도 정보를 수집함으로써, 수집한 공중사진에 포함되는 영역을 도출할 수 있다.
즉, 공중사진이 촬영되는 위도와 경도를 포함하는 촬영위치 정보와 촬영고도를 통해서 해당 공중사진이 어느 지면을 촬영한 영상인지 판단할 수 있다.
또한 본 실시예에서 촬영 정보 수집부(1)는 촬영장치(1)로부터 공중사진을 수집할 때, 공중사진을 촬영하면서 함께 저장하는 촬영시각에 관한 정보를 함께 수집한다.
더불어 본 실시예에서 촬영 정보 수집부(10)는 추가적으로 공중사진을 촬영한 촬영장치(1)의 화각(Angle of view) 정보를 수집할 수 있다. 촬영장치(1)에 따라서 화각을 포함하는 촬영 성능이 상이하기 때문에, 본 실시예에서는 촬영장치(1)의 화각 정보에 기초하여, 촬영된 공중사진에 포함되는 영역을 보다 정확하게 도출할 수 있다.
건물 정보 추출부(20)는 촬영 정보 수집부(10)를 통해 수집된 공중사진에 포함된 건물을 추출한다.
구체적으로 건물 정보 추출부(20)는 건물 정보가 포함된 지도를 저장하고 있는 지도 데이터베이스로(미도시)부터 공중사진에 포함되는 지면의 건물을 추출할 수 있다.
이 때 지도 데이터베이스는 건물 정보 추출부(20) 내부에 포함되어 있을 수도 있고, 건물 정보 추출부(20) 외부에 존재하는 별도의 서버와 같은 외부 저장 장치에 포함되어 있을 수도 있으며, 외부 저장 장치가 존재하면 건물 정보 추출부(20)는 외부 저장 장치와의 통신을 통해 지도 데이터베이스를 수신한다.
이와 같이 건물 정보 추출부(20)는 공중사진에 포함되는 지면의 건물 리스트를 추출하는데, 특히 본 실시예에서는 공중사진에 포함된 건물 중에서 기설정된 기준 높이 이상의 건물만을 추출한다.
기준 높이란 영상의 식별에 영향을 끼칠 정도의 그림자를 형성하는 건물의 높이를 의미하고, 촬영장치(1)의 촬영 각도 또는 태양의 고도 등에 따라 다르게 설정될 수 있다.
따라서 본 실시예에서는 영상의 식별에 영향을 끼칠 정도의 높이를 갖는 건물만을 추출하고, 해당 건물로 인한 그림자를 제거하기 때문에 영상 처리 속도를 빠르게 할 수 있다.
그림자 영역 예측부(30)는 건물 정보 추출부(20)에서 추출된 건물에 의해 형성되는 그림자 영역을 예측한다.
구체적으로 그림자 영역 예측부(30)는 공중사진의 촬영시각, 추출된 건물의 면형 및 높이에 기초하여 그림자의 형상을 예측하는 형상 예측부(32)와, 예측된 그림자의 형상에서 경계선을 추출하는 경계선 추출부(34)를 포함함으로써, 그림자 영역을 예측한다.
즉, 형상 예측부(32)는 공중사진의 촬영시각에 기초하여 태양의 고도를 예측할 수 있고, 추출된 건물의 면형과 높이 정보에 기초하여 형성되는 그림자 형상을 예측할 수 있기 때문에 그림자가 형성될 방향 및 크기를 예측할 수 있다.
그리고 그림자가 형성된 영상과 그림자가 형성되지 않은 영상에서는 명암의 차이가 나타나기 때문에 경계선 추출부(34)는 형상 예측부(32)에서 예측된 그림자 형상 부분과 나머지 공중사진 영역의 명암을 비교함으로써, 그림자의 경계선을 추출할 수 있다.
영상의 명암 차이를 비교하여 경계선을 추출하는 영상 처리 방법은 이미 공지된 기술인 바 자세한 설명은 생략하기로 한다.
영상 복원부(40)는 그림자 영역 예측부(30)에서 예측된 그림자 영역에 대응되는 공중사진의 영상을 복원한다.
구체적으로 영상 복원부(40)는 예측된 그림자 영역에 대응되는 공중사진의 영상 자체의 명도(Brightness) 및 명암의 대비(Contrast)를 변경하거나 다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체하는 등의 방법을 이용해서 영상을 복원할 수 있다.
첫째로, 예측된 그림자 영역에 대응되는 공중사진의 영상 자체의 명도 및 명암의 대비를 변경함으로써 공중사진의 영상을 복원하는 방법은, 공중사진에 포함된 건물 또는 도로와 같은 하나의 사물의 경계선을 추출하고, 해당 사물 내부의 명도 및 명암의 대비를 비교한다.
그리고 동일한 사물 내부의 명도 또는 명암의 대비가 기준치 이상 차이가 나면 영상 복원부(40)는 해당 사물에 그림자가 형성된 것으로 판단하고, 해당 사물의 명도 또는 명암의 대비 차이에 기초하여 상기 예측된 그림자 영역에 대응되는 영상의 명도 또는 명암의 대비를 조절함으로써 공중사진의 영상을 복원한다.
둘째로, 다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체하는 방법은, HDR(High Dynamic Range)과 같이 한 장면에서 노출이 다른 각각의 사진을 결합하는 기술 등을 이용할 수 있다.
특히 본 실시예에서는 촬영시각에 따라 형성되는 그림자의 방향이 다름을 이용하되, 이 방법을 이용할 경우에 영상 복원부(40)는 촬영 정보 수집부(10)를 통해 수집된 공중사진이 촬영된 촬영시각과 다른 시각에 촬영된 해당 공중사진의 영역에서 상기 예측된 그림자 영역에 대응되는 영역을 추출하여, 추출된 영역으로 상기 예측된 그림자 영역을 대체함으로써 공중사진의 영상을 복원한다.
영상 합성부(50)는 영상 복원부(40)에서 복원된 영상과 공중사진의 나머지 영상을 합성함으로써, 그림자가 제거된 공중사진을 형성한다.
도 2는 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법의 구현 과정을 설명하는 절차 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법에 기초하여 예측한 그림자 영역을 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법에 기초하여 예측한 그림자 영역에 대응되는 공중사진의 영상을 복원한 도면이다.
도 5는 촬영시각에 따라 다르게 형성되는 그림자 영역을 비교하여 나타낸 공중사진의 도면이다.
도 2 내지 도 5를 참조하여 본 발명의 일 실시예에 따른 공중사진의 그림자 제거 방법을 살펴보면, 먼저 촬영 정보 수집부(10)는 인공위성 또는 항공기 등의 촬영장치(1)로부터 공중사진을 수집한다(S10).
이 때 촬영 정보 수집부(10)는 지면(地面)을 촬영한 공중사진뿐만 아니라, 추가적으로 해당 공중사진이 촬영된 촬영위치, 촬영고도, 촬영시간 및 촬영장치(1)의 화각 정보를 포함하는 촬영 정보를 수집한다.
그리고 건물 정보 추출부(20)는 촬영 정보 수집부(10)를 통해 수집된 공중사진에 포함된 건물을 추출한다(S20).
특히 본 실시예에서 건물 정보 추출부(20)는 공중사진에 포함되는 지면의 건물 리스트를 추출하고, 공중사진에 포함된 건물 리스트 중에서 기설정된 기준 높이 이상의 건물만을 추출한다.
기준 높이란 영상의 식별에 영향을 끼칠 정도의 그림자를 형성하는 건물의 높이를 의미하고, 촬영장치(1)의 촬영 각도 또는 태양의 고도 등에 따라 다르게 설정될 수 있다.
이어서 그림자 영역 예측부(30)는 건물 정보 추출부(20)에서 추출된 건물에 의해 형성되는 그림자 영역을 예측한다(S30).
도 3을 참조하면, 구체적으로 그림자 영역 예측부(30)가 그림자 영역을 예측하는 단계는 형상 예측부(32)를 통해서 공중사진의 촬영시각, 추출된 건물의 면형 및 높이에 기초하여 그림자의 형상을 예측하는 단계(S32) 및 경계선 추출부(34)를 통해서 상기 예측된 그림자의 형상에서 경계선을 추출하는 단계(S34)를 포함한다.
즉, 형상 예측부(32)는 공중사진의 촬영시각에 기초하여 태양의 고도를 예측할 수 있고, 추출된 건물의 면형과 높이 정보에 기초하여 형성되는 그림자 형상을 예측할 수 있기 때문에 그림자가 형성될 방향 및 크기를 예측할 수 있다.
그리고 그림자가 형성된 영상과 그림자가 형성되지 않은 영상에서는 명암의 차이가 나타나기 때문에 경계선 추출부(34)는 형상 예측부(32)에서 예측된 그림자 형상 부분과 나머지 공중사진 영역의 명암을 비교함으로써, 도 3에 도시된 바와 같이 그림자의 경계선(L1)을 추출할 수 있다.
다음으로 영상 복원부(40)는 그림자 영역 예측부(30)에서 예측된 그림자 영역에 대응되는 공중사진의 영상을 복원한다(S40).
구체적으로 영상 복원부(40)는 예측된 그림자 영역에 대응되는 공중사진의 영상 자체의 명도(Brightness) 및 명암의 대비(Contrast)를 변경하거나 다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체하는 등의 방법을 이용해서 영상을 복원할 수 있다.
첫째로, 예측된 그림자 영역에 대응되는 공중사진의 영상 자체의 명도 및 명암의 대비를 변경함으로써 공중사진의 영상을 복원하는 방법은, 공중사진에 포함된 건물 또는 도로와 같은 하나의 사물의 경계선을 추출하고, 해당 사물 내부의 명도 및 명암의 대비를 비교한다.
그리고 동일한 사물 내부의 명도 또는 명암의 대비가 기준치 이상 차이가 나면 영상 복원부(40)는 해당 사물에 그림자가 형성된 것으로 판단하고, 해당 사물의 명도 또는 명암의 대비 차이에 기초하여 예측된 그림자 영역에 대응되는 영상의 명도 또는 명암의 대비를 조절함으로써 도 4에 도시된 바와 같이 공중사진의 영상을 복원할 수 있다.
둘째로, 다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체하는 방법은, 도 5에 도시된 바와 같이 촬영시각에 따라 형성되는 그림자의 방향이 다름을 이용한다.
도 5를 참조하면, 동일한 지면을 촬영하더라도 촬영시각에 따라서 태양의 위치가 달라지기 때문에, 오전에 촬영된 공중사진에 포함된 그림자의 경계선(L1)과 오후에 촬영된 공중사진에 포함된 그림자의 경계선(L2)이 서로 다름을 확인할 수 있다.
따라서 도 3과 같이 형성된 그림자를 제거하고 그림자 경계선(L1) 내부의 공중사진 영상을 복원하기 위해서 영상 복원부(40)는 오후에 촬영된 공중사진으로부터 그림자 경계선(L1) 영역에 대응되는 영역을 추출하여 대체함으로써 공중사진의 영상을 복원한다.
그리고 영상 합성부(50)는 영상 복원부(40)에서 복원된 영상과 공중사진의 나머지 영상을 합성함으로써, 그림자가 제거된 공중사진을 형성한다(S50).
본 실시예에 따르면, 건물에 의해 형성되는 그림자를 포함하는 공중사진에서 그림자를 제거하여 표시하기 때문에 영상의 품질을 높일 수 있다.
또한 본 실시예는 공중사진을 통해 차량의 목적지까지의 경로를 안내할 때 보다 시인성이 높은 영상을 통해 경로를 안내하므로 사용자의 편의성을 향상시킬 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
1: 촬영장치 2: GPS
10: 촬영 정보 수집부 20: 건물 정보 추출부
30: 그림자 영역 예측부 32: 형상 예측부
34: 경계선 추출부 40: 영상 복원부
50: 영상 합성부

Claims (10)

  1. 촬영 정보 수집부가 공중사진을 수집하는 단계;
    건물 정보 추출부가 상기 수집된 공중사진에 포함된 건물을 추출하는 단계;
    그림자 영역 예측부가 상기 추출된 건물에 의해 형성되는 그림자 영역을 예측하는 단계;
    영상 복원부가 상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상을 복원하는 단계; 및
    영상 합성부가 상기 복원된 영상과 상기 공중사진의 나머지 영상을 합성하는 단계
    를 포함하는 공중사진의 그림자 제거 방법.
  2. 제 1항에 있어서,
    상기 공중사진을 수집하는 단계에서, 상기 촬영 정보 수집부는 상기 공중사진의 촬영위치, 촬영고도, 촬영시각 및 촬영장치의 화각 정보를 추가로 수집하는 것을 특징으로 하는 공중사진의 그림자 제거 방법.
  3. 제 1항에 있어서,
    상기 수집된 공중사진에 포함된 건물을 추출하는 단계에서, 상기 건물 정보 추출부는 기설정된 기준 높이 이상의 건물만을 추출하는 것을 특징으로 하는 공중사진의 그림자 제거 방법.
  4. 제 1항에 있어서,
    상기 추출된 건물에 의해 형성되는 그림자 영역을 예측하는 단계는, 상기 공중사진의 촬영시각, 상기 추출된 건물의 면형 및 높이에 기초하여 상기 그림자 형상을 예측하는 단계; 및
    상기 예측된 그림자 형상의 경계선을 추출하는 단계
    를 포함하는 것을 특징으로 하는 공중사진의 그림자 제거 방법.
  5. 제 1항에 있어서,
    상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상을 복원하는 단계는,
    상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상 자체의 명도(Brightness) 또는 명암의 대비(Contrast)를 변경함으로써 상기 공중사진의 영상을 복원하는 단계; 및
    다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체함으로써 상기 공중사진의 영상을 복원하는 단계
    중 적어도 하나를 포함하는 것을 특징으로 하는 공중사진의 그림자 제거 방법.
  6. 공중사진을 수집하는 촬영 정보 수집부;
    상기 수집된 공중사진에 포함된 건물을 추출하는 건물 정보 추출부;
    상기 추출된 건물에 의해 형성되는 그림자 영역을 예측하는 그림자 영역 예측부;
    상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상을 복원하는 영상 복원부; 및
    상기 복원된 영상과 상기 공중사진의 나머지 영상을 합성하는 영상 합성부
    를 포함하는 공중사진의 그림자 제거 장치.
  7. 제 6항에 있어서,
    상기 촬영 정보 수집부는 상기 공중사진의 촬영위치, 촬영고도, 촬영시각 및 촬영장치의 화각 정보를 추가로 수집하는 것을 특징으로 하는 공중사진의 그림자 제거 장치.
  8. 제 6항에 있어서,
    상기 건물 정보 추출부는 상기 수집된 공중사진에 포함된 건물 중에서 기설정된 기준 높이 이상의 건물만을 추출하는 것을 특징으로 하는 공중사진의 그림자 제거 장치.
  9. 제 6항에 있어서,
    상기 그림자 영역 예측부는 상기 공중사진의 촬영시각, 상기 추출된 건물의 면형 및 높이에 기초하여 상기 그림자 형상을 예측하는 형상 예측부; 및
    상기 예측된 그림자 형상의 경계선을 추출하는 경계선 추출부
    를 포함하는 것을 특징으로 하는 공중사진의 그림자 제거 장치.
  10. 제 6항에 있어서,
    상기 영상 복원부는 상기 예측된 그림자 영역에 대응되는 상기 공중사진의 영상 자체의 명도(Brightness) 또는 명암의 대비(Contrast)를 변경하거나, 다른 시각에 촬영된 공중사진으로부터 상기 예측된 그림자 영역에 대응되는 영역을 추출하여 대체함으로써 상기 공중사진의 영상을 복원하는 것을 특징으로 하는 공중사진의 그림자 제거 장치.
KR20130034639A 2013-03-29 2013-03-29 공중사진의 그림자 제거 방법 및 그 장치 KR101493418B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR20130034639A KR101493418B1 (ko) 2013-03-29 2013-03-29 공중사진의 그림자 제거 방법 및 그 장치
EP13190001.1A EP2784747B1 (en) 2013-03-29 2013-10-24 Method and apparatus for removing shadow from aerial or satellite photograph
US14/065,886 US9299129B2 (en) 2013-03-29 2013-10-29 Method and apparatus for removing shadow from aerial or satellite photograph
CN201310533279.5A CN104079802B (zh) 2013-03-29 2013-10-31 航空或卫星照片的阴影去除方法和装置
JP2013237466A JP6397617B2 (ja) 2013-03-29 2013-11-15 空中又は衛星写真の影除去方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130034639A KR101493418B1 (ko) 2013-03-29 2013-03-29 공중사진의 그림자 제거 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20140118529A true KR20140118529A (ko) 2014-10-08
KR101493418B1 KR101493418B1 (ko) 2015-02-13

Family

ID=49518665

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130034639A KR101493418B1 (ko) 2013-03-29 2013-03-29 공중사진의 그림자 제거 방법 및 그 장치

Country Status (5)

Country Link
US (1) US9299129B2 (ko)
EP (1) EP2784747B1 (ko)
JP (1) JP6397617B2 (ko)
KR (1) KR101493418B1 (ko)
CN (1) CN104079802B (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109033951B (zh) * 2017-06-12 2022-05-27 法拉第未来公司 用于基于图形处理来检测遮挡对象的系统及方法
KR101870084B1 (ko) * 2017-07-10 2018-06-22 극동대학교 산학협력단 그림자의 수직경계선을 이용한 원격탐사영상의 그림자 제거방법
CN110392244B (zh) * 2018-04-18 2021-03-12 长光卫星技术有限公司 一种三线阵相机影像合成彩色影像方法
US12147468B2 (en) * 2018-12-13 2024-11-19 Sap Se On-demand variable feature extraction in database environments
CN110443763B (zh) * 2019-08-01 2023-10-13 山东工商学院 一种基于卷积神经网络的图像阴影去除方法
CN110415340A (zh) * 2019-08-01 2019-11-05 浙江开奇科技有限公司 用于数字导览的全景视频影像的影像处理方法及终端设备
CN112532879B (zh) * 2020-11-26 2022-04-12 维沃移动通信有限公司 图像处理方法及装置
US20220404167A1 (en) * 2021-06-22 2022-12-22 GM Global Technology Operations LLC Roadway occlusion detection and reasoning
US12154327B2 (en) * 2022-01-05 2024-11-26 Here Global B.V. Method, apparatus, and computer program product for identifying fluid leaks based on aerial imagery

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3380457B2 (ja) * 1997-01-27 2003-02-24 株式会社エヌ・ティ・ティ・データ 地理画像上の影成分の除去方法及び地理画像処理装置、記録媒体
US6532022B1 (en) * 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
JPH11120349A (ja) * 1997-10-16 1999-04-30 Ntt Data Corp 画像間の変化抽出方式及び方法
JP2000020692A (ja) * 1998-07-02 2000-01-21 Nec Corp 高解像度衛星データにおける影除去方法と該方法を用いた衛星データ処理装置
CN100533482C (zh) * 1999-11-03 2009-08-26 特许科技有限公司 基于视频的交通监控系统的图像处理技术及其方法
JP4094219B2 (ja) * 2000-09-19 2008-06-04 アルパイン株式会社 車載用ナビゲーション装置の立体地図表示方法
JP4248232B2 (ja) * 2002-12-13 2009-04-02 株式会社パスコ ラインセンサ出力画像における影領域の補正方法及び影補正装置
US7366323B1 (en) * 2004-02-19 2008-04-29 Research Foundation Of State University Of New York Hierarchical static shadow detection method
JP2005348081A (ja) * 2004-06-02 2005-12-15 Hitachi Software Eng Co Ltd 陰影部のコントラストを改善可能なプログラム及び陰影部のコントラストの改善方法
JP4647514B2 (ja) * 2006-02-17 2011-03-09 株式会社日立ソリューションズ 航空画像処理装置および航空画像処理方法
US8073277B2 (en) * 2007-06-21 2011-12-06 The University Of Southern Mississippi Apparatus and methods for image restoration
US20100177095A1 (en) * 2009-01-14 2010-07-15 Harris Corporation Geospatial modeling system for reducing shadows and other obscuration artifacts and related methods
KR100995107B1 (ko) 2009-10-29 2010-11-18 (주)새한지오텍 항공촬영이미지의 이해도를 높인 영상이미지 편집처리시스템
US20110292208A1 (en) * 2009-11-24 2011-12-01 Old Dominion University Research Foundation High-resolution urban true orthoimage creation
KR20110068469A (ko) * 2009-12-16 2011-06-22 인하대학교 산학협력단 메타정보 없는 단일 영상에서 3차원 개체정보 추출방법
US9036861B2 (en) * 2010-04-22 2015-05-19 The University Of North Carolina At Charlotte Method and system for remotely inspecting bridges and other structures
KR101268282B1 (ko) 2011-01-27 2013-05-28 팅크웨어(주) 차량용 내비게이션의 차선 이탈 알림 시스템 및 방법
US8644638B2 (en) * 2011-02-25 2014-02-04 Microsoft Corporation Automatic localized adjustment of image shadows and highlights

Also Published As

Publication number Publication date
EP2784747A3 (en) 2014-10-08
JP6397617B2 (ja) 2018-09-26
CN104079802A (zh) 2014-10-01
KR101493418B1 (ko) 2015-02-13
JP2014199640A (ja) 2014-10-23
EP2784747B1 (en) 2018-12-12
US9299129B2 (en) 2016-03-29
US20140294232A1 (en) 2014-10-02
EP2784747A2 (en) 2014-10-01
CN104079802B (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
KR101493418B1 (ko) 공중사진의 그림자 제거 방법 및 그 장치
US11506795B2 (en) Accounting for atmospheric and terrestrial obstacles in geographic positioning
US10291898B2 (en) Method and apparatus for updating navigation map
KR102362714B1 (ko) 경로 데이터를 생성하는 방법들 및 시스템들
EP3552388B1 (en) Feature recognition assisted super-resolution method
KR100925278B1 (ko) 수치지도를 이용한 지오코딩 시스템 및 그 방법
JP6950832B2 (ja) 位置座標推定装置、位置座標推定方法およびプログラム
US20140286537A1 (en) Measurement device, measurement method, and computer program product
US9571801B2 (en) Photographing plan creation device and program and method for the same
JP2024157029A (ja) 情報処理装置
JP2014099055A (ja) 検出装置、検出方法、及びプログラム
CN113192353A (zh) 地图生成用数据收集装置、地图生成用数据收集方法以及车辆
JP7046555B2 (ja) 車載装置、サーバ、表示方法、送信方法
US9324176B2 (en) Apparatus and method for saving and updating image file
CN103337220A (zh) 摄影数据提供系统
JP2020060499A (ja) 情報処理装置
US20160086339A1 (en) Method of providing cartograic information of an eletrical component in a power network
JP2020060501A (ja) 情報処理装置
JP7257770B2 (ja) 情報処理装置
JP7587645B2 (ja) 情報処理装置
KR101016071B1 (ko) 이동측량장치의 이동경로에 따른 스테레오 영상으로부터 벡터변환을 이용하여 대응영역을 추출하는 도시공간 영상처리장치
CN106650724A (zh) 建立交通标志数据库的方法和装置
US20240104754A1 (en) Information processing system, method and program
JP2020061049A (ja) 点群データ構造
WO2025018270A1 (ja) 情報処理方法、プログラム、情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130329

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140210

Patent event code: PE09021S01D

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20140730

Patent event code: PE09021S02D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20150129

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150209

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20171227

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20171227

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190103

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20200203

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20200203

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210125

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20211201

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20221104

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20231218

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20250120

Start annual number: 11

End annual number: 11