KR101856321B1 - 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서 - Google Patents

영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서 Download PDF

Info

Publication number
KR101856321B1
KR101856321B1 KR1020160054442A KR20160054442A KR101856321B1 KR 101856321 B1 KR101856321 B1 KR 101856321B1 KR 1020160054442 A KR1020160054442 A KR 1020160054442A KR 20160054442 A KR20160054442 A KR 20160054442A KR 101856321 B1 KR101856321 B1 KR 101856321B1
Authority
KR
South Korea
Prior art keywords
sun
black
center point
image
estimating
Prior art date
Application number
KR1020160054442A
Other languages
English (en)
Other versions
KR20170124720A (ko
Inventor
이석한
살림 라시드
김재웅
Original Assignee
성균관대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 성균관대학교산학협력단 filed Critical 성균관대학교산학협력단
Priority to KR1020160054442A priority Critical patent/KR101856321B1/ko
Priority to US15/583,486 priority patent/US10373321B2/en
Publication of KR20170124720A publication Critical patent/KR20170124720A/ko
Application granted granted Critical
Publication of KR101856321B1 publication Critical patent/KR101856321B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S20/00—Supporting structures for PV modules
    • H02S20/30—Supporting structures being movable or adjustable, e.g. for angle adjustment
    • H02S20/32—Supporting structures being movable or adjustable, e.g. for angle adjustment specially adapted for solar tracking
    • G06T3/0031—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H02—GENERATION; CONVERSION OR DISTRIBUTION OF ELECTRIC POWER
    • H02S—GENERATION OF ELECTRIC POWER BY CONVERSION OF INFRARED RADIATION, VISIBLE LIGHT OR ULTRAVIOLET LIGHT, e.g. USING PHOTOVOLTAIC [PV] MODULES
    • H02S50/00—Monitoring or testing of PV systems, e.g. load balancing or fault identification
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H04N5/2257—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E10/00—Energy generation through renewable energy sources
    • Y02E10/50—Photovoltaic [PV] energy

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Sustainable Development (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

본 발명은 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 컴퓨팅 시스템이 상기 방법을 수행할 수 있도록 하는 명령들을 포함하는 컴퓨터 프로그램과 상기 방법을 이용하는 태양 센서를 제공한다. 상기 태양의 위치 추적 방법은 태양의 위치에 관계없이 복수 개의 태양의 영상을 획득하도록 설치된 복수 개의 영상 센서 카메라를 이용하여 촬영된 복수 개의 영상을 처리하여 블랙 썬의 중심점을 추정하고 태양의 위치를 추적하는 단계를 포함한다.

Description

영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서{METHOD, COMPUTER PROGRAM STORED ON MEDIUM AND SUN SENSOR FOR SUN POSITION TRACKING BASED ON BLACK SUN EFFECT OF IMAGE SENSOR}
본 발명은 태양의 위치를 추적하는 것에 관한 것으로, 보다 상세하게는 카메라 영상을 이용하여 태양의 위치를 추적하는 것에 관련된 것이다.
근래에 석탄, 석유, 가스 등의 화석 연료의 매장량 및 환경 오염에 관한 문제점이 부각되면서 대체 에너지 개발에 관한 관심이 증가하고 있다. 대체 에너지 중에서도 태양 에너지는 환경오염이나 소음발생이 적고, 에너지원이 무한하다는 장점을 가지고 있다. 태양 에너지를 활용하기 위해서 태양 전지 등에 입사된 태양 광을 전기 에너지로 변환하여 사용하는 방식을 사용한다. 많은 양의 전기 에너지를 충전하기 위해서는 태양 전지 패널에 입사되는 태양광의 광량을 최대화하기 위해 태양 전지 패널이 태양의 위치 방향으로 향할 필요가 있다. 따라서, 태양 에너지의 효과적인 집광을 위해 태양의 위치를 추적하는 방법과 장치들에 관한 연구가 다양하게 수행되어 왔다.
기존에 태양의 위치를 추적하기 위한 방법과 장치들에 관한 연구로는 주로 카메라로 태양의 이미지를 촬영하여 다양한 분석 알고리즘을 통해 정확한 위치를 추적하는 방법과 광센서를 이용하여 태양의 위치를 추적하는 방법 등에 관한 연구들이 수행되었다.
일 예로, 한국 공개특허 공보 제10-2014-0142140호에서는 태양광 차폐부에 볼록렌즈를 설치하여 태양광에 대한 초점 영상을 획득하여 태양의 위치를 추적하는 장치 및 방법에 대해 개시하고 있다. 그런데 이 방식의 경우 볼록 렌즈 부분으로 태양광이 오도록 구동부에서 계절 및 시간에 따라 태양광 차폐부를 구동시켜야 하는 문제가 있다.
또다른 예로, 한국 공개특허 공보 10-2013-0019314호에서는 광량을 감지하는 3개의 광센서들을 이용하여 태양의 위치를 추적하는 장치에 관해 개시하고 있다. 그러나 이 특허의 경우 집광기의 길이 방향을 따라 일측에 설치되어 감지된 광량에 따라 반사판을 조절하는 방식으로 태양의 위치를 정확히 추적하지 못하는 문제가 있다.
태양의 위치를 추적하기 위한 광센서들 중 MEMS(Micro Electro Mechanical Systems) 센서는 입사광에 대한 모델을 재생성하기 위해 슬릿의 원리를 기반으로 한다. 그러나 빛의 세기가 포토 셀의 격자 배열에서 측정되며 입사광선은 영상 센서의 픽셀들 중 한 점을 생성하게 되므로, 고가의 MEMS 센서가 하나 이상 필요하게 되는 문제가 있다.
본 발명의 목적은 영상 센서의 블랙썬 효과를 이용하여 쉽고 정확하게 태양의 위치를 추적하기 위한 방법 및 컴퓨팅 시스템이 상기 방법을 실행하도록 하는 명령들을 포함하는 컴퓨터 판독 가능 매체에 저장된 컴퓨터 프로그램을 제공하기 위한 것이다.
또한 본 발명의 목적은 상기 영상 센서의 블랙썬 효과를 기반으로 한 태양의 위치 추적 방법을 이용하여 임의의 태양의 위치를 추적할 수 있는 다중 영상 센서 구조를 통하여 저가의 태양 센서를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 본 발명은 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법을 제공한다. 상기 방법은 태양의 위치에 관계없이 복수 개의 태양의 영상을 획득하도록 설치된 복수 개의 영상 센서카메라를 이용하여 촬영된 복수 개의 영상을 처리하여 블랙 썬의 중심점을 추정하고 태양의 위치를 추적하는 단계를 포함한다.
상기 처리는 상기 촬영된 복수 개의 영상에서 각각의 블랙 썬의 중심점을 추정하는 단계, 상기 각각의 블랙 썬의 중심점에 대한 태양 벡터를 추출하는 단계, 상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 단계와 상기 변환된 태양 벡터들을 융합하는 단계를 포함할 수 있다.
상기 블랙 썬의 중심점을 추정하는 단계는 상기 복수 개의 영상 센서카메라를 이용하여 촬영된 복수 개의 영상에서 태양의 영상을 획득하는 단계, 강도(intensity) 임계값을 변화시키며 상기 태양의 영상을 미리 정의된 횟수만큼 반복하여 분할하는 단계, 상기 태양의 영상을 분할할 때마다 코너 포인트(corner point)들을 검출하는 단계, 최종 분할된 영상에서 검출된 코너 포인트들인 강한 코너 포인트들의 무게 중심을 구하는 단계와 상기 강한 코너 포인트들 각각에 대해 상기 무게 중심과의 거리가 최소인 강한 코너 포인트를 블랙 썬의 중심점으로 추정하는 단계를 포함할 수 있다.
상기 코너 포인트들을 검출하는 방법으로 Harris 코너 검출 방법 및 Kanade-Tomasi 코너 검출 방법 중 어느 하나를 사용할 수 있다.
상기 태양 벡터를 추출하는 단계는 태양의 2차원 영상을 3차원 벡터로 표현하기 위해 수학식
Figure 112016042554281-pat00001
(
Figure 112016042554281-pat00002
: 카메라 초점 거리,
Figure 112016042554281-pat00003
: 블랙 썬의 중심점)을 이용하여 태양 벡터의 방위각과 고도를 구할 수 있다.
상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 단계는 상이한 두 시점에서, 센서 좌표계에서 표현한 두 태양 벡터들과 기준 좌표계에서 표현한 두 태양 벡터들을 이용하여 초기 회전을 구하고, 상기 상이한 두 시점을 미리 정의된 횟수만큼 변화시켜 가며 산출한 복수의 초기 회전들의 평균을 최종 회전으로 결정하여 상기 추출된 태양 벡터들을 기준 좌표계로 변환할 수 있다.
상기 태양 벡터들을 융합하는 단계는 상기 태양 벡터들의 방위각과 고도의 노이즈를 제거하고 융합하여 최종 태양 벡터를 산출할 수 있다.
상기 노이즈를 제거하기 위해 확장된 칼만 필터(Extended Kalman Filter)를 사용할 수 있다.
본 발명의 또 다른 측면에 따르면, 본 발명은 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치를 추적하기 위한, 컴퓨터 판독가능한 매체에 저장된 컴퓨터 프로그램을 제공한다. 상기 컴퓨터 프로그램은 컴퓨팅 시스템이 태양의 위치에 관계없이 복수 개의 태양의 영상을 획득하도록 설치된 복수 개의 영상 센서카메라를 이용하여 촬영된 복수 개의 영상을 처리하여 블랙 썬의 중심점을 추정하고 태양의 위치를 추적하도록 하는 명령들을 포함한다.
본 발명의 또다른 측면에 따르면, 본 발명은 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법을 이용하는 태양 센서를 제공한다. 상기 센서는 태양의 위치에 관계없이 복수 개의 태양의 영상을 획득하도록 설치된 복수 개의 영상 센서카메라를 이용하여 촬영된 복수 개의 영상을 획득하는 센서부와 상기 복수 개의 영상을 처리하여 블랙 썬의 중심점을 추정하고 태양의 위치를 추적하는 처리부를 포함한다.
상기 처리부는 상기 촬영된 복수 개의 영상에서 각각의 블랙 썬의 중심점을 추정하는 중심점 추정 모듈, 상기 각각의 블랙 썬의 중심점에 대한 태양 벡터를 추출하는 태양 벡터 추출 모듈, 상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 좌표계 변환 모듈과 상기 변환된 태양 벡터들을 융합하는 융합 모듈을 포함할 수 있다.
상기 중심점 추정 모듈은 상기 복수 개의 영상 센서카메라를 이용하여 촬영된 복수 개의 영상에서 태양의 영상을 획득하고, 강도(intensity) 임계값을 변화시키며 상기 태양의 영상을 미리 정의된 횟수만큼 반복하여 분할하고, 상기 태양의 영상을 분할할 때마다 코너 포인트(corner point)들을 검출하고, 최종 분할된 영상에서 검출된 코너 포인트들인 강한 코너 포인트들의 무게 중심을 구하고, 상기 강한 코너 포인트들 각각에 대해 상기 무게 중심과의 거리가 최소인 강한 코너 포인트를 블랙 썬의 중심점으로 추정할 수 있다.
상기 코너 포인트들을 검출하는 방법으로 Harris 코너 검출 방법 및 Kanade-Tomasi 코너 검출 방법 중 어느 하나를 사용할 수 있다.
상기 태양 벡터 추출 모듈은 태양의 2차원 영상을 3차원 벡터로 표현하기 위해 수학식
Figure 112016042554281-pat00004
(
Figure 112016042554281-pat00005
: 카메라 초점 거리,
Figure 112016042554281-pat00006
: 블랙 썬의 중심점)을 이용하여 태양 벡터의 방위각과 고도를 구할 수 있다.
상기 좌표계 변환 모듈은 상이한 두 시점에서, 센서 좌표계에서 표현한 두 태양 벡터들과 기준 좌표계에서 표현한 두 태양 벡터를 이용하여 초기 회전을 구하고, 상기 상이한 두 시점을 미리 정의된 횟수만큼 변화시켜 가며 산출한 복수의 초기 회전들의 평균을 최종 회전으로 결정하여 상기 추출된 태양 벡터들을 기준 좌표계로 변환할 수 있다.
상기 융합 모듈은 상기 태양 벡터들의 방위각과 고도의 노이즈를 제거하고 융합하여 최종 태양 벡터를 산출할 수 있다.
상기 노이즈를 제거하기 위해 확장된 칼만 필터(Extended Kalman Filter)를 사용할 수 있다.
본 발명의 또다른 측면에 따르면, 본 발명은 최소 대수의 영상 센서카메라로 반구형 커버리지를 가지고 태양의 위치에 관계없이 3대의 카메라에서 블랙 썬이 촬영되도록 가상의 정 이십면체의 6개의 꼭짓점-기준 1개의 꼭짓점 및 상기 기준 꼭짓점에 이웃하는 5개의 꼭짓점-의 위치에 설치된 6대의 CMOS 영상 센서 카메라를 포함하는 태양 센서를 제공한다.
본 발명의 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법은 기존의 복잡한 태양의 위치 추적 알고리즘이나 비싼 MEMS 센서 또는 구동 장치를 이용하지 않고도 태양의 위치를 쉽고 정확하게 측정할 수 있다.
또한 본 발명의 태양 센서는 센서가 고정된 자세에서 임의의 태양 방향을 매우 정확하게 측정할 수 있으며 저가로 구현 가능하다. 그러므로 태양 전지의 충전을 위한 태양 방향의 추적 등과 같은 보편적인 응용 분야에 광범위하게 사용 가능하다.
도 1은 영상 센서의 블랙 썬(black sun) 현상을 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 카메라의 영상 센서들의 커버리지(coverage)를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 반구형 태양 센서를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 태양의 위치 추적 방법의 순서도이다.
도 5는 본 발명의 일 실시 예에 따른 블랙 썬 중심점을 추정하는 방법의 순서도이다.
도 6a 내지 도 6c는 본 발명의 일 실시 예에 따른 블랙 썬 중심점의 추정 과정을 도시한 도면이다.
도 7은 본 발명의 일 실시 예에 따른 태양 영상 평면으로부터 태양 벡터의 추출을 도시한 도면이다.
도 8a 내지 도 8b는 본 발명의 일 실시 예에 따른 센서 좌표계에서 관측자 중심 좌표계로의 태양 벡터 보정 과정을 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 태양 센서의 기능 블록도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등을 포함하는 용어가 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여 본 발명에 바람직한 실시 예를 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어 도면 부호에 상관없이 동일하거나 대응하는 구성요소는 동일한 참조번호를 부여하고 이에 대해 중복되는 설명은 생략하기로 한다.
블랙 썬(black sun) 현상은 태양을 촬영하는 경우 광원에 대한 과다 노출로 중심 부분이 검은 점으로 표현되는 현상이다.
예를 들어, 영상 센서들 중 CMOS 영상 센서는 입사되는 광자들을 전압으로 변환하며, 이 전압은 픽셀에 누적이 된다. 특정한 전기 회로를 통해 누적된 전하를 읽어 픽셀 값을 획득할 수 있다.
CMOS 영상 센서의 픽셀 구조는 포토 다이오드에 축적된 광전하를 판독 버스로 보내는 리셋 트랜지스터의 기능을 내장하고 있다. 출력 신호는 포토다이오드의 신호와 기준 전압의 차이에 의해 결정되며, 리셋 트랜지스터를 통해 출력된다. 빛의 세기가 증가할수록 기준 전압이 감소하므로 기준 전압이 입사광에 의존적임을 알 수 있다. 이러한 메커니즘을 통해 빛에 대한 과다 노출로 인해 출력 신호가 0이 되는 블랙 썬 현상을 설명할 수 있다.
본 발명은 이러한 영상 센서(CMOS 영상 센서 등)의 블랙 썬 현상을 이용하여 태양의 위치를 추적하는 방법 및 태양 센서를 제공한다.
도 1은 영상 센서의 블랙 썬(black sun) 현상을 도시한 도면이다.
도 1을 참조하면, 좌측에 도시된 바와 같이 영상 센서는 픽셀들의 행과 열(11)로 표현될 수 있다. 불규칙한 형태의 경계로 표시된 부분(12)은 회절에 의해 발생되는 태양의 휘광이며, 그 내부의 원 부분(13)은 구별하기 어려운 태양의 경계이다. 원 내부에 검은 점(14)이 픽셀 과다 노출로 인한 블랙 썬이다. 우측 하단의 이미지는 태양의 휘광 부분과 블랙 썬 영역을 검출한 이미지며 불분명한 태양의 경계 및 블랙 썬 부분을 확대하면 우측 상단 그림(확대)과 같다.
본 발명에서는 태양의 위치를 추적하기 위해 필요한 영상 센서(CMOS 영상 센서 등) 카메라의 숫자는 다음과 같이 결정하였다.
K-coverage 센서 네트워크 알고리즘에 따라, 중복 영역을 가지는 최적의 커버리지를 찾기 위해서는 'K'가 2 이상이어야 한다. 그러나 데이터 융합을 기반으로 태양의 위치를 좀 더 강인하고 정확하게 추정하기 위해서는 블랙 썬이 2대의 카메라 보다는 3대의 카메라에서 촬영되어야 하므로 3대의 카메라를 사용하여 태양의 위치를 추적한다.
도 2는 본 발명의 일 실시 예에 따른 카메라의 센서들의 커버리지를 도시한 도면이다.
도 2를 참조하면, 각각의 카메라의 센서 커버리지(21, 22, 및 23)가 원으로 도시되며, 두 대의 카메라의 중복 영역(24)보다 세 대의 카메라의 중복 영역(25)이 더 작아 이 부분에서 좀 더 강인하고 정확하게 태양의 위치를 추정할 수 있다.
태양이 어느 위치에 있더라도 3대의 카메라에 태양이 촬영되고 반구형 커버리지를 제공할 수 있기 위해서는 최소 6대의 카메라가 필요하다.
도 3은 본 발명의 일 실시 예에 따른 반구형 태양 센서를 도시한 도면이다.
도 3을 참조하면, 6대의 카메라(31)가 정 20면체(33)의 꼭짓점에 설치된다. 정 20면체의 꼭짓점 중 한 쪽의 6개(기준 1개의 꼭짓점 및 기준 꼭짓점에 이웃하는 5개 꼭짓점)에 설치되므로 이웃하는 카메라간 거리가 동일하며, 최소한의 카메라로 반구형 커버리지(32)를 가질 수 있다.
도 4는 본 발명의 일 실시 예에 따른 태양의 위치 추적 방법의 순서도이다.
도 4를 참조하면, 태양의 위치 추적 방법은 카메라를 이용하여 영상을 촬영하는 단계(S1), 획득된 태양의 영상에서 빛의 강도(intensity)를 기반으로 영역을 분할하고 강한 코너 포인트(strong corner point)를 검출하여 블랙 썬의 중심점을 추정하는 단계(S2), 블랙 썬의 중심점에 대한 태양 벡터를 추출하는 단계(S3), 센서 좌표계의 태양 벡터를 관측자 중심 좌표계로 변환하는 단계(S4) 및 3 대의 카메라에 대해 상기 단계들을 각각 수행한 결과로 산출된 태양 벡터들을 확장된 칼만 필터(Extended Kalman Filter)를 이용하여 융합하는 단계(S5)를 포함한다.
상기 영상을 촬영하는 단계(S1)는 설치된 복수 개의 영상 센서 카메라로 태양의 영상을 촬영하는 단계이다. 태양의 위치에 따라 영상이 촬영되지 않는 카메라도 있을 수 있다. 태양의 영상이 가장 잘 촬영된 3대의 카메라 영상에 대해 다음 동작을 수행한다.
상기 블랙 썬의 중심점을 추정하는 단계(S2)는 상기 획득된 태양 영상을 반복적으로 분할하고 코너 포인트를 추출하여 태양의 중심점을 추정한다.
도 5는 본 발명의 일 실시 예에 따른 블랙 썬 중심점을 추정하는 방법의 순서도이다. 도 5를 참조하면, 복수의 카메라를 이용하여 촬영한 영상으로부터 태양의 영상을 획득하고(S101), 강도 임계 초기값을 기준으로 영상 분할을 수행한다(S102). 즉, 전체 영상에서 태양의 휘광 부분(블랙 썬 영역 포함)을 1차적으로 분할할 수 있다. 그런 다음 분할된 영상에서 코너 포인트들을 추출한다(S103).
상기 코너 포인트를 추출하기 위한 방법으로는 예를 들어, Harris 검출 방법, Kanade-Tomasi(Shi-Tomasi 라고도 함) 검출 방법 등이 사용될 수 있다.
상기 Harris 알고리즘 또는 Kanade-Tomasi 알고리즘에 의한 코너 포인트 검출 절차는 다음과 같다.
코너 포인트를 검출하기 위해 영상 전체에 마스크(window)를 씌우고 자기 상관 행렬(Convolution Matrix) M(수학식 1)을 구한다.
Figure 112016042554281-pat00007
(
Figure 112016042554281-pat00008
: 한 점에서의 수평, 수직 gradient)
각각의 알고리즘은 상기 자기 상관 행렬 M을 이용하여 응답(response) 값을 계산한다.
Harris 알고리즘의 경우 하기 수학식 2를 이용하여 H 값을 계산하고 그 값을 임계값과 비교하여 코너 포인트를 검출한다.
Figure 112016042554281-pat00009
Kanade-Tomasi 알고리즘의 경우 하기 수학식 3을 이용하여 KT 값을 계산하고 그 값을 임계값과 비교하여 코너 포인트를 검출한다.
Figure 112016042554281-pat00010
(
Figure 112016042554281-pat00011
: convolution matrix M의 고유값)
검출된 코너 포인트들을 저장하고(S104), 임계값을 일정량 증가시켜 다시 이를 기준으로 영상 분할을 수행한다(S105). 임계값을 증가시킬수록 분할된 영역이 감소하게 된다.
상기 분할된 영상에 대해 다시 코너 포인트들을 추출한다(S106).
이전에 저장된 코너 포인트들 각각을 기준으로 분할된 영상에서 새롭게 획득한 코너 포인트들 중 이전에 저장된 코너 포인트들 각각으로부터 일정 범위 안에 있으면서 (하나의 이전에 저장된 코너 포인트의 일정 범위 안에 둘 이상의 코너 포인트가 있는 경우) 최소 거리에 있는 코너 포인트를 선택한다(S107).
미리 정의된 반복 횟수(iteration)에 이를 때까지 추출된 코너 포인트들을 저장하는 단계(S105)부터 코너 포인트들을 선택하는 단계(S107)를 반복한다.
반복 횟수가 미리 정의된 횟수보다 큰 지를 판단한다(S108). 반복 횟수가 미리 정의된 숫자보다 커진 때, 마지막으로 추출된 코너 포인트들이 강한 코너 포인트들이다.
강한 코너 포인트들이 추출되면, 더 이상 영상 분할 및 코너 포인트 추출 과정을 반복하지 않고 최종 분할된 영상에 대한 무게 중심
Figure 112016042554281-pat00012
(
Figure 112016042554281-pat00013
)을 하기 수학식 4를 이용하여 계산한다(S109).
Figure 112016042554281-pat00014
Figure 112016042554281-pat00015
(
Figure 112016042554281-pat00016
: 추출된 강한 코너 포인트들의 개수,
Figure 112016042554281-pat00017
:
Figure 112016042554281-pat00018
번째 강한 코너 포인트의 좌표 값)
상기 무게 중심과 최종 분할된 영상에서 얻은 강한 코너 포인트들 사이의 거리(
Figure 112016042554281-pat00019
)를 하기 수학식 5를 이용하여 계산한다(S110).
Figure 112016042554281-pat00020
계산된 거리 중 최소 값을 가지는 코너 포인트를 블랙 썬의 중심점으로 추정한다(S111).
도 6a 내지 도 6c는 본 발명의 일 실시 예에 따른 블랙 썬의 중심점의 추정 과정을 도시한 도면이다.
도 6a를 참조하면, 강도 임계값을 변화시켜가며 영상을 분할하는 경우 점차적으로 분할된 영상 부분이 줄어드는 것을 확인할 수 있다.
도 6b를 참조하면, 검출된 강한 코너 포인트들로부터 무게 중심(
Figure 112016042554281-pat00021
)를 계산하고, 상기 무게 중심(
Figure 112016042554281-pat00022
)으로부터 최소 거리에 있는 강한 코너 포인트를 블랙 썬의 중심점으로 추정할 수 있다.
도 6c를 참조하면, 도 5의 블랙 썬의 중심점 추정 방법에 따라 구하는 과정을 영상으로 표현한다. 획득한 태양 영상을 그레이 스케일(Gray Scale)로 표현하여 임계값을 변화시키며 영역을 분할하고 코너 포인트들을 검출하는 과정을 반복한 결과 가장 우측의 영상에 표시된 점으로 블랙 썬의 중심점을 추정할 수 있다.
다시 도 4를 참조하면, 상기 블랙 썬의 중심점에 대한 태양 벡터를 추출하는 단계(S3)는 태양의 2차원 영상을 3차원 벡터로 표현하는 단계이다. 카메라가 촬영한 영상은 3차원 공간 상의 점들을 2차원 평면에 투사하여 얻어진 것이기 때문이다.
도 7은 본 발명의 일 실시 예에 따른 태양 영상 평면으로부터 태양 벡터의 추출을 도시한 도면이다.
도 7을 참조하면, 태양 벡터(
Figure 112016042554281-pat00023
)는 센서 좌표계(
Figure 112016042554281-pat00024
)에 대해 나타내어지며, 방위각(
Figure 112016042554281-pat00025
)과 고도(
Figure 112016042554281-pat00026
)로 표현된다. 상기 센서 좌표계는 카메라 좌표계와 동일하다. 상기 태양 벡터를 구하기 위해, 영상 평면(image plane)과 센서 좌표계 원점과의 기하학적인 관계를 이용한다. 이 때 사용되는 변수들은 블랙 썬의 중심점 좌표(
Figure 112016042554281-pat00027
), 카메라 내부 변수인 초점 거리(focal length,
Figure 112016042554281-pat00028
)과 영상의 주점(image principal point)
Figure 112016042554281-pat00029
가 사용된다. 상기 초점 거리는 렌즈의 중심에서 영상 평면까지의 거리이고, 상기 영상의 주점은 렌즈의 중심에서 영상 평면에 내린 수선의 발의 좌표이다.
하기 수학식 6을 이용하여 태양 벡터(
Figure 112016042554281-pat00030
)의 방위각(
Figure 112016042554281-pat00031
)과 고도(
Figure 112016042554281-pat00032
)를 구할 수 있다.
Figure 112016042554281-pat00033
(
Figure 112016042554281-pat00034
: 초점 거리, (
Figure 112016042554281-pat00035
): 블랙썬의 중심점 좌표)
상기 태양 벡터는 각각의 센서 좌표계에서 구한 태양 벡터이므로, 각각의 벡터를 융합하기 위해 공통으로 사용 가능한 기준(reference) 좌표계가 필요하다. 이를 관측자 중심 좌표계로 보정하여야 한다. 따라서, 이 단계(S3)에서 구한 태양 벡터를 기준 좌표계, 즉, 관측자 중심 좌표계(topocentric coordinate)로 보정한다. 관측자 중심 좌표계(topocentric coordinate)는 GPS로부터 얻은 위도 및 경도 정보를 이용하여 구할 수 있다.
도 8a 내지 도 8b는 본 발명의 일 실시 예에 따른 센서 좌표계에서 관측자 중심 좌표계로의 태양 벡터 보정 과정을 도시한 도면이다.
도 8a를 참조하면, 상기 보정 과정은 센서 좌표계와 관측자 중심 좌표계 사이의 기하학적인 관계(rotation, translation)를 구하는 과정이며, 이 관계가 보정 모델이 된다. 따라서, 두 좌표계사이의 관계를 구하면, 센서 좌표계
Figure 112016042554281-pat00036
로 표현된 태양 벡터
Figure 112016042554281-pat00037
를 기준 좌표계인 관측자 중심 좌표계
Figure 112016042554281-pat00038
로 표현되는 태양 벡터
Figure 112016042554281-pat00039
로 변환하는 것이 가능하다.
보정을 하기 위해서는 각각의 좌표계에 대해 서로 다른 시간에서의 태양 벡터들이 필요하다. 즉, 시간 1과 시간 2에서의 태양의 위치와 방향을 기준 좌표계에서 표현한 태양 벡터 [(
Figure 112016042554281-pat00040
), (
Figure 112016042554281-pat00041
,
Figure 112016042554281-pat00042
)] 와 센서 좌표계에서 표현한 태양 벡터[(
Figure 112016042554281-pat00043
,
Figure 112016042554281-pat00044
), (
Figure 112016042554281-pat00045
,
Figure 112016042554281-pat00046
)]가 필요하다.
도 8b를 참조하면, 두 좌표계 사이의 관계는 회전(rotation)과 이동(translation)으로 나타낼 수 있다. 하지만, 태양과의 거리에 비해 센서 좌표계와 기준 좌표계의 이동 거리가 매우 작으므로 무시할 수 있는 것으로 가정하였다. 센서 좌표계와 기준 좌표계의 회전 정도는 다음과 같은 알고리즘을 적용하여 구한다. 도 8b에서 표기된 기호들은 다음과 같이 정의된다.
Figure 112016042554281-pat00047
: 시간 1에서 측정된 기준 좌표계에서의 태양 벡터
Figure 112016042554281-pat00048
: 시간 2에서 측정된 기준 좌표계에서의 태양 벡터
Figure 112016042554281-pat00049
: 시간 1에서 측정된 센서 좌표계에서의 태양 벡터
Figure 112016042554281-pat00050
: 시간 2에서 측정된 센서 좌표계에서의 태양 벡터
Figure 112016042554281-pat00051
:
Figure 112016042554281-pat00052
만큼 회전된
Figure 112016042554281-pat00053
먼저,
Figure 112016042554281-pat00054
과
Figure 112016042554281-pat00055
사이의 회전 각도인
Figure 112016042554281-pat00056
을 계산한다. 그런 다음 다른 시간에서 얻어진 2개의 연속된 기준 좌표계의 태양 벡터 사이의 각도 제약을 고려한 태양 벡터를 얻기 위해
Figure 112016042554281-pat00057
를 계산한다. 또한
Figure 112016042554281-pat00058
는 각도 제약이 없는 회전으로부터 얻어진 벡터이므로 오프셋을 계산하기 위해
Figure 112016042554281-pat00059
를 계산한다. 다음으로, 각도 제약으로 인해 생성된 회전 오프셋인
Figure 112016042554281-pat00060
과
Figure 112016042554281-pat00061
의 회전 각도인
Figure 112016042554281-pat00062
를 계산한다. 총 회전(Total Rotation)은 다음 수학식 7을 이용하여 구한다.
Figure 112016042554281-pat00063
상기 총 회전(Total Rotation)을 초기 회전으로 이용하며, 정확도를 높이기 위해 시간을 변화시켜가며 초기 회전 값을 여러 번 산출하고 그 평균을 최종 회전으로 결정한다.
다시 도 4를 참조하면, 상기 확장된 칼만 필터를 이용하여 태양 벡터들을 융합하는 단계(S5)는 3대의 카메라에 대해 상기 동작들(S1 ~ S4)을 각각 수행한 후 3개의 태양 벡터를 융합하여 정확한 태양의 위치를 나타내는 최종 태양 벡터를 산출한다. 상기 벡터 융합 단계에서는 예를 들어, 확장된 칼만 필터(Extended Kalman Filter) 또는 파티클 필터(Particle Filter) 등을 사용할 수 있다. 태양 센서가 측정하는 방위각과 고도가 노이즈를 포함하고 있기 때문에 확장된 칼만 필터(Extended Kalman Filter) 등을 이용하여 노이즈를 제거한다. 상기 노이즈를 제거하는 과정은 좌표계를 변환하는 단계(S4) 이전에 수행할 수도 있다. 또한, 상기 융합 알고리즘으로 본 출원인이 출원한 한국 출원번호 10-2015-0058160의 융합 알고리즘을 사용할 수도 있다.
상기 태양의 위치 추적 방법은 다양한 컴퓨터 실행가능 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치가 포함된다.
도 9는 본 발명의 일 실시 예에 따른 태양 센서의 기능 블록도이다.
도 9를 참조하면, 태양 센서(10)는 태양을 촬영하는 카메라 센서부(100)와 태양의 위치를 판단하기 위해 촬영된 영상을 처리하는 처리부(200)로 구성된다.
상기 센서부(100)는 카메라의 영상 센서(CMOS 영상 센서 등)를 포함하며, 태양의 영상을 획득한다.
상기 처리부(200)는 상기 태양의 영상을 처리하여 태양의 위치를 추적한다. 상기 처리부(200)는 촬영된 영상에서 블랙 썬의 중심점을 추정하는 중심점 추정 모듈(210), 상기 중심점에 대한 태양 벡터를 추출하는 태양 벡터 추출 모듈(220), 상기 태양 벡터를 센서 좌표계에서 관측자 중심 좌표계로 변환하는 좌표계 변환 모듈(230) 및 각각의 태양 벡터를 융합하는 융합 모듈(240)을 포함한다.
상기 중심점 추정 모듈(210)은 상기 센서부에 의해 획득된 영상에서 블랙 썬의 중심점을 추정한다. 먼저, 촬영된 태양의 영상에서 강도 기반의 영상 분할 및 코너 포인트 추출 과정을 반복하여 강한 코너 포인트들을 검출한다. 그런 다음 검출된 강한 코너 포인트를 이용하여 최종 분할 영역의 무게 중심을 계산하고 강한 코너 포인트들과 무게 중심의 거리 값이 최소화되는 강한 코너 포인트를 블랙 썬의 중심점으로 추정한다.
상기 태양 벡터 추출 모듈(220)은 태양의 2차원 영상을 3차원 벡터로 표현한다. 영상 평면에서의 블랙 썬의 중심점 좌표(
Figure 112016042554281-pat00064
)와 카메라 내부 변수인 초점 거리(focal length,
Figure 112016042554281-pat00065
)과 영상의 주점(image principal point)
Figure 112016042554281-pat00066
를 이용하여 태양 벡터(
Figure 112016042554281-pat00067
)의 방위각(
Figure 112016042554281-pat00068
)와 고도(
Figure 112016042554281-pat00069
)를 구할 수 있다.
상기 좌표계 변환 모듈(230)은 각각의 센서에서 촬영된 영상으로부터 계산된 센서 좌표계 상의 태양 벡터들을 융합하기 위해 기준 좌표계, 즉 관측자 중심 좌표계 상의 태양 벡터로 변환한다.
상기 융합 모듈(240)은 기준 좌표계 상의 태양 벡터로 변환된 벡터들을 예를 들어, 확장된 칼만 필터, 파티클 필터(Particle Filter) 등을 이용하여 융합하는 기능을 수행한다. 융합 알고리즘으로 본 출원인이 출원한 한국 출원번호 10-2015-0058160의 융합 알고리즘을 사용할 수도 있다. 상기 융합된 태양 벡터를 이용하여 태양의 위치를 추적할 수 있다.
본 발명의 다수의 실시 예가 기술되었다. 그럼에도 불구하고, 전술한 설명은 예시를 위한 것이며 다음의 청구항들의 범위에 의해 정의되는 본 발명의 범위를 한정하는 것이 아닌 것으로 이해되어야 한다. 따라서 다른 실시 예들이 또한 다음 청구항들의 범위 내에 있다. 예를 들어, 다양한 변형이 본 발명의 범위를 벗어남 없이 만들어질 수 있다. 부가적으로, 전술된 단계들의 일부는 순서 독립적이므로 기술된 것과 다른 순서로 수행될 수 있다.
11: 픽셀들의 행과 열로 표현된 영상 센서 12: 태양의 휘광
13: 태양의 경계 14: 블랙 썬
21~23: 각각의 카메라의 커버리지 24: 두 대의 카메라의 중복 범위
25: 세 대의 카메라의 중복 범위
31: 영상 센서 32: 반구형 커버리지
33: 정 20면체
10: 태양 센서
100: 센서부 200: 처리부
210: 중심점 추정 모듈 220: 태양 벡터 추출 모듈
230: 좌표계 변환 모듈 240: 융합 모듈

Claims (20)

  1. 블랙썬 효과가 관측되는 영상 센서를 기반으로 한 태양의 위치 추적 방법에 있어서, 상기 방법은
    복수개의 영상 센서를 이용하여 복수 개의 태양의 영상을 획득하는 단계; 및
    상기 획득된 복수 개의 태양의 영상을 처리하여 블랙 썬의 중심점을 추정하여 태양의 위치를 추적하는 단계를 포함하되,
    상기 블랙 썬의 중심점을 추정하는 것은 상기 획득된 복수 개의 태양의 영상에서 각각의 블랙 썬의 중심점을 추정하는 것
    을 특징으로 하는 블랙썬 효과가 관측되는 영상 센서를 기반으로 한 태양의 위치 추적 방법.
  2. 제1항에 있어서, 상기 블랙 썬의 중심점을 추정하는 것은
    상기 획득된 복수 개의 태양의 영상을 기초로 복수의 태양 위치 추정 결과를 융합하여 상기 태양의 위치를 추정하는 것을 특징으로 하는 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법.
  3. 제1항에 있어서, 상기 블랙 썬의 중심점을 추정하는 것은
    상기 획득된 복수 개의 영상에서 각각의 블랙 썬의 중심점을 추정하는 단계;
    상기 각각의 블랙 썬의 중심점에 대한 태양 벡터를 추출하는 단계;
    상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 단계; 및
    상기 변환된 태양 벡터들을 융합하는 단계를 포함하는 블랙썬 효과가 관측되는 영상 센서를 기반으로 한 태양의 위치 추적 방법.
  4. 제3항에 있어서, 상기 블랙 썬의 중심점을 추정하는 단계는
    상기 복수 개의 영상 센서카메라를 이용하여 촬영된 복수 개의 영상에서 태양의 영상을 획득하는 단계;
    강도(intensity) 임계값을 변화시키며 상기 태양의 영상을 미리 정의된 횟수만큼 반복하여 분할하는 단계;
    상기 태양의 영상을 분할할 때마다 코너 포인트(corner point)들을 검출하는 단계;
    최종 분할된 영상에서 검출된 코너 포인트들인 강한 코너 포인트들의 무게 중심을 구하는 단계; 및
    상기 강한 코너 포인트들 각각에 대해 상기 무게 중심과의 거리가 최소인 강한 코너 포인트를 블랙 썬의 중심점으로 추정하는 단계를 포함하는 블랙썬 효과가 관측되는 영상 센서를 기반으로 한 태양의 위치 추적 방법.
  5. 제3항에 있어서, 상기 태양 벡터를 추출하는 단계는
    태양의 2차원 영상을 3차원 벡터로 표현하기 위해 하기 수학식
    Figure 112017090645691-pat00070

    (
    Figure 112017090645691-pat00071
    : 카메라 초점 거리,
    Figure 112017090645691-pat00072
    : 블랙 썬의 중심점)
    을 이용하여 태양 벡터의 방위각과 고도를 구하는 것을 특징으로 하는 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법.
  6. 제3항에 있어서, 상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 단계는
    상이한 두 시점에서, 센서 좌표계에서 표현한 두 태양 벡터들과 기준 좌표계에서 표현한 두 태양 벡터들을 이용하여 초기 회전을 구하고,
    상기 상이한 두 시점을 미리 정의된 횟수만큼 변화시켜 가며 산출한 복수의 초기 회전들의 평균을 최종 회전으로 결정하여 상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 것을 특징으로 하는 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법.
  7. 제3항에 있어서, 상기 태양 벡터들을 융합하는 단계는
    상기 태양 벡터들의 방위각과 고도의 노이즈를 제거하고 융합하여 최종 태양 벡터를 산출하는 것을 특징으로 하는 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법.
  8. 제7항에 있어서,
    상기 노이즈를 제거하기 위해 확장된 칼만 필터(Extended Kalman Filter)를 사용하는 것을 특징으로 하는 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법.
  9. 블랙썬 효과가 관측되는 영상 센서를 기반으로 한 태양의 위치를 추적하기 위한, 컴퓨터 판독가능한 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 컴퓨터 프로그램은 컴퓨팅 시스템이
    복수 개의 태양의 영상을 획득하도록 설치된 복수 개의 영상 센서를 이용하여 촬영된 복수 개의 영상을 처리하여 블랙 썬의 중심점을 추정하여 태양의 위치를 추적하도록 하는 명령들을 포함하되,
    상기 블랙 썬의 중심점을 추정하는 것은 상기 획득된 복수 개의 태양 영상에서 각각의 블랙 썬의 중심점을 추정하도록 하는
    컴퓨터 판독가능한 매체에 저장된 컴퓨터 프로그램.
  10. 블랙썬 효과가 관측되는 영상 센서를 기반으로 한 태양의 위치 추적 방법을 이용하는 태양 센서에 있어서, 상기 태양 센서는
    복수 개의 태양의 영상을 획득하도록 설치된 복수 개의 영상 센서를 이용하여 촬영된 복수 개의 영상을 획득하는 센서부; 및 상기 복수 개의 영상을 처리하여 블랙 썬의 중심점을 추정하여 태양의 위치를 추적하는 처리부를 포함하되,
    상기 블랙 썬의 중심점을 추정하는 것은 상기 획득된 복수 개의 태양 영상에서 각각의 블랙 썬의 중심점을 추정하는 것을 특징으로 하는 태양 센서.
  11. 제10항에 있어서, 상기 블랙 썬의 중심점을 추정하는 것은
    상기 획득된 복수 개의 영상을 기초로 복수의 태양 위치 추정 결과를 융합하여 상기 태양의 위치를 추정하는 것을 특징으로 하는 태양 센서.
  12. 제10항에 있어서, 상기 처리부는
    상기 획득된 복수 개의 영상에서 각각의 블랙 썬의 중심점을 추정하는 중심점 추정 모듈;
    상기 각각의 블랙 썬의 중심점에 대한 태양 벡터를 추출하는 태양 벡터 추출 모듈;
    상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 좌표계 변환 모듈; 및
    상기 변환된 태양 벡터들을 융합하는 융합 모듈을 포함하는 태양 센서.
  13. 제12항에 있어서, 상기 중심점 추정 모듈은
    상기 복수 개의 영상 센서카메라를 이용하여 촬영된 복수 개의 영상에서 태양의 영상을 획득하고,
    강도(intensity) 임계값을 변화시키며 상기 태양의 영상을 미리 정의된 횟수만큼 반복하여 분할하고,
    상기 태양의 영상을 분할할 때마다 코너 포인트(corner point)들을 검출하고,
    최종 분할된 영상에서 검출된 코너 포인트들인 강한 코너 포인트들의 무게 중심을 구하고,
    상기 강한 코너 포인트들 각각에 대해 상기 무게 중심과의 거리가 최소인 강한 코너 포인트를 블랙 썬의 중심점으로 추정하는 태양 센서.
  14. 제12항에 있어서, 상기 태양 벡터 추출 모듈은
    태양의 2차원 영상을 3차원 벡터로 표현하기 위해 하기 수학식
    Figure 112017090645691-pat00073

    (
    Figure 112017090645691-pat00074
    : 카메라 초점 거리,
    Figure 112017090645691-pat00075
    : 블랙 썬의 중심점)
    을 이용하여 태양 벡터의 방위각과 고도를 구하는 것을 특징으로 하는 태양 센서.
  15. 제12항에 있어서, 상기 좌표계 변환 모듈은
    상이한 두 시점에서, 센서 좌표계에서 표현한 두 태양 벡터들과 기준 좌표계에서 표현한 두 태양 벡터를 이용하여 초기 회전을 구하고,
    상기 상이한 두 시점을 미리 정의된 횟수만큼 변화시켜 가며 산출한 복수의 초기 회전들의 평균을 최종 회전으로 결정하여 상기 추출된 태양 벡터들을 기준 좌표계로 변환하는 것을 특징으로 하는 태양 센서.
  16. 제12항에 있어서, 상기 융합 모듈은
    상기 태양 벡터들의 방위각과 고도의 노이즈를 제거하고 융합하여 최종 태양 벡터를 산출하는 것을 특징으로 하는 태양 센서.
  17. 제16항에 있어서,
    상기 노이즈를 제거하기 위해 확장된 칼만 필터(Extended Kalman Filter)를 사용하는 것을 특징으로 하는 태양 센서.
  18. 최소 대수의 영상 센서카메라로 반구형 커버리지를 가지고 태양의 위치에 관계없이 3대의 카메라에서 블랙 썬이 촬영되도록 가상의 정 이십면체의 6개의 꼭짓점-기준 1개의 꼭짓점 및 상기 기준 꼭짓점에 이웃하는 5개의 꼭짓점-의 위치에 설치된 6대의 영상 센서카메라를 포함하는 태양 센서.
  19. 블랙썬 효과가 관측되는 영상 센서를 기반으로 한 태양의 위치 추적 방법을 이용하는 태양 센서에 있어서, 상기 태양 센서는
    적어도 하나의 영상 센서를 이용하여 촬영된 적어도 하나의 태양의 영상을 획득하는 센서부; 및
    상기 획득된 적어도 하나의 태양의 영상을 처리하여 블랙 썬의 중심점을 추정하여 태양의 위치를 추적하는 처리부를 포함하되,
    상기 블랙 썬의 중심점을 추정하는 것은 상기 획득된 적어도 하나의 태양의 영상에서 각각의 블랙 썬의 중심점을 추정하는 것을 특징으로 하는 태양 센서.
  20. 제19항에 있어서, 상기 블랙 썬의 중심점을 추정하는 것은
    상기 획득된 적어도 하나의 태양의 영상에서 각각의 블랙 썬의 중심점을 추정하는 단계;
    상기 각각의 블랙 썬의 중심점에 대한 적어도 하나의 태양 벡터를 추출하는 단계;
    상기 추출된 적어도 하나의 태양 벡터들을 기준 좌표계로 변환하는 단계; 및
    상기 변환된 적어도 하나의 태양 벡터들을 융합하는 단계를 포함하는 태양 센서.
KR1020160054442A 2016-05-03 2016-05-03 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서 KR101856321B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160054442A KR101856321B1 (ko) 2016-05-03 2016-05-03 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서
US15/583,486 US10373321B2 (en) 2016-05-03 2017-05-01 Sun position tracking method based on black sun effect of image sensor, computer program stored in medium, and solar sensor using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160054442A KR101856321B1 (ko) 2016-05-03 2016-05-03 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서

Publications (2)

Publication Number Publication Date
KR20170124720A KR20170124720A (ko) 2017-11-13
KR101856321B1 true KR101856321B1 (ko) 2018-05-09

Family

ID=60243080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160054442A KR101856321B1 (ko) 2016-05-03 2016-05-03 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서

Country Status (2)

Country Link
US (1) US10373321B2 (ko)
KR (1) KR101856321B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7200946B2 (ja) * 2017-12-12 2023-01-10 ソニーグループ株式会社 情報処理装置、制御システム、情報処理方法及びプログラム
US11520033B2 (en) * 2019-12-12 2022-12-06 Amazon Technologies, Inc. Techniques for determining a location of a mobile object

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100970952B1 (ko) * 2009-07-17 2010-07-20 이계숙 태양광 추적 장치 및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647352B1 (en) * 1998-06-05 2003-11-11 Crossbow Technology Dynamic attitude measurement method and apparatus
KR100660858B1 (ko) * 2005-01-28 2006-12-26 삼성전자주식회사 선 블랙 현상을 방지하는 시모스 이미지 센서의 칼럼 ａｄｃ
JP4363390B2 (ja) * 2005-10-04 2009-11-11 ソニー株式会社 固体撮像装置、固体撮像装置の駆動方法および撮像装置
KR20130019314A (ko) 2011-08-16 2013-02-26 선다코리아주식회사 집광기의 추적 장치
CN102902975B (zh) * 2012-10-15 2015-07-08 北京控制工程研究所 一种基于cmos导航相机的太阳定位方法
KR101562348B1 (ko) 2013-05-31 2015-10-30 군산대학교산학협력단 태양 위치 감지기, 이를 이용한 태양광 집광 장치 및 태양광 집광 방법
US9875579B2 (en) * 2014-08-22 2018-01-23 Applied Research Associates, Inc. Techniques for enhanced accurate pose estimation

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100970952B1 (ko) * 2009-07-17 2010-07-20 이계숙 태양광 추적 장치 및 그 방법

Also Published As

Publication number Publication date
KR20170124720A (ko) 2017-11-13
US20170323453A1 (en) 2017-11-09
US10373321B2 (en) 2019-08-06

Similar Documents

Publication Publication Date Title
CN107272021B (zh) 使用雷达和视觉定义的图像检测区域的对象检测
JP6589926B2 (ja) 物体検出装置
US20130177237A1 (en) Stereo-vision object detection system and method
US8260074B2 (en) Apparatus and method for measuring depth and method for computing image defocus and blur status
US8330852B2 (en) Range measurement using symmetric coded apertures
CN104469183B (zh) 一种x射线闪烁体成像系统的光场捕捉和后处理方法
Bu et al. Pedestrian planar LiDAR pose (PPLP) network for oriented pedestrian detection based on planar LiDAR and monocular images
WO2019054092A1 (ja) 画像生成装置及び画像生成方法
US20220383530A1 (en) Method and system for generating a depth map
CN106679676A (zh) 一种单视场多功能光学敏感器及实现方法
WO2023035301A1 (en) A camera calibration method
KR101856321B1 (ko) 영상 센서의 블랙 썬 효과를 기반으로 한 태양의 위치 추적 방법, 매체에 저장된 컴퓨터 프로그램 및 태양 센서
CN110455281A (zh) 暗弱小天体光学导航特征成像模拟方法
CN105450933A (zh) 一种气动光学效应中模糊图像的复原装置
Chang et al. Cloud tracking for solar irradiance prediction
JP6042146B2 (ja) 対象物検出装置および対象物検出方法
Sheta et al. Assessments of different speeded up robust features (SURF) algorithm resolution for pose estimation of UAV
JP4935769B2 (ja) 平面領域推定装置及びプログラム
CN113280829A (zh) 基于鱼眼视觉和毫米波雷达数据的目标检测方法及装置
CN105352482A (zh) 基于仿生复眼微透镜技术的3-3-2维目标检测方法及系统
CN117109561A (zh) 融合激光定位的远距二维码地图创建及定位方法、系统
Kim et al. RCM-Fusion: Radar-Camera Multi-Level Fusion for 3D Object Detection
CN115690190B (zh) 基于光流图像和小孔成像的运动目标检测与定位方法
CN114005110A (zh) 3d检测模型训练方法与装置、3d检测方法与装置
Yang et al. Multitask assessment of roads and vehicles network (MARVN)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant