KR20160129168A - 디지털 합성을 이용한 야간 촬영 성능 개선방법 - Google Patents

디지털 합성을 이용한 야간 촬영 성능 개선방법 Download PDF

Info

Publication number
KR20160129168A
KR20160129168A KR1020150060595A KR20150060595A KR20160129168A KR 20160129168 A KR20160129168 A KR 20160129168A KR 1020150060595 A KR1020150060595 A KR 1020150060595A KR 20150060595 A KR20150060595 A KR 20150060595A KR 20160129168 A KR20160129168 A KR 20160129168A
Authority
KR
South Korea
Prior art keywords
image
camera
thermal
color image
color
Prior art date
Application number
KR1020150060595A
Other languages
English (en)
Inventor
신현명
Original Assignee
주식회사 서울텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 서울텍 filed Critical 주식회사 서울텍
Priority to KR1020150060595A priority Critical patent/KR20160129168A/ko
Publication of KR20160129168A publication Critical patent/KR20160129168A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G06T7/0067—
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)

Abstract

피사체의 인식이 어려운 야간에도 피사체의 윤곽선과 색상을 식별할 수 있게 하는 피사체에 대한 영상을 얻을 수 있는 디지털 합성을 이용한 야간 촬영 성능 개선방법이 개시된다. 이를 위하여 저조도 카메라와 열 영상 카메라의 전방시야각을 조절하여 일치시키는 촬영대상 크기조절단계와, 저조도 카메라 및 열 영상 카메라의 줌인, 줌아웃의 속도를 동기화시키는 싱크단계와, 광학식 영상 및 열 영상을 수집하는 영상획득 단계, 및 상기 광학식 영상으로부터 촬영 대상에 대한 컬러 이미지를 추출하고, 상기 열 영상으로부터 촬영 대상에 대한 윤곽선 이미지를 추출하는 매칭 이미지 추출과정, 및 상기 컬러 이미지와 상기 윤곽선 이미지를 디지털 합성하여 하나의 출력영상을 구성하는 디지털 합성과정으로 이루어진 출력영상 구성단계를 포함하는 야간 촬영 성능 개선방법을 제공한다. 본 발명에 따르면, 어두운 환경에서 별도의 조명 없이도 윤곽선과 윤곽선 내부의 색상이 뚜렷한 영상을 획득할 수 있다.

Description

디지털 합성을 이용한 야간 촬영 성능 개선방법{METHOD FOR ENHANCING NIGHT TIME IMAGE USING DIGITAL COMPOSITING}
본 발명은 디지털 합성을 이용한 야간 촬영 성능 개선방법에 관한 것으로, 보다 상세하게는 피사체의 인식이 어려운 야간에도 피사체의 윤곽선과 색상을 식별할 수 있게 하는 피사체에 대한 영상을 얻을 수 있는 디지털 합성을 이용한 야간 촬영 성능 개선방법에 관한 것이다.
적외선 조명기를 사용하는 야간 촬영 카메라는 고배율을 제공하지만, 이러한 고배율은 자연히 순간 시야가 협소하게 나타난다.
상기 협소한 시야는 주어진 범위에서 설정 각도를 지난 조명기의 비임 분기는 유용한 영상을 생성하기에 불충분한 비임 세기를 수반하다는 사실로부터도 기인한다. 이러한 시야 한정은 특히 커버에 필요한 영역이 넓고 복잡할 때 또는 순간적인 야간 촬영 시야가 빈약한 정보내용을 가질 때, 이와 같은 야간 촬영용 카메라의 사용자가 자신을 야간 촬영 영역으로 지향시키는데 어렵게 한다.
이러한 한정을 극복하는데 사용되는 한 가지 방법은 현재 시야를 위치시키는데 도움을 주는 눈에 잘 띄는 표시물을 찾기 위하여, 관련 영역을 세밀하게 스캐닝하는 것이다. 야간 촬영 업무의 특성상, 이러한 검색 과정은 비상시에는 상당한 시간을 소모하기 때문에 일반적으로는 실질적이지 못하다.
일부의 야간 촬영 시스템은 레이저 적외선 조명기를 사용한다. 이러한 시스템의 대부분은 지배적 소음 메카니즘으로 간주되는 주변의 후방산란을 극복하기 위해 게이트형 영상기법을 사용한다. 상기 게이트형 영상기법을 사용하면 고가의 영상기와 이러한 영상기를 갖는 레이저 펄스의 복잡한 동기화를 요구하게 된다. 또한, 야간 촬영 시스템에 기초한 게이트형 영상은 영상기의 시야에서 강력한 광원으로 인해 포화되기 쉽다.
종래의 레이저 조명기를 이용한 야간 촬영 시스템의 사용은 눈에 관한 안전상의 문제점을 유발시키며, 그 적용에 따라 야간 촬영 시스템이 있는 지역에 레이저 안전요원이 있을 것이 요망된다.
또 다른 야간 촬영 시스템은 투사된 광원을 픽업하도록 설치된 카메라를 갖는 LED 전구에 의해 발생되는 능동형 적외선 조명을 사용한다. 이러한 시스템은 단지 짧은 범위에서만 유용한 영상을 제공할 뿐이며, 상기 전구는 상대적으로 수명이 짧고, 시스템에 유지보수 비용 및 작동비용을 부가하게 된다. 또한, 이러한 시스템은 영상기의 시야에서 강렬한 광원으로 인해 포화되기 쉽다.
또 다른 야간 촬영 시스템은 민감한 CCD 카메라에 의해 픽업된 주변 광(예를 들어 별빛 및 달빛)에 의존하는 강화된 CCD(ICCD) 구성을 사용한다. 이러한 시스템은 흐리거나 달빛이 있는 환경에서 칼라 영상의 촬영은 가능하나, 촬영된 영상의 윤곽선이 불분명하여 방송용 및 보안용으로는 사용하기 어렵다는 문제점이 있다.
가장 통상적인 야간 촬영 시스템은 물체의 열이 제품의 영상을 발생하는데 사용되는 열 영상에 기초하고 있다. 이는, 작동자 트레이닝에 의해 최종 영상이 검출을 위해 사용될 수 있지만 진정한 식별은 아닌데, 그 이유는 문자와 약간의 영상 세부항목이 투시될 수 없기 때문이다. 또한, 냉각되지 않은 열 영상 촬영 시스템은 짧은 범위를 가지며, 냉각된 열 영상 촬영 시스템은 긴 범위를 갖지만 매우 값비싸다. 마지막으로, 열 영상 촬영 시스템에 줌인(zoomin) 능력을 부가하면 특수 렌즈를 사용해야 되므로 시설비용이 비싸지며, 이러한 사실로 인해 많은 열 영상 촬영 시스템은 초점 거리가 고정될 수밖에 없는 문제가 있다.
한편, 디지털 합성기술에서 키는 배경화면 위에 다른 화면을 덮어 올리 때 쓰는 효과로써, 화면합성에 쓰이며 덮어 올라갈 부분과 배경화면이 보이게끔 제거될 부분을 분리해 내는 효과이다.
예를 들어 모나리자 사진위에 꽃이 포함된 그림이 그려져 있는 같은 크기의 투명비닐이 있다고 가정했을 때 비닐의 꽃을 제외한 다른 부분을 지워냈다면, 모나리자 사진위에 꽃만 보이는 것과 같은 효과가 나타난다. 이러한 키에는 루미넌스키, 코로미넌스키, 매트 키 등이 있다.
상기 루미넌스키(luminance key) 모든 색은 각각의 휘도 값을 갖고 있다. 이러한 휘도 값의 차이를 이용해 휘도 값의 커트라인(cutline)을 조정함으로써 커트라인 미만 값은 제거해내고 그 이상 값은 화면에 남겨, 남겨진 부분화면만이 다른 배경화면 위에 합성돼 보이는 효과이다.
상기 크로미넌스키(chrominance key) 색상의 차이를 이용하는 키로 조정된 임의 색상을 제거해 필요한 화면부분을 얻어내는 효과. 일반적으로 푸른(blue)색 배경에 인물 및 사물을 두고 촬영한 장면에서 푸른 배경색만을 제거해 남은 부분의 소스를 다른 화면과 합성, 처리해 만든다.
상기 매트키(matte key)는 키 작업을 하게되면 화면중 남는 부분과 제거되는 부분이 생기는데 이를 키홀(key hole)이라 부르며, 이렇게 별도로 키홀만을 만든(Black과 White만으로)화면을 배경화면 위에 얹고 홀안에 다른 비디오 화면을 채워 넣는 것을 말한다.
대한민국 등록특허 제10-1455071호(2014.10.30 공고) 대한민국 등록특허 제10-1314259호(2013.10.02 공고) 대한민국 공개특허 제10-2013-0032578호(2013.04.02 공개)
따라서, 본 발명의 목적은 광학식 영상 데이터와 열 영상 데이터의 매핑을 통해 저조도 환경에서도 윤곽선이 뚜렷한 칼라 영상을 생성할 수 있는 디지털 합성을 이용한 야간 촬영 성능 개선방법을 제공하는데 있다.
상술한 본 발명의 목적을 달성하기 위하여, 본 발명의 일 실시예에서는 저조도 카메라를 통해 촬영 대상 영역에 대한 광학식 영상을 수집하고, 열 영상 카메라를 통해 열 영상을 획득하여 저장하는 단계와, 상기 광학식 영상과 열 영상을 디지털 합성하여 하나의 출력영상을 구성하는 단계, 및 상기 출력영상을 저장하는 단계를 포함하는 야간 촬영 성능 개선방법을 제공한다.
본 발명에 의한 야간 촬영 성능 개선방법은 저조도 카메라에 의해 생성된 광학식 영상과 열 영상 카메라에 의해 생성된 열 영상의 매핑을 이용하여 윤곽선과 윤곽선 내부의 색상이 뚜렷한 영상을 획득할 수 있다.
그리고 본 발명은 줌인 및 줌아웃 속도가 전혀 다른 저조도 카메라와 열 영상 카메라를 사용하더라도, 움직이는 피사체를 추적하면서 동일한 줌 속도로 피사체의 영상을 촬영할 수 있다. 다시 말해, 열 영상 카메라와 저조도 카메라가 서로 다른 줌인 및 줌아웃의 속도를 갖더라도, 시간대별로 움직이는 피사체의 크기가 달라지지 않기 때문에, 피사체의 크기가 일치시키는 변환작업을 수행하지 않고도 움직이는 피사체에 대한 동영상을 생성할 수 있다.
또한, 본 발명은 야간에도 실시간으로 영상정보를 획득하고 이를 토대로 운용자가 정밀하게 촬영 대상 영역을 감시할 수 있게 해주며, 별도의 조명이 불필요하기 때문에 야간에 설치 여부가 쉽게 노출되지 않는다.
아울러, 본 발명은 거리 정보 및 열 영상을 사용하기 때문에 사람의 시야로 촬영 대상의 위치를 확인하기 어려운 환경에서도 촬영 대상의 위치를 쉽게 확인할 수 있으며, 주변상황을 간편히 인식할 수 있다.
도 1은 본 발명에 따른 야간 촬영 성능 개선방법의 일 실시예를 나타내는 순서도이다.
도 2는 본 발명에 따른 야간 촬영용 카메라 시스템을 설명하기 위한 구성도이다.
도 3은 본 발명에 따른 출력영상 생성단계를 설명하기 위한 순서도이다.
도 4는 본 발명에 따른 컬러 이미지의 부분 증배과정을 설명하기 위한 순서도이다.
이하, 첨부도면을 참조하여 본 발명의 바람직한 실시 예들에 의한 디지털 합성을 이용한 야간 촬영 성능 개선방법(이하, '야간 촬영 성능 개선방법'이라 약칭함)을 상세하게 설명한다.
도 1은 본 발명에 따른 야간 촬영 성능 개선방법의 일 실시예를 나타내는 순서도이다.
도 1을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 저조도 카메라와 열 영상 카메라의 전방시야각을 조절하는 촬영대상 크기조절단계(S100)와, 줌인 및 줌아웃 속도를 동기화시키는 싱크단계(S200)와, 광학식 영상과 열 영상을 획득하는 영상획득 단계(S300)와, 상기 광학식 영상과 열 영상을 디지털 합성기술로 합성하여 하나의 출력영상을 구성하는 출력영상 생성단계(S400)를 포함한다. 여기서, 광학식 영상이란 집광렌즈에 의해 집광된 가시광선 또는 근적외선 영역의 빛을 통상의 이미지 센서로 촬상한 영상을 의미한다.
이를 위해, 저조도 카메라와 열 영상 카메라는 영상처리장치에 유무선 네트워크로 연결된다. 이러한 영상처리장치는 도 2에 도시된 바와 같이 저조도 카메라(100)와 열 영상 카메라(200)에 무선이나 데이터케이블 등을 통해 유선으로 연결된 것으로, 제어부(310)와 저장부(320) 및 영상출력부(330)를 포함하여 구성된다.
필요에 따라, 상기 영상처리장치는 입력부(미도시)를 더 포함할 수 있다. 이러한 입력부는 키보드, 마우스, 조이스틱, 터치스크린 중 어느 하나 이상을 포함하며, 사용자가 시스템을 조작하고 제어명령을 입력할 수 있게 해준다.
상기 저조도 카메라(100)는 1 내지 0.01 lux 의 조도환경에서도 칼라 영상의 촬영이 가능한 카메라로, 이러한 목적을 달성할 수 있다면 어떠한 디지털 카메라를 사용하여도 무방하지만, 전자증배형 CCD(EM-CCD)를 탑재한 디지털 카메라를 사용하는 것이 바람직하다. 이러한 저조도 카메라(100)는 당업계에 공지된 구성이므로, 보다 구체적인 설명은 생략한다.
상기 열 영상 카메라(200)는 촬영 대상 영역 내에 있는 피사체들간의 온도 차이를 감지하여 전기적 신호로 변환함으로써, 복사 에너지에 의하여 피사체들을 시각화하기 위한 열 영상을 출력하는 카메라이다.
이하, 도면을 참조하여 각 구성요소별로 보다 구체적으로 설명한다.
도 1을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 촬영대상 크기조절단계(S100)를 포함한다.
상기 촬영대상 크기 조절단계(S100)는 저조도 카메라(100)와 열 영상 카메라(200)를 통해 관측되는 촬영 대상의 크기를 일치시키기 위해 저조도 카메라(100)와 열 영상 카메라(200)의 전방시야각을 일치시키는 단계이다.
이때, 전방시야각은 저조도 카메라(100)와 열 영상 카메라(200) 중 어느 하나에 다른 하나를 맞추어 일치시킬 수도 있으나, 촬영 대상과의 거리를 기준으로 저조도 카메라(100)와 열 영상 카메라(200)의 전방시야각을 모두 조절할 수도 있다.
이러한 촬영대상 크기 조절단계(S100)는 레이저 거리 측정기(400)로 촬영 대상 영역에 레이저를 조사하여 촬영 대상의 거리 값을 산출하는 과정과, 상기 거리 값에 따라 전방시야각을 일치시키기 위해 제어부(310)가 저조도 카메라(100)와 열 영상 카메라(200)의 위치 값과 팬-틸트(pan-tilt) 값을 산출하는 과정, 및 상기 제어부(310)가 위치 값에 따라 저조도 카메라(100)와 열 영상 카메라(200)에 설치된 위치 이동장치(600)를 제어하고, 팬-틸트 값에 따라 저조도 카메라(100)와 열 영상 카메라(200)에 설치된 팬-틸트 구동장치(500)를 제어하는 과정으로 구성될 수 있다.
보다 구체적으로, 저조도 카메라(100)에 장착된 렌즈의 특성을 카메라 캘리브레이션 기법을 통해 알아내고, 상기 카메라 캘리브레이션은 Tsai 등이 제안한 알고리즘을 사용하여 카메라의 관측 특성 파라미터를 추출하며, 상기 추출되는 파라미터 중에 가장 중요한 파라미터로 렌즈의 초점거리 및 회전(rotation) 및 평행이동(translation) 파라미터를 알아낸다.
그리고 적외선 열 영상 카메라(200)의 경우에는 제조회사에서 제공하는 렌즈 사양 및 시야각(Field Of View : FOV) 사양을 이용한다. 이러한 열 영상 카메라(200)의 관측 전방시야각을 저조도 카메라(100)의 관측 관측전방시야각으로 변환을 하여 두 카메라의 전방시야각을 매칭시킨다.
예를 들면, 열 영상 카메라(200)에 장착된 25㎜의 적외선렌즈와 저조도 카메라(100)에 장착된 25㎜ 렌즈의 전방시야각은 다르다. 이는, 적외선 열 영상센서와 칼라 CCD 센서의 크기가 다르기 때문이다.
보다 구체적으로, 25㎜ 렌즈를 장착한 열 영상 카메라(200)의 경우, 센서크기가 320×240 픽셀(pixels)이고, 한 픽셀의 크기가 48.5㎛×48.5㎛ 이므로, 센서의 실제크기는 15.52×11.64㎜이다. 이에 비해, 저조도 카메라(100)의 센서크기가 768×494 픽셀인 경우, 한 픽셀의 크기가 8.4㎛×9.8㎛ 이므로, 칼라 CCD 센서의 실제 크기는 6.45×4.84㎜이다.
이를 FOV로 환산하면 열 영상 카메라(200)의 관측 FOV는 34.5×26.2°이고 동일한 25㎜렌즈를 장착한 저조도 카메라(100)의 FOV는 14.7×11.1°로 큰 차이가 난다. 따라서 두 카메라에서 관측되는 물체의 크기를 맞추기 위해서는 두 카메라의 FOV를 저조도 카메라(100)의 FOV로 맞추든지 열 영상 카메라(200)의 FOV로 맞추던지 하나로 통일시킨다.
상기 팬-틸트 구동장치(500)는 저조도 카메라(100)와 열 영상 카메라(200)에 각각 구비되어 카메라를 고정시키는 것으로, 제어부(310)의 제어에 따라 상기 저조도 카메라(100)와 열 영상 카메라(200)를 각각 좌우 방향 또는 상하 방향으로 회전할 수 있도록 지원하는 구성이다.
이러한 팬-틸트 구동장치(500)는 저조도 카메라(100)와 열 영상 카메라(200)의 위치를 수평 동기화하기 위한 단일의 수평 리그(parallel rig)에 설치될 수 있다.
상기 위치 이동장치(600)는 저조도 카메라(100)와 열 영상 카메라(200)에 각각 구비되어 각 카메라와 촬영 대상 영역의 거리가 조절되도록 저조도 카메라(100)와 열 영상 카메라(200)를 이동시키는 구성한다.
상기 영상처리장치의 제어부(310)는 사용자의 선택에 따라 촬영 대상 영역의 열 영상 및 광학식 영상을 획득하도록 열 영상 카메라(200)와 저조도 카메라(100)를 제어하는 한편, 팬-틸트 구동장치(500)와 위치 이동장치(600)를 제어하여 열 영상 카메라(200)와 저조도 카메라(100)가 특정 방향을 바라보도록 배치시키는 기능을 제공한다.
보다 구체적으로, 제어부(310)는 입력부를 통해 입력된 제어명령에 응답하여 팬/틸트 구동을 제어하기 위한 제어신호를 팬-틸트 구동장치(500)로 송신한다. 여기서 팬/틸트 구동은 프로그램에 의하여 일정한 패턴으로, 또는 영상 내에서의 피사체 또는 피사체 움직임 검출 결과에 따라 자동적으로 이루어질 수도 있다.
필요에 따라, 상기 제어부(310)는 레이저 거리 측정기(400)로부터 측정된 거리 값에 따라 저조도 카메라(100)의 위치 값과 팬-틸트 값이 미리 지정된 저장부(320)로부터 위치 값과 팬-틸트 값을 추출하여 팬-틸트 구동장치(500)와 위치 이동장치(600)를 제어하도록 구성될 수 있다. 이를 위해, 저장부(320)에는 상기 거리 값과 위치 값 및 팬-틸트 값 간의 대응관계를 나타내는 룩업테이블이 저장될 수 있으며, 제어부(310)와 유선으로 연결될 수 있다. 다시 말해, 제어부(310)는 룩업테이블을 참조하여 카메라의 위치 및 지시 방향을 제어한다.
상기 영상출력부(330)는 제어부(310)를 통해 생성된 출력영상을 출력하는 구성이다. 이를 위하여 상기 영상출력부(330)는 상기 제어부(310)와 유선으로 연결될 수 있다.
특정 양태로서, 상기 영상처리장치는 현장에서 디지털 합성된 출력영상을 영상출력부(330)를 통해 곧바로 확인할 수 있도록 전술한 수평 리그에 설치될 수 있다.
도 1을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 싱크단계(S200)를 포함한다.
상기 싱크단계(S200)는 저조도 카메라(100) 및 열 영상 카메라(200)의 줌인, 줌아웃의 속도를 동기화시키는 단계로, 제조사가 서로 다른 저조도 카메라(100)와 열 영상 카메라(200)를 사용하는 경우에도 움직이는 피사체를 추적할 때 각 카메라(100, 200)의 줌렌즈에 대한 줌 인과 줌 아웃이 동일한 속도를 유지하도록 한다.
이를 위해, 본 단계(S200)에서 제어부(310)는 저조도 카메라(100)와 열 영상 카메라(200)의 줌 인, 줌 아웃 속도를 동기화 시키는 알고리즘이 미리 저장된 저장부(320)로부터 상기 알고리즘을 추출하여 열 영상 카메라(200)의 줌 인, 줌 아웃 속도를 동기화시킨다. 이때, 각 카메라(100, 200)의 줌 인, 줌 아웃의 속도와 화면의 크기는 저장부(320)에 데이터베이스화 되어 제어부(310)에 의해 적용된다.
필요에 따라, 본 단계(S200)에서는 상기 저조도 카메라와 열 영상 카메라에 설치된 팬-틸트 구동장치를 제어하도록 팬-틸트 구동장치의 팬-틸트 값을 동기화시키는 과정도 포함될 수 있다.
도 1을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 영상획득 단계(S300)를 포함한다.
상기 영상획득 단계(S300)는 전자증배형 CCD를 탑재한 저조도 카메라를 통해 촬영 대상 영역을 촬상하여 상기 촬영 대상 영역에 대한 야간의 광학식 영상을 수집하고, 열 영상 카메라를 통해 촬영 대상 영역을 촬상하여 상기 촬영 대상 영역에 대한 열 영상을 수집하는 단계이다.
필요에 따라, 본 단계(S300)에서는 저조도 카메라(100)가 광학식 영상을 소정의 압축 방식으로 압축하고, 유무선 네트워크로 연결된 영상처리장치에 압축된 광학식 영상을 송신한다. 마찬가지로, 열 영상 카메라(200)도 열 영상을 소정의 압축방식으로 압축하고, 유무선 네트워크로 연결된 영상촬영장치에 압축된 열 영상을 송신한다. 이때, 영상촬영장치에서는 수신한 광학식 영상과 열 영상을 저장부(320)에 저장한다.
여기서, 소정의 압축 방식으로는 MPEG-4(Moving Picture Experts Group Phase 4) 방식, H.264 방식 또는 JPEG 2000(Joint Photographic Experts Group 2000) 방식 등의 압축 방식을 사용할 수 있다.
도 1을 참조하면, 본 발명에 따른 야간 촬영 성능 개선방법은 출력영상 구성단계(S400)를 포함한다.
상기 출력영상 구성단계(S400)는 제어부(310)가 광학식 영상과 열 영상을 매핑시켜 하나의 출력영상을 구성하는 단계로, 도 3에 도시된 바와 같이 매칭 이미지 추출과정(S410)과 디지털 합성과정(S430)이 포함될 수 있다.
상기 매칭 이미지 추출과정(S410)에서는 광학식 영상으로부터 촬영 대상에 대한 컬러 이미지를 추출하고, 열 영상으로부터 촬영 대상에 대한 윤곽선 이미지를 추출한다.
필요에 따라, 매칭 이미지 추출과정(S410)과 디지털 합성과정(S430) 사이에는 컬러 이미지 부분증배과정(S420)이 포함될 수 있다.
상기 컬러 이미지 부분증배과정(S420)은 매칭 이미지 추출과정(S410)을 통해 추출한 컬러 이미지 중 증배할 범위를 산정하여 증배하는 과정이다. 이는, 전자 증배하는 과정에서 노이즈도 같이 증배되어 화질 열화가 발생하기 때문에 전자 증배하는 영역을 필요한 부분으로 한정하기 위한 것이다. 이렇게 필요한 부분만 증배하게 되면 컬러 이미지 원본이 기본적으로 가지고 있는 노이즈 전체를 같이 증배할 필요가 없이 필요한 부분만 증배하여 좀 더 향상된 컬러 영상을 획득할 수 있다. 즉, 컬러 이미지 부분증배과정(S420)에서는 컬러 이미지와 윤곽선 이미지를 비교하여 컬러 이미지의 증배할 범위를 산정하여 필요한 부분만 증배한다.
이를 위해, 컬러 이미지 부분증배과정(S420)은 도 4에 도시된 바와 같이, 상기 컬러 이미지 중 윤곽선 이미지가 존재하는 촬영 대상 영역을 증배 영역으로 지정하는 과정(S422)과, 상기 증배 영역에 위치한 컬러 이미지를 추출하는 과정(S424)과, 추출된 컬러 이미지를 증배하여 증배된 부분 컬러 이미지를 생성하는 과정(S426), 및 상기 증배된 부분 컬러 이미지와 촬영 대상에 대한 컬러 이미지를 합성하여 단일의 컬러 이미지를 생성하는 과정(S428)을 포함한다. 이때, 상기 촬영 대상에 대한 컬러 이미지는 매칭 이미지 추출과정(S410)을 통해 광학식 영상으로부터 추출된 컬러 이미지 원본을 사용할 수도 있지만, 컬러 이미지 원본에서 추출된 컬러 이미지에 대응된 부분이 제거된 바탕 컬러 이미지를 사용할 수도 있다.
상기 디지털 합성과정(S430)에서는 상기 매칭 이미지 추출과정(S410)을 통해 추출된 컬러 이미지와 상기 윤곽선 이미지를 매트키 방식 등을 통해 디지털 합성하여 하나의 출력영상을 구성한다. 필요에 따라, 디지털 합성과정(S430)에서는 상기 컬러 이미지 부분증배과정(S420)을 통해 생성된 컬러 이미지와 상기 윤곽선 이미지를 매트키 방식 등을 통해 디지털 합성하여 하나의 출력영상을 구성한다.
예를 들면, 일반적으로 디지털 합성에서 색상 B인 배경 앞에, 색상이 F이고, α매트를 가지는 임의의 물체가 놓여질 때, 결과로 나타나는 색상 C는 [수학식 1]과 같이 매트 방정식으로 나타난다.
[수학식 1]
C = F+(1-α)B
여기서, 각각의 매트나 알파는 놓여진 물체에 의한 픽셀의 상태와 투명도를 나타낸다.
그러므로, 일반적인 합성에 있어서 각 요소의 색상은 다른 몇몇 요소들의 집합체로 나타내어 질 수 있다. 즉 물체는 발광하는 요소를 가질 수 있고, 광원으로부터 들어온 빛을 일부 반사하거나, 주변 다른 부분에서의 환경으로부터 온 빛을 통과시키거나 추가적으로 굴절시킨다고 볼 수 있다.
그래서, 놓여진 물체에 의해 주위 환경의 빛이 어떻게 굴절되고 반사되는지를 고려한 environment 매트 기법을 도입하여 다음의 [수학식 2]와 같이 environment 등식으로 확장한다.
[수학시 2]
C=F+(1-α)b+Φ
여기서, Φ는 전치된 물체를 통해 굴절되거나 반사된 주변 환경의 빛들의 기여도를 나타낸다.
이때, 주위환경을 모든 방향 ω로부터 들어오는 빛 E(ω)라고 정의하고, 주어진 픽셀에 의해 보여지는 놓여진 물체의 부분 f에 발광되는 빛의 총합 Φ는 픽셀 포인트 p에 기여하는 주위환경으로부터 f를 통해 들어오는 모든 빛을 적분하여 표현할 수 있고, 그것은 또 어떤 반사율 함수 R(ω→p)에 의해 감소되어 지며, 다음과 같은 [수학식 3]으로 나타낼 수 있다.
[수학식 3]
Φ=∬R(ω→p)E(ω)dωdp
또한, 상기 감소함수 R(ω→p)는 모든 흡수와 분산의 효과를 포함하며, Φ, R, 그리고 E는 모두 빛의 파장에 종속적임을 알 수 있다.
상기 반사율 함수 E는 사실상 주어진 픽셀의 영역을 관통하는 상수이므로 픽셀 내에서의 위치와는 독립적인 새로운 함수 R(ω)를 사용하여 다음의 [수학식 4]와 같이 식을 간단히 할 수 있다.
[수학식 4]
Φ=∫R(ω)E(ω)dω
또한, 여기서 주위환경의 각기 다른 일부분으로부터 이루어진 텍스쳐를 나타내는, m의 집합으로 구성된 텍스쳐 맵 Ti(x)를 사용하여 적분을 간단히 하면 다음의 [수학식 5]와 같이 나타낼 수 있다.
[수학식 5]
Figure pat00001
여기서, 식을 간소화하기 위해서 텍스쳐 맵 Ti로부터의 기여도는, 축에 정렬된 사각형 영역 Ai로부터 총 빛의 양의 어떤 상수 Ki배로 근사할 수 있다는 가정을 한다.
가장 표준적인 텍스쳐-매핑 기법은 사실상 축에 정렬된 텍스쳐 영역의 평균값으로 계산한다. 그러므로 Ri=KiAi 로 둘 수 있으므로, 다음의 [수학식 6]과 같이 나타낼 수 있다.
[수학식 6]
Figure pat00002
이로부터, 최종적으로 구한 environment 매트 등식은 다음의 수학식 [수학식 7]과 같다.
[수학식 7]
Figure pat00003
필요에 따라, 본 발명에 따른 야간 촬영 성능 개선방법은 출력영상 저장단계(S500)를 더 포함할 수 있다.
상기 출력영상 저장단계(S500)는 상기 출력영상 구성단계(S400)를 통해 생성된 출력영상을 제어부(310)가 저장부(320)에 저장하는 단계로, 사용자의 선택에 따라 실시간으로 출력영상을 영상출력부(330)를 통해 출력할 수도 있다.
이상에서 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자는 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100 : 저조도 카메라 200 : 열 영상 카메라
310 : 제어부 320 : 저장부
330 : 영상출력부 400 : 레이저 거리 측정기
500 : 팬-틸트 구동장치 600 : 위치 이동장치

Claims (4)

  1. 촬영 대상과의 거리를 기준으로 저조도 카메라와 열 영상 카메라의 전방시야각을 조절하여 일치시키는 촬영대상 크기조절단계;
    저조도 카메라 및 열 영상 카메라의 줌인, 줌아웃의 속도를 동기화시키는 싱크단계;
    전자증배형 CCD를 탑재한 저조도 카메라를 통해 촬영 대상 영역에 대한 야간의 광학식 영상을 수집하고, 열 영상 카메라를 통해 열 영상을 수집하는 영상획득 단계; 및
    상기 광학식 영상으로부터 촬영 대상에 대한 컬러 이미지를 추출하고, 상기 열 영상으로부터 촬영 대상에 대한 윤곽선 이미지를 추출하는 매칭 이미지 추출과정, 및 상기 컬러 이미지와 상기 윤곽선 이미지를 디지털 합성하여 하나의 출력영상을 구성하는 디지털 합성과정으로 이루어진 출력영상 구성단계를 포함하는 야간 촬영 성능 개선방법.
  2. 제 1 항에 있어서, 상기 출력영상 구성단계는 매칭 이미지 추출과정과 디지털 합성과정 사이에
    상기 컬러 이미지 중 윤곽선 이미지가 존재하는 촬영 대상 영역을 증배 영역으로 지정하고, 상기 증배 영역에 위치한 컬러 이미지를 추출하고 증배하여 증배된 부분 컬러 이미지를 생성하며, 상기 증배된 부분 컬러 이미지와 촬영 대상에 대한 컬러 이미지를 합성하여 단일의 컬러 이미지를 구성하는 컬러 이미지 부분증배과정을 더 포함하는 것을 더 포함하는 것을 특징으로 하는 야간 촬영 성능 개선방법.
  3. 제 1 항에 있어서, 상기 싱크단계는
    상기 저조도 카메라와 열 영상 카메라에 설치된 팬-틸트 구동장치를 제어하도록 상기 팬-틸트 구동장치의 팬-틸트 값을 동기화시키는 것을 특징으로 하는 야간 촬영 성능 개선방법.
  4. 제 1 항에 있어서, 상기 저조도 카메라와 열 영상 카메라는
    그 위치를 수평 동기화하기 위해 단일의 수평 리그에 설치된 저조도 카메라와 열 영상 카메라인 것을 특징으로 하는 야간 촬영 성능 개선방법.
KR1020150060595A 2015-04-29 2015-04-29 디지털 합성을 이용한 야간 촬영 성능 개선방법 KR20160129168A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150060595A KR20160129168A (ko) 2015-04-29 2015-04-29 디지털 합성을 이용한 야간 촬영 성능 개선방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150060595A KR20160129168A (ko) 2015-04-29 2015-04-29 디지털 합성을 이용한 야간 촬영 성능 개선방법

Publications (1)

Publication Number Publication Date
KR20160129168A true KR20160129168A (ko) 2016-11-09

Family

ID=57529458

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150060595A KR20160129168A (ko) 2015-04-29 2015-04-29 디지털 합성을 이용한 야간 촬영 성능 개선방법

Country Status (1)

Country Link
KR (1) KR20160129168A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053001A (ko) * 2018-10-29 2020-05-18 주식회사 스프링클라우드 자율 주행 차량의 카메라 시야각 조정용 인터페이스 장치 및 방법
KR102394189B1 (ko) * 2020-11-27 2022-05-03 주식회사 에스원 하우징에 장착된 이기종 카메라의 영상 동기화 방법 및 그 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130032578A (ko) 2011-09-23 2013-04-02 현대자동차주식회사 열화상카메라를 이용한 영상획득 방법 및 시스템
KR101314259B1 (ko) 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
KR101455071B1 (ko) 2013-09-17 2014-10-30 주식회사 서울텍 디지털 합성을 이용한 야간 촬영 성능 개선방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101314259B1 (ko) 2011-03-24 2013-10-02 삼성테크윈 주식회사 영상 융합 시스템 및 그 방법
KR20130032578A (ko) 2011-09-23 2013-04-02 현대자동차주식회사 열화상카메라를 이용한 영상획득 방법 및 시스템
KR101455071B1 (ko) 2013-09-17 2014-10-30 주식회사 서울텍 디지털 합성을 이용한 야간 촬영 성능 개선방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200053001A (ko) * 2018-10-29 2020-05-18 주식회사 스프링클라우드 자율 주행 차량의 카메라 시야각 조정용 인터페이스 장치 및 방법
KR102394189B1 (ko) * 2020-11-27 2022-05-03 주식회사 에스원 하우징에 장착된 이기종 카메라의 영상 동기화 방법 및 그 장치

Similar Documents

Publication Publication Date Title
KR101455071B1 (ko) 디지털 합성을 이용한 야간 촬영 성능 개선방법
CN104079839B (zh) 用于利用视差校正的多光谱成像的设备和方法
JP5224319B2 (ja) 立体撮像装置および立体撮像装置の制御方法並びにプログラム
US8786679B2 (en) Imaging device, 3D modeling data creation method, and computer-readable recording medium storing programs
JP5178553B2 (ja) 撮像装置
EP2921995B1 (en) Visible light image with edge marking for enhancing ir imagery
KR101012691B1 (ko) 3차원 입체 열상 카메라 시스템
EP2741491B1 (en) Camera and method for thermal image noise reduction using post processing techniques
US20060238617A1 (en) Systems and methods for night time surveillance
US20130155249A1 (en) Thermal imaging camera for infrared rephotography
CN111982023B (zh) 图像捕捉装置组件、三维形状测量装置和运动检测装置
KR20130086066A (ko) 화상 입력 장치 및 화상 처리 장치
JP4942467B2 (ja) 撮影装置および方法並びにプログラム
US10078888B2 (en) Through-focus image combination
JPH10210486A (ja) 画像撮像装置および方法
KR20160129168A (ko) 디지털 합성을 이용한 야간 촬영 성능 개선방법
US11803101B2 (en) Method for setting the focus of a film camera
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
WO2024203225A1 (ja) 画像処理装置、画像処理方法及びプログラム、撮影システム
JP2009169884A (ja) 撮影装置および撮影装置の制御方法、画像再生装置および方法並びにプログラム
JP2014011639A (ja) 撮像装置
JP2004350192A (ja) ディジタル・カメラおよびその制御方法
JP2005024971A (ja) 撮影システム、照明システム、及び照明条件設定方法
KR20180015989A (ko) 3차원 환경맵을 생성하기 위한 광학 정보와 광원 정보를 수집하는 장치 및 수집 방법
JP6544501B1 (ja) 監視システムおよび監視システムの制御方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right