KR102605938B1 - 병합 프레임의 생성 방법 및 촬영장치 - Google Patents

병합 프레임의 생성 방법 및 촬영장치 Download PDF

Info

Publication number
KR102605938B1
KR102605938B1 KR1020220143653A KR20220143653A KR102605938B1 KR 102605938 B1 KR102605938 B1 KR 102605938B1 KR 1020220143653 A KR1020220143653 A KR 1020220143653A KR 20220143653 A KR20220143653 A KR 20220143653A KR 102605938 B1 KR102605938 B1 KR 102605938B1
Authority
KR
South Korea
Prior art keywords
frame
frames
time point
acquired
photographing
Prior art date
Application number
KR1020220143653A
Other languages
English (en)
Inventor
이병훈
Original Assignee
한화시스템 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한화시스템 주식회사 filed Critical 한화시스템 주식회사
Priority to KR1020220143653A priority Critical patent/KR102605938B1/ko
Application granted granted Critical
Publication of KR102605938B1 publication Critical patent/KR102605938B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/915—Television signal processing therefor for field- or frame-skip recording or reproducing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명의 실시예에 따른 병합 프레임의 생성 방법은 촬영을 실시하여 시간 경과에 따른 복수의 프레임을 순차적으로 획득하는 촬영 과정, 촬영 과정에서 획득되는 복수의 프레임을 순차적으로 저장하는 과정 및 현 시점(Tp)에 촬영 과정에서 획득된 프레임(Fp)과, 현 시점(Tp) 이전 시점(Tp-1)의 촬영 과정에서 획득되어 저장된 프레임(Fp-1)을 병합하는 과정을 포함할 수 있다.
따라서, 본 발명의 실시예들에 의하면, 프레임들을 병합하여 새로운 병합 프레임을 생성하는 갱신율을 향상시킬 수 있다. 즉, 고 해상도의 병합 프레임을 생성하면서도, 소정 시간 내에 종래에 비해 많은 개수의 병합 프레임을 생성할 수 있다.
이에, 실시간으로 생성되는 병합 프레임을 이용하여 관심영역을 관측하는 경우, 종래에 비해 짧은 주기로 새로운 병합 프레임을 확인하여 관심영역을 관측할 수 있다. 이에 따라, 관심영역을 관측하는데 있어서, 종래에 비해 빠른 대응이 가능하다.

Description

병합 프레임의 생성 방법 및 촬영장치{GENERATING METHOD OF MERGING FRAME AND IMAGING APPARATUS}
본 발명은 병합 프레임의 생성 방법 및 촬영장치에 관한 것으로, 보다 상세하게는 시간 경과에 따라 연속으로 촬영되어 획득되는 복수의 프레임을 병합하여 새로운 병합 프레임을 생성하는 갱신율을 향상시킬 수 있는 병합 프레임의 생성 방법 및 촬영장치에 관한 것이다.
피사체 및 배경으로부터 방출되는 적외선을 검출하여 그 형상을 열상화하는 열상장치는 관심영역을 관측하기 위한 군사용 또는 시설 보안용으로 사용된다.
이러한 열상장치는 관심영역을 시간 경과에 따라 연속으로 촬영한다. 즉, 열상장치는 시간 경과에 따라 실시간으로 촬영을 실시하여 한 순간의 완전한 화상 이미지인 복수의 프레임을 포함하는 영상을 생성한다. 이때, 일반적인 열상장치는 프레임 생성 갱신율이 60Hz이다. 즉, 일반적인 열상장치는 1초 동안 60개의 프레임을 생성한다.
또한, 열상장치는 해상도의 향상을 위하여 생성된 복수의 프레임을 병합한다. 이때, 열상장치에서 프레임을 병합하여 실시간으로 병합 프레임을 생성하는 또는 병합 프레임을 실시간으로 출력하는 갱신율이 30Hz이다. 즉, 열상장치에서는 1초 동안 30개의 병합 프레임을 순차적으로 생성한다. 다시 말해, 열상장치에서 개별 프레임을 생성하는 갱신율은 60Hz이나, 프레임들을 병합하여 병합 프레임을 생성하는 갱신율은 30Hz에 불과하다.
이에, 프레임들을 병합하여 해상도가 증가된 병합 프레임을 얻을 수 있지만, 병합 프레임의 갱신율이 저하되는 문제가 있다. 이로 인해, 병합 프레임이 생성되어 출력되는데 소요되는 시간이 길어지는 문제가 있다.
따라서, 실시간으로 생성되는 병합 프레임을 이용하여 관심영역을 관측하고, 관측 결과에 따라 대응을 하는데 있어서, 빠른 대응이 어려운 문제가 있다.
한국등록특허 10-1030744
본 발명은 프레임들을 병합하여 새로운 병합 프레임을 생성하는 갱신율을 향상시킬 수 있는 병합 프레임의 생성 방법 및 촬영장치를 제공한다.
본 발명은 고 해상도의 병합 프레임을 생성하면서도, 병합 프레임을 생성하는 시간 간격을 단축시킬 수 있는 병합 프레임의 생성 방법 및 촬영장치를 제공한다.
본 발명의 실시예에 따른 병합 프레임의 생성 방법은, 촬영을 실시하여 시간 경과에 따른 복수의 프레임을 순차적으로 획득하는 촬영 과정; 상기 촬영 과정에서 획득되는 복수의 프레임을 순차적으로 저장하는 과정; 및 현 시점(Tp)에 상기 촬영 과정에서 획득된 프레임(Fp)과, 현 시점(Tp) 이전 시점(Tp-1)의 촬영 과정에서 획득되어 저장된 프레임(Fp-1)을 병합하는 과정;을 포함할 수 있다.
상기 저장 과정은, 상기 촬영 과정에서 시간 경과에 따라 획득되는 복수의 프레임 모두를 순차적으로 저장할 수 있다.
상기 병합 과정은, 상기 촬영 과정에서 실시간으로 획득되는 현 시점(Tp)의 프레임(Fp)을 전달 받는 과정; 및 현 시점의 이전 시점에서 이미 저장된 이전 시점(Tp-1)의 프레임(Fp-1)을 전달 받는 과정;을 포함할 수 있다다.
상기 병합 과정에 있어서, 상기 복수의 프레임들 각각은 2 회씩 병합에 사용될 수 있다.
상기 촬영 과정은, 촬영장치에 구비된 주사거울의 각도가 제1주사각도가 되도록 상기 주사거울을 회전시키고, 촬영을 실시하여 프레임을 획득하는 제1촬영과정; 및 상기 주사거울의 각도가 상기 제1주사각도와 다른 제2주사각도가 되도록 상기 주사거울을 회전시키고, 촬영을 실시하여 프레임을 획득하는 제2촬영과정;을 포함하고, 상기 제1촬영과정과 제2촬영과정을 교대로 복수번 반복하여 실시하며, 상기 저장 과정은, 상기 제1 및 제2촬영과정 각각에서 획득되는 프레임을 저장하는 과정을 포함할 수 있다.
상기 촬영 과정에서 프레임을 획득하는데 있어서, 촬영 영역의 위치별 온도에 따라 방사되는 적외선을 수신하여 프레임을 생성할 수 있다.
1초 동안 상기 촬영 과정에서 획득되는 프레임의 개수와 1초 동안 상기 병합 과정에서 병합되어 생성되는 병합 프레임의 개수가 동일할 수 있다.
상기 촬영 과정에서 1초 동안 획득되는 프레임의 개수는 60개이고, 상기 병합 과정에서 1초 동안 병합되어 생성되는 병합 프레임의 개수는 60개일 수 있다.
본 발명의 실시예에 따른 촬영장치는,
촬영을 실시하여 시간 경과에 따른 복수의 프레임을 획득하는 촬영부; 상기 촬영부에서 획득되는 복수의 프레임을 순차적으로 저장하는 메모리부; 및 현 시점(Tp)에 상기 촬영부에서 획득된 현 시점(Tp)의 프레임(Fp)과 상기 메모리부에 저장된 현 시점(Tp) 이전 시점(Tp-1)의 프레임(Fp-1)을 병합하는 병합부;를 포함할 수 있다.
상기 촬영부는, 주사각도가 변경되게 일 축을 중심으로 회전할 수 있는 주사거울; 및 상기 주사거울에서 반사되어 집속되는 적외선을 검출하여 프레임을 생성하는 이미지 센서;를 포함하고, 상기 주사거울은 그 각도가 제1주사각도 및 상기 제1주사각도와 다른 제2주사각도로 교대로 변경되도록 회전하고, 상기 이미지 센서는 상기 주사거울의 각도가 제1 및 제2주사각도가 될 때, 프레임을 생성할 수 있다.
상기 메모리부는, 상기 주사거울이 제1주사각도일 때 상기 이미지 센서에서 획득된 프레임과 상기 주사거울이 제2주사각도일 때 상기 이미지 센서에서 획득된 프레임을 저장할 수 있다.
상기 촬영부의 프레임 생성 갱신율과 상기 병합부에서 프레임을 병합하여 병합 프레임을 생성하는 갱신율이 동일할 수 있다.
본 발명의 실시예들에 의하면, 프레임들을 병합하여 새로운 병합 프레임을 생성하는 갱신율을 향상시킬 수 있다. 즉, 고 해상도의 병합 프레임을 생성하면서도, 소정 시간 내에 종래에 비해 많은 개수의 병합 프레임을 생성할 수 있다.
따라서, 실시간으로 생성되는 병합 프레임을 이용하여 관심영역을 관측하는 경우, 종래에 비해 짧은 주기로 새로운 병합 프레임을 확인하여 관심영역을 관측할 수 있다. 이에 따라, 관심영역을 관측하는데 있어서, 종래에 비해 빠른 대응이 가능하다.
도 1은 본 발명의 실시예에 따른 촬영장치를 개념적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 주사거울의 각도(주사각도)를 설명하기 위해, 제1 및 제2연장선과 기준선을 나타낸 도면이다.
도 3은 본 발명의 실시예에 따른 주사거울의 회전 이동 및 회전 이동에 따른 주사각도를 나타낸 도면이다.
도 4는 본 발명의 실시예에 따른 촬영부를 이용하여 획득한 복수의 프레임의 예시이다.
도 5는 본 발명의 실시예에 따른 촬영부를 이용하여 획득된 제1프레임의 구성을 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에 따른 병합부에서 프레임을 병합하는 방법을 설명하기 개념도이다.
도 7의 (a)는 병합시킬 제1프레임과 제2프레임을 개념적으로 나타낸 도면이다.
도 7의 (b)는 본 발명의 실시예에 따른 병합부에서 제1프레임과 제2프레임을 병합하는 방법을 구체적으로 설명하기 위한 개념도이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 더욱 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 본 발명의 실시예를 설명하기 위하여 도면은 과장될 수 있고, 도면상의 동일한 부호는 동일한 구성요소를 지칭한다.
본 발명은 시간 경과에 따라 연속으로 촬영되어 획득되는 이미지인 프레임들을 병합하여 새로운 병합 프레임을 생성하는 갱신율을 향상시킬 수 있는 병합 프레임의 생성 방법 및 촬영장치에 관한 것이다.
실시예에 따른 촬영장치는 관측 또는 감시를 위해 사용되는 것일 수 있다. 예를 들어, 촬영장치는 군사용 전차에 장착되는 조준경에 구비되는 것일 수 있다. 촬영장치가 조준경에 구비되는 경우, 상기 촬영장치는 관심영역의 위치를 관측 또는 파악하여 사격 위치를 조준하기 위한 용도로 사용될 수 있다.
또한, 촬영장치는 관측 또는 감시를 위한 장치(이하, 관측장치)에 구비되게 마련될 수 있다. 그리고 상기 관측장치는 군사용 함선에 설치되거나, 비무장지대(DMZ; Demilitarized zone), 지뢰가 설치된 지역에 설치될 수 있다.
물론, 촬영장치는 상술한 예에 한정되지 않고, 프레임(이미지) 또는 영상을 활용하는 다양한 장치에 설치될 수 있다.
도 1은 본 발명의 실시예에 따른 촬영장치를 개념적으로 도시한 도면이다.
이하, 도 1을 참조하여 본 발명의 실시예에 따른 촬영장치에 대해 설명한다. 이때, 실시예에 따른 촬영장치를 이용하여 영상 또는 이미지를 획득하고자 하는 영역, 위치, 지역 또는 구역을 '관심영역'으로 명명한다. 관심영역은 예를 들어 지상 또는 바다(해상) 상에서의 일 위치, 지역 또는 구역일 수 있다. 물론, 관심영역은 상술한 예에 한정되지 않으며 프레임(이미지) 또는 영상의 획득이 필요한 다양한 영역, 위치 또는 구역으로 변경될 수 있다.
그리고, 촬영장치는 관심영역을 촬영할 수 있는데, 촬영장치에서 촬영하는 영역을 '촬영영역'으로 명명한다. 즉, 관심영역 중에서 촬영장치가 촬영하는 영역을 '촬영영역'으로 명명한다.
도 1을 참조하면, 촬영장치는 실시간으로 연속으로 촬영을 실시하여 복수의 이미지(또는 복수의 프레임(frame))을 포함하는 영상을 촬영하는 촬영부(100), 촬영부(100)로부터 전달된 복수의 이미지를 순차적으로 병합하여 병합된 이미지(또는 병합 프레임)을 생성하는 처리부(200) 및 처리부(200)에서 생성된 병합 이미지를 화면으로 출력하는 출력부(300)를 포함할 수 있다.
촬영부(100)는 관심영역을 시간 경과에 따라 연속으로 촬영하는 수단이다. 이에 촬영부(100)에서 촬영되는 촬영 결과물은 영상(video)일 수 있다. 다시 말해, 촬영부(100)는 시간 경과에 따라 실시간으로 이미지를 촬영하여, 실시간으로 촬영된 이미지를 포함하는 영상을 생성하는 수단일 수 있다. 여기서 영상을 이루는 이미지(또는 화상)는 '프레임(frame)'으로 명명될 수 있다. 즉, 프레임(frame)은 영상에서 한 순간의 완전한 화상(또는 이미지)이다.
이하에서는 촬영부(100)에서 실시간으로 촬영되는 이미지를 '프레임'으로 명명하여 설명한다. 따라서, '이미지 처리 방법'은 '프레임 처리 방법'으로 명명될 수 있다.
촬영부(100)는 1초 동안 60개의 프레임(이미지)을 생성 또는 출력하는 수단일 수 있다. 이러한 촬영부(100)는, 프레임을 생성하는 생성 갱신율이 '60Hz'인 것으로 설명될 수 있다.
또한, 촬영부(100)는 640×480 해상도의 프레임을 획득하는 수단일 수 있다. 해상도는 프레임을 구성하는 픽셀의 개수에 따라 결정될 수 있는데, 해상도가 '640×480'라는 것은, 열(column) 방향의 픽셀의 개수가 640개, 행(row) 방향의 픽셀의 개수가 480개 라는 의미일 수 있다. 이에, '640×480'의 해상도를 가지는 프레임은, 열(column) 방향으로 픽셀이 640개, 행(row) 방향으로 픽셀이 480개 나열된 프레임을 의미할 수 있다.
이러한 촬영부(100)는 도 1에 도시된 바와 같이, 관심영역으로부터 방사되는 적외선을 통과시키는 광학계(110) 및 광학계(110)를 통과하여 집속되는 적외선을 검출하여 영상을 생성하는 이미지 센서(120)를 포함할 수 있다.
광학계(110)는 관심영역의 피사체 및 배경으로부터 방출되는 적외선을 이미지 센서(120)의 초점 면에 결상시키는 수단이다. 이러한 광학계(110)는 도 1에 도시된 바와 같이, 일 축(R)을 중심으로 회전 가능하며, 관심영역으로부터 복사되는 적외선 신호를 이미지 센서(120)로 주사할 수 있는 주사거울(111), 촬영부(100)가 바라보고 있는 시선 방향쪽으로 주사거울(111)의 전방에 위치된 대물렌즈(112), 주사거울(111)과 이미지 센서(120) 사이에 위치된 결상렌즈(113) 및 주사거울(111)을 회전시키는 구동기(114)를 포함할 수 있다.
또한, 도시되지는 않았지만 광학계(110)는 대물렌즈(112)와 결상렌즈(113) 사이에서, 상기 대물렌즈(112)쪽에서 결상렌즈(113) 쪽으로 순차적으로 배치된 제1미러, 연결렌즈, 제2미러를 더 포함할 수 있다. 그리고, 대물렌즈(112), 연결렌즈 및 결상렌즈(113)는 복수의 렌즈를 포함하도록 구성될 수 있고, 복수의 렌즈는 구면렌즈 및 비구면 렌즈 중 적어도 하나를 포함할 수 있다.
이미지 센서(120)는 촬영 영역의 위치 별 온도에 따라 방사되는 적외선을 수신하여 프레임을 생성한다. 이미지 센서(120)는 광학계(110) 즉, 주사거울(111) 및 결상렌즈(113)의 후방에 위치될 수 있다. 그리고, 이미지 센서(120)는 입사되는 적외선에 의한 전하를 발생시키고, 이 전하를 축적시켜 영상 또는 프레임 생성을 위한 신호를 생성하는 전하결합소자를 포함하는 수단일 수 있다. 이때, 이미지 센서(120)에서 생성하는 신호는 입사된 적외선량에 의한 전하량 및 그에 따른 온도 데이터를 포함하는 신호일 수 있다. 보다 구체적으로 이미지 센서(120)에서 생성하는 신호는 축적된 전하량 및 그에 따른 온도 데이터를 포함하는 신호일 수 있다. 상술한 바와 같은 이미지 센서(120)는 복수의 셀 및 복수의 셀 각각에 설치된 캐패시터를 포함하는 수단일 수 있다.
이미지 센서(120)에서 발생되는 전하의 양은, 이미지 센서(120)로 입사되는 적외선의 양(즉, 광량), 적외선의 파장, 적외선의 세기(intensity)에 따라 달라질 수 있다. 예컨대, 입사되는 적외선의 양의 크거나, 적외선의 세기가 클수록 발생되는 전하의 양이 증가할 수 있다.
이미지 센서(120)는 발생된 전하를 축적시키거나, 축적시키지 않도록 동작될 수 있다. 즉, 이미지 센서(120)로 적외선이 입사되어 전하가 발생될 때, 이 전하를 축적시킬 수도 있고, 축적시키지 않을 수도 있다. 이렇게 발생된 전하를 축적시키는 것을 적분이라고 하므로, 이미지 센서(120)는 적분을 실시하거나, 적분을 실시하지 않도록 동작되는 것으로 설명될 수 있다
이미지 센서(120)는 상술한 바와 같은 방법으로 전하를 발생시켜 축적하며, 축적된 전하량에 따른 신호(이하, 검출신호)를 생성한다. 그리고, 이미지 센서(120)는 이 검출신호를 이용하여 프레임을 생성한다. 그리고 이미지 센서(120)에서 생성된 프레임은 처리부(200)로 전송된다.
주사거울(111)은 대물렌즈(112)와 이미지 센서(120) 사이에 위치되어, 관심영역으로부터 방사된 적외선을 수광하고, 수광된 적외선을 이미지 센서(120)로 반사시킨다. 주사거울(111)은 소정의 면적을 가지는 일측면 및 상기 일측면의 반대면인 타측면을 포함하는 플레이트(plate) 형상일 수 있다.
주사거울(111)은 구동기(114)에 연결되며, 구동기(114)의 동작에 의해 회전한다. 구동기(114)는 예를 들어 전후진 할 수 있는 구동체 및 구동체에 전후진 구동력을 전달할 수 있는 포함할 수 있다. 여기서 구동체는 그 일단이 주사거울(111)에 연결될 수 있고, 타단은 모터에 연결될 수 있다. 물론, 구동기(114)는 상술한 예에 한정되지 않고, 주사거울(111)을 회전시킬 수 있는 다양한 수단의 적용이 가능하다.
주사거울(111)은 구동기(114)에 의해 그 길이방향(X축 방향)의 중심을 축(R)으로 하여 회전한다(도 1 참조). 즉, 주사거울(111)은 그 길이방향(X축 방향)의 양 끝단인 일단 및 타단의 위치 또는 높이가 바뀌도록 회전한다. 이에, 주사거울(111)이 대물렌즈(112)와 이루는 각도가 변한다. 이에 따라 촬영부(100)의 시선이 향한 관심영역 중, 주사거울(111)의 일측면과 마주보는 전방의 영역(이하, 전방영역)이 변경된다. 그리고, 촬영부(100)는 주사거울(111)로 입사된 적외선을 이용하여 영상을 생성하므로, 회전에 의해 주사거울(111) 전방영역이 변경되면, 촬영부(100)에 의해 촬영되는 또는 획득되는 프레임의 위치가 변한다. 즉, 촬영영역 내에서 촬영부(100)에서 획득되는 프레임의 위치가 변한다.
이때, 주사거울(111)이 회전하는 각도는 프레임을 구성하는 픽셀(pixel)의 1/2 크기 만큼 이동하여 회전한다. 보다 구체적으로 픽셀(pixel)의 세로 길이는 ㎛ 단위로서, 상기 세로 길이의 1/2 크기 만큼 이동하여 회전한다. 예를 들어 픽셀(pixel)의 세로 길이가 16㎛라고 할 때, 주사거울(111)은 8㎛ 이동하도록 미세하게 회전할 수 있다. 또한, 주사거울(111)이 회전함에 따라 전방영역의 위치가 변경되는데, 이때 상술한 바와 같이 주사거울이 ㎛ 단위로 미세하게 움직여 회전하므로 전방영역의 위치 변경은 아주 미세할 수 있다.
주사거울(111)의 회전 및 전방영역 위치에 대한 설명은 이후에서 다시 하기로 한다.
도 2는 본 발명의 실시예에 따른 주사거울의 각도(주사각도)를 설명하기 위해, 제1 및 제2연장선과 기준선을 나타낸 도면이다. 도 3은 본 발명의 실시예에 따른 주사거울의 회전 이동 및 회전 이동에 따른 주사각도를 나타낸 도면이다.
이하, 도 2 및 도 3을 참조하여 주사거울의 회전 및 주사거울의 각도에 대해 설명한다. 이를 위해, 먼저 도 2와 같이 주사거울(111)과 마주보는 대물렌즈(112)의 면을 수평 방향으로 연장한 선을 제1연장선(L1), 상기 제1연장선(L1)과 수직을 이루는 선을 기준선(Ls), 주사거울(111)의 길이방향(X축 방향) 양 끝단을 연결한 선을 제2연장선(L2)이라 명명한다.
주사거울(111)이 회전하면, 주사거울(111)의 각도가 변한다. 즉, 주사거울(111)의 제2연장선(L2)과 기준선(Ls)이 이루는 각도가 변한다. 이때, 주사거울(111)은 기준선(Ls)과 이루는 각도가 서로 다른 2개의 각도가 되도록 회전할 수 있다. 도 3을 참조하여 설명하면, 주사거울(111)은 제2연장선(L2)과 기준선(Ls)이 이루는 각도가 제1각도(제1주사각도(θ1)) 및 제1주사각도(θ1)에 비해 큰 제2각도(제2주사각도(θ2))가 되도록 회전할 수 있다. 즉, 주사거울(111)은 그 각도가 제1 및 제2주사각도(θ1, θ2)가 될 때 그 회전 이동을 일시 중지하며, 제1 및 제2주사각도(θ1, θ2) 외의 다른 각도에서는 회전 이동을 중지하지 않는다. 이를 다른 말로 설명하면, 촬영부(100)는 주사거울(111)의 각도(즉, 주사각도)가 제1 및 제2주사각도(θ1, θ2)일 때에 촬영하여 프레임을 획득하고, 제1 및 제2주사각도(θ1, θ2) 외에 다른 각도에서는 촬영을 실시하지 않는다.
그리고, 주사거울(111)은 그 각도가 제1주사각도(θ1), 제2주사각도(θ2)로 교대로 변경되도록 복수번 회전한다. 예컨대, 촬영부(100)의 프레임 생성 갱신율이 60Hz 라고 할 때, 주사거울은 1초 동안 제1주사각도(θ1)로 30회, 제2주사각도(θ2)로 30회가 되도록 회전 동작할 수 있다.
주사거울(111)이 그 각도가 제1주사각도(θ1), 제2주사각도(θ2)가 되도록 회전하는데 있어서, 주사거울(111)의 이동 거리(D)는 프레임을 구성하는 픽셀(pixel)의 1/2일 수 있다. 구체적인 예를 들어 설명하면, 픽셀은 정사각형 형상일 수 있고, 그 길이(세로 길이 또는 가로 길이)가 16㎛일 수 있다. 이때 주사거울(111)이 제1주사각도(θ1)에서 제2주사각도(θ2)로 회전할 때의 이동 거리(D) 및 다시 제2주사각도(θ2)에서 제1주사각도(θ1)로 회전할 때의 이동 거리(D)는 8㎛일 수 있다. 즉, 주사거울(111)이 제1주사각도(θ1)에서 제2주사각도(θ2)로 회전을 위해 상기 주사거울(111)의 일단 및 타단의 위치가 변경될 때, 상기 주사거울(111)의 일단 및 타단의 이동 거리가 픽셀(pixel) 길이의 1/2인 8㎛일 수 있다.
이렇게 주사거울(111)이 제1 및 제2주사각도(θ1 ,θ2)로 교대로 변경되게 복수번 회전하고, 픽셀 길이의 1/2 만큼 미세하게 이동하도록 회전하므로, 이러한 주사거울(111)의 회전 동작은 주사거울이 진동하는 것으로 설명될 수 있다.
또한, 상술한 바와 같이 주사거울(111)은 픽셀 길이의 1/2 만큼 미세하게 이동하도록 회전할 수 있다. 이에 따라 주사거울(111)이 제1주사각도(θ1)일 때 촬영되는 제1촬영영역(AR1)과 제2주사각도(θ2)일 때 촬영되는 제2촬영영역(AR2)은 그 위치 차이가 아주 작다. 그리고 제1촬영영역(AR1)과 제2촬영영역(AR2)은 도 3과 같이 일부 영역이 겹칠 수 있다.
도 3에서는 주사거울(111)의 회전, 이에 따른 제1 및 제2주사각도(θ1, θ2)를 설명하기 위하여, 제1주사각도(θ1)와 제2주사각도(θ2)의 차이를 크게 과장하여 도시되었다. 하지만, 제1주사각도(θ1)와 제2주사각도(θ1)는 아주 미세한 각도의 차이일 수 있다. 이에 따라 제1촬영영역(AR1)과 제2촬영영역(AR2)은 대부분의 영역이 겹쳐질 수 있다.
물론, 이에 한정되지 않고, 촬영조건에 따라 제1주사각도(θ1)와 제2주사각도(θ2)의 차이는 다양하게 변경될 수 있다.
도 4는 본 발명의 실시예에 따른 촬영부를 이용하여 획득한 복수의 프레임의 예시이다. 도 5는 본 발명의 실시예에 따른 촬영부를 이용하여 획득된 제1프레임의 구성을 설명하기 위한 개념도이다.
이하, 도 3 및 도 4를 참조하여 본 발명의 실시예에 따른 촬영부(100)에서 획득되는 복수의 프레임에 대해 설명한다. 이때, 촬영부(100)는 프레임 생성 갱신율이 60Hz인 것을 예를 들어 설명한다. 즉, 촬영부에서 1초 동안 시간 경과에 따라 제1 내지 제60프레임을 생성하는 경우를 예를 들어 설명한다.
촬영부(100)는 프레임 생성 갱신율이 60Hz인 장치로서, 1초 내에 60 개의 프레임을 생성하여 출력하는 장치일 수 있다. 보다 구체적으로 설명하면, 촬영부(100)는 주사거울(111)이 제1주사각도(θ1) 및 제2주사각도(θ2) 일때 촬영을 실시하여 프레임(F)을 생성한다. 이때 주사거울(111)은 그 각도가 제1주사각도(θ1) 및 제2주사각도(θ2)로 교대로 변경되도록 복수번 회전한다. 그리고 주사거울(111)이 그 각도가 제1 및 제2주사각도(θ1, θ2)로 교대로 변경되는데 있어서, 1초 동안에 제1주사각도(θ1)로 있는 상태가 30회, 제2주사각도(θ2)로 있는 상태가 30회가 되도록 한다.
상술한 바와 같이 촬영부(100)는 주사거울(111)이 제1주사각도(θ1)일 때 제1촬영영역(AR1)을 촬영하고, 제2주사각도(θ2)일 때 제2촬영영역(AR2)을 촬영한다. 이에 제1 및 제2촬영영역(AR1, AR2) 각각을 촬영한 프레임(F: F1, F2, … , FA-1, FA)이 획득된다. 이때, 촬영부(100)가 1초 동안 생성하는 총 프레임의 개수를 'A'라고 할 때, 시간 경과에 따라 순차적으로 획득되는 프레임(F)은 '제1프레임(F1), 제2프레임(F2), …, 제A-1프레임(FA-1), 제A프레임(FA)'으로 명명될 수 있다. 이때, 제1프레임(F1)이 1초 동안에 가장 먼저 또는 최초로 생성되는 프레임이며 제A프레임(FA)이 1초 동안에 가장 마지막에 생성되는 프레임이다. 그리고 촬영부(100)에서 1초 동안 생성되는 프레임의 개수는 짝수로 설정될 수 있다. 예를 들어 설명하면, 촬영부(100)의 프레임 생성 갱신율이 60Hz라고 할 때, 촬영부(100)가 1초 동안 생성하는 총 프레임의 개수(A)는 60개이다. 이러한 경우, 촬영부는 1초 동안 순차적으로 '제1프레임(F1), 제2프레임(F2), …, 제59프레임(F59), 제60프레임(F60)'을 생성하는 것으로 설명될 수 있다. 이처럼, 촬영부(100)가 1초 동안 생성하는 총 프레임의 개수(A)는 60개라고 할 때, 제59프레임(F59)은 제A-1프레임(FA-1), 제60프레임(F60)은 제A프레임(FA)으로 표현될 수 있다.
이하에서는 촬영부(100)의 프레임 생성 갱신율이 60Hz인 경우를 예를 들어 설명한다. 즉, 촬영부(100)는 60초 동안 60개의 프레임(F: F1, F2, … , F59, F60)를 생성한다.
촬영부(100)가 최초로 촬영을 실시하는 각도가 제1주사각도(θ1)라고 할 때, 제1 내지 제60프레임(F1 내지 F60) 중, 홀수번째 프레임 즉, '제1프레임(F1), 제3프레임(F3), 제5프레임(F5), …, 제57프레임(F57), 제59프레임(F59)'은 제1주사각도(θ1)에서 촬영된 프레임일 수 있다. 또한, 제1 내지 제60프레임(F1 내지 F60) 중, 짝수번째 프레임 즉, '제2프레임(F2), 제4프레임(F4), 제6프레임(F6), …, 제58프레임(F58), 제60프레임(F60)'은 제2주사각도(θ2)에서 촬영된 프레임일 수 있다.
도 4를 참조하면 복수의 프레임(F1 내지 F60) 각각은 복수의 픽셀(P)을 포함한다. 이때 복수의 프레임(F1 내지 F60) 각각은 열(column) 방향으로 복수의 픽셀(P)이 나열되고, 행(row) 방향으로 복수의 픽셀(P)이 나열되어 구성될 수 있다. 예를 들어 촬영부(100)에서 640×480 해상도의 프레임을 획득한다고 할 때, 복수의 프레임(F1 내지 F60) 각각은 열(column) 방향으로 640개의 픽셀(P)이 나열되고, 행(row) 방향으로 480개의 픽셀(P)이 나열되어 구성될 수 있다.
일 예로, 도 5를 참조하여 제1프레임(F1)의 각 픽셀(P)에 대해 보다 구체적으로 설명한다.
제1프레임(F1)은 상술한 바와 같이 640×480 해상도를 가진다. 이에 제1프레임(F1)은 열(C) 방향으로 640개의 픽셀(P)이 나열되고, 행(R) 방향으로 480개의 픽셀(P)이 나열되어 구성된다.
이때, 픽셀(P)이 나열된 복수의 열(C) 및 복수의 행(R)에 아래와 같이 명명될 수 있다. 즉, 픽셀(P)이 행 방향으로 480개가 나열되므로, 480개의 행에 대해 순차적으로 제1행(R1), 제2행(R2), … , 제479행(R479), 제480행(R480)'으로 명명될 수 있다. 또한, 픽셀(P)이 열 방향으로 640개가 나열되므로, 640개의 열에 대해 순차적으로 제1열(C1), 제2열(C2), … , 제639열(C639), 제640열(C640)'으로 명명될 수 있다.
따라서, 제1프레임(F1) 중 제1행(R1), 제1열(C1)에 배치된 픽셀(P)은 도 5와 같이 'PF1, R1, C1'로 표기될 수 있다. 다른 예로, 제1프레임(F1) 중 제1행(R1), 제3열(C3)에 배치된 픽셀(P)은 'PF1, R1, C3'로 표기될 수 있다. 또 다른 예로, 제1프레임(F1) 중 제1행(R1), 제640열(C640)에 배치된 픽셀(P)은 'PF1, R1, C640'로 표기될 수 있다.
그리고 도 5에 도시되지는 않았지만, 제2 내지 제60프레임(F2 내지 F60) 각각의 픽셀(P)들에 있어서, 앞에서 설명한 제1프레임(F1)과 동일한 방법으로 명명될 수 있다.
도 6은 본 발명의 실시예에 따른 병합부에서 프레임을 병합하는 방법을 설명하기 개념도이다.
처리부(200)는 촬영부(100)에서 생성된 복수의 프레임을 병합하여 병합 프레임을 실시간으로 생성한다. 이러한 처리부(200)는 도 1에 도시된 바와 같이 촬영부(100)에서 실시간으로 획득된 복수의 프레임(F)들을 저장하는 메모리부(210) 및 현 시점(Tp)에 촬영부(100)에서 획득한 프레임(Fp)과 이전 시점(Tp-1)에 촬영부(100)에서 획득되어 메모리부(210)에 저장된 이전 시점(Tp-1)의 프레임(Fp-1)을 병합하는 병합부(220)를 포함할 수 있다.
촬영부(100)는 실시간으로 촬영을 실시하여 복수의 프레임(F)을 획득한다. 즉, 촬영부(100)가 프레임 생성 갱신율이 60Hz인 장치라고 할 때, 1초 동안 제1 내지 제60프레임(F1 내지 F60)을 순차적으로 생성하여 출력한다. 이때 촬영부(100)는 1초 동안 주사거울(111)의 각도(즉, 주사각도)를 제1주사각도(θ1)와 제2주사각도(θ2)로 교대로 변경시키면서 촬영을 실시한다. 따라서, 도 6에 도시된 바와 같이 촬영부(100)에서는 1초 동안 순차적으로 제1 내지 제60프레임(F1 내지 F60)을 생성한다. 이때, 촬영부(100)는 1초 동안 촬영하고 그 촬영을 중지되는 것이 아니라, 1초 동안 60개의 프레임(F1 내지 F60)을 생성하는 촬영을 연속하여 반복하여 실시한다. 즉, 1초 동안 60개의 프레임(F1 내지 F60)을 생성하는 촬영을 '1 주기의 촬영'이라고 할 때, 1 주기의 촬영을 연속하여 실시한다.
그리고, 촬영부(100)에서 생성 또는 획득된 프레임은 실시간으로 메모리부(210)에 저장된다. 즉, 촬영부(100)에서 생성되는 제1 내지 제60프레임(F1 내지 F60)이 실시간으로 메모리부(210)에 저장된다. 또한, 촬영부(100)에서 실시간으로 획득되는 프레임은 메모리부(210) 뿐만 아니라, 후술되는 병합부(220)로도 전달된다. 다시 말해, 촬영부(100)에서 획득되는 제1 내지 제60프레임(F1 내지 F60)은 메모리부(210) 및 병합부(220) 각각으로 전달된다.
병합부(220)는 촬영부(100)에서 실시간으로 획득되는 프레임과 메모리부(210)에 저장된 프레임을 병합하여 새로운 프레임 즉, 병합 프레임을 생성한다. 이때, 병합부(220)는 현 시점(Tp)에 촬영부(100)에서 획득된 현 시점(Tp)의 프레임(Fp)과 현 시점(Tp)의 이전 시점(Tp-1)에서 촬영부(100)에서 획득되어 메모리부(210)에 저장되어 있는 이전 시점(Tp-1)의 프레임(Fp-1)을 병합한다. 즉, 병합부(220)는 촬영부(100)로부터 전달된 현 시점의 프레임(Fp)을 전달받고, 메모리부(210)에 저장되어 있는 이전 시점 프레임(Fp-1)을 불러들이며, 상기 현 시점의 프레임(Fp)과 이전 시점 프레임(Fp-1)을 병합한다. 또한, 병합부(220)에서 이전 시점 프레임(Fp-1)과 현 시점의 프레임(Fp)의 프레임을 병합하는데 있어서, 이전 시점 프레임(Fp-1) 및 현 시점의 프레임(Fp) 중 어느 하나는 제1주사각도(θ1)에서 촬영된 프레임이고, 다른 하나는 제2주사각도(θ2)에서 촬영된 프레임이다. 이를 다른 말로 설명하면,병합부(220)는 제1주사각도(θ1)에서 촬영된 하나의 프레임과 제2주사각도(θ2)에서 촬영된 하나의 프레임을 병합하는데, 제1 및 제2주사각도(θ1, θ2)의 프레임 중 하나는 이전 시점 프레임(Fp-1)이고, 다른 하나는 현 시점의 프레임(Fp)이다.
구체적인 예를 들어 설명하면, 촬영부(100)에서 현 시점(Tp)에 제3프레임(F3)을 생성한다고 할 때, 상기 제3프레임(F3)은 메모리부(210) 및 병합부(220) 각각으로 전달된다. 그리고 병합부(220)는 현 시점(Tp)의 이전 시점(Tp-1)에 촬영되어 메모리부(210)에 저장되어 있는 이전 시점의 프레임(Fp-1)을 불러들인다. 즉, 제2프레임(F2)을 불러들인다. 그리고 병합부(220)는 이전 시점의 프레임(Fp-1)인 제2프레임(F2)과 현 시점(Tp)에서 촬영부(100)에서 전달된 현 시점의 프레임(Fp)인 제3프레임(F3)을 병합시킨다.
다른 예로, 현 시점(Tp)에서 제4프레임(F4)이 생성되는 경우를 설명하면 아래와 같다. 현 시점(Tp)에서 제4프레임(F4)이 생성되면, 제4프레임(F4)은 메모리부(210) 및 병합부(220) 각각으로 전달된다. 그리고 병합부(220)는 현 시점(Tp)의 이전 시점(Tp-1)에 촬영되어 메모리부(210)에 저장되어 있는 제3프레임(F3)을 불러들인다. 그리고 병합부(220)는 이전 시점(Tp-1)의 프레임인 제3프레임(F3)과 현 시점(Tp)에서 촬영부(100)에서 전달된 현 시점(Tp-1)의 프레임인 제4프레임(F4)을 병합시킨다.
병합부(220)에서 병합하는 프레임을 시간 경과에 따라 순차적으로 나열하면, '이전 주기에서의 제60프레임(F60)과 현 주기의 제1프레임(F1)', '제1프레임(F1)과 제2프레임(F2)', '제2프레임(F2)과 제3프레임(F3)', '제3프레임(F3)과 제4프레임(F4)', …, '제58프레임(F58)과 제59프레임(F59)', '제59프레임(F59)과 제60프레임(F60)' 순으로 병합된다. 다른 말로 설명하면, 시간 경과에 따라 생성되는 복수의 프레임들에 각각은, 두 번씩 병합에 활용된다.
따라서, 병합부(220)에서는 1초 동안 또는 1 주기 동안 60개의 병합 프레임이 생성된다. 즉, '이전 주기에서의 제60프레임(F60)과 현 주기의 제1프레임(F1)을 병합한 제1병합 프레임', '제1프레임(F1)과 제2프레임(F2)을 병합한 제2병합 프레임', '제2프레임(F2)과 제3프레임(F3)을 병합한 제3병합 프레임(F3)', '제3프레임(F3)과 제4프레임(F4)을 병합한 제4병합 프레임', '제58프레임(F58)과 제59프레임(F59)을 병합한 제59병합 프레임', '제59프레임(F59)과 제60프레임(F60)을 병합한 제60병합 프레임'이 생성된다. 그리고 현 주기에서 생성된 제60프레임(F60)은 다음 주기에서 병합에 다시 한번 더 활용된다. 이에 따라, 병합부(220)에서 1초 동안 병합 프레임을 생성하는 갱신율이 60Hz가 된다. 다른 말로 설명하면, 병합부(220)에서는 시간 경과에 따라 새로운 병합 프레임을 생성하여 갱신하는데, 1초 동안 병합 프레임의 갱신율이 60Hz이다.
이와 같은 병합부(220)는, 상술한 바와 같은 방법으로 프레임을 병합하기 이한 로직(logic)을 실시할 수 있는 수단을 포함하도록 마련될 수 있다. 예를 들어 병합부(220)는 상술한 바와 같이 프레임을 병합시킬 수 있는 로직 구현 칩 예컨대 FPGA(Field programmable gate array)를 포함하는 수단일 수 있다.
한편, 종래에는 촬영부(100)에서 제1 및 제2주사각도(θ1, θ2)에서 교대로 촬영되는 프레임 중 제1주사각도(θ1) 또는 제2주사각도(θ2)에서 촬영된 프레임만을 메모리부(210)에 저장하였다. 예를 들어 설명하면, 촬영부(100)의 주사거울(111)이 제1주사각도(θ1)에 있을 때 촬영한 '제1프레임(F1), 제3프레임(F3),…, 제59프레임(F59)'을 메모리부(210)에 저장하고, 제2주사각도(θ2)에 있을 때 촬영한 '제2프레임(F2), 제4프레임(F4),…, 제60프레임(F60)'을 메모리부(210)에 저장하지 않고, 병합부(220)로 바로 전달하였다.
그리고, 병합부(220)는 메모리부(210)에 저장된 프레임과 촬영부(100)에서 획득한 현 시점의 프레임(Fp)을 병합한다. 이때, 병합부(220)는 현 시점(Tp)의 프레임(Fp)과 메모리부(210)에 저장된 이전 시점(Tp-1)의 프레임(Fp)을 병합한다.
그런데, 메모리부(210)에는 제1주사각도(θ1)에 있을 때 촬영한 '제1프레임(F1), 제3프레임(F3),…, 제59프레임(F59)'만이 저장되고, 제2주사각도(θ2)에 있을 때 촬영한 '제2프레임(F2), 제4프레임(F4),…, 제60프레임(F60)'은 메모리부(210)에 저장되지 않는다. 즉, 메모리부(210)에는 현 시점(Tp-1) 이전에 획득한 프레임이 연속하여 저장되지 않고, 간헐적으로 저장된다.
따라서, 종래에는 현 시점(Tp)에 프레임(Fp)이 생성되었을 때, 이전 시점(Tp-1)의 프레임(Fp-1)이 메모리부(210) 없는 시점이 발생한다. 예를 들어, 제1주사각도(θ1)에 있을 때 촬영한 '제1프레임(F1), 제3프레임(F3),…, 제59프레임(F59)'만이 저장되는 경우, 촬영부(100)에서 현 시점(Tp)에 제3프레임(F3)이 생성되었을 때, 이전 시점(Tp-1)의 제2프레임(F2)은 메모리부(210)에 저장되지 않았으므로, 제3프레임(F3)과 제2프레임(F2)을 병합할 수 없다. 그리고 촬영부(100)에서 현 시점(Tp)에 제4프레임(F4)이 생성되었을 때, 메모리부(210)에 저장되어 있는 제3프레임(F3)과 현 시점(Tp)의 프레임(Fp)인 제4프레임(F4)을 병합할 수 있다. 이에, 종래에는 시간 경과에 따라 프레임의 병합을 실시하지 않는 시간 간격 즉, 공백 시간이 길다.
종래에 병합부(220)에서 병합하는 프레임을 시간 경과에 따라 순차적으로 나열하면, '제1프레임(F1)과 제2프레임(F2)', '제3프레임(F3)과 제4프레임(F4)', …, '제57프레임(F57)과 제58프레임(F58)', '제59프레임(F59)과 제60프레임(F60)' 순으로 병합된다. 다른 말로 설명하면, 시간 경과에 따라 생성되는 복수의 프레임들에 각각은, 한 번씩 병합에 활용된다. 따라서, 종래에는 입력 프레임 갱신율 대비 병합된 프레임 갱신율이 반으로 줄어든다.
따라서, 종래에는 1초 동안 또는 1 주기 동안 30개의 병합 프레임이 생성된다. 즉, '제1프레임(F1)과 제2프레임(F2)을 병합한 제1병합 프레임', '제3프레임(F3)과 제4프레임(F4)을 병합한 제2병합 프레임', '제5프레임(F5)과 제6프레임(F6)을 병합한 제3병합 프레임', '제57프레임(F57)과 제58프레임(F58)을 병합한 제29병합 프레임', '제59프레임(F59)과 제60프레임(F60)을 병합한 제30병합 프레임'이 생성된다. 즉, 병합부(220)에서 1초 동안 병합 프레임을 생성하는 갱신율이 30Hz가 된다. 다른 말로 설명하면, 병합부(220)에서는 시간 경과에 따라 새로운 병합 프레임을 생성하여 갱신하는데, 1초 동안 병합 프레임의 갱신율이 30Hz이다.
반면, 실시예에서는 제1 및 제2주사각도(θ1 ,θ2) 각각에서 획득한 프레임을 모두 메모리부(210)에 저장한다. 그리고, 병합부(220)는 매 현 시점(Tp)마다, 현 시점(Tp)에 촬영부(100)에서 획득된 현 시점(Tp)의 프레임(Fp)과 현 시점(Tp)의 이전 시점(Tp-1)에서 촬영부(100)에서 획득되어 메모리부(210)에 저장되어 있던 이전 시점(Tp-1) 프레임(Fp-1)을 병합한다. 즉, 매 현시점(Tp) 마다 그 이전 시점(Tp-1)에 획득한 프레임(Fp-1)이 메모리부(210)에 저장되어 있으므로, 매 현 시점(Tp) 마다 병합에 사용할 이전 시점(Tp-1)의 프레임(Fp-1)이 메모리부(210)에 존재한다. 따라서, 매 현 시점(Tp)마다 현 시점(Tp)에 획득한 프레임(Fp)과 이전 시점(Tp-1)에 획득한 프레임(Fp-1) 간을 병합할 수 있으므로, 종래에 비해 입력 프레임 갱신율과 동일한 병합 프레임 갱신율을 가진다.
이에, 촬영부(100)에서 프레임 생성 갱신율이 60Hz라고 할 때, 실시예에 따른 병합부(220)에서 병합 프레임을 생성하여 갱신하는 갱신율이 60Hz가 된다. 즉, 종래의 병합 프레임 갱신율인 30Hz인 경우에 비해 실시예의 경우 갱신율이 2배 향상된다.
도 7의 (a)는 병합시킬 제1프레임과 제2프레임을 개념적으로 나타낸 도면이다. 도 7의 (b)는 본 발명의 실시예에 따른 병합부에서 제1프레임과 제2프레임을 병합하는 방법을 구체적으로 설명하기 위한 개념도이다.
이하, 도 6 및 도 7을 참조하여, 본 발명의 실시예에 따른 병합부에서 프레임을 병합하여 병합 프레임을 생성하는 방법을 설명한다. 이때, 제1프레임과 제2프레임을 병합하는 경우를 예를 들어 설명한다.
도 7을 참조하면, 제1 및 제2프레임(F1, F2) 각각은 640×480 해상도를 가지는 프레임일 수 있다. 즉, 제1 및 제2프레임(F1, F2) 각각은 열 방향으로 나열된 픽셀의 개수가 640개, 행 방향으로 나열된 픽셀의 개수가 480개일 수 있다.
병합부(220)에서 제1프레임(F1)과 제2프레임(F1)을 병합하는데 있어서, 동일한 행에 배치된 픽셀(P)들끼리 병합한다. 즉, 제1프레임(F1)의 제1행(R1)에 배치된 픽셀들과 제2프레임(F2)의 제1행(R1)에 배치된 픽셀들끼리 병합하고, 제1프레임(F1)의 제2행(R2)에 배치된 픽셀들과 제2프레임(F2)의 제2행(R2)에 배치된 픽셀들끼리 병합한다.
그리고, 일 행에 있어서, 제1프레임(F1)의 열 방향 픽셀들 사이에 제2프레임(F2)의 열 방향 픽셀들을 하나씩 배치시키는 방법으로 병합한다.
도 7의 (b)를 참조하여 제1프레임(F1)의 제1행(R1)의 픽셀들과 제2프레임(F2)의 제1행(R1)의 픽셀들을 병합하는 방법을 설명하면 아래와 같다. 제1프레임(F1)의 제1행(R1)에서 열 방향으로 나열된 픽셀들(PF1, R1, C1, PF1, R1, C2, …, PF1, R1, C640) 사이에 제2프레임(F2)의 제1행(R1)에서 열 방향으로 나열된 픽셀들(PF2, R1, C1, PF2, R1, C2, …, PF2, R1, C640)을 배치시켜 병합한다. 즉, PF1, R1, C1 픽셀, PF2, R1, C1 픽셀, PF1, R1, C2 픽셀, PF2, R1, C2 픽셀, PF1, R1, C3 픽셀, PF2, R1, C3 픽셀, PF1, R1, C4 픽셀, PF2, R1, C4 픽셀, …, PF1, R1, C639 픽셀, PF2, R1, C639 픽셀, PF1, R1, C640 픽셀, PF2, R1, C640 픽셀을 순차적으로 배치시켜 병합한다.
그리고, 제1프레임(F1)의 제2행(R2) 내지 제480행(R480)의 픽셀들과 제2프레임(F1)의 제2행(R2) 내지 제480행(R480)의 픽셀들을 병합하는 경우에도 상술한 방법과 동일한 방법으로 실시된다.
이러한 방법으로 병합부(220)에서 제1프레임(F1)과 제2프레임(F2)이 병합되면, 제1병합 프레임이 생성된다.
이처럼, 병합부에서 프레임을 병합한다는 것은, 서로 다른 두 개의 프레임의 픽셀을 순차적으로 나열하여 연결한다는 의미일 수 있다. 이때, 앞에서 설명한 바와 같이 동일한 행의 프레임끼리 병합하며, 각 프레임의 픽셀들이 순차적으로 나열되도록 연결한다. 또는 합쳐진다.
예를 들어 설명하면, 제1프레임의 제1행의 제1 내지 제640열의 사이에 제2프레임의 제1행의 제1 내지 제640열들이 위치하도록 연결한다. 즉, 병합 프레임의 제1행은 제1프레임의 제1열 픽셀(PF1, R1, C1), 제2프레임의 제1열 픽셀(PF2, R1, C1), 제1프레임의 제2열 픽셀(PF1, R1, C2), 제2프레임의 제2열 픽셀(PF2, R1, C2), … , 제1프레임의 제539열 픽셀(PF1, R1, C539), 제2프레임의 제539열 픽셀(PF1, R1, C640), 제1프레임의 제640열 픽셀(PF1, R1, C640), 제2프레임의 제640열 픽셀(PF2, R1, C640) 순으로 나열되어 연결되도록 병합될 수 있다. 그리고 제2행 내지 제480행의 픽셀들도 동일한 방법으로 병합된다.
또한, 촬영부(100)에서는 시간 경과에 따라 실시간으로 프레임을 생성한다. 즉, 촬영부(100)는 1초 동안 제3 내지 제60프레임을 순차적으로 생성하며, 이는 메모리부(210)에 순차 저장되고, 또한 병합부(220)로 전달된다.
그리고 병합부(220)는 상술한 제1프레임(F1)과 제2프레임(F2)을 병합하는 방법과 동일한 방법으로 이후 생성되는 프레임들을 병합한다. 예를 들어, 촬영부(100)에서 1초 동안 60개의 프레임이 생성된다고 할 때, 병합부(220)는 1초 동안 제2프레임(F2)과 제3프레임(F3)', '제3프레임(F3)과 제4프레임(F4)', …, 제58프레임(F58)과 제59프레임(F59)', 제59프레임(F59)과 제60프레임(F60)'을 순차적으로 병합한다. 이에 1초 동안 제1 내지 제60병합 프레임이 생성된다. 즉, 병합부(220)는 60Hz의 갱신율로 병합 프레임을 갱신한다.
그리고, 병합부(220)에서 실시간으로 생성되는 병합 프레임은 실시간으로 출력부로 전달된다. 그리고 출력부(300)는 작업자가 확인할 수 있도록 생성된 병합 프레임을 실시간으로 모니터에 출력 즉, 표시한다. 이에, 출력부(300)는 60Hz의 갱신율로 병합 프레임을 출력할 수 있다.
상기에서는 촬영부(100)에서 프레임을 생성하는 생성 갱신율이 '60Hz'인 것을 예를 들어 설명하였다. 하지만 이에 한정되지 않고, 촬영부(100)의 프레임 갱신율은 60Hz를 초과할 수 있고 예를 들어 촬영부(100)의 프레임 갱신율은 240Hz일 수 있다.
이와 같이, 실시예에서는 제1 및 제2주사각도(θ1, θ2) 각각에서 획득한 프레임을 모두 메모리부(210)에 저장한다. 그리고 병합부(220)는 현 시점(Tp)에 촬영부(100)에서 획득된 현 시점(Tp)의 프레임(Fp)과 현 시점(Tp)의 이전 시점(Tp-1)에서 촬영부(100)에서 획득되어 메모리부(210)에 저장되어 있던 이전 시점(Tp-1)의 프레임(Fp-1)을 병합한다. 이처럼, 실시예에서는 매 현 시점(Tp)마다 현 시점(Tp)에 획득한 프레임(Fp)과 이전 시점(Tp-1)에 획득한 프레임(Fp) 간을 병합하므로, 종래에 비해 프레임의 병합을 실시하지 않는 시간 간격이 짧다.
따라서, 병합부(220)에서 병합 프레임을 생성하는 갱신율이 종래에 비해 향상되는 효과가 있다. 또한 이에 따라 출력부(300)로 새로운 병합 프레임이 출력되어 표시되는 갱신율이 종래에 비해 향상된다. 다른 말로 설명하면, 출력부(300)에 새로운 병합 프레임이 출력되어 표시되는 시간 간격이 종래에 비해 짧다. 이에 따라, 동일한 시간 내에 많은 개수의 병합 프레임을 작업자가 확인할 수 있다. 다시 말해, 시간 경과에 따라 새로운 병합 프레임이 생성되어 출력되는데 소요되는 시간 간격이 짧다.
그리고, 이러한 촬영장치 및 생성된 병합 프레임을 관심영역을 관측하는데 사용하는 경우, 종래에 비해 짧은 주기로 새로운 병합 프레임을 확인하여 관심영역을 관측할 수 있다. 따라서, 관심영역을 관측하는데 있어서, 종래에 비해 빠른 대응이 가능하다.
100: 촬영부 111: 주사거울

Claims (12)

  1. 촬영을 실시하여 시간 경과에 따른 복수의 프레임을 순차적으로 획득하는 촬영 과정;
    상기 촬영 과정에서 획득되는 복수의 프레임을 순차적으로 저장하는 과정; 및
    현 시점(Tp)에 상기 촬영 과정에서 획득된 프레임(Fp)과, 현 시점(Tp) 이전 시점(Tp-1)의 촬영 과정에서 획득되어 저장된 프레임(Fp-1)을 병합하는 과정;을 포함하고,
    상기 촬영 과정은,
    촬영장치에 구비된 주사거울의 각도가 제1주사각도가 되도록 상기 주사거울을 회전시키고, 촬영을 실시하여 프레임을 획득하는 제1촬영과정; 및
    상기 주사거울의 각도가 상기 제1주사각도와 다른 제2주사각도가 되도록 상기 주사거울을 회전시키고, 촬영을 실시하여 프레임을 획득하는 제2촬영과정;을 포함하고,
    상기 제1촬영과정과 제2촬영과정을 교대로 복수번 반복하여 실시하며,
    상기 저장 과정은, 상기 제1 및 제2촬영과정 각각에서 획득되는 프레임을 저장하는 과정을 포함하고,
    현 시점(Tp)에 상기 촬영 과정에서 획득된 프레임(Fp)과 이전 시점(Tp-1)의 촬영 과정에서 획득되어 저장된 프레임(Fp-1)을 병합하는데 있어서,
    상기 현 시점(Tp)에 상기 촬영 과정에서 획득된 프레임(Fp) 및 이전 시점(Tp-1)의 촬영 과정에서 획득되어 저장된 프레임(Fp-1) 중 하나는 상기 제1주사각도에서 촬영된 프레임이고, 다른 하나는 상기 제2주사각도에서 촬영된 프레임이 되도록 병합하며,
    복수의 상기 프레임 각각은 복수의 픽셀을 포함하고, 복수의 픽셀은 열(column) 방향 및 행(row) 방향으로 나열되며,
    현 시점(Tp)에 상기 촬영 과정에서 획득된 프레임(Fp)과 이전 시점(Tp-1)의 촬영 과정에서 획득되어 저장된 프레임(Fp-1)을 병합하는데 있어서,
    상기 현 시점(Tp)에 획득된 프레임(Fp)의 복수의 픽셀과 이전 시점(Tp-1)에 획득되어 저장된 프레임(Fp-1)의 복수의 픽셀 중 동일한 행(row)에 배치된 픽셀들끼리 병합하고,
    상기 동일한 행(row)에 있어서, 상기 현 시점(Tp)에 획득된 프레임(Fp)의 열(column) 방향 픽셀들 사이에 상기 이전 시점(Tp-1)에 획득되어 저장된 프레임(Fp-1)의 픽셀의 열(column) 방향 픽셀을 하나씩 배치시키는 방법으로 병합하는 병합 프레임의 생성 방법.
  2. 청구항 1에 있어서,
    상기 저장 과정은, 상기 촬영 과정에서 시간 경과에 따라 획득되는 복수의 프레임 모두를 순차적으로 저장하는 병합 프레임의 생성 방법.
  3. 청구항 2에 있어서,
    상기 병합 과정은,
    상기 촬영 과정에서 실시간으로 획득되는 현 시점(Tp)의 프레임(Fp)을 전달 받는 과정; 및
    현 시점의 이전 시점에서 이미 저장된 이전 시점(Tp-1)의 프레임(Fp-1)을 전달 받는 과정;을 포함하는 병합 프레임의 생성 방법.
  4. 청구항 1에 있어서,
    상기 병합 과정에 있어서, 상기 복수의 프레임들 각각은 2 회씩 병합에 사용되는 병합 프레임의 생성 방법.
  5. 삭제
  6. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    상기 촬영 과정에서 프레임을 획득하는데 있어서, 촬영 영역의 위치별 온도에 따라 방사되는 적외선을 수신하여 프레임을 생성하는 병합 프레임의 생성 방법.
  7. 청구항 1 내지 청구항 4 중 어느 한 항에 있어서,
    1초 동안 상기 촬영 과정에서 획득되는 프레임의 개수와 1초 동안 상기 병합 과정에서 병합되어 생성되는 병합 프레임의 개수가 동일한 병합 프레임의 생성 방법.
  8. 청구항 7에 있어서,
    상기 촬영 과정에서 1초 동안 획득되는 프레임의 개수는 60개이고,
    상기 병합 과정에서 1초 동안 병합되어 생성되는 병합 프레임의 개수는 60개인 병합 프레임의 생성 방법.
  9. 촬영을 실시하여 시간 경과에 따른 복수의 프레임을 획득하는 촬영부;
    상기 촬영부에서 획득되는 복수의 프레임을 순차적으로 저장하는 메모리부; 및
    현 시점(Tp)에 상기 촬영부에서 획득된 현 시점(Tp)의 프레임(Fp)과 상기 메모리부에 저장된 현 시점(Tp) 이전 시점(Tp-1)의 프레임(Fp-1)을 병합하는 병합부;를 포함하고,
    상기 촬영부는,
    주사각도가 변경되게 일 축을 중심으로 회전할 수 있는 주사거울; 및
    상기 주사거울에서 반사되어 집속되는 적외선을 검출하여 프레임을 생성하는 이미지 센서;를 포함하고,
    상기 주사거울은 그 각도가 제1주사각도 및 상기 제1주사각도와 다른 제2주사각도로 교대로 변경되도록 회전하고,
    상기 이미지 센서에서는 상기 주사거울의 각도가 제1주사각도가 될 때의 프레임과 제2주사각도가 될 때의 프레임을 교대로 생성하며,
    상기 메모리부는, 상기 주사거울이 제1주사각도일 때 상기 이미지 센서에서 획득된 프레임과 상기 주사거울이 제2주사각도일 때 상기 이미지 센서에서 획득된 프레임을 순차적으로 저장하고,
    상기 병합부에서 현 시점(Tp)의 프레임(Fp)과 이전 시점(Tp-1)의 프레임(Fp-1)을 병합하는데 있어서,
    상기 현 시점(Tp)에 상기 촬영부에서 획득된 프레임(Fp) 및 이전 시점(Tp-1)에 상기 촬영부에서 획득되어 저장된 프레임(Fp-1) 중 하나는 상기 제1주사각도에서 촬영된 프레임이고, 다른 하나는 상기 제2주사각도에서 촬영된 프레임이 되도록 병합하며,
    복수의 상기 프레임 각각은 복수의 픽셀을 포함하고, 복수의 픽셀은 열(column) 방향 및 행(row) 방향으로 나열되며,
    상기 병합부에서 현 시점(Tp)의 프레임(Fp)과 이전 시점(Tp-1)의 프레임(Fp-1)을 병합하는데 있어서,
    상기 현 시점(Tp)의 프레임(Fp)의 복수의 픽셀과 이전 시점(Tp-1)의 프레임(Fp-1)의 복수의 픽셀 중 동일한 행(row)에 배치된 픽셀들끼리 병합하고,
    상기 동일한 행(row)에 있어서, 상기 현 시점(Tp)의 프레임(Fp)의 열(column) 방향 픽셀들 사이에 이전 시점(Tp-1)의 프레임(Fp-1)의 픽셀의 열(column) 방향 픽셀을 하나씩 배치시키는 방법으로 병합하는 촬영장치.
  10. 삭제
  11. 삭제
  12. 청구항 9에 있어서,
    상기 촬영부의 프레임 생성 갱신율과 상기 병합부에서 프레임을 병합하여 병합 프레임을 생성하는 갱신율이 동일한 촬영장치.
KR1020220143653A 2022-11-01 2022-11-01 병합 프레임의 생성 방법 및 촬영장치 KR102605938B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220143653A KR102605938B1 (ko) 2022-11-01 2022-11-01 병합 프레임의 생성 방법 및 촬영장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220143653A KR102605938B1 (ko) 2022-11-01 2022-11-01 병합 프레임의 생성 방법 및 촬영장치

Publications (1)

Publication Number Publication Date
KR102605938B1 true KR102605938B1 (ko) 2023-11-24

Family

ID=88972226

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220143653A KR102605938B1 (ko) 2022-11-01 2022-11-01 병합 프레임의 생성 방법 및 촬영장치

Country Status (1)

Country Link
KR (1) KR102605938B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
KR101030744B1 (ko) 2010-08-20 2011-04-26 엘아이지넥스원 주식회사 동영상 압축 장치 및 방법, 동영상 압축/복원 시스템 및 방법
KR20200049152A (ko) * 2018-10-31 2020-05-08 엘지이노텍 주식회사 카메라 장치
JP6985898B2 (ja) * 2017-11-14 2021-12-22 Ｏｍデジタルソリューションズ株式会社 撮像装置及び表示方法
KR20220068721A (ko) * 2020-11-19 2022-05-26 한화시스템 주식회사 촬영방법, 촬영장치 및 감시장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288282A (ja) * 2006-04-12 2007-11-01 Toyota Motor Corp 車両周辺監視装置
KR101030744B1 (ko) 2010-08-20 2011-04-26 엘아이지넥스원 주식회사 동영상 압축 장치 및 방법, 동영상 압축/복원 시스템 및 방법
JP6985898B2 (ja) * 2017-11-14 2021-12-22 Ｏｍデジタルソリューションズ株式会社 撮像装置及び表示方法
KR20200049152A (ko) * 2018-10-31 2020-05-08 엘지이노텍 주식회사 카메라 장치
KR20220068721A (ko) * 2020-11-19 2022-05-26 한화시스템 주식회사 촬영방법, 촬영장치 및 감시장치

Similar Documents

Publication Publication Date Title
EP0645659B1 (en) Three dimensional imaging apparatus, camera, and microscope.
CN101690162B (zh) 图像捕捉设备及方法
US20020140835A1 (en) Single sensor chip digital stereo camera
JP2010183316A (ja) 撮像装置
US11978222B2 (en) Three-dimensional light field technology-based optical unmanned aerial vehicle monitoring system
US9419037B2 (en) Imaging apparatus
JP2941752B2 (ja) 多視方向３次元映像具現方法及びシステム
JP2009290268A (ja) 撮像装置
US6072627A (en) Stereoscopic image capture device
KR102605938B1 (ko) 병합 프레임의 생성 방법 및 촬영장치
JP2002191060A (ja) ３次元撮像装量
WO2018062368A1 (ja) 撮像装置および撮像システム
KR20030064437A (ko) 파노라마 촬영용 감시 장치 및 그 방법
KR102558236B1 (ko) 촬영방법, 촬영장치 및 감시장치
EP3590008A1 (en) Multi-camera system for tracking one or more objects through a scene
JP6022428B2 (ja) 画像撮影装置及び画像撮影方法
JP2003287687A (ja) 三次元透過型顕微鏡システムおよび画像表示方法
CN210327775U (zh) 基于三维光场技术的光学无人机监测系统
US8670033B2 (en) Momentum balance optical scanning for wide field of view optical sensors
JP2014241595A (ja) 撮像装置
US11861849B2 (en) Systems and methods for enhanced motion detection, object tracking, situational awareness and super resolution video using microscanned images
US20220103774A1 (en) Single-shot compressed optical-streaking ultra-high-speed photography method and system
CN117706858A (zh) 一种三维图像采集装置、相关设备以及方法
US10033914B2 (en) Optoelectronic surveillance system with variable optical field
JP2017125906A (ja) 立体像表示装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant