KR101158260B1 - 선형센서용 ｄｍｄ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법 - Google Patents

선형센서용 ｄｍｄ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법 Download PDF

Info

Publication number
KR101158260B1
KR101158260B1 KR1020100057959A KR20100057959A KR101158260B1 KR 101158260 B1 KR101158260 B1 KR 101158260B1 KR 1020100057959 A KR1020100057959 A KR 1020100057959A KR 20100057959 A KR20100057959 A KR 20100057959A KR 101158260 B1 KR101158260 B1 KR 101158260B1
Authority
KR
South Korea
Prior art keywords
image
dmd
projection
linear sensor
pixel
Prior art date
Application number
KR1020100057959A
Other languages
English (en)
Other versions
KR20110137934A (ko
Inventor
양유경
김성호
정한
김병혁
박창현
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020100057959A priority Critical patent/KR101158260B1/ko
Publication of KR20110137934A publication Critical patent/KR20110137934A/ko
Application granted granted Critical
Publication of KR101158260B1 publication Critical patent/KR101158260B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3102—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] using two-dimensional electronic spatial light modulators
    • H04N9/312—Driving therefor
    • H04N9/3123—Driving therefor using pulse width modulation
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B26/00—Optical devices or arrangements for the control of light using movable or deformable optical elements
    • G02B26/08—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light
    • G02B26/0816—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements
    • G02B26/0833—Optical devices or arrangements for the control of light using movable or deformable optical elements for controlling the direction of light by means of one or more reflecting elements the reflecting element being a micromechanical device, e.g. a MEMS mirror, DMD

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Mechanical Light Control Or Optical Switches (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

투사장치 시스템과, 상기 투사장치 시스템을 제어하는 시스템제어부를 포함하여 이루어지는 DMD 기반 투사장치에 있어서, 상기 투사장치 시스템이 디지털 토션 빔 DMD(Digital Micro-mirror Device)를 이용한 펄스폭변조(PWM: Pulse Width Modulation)를 적용하여 수신된 영상신호를 선형센서에 투사하기에 적합한 형태로 변조하는 영상 변조 회로; 센서시스템으로 투사시킬 광원 및 광을 DMD로 전달하는 조명 광학계; 및 DMD 및 렌즈로 구성되어, 상기 조명 광학계로부터 전달된 에너지가 DMD로부터 반사되어 센서 시스템에 전달되도록 하는 투사 광학계를 포함하여 이루어지는 것을 특징으로 하는 선형센서용 DMD 기반 모의영상 투사장치 및 이를 이용한 모의영상 투사방법.

Description

선형센서용 ＤＭＤ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법 {sham image projection device based on ＤＭＤ for linear sensor and sham image projection method}
본 발명은 모의 영상 투사 장치 및 이를 이용한 모의 영상 투사 방법에 관한 것으로서, 더욱 상세하게는 1차원 스캐닝 방식의 센서시스템에 모의 영상을 투사하기에 적합한 모의 영상 투사 장치 및 이를 이용한 모의 영상 투사 방법에 관한 것이다.
영상 센서는 물체로부터 발생하는 전자기 방사를 검출하여 전기신호로 변환한 후 이를 디지털 신호로 출력한다. 영상 센서가 사용되는 시스템의 예로는 야간 및 악천후 관찰 시스템(night and inclement weather vision system)과 전방 관찰 적외선(forward looking infrared; FLIR) 항해 시스템이 있다. 영상 센서는 시스템의 생산 비용이 절감되고 성능이 증가함에 따라 널리 사용되고 있다. 영상 센서를 사용하는 시스템이 양적으로 증가하고 복잡해짐에 따라 영상 센서로의 입력에 대한 합성 영상 발생 및 투사에 대한 필요성 역시 증가한다. 초기 설계 최적화, 설계 검증, 생성 시험, 사용자 교육 등을 포함하는 영상 센서와 관련된 몇 가지 난해한 기술적인 문제점들이 있다. 이러한 문제점들은 일반적으로 가시 시스템보다 비가시 시스템을 다룰 때 더 어렵게 된다. 현재의 비가시 영상 시뮬레이션 시스템은 통상적으로 투사 장치로부터 방사되기 때문에 해상력과 한계 대조비가 떨어지고 갱신율이 낮다. 현재의 시스템은 통상적으로 단지 단일 영상 센서용으로만 설계되어 있어서 일반적으로 영상 내에서 위상(phase) 정보를 생성해 내지 못한다.
최신 기술인 적외선 시스템 생성 시험법은 통상적으로 처리되는 센서 시스템에 전기 시험 신호를 주입한다. 신호 주입의 경우, 영상 센서와 관련된 전자기기, 수평 유지 장치, 광학기기 등이 시험되지 않기 때문에 최적의 시험 방법이 될 수 없다. 시스템의 광학기기와 검출기는 통상적으로 매우 간단한 정지 화상, 시험 패턴 또는 매우 천천히 이동하면서 각각 별도로 시험되지만 합성 화상에 대해서는 좀더 복잡한 일련의 과정을 거치게 된다. 이러한 두 가지 분야의 시험 방법론은 전 시스템을 한 쪽 끝과 다른 쪽 끝을 이어서(end-to end) 시험하는 것은 아니다. 영상 센서에 입력 신호를 위한 실제적인 영상을 제공하려면, 복잡한 시스템에 대해서는 영상 센서에 대해서 엄청난 비용이 들어가는 필드 시험을 해야 한다. 영상 센서로의 입력에 대해, 실시간과 비실시간(non-real-time)에 고품질의 영상을 생성하고 투사할 수 있는 영상 투사 시스템을 구현할 수 있는 기술이 필요하게 되었다.
종래 기술에 따른 투사장치는 전계 발광 다이오드를 이용하여 적외선 에너지를 투사하는 장치와 광원을 DMD(Digital Micro-mirror Device)로 반사하여 투사하는 개념의 장치가 대표적이다.
도 1은 DMD 기반 투사 장치의 일반적인 구성이다. 그 구성은 투사부 시스템(200)과, 상기 투사부 시스템(200)을 제어하는 시스템 제어부(100)으로 구성된다.
시스템 제어부(100)는 일반적으로 사용자 입력이 편리한 컴퓨터로 구성되고 투사부 시스템(200)의 제어를 위한 프로그램이 구현된다. 시스템 제어부(100)는 시험 영상을 투사부 시스템(200)에 전송하고, 투사부 시스템(200)을 제어하고 상태를 관찰하는 역할을 한다.
상기 투사부 시스템(200)은 영상 변조 회로(201)와, 조명 광학계(202) 및 투사 광학계(203)로 이루어진다. 영상 변조 회로(201)는 수신된 영상신호를 DMD제어가 가능한 형태로 변조하는 것으로 펄스폭 변조(Pulse Width Modulation: PWM)를 이용한 진폭 변조와 아날로그 전복합법을 이용한 위상변조 및 진폭 변조 등 다양한 변조가 가능하다. 조명 광학계(202)는 센서시스템으로 투사시킬 광원 및 광을 DMD로 전달할 렌즈이다. 투사 광학계(203)는 DMD 및 렌즈로 구성되며 조명 광학계(202)로부터 전달된 에너지가 DMD로부터 반사되어 센서시스템에 전달될 수 있도록 구성된다.
기존의 영상 추출장치들은 하나의 FOV (Field Of View)에 해당되는 영상을 모두 추출하여 투사시키는데, 실제 선형센서의 픽셀이 보지 않은 영역(예를 들면 픽셀과 픽셀 사이)의 영상 데이터도 추출하게 된다. 이러한 경우, 짧은 적분시간 안에 영상 처리와 DMD로의 데이터 전송을 완료하기 어렵다. 예를 들면 적분시간이 25㎲인 선형센서 시스템에서는 DMD 안정화 시간 20 ㎲를 제외한 약 5㎲안에 영상 전송이 완료되어야 한다.
본 발명은 선형센서가 수신하기에 적합한 영상을 추출하고, 시간 지연 적분 센서의 각 픽셀 위치에 투사되는 영상을 정확히 일치시킬 수 있는 투사 장치 및 투사 방법을 제공하는 것을 목적으로 한다.
본 발명의 다른 목적은 시간지연적분 원리를 활용하여 광학적 신호의 투사 세기 해상도를 향상시킬 수 있는 투사 장치 및 투사 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 센서시스템이 회전하지 않고 정지한 상태에서 회전하며 영상이 획득되는 것처럼 투사할 수 있는 투사 장치 및 투사 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 선형센서 시스템과 동기화된 영상 투사가 가능한 투사 장치 및 투사 방법을 제공하는 것이다.
이러한 목적을 달성하기 위한 본 발명에 따른 선형센서용 DMD 기반 모의영상 투사장치는 투사장치 시스템과, 상기 투사장치 시스템을 제어하는 시스템제어부를 포함하여 이루어지는 DMD 기반 투사장치에 있어서, 상기 투사장치 시스템이 디지털 토션 빔 DMD(Digital Micro-mirror Device)를 이용한 펄스폭변조(PWM: Pulse Width Modulation)를 적용하여 수신된 영상신호를 선형센서에 투사하기에 적합한 형태로 변조하는 영상 변조 회로; 센서시스템으로 투사시킬 광원 및 광을 DMD로 전달하는 조명 광학계; 및 DMD 및 렌즈로 구성되어, 상기 조명 광학계로부터 전달된 에너지가 DMD로부터 반사되어 센서 시스템에 전달되도록 하는 투사 광학계를 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사장치의 세부적 특징은 상기 영상 변조 회로가 투사에 필요한 영상만 추출하기 위해 선형센서의 조건을 고려하여 실제 선형센서의 각 픽셀이 보는 위치의 영상데이터만 추출하는 시간지연적분(Time Delay Integration: TDI) 선형센서용 영상 추출부; 한 점의 영상 데이터가 시간지연적분(TDI) 선형센서의 각 픽셀 위치로 이동되어 노출될 때 해당 점의 영상 데이터 값을 변경하여 투사 광 세기의 해상도를 증가시키는 시간지연적분(TDI) 영상 처리부; 이진화소를 이용하여 하나의 그레이 영상 픽셀을 표현하는 디더링(Dithering) 영상 처리부; 및 DMD 배열 중 투사 픽셀 위치를 계산하여 DMD 배열 내 투사 픽셀 위치를 결정하는 DMD 영상처리부를 포함하여 이루어지는 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사장치의 다른 세부적 특징은 상기 영상만 추출하기 위해 선형센서의 조건인 FOV(Field Of View), 픽셀 크기, 픽셀 간격, TDI 탭수 및 over sampling 방법 중 적어도 어느 하나를 포함한다는 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사장치의 또 다른 세부적 특징은 상기 시간지연적분 선형센서용 영상 추출부는 0부터 시간지연적분 탭 수만큼의 해상도를 갖도록 투사 광세기의 해상도를 증가시키는 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사장치의 또 다른 세부적 특징은 상기 투사 광학계는 DMD의 4(2X2)개 이상의 미러가 선형센서의 하나의 픽셀에 맺히도록 설계된 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사방법은 투사장치 시스템과, 상기 투사장치 시스템을 제어하는 시스템제어부를 포함하여 이루어지는 DMD 기반 투사장치를 이용한 DMD 기반 모의영상 투사방법에 있어서, TDI 선형센서의 동기신호를 입력받아 선형센서의 라인 속도에 동기화하여 각 픽셀이 보는 위치의 영상을 추출하는 시간지연적분 선형센서용 영상 추출과정; 투사하는 광학적 해상도에 제한을 해결하기 위해 시간지연적분 특성을 이용하여 영상을 처리하는 시간지연적분 영상 처리과정; DMD의 4(2X2)개 이상의 거울을 이용하여 하나의 그레이 영상 픽셀을 표현하는 디더링(Dithering) 영상 처리과정; 및 DMD 배열 중 투사 픽셀 위치를 계산하여 DMD 배열 내 투사 픽셀 위치를 결정하는 DMD 영상 처리과정을 포함하여 이루어지는 것을 특징으로 한다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사방법의 세부적 특징은 상기 시간지연적분 선형센서용 영상 추출과정이 투사에 필요한 영상만 추출하기 위해 선형센서의 조건을 고려하여 실제 선형 센서의 각 픽셀이 보는 위치의 영상 데이터만 추출하는 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사방법의 다른 세부적 특징은 상기 영상만 추출하기 위해 선형센서의 조건인 FOV(Field Of View), 픽셀 크기, 픽셀 간격, TDI 탭수 및 over sampling 방법 중 적어도 어느 하나를 포함한다는 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사방법의 또 다른 세부적 특징은 상기 시간지연적분 선형센서용 영상 추출과정은 한 픽셀에서 다음 픽셀까지 이동하는 동안 over sampling 위치에 해당되는 영상만 추출하는 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사방법의 또 다른 세부적 특징은 상기 시간지연적분 영상 처리과정은 0부터 시간지연적분 탭 수만큼의 해상도를 갖도록 투사 광세기의 해상도를 증가시키는 점이다.
본 발명에 따른 선형센서용 DMD 기반 모의영상 투사방법의 또 다른 세부적 특징은 알고 있는 패턴의 영상을 투사하고 각 검출 픽셀의 거리만큼 DMD에서 투사되는 각 픽셀의 위치를 가로방향으로 이동시켜 선형 센서의 각 픽셀 검출기와 DMD에서 투사되는 영상 화소가 서로 일치하도록 조절하는 과정을 더 포함하는 점이다.
본 발명에 따른 DMD 기반 모의영상 투사장치 및 투사방법은 다음과 같은 효과를 갖는다.
첫째, 투사 광세기의 해상도를 증가시킬 수 있다.
둘째, 선형센서가 수신하기에 적합한 영상을 추출하고, 시간지연적분 센서의 각 픽셀 위치에 투사되는 영상을 정확히 정렬시킬 수 있다.
셋째, 센서시스템이 회전하지 않고 정지한 상태에서 회전하며 영상이 획득되는 것처럼 투사할 수 있다.
넷째, 선형센서 시스템과 동기화된 영상 투사가 가능하다.
도 1은 일반적인 DMD 기반 투사 장치의 일반적인 구성을 나타낸 블럭도이다.
도 2는 본 발명에 따른 디지털 토션 빔 DMD의 구성을 나타낸 예시도이다.
도 3은 DMD를 통한 광학 에너지의 전달 과정을 나타낸 예시도이다.
도 4는 TDI 선형 센서를 위한 영상 변조 회로의 구성을 나타낸 블럭도이다.
도 5는 TDI 센서를 위한 영상 추출방법을 나타낸 예시도이다.
도 6은 디더링(Dithering) 기법을 이용하여 그레이 영상을 표현하는 원리를 나타낸 예시도이다.
도 7은 본 발명의 실시에 따른 DMD에서 영상이 투사되고 있는 모습을 형상화 한 예시도이다.
도 8은 본 발명의 실시에 따른 적외선 센서 시스템에 투사되어 획득된 영상의 예시도이다.
도 9는 본 발명의 실시에 따른 모의영상 투사방법에서의 영상 처리 과정을 나타낸 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 모의영상 투사장치의 구성과 이를 이용한 투사방법의 진행과정을 상세히 설명한다.
본 발명에서는 수신된 영상신호를 선형센서에 투사하기에 적합한 형태로 변조하는 영상 변조 회로에서 디지털 토션 빔 DMD(Digital Micro-mirror Device)를 이용한 펄스폭변조(PWM: Pulse Width Modulation)를 적용하고 있다. DMD를 이용하여 그레이 영상을 표현하기 위해서 일반적으로 펄스폭변조방식(PWM)을 사용한다. 펄스폭변조방식(PWM)은 1bit 이상의 그레이 영상을 표현하기 위하여 각 비트의 위치별로 DMD 미러의 '1'(즉, +12˚ 방향으로 기울임)이 유지되는 시간을 다르게 조절하여 일정시간 동안 출력되는 총 광량을 조절한다. 이때 기계적인 안정화 시간 등의 이유로 최소 '1'을 유지해야하는 시간은 대체로 20㎲이상이 요구되며, 이 시간은 DMD의 종류에 따라 더 크거나 작을 수 있다. 만일 이 안정화 시간 동안에 DMD로 데이터를 전송할 경우 DMD 미러 동작에 오류가 발생할 수 있다. 따라서 이 안정화 시간구간 이외의 시간에 추출된 영상을 DMD로 전송해야 하며, 수십 ㎲의 짧은 스캐닝 주기를 가지는 선형센서 시스템을 고려하면 영상을 DMD로 전송하는 시간적 여유가 많지 않다. 또한 이동 또는 회전형 센서를 위한 모의 영상 투사 장치는 센서가 움직일 때마다 이동하여 센서가 바라보는 영역 내에 영상을 투사하여야 한다. 하지만 안정화 및 기구 개발의 어려움, 센서와 투사 장치 간 정렬의 어려움 등으로 이러한 방법은 효과적이지 못하다. 때문에 이러한 형태의 센서를 위한 모의 영상 투사 장치는 정지한 상태에서 마치 이동 또는 회전하며 영상을 획득하는 것과 같은 효과를 제공하여야 한다. 또한 DMD 소자의 수 및 제어 기능의 제한으로 표현 가능한 영상 신호의 비트 수가 제한된다.
그리고 2D 센서 시스템과 다르게 수십 ㎲정도의 짧은 시간 동안 광학적인 신호를 적분하는 (즉, TDI의 적분시간이 매우 짧은) 스캐닝 방식의 센서 시스템에서는 종래의 펄스폭 변조 방식으로 비트 해상도가 높은 그레이 영상을 표현하기 어렵다.
이러한 이유로 본 발명에 따른 투사장치 및 투사방법은 짧은 시간 동안 충분한 그레이 영상을 표현하기 위해 투사세기 해상도를 향상시키게 된다. 또한, 본 발명에 따른 모의영상 투사장치는 TDI 선형 센서의 특징을 고려하여 시험에 필요한 동시 추출 영상을 최소화하고 동시에 이동 또는 회전효과를 같도록 한다.
본 발명에 따른 투사장치 시스템은 위의 도 1에 도시된 바와 같이 투사장치 시스템과, 상기 투사장치 시스템을 제어하는 시스템제어부를 포함하여 이루어지는 DMD 기반 투사장치에 있어서, 상기 투사장치 시스템이, 디지털 토션 빔 DMD를 이용한 펄스폭변조(PWM)를 적용하여 수신된 영상신호를 선형센서에 투사하기에 적합한 형태로 변조하는 영상 변조 회로; 센서시스템으로 투사시킬 광원 및 광을 DMD로 전달하는 조명 광학계; 및 DMD 및 렌즈로 구성되어, 상기 조명 광학계로부터 전달된 에너지가 DMD로부터 반사되어 센서 시스템에 전달되도록 하는 투사 광학계를 포함하여 이루어진다.
도 2는 본 발명에서 적용한 디지털 토션 빔 DMD의 예를 보여주고, 도 3은 DMD를 통한 에너지의 전달 방식을 보여준다. DMD(3)는 전기적 신호를 이용하여 피치 크기(본 예에서는 10.8㎛ x10.8㎛)의 미세거울을 '0' 또는 '1'의 디지털 상태에 따라 +/-12˚방향으로 기울임으로써 광원(1)으로부터 렌즈(2)를 통해 입력되는 광을 -12˚ 또는 +12˚ 방향으로 반사시킨다. 그리고 +12˚ 방향으로만 반사된 광만이 투사 광학계의 렌즈(4)를 거쳐 센서시스템(5)에 투사된다.
도 4는 TDI 선형 센서를 위해 본 발명에 따른 투사장치에서의 영상 변조회로의 구성을 나타낸 블럭도이다. 도시된 바와 같이, 투사에 필요한 영상만 추출하기 위해 선형센서의 조건을 고려하여 실제 선형센서의 각 픽셀이 보는 위치의 영상데이터만 추출하는 시간지연적분(Time Delay Integration: TDI) 선형센서용 영상 추출부(11); 한 점의 영상 데이터가 시간지연적분(TDI) 선형센서의 각 픽셀 위치로 이동되어 노출될 때 해당 점의 영상 데이터 값을 변경하여 투사 광 세기의 해상도를 증가시키는 시간지연적분(TDI) 영상 처리부(12); 이진화소를 이용하여 하나의 그레이 영상 픽셀을 표현하는 디더링(Dithering) 영상 처리부(13); DMD 배열 중 투사 픽셀 위치를 계산하여 DMD 배열 내 투사 픽셀 위치를 결정하는 DMD 영상처리부(14)를 포함하여 이루어진다.
영상 추출부(11)는 TDI 선형 센서의 동기신호를 입력받아 선형 센서의 라인속도에 동기화하여 각 픽셀이 보는 위치의 영상을 추출한다. 기존의 영상 추출장치들은 하나의 FOV (Field Of View)에 해당되는 영상을 모두 추출하여 투사시키는데 이 경우 실제 선형 센서의 픽셀이 보지 않은 영역(예를 들면 픽셀과 픽셀 사이)의 영상 데이터도 추출하게 된다. 이 경우 짧은 적분시간 안에 영상 처리와 DMD로의 데이터 전송을 완료하기 어렵다. 예를 들면 적분시간이 25㎲인 선형 센서 시스템에서는 DMD 미러 안정화 시간 20 ㎲를 제외한 약 5㎲안에 영상 전송이 완료되어야 한다. 이러한 이유로 투사에 필요한 영상만 추출하기 위한 선형 센서의 조건은 FOV, 픽셀 크기, 픽셀 간격, TDI 탭수 및 over sampling 방법 중 적어도 어느 하나를 포함하여 실제 선형 센서의 각 픽셀이 보는 위치의 영상 데이터만 추출하도록 할 수 있다. 또한 이동 또는 회전형 스캔 센서를 위하여 정지된 상태에서도 마치 이동 또는 회전하는 효과를 갖도록 하기 위해서는 센서의 라인 동기에 맞추어 이동된 위치에 해당하는 픽셀을 추출하고 동일 DMD 픽셀 위치에 투사시킨다.
도 5는 2 over sampling을 하는 4-탭 TDI 센서를 위한 영상 추출방법의 예이다. 2 over sampling을 수행하는 TDI 선형 센서는 하나의 FOV와 다음 FOV의 공간을 스캔하는 동안 2번 영상을 sampling하여 2픽셀의 영상을 생성한다. 이러한 운용 방식으로 인해 영상 투사장치에서의 영상 추출도 한 픽셀에서 다음 픽셀까지 이동하는 동안 2 over sampling 위치에 해당되는 영상만 추출하여 전송한다. 도 4와 같이 라인속도에 동기화하여 시간 차를 두고 추출된 영상 픽셀들을 DMD 배열 내의 동일 픽셀 위치에 투사시키면 TDI 선형 센서 시스템은 고정된 상태에서도 마치 2 over sampling하며 이동 또는 회전하며 영상을 획득하는 것과 같은 효과를 갖는다.
TDI 영상처리부(12)는 한 픽셀에 해당하는 DMD 미러 수의 제한 및 펄스폭 변조를 위한 최소 '1' 유지 시간 등의 한계로 인하여 투사하는 광학적 해상도에 제한을 갖는 문제를 보완하고자 센서가 갖는 TDI 특성을 이용한 영상처리를 수행한다. TDI는 한 점의 영상을 선형 센서가 이동하며 신호를 획득한 후 획득된 신호를 합쳐 하나의 픽셀 신호로 만들어내는 것으로 궁극적으로 SNR(Signal to Noise Ratio)을 향상시키는 방식을 말한다. 이러한 원리를 이용하여 한 점의 영상 데이터가 TDI 선형 센서의 각 픽셀 위치로 이동되어 노출될 때 해당 점의 영상 데이터 값을 변경하면 결과적으로 TDI 선형 센서에서는 각 픽셀 데이터를 시간 지연 적분한 결과에 변화가 생기게 된다.
[표 1]은 이진 데이터에 대한 4-탭 TDI 선형 센서의 경우에 대한 TDI 영상 처리의 예이다.
픽셀 데이터 합계
(decimal)
#1 픽셀 #2 픽셀 #3 픽셀 #4 픽셀
0 0 0 0 0
0 0 0 1 1
0 0 1 1 2
0 1 1 1 3
1 1 1 1 4
영상데이터는 '0'과 '1' 밖에 표현하지 못하지만, 시간 지연 이동되면서 영상 데이터를 '0' 또는 '1'의 값으로 변화를 줄 경우 TDI 선형 센서에서 각 픽셀을 합한 최종 결과값은 오른쪽 합계와 같이 0에서 4까지 변화한 것을 알 수 있다. 따라서 본 발명에 따른 모의영상 투사장치 및 투사방법은 0부터 시간지연적분 탭 수만큼의 해상도를 갖도록 투사 광 세기의 해상도를 증가시킨다.
디더링 영상처리부(13)는 DMD의 4(2x2)개 이상의 거울을 이용하여 하나의 영상 픽셀을 표현한다. 디더링(Dithering) 기법은 프린터에서 작은 흑색 점을 이용하여 그레이 영상으로 표현하는 원리와 같은 방법이다. 본 발명에서는 이러한 디더링 기법을 채택하여 적용하고 이를 위해 DMD의 4(2x2)개 이상의 미러가 선형 센서의 하나의 픽셀에 맺히도록 투사 광학계를 설계하였다.
도 6은 디더링 기법을 이용하여 이진 화소를 이용하여 그레이 영상을 표현하는 원리를 설명하는 예이다. 즉, 3x3 이진 화소들을 하나의 영상이미지로 표현할 경우 0~9까지 표현 가능하기 때문에 결과적으로 비트 해상도가 3bit이상으로 향상 된다.
영상을 안정적으로 투사시키기 위해서는 추출된 영상을 TDI 선형 센서의 각 검출소자가 바라보는 IFOV내에 해당하는 DMD 픽셀에 정확하게 투사시켜야 한다. 이를 위한 정렬 방법으로 먼저 DMD의 길이 방향을 TDI 선형 센서의 길이 방향으로 설정하고, 검출소자의 물리적인 배치 및 IFOV를 고려하여 DMD 배열 중 투사 픽셀 위치를 계산한다.
도 4의 DMD 영상 처리부(14)는 이러한 계산을 수행하여 DMD 배열 내 투사 픽셀 위치를 결정한다. 이때 이론적으로 계산된 위치는 실제 위치와 오차를 가지고 있으므로 센서 시스템과의 체결 시 미소한 조절 기능이 필요하다. 도 7은 DMD에서 영상이 투사되고 있는 모습 및 투사위치의 조절 기능을 보여준다. 이를 위하여 알고 있는 패턴의 영상을 투사하고 각 검출 픽셀의 거리만큼 DMD에서 투사되는 각 픽셀의 위치를 가로방향으로 이동시켜 선형 센서의 각 픽셀 검출기와 DMD에서 투사되는 영상 화소(예를 들어 2x2화소)가 서로 일치하도록 선형 센서의 출력 영상을 보며 조절한다.
도 8은 6-탭 TDI 선형 배열 검출 센서로 360도 방위각 방향으로 회전하며 적외선 영상을 획득하는 센서 시스템에 모의영상 투사장치를 이용하여 적외선 에너지를 투사하여 센서시스템에서 획득한 결과 영상을 보여준다.
도 9는 본 발명의 실시에 따른 모의영상 투사방법에서의 영상 처리 과정을 나타낸 흐름도이다. 투사장치 시스템과, 상기 투사장치 시스템을 제어하는 시스템제어부를 포함하여 이루어지는 DMD 기반 투사장치를 이용한 DMD 기반 모의영상 투사방법에 있어서, 모의영상을 수신하고(S1), TDI 선형센서의 동기신호를 입력받아 선형센서의 라인 속도에 동기화하여 각 픽셀이 보는 위치의 영상을 추출하는 시간지연적분 선형센서용 영상 추출과정(S2); 투사하는 광학적 해상도에 제한을 해결하기 위해 시간지연적분 특성을 이용하여 영상을 처리하는 시간지연적분 영상 처리과정(S3); DMD의 4(2X2)개 이상의 거울을 이용하여 하나의 그레이 영상 픽셀을 표현하는 디더링 영상 처리과정(S4); DMD 배열 중 투사 픽셀 위치를 계산하여 DMD 배열 내 투사 픽셀 위치를 결정하는 DMD 영상 처리과정(S5); DMD로 전송 및 영상투사과정(S6)을 포함하여 이루어진다. 여기서, 상기 시간지연적분 선형센서용 영상 추출과정은 투사에 필요한 영상만 추출하기 위해 선형센서의 조건을 고려하여 실제 선형 센서의 각 픽셀이 보는 위치의 영상 데이터만 추출하도록 구성할 수 있다. 이때, 투사에 필요한 영상만 추출하기 위해 선형 센서의 조건은 FOV, 픽셀 크기, 픽셀 간격, TDI 탭수 및 over sampling 방법 중 적어도 어느 하나를 포함하여 실제 선형 센서의 각 픽셀이 보는 위치의 영상 데이터만 추출하도록 구성할 수 있다.
이상에서 설명한 바와 같이, 바람직한 실시예를 통하여 본 발명에 관하여 상세히 설명하였으나, 본 발명은 이에 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양하게 변경, 응용이 당업자에게 자명하다. 따라서, 본 발명의 진정한 보호 범위는 다음의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.
1: 광원 2,4: 렌즈
3: DMD 5: 센서시스템
11: TDI 센서용 영상 추출부 12: TDI 영상처리부
13: 디더링 영상처리부 14: DMD 영상처리부
100: 시스템 제어부 200: 투사부 시스템
201: 영상 변조회로 202: 조명 광학계
203: 투사 광학계

Claims (11)

  1. 투사장치 시스템과, 상기 투사장치 시스템을 제어하는 시스템제어부를 포함하여 이루어지는 선형 센서용 DMD 기반 모의영상 투사장치에 있어서,
    상기 투사장치 시스템은,
    디지털 토션 빔 DMD(Digital Micro-mirror Device)를 이용한 펄스폭변조(PWM: Pulse Width Modulation)를 적용하여 수신된 영상신호를 선형센서에 투사시키기 위한 영상 변조 회로;
    센서시스템으로 투사시킬 광원 및 광을 DMD로 전달하는 조명 광학계; 및
    DMD 및 렌즈로 구성되어, 상기 조명 광학계로부터 전달된 에너지가 DMD로부터 반사되어 센서 시스템에 전달되도록 하는 투사 광학계를 포함하고,
    상기 영상 변조 회로는,
    투사에 필요한 영상만 추출하기 위해 선형센서의 각 픽셀이 보는 위치의 영상 데이터만 추출하는 시간지연적분(Time Delay Integration: TDI) 선형센서용 영상 추출부;
    한 점의 영상 데이터가 시간지연적분(TDI) 선형센서의 각 픽셀 위치로 이동되어 노출될 때 해당 점의 영상 데이터 값을 변경하여 0부터 시간지연적분 탭 수만큼의 해상도를 갖는 시간지연적분(TDI) 영상 처리부;
    이진화소를 이용하여 하나의 그레이 영상 픽셀을 표현하는 디더링(Dithering) 영상 처리부;
    DMD 배열 중 투사 픽셀 위치를 계산하여 DMD 배열 내 투사 픽셀 위치를 결정하는 DMD 영상처리부를 포함하여 이루어지는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사장치.
  2. 삭제
  3. 제 1 항에 있어서, 상기 영상만을 추출하기 위해 선형센서의 조건은 FOV(Field Of View), 픽셀 크기, 픽셀 간격, TDI 탭수 및 over sampling 방법 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사장치.
  4. 제 1 항에 있어서, 상기 시간지연적분 선형센서의 영상 추출부는 0부터 시간지연적분 탭 수만큼의 해상도를 갖는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사장치.
  5. 제 1 항에 있어서, 상기 투사 광학계는 DMD의 4(2X2)개 이상의 미러가 선형센서의 하나의 픽셀에 맺히도록 설계된 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사장치.
  6. 투사장치 시스템과, 상기 투사장치 시스템을 제어하는 시스템제어부를 포함하여 이루어지는 DMD 기반 투사장치를 이용한 DMD 기반 모의영상 투사방법에 있어서,
    TDI 선형센서의 동기신호를 입력받아 선형센서의 라인 속도에 동기화하여 투사에 필요한 영상만 추출하기 위해 선형센서의 각 픽셀이 보는 위치의 영상 데이터만 추출하는 시간지연적분 선형센서용 영상 추출과정;
    투사하는 광학적 해상도을 향상하기 위한 시간지연적분 특성을 이용하여 영상을 처리하는 시간지연적분 영상 처리과정;
    DMD의 4(2X2)개 이상의 DMD 거울을 이용하여 하나의 그레이 영상 픽셀을 표현하는 디더링(Dithering) 영상 처리과정;
    DMD 배열 중 투사 픽셀 위치를 계산하여 DMD 배열 내 투사 픽셀 위치를 결정하는 DMD 영상 처리과정을 포함하여 이루어지는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사방법.
  7. 제 6 항에 있어서, 상기 시간지연적분 선형센서의 영상 추출과정은 투사에 필요한 영상만 추출하기 위해 선형센서의 각 픽셀이 보는 위치의 영상 데이터만 추출하는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사방법.
  8. 제 7 항에 있어서, 상기 영상만을 추출하기 위해 선형센서의 조건은 FOV(Field Of View), 픽셀 크기, 픽셀 간격, TDI 탭수 및 over sampling 방법 중 적어도 어느 하나를 포함하는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사방법.
  9. 제 6 항에 있어서, 상기 시간지연적분 선형센서의 영상 추출과정은 한 픽셀에서 다음 픽셀까지 이동하는 동안 over sampling 위치에 해당되는 영상만 추출하는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사방법.
  10. 제 6 항에 있어서, 상기 시간지연적분 영상 처리과정은 0부터 시간지연적분 탭 수만큼의 해상도를 갖는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사방법.
  11. 제 6 항에 있어서, 알고 있는 패턴의 영상을 DMD를 통해 투사하고 DMD에서 투사되는 각 픽셀의 위치를 가로방향으로 이동시켜 선형 센서의 각 픽셀 검출기와 DMD에서 투사되는 영상 화소가 서로 일치하도록 조절하는 과정을 더 포함하는 것을 특징으로 하는 선형 센서용 DMD 기반 모의영상 투사방법.
KR1020100057959A 2010-06-18 2010-06-18 선형센서용 ｄｍｄ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법 KR101158260B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100057959A KR101158260B1 (ko) 2010-06-18 2010-06-18 선형센서용 ｄｍｄ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100057959A KR101158260B1 (ko) 2010-06-18 2010-06-18 선형센서용 ｄｍｄ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법

Publications (2)

Publication Number Publication Date
KR20110137934A KR20110137934A (ko) 2011-12-26
KR101158260B1 true KR101158260B1 (ko) 2012-06-19

Family

ID=45504013

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100057959A KR101158260B1 (ko) 2010-06-18 2010-06-18 선형센서용 ｄｍｄ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법

Country Status (1)

Country Link
KR (1) KR101158260B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101301596B1 (ko) 2013-07-09 2013-08-29 국방과학연구소 모의 영상투사장치 및 이를 포함한 검출모의시스템
CN104917977A (zh) * 2015-06-02 2015-09-16 中国科学院上海技术物理研究所 一种驱动dmd超高帧频显示高动态图像的方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8964088B2 (en) 2011-09-28 2015-02-24 Semiconductor Components Industries, Llc Time-delay-and-integrate image sensors having variable intergration times
CN108683844B (zh) * 2018-05-04 2020-06-19 清华大学 基于dmd的tdi推扫成像的实现方法及装置
CN114449256B (zh) * 2022-01-12 2023-06-06 苏州大学 一种检测高速响应dmd显示系统延时的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030089275A (ko) * 2002-05-17 2003-11-21 엘지전자 주식회사 Ｄｍｄ 패널
KR20050042156A (ko) * 2002-08-13 2005-05-04 톰슨 라이센싱 에스.에이. 개선된 모션 양상을 갖는 펄스 폭 변조된 디스플레이

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030089275A (ko) * 2002-05-17 2003-11-21 엘지전자 주식회사 Ｄｍｄ 패널
KR20050042156A (ko) * 2002-08-13 2005-05-04 톰슨 라이센싱 에스.에이. 개선된 모션 양상을 갖는 펄스 폭 변조된 디스플레이

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101301596B1 (ko) 2013-07-09 2013-08-29 국방과학연구소 모의 영상투사장치 및 이를 포함한 검출모의시스템
CN104917977A (zh) * 2015-06-02 2015-09-16 中国科学院上海技术物理研究所 一种驱动dmd超高帧频显示高动态图像的方法
CN104917977B (zh) * 2015-06-02 2017-10-13 中国科学院上海技术物理研究所 一种驱动dmd超高帧频显示高动态图像的方法

Also Published As

Publication number Publication date
KR20110137934A (ko) 2011-12-26

Similar Documents

Publication Publication Date Title
EP3497671B1 (en) Devices and methods for adjustable resolution depth mapping
KR101158260B1 (ko) 선형센서용 ｄｍｄ 기반 모의영상 투사장치 및 이를 이용한 모의 영상 투사 방법
JP6716864B2 (ja) 投影装置および投影方法、投影モジュール、電子機器、並びにプログラム
US20080088719A1 (en) Digital camera with non-uniform image resolution
CN107710047A (zh) 投影装置、投影模块、以及电子仪器
JP4709571B2 (ja) 視覚情報処理システム及びその視覚情報処理方法
EP2782343A1 (en) Image display device
US4340888A (en) Scan linerization method and device
US10145680B2 (en) Devices and methods for providing depth mapping with scanning laser image projection
EP2678740B1 (en) Systems, methods, and media for reconstructing a space-time volume from a coded image
CN107924657A (zh) 投影装置、投影方法、投影模块、电子装置以及程序
US11092679B2 (en) Compensation for laser light source misalignment in a multiple laser scanning TOF sensor system
US6591021B1 (en) Method and apparatus for correcting the gray levels of images of a digital infrared camera
US20170199028A1 (en) Depth value measurement
US11589029B2 (en) 3D imaging system for RGB-D imaging
Chau et al. Using Spatial Light Modulators in MIMO Visible Light Communication Receivers to Dynamically Control the Optical Channel.
US20190212451A1 (en) Time Division Multiplexing of Multiple Wavelengths for High Resolution Scanning Time of Flight 3D Imaging
CN103985129A (zh) Tdi成像的像移自配准方法
Beasley et al. Current status of the laser diode array projector technology
JP2012226221A (ja) ３次元画像表示装置
RU2702849C1 (ru) Способ радиометрической коррекции скановой структуры изображения от многоэлементного фотоприёмника многозонального сканирующего устройства
US4234893A (en) Image drift correction apparatus
CN114967143B (zh) 一种近眼显示装置
JPH0695141B2 (ja) レーザレーダ画像形成装置
RU2275750C2 (ru) Способ юстировки направления визирной оси двухкамерной телевизионной системы и устройство для его осуществления

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150601

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee