KR20130008469A - 블러 처리 장치 및 방법 - Google Patents

블러 처리 장치 및 방법 Download PDF

Info

Publication number
KR20130008469A
KR20130008469A KR1020120075386A KR20120075386A KR20130008469A KR 20130008469 A KR20130008469 A KR 20130008469A KR 1020120075386 A KR1020120075386 A KR 1020120075386A KR 20120075386 A KR20120075386 A KR 20120075386A KR 20130008469 A KR20130008469 A KR 20130008469A
Authority
KR
South Korea
Prior art keywords
blur
image
light signal
reflected light
occurs
Prior art date
Application number
KR1020120075386A
Other languages
English (en)
Other versions
KR101929557B1 (ko
Inventor
이승규
강병민
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201280003376.7A priority Critical patent/CN103181156B/zh
Priority to PCT/KR2012/005512 priority patent/WO2013009099A2/ko
Priority to JP2014520126A priority patent/JP6193227B2/ja
Priority to US13/823,557 priority patent/US9456152B2/en
Priority to EP12811416.2A priority patent/EP2733928B1/en
Publication of KR20130008469A publication Critical patent/KR20130008469A/ko
Application granted granted Critical
Publication of KR101929557B1 publication Critical patent/KR101929557B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4865—Time delay measurement, e.g. time-of-flight measurement, time of arrival measurement or determining the exact position of a peak
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/08—Systems determining position data of a target for measuring distance only
    • G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

ToF 방식 카메라에서 생성된 영상에 블러가 발생하였는지 여부를 판단하고, 블러가 발생한 경우 블러가 발생하지 않은 주변의 정상 픽셀값을 이용하여 블러를 제거하는 블러 처리 방법 및 장치에 관한 것이다.

Description

블러 처리 장치 및 방법{METHOD AND APPARATUS FOR PROCESSING BLUR}
영상 내에서 발생된 블러를 제거하는 기술에 관한 것이다.
ToF(Time of Flight) 방식의 카메라를 이용하여 생성되는 영상은, 매 프레임마다 노출 시간(Integration Time) 동안, 조사광 신호(예를 들어 적외선 신호)와 피사체에 반사되어 돌아오는 반사광 신호의 위상차를 계산함으로써 얻어진다. 노출 시간 보다 짧은 시간 동안 카메라 또는 피사체에 움직임이 발생하는 경우에는, 반사광 신호의 위상에 변화가 발생할 수 있다.
이러한 경우, 해당 반사광 신호를 통해 얻은 깊이(depth) 정보는 부정확한 값을 가지게 되며, 이는 영상에서 블러(Blur)의 형태로 보여지게 된다. 이러한 현상은 컬러 카메라에서 발생하는 블러 현상과 비슷한 이유로 발생할 수 있다. 그러나, ToF 방식의 카메라와 컬러 카메라는 영상을 얻는 방식에서 차이가 있고, ToF 방식의 카메라에서 발생하는 블러 현상은 컬러 영상의 블러 현상과 다른 블러 형태를 보이게 된다.
블러 처리 장치는, 제어 신호를 생성하는 제어부와, 조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 센서부, 및 상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 블러 판단부를 포함할 수 있다.
블러 처리 장치의 블러 판단부는, 블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단할 수 있다.
상기 조사광 신호가, ToF(Time of Flight) 방식 카메라를 통해 방출되는 경우, 블러 처리 장치의 블러 판단부는, 상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
또한, 상기 블러 판단부는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출할 수 있다.
또한, 상기 센서부는, 상기 반사광 신호와 서로 다른 위상차를 갖는 복수의 제어 신호 각각에 의해 수광된 전하량을 획득하고, 상기 블러 판단부는, 상기 획득된 전하량과 상기 제어 신호의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
상기 센서부는, n(n은 자연수)개의 반사광 신호를 획득하고, 상기 블러 판단부는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 n개의 반사광 신호 간의 위상차를 계산하여 n개의 깊이 정보를 산출하고, 산출된 n개의 깊이 정보의 평균값을 산출할 수 있다.
상기 블러 판단부는, 상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 영상에 블러가 발생한 것으로 판단할 수 있다.
상기 판단 결과 블러가 발생한 경우, 블러 처리 장치는, ToF 방식 카메라를 통해 획득된 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
상기 영상 처리부는, 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체할 수 있다.
다른 실시예로서, 블러 처리 장치는, ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 모델 식별부와, 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 검색부, 및 상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거하는 영상 처리부를 포함하여 구성할 수 있다.
블러 처리 장치의 영상 처리부는, r-세타(theta) 공간 상에서 상기 블러 영역을 필터링 할 수 있다.
블러 처리 방법은, 위상이 서로 다른 복수의 제어 신호를 생성하는 단계와, 조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 단계, 및 상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러 여부를 판단하는 단계는, 블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는 단계를 포함할 수 있다.
상기 조사광 신호가, ToF 방식 카메라를 통해 방출되는 경우, 상기 블러 처리 방법에서의 상기 블러 여부를 판단하는 단계는, 상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러가 발생하였는지 여부를 판단하는 단계는, 서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 블러가 발생하였는지 여부를 판단하는 단계는, 획득한 n(n은 자연수)개의 반사광 신호와, 서로 다른 위상차를 갖는 복수의 제어 신호 간의 위상차를 계산하는 단계와, 상기 계산된 결과를 이용하여 n개의 깊이 정보를 산출하는 단계 및 상기 산출된 n개의 깊이 정보의 평균값을 산출하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서는, 상기 판단 결과 블러가 발생한 경우, ToF 방식 카메라를 통해 획득한 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계를 더 포함할 수 있다.
상기 발생된 블러를 제거하는 단계는, 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계를 포함할 수 있다.
다른 실시예로서, 블러 처리 방법은, ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 단계와, 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 단계, 및 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하여 상기 영상에서 상기 블러를 제거하는 단계를 포함할 수 있다.
상기 블러 처리 방법에서의 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계는, r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는 단계를 포함할 수 있다.
객체로부터 반사된 복수 반사광 신호의 관계를 이용하여 ToF 방식 카메라를 통해 획득한 영상 내에서 블러가 발생하였는지 여부를 효율적으로 판단할 수 있다.
영상 내에서 발생된 블러를, 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체함으로써, 발생된 블러를 용이하게 제거할 수 있다.
도 1은 블러 처리 장치의 일 실시예를 도시한 블록도이다.
도 2는 센서부를 구성하는 픽셀의 일 실시예를 나타낸 도면이고, 도 3은 반사광 신호와 제어 신호 간 타이밍도의 일 실시예이다.
도 4 내지 도 6은 영상 내에서 블러 발생 여부를 판단하기 위한 반사광 신호를 획득하는 일례를 도시한 도면이다.
도 7과 도 8은 일실시예에 따른, 피사체의 이동이 없는 경우와, 피사체의 이동이 있는 경우 각각에 대해, 반사광 신호와 제어신호 간의 관계를 도시하는 도면이다.
도 9는 일실시예에 따른, 영상 내에서 블러가 발생된 블러 영역의 깊이 정보를 그래프로 도시한 도면이다.
도 10은 일실시예에 따른, 블러가 발생한 영상과 깊이 정보 간의 연관성을 도시한 도면이다.
도 11은 일실시예에 따른, 깊이 정보와 블러 모델 간의 연관성을 도시한 도면이다.
도 12은 일실시예에 따른, 영상 내에서 블러를 제거하는 일례를 도시한 도면이다.
도 13는 일실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다.
도 14은 다른 실시예에 따른 블러 처리 장치의 구성을 도시한 블록도이다.
도 15은 블러 모델을 이용하여 블러 영역을 필터링하는 일례를 도시한 도면이다.
도 16는 다른 실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다.
이하, 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여 다양한 실시예를 상세하게 설명한다.
도 1은 블러 처리 장치의 일 실시예를 도시한 블록도이다.
블러 처리 장치(100)는 제어부(110), 센서부(120), 블러 판단부(130), 및 영상 처리부(140)를 포함하여 구성할 수 있다.
도 1에 예시된 블러 처리 장치(100)는 ToF 방식 카메라로 구현될 수 있다. 일실시예에서는 광 조사부(102)가 ToF 방식 카메라에 포함되는 실시예도 가능할 수 있다. ToF 방식 카메라는 객체(104)로 조사하는 조사광 신호(예를 들어 적외선 신호)와 조사광 신호가 객체(104)에 의해 반사되어 되돌아오는 반사광 신호 간의 위상차를 이용하여 카메라로부터 객체까지의 거리를 나타내는 깊이 영상을 생성할 수 있다.
광 조사부(102)는 조사광 신호를 객체(104)로 조사할 수 있다. 센서부(120)는 광 조사부(102)로부터 조사된 조사광 신호가 상기 객체(104)에 의해 반사되어 돌아오는 반사광 신호를 센싱할 수 있다. 예를 들어, 센서부(110)는 PPD(Pinned Photo Diode), Photogate, CCD(Charge Coupled Device) 등과 같은 광 센싱 소자를 포함할 수 있다. 여기서, 객체(104)는 피사체(subject)를 의미하며, 사진을 찍는 대상이 되는 것이다.
제어부(110)는 위상이 서로 다른 복수의 제어 신호를 생성한다. 제어 신호는 센서부(120)가 반사광 신호를 센싱하여 생성되는 전자를 집적하는 타이밍을 제어할 수 있는 신호이다.
센서부(120)와 제어 신호 간의 관계에 대한 일례를, 도 2 및 도 3를 통해 설명하도록 한다.
도 2는 센서부를 구성하는 픽셀의 일 실시예를 나타낸 도면이다.
픽셀(200)은 검출부(210, photogate), 게이트(게이트-A(221), 게이트-B(222)), 및 집적부(231, 232)를 포함하여 구성될 수 있다. 검출부(210)는 반사광 신호를 수신하여 전자를 생성하는 역할을 한다. 게이트-A(221)와 게이트-B(222)는 검출부(210)에서 생성된 전자를 집적부(231, 232)로 각각 전달할 수 있다. 도 2에서는 복수의 게이트, 예컨대 게이트-A(221)와 게이트-B(222)가 구비되어, 제어 신호에 따라 선택적으로 전자를 복수 개의 상이한 집적부(231, 232)로 전달하는 것을 예시하고 있다.
집적부(231, 232)는 전달된 전자를 집적할 수 있다. 전자의 집적 시간이나 주기는 사전에 정의될 수 있다. 예를 들어, 집적부(231, 232)는 일정 시간 동안 전자를 집적하고, 집적된 전자의 양을 집계할 때 전자를 방출한 후, 다음 번 전자 집적 타이밍에 또 다시 전자를 집적하도록 정의될 수 있다.
게이트의 온(on)/오프(off)는 앞서 설명한 제어 신호에 의해 제어될 수 있다.
도 3는 반사광 신호와 제어 신호 간 타이밍도의 일 실시예이다.
본 실시예에서 제1 제어신호와 제2 제어신호는 각각 도 2의 게이트-A(221) 및 게이트-B(222)를 제어할 수 있으며, 서로 180도의 위상차를 나타내고 있다. 상기 제1, 2 제어신호의 1/2 주기는 예컨대, 25ns 일 수 있다.
도 3에 도시한 바와 같이, 반사광 신호가 하이(high) 값인 tON 동안 검출부(210)에서 전자가 발생할 수 있다.
이때, 발생된 전자의 일부는, 게이트-A(221)에 관련된 제1 제어신호가 하이 값인 tON-tΤ OF 동안, 게이트-A(221)를 경유하여 집적부(231)에 집적하게 된다.
반면, 발생된 전자의 나머지 일부는, 상기 제1 제어신호가 로우(low) 값으로 전환되고, 게이트-B(222)에 관련된 제2 제어신호가 하이 값인 tΤ OF 동안, 게이트-B(222)를 경유하여 집적부(232)에 집적하게 된다.
예컨대, 반사광 신호가 하이(high) 값인 tON 동안 발생된 전자는, tON-tΤ OF 동안에는 게이트-A(221)가 온(on) 상태가 되어 게이트-A(221)와 연관된 집적부(231)로 전달되고, tΤ OF 동안에는 게이트-B(222)가 온(on) 상태가 되어 게이트-B(222)와 연관된 집적부(232)로 전달될 수 있다.
도 2 및 도 3에서는 센서의 게이트와 집적부가 각각 2개인 경우를 설명하였으나, 게이트와 집적부의 개수는 실시예에 따라서 달라질 수 있다.
다시 도 1을 설명하면, 블러 판단부(130)는 상기 제어 신호 별로 집적된 전자의 양(이하, 전하량이라 한다) 간 관계를 이용하여 블러(Blur) 여부를 판단한다.
또한, 블러 판단부(130)는 서로 다른 위상을 가지는 제어 신호들을 이용하여 상기 반사광 신호와 상기 조사광 신호의 위상차를 얻을 수 있다. 예컨대, 센서부(120)가 ToF 방식 카메라의 노출 시간(Integration Time) 동안 반사되어 돌아오는 반사광 신호를 반복적으로 획득함으로써, 블러 판단부(130)는 반사광 신호에 기반한 깊이 정보를 얻을 수 있다.
도 4 내지 도 6는 영상 내에서 블러 발생 여부를 판단하기 위한 반사광 신호를 획득하는 일례를 도시한 도면이다. 도 4 내지 도 6에서, C1 내지 C4는 제어 신호를 지칭하고, Q1 내지 Q4는 전하량을 의미하며, td는 깊이 정보이다.
ToF 방식 카메라는 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 생성할 수 있다. ToF 방식 카메라는 M(M은 자연수)개의 전하량 저장 공간을 가지는 L-Phase/M-tap 방식으로 구성될 수 있다. 예를 들어, 도 4의 4-phase/1-tap의 예시에서, ToF 방식 카메라는 상호 90도의 위상차를 가지는 4개의 제어 신호 'C1','C2','C3','C4'를 생성할 수 있다.
센서부(120)는 상기 반사광 신호와 제어 신호 'C1'에 의해 전하량 'Q1'을 획득하고, 상기 반사광 신호와 제어 신호 'C2'에 의해 전하량 'Q2'를 획득하고, 상기 반사광 신호와 제어 신호 'C3'에 의해 전하량 'Q3'을 획득하며, 상기 반사광 신호와 제어 신호 'C4'에 의해 전하량 'Q4'를 순차적으로 획득할 수 있다.
도 4의 4-phase/1-tap 방식과, 도 5의 4-phase/2-tap 방식과, 도 6의 4-phase/4-tap 방식은 ToF 방식 카메라의 구조가 상이함을 나타낼 수 있다. 예컨대, 센서부(120)는 ToF 방식 카메라의 구조에 따라 노출 시간 동안 반사광 신호와 제어 신호들 간의 위상차를 획득하는 방법을 서로 달리할 수 있다.
도 4 내지 도 6에서는 4개의 제어 신호들을 생성하고, 4개의 전하량을 획득하는 일례를 도시하고 있지만, 실시예에 따라, 제어 신호의 개수가 4 보다 작거나 클 수도 있다.
블러 판단부(130)는 상기 획득한 전하량 'Q1', 'Q2', 'Q3', 'Q4' 간의 관계를 이용하여 ToF 방식 카메라를 통해 획득된 영상에 블러(Blur)가 발생하였는지 여부를 판단한다. 예컨대, 블러 판단부(130)는 제어 신호들 C1 과 C2가 하이(high) 값인 동안 얻어진 전하량 간의 차이인 제1 차이값(Q1 - Q2)을 계산할 수 있다. 또한, 블러 판단부(130)는 제어 신호들 C3 과 C4가 하이 값인 동안 얻어진 전하량 간의 차이인 제2 차이값(Q3 - Q4)을 계산할 수 있다. 이후, 블러 판단부(130)는 상기 제2 차이값(Q3 - Q4)을 상기 제1 차이값(Q1 - Q2)으로 나눈 나눗셈값(Q3 - Q4/Q1 - Q2)에 아크탄젠트(arctangent) 함수를 적용하여 상기 깊이 정보(td)를 산출할 수 있다.
일례로서, 도 5에 도시된 4-phase/2-tap 방식의 실시예에서 제어신호 C1 내지 C4의 타이밍도가 전하 Q1 내지 Q4를 획득하기 위한 주기 1회를 나타낸다고 할 때, 이러한 주기를 n(n은 자연수)회 반복할 경우, Q1 내지 Q4는, 각각 n번 얻어질 수 있다. n회의 주기 동안 얻어진 전하량을 이용하여 한 장의 깊이 영상을 생성한다면, 앞서 설명한 제1 차이값은 nQ1 - nQ2일 수 있고, 제2 차이값은 nQ3 - nQ4일 수 있다. 또한, 한 픽셀에서의 깊이 정보(td)는 아래와 같은 수학식 1로 나타낼 수 있다.
Figure pat00001
만약, 카메라, 피사체 또는 배경에 움직임이 발생한다면, 센서부(120)에 포함된 픽셀 중 적어도 하나가 센싱하는 반사광 신호의 위상에는, 변화가 생길 수 있다.
도 7와 도 8는 일실시예에 따른, 피사체의 이동이 없는 경우와, 피사체의 이동이 있는 경우 각각에 대해, 반사광 신호와 제어신호 간의 관계를 도시하는 도면이다. 도 7 및 도 8는 이해를 돕기 위한 개념도일 뿐이므로, 도 7 및 도 8에 의해 다른 실시예가 한정적으로 해석되지는 않는다.
도 7 및 도 8에서 반사광 신호는 동그라미 지점(R)에서 반사된 것이며, 제어신호는 해당 지점의 반사광 신호를 센싱하는 센서부(120)의 픽셀을 제어한다.
도 7에서와 같이 피사체의 이동이 없는 경우, 제어신호의 첫 번째 하이값과 두 번째 하이값에서 생성되는 전하량은, 각각 Qa로 동일하다.
반면, 도 8에서와 같이 피사체의 이동으로 인하여, 조사광 신호가 반사되는 객체가 영상인 의자에서 배경으로 바뀔 경우(t0과 t1 시점의 동그라미 지점(R) 참조), 반사광 신호가 픽셀에 도달하는 시간은, t1에서 t1'으로 지연될 수 있다. 예컨대, 픽셀이 센싱하는 반사광 신호에는 위상 변화를 발생할 수 있다. 이 경우, 제어신호의 첫 번째 하이값 동안 생성되는 전하량과 두 번째 하이값 동안 생성되는 전하량은, 각각 Qa와 Qa'로 서로 다르다. 만약, 제어신호가 두 번의 하이값일 동안 생성된 전하를 이용하여 깊이값이 결정된다면, 도 8의 실시예에서는 Qa와 Qa'을 이용하여 깊이 영상 내의 한 픽셀값(동그라미 지점(R)에 대응)을 나타내게 될 것이므로, 해당 픽셀에 블러가 발생하게 된다.
이하에서는 앞서 설명한 도 5의 4-phase/2-tap의 실시예일 경우, 움직임이 발생한 지점에 대응되는 픽셀로부터 얻을 수 있는 깊이값에 대해 설명하도록 한다.
블러 판단부(130)는 n 주기의 제어 신호들(C1, C2) 중, 반사광 신호의 위상 변화가 발생하기 전, m 주기의 C1과 C2 간의 전하량 차이값인 제1 차이값(Q1 - Q2)를 계산하고, 위상차 변화가 발생하여 새로운 위상을 갖는 나머지 n-m 주기의 C1 과 C2 간의 전하량 차이값인 제1 차이값(
Figure pat00002
-
Figure pat00003
)를 계산하게 된다. 또한, 블러 판단부(130)는 n 주기의 제어 신호들(C3, C4) 중, 위상차 변화가 발생하기 전 m 주기의 C3 과 C4 간의 전하량 차이값인 제2 차이값(Q3 - Q4)를 계산하고, 위상차 변화가 발생하여 새로운 위상을 갖는 나머지 n-m 주기의 C3 과 C4 간의 전하량 차이값인 제2 차이값(
Figure pat00004
-
Figure pat00005
)를 계산할 수 있다.
이 경우, 상기 깊이 정보(td)는 아래와 같은 수학식 2으로 나타낼 수 있다.
Figure pat00006
m을 변수로 하는 함수 td는 1차 미분되어, 아래와 같은 수학식 3의 td' 로 나타낼 수 있다.
Figure pat00007
수학식 3을 풀면, 수학식 4와 같은 값을 얻을 수 있다.
Figure pat00008
예컨대, 위상차 변화에 의해 발생하는 깊이 정보(td)의 변화는 얻어진 m에서 1개의 로컬 최대값 또는 로컬 최소값을 가질 수 있음을 알 수 있다. 이때, m 주기의 위치는 움직임 전후의 깊이 정보에 따라 변함을 알 수 있다.
이상의 내용에서 ToF 방식 카메라에서 생성된 영상 내의 블러 현상은 양단 값의 중간값을 취하거나, 단조 증가/감소하는 형태로 발생하는 것이 아님을 알 수 있다. ToF 방식 카메라의 특성상 컬러 카메라와 다른 방식으로 영상을 획득하기 때문에, ToF 방식 카메라에서 생성된 영상에서 블러를 제거하는 방식은 컬러 카메라의 블러를 제거하는 방식과는 전혀 상이할 수 있다.
일 실시예로, 블러 판단부(130)는 제어 신호 C1 과 C2를 통해 얻은 전하량 'Q1', 'Q2' 간의 제1 차이값과 제어 신호 C3 과 C4를 통해 얻은 전하량 'Q3', 'Q4' 간의 제2 차이값을 n번 계산하고, 상기 계산된 결과를 이용하여 깊이 정보를 n번 산출할 수 있다. 예컨대, 블러 판단부(130)는 제어신호의 1회 주기마다 얻어진 전하량을 이용하여 깊이 정보를 산출하고, 이런 식으로 산출된 n개의 깊이 정보의 평균값을 이용하여 깊이 영상 한 프레임(frame)이 생성될 수도 있다.
이 경우, 블러 판단부(130)는 상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 깊이 영상에 블러가 발생한 것으로 판단할 수 있다. 예컨대, 반사광 신호의 위상이 일정한 값을 가지는 경우, 산출된 n개의 깊이 정보는 일정한 값을 가지게 된다. 반면, 반사광 신호의 위상이 일정한 값을 가지지 않는 경우, 산출된 n개의 깊이 정보도 일정한 값을 가지지 못하고 상기 일정하지 않는 값으로 산출됨으로써, 블러 판단부(130)는 영상 내에서 상기의 값을 가지는 영역에 블러가 발생한 것임을 판단할 수 있다.
도 9는 일실시예에 따른, 영상 내에서 블러가 발생된 블러 영역의 깊이 정보를 그래프로 도시한 도면이다.
블러 판단부(130)는 움직이는 객체에 대한 깊이 정보를 참조하여 블러의 발생 여부를 판단할 수 있다. 일례에 따르면, 블러 판단부(130)는 각 픽셀 좌표(픽셀값)와 연관된 깊이 정보가 균일한 값을 가지지 않는 영역에 블러가 발생한 것으로 판단할 수 있다.
도 9에서, 블러 판단부(130)는 깊이 정보가 어느 특정 영역에서 다른 깊이 정보와 다르게 큰 값을 갖는 경우, 다른 깊이 정보와 다른 값을 가지는 영역을 블러가 발생된 블러 영역(910)으로 판단할 수 있다. 예를 들어, 픽셀 좌표간 깊이 정보를 나열한 결과, 깊이 정보 그래프가 도 9와 같이 첨점 형태를 나타낼 경우, 블러 판단부(130)는 첨점을 이루는 픽셀 영역(910)에서 블러가 발생한 것으로 판단할 수 있다.
도 10는 일실시예에 따른, 블러가 발생한 영상과 깊이 정보 간의 연관성을 도시한 도면이다.
블러 판단부(130)는 영상들(도 10의 (a), (d), (g)) 내에서 일정 영역의 깊이 정보를 산출하고, 산출된 깊이 정보를 이용하여 영상들(도 10의 (a), (d), (g)) 내에서 블러가 발생하였는지 여부를 판단할 수 있다.
예를 들어, 도 10의 (b)와 (c)는 제1 영상(도 10의 (a))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 제1 영상(도 10의 (a))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는 완벽하게 일정한 값을 가지지는 않지만, 전체 픽셀 좌표에서 고른 깊이 정보를 가진다. 이 경우, 블러 판단부(130)는 제1 영상(도 10의 (a)) 내에서 블러가 발생하지 않은 것으로 판단할 수 있다.
도 10의 (e)와 (f)는 움직임이 있는 제2 영상(도 10의 (d))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 움직임이 있는 제2 영상(도 10의 (d))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는, 움직임이 없는 제1 영상(도 10의 (a))의 도 10의 (b)와 (c)에서 볼 수 없었던 특이한(첨점 형태나, 기울기의 급격한 변화 등) 깊이 정보 값을 가진다. 이 경우, 블러 판단부(130)는 제2 영상(도 10의 (d)) 내에서 블러가 발생한 것으로 판단할 수 있다.
도 10의 (h)와 (i)는 제3 영상(도 10의 (g))에서 i 영역과 ii 영역의 깊이 정보를 산출하여 표시하는 그래프이다. 제3 영상(도 10의 (g))의 i 영역과 ii 영역 모두에서 산출된 깊이 정보는 제1 영상(도 10의 (a))의 깊이 정보와 유사하게 완벽하게 일정한 값을 가지지는 않지만, 전체 픽셀 좌표에서 고른 깊이 정보를 가진다. 이 경우, 블러 판단부(130)는 제3 영상(도 10의 (g)) 내에서 블러가 발생하지 않은 것으로 판단할 수 있다.
도 11은 일실시예에 따른, 깊이 정보와 블러 모델 간의 연관성을 도시한 도면이다.
4-phase/2-tap의 구조를 가진 ToF 방식 카메라의 경우, 반사광 신호와 제어 신호들(C1 , C2, C3 , C4)을 통해 얻은 전하량(Q1 , Q2, Q3 , Q4) 중, Q1 - Q2와 Q3 - Q4의 관계는 도 11의 (b)와 같이 마름모 형태를 나타낼 수 있다. 예컨대, 피사체, 카메라, 배경 등에 움직임이 없는 경우, 전하량 Q1 - Q2와 Q3 - Q4의 관계는, 도 11의 (b)에 나타낸 바와 같은 마름모(710) 상에 존재할 수 있다. 물론, 각 제어 신호의 n 주기 동안 얻은 전하량의 차이인 n(Q1 - Q2)과 n(Q3 - Q4)간의 차이도 이와 유사한 형태를 나타낼 수 있다. 또한, 마름모의 크기나 형태는 실시예에 따라 달라질 수 있다. 도 11의 (a)에는 움직임에 의한 블러가 없는 상태를 나타내며, 각 픽셀별 깊이 정보를 산출하는데 사용된 전하량 간의 관계는 도 11의 (b)의 두 개 좌표(720, 730)에 대응될 수 있다.
반면, 도 11의 (c)는 블러로 인해 균일하지 않는 값(740)을 포함하고 있으며, 이 경우 Q1, Q2, Q3, Q4 간 관계는 도 11의 (d)에 나타난 바와 같이 마름모를 벗어난 영역(750)에 표시될 수 있다. 예컨대, 블러가 발생한 영상에서 얻어진 도 11의 (d)는 블러가 발생하지 않은 영상에서 얻어진 도 11의 (b)과 비교하여, 마름모의 위치 이외의 영역에 도식되는 값이 발생함을 알 수 있다.
블러 처리 장치(100)는 피사체, 카메라, 배경 등의 움직임이 없는 상황(예컨대, 움직임에 의한 블러가 발생하지 않는 상황)에서 반사광 신호와 제어신호에 의해 집적되는 전하량들 간의 관계를 나타내는 기준 전하량 관계 정보를 사전에 저장해 둘 수 있다.
기준 전하량 관계 정보의 일례는 도 11의 (b)에 도시된 마름모 그래프일 수 있으며, 실시예에 따라서 다른 모양의 그래프로 표현될 수 있다. 물론, 기준 전하량 관계 정보는 그래프 뿐만 아니라 테이블, 수식 등 다양한 형태로 표현될 수 있다. 블러 판단부(130)는 피사체 촬영 시 반사광 신호와 제어신호에 의해 집적되는 전하량들 간의 관계를 사전에 저장해 둔 기준 전하량 관계 정보와 비교할 수 있다. 이를 통해, 블러 판단부(130)는 블러가 발생 여부를 판단할 수 있다. 예를 들어, 만약, 촬영시 특정 픽셀에서 제어신호에 기반하여 얻어진 전하량 간의 관계가 기준 전하량 관계 정보를 벗어난다면, 블러 판단부(130)는 해당 픽셀에 블러가 발생한 것으로 판단할 수 있다.
예컨대, 블러 판단부(130)는 4-phase/2-tap의 구조를 가진 ToF 방식 카메라의 경우, 매 픽셀마다 위와 같이 제어 신호 전하량의 관계(Q1 - Q2, Q3 - Q4)가 정상 범위(마름모 모양 위의 점)를 벗어나는지의 여부를 판단함으로써, 블러 발생 여부를 판단할 수 있다.
L-phase/M-tap의 구조를 가진 ToF 방식 카메라의 각 경우에서도, 블러 판단부(130)는 각 제어 신호간 미리 정해진 위상차로 인하여 규정되는 각 전하량 Q1 ~ QN 간 정상 범위로부터 벗어나는지의 여부를 판단함으로써, ToF 방식 카메라의 각 픽셀의 깊이 정보를 계산하는 과정에서 바로 블러 발생 여부를 판단할 수 있다.
이렇게, 상기 판단 결과 블러가 발생한 경우, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생된 블러 영역 주변의 정상 픽셀값을 참조하여 상기 발생된 블러를 제거할 수 있다.
예를 들어, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다. 실시예로, 영상 처리부(140)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 블러가 발생하지 않은 주변의 정상 픽셀 중 가장 근거리에 위치한 픽셀의 깊이 값으로 대체할 수 있다. 또는, 영상 처리부(140)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체할 수 있다. 예를 들어, 영상 처리부(140)는 특정 프레임에서 블러가 발생한 픽셀값을 이전 프레임 또는 이후 프레임에서 동일한 좌표의 픽셀값으로 대체할 수 있다.
블러 판단부(130)는 ToF 방식 카메라의 각 탭 구조별 블러 모델을 생성할 수 있다. 상기에서 설명한 바와 같이, ToF 방식 카메라는 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등의 구조로 구성될 수 있다.
Figure pat00009
수학식 5에서는, 4-phase/1-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다.
Figure pat00010
수학식 6에서는, 4-phase/2-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다. 수학식 6에서, 블러 판단부(130)는 반사광 신호들의 관계가, m 주기의 C1과 C2 간의 전하량 합산값(Q1 + Q2)과, m 주기의 C3과 C4 간의 전하량 합산값(Q3 + Q4)이 동일한지, 예컨대 (Q1 + Q2 ) = (Q3 + Q4)를 만족하는지 여부를 판단함으로써, 영상 내에 블러가 발생하였는지 여부를 판단할 수 있다.
예컨대, 블러 판단부(130)는 획득된 반사광 신호들의 관계가 Q1 + Q2 = Q3 + Q4의 조건을 만족하는 경우, 영상 내에 블러가 발생하지 않은 것으로 판단하고, 획득된 반사광 신호들의 관계가 Q1 + Q2 = Q3 + Q4의 조건을 만족하지 않는 경우, 영상 내에 블러가 발생한 것으로 판단할 수 있다.
Figure pat00011
수학식 7에서는, 4-phase/4-tap 구조로 구성된 ToF 방식 카메라의 블러 모델을 예시한다.
도 12은 일실시예에 따른, 영상 내에서 블러를 제거하는 일례를 도시한 도면이다.
영상에 블러가 발생한 경우, 영상 처리부(140)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
도 12에서, 블러가 발생한 픽셀값은 마름모 형태의 그래프 안쪽에 표시된 값이고, 주변의 정상 픽셀값은 마름모 형태의 그래프 상에 표시된 값이다. 예컨대, 영상 처리부(140)는 마름모 형태의 그래프 안쪽에 표시된 값을, 마름모 형태의 그래프 상에 표시된 값으로 대체함으로써, 발생된 블러를 제거할 수 있다.
실시예로, 영상 처리부(140)는 주변의 정상 픽셀 중 가장 근거리에 위치한 픽셀의 깊이 정보로 상기 블러가 발생한 픽셀값을 대체함으로써, 발생된 블러를 제거할 수 있다. 또는, 영상 처리부(140)는 블러가 발생한 픽셀의 깊이 정보를, 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 정상 픽셀값으로 대체할 수 있다.
도 13은 일실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다. 여기서, 블러 처리 방법은 도 1에 도시한 블러 처리 장치(100)에 의해 수행될 수 있다.
도 13을 참고하면, 단계(1310)에서, 블러 처리 장치(100)는 광조사부(102)를 통해 조사광 신호를 객체(104)로 방출하고, 상기 방출된 조사광 신호가 상기 객체(104)로부터 반사되는 반사광 신호를 획득한다.
단계(1320)에서, 상기 블러 처리 장치(100)는 상기 획득한 반사광 신호의 위상차를 이용하여 깊이 정보를 산출할 수 있다.
단계(1330)에서, 상기 블러 처리 장치(100)는 상기 깊이 정보를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
상기 블러 처리 장치(100)는 서로 다른 위상차를 갖는 제어 신호들과 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출할 수 있다. 예컨대, 상기 블러 처리 장치(100)는 상기 반사광 신호와 서로 다른 위상차를 갖는 제어 신호들 각각에 의해 수광된 전하량들을 획득할 수 있다. 상기 블러 처리 장치(100)는 상기 획득된 전하량들과 상기 제어 신호들의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단할 수 있다.
단계(1340)에서, 상기 블러 처리 장치(100)는 상기 판단 결과 블러가 발생한 경우, 상기 영상 내에서 상기 블러가 발생된 블러 영역 주변의 정상 픽셀값을 이용하여 상기 발생된 블러를 제거한다.
상기 블러 처리 장치(100)는 상기 영상 내에서 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
또는, 상기 블러 처리 장치(100)는 상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거할 수 있다.
도 14는 다른 실시예에 따른 블러 처리 장치의 구성을 도시한 블록도이다.
도 14를 참고하면, 블러 처리 장치(1400)는 모델 식별부(1410), 검색부(1420), 및 영상 처리부(1430)를 포함할 수 있다. 예컨대, 블러 처리 장치(1400)는 반사광 신호와 제어 신호들의 전하량(Q1, Q2, Q3, Q4)이 제공되지 않는 경우에 영상 내에서 블러를 제거하는 방식으로 이용될 수 있다.
모델 식별부(1410)는 ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별할 수 있다. 상기 ToF 방식 카메라는 다양한 방식으로 생성한 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 가지고, M(M은 자연수)개의 전하량 저장 공간을 가지는 L-phase/M-tap 방식으로 구성될 수 있다. 따라서, 상기 블러 모델은 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등, ToF 방식 카메라의 구조에 따라 서로 상이한 모델을 가질 수 있다.
검색부(1420)는 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색한다. 검색부(1420)는 다양한 패턴 검색 방식들을 이용하여 상기 블러 모델과 연관된 패턴을 검색할 수 있다. 검색부(1420)는 검색 속도를 향상시키기 위하여, 오리엔테이션(orientation) 및 공간에서 피라미드(pyramid) 형태의 단계적 검색 방식을 사용할 수 있다.
실시예로, 검색부(1420)는 허프 변환(hough transformation)을 이용하여 패턴 검색 및 r-세타(theta) 공간에서 상기 패턴을 검색할 수 있다.
영상 처리부(1430)는 상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거한다. 영상 처리부(1430)는 상기 블러 영역에 노이즈 제거를 위하여 r-세타(theta) 공간 상에서 필터링을 수행할 수 있다. 이때, r-세타(theta) 공간에서 유클리드 거리(Euclidean distance)를 유효하게 하기 위하여, r과 세타(theta)간 서로 다른 가중치 파라미터를 적용할 수 있다.
도 15은 블러 모델을 이용하여 블러 영역을 필터링하는 일례를 도시한 도면이다.
도 15을 참고하면, 영상 처리부(1430)는 블러가 발생된 블러 영역(도 15의 (a))을 블러 모델(도 15의 (b))로 필터링하여, 블러가 제거된 영상(도 15의 (c))을 얻을 수 있다.
도 16은 다른 실시예에 따른 블러 처리 방법의 순서를 도시한 흐름도이다. 여기서, 블러 처리 방법은 도 14에 도시한 블러 처리 장치(1400)에 의해 수행될 수 있다.
도 16을 참고하면, 단계 1610에서, 블러 처리 장치(1400)는 ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별한다. 상기 ToF 방식 카메라는 서로 상이한 L(L은 자연수)개의 위상을 갖는 제어 신호들을 가지고, M(M은 자연수)개의 전하량 저장 공간을 가지는 L-phase/M-tap 방식으로 구성될 수 있다. 상기 블러 모델은 4-phase/1-tap, 4-phase/2-tap, 4-phase/4-tap 등, ToF 방식 카메라의 구조에 따라 서로 상이한 모델을 가질 수 있다.
단계 1620에서, 상기 블러 처리 장치(1400)는 상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색한다. 상기 블러 처리 장치(1400)는 다양한 패턴 검색 방식들을 이용하여 상기 블러 모델과 연관된 패턴을 검색할 수 있다. 상기 블러 처리 장치(1400)는 오리엔테이션 및 공간에서 피라미드 형태의 단계적 검색 방식을 사용함으로써, 검색 속도를 향상시킬 수 있다.
단계 1630에서, 상기 블러 처리 장치(1400)는 상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하여 상기 영상에서 상기 블러를 제거한다. 상기 블러 처리 장치(1400)는 상기 블러 영역에 노이즈 제거를 위하여 r-세타(theta) 공간 상에서 필터링을 수행할 수 있다.
실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 서술된 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 비록 한정된 실시예와 도면에 의해 설명되었으나, 실시예들은 상기의 실시예에 한정되는 것은 아니며, 당해 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 권리 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 블러 처리 장치
110: 제어부
120: 센서부
130: 블러 판단부
140: 영상 처리부

Claims (20)

  1. 제어 신호를 생성하는 제어부;
    조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 센서부; 및
    상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러(Blur) 여부를 판단하는 블러 판단부
    를 포함하는, 블러 처리 장치.
  2. 제1항에 있어서,
    상기 블러 판단부는,
    블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는, 블러 처리 장치.
  3. 제1항에 있어서,
    상기 조사광 신호가, ToF(Time of Flight) 방식 카메라를 통해 방출되는 경우,
    상기 블러 판단부는,
    상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는, 블러 처리 장치.
  4. 제3항에 있어서,
    상기 블러 판단부는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는, 블러 처리 장치.
  5. 제3항에 있어서,
    상기 센서부는,
    상기 반사광 신호와 서로 다른 위상차를 갖는 복수의 제어 신호 각각에 의해 수광된 전하량을 획득하고,
    상기 블러 판단부는,
    상기 획득된 전하량과 상기 제어 신호의 서로 다른 위상차로 인하여 규정되는 각 전하량 간의 관계가 정상 범위로부터 벗어나는지 여부에 따라 상기 영상에 블러가 발생하였는지 여부를 판단하는, 블러 처리 장치.
  6. 제3항에 있어서,
    상기 센서부는,
    n(n은 자연수)개의 반사광 신호를 획득하고,
    상기 블러 판단부는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 n개의 반사광 신호 간의 위상차를 계산하여 n개의 깊이 정보를 산출하고, 산출된 n개의 깊이 정보의 평균값을 산출하는, 블러 처리 장치.
  7. 제6항에 있어서,
    상기 블러 판단부는,
    상기 산출된 n개의 깊이 정보 중에서 적어도 하나가 플랏(flat)하지 않는 경우, 상기 영상에 블러가 발생한 것으로 판단하는, 블러 처리 장치.
  8. 제1항에 있어서,
    상기 판단 결과 블러가 발생한 경우,
    ToF 방식 카메라를 통해 획득된 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 영상 처리부
    를 더 포함하는, 블러 처리 장치.
  9. 제8항에 있어서,
    상기 영상 처리부는,
    상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하는, 블러 처리 장치.
  10. ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 모델 식별부;
    상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 검색부; 및
    상기 검색된 패턴 내에 블러 영역을 필터링하여 상기 영상에서 블러를 제거하는 영상 처리부
    를 포함하는, 블러 처리 장치.
  11. 제10항에 있어서,
    상기 영상 처리부는,
    r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는, 블러 처리 장치.
  12. 위상이 서로 다른 복수의 제어 신호를 생성하는 단계;
    조사광 신호가 객체로부터 반사되어 돌아오는 반사광 신호에 의해 생성되는 전자를 상기 제어 신호에 따라 집적하는 단계; 및
    상기 제어 신호 별로 집적된 전자의 양 간 관계를 이용하여 블러 여부를 판단하는 단계
    를 포함하는, 블러 처리 방법.
  13. 제12항에 있어서,
    상기 블러 여부를 판단하는 단계는,
    블러가 없는 경우를 나타내는 기준 전하량 관계 정보와 상기 집적된 전자의 양 간 관계를 비교하여 블러여부를 판단하는 단계
    를 포함하는, 블러 처리 방법.
  14. 제12항에 있어서,
    상기 조사광 신호가, ToF 방식 카메라를 통해 방출되는 경우,
    상기 블러 여부를 판단하는 단계는,
    상기 반사광 신호의 위상차를 이용하여 상기 ToF 방식 카메라를 통해 획득된 영상에 블러가 발생하였는지 여부를 판단하는 단계
    를 포함하는, 블러 처리 방법.
  15. 제14항에 있어서,
    상기 블러가 발생하였는지 여부를 판단하는 단계는,
    서로 다른 위상차를 갖는 복수의 제어 신호와 상기 반사광 신호 간의 위상차를 계산하여 깊이 정보를 산출하는 단계
    를 포함하는, 블러 처리 방법.
  16. 제14항에 있어서,
    상기 블러가 발생하였는지 여부를 판단하는 단계는,
    획득한 n(n은 자연수)개의 반사광 신호와, 서로 다른 위상차를 갖는 복수의 제어 신호 간의 위상차를 계산하는 단계;
    상기 계산된 결과를 이용하여 n개의 깊이 정보를 산출하는 단계; 및
    상기 산출된 n개의 깊이 정보의 평균값을 산출하는 단계
    를 포함하는, 블러 처리 방법.
  17. 제12항에 있어서,
    상기 판단 결과 블러가 발생한 경우,
    ToF 방식 카메라를 통해 획득한 영상 내에서, 상기 블러가 발생한 픽셀값을 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계
    를 더 포함하는, 블러 처리 방법.
  18. 제17항에 있어서,
    상기 발생된 블러를 제거하는 단계는,
    상기 블러가 발생한 블러 영역의 깊이 정보를, 상기 영상 내에서 상기 블러가 발생한 프레임과 상이한 시간의 이웃 프레임에 기초하여, 상기 블러가 발생하지 않은 주변의 정상 픽셀값으로 대체하여 상기 발생된 블러를 제거하는 단계
    를 포함하는, 블러 처리 방법.
  19. ToF 방식 카메라의 구조에 해당하는 블러 모델을 식별하는 단계;
    상기 ToF 방식 카메라를 통해 획득된 영상에서 상기 블러 모델과 연관된 패턴을 검색하는 단계;
    상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계; 및
    상기 블러 영역을 필터링한 영상에서 상기 블러를 제거하는 단계
    를 포함하는, 블러 처리 방법.
  20. 제19항에 있어서,
    상기 검색된 패턴 내에 블러 발생한 블러 영역을 필터링하는 단계는,
    r-세타(theta) 공간 상에서 상기 블러 영역을 필터링하는 단계
    를 포함하는, 블러 처리 방법.
KR1020120075386A 2011-07-12 2012-07-11 블러 처리 장치 및 방법 KR101929557B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201280003376.7A CN103181156B (zh) 2011-07-12 2012-07-11 模糊处理装置及方法
PCT/KR2012/005512 WO2013009099A2 (ko) 2011-07-12 2012-07-11 블러 처리 장치 및 방법
JP2014520126A JP6193227B2 (ja) 2011-07-12 2012-07-11 ブラー処理装置及び方法
US13/823,557 US9456152B2 (en) 2011-07-12 2012-07-11 Device and method for blur processing
EP12811416.2A EP2733928B1 (en) 2011-07-12 2012-07-11 Device and method for blur processing

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161506758P 2011-07-12 2011-07-12
US61/506,758 2011-07-12

Publications (2)

Publication Number Publication Date
KR20130008469A true KR20130008469A (ko) 2013-01-22
KR101929557B1 KR101929557B1 (ko) 2018-12-17

Family

ID=47838552

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120075386A KR101929557B1 (ko) 2011-07-12 2012-07-11 블러 처리 장치 및 방법

Country Status (2)

Country Link
EP (1) EP2733928B1 (ko)
KR (1) KR101929557B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2947477A3 (en) * 2014-05-19 2015-12-16 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9256944B2 (en) 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
KR102274033B1 (ko) * 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102562360B1 (ko) * 2018-10-05 2023-08-02 엘지이노텍 주식회사 깊이 정보를 획득하는 방법 및 카메라 모듈
CN111445404B (zh) * 2020-03-23 2024-06-25 上海数迹智能科技有限公司 一种基于双频和概率模型的相位去模糊方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5280030B2 (ja) * 2007-09-26 2013-09-04 富士フイルム株式会社 測距方法および装置
JP4895304B2 (ja) * 2007-09-26 2012-03-14 富士フイルム株式会社 測距方法および装置
KR101565969B1 (ko) * 2009-09-01 2015-11-05 삼성전자주식회사 깊이 정보를 추정할 수 있는 방법과 장치, 및 상기 장치를 포함하는 신호 처리 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2947477A3 (en) * 2014-05-19 2015-12-16 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9256944B2 (en) 2014-05-19 2016-02-09 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9477907B2 (en) 2014-05-19 2016-10-25 Rockwell Automation Technologies, Inc. Integration of optical area monitoring with industrial machine control
US9696424B2 (en) 2014-05-19 2017-07-04 Rockwell Automation Technologies, Inc. Optical area monitoring with spot matrix illumination
US9921300B2 (en) 2014-05-19 2018-03-20 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US11243294B2 (en) 2014-05-19 2022-02-08 Rockwell Automation Technologies, Inc. Waveform reconstruction in a time-of-flight sensor
US9625108B2 (en) 2014-10-08 2017-04-18 Rockwell Automation Technologies, Inc. Auxiliary light source associated with an industrial application
KR102274033B1 (ko) * 2020-03-04 2021-07-08 (주)미래컴퍼니 다중 주파수를 이용하여 모션 블러를 저감하는 깊이 영상 획득 장치

Also Published As

Publication number Publication date
EP2733928B1 (en) 2021-09-22
EP2733928A2 (en) 2014-05-21
KR101929557B1 (ko) 2018-12-17
EP2733928A4 (en) 2015-04-22

Similar Documents

Publication Publication Date Title
JP6193227B2 (ja) ブラー処理装置及び方法
KR20130008469A (ko) 블러 처리 장치 및 방법
US10841491B2 (en) Reducing power consumption for time-of-flight depth imaging
US10061182B2 (en) Systems and methods for autofocus trigger
JP6271990B2 (ja) 画像処理装置、画像処理方法
US8897546B2 (en) Semi-global stereo correspondence processing with lossless image decomposition
CN109903324B (zh) 一种深度图像获取方法及装置
JP5932476B2 (ja) 画像処理装置、撮像装置、距離計測方法および距離計測プログラム
US20140347553A1 (en) Imaging devices with light sources for reduced shadow, controllers and methods
EP3293698A1 (en) Time-of-flight measuring apparatus and image processing method for reducing blur of depth image therein
KR102194233B1 (ko) 깊이 영상 생성 장치 및 방법
US9456152B2 (en) Device and method for blur processing
KR101096807B1 (ko) 3차원 위치 정보 획득 장치 및 방법
US20120300115A1 (en) Image sensing device
JP2015034732A (ja) 距離算出装置、撮像装置および距離算出方法
CN107517346B (zh) 基于结构光的拍照方法、装置及移动设备
JP6319972B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
JP2013040791A (ja) 画像処理装置および画像処理方法、プログラム
CA2796543C (en) System and method for performing depth estimation utilizing defocused pillbox images
KR102516495B1 (ko) 스테레오-시간적 이미지 시퀀스들로부터 향상된 3-d 데이터 재구성을 위한 방법들 및 장치
CN107360354B (zh) 拍照方法、装置、移动终端和计算机可读存储介质
JP2012015642A (ja) 撮像装置
CN109559353A (zh) 摄像模组标定方法、装置、电子设备及计算机可读存储介质
CN110490196A (zh) 主体检测方法和装置、电子设备、计算机可读存储介质
US9995905B2 (en) Method for creating a camera capture effect from user space in a camera capture system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant