KR20220141006A - 촬영 장치 - Google Patents
촬영 장치 Download PDFInfo
- Publication number
- KR20220141006A KR20220141006A KR1020210046976A KR20210046976A KR20220141006A KR 20220141006 A KR20220141006 A KR 20220141006A KR 1020210046976 A KR1020210046976 A KR 1020210046976A KR 20210046976 A KR20210046976 A KR 20210046976A KR 20220141006 A KR20220141006 A KR 20220141006A
- Authority
- KR
- South Korea
- Prior art keywords
- modulated light
- tof sensor
- light signal
- bgl
- offset
- Prior art date
Links
- 238000001514 detection method Methods 0.000 claims abstract description 19
- 230000003213 activating effect Effects 0.000 claims abstract description 5
- 238000000034 method Methods 0.000 claims description 41
- 230000003595 spectral effect Effects 0.000 claims description 12
- 238000006243 chemical reaction Methods 0.000 claims description 6
- 230000004044 response Effects 0.000 claims description 6
- 238000003384 imaging method Methods 0.000 claims description 5
- 101100113084 Schizosaccharomyces pombe (strain 972 / ATCC 24843) mcs2 gene Proteins 0.000 description 13
- 230000004913 activation Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 6
- 238000005259 measurement Methods 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- NINIDFKCEFEMDL-UHFFFAOYSA-N Sulfur Chemical compound [S] NINIDFKCEFEMDL-UHFFFAOYSA-N 0.000 description 5
- 229910052724 xenon Inorganic materials 0.000 description 5
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 229910052717 sulfur Inorganic materials 0.000 description 4
- 239000011593 sulfur Substances 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000000969 carrier Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 239000013256 coordination polymer Substances 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000005684 electric field Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000011514 reflex Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 239000005864 Sulphur Substances 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910052736 halogen Inorganic materials 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000010453 quartz Substances 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N silicon dioxide Inorganic materials O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 229910052721 tungsten Inorganic materials 0.000 description 1
- 239000010937 tungsten Substances 0.000 description 1
- -1 tungsten halogen Chemical class 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/026—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by measuring distance between sensor and object
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/02—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness
- G01B11/022—Measuring arrangements characterised by the use of optical techniques for measuring length, width or thickness by means of tv-camera scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/10—Systems determining position data of a target for measuring distance only using transmission of interrupted, pulse-modulated waves
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/08—Systems determining position data of a target for measuring distance only
- G01S17/32—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
- G01S17/36—Systems determining position data of a target for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated with phase comparison between the received signal and the contemporaneously transmitted signal
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- H04N5/2253—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Measurement Of Optical Distance (AREA)
Abstract
본 발명의 일 실시 예에 따른 촬영 장치는, 변조광 신호가 조사된 기준 펄스 시점 및 상기 변조광 신호가 대상 물체로부터 반사되어 입사되는 반사 변조광 신호가 감지된 펄스 감지 시점 간의 시간차를 이용하여 상기 대상 물체와의 거리를 계산하는 제1 ToF(time of flight) 센서; 상기 변조광 신호와 상기 반사 변조광 신호 간의 위상차를 이용하여 상기 대상물체와의 거리를 계산하는 제2 ToF 센서; 및 상기 제1 ToF 센서가 상기 반사 변조광 신호를 감지하기 위해 생성하는 제1 픽셀 데이터에 기초하여, 상기 제1 ToF 센서 및 상기 제2 ToF 센서 중 하나를 활성화하는 컨트롤러를 포함할 수 있다.
Description
본 개시는 ToF(time-of-flight) 방식으로 대상물과의 거리를 감지할 수 있는 센서를 포함하는 촬영 장치에 관한 것이다.
이미지 센서는 빛에 반응하는 반도체의 성질을 이용하여 이미지를 캡쳐(capture)하는 장치이다. 최근 들어, 컴퓨터 산업과 통신 산업의 발달에 따라 스마트폰, 디지털 카메라, 게임기기, 사물 인터넷(Internet of Things), 로봇, 경비용 카메라, 의료용 마이크로 카메라 등 다양한 분야에서 성능이 향상된 이미지 센서의 수요가 증대되고 있다.
이미지 센서는 크게 CCD(Charge Coupled Device) 이미지 센서와, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서로 구분될 수 있다. CCD 이미지 센서는 CMOS 이미지 센서에 비해 잡음(noise)이 적고, 화질이 우수하다. 하지만, CMOS 이미지 센서는 구동 방식이 간편하고 다양한 스캐닝(scanning) 방식으로 구현 가능하다. 또한, CMOS 이미지 센서는 신호 처리 회로를 단일 칩에 집적할 수 있어 제품의 소형화가 용이하고 전력 소모가 매우 낮으며, CMOS 공정 기술을 호환하여 사용할 수 있어 제조 단가가 낮다. 최근에는 모바일 기기에 보다 적합한 특성으로 인하여 CMOS 이미지 센싱 장치가 많이 이용되고 있다.
본 발명의 기술적 사상은 모드를 가변하여 대상물과의 거리를 감지하는 촬영 장치를 제공하기 위함이다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 문서에 개시되는 본 발명의 일 실시 예에 따른 촬영 장치는, 변조광 신호가 조사된 기준 펄스 시점 및 상기 변조광 신호가 대상 물체로부터 반사되어 입사되는 반사 변조광 신호가 감지된 펄스 감지 시점 간의 시간차를 이용하여 상기 대상 물체와의 거리를 계산하는 제1 ToF(time of flight) 센서; 상기 변조광 신호와 상기 반사 변조광 신호 간의 위상차를 이용하여 상기 대상물체와의 거리를 계산하는 제2 ToF 센서; 및 상기 제1 ToF 센서가 상기 반사 변조광 신호를 감지하기 위해 생성하는 제1 픽셀 데이터에 기초하여, 상기 제1 ToF 센서 및 상기 제2 ToF 센서 중 하나를 활성화하는 컨트롤러를 포함할 수 있다.
본 발명의 다른 실시예에 따른 촬영 장치는, 백그라운드 광이 태양광인 상태에서 생성된 픽셀 데이터에 기초하여 결정되는 기준 BGL 오프셋을 저장하는 RBO 저장부; 및 상기 기준 BGL 오프셋을 이용하여 제1 동작 모드와 제2 동작 모드 중 하나를 선택하는 컨트롤러를 포함하고, 상기 제1 동작 모드는, 대상 물체로 조사되는 변조광 신호와, 상기 변조광 신호가 상기 대상 물체로부터 반사되어 입사되는 반사 변조광 신호 간의 시간차를 이용하여, 상기 대상 물체와의 거리를 계산하는 모드이고, 상기 제2 동작 모드는, 상기 변조광 신호와 상기 반사 변조광 신호 간의 위상차를 이용하여, 상기 대상 물체와의 거리를 계산하는 모드일 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 촬영 환경에 따라 최적의 ToF 방식을 선택하여 대상물과의 거리를 감지할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 본 발명의 일 실시예에 따른 촬영 장치를 나타낸 도면이다.
도 2는 도 1에 도시된 제1 ToF 센서를 보다 상세히 나타낸 블록도이다.
도 3은 제1 ToF 센서가 대상 물체와의 거리를 측정하는 방법을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 제2 ToF 센서를 보다 상세히 나타낸 블록도이다.
도 5a는 제2 ToF 센서가 대상 물체와의 거리를 측정하는 방법의 일 예를 설명하기 위한 도면이다.
도 5b는 제2 ToF 센서가 대상 물체와의 거리를 측정하는 방법의 다른 예를 설명하기 위한 도면이다.
도 6은 도 1에 도시된 촬영 장치의 동작 방법을 나타낸 흐름도이다.
도 7은 제1 픽셀 데이터(PD1)의 히스토그램의 일 예를 나타낸 그래프이다.
도 8은 광원 별 분광 조사 강도(spectral irradiance)를 나타낸 그래프이다.
도 2는 도 1에 도시된 제1 ToF 센서를 보다 상세히 나타낸 블록도이다.
도 3은 제1 ToF 센서가 대상 물체와의 거리를 측정하는 방법을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 제2 ToF 센서를 보다 상세히 나타낸 블록도이다.
도 5a는 제2 ToF 센서가 대상 물체와의 거리를 측정하는 방법의 일 예를 설명하기 위한 도면이다.
도 5b는 제2 ToF 센서가 대상 물체와의 거리를 측정하는 방법의 다른 예를 설명하기 위한 도면이다.
도 6은 도 1에 도시된 촬영 장치의 동작 방법을 나타낸 흐름도이다.
도 7은 제1 픽셀 데이터(PD1)의 히스토그램의 일 예를 나타낸 그래프이다.
도 8은 광원 별 분광 조사 강도(spectral irradiance)를 나타낸 그래프이다.
이하, 첨부된 도면을 참조하여 다양한 실시 예가 설명될 것이다. 그러나, 본 개시는 특정한 실시 예에 한정되지 않고, 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 본 개시의 실시 예는 본 개시를 통해 직간접적으로 인식될 수 있는 다양한 효과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 촬영 장치를 나타낸 도면이다.
도 1을 참조하면, 촬영 장치(image photographing apparatus, 10)는 정지 영상을 촬영하는 디지털 스틸 카메라 또는 동영상을 촬영하는 디지털 비디오 카메라 등의 장치를 의미할 수 있다. 예를 들어, 촬영 장치(10)는 디지털 일안 리플렉스 카메라(Digital Single Lens Reflex; DSLR), 미러리스(mirrorless) 카메라, 또는 핸드폰(특히, 스마트폰)으로 구현될 수 있으나, 이에 한정되는 것은 아니다. 촬영 장치(10)는 렌즈 및 촬상 소자를 포함함에 의해, 피사체를 촬영하고 이미지를 생성할 수 있는 장치를 포함하는 개념일 수 있다.
촬영 장치(10)는 광원 모듈(light source module, 50), 제1 ToF 센서(first time-of-flight(ToF) sensor, 100), 제2 ToF 센서(second ToF sensor, 200), 컨트롤러(controller, 300), 이미지 신호 프로세서(image signal processor, 400) 및 RBO(reference background-light offset) 저장부(RBO storage unit, 500)를 포함할 수 있다. 촬영 장치(10)는 촬영 장치(10)로부터 조사된 광이 대상 물체(30)에 의해 반사되어 입사되는 시간에 기초하여 대상 물체(30)와의 거리를 산출하는 ToF(time of flight) 원리를 이용하여 거리를 측정할 수 있다.
촬영 장치(10)는 활성화된 ToF 센서의 종류에 따라 제1 동작 모드와 제2 동작 모드의 2가지 모드를 가질 수 있다. 제1 동작 모드는 제1 ToF 센서(100)가 활성화되고 제2 ToF 센서(200)가 비활성화된 모드로서, 제1 ToF 센서(100)를 이용해 대상 물체(30)와의 거리를 측정하는 모드를 의미할 수 있다. 제2 동작 모드는 제1 ToF 센서(100)가 비활성화되고 제2 ToF 센서(200)가 활성화된 모드로서, 제2 ToF 센서(200)를 이용해 대상 물체(30)와의 거리를 측정하는 모드를 의미할 수 있다.
광원 모듈(50)은 컨트롤러(300)의 제어 신호에 응답하여 대상 물체(30)에 변조광 신호(modulated light signal, MLS)를 조사할 수 있다. 광원 모듈(50)은 특정 파장 대역의 광(예컨대, 적외선 또는 가시광)을 발광하는 레이저 다이오드(LD; Laser Diode)나 발광 다이오드(LED; Light Emitting Diode), 근적외선 레이저(NIR; Near Infrared Laser), 포인트 광원, 백색 램프 및 모노크로메이터(monochromator)가 조합된 단색(monochromatic) 조명원, 또는 다른 레이저 광원의 조합일 수 있다. 예를 들어, 광원 모듈(50)은 800㎚ 내지 1000㎚의 파장을 가지는 적외선을 발광할 수 있다. 변조광 신호(MLS)는 미리 정해진 변조 특성(예컨대, 파형, 파장, 주기, 진폭, 주파수, 위상, 듀티비(duty rate) 등)으로 변조된 광 펄스 신호일 수 있다. 또한, 변조광 신호(MLS)의 변조 특성은 제1 동작 모드와 제2 동작 모드 각각에서 서로 달라질 수 있다. 예를 들어, 제1 동작 모드에서 조사되는 변조광 신호(MLS)의 펄스(pulse)의 진폭은 제2 동작 모드에서 조사되는 변조광 신호(MLS)의 펄스의 진폭보다 클 수 있다.
제1 ToF 센서(100)는 컨트롤러(300)의 제어에 따라 제1 ToF 방식을 이용하여 대상 물체(30)와의 거리를 측정할 수 있다. 일 실시예에 따라, 제1 ToF 방식은 다이렉트(direct) ToF 방식일 수 있다. 다이렉트 ToF 방식은 대상 물체(30)로 미리 정해진 변조 특성으로 변조된 변조광 신호(MLS)를 조사한 시점으로부터 변조광 신호(MLS)가 대상 물체(30)로부터 반사되어 입사되는 시점까지의 시간차인 왕복 시간을 직접 측정하여, 왕복 시간과 광속을 연산함에 의해 대상 물체(30)와의 거리를 계산하는 방식이다.
제1 ToF 센서(100)는 컨트롤러(300)로부터 제어 신호를 공급받아 동작할 수 있다. 제1 ToF 센서(100)는 대상 물체(30)와의 거리를 계산하는 과정에서 생성되는 픽셀 데이터를 컨트롤러(300)로 제공할 수 있다. 또한, 제1 ToF 센서(100)는 대상 물체(30)와의 거리를 측정한 결과를 이미지 신호 프로세서(400)로 전송할 수 있다.
제2 ToF 센서(200)는 컨트롤러(300)의 제어에 따라 제2 ToF 방식을 이용하여 대상 물체(30)와의 거리를 측정할 수 있다. 일 실시예에 따라, 제2 ToF 방식은 인다이렉트(indirect) ToF 방식일 수 있다. 인다이렉트 ToF 방식은 대상 물체(30)로 미리 정해진 변조 특성으로 변조된 변조광 신호(MLS)를 조사하고, 대상 물체(30)로부터 반사되어 입사되는 반사 변조광 신호(MLS_R)를 감지한 뒤, 변조광 신호(MLS)와 반사 변조광 신호(MLS_R) 간의 위상차를 연산하여 대상 물체(30)와의 거리를 계산하는 방식이다.
제2 ToF 센서(200)는 컨트롤러(300)로부터 제어 신호를 공급받아 동작할 수 있다. 또한, 제2 ToF 센서(200)는 대상 물체(30)와의 거리를 측정한 결과를 이미지 신호 프로세서(400)로 전송할 수 있다.
컨트롤러(300)는 촬영 장치(10)에 포함된 구성들의 전반적인 제어를 수행하며, 특히 촬영 장치(10)의 동작 모드를 제1 동작 모드 및 제2 동작 모드 중 어느 하나로 선택하여, 제1 ToF 센서(100) 또는 제2 ToF 센서(200)를 활성화할 수 있다.
컨트롤러(300)는 제1 ToF 센서(100)로부터 제공되는 픽셀 데이터 및 RBO 저장부(500)로부터 제공되는 RBO에 기초하여 촬영 장치(10)의 동작 모드를 결정할 수 있으며, 이에 대한 도 6 이하를 참조하여 후술하기로 한다.
이미지 신호 프로세서(400)는 제1 ToF 센서(100)와 제2 ToF 센서(200) 각각으로부터 입력되는 각 픽셀 별 거리 데이터를 수집하여 대상 물체(30)와의 거리를 나타내는 깊이 이미지를 생성할 수 있다. 또한, 이미지 신호 프로세서(400)는 생성된 깊이 이미지에 대해 노이즈 제거 및 화질 개선을 위한 영상 신호 처리를 수행할 수 있다. 이미지 신호 프로세서(400)로부터 출력된 깊이 이미지는 사용자의 요청에 따라 또는 자동적으로 촬영 장치(10) 또는 촬영 장치(10)가 탑재된 장치의 내장 메모리 또는 외장 메모리에 저장되거나, 디스플레이를 통해 표시될 수 있다. 또는 이미지 신호 프로세서(400)로부터 출력된 깊이 이미지는 촬영 장치(10) 또는 촬영 장치(10)가 탑재된 장치의 동작을 제어하는데 이용될 수 있다.
RBO 저장부(500)는 적어도 하나의 광원 종류에 대응하는 RBO를 저장하는 데이터베이스(database)일 수 있다. RBO는 변조광 신호(MLS)의 파장 범위와 동일한 파장 범위의 백그라운드 광(background light)이 제1 ToF 센서(100)에 의해 감지되어 생성되는 픽셀 데이터를 백그라운드 광의 종류 별로 실험적으로 저장한 데이터일 수 있다. 제1 ToF 센서(100)는 변조광 신호(MLS)가 발생하지 않는 상황에서도 촬영 장치(10) 주변의 백그라운드 광을 감지하여 백그라운드 광의 세기에 대응하는 픽셀 데이터를 생성할 수 있다. 촬영 장치(10)는 테스트 단계에서 백그라운드 광을 달리하면서 백그라운드 광의 세기에 대응하는 픽셀 데이터를 생성할 수 있고, RBO 저장부(500)는 생성된 픽셀 데이터를 해당 백그라운드 광의 RBO로 저장할 수 있다. 예를 들어, 백그라운드 광은 태양광일 수 있다.
이러한 RBO는 백그라운드 광의 종류 별로 다른 값을 가질 수 있어, 백그라운드 광을 식별하기 위한 정보로 이용될 수 있다. 본 발명의 일 실시예에 따른 촬영 장치(10)의 컨트롤러(300)는 제1 ToF 센서(100)로부터 제공되는 픽셀 데이터로부터 획득되는 정보와 RBO 저장부(500)로부터 제공되는 RBO를 비교하여, 촬영 장치(10)에 작용하는 백그라운드 광을 식별하여 촬영 장치(10)가 실외(outdoor)에 위치하는지 또는 실내(indoor)에 위치하는지 판단할 수 있다. 촬영 장치(10)가 실외에 위치하는 것으로 판단된 경우, 컨트롤러(300)는 촬영 장치(10)를 제1 동작 모드로 동작시킬 수 있다. 반대로 촬영 장치(10)가 실내에 위치하는 것으로 판단된 경우, 컨트롤러(300)는 촬영 장치(10)를 제2 동작 모드로 동작시킬 수 있다.
실외에서는 태양광이 주요한 백그라운드 광으로 작용하고, 개방된 공간으로 인해 촬영 장치(10)와 대상 물체(30) 간의 거리가 상대적으로 클 수 있다. 실내에서는 태양광이 아닌 실내 조명이 주요한 백그라운드 광으로 작용하고, 폐쇄된 공간으로 인해 촬영 장치(10)와 대상 물체(30) 간의 거리가 상대적으로 작을 수 있다.
제1 ToF 센서(100)는 태양광과의 간섭이 상대적으로 작고, 유효 측정 거리가 상대적으로 길 수 있다. 여기서, 유효 측정 거리는 실질적으로 측정 가능한 최대 거리를 의미할 수 있다. 반면에, 제2 ToF 센서(100)는 태양광과의 간섭이 상대적으로 크고, 유효 측정 거리가 상대적으로 짧을 수 있다. 따라서, 촬영 장치(10)가 실외에 위치할 경우, 촬영 장치(10)는 실외에 보다 적합한 제1 ToF 센서(100)를 활성화시키는 제1 동작 모드로 동작할 수 있다. 또한, 촬영 장치(10)가 실내에 위치할 경우, 촬영 장치(10)는 실내에 보다 적합한 제2 ToF 센서(200)를 활성화시키는 제2 동작 모드로 동작할 수 있다.
도 2는 도 1에 도시된 제1 ToF 센서를 보다 상세히 나타낸 블록도이다. 도 3은 제1 ToF 센서가 대상 물체와의 거리를 측정하는 방법을 설명하기 위한 도면이다.
도 2를 참조하면, 제1 ToF 센서(100)는 제1 픽셀 어레이(110), 제1 리드아웃 회로(120) 및 제1 계산부(130)를 포함할 수 있다.
제1 픽셀 어레이(110)는 2차원 매트릭스 구조로 연속적으로 배열된(예를 들어, 컬럼(column) 방향 및 로우(row) 방향을 따라 연속적으로 배열된) 복수의 제1 픽셀들을 포함할 수 있다. 제1 픽셀들 각각은 렌즈 모듈(미도시)을 통해 수신된 반사 변조광 신호(MLS_R)를 광전 변환시켜 반사 변조광 신호(MLS_R)의 세기에 대응하는 전기 신호인 제1 픽셀 신호(PS1)를 생성하여 제1 리드아웃 회로(120)로 출력할 수 있다. 이때, 제1 픽셀 신호(PS1)는 대상 물체(30)에 대한 색상을 나타내는 신호가 아닌 대상 물체(30)와의 거리에 대응하는 정보를 나타내는 신호일 수 있다.
여기서, 렌즈 모듈(미도시)은 대상 물체(30)로부터 반사된 반사 변조광 신호(MLS_R)를 수집하여 제1 픽셀 어레이(110)에 집중시키는 집광 렌즈를 포함할 수 있다. 집광 렌즈는 유리 또는 플라스틱 표면의 집중 렌즈 또는 다른 원통형 광학 원소를 포함할 수 있다. 집광 렌즈는 적어도 하나의 렌즈들이 형성하는 하나의 렌즈 군을 포함할 수 있다. 또한, 렌즈 모듈은 변조광 신호(MLS)의 파장 범위와 동일한 파장 범위에 해당하는 광을 선택적으로 투과시키는 광학 필터를 포함할 수 있다. 이로 인해, 제1 픽셀 어레이(110)로 입사되는 광은 변조광 신호(MLS)의 파장 범위에 포함되는 광으로 제한될 수 있어, 변조광 신호(MLS)의 파장 범위 밖의 광에 의한 노이즈 발생이 억제될 수 있다.
일 실시예에 따라, 집광 렌즈와 광학 필터는 제1 픽셀들 각각에 대응하여 구비될 수 있다.
일 실시예에 따라, 제1 픽셀들 각각은 다이렉트 ToF 방식을 위한 다이렉트 픽셀일 수 있다. 제1 픽셀들 각각은 입사광의 세기에 대응하는 광전하를 생성 및 축적하는 광전 변환 소자, 및 광전하의 양에 대응하는 제1 픽셀 신호(PS1)를 생성하는 픽셀 신호 회로를 포함할 수 있다.
예를 들어, 제1 픽셀들 각각은 SPAD(single-photon avalanche diode) 픽셀일 수 있다. SPAD 픽셀의 동작 원리에 대해 설명하면, SPAD에 역 바이어스 전압을 인가하여 전계를 증가시키고, 강하게 걸린 전계로 인해 입사된 광자에 의해 발생된 전자가 이동하면서 전자-정공 쌍이 생성되는 충돌 이온화(impact ionization)가 발생하게 된다. 특히, 항복 전압(breakdown voltage)보다 높은 역 바이어스 전압이 인가되는 가이거 모드(geiger mode)에서 동작하는 SPAD에서는 입사광에 의해 발생한 캐리어(전자 또는 정공)와 충돌 이온화 현상으로 생성된 전자와 전공들이 서로 충돌하면서 무수히 많은 캐리어들이 생성될 수 있다. 따라서, SPAD는 단일 광자가 입사되더라도 단일 광자가 애벌란시 항복을 트리거(trigger)하며, 이에 따라 측정 가능한 전류 펄스가 생성될 수 있다.
제1 리드아웃 회로(120)는 제1 픽셀들 각각으로부터 출력되는 아날로그 형태의 제1 픽셀 신호(PS1)를 처리하여 제1 픽셀 신호(PS1)에 대응하는 디지털 데이터인 제1 픽셀 데이터(PD1)를 생성할 수 있다. 예를 들어, 제1 리드아웃 회로(120)는 제1 픽셀 신호(PS1)를 제1 픽셀 데이터(PD1)로 아날로그 디지털 변환하기 위한 아날로그-디지털 컨버터(analog-to-digital converter)를 포함할 수 있다.
제1 리드아웃 회로(120)는 제1 픽셀 데이터(PD1)를 제1 계산부(130) 및 컨트롤러(300)로 전송할 수 있다.
제1 계산부(130)는 컨트롤러(300)로부터 제공되는 기준 펄스 시점과, 제1 픽셀 데이터(PD1)를 분석하여 결정한 펄스 감지 시점을 비교하여 기준 펄스 시점으로부터 펄스 감지 시점까지의 비행 시간을 계산하고, 계산된 비행 시간을 기초로 대상 물체(30)와 제1 ToF 센서(100) 간의 거리를 계산하여 계산 결과를 이미지 신호 프로세서(400)로 전송할 수 있다. 여기서, 기준 펄스 시점은 변조광 신호(MLS)가 조사된 시점을 의미하고, 펄스 감지 시점은 변조광 신호(MLS)가 대상 물체(30)로부터 반사되어 입사되는 반사 변조광 신호(MLS_R)가 감지된 시점을 의미할 수 있다.
도 3을 참조하면, 제1 ToF 센서(100)가 거리를 계산하는 방법의 일 예시가 도시되어 있다.
제1 ToF 센서(100)가 활성화된 상태에서 조사되는 변조광 신호(MLS)는 제2 ToF 센서(200)가 활성화된 상태에서 조사되는 변조광 신호(MLS)에 비해 상대적으로 진폭이 크고 펄스 폭이 작은 펄스를 가질 수 있으며, 펄스가 발생하는 시점은 기준 펄스 시점(RPT)으로 정의될 수 있다. 제1 계산부(130)는 컨트롤러(300)가 광원 모듈(50)을 제어하기 위한 제어 신호를 제공받아 기준 펄스 시점(RPT)을 결정할 수 있다.
제1 픽셀 어레이(110)와 제1 리드아웃 회로(120)는 대상 물체(30)로부터 반사되어 입사되는 반사 변조광 신호(MLS_R)를 감지하여 제1 픽셀 데이터(PD1)를 생성할 수 있다.
제1 계산부(130)는 제1 픽셀 데이터(PD1)를 분석하여 제1 픽셀 데이터(PD1)가 임계 데이터 이상의 값을 갖는 시점을 펄스 감지 시점(PST)으로 결정할 수 있다.
제1 계산부(130)는 기준 펄스 시점(RPT)으로부터 펄스 감지 시점(PST)까지의 시간차인 비행 시간(ToF)을 계산하고, 계산된 비행 시간(ToF)과 광속을 연산하여(예컨대, ToF를 2로 나눈 값을 광속과 곱함) 대상 물체(30)와 제1 ToF 센서(100) 간의 거리를 계산할 수 있다.
도 4는 도 1에 도시된 제2 ToF 센서를 보다 상세히 나타낸 블록도이다. 도 5a는 제2 ToF 센서가 대상 물체와의 거리를 측정하는 방법의 일 예를 설명하기 위한 도면이다. 도 5b는 제2 ToF 센서가 대상 물체와의 거리를 측정하는 방법의 다른 예를 설명하기 위한 도면이다.
도 4를 참조하면, 제2 ToF 센서(200)는 제2 픽셀 어레이(210), 제2 리드아웃 회로(220) 및 제2 계산부(230)를 포함할 수 있다.
제2 픽셀 어레이(210)는 2차원 매트릭스 구조로 연속적으로 배열된(예를 들어, 컬럼(column) 방향 및 로우(row) 방향을 따라 연속적으로 배열된) 복수의 제2 픽셀들을 포함할 수 있다. 제2 픽셀들 각각은 렌즈 모듈(미도시)을 통해 수신된 반사 변조광 신호(MLS_R)를 광전 변환시켜 반사 변조광 신호(MLS_R)의 세기에 대응하는 전기 신호인 제2 픽셀 신호(PS2)를 생성하여 제2 리드아웃 회로(220)로 출력할 수 있다. 이때, 제2 픽셀 신호(PS2)는 대상 물체(30)에 대한 색상을 나타내는 신호가 아닌 대상 물체(30)와의 거리에 대응하는 정보를 나타내는 신호일 수 있다. 렌즈 모듈(미도시)은 도 2에서 설명된 바, 중복된 설명은 생략하기로 한다.
일 실시예에 따라, 제2 픽셀들 각각은 인다이렉트 ToF 방식을 위한 인다이렉트 픽셀일 수 있다. 예를 들어, 제2 픽셀들 각각은 CAPD(current-assisted photonics demodulation) 픽셀일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. 제2 픽셀들 각각은 입사광의 세기에 대응하는 광전하를 생성 및 축적하는 광전 변환 소자, 및 서로 다른 타이밍에서 생성된 광전하의 양에 대응하는 제2 픽셀 신호(PS2)를 각각 생성하는 제1 및 제2 픽셀 신호 회로를 포함할 수 있다. 이를 위해 제1 및 제2 픽셀 신호 회로 각각은 광전하를 감지하는 타이밍을 제어하기 위한 서로 다른 신호인 제1 변조 제어 신호(MCS1) 및 제2 변조 제어 신호(MCS2)를 각각 수신할 수 있다. 제1 변조 제어 신호(MCS1) 및 제2 변조 제어 신호(MCS2)는 서로 반대의 위상(즉, 180도 위상차)을 가질 수 있다. 예를 들어, 제1 변조 제어 신호(MCS1) 및 제2 변조 제어 신호(MCS2)는 각각 변조광 신호(MLS)와는 0도의 위상차(즉, 동위상) 및 180도의 위상차를 가질 수 있다. 또는 제1 변조 제어 신호(MCS1) 및 제2 변조 제어 신호(MCS2)는 각각 변조광 신호(MLS)와는 90도의 위상차(즉, 동위상) 및 270도의 위상차를 가질 수 있다.
제1 픽셀 신호 회로는 제1 변조 제어 신호(MCS1)에 응답하여 제1 구간에서 생성된 광전하의 양에 대응하는 제2 픽셀 신호(PS2)를 생성하여 제2 리드아웃 회로(220)로 전송할 수 있다. 제2 픽셀 신호 회로는 제2 변조 제어 신호(MCS2)에 응답하여 제1 구간과는 다른 제2 구간에서 생성된 광전하의 양에 대응하는 제2 픽셀 신호(PS2)를 생성하여 제2 리드아웃 회로(220)로 전송할 수 있다.
제2 리드아웃 회로(220)는 제2 픽셀들 각각으로부터 출력되는 아날로그 형태의 제2 픽셀 신호(PS2)를 처리하여 제2 픽셀 신호(PS2)에 대응하는 디지털 데이터인 제2 픽셀 데이터(PD2)를 생성할 수 있다. 예를 들어, 제2 리드아웃 회로(220)는 제2 픽셀 신호(PS2)를 제2 픽셀 데이터(PD2)로 아날로그 디지털 변환하기 위한 아날로그-디지털 컨버터(analog-to-digital converter)를 포함할 수 있다.
제2 리드아웃 회로(220)는 제2 픽셀 데이터(PD2)를 제2 계산부(230)로 전송할 수 있다.
제2 계산부(230)는 제1 및 제2 픽셀 신호 회로 각각이 생성한 제2 픽셀 신호(PS2)가 변환된 제2 픽셀 데이터(PD2)를 비교하여 변조광 신호(MLS)와 반사 변조광 신호(MLS) 간의 위상차를 계산하고, 계산된 위상차를 기초로 대상 물체(30)와 제2 ToF 센서(200) 간의 거리를 계산하여 계산 결과를 이미지 신호 프로세서(400)로 전송할 수 있다.
도 5a를 참조하면, 제2 ToF 센서(200)가 거리를 계산하는 방법의 일 예시가 도시되어 있다.
도 5a에서 설명되는 제2 ToF 센서(200)가 거리를 계산하는 방법은 제1 위상차 검출 방식으로 정의될 수 있고, 제1 위상차 검출 방식은 서로 다른 2개의 위상을 갖는 변조 신호들을 이용한다는 측면에서 2-phase modulation 방식으로도 불릴 수 있다.
제2 ToF 센서(200)가 활성화된 상태에서 조사되는 변조광 신호(MLS)는 제1 ToF 센서(100)가 활성화된 상태에서 조사되는 변조광 신호(MLS)에 비해 상대적으로 진폭이 작고 펄스 폭이 큰 펄스를 가질 수 있다. 반사 변조광 신호(MLS_R)는 변조광 신호(MLS)가 대상 물체(30)에 의해 반사되어 입사되는 비행 시간으로 인해 변조광 신호(MLS)와는 소정의 위상차(θ)를 가질 수 있다.
제1 변조 제어 신호(MCS1)는 변조광 신호(MLS)와 동위상(0도의 위상차)을 가지며, 제1 구간(PR1)에서 활성화 전압(또는 로직 하이 레벨)을 가질 수 있다. 활성화 전압을 갖는 제1 변조 제어 신호(MCS1)에 의해 제1 구간(PR1)에서 생성된 광전하의 양(Q(0))을 나타내는 제2 픽셀 데이터(PD2)가 생성될 수 있다.
제2 변조 제어 신호(MCS2)는 변조광 신호(MLS)와 반대 위상(180도의 위상차)을 가지며, 제2 구간(PR2)에서 활성화 전압(또는 로직 하이 레벨)을 가질 수 있다. 활성화 전압을 갖는 제2 변 조 제어 신호(MCS2)에 의해 제2 구간(PR2)에서 생성된 광전하의 양(Q(π))을 나타내는 제2 픽셀 데이터(PD2)가 생성될 수 있다.
즉, 반사 변조광 신호(MLS_R)는 제1 구간(PR1)과 제2 구간(PR2)으로 나누어 캡쳐될 수 있다.
제2 계산부(230)는 제1 구간(PR1)과 제2 구간(PR2)에서 캡쳐된 광전하의 양(Q(0), Q(π))을 나타내는 제2 픽셀 데이터(PD2)에 기초하여 다음의 수학식1에 따라 위상차(θ)를 계산할 수 있고, 위상차(θ)에 비례하는 비행 시간으로부터 제2 ToF 센서(200)와 대상 물체(30) 간의 거리를 계산할 수 있다.
[수학식1]
도 5b를 참조하면, 제2 ToF 센서(200)가 거리를 계산하는 방법의 다른 예시가 도시되어 있다.
도 5b에서 설명되는 제2 ToF 센서(200)가 거리를 계산하는 방법은 제2 위상차 검출 방식으로 정의될 수 있고, 제2 위상차 검출 방식은 서로 다른 4개의 위상을 갖는 변조 신호들을 이용한다는 측면에서 4-phase modulation 방식으로도 불릴 수 있다.
제2 ToF 센서(200)가 대상 물체(30)와의 거리를 계산하기 위한 동작 구간은 연속적인 제1 센싱 주기(SP1)와 제2 센싱 주기(SP2)로 구분될 수 있다.
변조광 신호(MLS) 및 반사 변조광 신호(MLS_R)는 도 5a에 도시된 변조광 신호(MLS) 및 반사 변조광 신호(MLS_R)와 실질적으로 동일한 신호로서 소정의 위상차(θ)를 가진다고 가정하기로 한다. 또한, 제1 센싱 주기(SP1)와 제2 센싱 주기(SP2)에서 변조광 신호(MLS) 및 반사 변조광 신호(MLS_R) 간의 위상차(θ)는 일정하게 유지된다고 가정하기로 한다.
제1 센싱 주기(SP1)에서, 제1 변조 제어 신호(MCS1)는 변조광 신호(MLS)와 동위상(0도의 위상차)을 가지며, 제1 구간(PR1)에서 활성화 전압(또는 로직 하이 레벨)을 가질 수 있다. 활성화 전압을 갖는 제1 변조 제어 신호(MCS1)에 의해 제1 구간(PR1)에서 생성된 광전하의 양(Q(0))을 나타내는 제2 픽셀 데이터(PD2)가 생성될 수 있다.
제1 센싱 주기(SP1)에서, 제2 변조 제어 신호(MCS2)는 변조광 신호(MLS)와 반대 위상(180도의 위상차)을 가지며, 제2 구간(PR2)에서 활성화 전압(또는 로직 하이 레벨)을 가질 수 있다. 활성화 전압을 갖는 제2 변조 제어 신호(MCS2)에 의해 제2 구간(PR2)에서 생성된 광전하의 양(Q(π))을 나타내는 제2 픽셀 데이터(PD2)가 생성될 수 있다.
제2 센싱 주기(SP2)에서, 제1 변조 제어 신호(MCS1)는 변조광 신호(MLS)와 90도의 위상차를 가지며, 제3 구간(PR3)에서 활성화 전압(또는 로직 하이 레벨)을 가질 수 있다. 활성화 전압을 갖는 제1 변조 제어 신호(MCS1)에 의해 제3 구간(PR3)에서 생성된 광전하의 양(Q(π/2))을 나타내는 제2 픽셀 데이터(PD2)가 생성될 수 있다.
제2 센싱 주기(SP2)에서, 제2 변조 제어 신호(MCS2)는 변조광 신호(MLS)와 270도의 위상차를 가지며, 제4 구간(PR4)에서 활성화 전압(또는 로직 하이 레벨)을 가질 수 있다. 활성화 전압을 갖는 제2 변조 제어 신호(MCS2)에 의해 제4 구간(PR4)에서 생성된 광전하의 양(Q(3π/2))을 나타내는 제2 픽셀 데이터(PD2)가 생성될 수 있다.
즉, 반사 변조광 신호(MLS_R)는 제1 센싱 주기(SP1)에서 제1 구간(PR1)과 제2 구간(PR2)으로 나누어 캡쳐되고, 제2 센싱 주기(SP2)에서 제3 구간(PR3)과 제4 구간(PR4)으로 나누어 캡쳐될 수 있다. 반사 변조광 신호(MLS_R)에 의해 생성되는 광전하의 총 전하량(total charge)은 Q(0)과 Q(π)의 합 또는 Q(π/2)와 Q(3π/2)의 합으로 정의될 수 있다.
Q(0)과 Q(π) 간의 차의 절대값을 ΔQ(0)(= │Q(0)-Q(π)│)으로 정의하고, Q(π/2)와 Q(3π/2) 간의 차의 절대값을 ΔQ(π/2)(= │Q(π/2)-Q(3π/2)│)으로 정의하기로 한다. Q(0)를 획득하기 위한 제1 변조 제어 신호(MCS1) 및 Q(π)를 획득하기 위한 제2 변조 제어 신호(MCS2)는 각각 Q(π/2)를 획득하기 위한 제1 변조 제어 신호(MCS1) 및 Q(3π/2)을 획득하기 위한 제2 변조 제어 신호(MCS2)와 90도의 위상차를 가짐에 따라, ΔQ(0)와 ΔQ(π/2)의 합은 일정한 값(즉, 총 전하량)을 가질 수 있다.
일정한 값을 갖는 ΔQ(0)와 ΔQ(π/2)의 합에 대해, 위상차(θ)의 변화에 따라 ΔQ(0)와 ΔQ(π/2) 각각은 선형적으로 증감할 수 있다. 즉, 위상차(θ)가 증가함에 따라, ΔQ(0)은 위상차(θ)가 0에서 π인 구간에서 선형적으로 감소하다가, 위상차(θ)가 π에서 2π인 구간에서 선형적으로 증가할 수 있다. ΔQ(π/2)는 위상차(θ)가 0에서 π/2인 구간에서 선형적으로 증가하다가, 위상차(θ)가 π/2에서 3π/2인 구간에서 선형적으로 감소하고, 위상차(θ)가 3π/2에서 2π인 구간에서 선형적으로 증가할 수 있다. 따라서, ΔQ(0)와 ΔQ(π/2) 간의 비율 관계에 기초하여 위상차(θ)가 산출될 수 있다.
제2 계산부(230)는 제1 내지 제4 구간(PR1~PR4)에서 캡쳐된 광전하의 양(Q(0), Q(π), Q(π/2), Q(3π/2))을 나타내는 제2 픽셀 데이터(PD2)에 기초하여 ΔQ(0)와 ΔQ(π/2)를 계산하고, 다음의 수학식2에 따라 위상차(θ)를 계산할 수 있고, 위상차(θ)에 비례하는 비행 시간으로부터 제2 ToF 센서(200)와 대상 물체(30) 간의 거리를 계산할 수 있다.
[수학식2]
특히, 제2 위상차 검출 방식(4-phase modulation 방식)에 의하면, 위상차 연산시 ΔQ(0)와 ΔQ(π/2) 같은 differential value를 이용함으로써 Q(0), Q(π), Q(π/2) 및 Q(3π/2) 각각에 포함된 백그라운드 노이즈에 따른 성분이 제거될 수 있어 보다 정확한 거리 계산이 가능할 수 있다.
도 6은 도 1에 도시된 촬영 장치의 동작 방법을 나타낸 흐름도이다. 도 7은 제1 픽셀 데이터(PD1)의 히스토그램의 일 예를 나타낸 그래프이다. 도 8은 광원 별 분광 조사 강도(spectral irradiance)를 나타낸 그래프이다.
도 6을 참조하면, 촬영 장치(10)의 작동이 시작되면, 초기 동작 모드는 디폴트(default)로 제1 동작 모드로 설정될 수 있다. 따라서, 컨트롤러(300)는 제1 ToF 센서(100)를 활성화하고 제2 ToF 센서(200)를 비활성화할 수 있다. 활성화된 제1 ToF 센서(100)는 대상 물체(30)로부터 반사되어 입사되는 반사 변조광 신호(MLS_R)를 감지하여 제1 픽셀 데이터(PD1)를 생성할 수 있다(S10). 제1 픽셀 데이터(PD1)는 제1 픽셀 어레이(110)에 포함된 하나의 제1 픽셀의 제1 픽셀 신호(PS1)가 변환된 데이터를 의미할 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. 다른 실시예에 따라, 제1 픽셀 데이터(PD1)는 제1 픽셀 어레이(110)에 포함된 하나의 로우에 속한 제1 픽셀들의 제1 픽셀 신호들(PS1)이 변환된 데이터의 평균값 또는 제1 픽셀 어레이(110)에 포함된 전체의 제1 픽셀들의 제1 픽셀 신호들(PS1)이 변환된 데이터의 평균값을 의미할 수도 있다.
컨트롤러(300)는 제1 픽셀 데이터(PD1)로부터 제1 픽셀 데이터(PD1)의 히스토그램을 획득할 수 있다(S20). 제1 픽셀 데이터(PD1)는 미리 정해진 주기에 따라 주기적으로 생성될 수 있다. 제1 픽셀 데이터(PD1)의 히스토그램은 연속적으로 생성되는 제1 픽셀 데이터(PD1)를 시간에 따라 누적한 그래프일 수 있다.
도 7을 함께 참조하면, 시간에 따라 제1 픽셀 데이터(PD1)를 누적한 제1 픽셀 데이터(PD1)의 히스토그램이 도시되어 있다.
소정의 누적 구간(CP) 동안 연속적으로 생성된 제1 픽셀 데이터(PD1)가 누적될 수 있다. 여기서, 제1 픽셀 데이터(PD1)는 임계 데이터(TD) 이상의 값을 갖는 제1 픽셀 데이터(PD1_1)와 임계 데이터(TD) 미만의 값을 갖는 제1 픽셀 데이터(PD1_2)로 구분될 수 있다. 임계 데이터(TD)는 제1 픽셀 데이터(PD1)가 반사 변조광 신호(MLS_R)의 펄스에 해당하는지 여부를 판단하기 위해 실험적으로 결정된 값일 수 있다. 즉, 제1 픽셀 데이터(PD1_1)는 반사 변조광 신호(MLS_R)의 펄스의 세기를 나타내며, 제1 픽셀 데이터(PD1_2)는 반사 변조광 신호(MLS_R)의 펄스가 아닌 촬영 장치(10)로 입사되는 백그라운드 광의 세기를 나타낼 수 있다.
컨트롤러(300)는 제1 픽셀 데이터(PD1)의 히스토그램에 기초하여 BGL 오프셋을 산출할 수 있다(S30). 도 7에서, 컨트롤러(300)는 누적 구간(CP) 동안 백그라운드 광을 감지한 결과인 제1 픽셀 데이터(PD1_2)의 평균값을 계산하고, 계산된 평균값을 BGL 오프셋으로 결정할 수 있다.
컨트롤러(300)는 BGL 오프셋을 RBO 저장부(500)로부터 제공되는 태양광의 RBO와 비교할 수 있다(S40). 태양광의 RBO는 제1 ToF 센서(100)에 태양광이 백그라운드 광으로 작용하는 상태에서 제1 ToF 센서(100)가 생성하는 제1 픽셀 데이터(PD1)를 수집하여 실험적으로 결정된 값일 수 있다.
본 개시에서는 태양광의 RBO를 이용해 촬영 장치(10)가 실외에 위치하는지 또는 실내에 위치하는지 판단하는 실시예에 대해 설명하나, 본 발명의 범위는 이에 한정되지 않고 다른 광의 RBO를 이용해 촬영 장치(10)의 주변 환경을 판단하여 촬영 장치(10)의 동작 모드가 가변될 수도 있다.
도 8을 참조하면, 광원의 종류 별 분광 조사 강도를 나타낸 그래프가 도시되어 있다. 분광 조사 강도는 특정 파장(단위: nm(나노미터))에서의 광 출력 밀도를 의미하는 것으로서, W/(m2*nm) (W: 와트, m: 미터)의 단위를 가질 수 있다.
도 8에는 파장 변화에 따른 태양광(solar spectrum), 유황 램프(sulphur lamp), 제논 아크 램프(xenon arc lamp), QTH(quartz tungsten halogen) 램프, 미러 백열 램프(mirror incandescent lamp) 각각의 분광 조사 강도가 도시되어 있다.
변조광 신호(MLS)의 파장 범위(MLS wavelength range)에서 분광 조사 강도의 평균값은 유황 램프, 제논 아크 램프, 태양광, QTH 램프, 미러 백열 램프의 순서로 증가할 수 있다. 변조광 신호(MLS)의 파장 범위는 근적외선(near infrared ray)에 해당하는 파장 범위일 수 있으나, 본 발명의 범위는 이에 한정되지 않는다. 분광 조사 강도는 해당 광원의 광 출력 밀도를 의미하는 것이므로, 각 광원의 RBO는 변조광 신호(MLS)의 파장 범위에서의 각 광원의 분광 조사 강도의 평균값에 비례할 수 있다. 즉, 각 광원의 RBO는 광원 별로 분광 조사 강도의 평균값이 달라짐에 따라 서로 다른 값을 가지게 되고, 특정 광원을 식별할 수 있는 데이터가 될 수 있다.
예를 들어, 유황 램프, 제논 아크 램프, 태양광, QTH 램프, 미러 백열 램프 각각의 RBO는 20, 60, 100, 130, 150일 수 있다. 즉, 제1 ToF 센서(100)가 생성한 제1 픽셀 데이터(PD1)가 100과 유사하다면, 제1 ToF 센서(100)에 작용하는 백그라운드 광은 태양광일 가능성이 높으며, 이에 따라 촬영 장치(10)는 실외에 위치한다고 볼 수 있다. 반대로, 제1 ToF 센서(100)가 생성한 제1 픽셀 데이터(PD1)가 100과 유사하지 않다면, 제1 ToF 센서(100)에 작용하는 백그라운드 광은 태양광이 아닐 가능성이 높으며, 이에 따라 촬영 장치(10)는 실내에 위치한다고 볼 수 있다.
컨트롤러(300)는 BGL 오프셋을 RBO 저장부(500)로부터 제공되는 태양광의 RBO와 비교하여, BGL 오프셋이 태양광의 RBO(예컨대, 100)를 중심으로 하는 유사 범위(예컨대, 85~115)에 포함되는지 여부에 따라 현재 촬영 장치(10)가 실외에 위치하는지 여부를 판단할 수 있다(S50).
만일 BGL 오프셋이 유사 범위에 포함되어 현재 촬영 장치(10)가 실외에 위치하는 것으로 판단된 경우(S50의 Yes), 컨트롤러(300)는 촬영 장치(10)의 동작 모드를 제1 동작 모드로 유지하여, 제1 ToF 센서(100)를 이용해 대상 물체(30)와의 거리를 측정할 수 있다(S60). 이는 제1 ToF 센서(100)는 비교적 진폭이 크고 펄스폭이 작은 펄스를 갖는 반사 변조광 신호(MLS_R)를 감지하므로, 태양광과의 간섭이 상대적으로 작고 유효 측정 거리가 상대적으로 길기 때문이다.
만일 BGL 오프셋이 유사 범위에 포함되지 않아 현재 촬영 장치(10)가 실내에 위치하는 것으로 판단된 경우(S50의 No), 컨트롤러(300)는 촬영 장치(10)의 동작 모드를 제2 동작 모드로 변경하여, 제2 ToF 센서(200)를 이용해 대상 물체(30)와의 거리를 측정할 수 있다. 이는 제2 ToF 센서(200)는 비교적 진폭이 작고 펄스폭이 큰 펄스를 갖는 반사 변조광 신호(MLS_R)를 감지하므로, 태양광과의 간섭이 상대적으로 크고 유효 측정 거리가 상대적으로 짧기 때문이다.
BGL 오프셋이 유사 범위에 포함되지 않으면서 BGL 오프셋이 태양광의 RBO보다 큰 경우(S70의 Yes), 컨트롤러(300)는 제2 위상차 검출 방식으로 제2 ToF 센서(200)를 동작시킬 수 있다(S80). 이는 촬영 장치(10)가 실내에 위치하긴 하나, QTH 램프, 미러 백열 램프와 같이 분광 조사 강도가 비교적 높은 백그라운드 광이 제2 ToF 센서(200)에 작용할 수 있으므로, differential value를 이용해 백그라운드 성분을 제거할 수 있는 제2 위상차 검출 방식으로 제2 ToF 센서(200)가 대상 물체(30)와의 거리를 측정하는 것이 보다 유리하기 때문이다.
BGL 오프셋이 유사 범위에 포함되지 않으면서 BGL 오프셋이 태양광의 RBO보다 작은 경우(S70의 No), 컨트롤러(300)는 제1 위상차 검출 방식으로 제2 ToF 센서(200)를 동작시킬 수 있다(S90). 이는 촬영 장치(10)가 실내에 위치하고, 유황 램프, 제논 아크 램프와 같이 분광 조사 강도가 비교적 낮은 백그라운드 광이 제2 ToF 센서(200)에 작용할 수 있으므로, 동작 속도가 비교적 빠른 제1 위상차 검출 방식으로 제2 ToF 센서(200)가 대상 물체(30)와의 거리를 측정하는 것이 보다 유리하기 때문이다.
촬영 장치(10)가 실내에 위치함에 따라 제2 ToF 센서(200)를 이용하여 거리를 측정하다가, 촬영 장치(10)가 실외로 이동하는 경우를 가정할 수 있다. 또는 촬영 장치(10)가 실외에 위치함에 따라 제1 ToF 센서(100)를 이용하여 거리를 측정하다가, 촬영 장치(10)가 실내로 이동하는 경우를 가정할 수 있다. 이 경우, 촬영 장치(10)는 촬영 환경에 부적합한 동작 모드로 계속 동작할 수 있다. 이를 방지하기 위해, 컨트롤러(300)는 특정 주기, 사용자의 요청, 또는 제1 또는 제2 ToF 센서(200)의 계산 결과로부터 정상적인 거리 계산이 불가능한 상태임을 인지한(예를 들어, 계산된 거리가 0 또는 유효 측정 거리로 반복되는 경우) 이미지 신호 프로세서(400)의 요청에 따라, 도 6에 도시된 프로세스를 다시 실행할 수 있다. 특히, 현재 동작 모드가 제2 동작 모드인 경우, 컨트롤러(300)는 모드 변경을 통해 제1 동작 모드로 촬영 장치(10)를 동작시켜 도 6에 도시된 프로세스를 실행할 수 있다.
본 발명의 일 실시예에 따른 촬영 장치(10)에 의하면, 촬영 장치(10)의 백그라운드 광을 분석하여 분석 결과에 따라 최적의 동작 모드로 동작할 수 있다.
Claims (15)
- 변조광 신호가 조사된 기준 펄스 시점 및 상기 변조광 신호가 대상 물체로부터 반사되어 입사되는 반사 변조광 신호가 감지된 펄스 감지 시점 간의 시간차를 이용하여 상기 대상 물체와의 거리를 계산하는 제1 ToF(time of flight) 센서;
상기 변조광 신호와 상기 반사 변조광 신호 간의 위상차를 이용하여 상기 대상물체와의 거리를 계산하는 제2 ToF 센서; 및
상기 제1 ToF 센서가 상기 반사 변조광 신호를 감지하기 위해 생성하는 제1 픽셀 데이터에 기초하여, 상기 제1 ToF 센서 및 상기 제2 ToF 센서 중 하나를 활성화하는 컨트롤러를 포함하는 촬영 장치. - 제1항에 있어서,
상기 컨트롤러는, 상기 제1 픽셀 데이터를 누적한 히스토그램으로부터 백그라운드 광의 세기를 나타내는 BGL(background light) 오프셋을 산출하고, 상기 BGL 오프셋과 미리 저장된 기준 BGL 오프셋을 비교하여 상기 제1 ToF 센서 및 상기 제2 ToF 센서 중 하나를 활성화하는 촬영 장치. - 제2항에 있어서,
상기 컨트롤러는, 상기 히스토그램에서 임계 데이터 미만의 값을 갖는 상기 제1 픽셀 데이터의 평균값을 계산하여 상기 BGL 오프셋을 산출하는 촬영 장치. - 제2항에 있어서,
상기 기준 BGL 오프셋은 상기 제1 ToF 센서에 작용하는 백그라운드 광이 태양광인 상태에서 생성된 제1 픽셀 데이터에 기초하여 결정되는 촬영 장치. - 제2항에 있어서,
상기 기준 BGL 오프셋은 태양광의 분광 조사 강도(spectral irradiance)에 비례하는 촬영 장치. - 제2항에 있어서,
상기 BGL 오프셋이 상기 기준 BGL 오프셋을 중심으로 하는 유사 범위에 포함되는 경우, 상기 컨트롤러는 상기 제1 ToF 센서를 활성화하는 촬영 장치. - 제2항에 있어서,
상기 BGL 오프셋이 상기 기준 BGL 오프셋을 중심으로 하는 유사 범위에 포함되지 않는 경우, 상기 컨트롤러는 상기 제2 ToF 센서를 활성화하는 촬영 장치. - 제7항에 있어서,
상기 BGL 오프셋이 상기 유사 범위에 포함되지 않으면서 상기 BGL 오프셋이 상기 기준 BGL 오프셋보다 큰 경우, 상기 컨트롤러는 서로 다른 4개의 위상을 갖는 변조 신호들을 이용하여 상기 제2 ToF 센서를 동작시키는 촬영 장치. - 제7항에 있어서,
상기 BGL 오프셋이 상기 유사 범위에 포함되지 않으면서 상기 BGL 오프셋이 상기 기준 BGL 오프셋보다 작은 경우, 상기 컨트롤러는 서로 다른 2개의 위상을 갖는 변조 신호들을 이용하여 상기 제2 ToF 센서를 동작시키는 촬영 장치. - 제1항에 있어서,
상기 제1 ToF 센서는,
상기 반사 변조광 신호의 세기에 대응하는 전기 신호인 제1 픽셀 신호를 각각 생성하는 복수의 제1 픽셀들을 포함하는 제1 픽셀 어레이;
상기 제1 픽셀 신호를 아날로그-디지털 변환하여 상기 제1 픽셀 데이터를 생성하는 제1 리드아웃 회로; 및
상기 제1 픽셀 데이터가 임계 데이터 이상의 값을 갖는 시점을 상기 펄스 감지 시점으로 결정하고, 상기 기준 펄스 시점과 상기 펄스 감지 시점 간의 시간차를 이용하여 상기 대상 물체와의 거리를 계산하는 제1 계산부를 포함하는 촬영 장치. - 제10항에 있어서,
상기 복수의 제1 픽셀들 각각은 SPAD(single-photon avalanche diode) 픽셀인 촬영 장치. - 제1항에 있어서,
상기 제2 ToF 센서는,
서로 다른 위상을 갖는 제1 및 제2 변조 제어 신호에 응답하여 상기 반사 변조광 신호의 세기에 대응하는 전기 신호인 제2 픽셀 신호를 각각 생성하는 복수의 제2 픽셀들을 포함하는 제1 픽셀 어레이;
상기 제2 픽셀 신호를 아날로그-디지털 변환하여 제2 픽셀 데이터를 생성하는 제2 리드아웃 회로; 및
상기 제1 변조 제어 신호에 응답하여 생성된 상기 제2 픽셀 데이터와, 상기 제2 변조 제어 신호에 응답하여 생성된 상기 제2 픽셀 데이터를 비교하여, 상기 위상차를 계산하고, 상기 위상차를 이용하여 상기 대상 물체와의 거리를 계산하는 제2 계산부를 포함하는 촬영 장치. - 제10항에 있어서,
상기 복수의 제2 픽셀들 각각은 CAPD(current-assisted photonics demodulation) 픽셀인 촬영 장치. - 제1항에 있어서,
상기 제1 ToF 센서가 활성화된 상태에서 조사되는 상기 변조광 신호의 진폭은 상기 제2 ToF 센서가 활성화된 상태에서 조사되는 상기 변조광 신호의 진폭보다 크고,
상기 제1 ToF 센서가 활성화된 상태에서 조사되는 상기 변조광 신호의 펄스 폭은 상기 제2 ToF 센서가 활성화된 상태에서 조사되는 상기 변조광 신호의 펄스 폭보다 작은 촬영 장치. - 백그라운드 광이 태양광인 상태에서 생성된 픽셀 데이터에 기초하여 결정되는 기준 BGL 오프셋을 저장하는 RBO 저장부; 및
상기 기준 BGL 오프셋을 이용하여 제1 동작 모드와 제2 동작 모드 중 하나를 선택하는 컨트롤러를 포함하고,
상기 제1 동작 모드는, 대상 물체로 조사되는 변조광 신호와, 상기 변조광 신호가 상기 대상 물체로부터 반사되어 입사되는 반사 변조광 신호 간의 시간차를 이용하여, 상기 대상 물체와의 거리를 계산하는 모드이고,
상기 제2 동작 모드는, 상기 변조광 신호와 상기 반사 변조광 신호 간의 위상차를 이용하여, 상기 대상 물체와의 거리를 계산하는 모드인 촬영 장치.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210046976A KR20220141006A (ko) | 2021-04-12 | 2021-04-12 | 촬영 장치 |
| CN202210294328.3A CN115201851A (zh) | 2021-04-12 | 2022-03-24 | 图像捕获设备 |
| US17/705,026 US20220326385A1 (en) | 2021-04-12 | 2022-03-25 | Image capturing apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210046976A KR20220141006A (ko) | 2021-04-12 | 2021-04-12 | 촬영 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20220141006A true KR20220141006A (ko) | 2022-10-19 |
Family
ID=83509212
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210046976A KR20220141006A (ko) | 2021-04-12 | 2021-04-12 | 촬영 장치 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20220326385A1 (ko) |
| KR (1) | KR20220141006A (ko) |
| CN (1) | CN115201851A (ko) |
-
2021
- 2021-04-12 KR KR1020210046976A patent/KR20220141006A/ko unknown
-
2022
- 2022-03-24 CN CN202210294328.3A patent/CN115201851A/zh active Pending
- 2022-03-25 US US17/705,026 patent/US20220326385A1/en active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| CN115201851A (zh) | 2022-10-18 |
| US20220326385A1 (en) | 2022-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6899005B2 (ja) | 光検出測距センサ | |
| US8610043B2 (en) | Proximity sensor having an array of single photon avalanche diodes and circuitry for switching off illumination source and associated method, computer readable medium and firmware | |
| EP3365700B1 (en) | System and method for determining a distance to an object | |
| US8681260B2 (en) | Dual site imaging camera | |
| US8610808B2 (en) | Color CMOS imager with single photon counting capability | |
| KR20190055238A (ko) | 물체까지의 거리를 결정하기 위한 시스템 및 방법 | |
| KR20190057125A (ko) | 이미징 어레이 내의 픽셀의 노출 값으로부터 백그라운드 광을 차감하기 위한 방법 및 이를 이용한 픽셀 | |
| KR20200096828A (ko) | 물체까지의 거리를 결정하기 위한 시스템 및 방법 | |
| US10326956B2 (en) | Circuits for self-powered image sensors | |
| KR20120071907A (ko) | 다이내믹 레인지 삼차원 영상 시스템 | |
| JP4533582B2 (ja) | 量子効率変調を用いたｃｍｏｓコンパチブルの三次元イメージセンシングのためのシステム | |
| JP2019529957A (ja) | 物体までの距離を測定するためのシステム | |
| US20170343338A1 (en) | Capture device assembly, three-dimensional shape measurement device, and motion detection device | |
| US20220221562A1 (en) | Methods and systems for spad optimizaiton | |
| US11754717B2 (en) | Distance measurement device having external light illuminance measurement function and external light illuminance measurement method | |
| KR20140134529A (ko) | 촬상 장치 및 제어 방법 | |
| WO2012069851A1 (en) | Radiation sensor | |
| WO2021112763A1 (en) | Time of flight sensing method | |
| KR20210132364A (ko) | 이미지 센서 | |
| KR20220141006A (ko) | 촬영 장치 | |
| CN108647541B (zh) | 一种条码扫描芯片以及扫描方法 | |
| CN113358220B (zh) | 基于单像素成像的亮度测量方法及装置 | |
| US20210382175A1 (en) | Image sensing device and photographing device including the same | |
| JP2022522952A (ja) | 飛行時間型装置および３ｄ光学検出器 | |
| US20230408699A1 (en) | Time-of-flight image sensor with quantom dot photodetectors |